违规音频流的识别方法、装置、计算机设备和存储介质与流程



1.本技术涉及移动互联网技术领域,特别是涉及一种违规音频流的识别方法、装置、计算机设备和存储介质。


背景技术:



2.随着移动互联网的到来,网络互动方式越来越多样化,音视频直播互动便是其中的一种,其中还存在一个直播间多个上麦同时互动的情况,在国家监管要求下,需要对相关内容进监管审核,通常处理方案就是搭建一个审核系统,对推流的音视频进行审核。由于多人连麦经常一个房间里同时说话,此时在审核时如何准确的抓取到违规者,就成为了一个问题,正常来说直播流由手机软件产生,审核平台采取浏览器/服务器模式(browser/server,b/s)架构,常规的处理手段包括,一是在审核平台对直播间的各路流进行单个播放,单个流播放能准确抓取得到违规者,由于连麦者过多,导致违规抓取时间过长;若同时播放,则无法知晓违规者。其二是所有流同时播放,在手机软件上,对当前说话的人进行上报,采取套接字(socket)通信进行实时上报,后台监听socket保持同步,显式的标识说话者,此方案需要手机软件协同开发,且实现难度大,存在同步延时问题,可能会导致违规判定错误。其三是对各个音频流进行语音转文字,标识所转文字的上报者,进行逐个审核,此时需要承担一定的语音转文字费用,而且在个别违规声音转译效果不佳,存在大量违规漏掉的情况。
3.如上所述,以上方案在识别违规用户上均存在一定的问题,在效率上和准确度上无法很好的满足监管的要求。


技术实现要素:



4.基于此,有必要针对上述技术问题,提供一种能够快速精准识别违规音频流的一种违规音频流的识别方法、装置、计算机设备和存储介质。
5.一种违规音频流的识别方法,所述方法包括:
6.获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
7.根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
8.根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
9.在其中一个实施例中,根据每路音频流上绑定的音频检测器和滤波器对数据帧二
进制流进行监听和计算,得到音频码率,包括:
10.根据数据帧二进制流的长度创建承载音轨数据的浮点数组;
11.根据每路音频流上绑定的音频检测器和滤波器对浮点数组中的音轨数据进行监听和计算,得到音频码率。
12.在其中一个实施例中,根据每路音频流上绑定的音频检测器和滤波器对浮点数组中的音轨数据进行监听和计算,得到音频码率,包括:
13.根据每路音频流上绑定的音频检测器对浮点数组中的音轨数据进行监听和降噪,得到降噪后的音轨数据;
14.根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值;
15.将多组音轨数据样本的平方与索引滤波器值进行相乘累加,得到音频码率。
16.在其中一个实施例中,根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值,包括:
17.根据滤波器设定的采样频率对降噪后的音轨数据进行采样,得到多组音轨数据样本;
18.对采样数量的长度进行量化处理,得到样本索引;
19.将所述样本索引与所述采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值。
20.在其中一个实施例中,滤波器设定的初始阈值包括第一初始阈值和第二初始阈值;
21.将样本索引与采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值,包括:
22.将样本索引与采样频率的乘积与滤波器设定的初始阈值进行对比,当乘积小于第一初始阈值时,将索引滤波器值设为0;当乘积小于第二初始阈值时,将索引滤波器值设为1。
23.在其中一个实施例中,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值,包括:
24.设定初始音频趋势值为零;
25.将正增量码率与上一时刻的音频码率的正数倍进行比较,当正增量码率大于上一时刻的音频码率的正数倍时,音频趋势值为初始音频趋势值加一,否则,音频趋势值保持初始音频趋势值不变;
26.将负增量码率与上一时刻的音频码率的负数倍进行比较,当负增量码率小于上一时刻的音频码率的负数倍时,音频趋势值为初始音频趋势值减一,否则,音频趋势值保持初始音频趋势值不变。
27.在其中一个实施例中,将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,包括:
28.将音频趋势值与预先设置的音频趋势阈值进行比较,当音频趋势值大于音频趋势阈值时,判断音频流有声音,否则,判断音频流无声音。
29.一种违规音频流的识别装置,所述装置包括:
30.音频流获取模块,用于获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
31.音频流检测模块,用于根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
32.音频码率计算模块,用于根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率;将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;
33.违规识别模块,用于将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
34.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
35.获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
36.根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
37.根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
38.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
39.获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
40.根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
41.根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
42.上述违规音频流的识别方法、装置、计算机设备和存储介质,能够在多路音频流同时播放时,根据每路音频流上绑定的音频检测器和滤波器对音频流进行监听和计算,得到每路音频流对应的音频码率,并将当前时刻的音频码率与上一时刻的音频码率进行相减,得到增量码率,根据增量码率与上一时刻的音频码率进行比较从而生成音频趋势值,将音
频趋势值与预先设置的音频趋势阈值进行比较,从而判断音频流是否具有声音,将具有声音的音频流赋予标签,在审核员听到违规内容时,可查看当前声音标记在哪路音频流上,由此可知晓违规音频流对应的违规用户,在违规抓取上有效加快了违规用户的抓取识别,且通过审核员直接听取多路音频流的声音内容来识别违规内容,违规识别的准确率较高。
附图说明
43.图1为一个实施例中违规音频流的识别方法的流程示意图;
44.图2为一个实施例中计算机设备的内部结构图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
46.在一个实施例中,如图1所示,提供了一种违规音频流的识别方法,包括以下步骤:
47.步骤102,获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点。
48.可以理解,通过对每路音频流上当前实时播放视频(video)对象进行剥离和实例化处理,可以得到音频上下文(audio context),根据音频上下文创建媒体元素音频源节点(media element audio source node)和分析节点(analyser node),其中,媒体元素音频源节点与分析节点以及音频上下文目的地(audio context destination)相连。
49.步骤104,根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流。
50.可以理解,缓冲平均数据帧参数的大小表示对音频流检测的灵敏度,缓冲平均数据帧参数设置的越大,对音频检测的灵敏度越低,一般的,缓冲平均数据帧参数设置为0.1。
51.步骤106,根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率。
52.可以理解,正增量码率表示当前时刻的音频码率大于上一时刻的音频码率,负增量码率大于当前时刻的音频码率小于上一时刻的音频码率。
53.可以理解,每路音频流上绑定有独立的音频检测器和滤波器,在多路流同时播放时能对每路音频流的数据帧二进制流进行监听和计算,得到音频码率,码率值越大说明声音越大,越小则声音越少;通过将当前时刻的音频码率与上一时刻的音频码率相减得到增量码率,并将增量码率与上一时刻的音频码率进行比较,从而进一步得到音频趋势值,可以更好地减少误判,提高后续违规音频流的抓取准确率。
54.步骤108,将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
55.可以理解,当音频趋势值大于预先设置的音频趋势阈值时,说明此音频流有声音,
反之此音频流当前无声音,通过对音频流声音的识别,将是否有声音的状态加上明显的标记显示出来,当审核员听到违规内容后,即也能看到对应的音频流是否有声音标识,此时根据声音标记和声音内容即能够快速准确地完成对违规音频的检测。
56.上述违规音频流的识别方法、装置、计算机设备和存储介质,能够在多路音频流同时播放时,根据每路音频流上绑定的音频检测器和滤波器对音频流进行监听和计算,得到每路音频流对应的音频码率,并将当前时刻的音频码率与上一时刻的音频码率进行相减,得到增量码率,根据增量码率与上一时刻的音频码率进行比较从而生成音频趋势值,将音频趋势值与预先设置的音频趋势阈值进行比较,从而判断音频流是否具有声音,将具有声音的音频流赋予标签,在审核员听到违规内容时,可查看当前声音标记在哪路音频流上,由此可知晓违规音频流对应的违规用户,在违规抓取上有效加快了违规用户的抓取识别,且通过审核员直接听取多路音频流的声音内容来识别违规内容,违规识别的准确率较高。
57.在其中一个实施例中,根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,包括:
58.根据数据帧二进制流的长度创建承载音轨数据的浮点数组;
59.根据每路音频流上绑定的音频检测器和滤波器对浮点数组中的音轨数据进行监听和计算,得到音频码率。
60.具体地,根据数据帧二进制流的长度创建32浮点数组(float 32array)来承载音轨数据。
61.在其中一个实施例中,根据每路音频流上绑定的音频检测器和滤波器对浮点数组中的音轨数据进行监听和计算,得到音频码率,包括:
62.根据每路音频流上绑定的音频检测器对浮点数组中的音轨数据进行监听和降噪,得到降噪后的音轨数据;
63.根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值;
64.将多组音轨数据样本的平方与索引滤波器值进行相乘累加,得到音频码率。
65.可以理解,通过音频检测器对音轨数据进行降噪处理,去除了音轨数据中的噪音,避免噪音后续对音频码率的计算造成干扰,提高了音频码率计算的准确性。
66.在其中一个实施例中,根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值,包括:根据滤波器设定的采样频率对降噪后的音轨数据进行快速傅里叶变换(fft)采样,得到多组音轨数据样本;
67.对采样数量的长度进行量化处理,得到样本索引;
68.将样本索引与采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值。其中,索引滤波器值的长度是由采样频率除以快速傅里叶变换值(fft size)得到的。
69.可以理解,滤波器设定的采样频率是指在单位时间内对音轨数据的采样次数,
70.在其中一个实施例中,滤波器设定的初始阈值包括第一初始阈值和第二初始阈值;
71.将样本索引与采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值,包括:
72.将样本索引与采样频率的乘积与滤波器设定的初始阈值进行对比,当乘积小于第
一初始阈值时,将索引滤波器值设为0;当乘积小于第二初始阈值时,将索引滤波器值设为1,此处设定的索引滤波器值的有效值区间于第一阀值到第二阀值之间,因为低于第一阀值时属于低声波,高于第二阀值是属于超声波,低声波和高声波都属于无声音。
73.在其中一个实施例中,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值,包括:
74.设定初始音频趋势值为零;
75.将正增量码率与上一时刻的音频码率的正数倍进行比较,当正增量码率大于上一时刻的音频码率的正数倍时,音频趋势值为初始音频趋势值加一,否则,音频趋势值保持初始音频趋势值不变;
76.将负增量码率与上一时刻的音频码率的负数倍进行比较,当负增量码率小于上一时刻的音频码率的负数倍时,音频趋势值为初始音频趋势值减一,否则,音频趋势值保持初始音频趋势值不变。
77.具体的,设定音频码率的初始音频趋势值为0,上一时刻的音频码率的正数倍的倍数设置为2,上一时刻的音频码率的负数倍的倍数设置为0.5,倍数的大小可根据实际情况进行调整。
78.可以理解,通过计算音频码率的音频趋势值,可以在声音平滑波动不大时,对音频趋势值进行保持,以避免在音频码率不变时产生的误差。
79.在其中一个实施例中,将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,包括:
80.将音频趋势值与预先设置的音频趋势阈值进行比较,当音频趋势值大于音频趋势阈值时,判断音频流有声音,否则,判断音频流无声音。
81.可以理解,对有声音的音频流进行标记,审核员即可快速看到当前违规的声音是由哪路流产生,由此抓取实际违规的用户。
82.应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
83.在一个实施例中,提供了一种违规音频流的识别装置,包括:获取模块、检测模块、监听模块和违规识别模块,其中:
84.音频流获取模块,用于获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点。
85.可以理解,通过对每路音频流上当前实时播放视频对象进行剥离和实例化处理,可以得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点,其中,媒体元素音频源节点与分析节点以及音频上下文目的地相连。
86.音频流检测模块,用于根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流。
87.可以理解,缓冲平均数据帧参数的大小表示对音频流检测过滤的灵敏度,缓冲平
均数据帧参数设置的越大,对音频检测的灵敏度越低,一般的,缓冲平均数据帧参数设置为0.1。
88.音频码率计算模块,用于根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率;将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率。
89.可以理解,每路音频流上绑定有独立的音频检测器和滤波器,在多路流同时播放时能对每路音频流的数据帧二进制流进行监听和计算,得到音频码率,码率值越大说明声音越大,越小则声音越少;通过将当前时刻的音频码率与上一时刻的音频码率相减得到增量码率,并将增量码率与上一时刻的音频码率进行比较,从而进一步得到音频趋势值,可以更好地减少误判,提高后续违规音频流的抓取准确率。
90.违规识别模块,用于将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
91.可以理解,当音频趋势值大于预先设置的音频趋势阈值时,说明此音频流有声音,反之此音频流当前无声音,通过对音频流声音的识别,将是否有声音的状态加上明显的标记显示出来,当审核员听到违规内容后,即也能看到对应的音频流是否有声音标识,此时根据声音标记和声音内容即能够快速准确地完成对违规音频的检测。
92.关于违规音频流的识别装置的具体限定可以参见上文中对于违规音频流的识别方法的限定,在此不再赘述。上述违规音频流的识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
93.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种违规音频流的识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
94.本领域技术人员可以理解,图2中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
95.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
96.获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
97.根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
98.根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
99.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
100.获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据音频上下文创建媒体元素音频源节点和分析节点;
101.根据媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据缓冲平均数据帧参数对音频流进行检测,得到承载音频数据的数据帧二进制流;
102.根据每路音频流上绑定的音频检测器和滤波器对数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,增量码率包括正增量码率和负增量码率;将音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。
103.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
104.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
105.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。

技术特征:


1.一种违规音频流的识别方法,其特征在于,所述方法包括:获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据所述音频上下文创建媒体元素音频源节点和分析节点;根据所述媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据所述缓冲平均数据帧参数对所述音频流进行检测,得到承载音频数据的数据帧二进制流;根据每路音频流上绑定的音频检测器和滤波器对所述数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将所述增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,所述增量码率包括正增量码率和负增量码率;将所述音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断所述音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及所述标签对多路音频流进行识别,抓取得到违规音频流。2.根据权利要求1所述的方法,其特征在于,根据每路音频流上绑定的音频检测器和滤波器对所述数据帧二进制流进行监听和计算,得到音频码率,包括:根据所述数据帧二进制流的长度创建承载音轨数据的浮点数组;根据每路音频流上绑定的音频检测器和滤波器对所述浮点数组中的音轨数据进行监听和计算,得到音频码率。3.根据权利要求2所述的方法,其特征在于,根据每路音频流上绑定的音频检测器和滤波器对所述浮点数组中的音轨数据进行监听和计算,得到音频码率,包括:根据每路音频流上绑定的音频检测器对所述浮点数组中的音轨数据进行监听和降噪,得到降噪后的音轨数据;根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值;将多组音轨数据样本的平方与所述索引滤波器值进行相乘累加,得到音频码率。4.根据权利要求3所述的方法,其特征在于,根据滤波器对降噪后的音轨数据进行采样,得到多组音轨数据样本以及索引滤波器值,包括:根据滤波器设定的采样频率对降噪后的音轨数据进行采样,得到多组音轨数据样本;对采样数量的长度进行量化处理,得到样本索引;将所述样本索引与所述采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值。5.根据权利要求4所述的方法,其特征在于,滤波器设定的初始阈值包括第一初始阈值和第二初始阈值;将所述样本索引与所述采样频率的乘积与滤波器设定的初始阈值进行对比,得到索引滤波器值,包括:将所述样本索引与所述采样频率的乘积与滤波器设定的初始阈值进行对比,当所述乘积小于所述第一初始阈值时,将所述索引滤波器值设为0;当所述乘积小于所述第二初始阈值时,将所述索引滤波器值设为1。6.根据权利要求1所述的方法,其特征在于,将所述增量码率与上一时刻的音频码率进行比较,得到音频趋势值,包括:
设定初始音频趋势值为零;将所述正增量码率与上一时刻的音频码率的正数倍进行比较,当所述正增量码率大于上一时刻的音频码率的正数倍时,所述音频趋势值为初始音频趋势值加一,否则,所述音频趋势值保持初始音频趋势值不变;将所述负增量码率与上一时刻的音频码率的负数倍进行比较,当所述负增量码率小于上一时刻的音频码率的负数倍时,所述音频趋势值为初始音频趋势值减一,否则,所述音频趋势值保持初始音频趋势值不变。7.根据权利要求1所述的方法,其特征在于,将所述音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断所述音频流是否具有声音,包括:将所述音频趋势值与预先设置的音频趋势阈值进行比较,当所述音频趋势值大于所述音频趋势阈值时,判断所述音频流有声音,否则,判断所述音频流无声音。8.一种违规音频流的识别装置,其特征在于,所述装置包括:音频流获取模块,用于获取一个直播间的多路音频流,将每路音频流进行剥离和实例化处理,得到音频上下文,根据所述音频上下文创建媒体元素音频源节点和分析节点;音频流检测模块,用于根据所述媒体元素音频源节点和分析节点设置缓冲平均数据帧参数,根据所述缓冲平均数据帧参数对所述音频流进行检测,得到承载音频数据的数据帧二进制流;音频码率计算模块,用于根据每路音频流上绑定的音频检测器和滤波器对所述数据帧二进制流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率相减,得到增量码率,将所述增量码率与上一时刻的音频码率进行比较,得到音频趋势值;其中,所述增量码率包括正增量码率和负增量码率;违规识别模块,用于将所述音频趋势值与预先设置的音频趋势阈值进行比较,根据比较结果判断所述音频流是否具有声音,将具有声音的音频流赋予标签,通过听取声音内容以及所述标签对多路音频流进行识别,抓取得到违规音频流。9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结


本申请涉及一种违规音频流的识别方法、装置、计算机设备和存储介质。所述方法包括:获取一个直播间的多路音频流,根据每路音频流上绑定的音频检测器和滤波器对音频流进行监听和计算,得到音频码率,将当前时刻的音频码率与上一时刻的音频码率进行相减,得到增量码率,通过将增量码率与上一时刻的音频码率进行比较生成音频趋势值,将音频趋势值与预先设置的音频趋势阈值进行比较来判断音频流是否具有声音,并将具有声音的音频流赋予标签,通过听取声音内容以及标签对多路音频流进行识别,抓取得到违规音频流。采用本方法能够有效加快违规音频流的抓取,且通过直接听取多路音频流的声音内容来识别违规内容,提高了违规识别的准确率。确率。确率。


技术研发人员:

钟正阳 李一文 刘名运 周渝雄

受保护的技术使用者:

湖南映客互娱网络信息有限公司

技术研发日:

2022.07.29

技术公布日:

2022/10/11

本文发布于:2024-09-22 17:22:10,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/27267.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:音频   流进   增量   滤波器
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议