(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201710109286.0
(22)申请日 2017.02.27
(71)申请人 阿里巴巴集团控股有限公司
地址 英属开曼岛大开曼资本大厦一座四
层847号邮箱
(72)发明人 毛锋
(74)专利代理机构 北京三友知识产权代理有限
公司 11127
代理人 李辉
(51)Int.Cl.
G06K 9/00(2006.01)
(54)发明名称
理系统和方法
(57)摘要
本申请提供了一种视频流中异常内容的识
别方法及视频流处理系统和方法，其中方法包
所述采样帧序列；在所述采样帧序列中获取预设
神经网络模型，利用若干个预设卷积核对所述预
征矩阵；其中，所述若干个预设卷积核包括各个
维度执行特征提取操作所使用的卷积核的并集；
从所述全局特征矩阵中提取与各个维度对应的
高层特征矩阵；利用与各个维度对应的异常内容
识别模型，对各个维度的高层特征矩阵进行异常
内容识别并获得多维度识别结果。本申请可以提
高异常内容识别的准确率和效率。权利要求书4页 说明书14页 附图7页CN 108509827 A 2018.09.07
C N 108509827
A
1.一种视频流处理系统，其特征在于，包括：
视频流提供终端，用于产生视频流并将视频流发送至第一服务器；
第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果，基于所述多维度识别结果判断所述视频流副本是否具有异常内容；若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；
第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。
2.一种视频流处理系统，其特征在于，包括：
视频流提供终端，用于产生视频流并将所述视频流发送至第一服务器；
第一服务器，用于将所述视频流发送至第二服务器，并接收第二服务器发送针对所述视频流中视频片段的多维度识别结果；基于所述多维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端；
视频流接收终端，用于接收所述第一服务器发送的所述视频片段；
第二服务器，用于接收第一服务器发送的所述视频流，对所述视频流进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集，从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，利用与各个维度对应的异常内容识别模型对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果，将所述多维度识别结果发送至所述第一服务器。
3.一种视频流中异常内容的识别方法，其特征在于，包括：
对视频流进行采样获得采样帧序列，并缓存所述采样帧序列；
在所述采样帧序列中获取预设数量个采样帧，且，所述预设数量≥2；
基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵；其中，所述若干个预设卷积核包括各个维度执行特征提取操作所使用的卷积核的并集；
从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵；
利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得多维度识别结果。
4.如权利要求3所述的方法，其特征在于，所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：
将所述预设数量个采样帧按采样顺序分为多组采样帧；
对各组采样帧中各个采样帧按采样顺序执行合并操作，获得各个部分采样帧；
对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。
5.如权利要求4所述的方法，其特征在于，所述多组采样帧中相邻两组采样帧具有交集。
6.如权利要求3所述的方法，其特征在于，预设数量为4，则所述利用若干个预设卷积核对所述预设数量
个采样帧执行特征提取操作，获得全局特征矩阵，包括：将四个采样帧按采样顺序分为两组采样帧，两组采样帧均具有三个采样帧，且，采样帧两组采样帧具有交集；
对两组采样帧中各个采样帧按采样顺序执行合并操作，获得两个部分采样帧；
对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵。
7.如权利要求4或6所述的方法，其特征在于，所述若干个预设卷积核包括：用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；
则所述对各个部分采样帧与若干个预设卷积核执行卷积操作，获得全局特征矩阵，包括：
对各个部分采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的各个局部特征矩阵；
对各个局部特征矩阵执行合并操作，获得合并后局部特征矩阵；
对所述合并后局部特征矩阵与所述第二类卷积核执行卷积操作，获得用于表示中层特征的全局特征矩阵。
8.如权利要求3所述的方法，其特征在于，所述若干个卷积核包括用于提取底层特征的第一类卷积核和用于提取中层特征的第二类卷积核；
则所述利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得全局特征矩阵，包括：
将所述预设数量个采样帧按采样顺序执行合并操作，获得整体采样帧；
对所述整体采样帧与所述第一类卷积核执行卷积操作，获得用于表示底层特征的全局特征矩阵；
对所述用于表示底层特征全局特征矩阵与第二类卷积核执行卷积操作，获得用于表示中层特征的所述全局特征矩阵。
9.如权利要求3所述的方法，其特征在于，所述从所述全局特征矩阵中提取与各个维度对应的高层特征矩阵，包括：
将所述全局特征矩阵与各个维度对应的权值矩阵相乘，得到各个维度的特征矩阵；
分别利用与各个维度对应的用于提取高层特征的多个卷积核对各个维度的特征矩阵执行特征提取操作，获得与各个维度对应的高层特征矩阵。
10.如权利要求3所述的方法，其特征在于，每个维度包括多个类别，所述利用与各个维度对应的异常内容识别模型，对各个维度的高层特征矩阵进行异常内容识别并获得识别结果，包括：
将各个维度的高层特征矩阵输入至各个维度对应的异常内容识别模型；
获得各个异常内容识别模型输出的各个维度中各个类别的概率值；
其中，异常内容识别模型为，依据若干高层特征样本训练得到的、区分异常内容中各个
类别和正常内容的分类器。
11.一种视频流处理方法，其特征在于，包括：
接收视频流，并复制所述视频流获得视频流副本；
将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器；
接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的多维度识别结果；
基于所述多维度识别结果判定所述视频片段是否具有异常内容；
若所述视频片段具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流。
12.一种视频流处理方法，其特征在于，包括：
接收视频流提供终端发送的视频流，并将视频流发送至第二服务器；
接收第二服务器发送针对所述视频流中视频片段的多维度识别结果；
基于所述多维度识别结果判定所述视频片段是否具有异常内容；
若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端。
13.如权利要求12所述的方法，其特征在于，还包括：
若所述视频片段具有异常内容，则显示所述视频片段供人工二次验证；
接收人工二次验证结果；
若人工二次验证结果表示视频片段具有异常内容，则向视频流提供终端发送警告。
14.一种视频流处理系统，其特征在于，包括：
视频流提供终端，用于产生视频流并将视频流发送至第一服务器；
第一服务器，用于接收视频流并复制所述视频流获得视频流副本，将所述视频流发送至视频流接收终端，并将所述视频流副本发送至第二服务器，接收所述第二服务器针对视频流副本中的视频片段进行异常内容识别后输出的单维度识别结果，基于所述单维度识别结果判断所述视频流副本是否具有异常内容；
若所述视频流副本具有异常内容，则停止向所述视频流接收终端发送后续从所述视频流提供终端接收的视频流；
第二服务器，用于接收第一服务器发送的所述视频流副本，对所述视频流副本进行采样获得采样帧序列并缓存所述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得高层特征矩阵，利用异常内容识别模型对高层特征矩阵进行异常内容识别并获得单维度识别结果，将所述单维度识别结果发送至所述第一服务器。
15.一种视频流处理系统，其特征在于，包括：
视频流提供终端，用于产生视频流并将所述视频流发送至第一服务器；
第一服务器，用于将所述视频流发送至第二服务器，并接收第二服务器发送针对所述视频流中视频片段的单维度识别结果；基于所述单维度识别结果判定所述视频片段是否具有异常内容；若所述视频片段不具有异常内容，则将所述视频片段发送至视频流接收终端；
视频流接收终端，用于接收所述第一服务器发送的所述视频片段；
第二服务器，用于接收第一服务器发送的所述视频流，对所述视频流进行采样获得采样帧序列并缓存所
述采样帧序列，在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2，基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特
征提取操作，获得高层特征矩阵，利用异常内容识别模型对高层特征矩阵进行异常内容识别并获得单维度识别结果，将所述单维度识别结果发送至所述第一服务器。
16.一种视频流中异常内容的识别方法，其特征在于，包括：
对接收的视频流进行采样获得采样帧序列，并缓存所述采样帧序列；
在所述采样帧序列中获取预设数量个采样帧且所述预设数量≥2；
基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得高层特征矩阵；
利用异常内容识别模型对高层特征矩阵进行异常内容识别并获得单维度识别结果。
17.如权利要求16所述的方法，其特征在于，所述若干个预设卷积核包括：用于提取单维度底层特征的第一类卷积核，用于提取单维度中层特征的第二类卷积核，和，用于单维度提取高层特征的第三类卷积核；
则所述基于卷积神经网络模型，利用若干个预设卷积核对所述预设数量个采样帧执行特征提取操作，获得高层特征矩阵，包括：
将所述预设数量个采样帧按采样顺序分为多组采样帧；
对各组采样帧中各个采样帧按采样顺序执行合并操作，获得各个部分采样帧；
对各个部分采样帧与第一类卷积核执行卷积操作，获得用于表示底层特征的各个局部特征矩阵；
对各个局部特征矩阵执行合并操作，获得合并后局部特征矩阵；
对所述合并后局部特征矩阵与所述第二类卷积核执行卷积操作，获得用于表示中层特征的全局特征矩阵；
对所述全局特征矩阵与第三类卷积核执行卷积操作，获得高层特征矩阵。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议