收稿日期：２０１８ ０７ ２１；修回日期：２０１８ ０９ ０８ 基金项目：国家自然科学基金资助项目（６１８７１０３９，６１５７１０４５，６１８０２１９，６１９０６０１）；国家科技支撑计划资助项目（２０１５ＢＡＨ５５Ｆ０３，０１５ＢＡＨ５５Ｆ０３）；北京市属高校高水平教师队伍建设创新团队建设提升计划资助项目（ＩＤＨＴ２０１７０５１１）；北京市自然科学基金资助项目（
４１８４０８８）；北京联合大学领军人才资助项目（ＢＰＨＲ２０１９ＡＺ０１）；北京市教委资助项目（ＫＭ２０１９１１４１７００１，ＫＭ２０１７１１４１７００５）；智能贺驶大数据协同创新中心资助项目（ＣＹＸＣ１９０２）；北京联合大学资助项目（ＷＺ１０２０１９０３） 作者简介：刘玉莹（１９９３ ），女，硕士，主要研究方向为数字图像处理；刘宏哲（１９７１ ），女（通信作者），教授，硕导，主要研究方向为语义计算、数字博物馆、分布式系统集成（ｌｉｕｈｏｎｇｚｈｅ＠ｂｕｕ．ｅｄｕ．ｃｎ）；袁家政（１９７０ ），男，教授，博导，主要研究方向为图形图像处理、文物遗迹的数字化处理、数字博物馆等；李兵（１９８３ ），男，副研究员，硕导，主要研究方向为视觉认知计算、多媒体内容安全．
刘玉莹１，刘宏哲１
，袁家政２，李 兵３
（１．北京联合大学北京市信息服务工程重点实验室，北京１００１０１；２．北京开放大学，北京１０００８１；３．中国科
空气喷嘴学院自动化研究所模式识别国家重点实验室，北京１００１９０）摘 要：针对目前相似性视频检索方法中快速性和准确性仍无法满足用户要求等问题，提出了一种基于３Ｄ卷积神经网络的视频快速检索方法。该算法将３Ｄ卷积神经网络与哈希学习方法结合应用于视频数据，既能快速学习视频时空特征表示，又能极大地缩短视频检索时间。在常用视频数据集上的实验结果表明，利用所提出的方法对视频进行相似性检索性能优于当前主流方法。关键词：深度学习；哈希算法；视频检索中图分类号：ＴＰ３９１ ４１ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２０）０３ ０５５ ０８８７ ０４ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０１８．０７．０６６４ Ｖｉｄｅｏｈａｓｈａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ
ＬｉｕＹｕｙｉｎｇ１，ＬｉｕＨｏｎｇｚｈｅ１ ，ＹｕａｎＪｉａｚｈｅｎｇ２，ＬｉＢｉｎｇ
３
（１．ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｆｏｒｍａｔｉｏｎＳｅｒｖｉｃｅＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＵｎｉｏｎＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１００１０１，Ｃｈｉｎａ；２．ＢｅｉｊｉｎｇＯｐｅｎＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００８１，Ｃｈｉｎａ；３．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩｎｓｔｉｔｕｔｅｏｆＡｕｔｏｍａｔｉｏｎ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｓｐｅｅｄａｎｄａｃｃｕｒａｃｙｏｆｔｈｅｃｕｒｒｅｎｔｓｉｍｉｌａｒｉｔｙｖｉｄｅｏｒｅｔｒｉｅｖａｌｍｅｔｈｏｄｓｓｔｉｌｌｃａｎ ｎｏｔｍｅｅｔｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆｕｓｅｒｓ
，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｅｗｓｉｍｉｌａｒｉｔｙｖｉｄｅｏｑｕｉｃｋｒｅｔｒｉｅｖａｌｍｅｔｈｏｄ，ｗｈｉｃｈｃｏｍｂｉｎｅｄｔｈｅｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｗｉｔｈｔｈｅｈａｓｈｌｅａｒｎｉｎｇｍｅｔｈｏｄａｎｄａｐｐｌｉｅｄｔｏｖｉｄｅｏｄａｔａ．Ｉｔｃｏｕｌｄｎｏｔｏｎｌｙｑｕｉｃｋｌｙｌｅａｒｎｔｈｅｖｉｄｅｏｓｐａｔｉｏｔｅｍｐｏｒａｌｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ，ｂｕｔａｌｓｏｇｒｅａｔｌｙｓｈｏｒｔｅｎｔｈｅｖｉｄｅｏｒｅ
ｔｒｉｅｖａｌｔｉｍｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｔｈｅｓｅｔｓｈｏｗｔｈａｔｔｈｅｓｉｍｉｌａｒｉｔｙｒｅｔｒｉｅｖａｌｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｖｉｄｅｏｕｓｉｎｇｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｉｓｓｕｐｅｒｉｏｒｔｏｔｈｅｃｕｒｒｅｎｔｍａｉｎｓｔｒｅａｍｍｅｔｈｏｄｓ．Ｋｅｙｗｏｒｄｓ：ｄｅｅｐｌｅａｒｎｉｎｇ；ｈａｓｈｉｎｇｍｅｔｈｏｄ；ｖｉｄｅｏｒｅｔｒｉｅｖａｌ
近年来，随着移动互联网技术的快速发展，图像、视频等多媒体数据呈爆炸式增长。对于互联网用户来说，从海量的视频数据中快速地检索到对自己有用或者喜欢的视频非常重要；对互联网平台来说，为用户进行个性化的视频推荐或者相关视频广告的投放能够有效地提高用户体验以及产品的销量；对视频原创者来说，能够充分对其视频进行版权保护。因此，对相似视频检索技术的研究成为基于内容的视频检索、视频个性化推荐和原创视频版权保护等应用的关键点。相似视频检索的基本思想是将查询视频与视频数据库中的视频进行近似最近邻搜索，返回与之内容相似的视频。传统的方法是先提取视频特征，然后计算查询视频特征与视频数据库中视频特征的欧氏距离，并根据距离从小到大的顺序来返回相似的视频。但是随着互联网上视频数据的井喷式增长，传统的线性搜索方法需要的存储空间消耗大、计算复杂度高、检索速度慢。为了解决传统方法对存储空间和检索时间的局限，近来近似最近邻搜索技术发展迅猛，其中哈希技术作为一种代表性方法受到广泛关注。这种方法能够将视频数据的高维特征映射到低维空间，产生简洁的二值码表示，通过计算查询视频与数据库视频二值码
之间的汉明距离来进行相似度检索，能够显著降低计算开销并且提升检索性能。近几年，在许多关于计算机视觉的课题研究上运用深度学习技术都显著提升了性能，如目标检测、分类、分割
等，这些任务性能的提升都归功于深度卷积神经网络在特征表
示学习上的强大性能，但这些任务主要是针对图像作为输入进
行的，因此２Ｄ卷积［１］
能很好地对图像进行特征表示学习。而在视频作为输入的视觉任务中，２Ｄ卷积不能及时捕获视频数
据的时序信息，针对视频时序信息的表示，研究者们提出了３
加油站三次油气回收Ｄ卷积［２］
标准车当量数来同时提取视频数据的时间特征和空间特征，从而保证视频特征表示的连续性。本文基于深度学习和哈希技术，提
出了一种新的相似性视频快速检索方法，运用３
防冲撞护栏Ｄ卷积神经网络［２］
同时对视频进行时间特征和空间特征的提取与融合，利用哈希方法对融合后的视频时空特征进行量化编码，得到视频的哈希二值码，计算查询视频与大规模视频数据集的汉明距离，实现快速有效的视频检索。
１ 相关研究
１ １ 哈希学习中央空调通风管道
为了实现高效的近似最近邻搜索，哈希方法旨在将数据的高维特征编码为紧凑的二值码，同时能保持原始数据之间的相
似性。在数据层面可分为数据独立型［３～６］和数据依赖型［
７～２４］
哈希方法。数据独立型哈希方法主要采用随机投影方法将数据映射为二值码，但是这种不依赖数据的哈希方法需要较多位
二维码访客系统
第３７卷第３期２０２０年３月 计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ ３７Ｎｏ ３
Ｍａｒ．２０２０
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议