杜承垚;袁景凌;陈旻骋;李涛
【摘 要】Panoramic video is a sort of video recorded at the same point of view to record the full scene.The collecting devices of panoramic video are getting widespread attention with the development of VR and live broadcasting video technology.Nevertheless,CPU and GPU are required to possess strong processing abilities to make panoramic video.The traditional panoramic products depend on large equipment or post processing,which results in high power consumption,low stability,unsatisfying performance in real time and negative advantages to the information security.This paper proposes a L-ORB feature detection algorithm.The algorithm optimizes the feature detection regions of the video images and simplifies the support of the ORB algorithm in scale and rotation invariance.Then the features points are matched by the multi-probe LSH algorithm and the progressive sample consensus (PROSAC) is used to eliminate the false matches.Finally,we get the mapping relation of image mosaic and use the multi-band fusion algorithm to eliminate the gap betw
een the video.In addition,we use the Nvidia Jetson TX1 heterogeneous embedded system that integrates ARM A57 CPU and Maxwell GPU,leveraging its Teraflops floating point computing power and built-in video capture,storage,and wireless transmission modules to achieve multi-camera video information real-time panoramic splicing system,the effective use of GPU instructions block,thread,flow parallel strategy to speed up the image stitching algorithm.The experimental results show that the algorithm mentioned can improve the performance in the stages of feature extraction of images stitching and matching,the running speed of which is 11 times than that of the traditional ORB algorithm and 639 times than that of the traditional SIFT algorithm.The performance of the system accomplished in the article is 59 times than that of the former embedded one,while the power dissipation is reduced to 10 W.%全景视频是在同一视点拍摄记录全方位场景的视频.随着虚拟现实(VR)技术和视频直播技术的发展,全景视频的采集设备受到广泛关注.然而制作全景视频要求CPU和GPU都具有很强的处理能力,传统的全景产品往往依赖于庞大的设备和后期处理,导致高功耗、低稳定性、没有实时性且不利于信息安全.为了解决这些问题,首先提出了L-ORB特征点提取算法,该算法优化了分割视频图像的特征检测 挂壁式太阳能热水器区域以及简化ORB算法对尺度和旋转不变性的支持;然后利用局部敏感Hash(Multi-Probe LSH)算法对特征点进行匹配,用改进的样本一致性(progressive sample consensus,PROSAC)算法消除误匹配,得到帧图像拼接映射关系,并采用多频带融合算法消除视频间的接缝.此外,使用整合了ARM A57 CPU和Maxwell GPU的Nvidia Jetson TX1异构嵌入式系统,利用其Teraflops的浮点计算能力和内建的视频采集、存储、无线传输模块,实现了多摄像头视频信息的实时全景拼接系统,有效地利用GPU指令的块、线程、流并行策略对图像拼接算法进行加速.实验结果表明,算法在图像拼接的特征提取、特征匹配等各个阶段均有很好的性能提升,其算法速度是传统ORB算法的11倍、传统SIFT算法的639倍;系统较传统的嵌入式系统性能提升了29倍,但其功耗低至10W.
【期刊名称】《计算机研究与发展》
【年(卷),期】2017(054)006
【总页数】真空挤砖机12页(P1314-1325)
【关键词】全景视频;图像拼接;异构计算;嵌入式GPU;ORB
【作 者】杜承垚;袁景凌;陈旻骋;李涛
【作者单位】武汉理工大学计算机科学与技术学院 武汉430070;武汉理工大学计算机科学与技术学院 武汉430070;交通物联网技术湖北省重点实验室(武汉理工大学) 武汉430070;武汉理工大学计算机科学与技术学院 武汉430070;佛罗里达大学电气与计算机工程系 美国 佛罗里达州 盖恩斯维尔 32611
【正文语种】中 文
【中图分类】TP391.41
(*******************)
全景视频是在同一视点拍摄记录全方位场景的视频[1-3].全景视频在视频监控、机器人视觉、数字城市、赛事直播以及新兴的虚拟现实中都具有广泛的应用领域.利用全景摄像获取的全景视频，可以在虚拟现实中进行任意角度的沉浸式交互漫游、旋转以及缩放观察[4]；将全景设备应用于军事监控，将提高部队的战场感知能力，进而增强部队的单兵作战能力；应用于无人机遥感、机器人视觉，将克服以往单一摄像头视野有限的问题，增加探测
及识别效率.
生成全景视频需要对视频中的每一帧进行图像配准和图像融合，如图1所示.图像配准的关键为特征提取[5].曹世翔等人[6]提出一种映速有效的边缘特征点提取方法,实现多分辨率图像的融合拼接.该方法通过构建边缘图像的Gauss金字塔，从中提取稳定的特征点完成图像配准，并复用金字塔信息实现图像融合,很大地缩短整体拼接的时间.Ethan Rublee于2011年提出ORB(oriented FAST and rotated BRIEF)算法[7]，对FAST角点加入尺度不变特性，解决了BRIEF(binary robust independent element feature)的旋转不变性和噪声敏感问题，效率较SIFT算法提升了100倍.姜桂圆等人[8]提出一种SIFT特征的分布式并行提取算法DP-SIFT，该算法根据SIFT特征算法特点，设计了高度宽度受限的数据块划分方法、数据分配方法以及特征信息调整方法，并优化了数据分块原则与数据发送策略，极大减少了数据通信时间，提高算法的效率.崔哲等人[9]提出了在CUDA并行计算环境下的扩展SURF算法，该算法在低分辨率下已经满足了实时性.Parker[10]在CUDA并行计算环境下应用ORB算法进行3D重建.智喜洋等人[11]实现了基于CUDA的实时图像配准和定位系统，较CPU快20倍，且满足实时处理的要求.
创建全景图像需要经过很复杂的采集及拼接过程，因此要求CPU和GPU都具有很强的处理能力[12].传统的实时拼接设备配备了广角镜头和FPGA等处理组件，其成像分辨率低且无法通过复杂算法对图像进行细致的矫正[13]；此外，传统的基于软件的方法是不实时的[14-16]，因为图像被摄像机捕获之后，需要离线传输到拼接软件进行拼接.这为广大学者提出了新的挑战.本文主要工作如下：
1) 提出了L-ORB图像特征提取算法，该算法优化分割了特征检测区域，并对尺度不变性、旋转不变性进行了简化.然后利用多探寻的局部敏感Hash(Multi-Probe LSH)算法对特征点进行匹配，用改进的样本一致性(progressive sample consensus, PROSAC)算法消除误匹配，得到帧图像拼接映射关系，并采用多频带融合算法消除视频间的接缝.
2) 利用整合了ARM A57 CPU和Maxwell GPU的Nvidia Jetson TX1异构嵌入式系统中Teraflops的浮点计算能力和内建的视频采集、存储、无线传输模块，实现了多摄像头视频信息的实时全景拼接系统.有效地利用了GPU指令的块、线程、流并行策略对图像拼接算法进行加速.实验结果表明本文的算法在图像拼接的特征提取、特征匹配等各个阶段均有很好的性能提升.
传统的图像拼接需要对整个图片的内容进行特征点检测及匹配，匹配到的特征点需要兼顾尺度不变与旋转不变性.在全景摄像机中，相机的相对位置和方向固定不变，通过预先矫正好的参数对图像进行预处理，可以降低特征点检测的时空复杂度.
L-ORB图像特征提取算法首先通过相机之间的位置参数对图像进行粗略的对齐，然后计算图像的视野重合部分，得出特征点的分布范围[17]，减少了检测区域面积；L-ORB算法将FAST特征点与Harris角点度量方法相结合，并生成BRIEF特征描述因子，相对于原始的ORB算法简化了尺度、旋转不变性，使得效率大幅提升.
1.1 几何调整以及分割特征检测区域
图像拼接需要提取图片之间重叠区域的特征点，我们通过全景摄像机的相对位置计算出每个相机视野的重叠区域，以减少特征点检测的数据规模.全景摄像机是将摄像机分散均匀地放置在以一个点为圆心等半径的圆上，再与顶部、底部的摄像机构成摄像机阵列[18].如图2所示，A,B为2架摄像机，2架摄像机所在圆的半径为r，角度为θ，摄像机视野的角度为θrange，L为物体到摄像机的距离，那么，重影区对应的角度
其中，
重影区的角度α随景物与摄像机距离L的增加而非线性增加，最终收敛到一个固定值.当景物与摄像机距离较近时，重叠区域差异明显；景物与摄像机较远时，差异趋于稳定.通过对重影区域角度极值的测试分析得出，在不同摄像机配置中，重影区域的面积处于10%～40%之间，如图3所示.通过分割特征检测区域，筛选出重影区域进行特征检测，可缩短特征检测和特征匹配的时间.
1.2 基于Harris特征的FAST角点检测
管式热交换器把图像重叠区域的图像进行粗略对齐后，图像匹配所需要的特征点不需要尺度、旋转不变性，因此我们对ORB算法中的oFAST和rBRIEF进行简化，去掉其中的尺度、旋转不变性以得到性能的提升.
FAST特征是由Rosten等人提出的一种快速特征检测方法，不具有尺度不变性，且相比传统的SIFT和SURF方法具有明显的速度优势[19].FAST算法检测的特征点定义为：若像素点P周围邻域内有足够多的连续像素点与该点相差较大，则认为该点是FAST特征点.但FAST特征点不具备角点的属性，因此需要利用Harris角点[20]的度量方法，从FAST特征点中挑选出角点响应函数值最大的N个特征点，其中响应函数为R=det M-α(trace M)2.该方法具体
步骤如算法1所示.
算法1. 基于Harris特征的FAST角点检测方法.
输入:图像I;
输出:图像中的N个角点.
① 计算图像I(x,y)在X和Y两个方向的梯度Ix,Iy；
② 计算图像2个方向梯度的乘积；
③ 使用高斯函数对和Ixy进行高斯加权(取σ=1)，生成矩阵M的元素A,B和C
④ 计算图像I的FAST角点；
⑤ 计算FAST角点的Harris响应值R，并删除小于阈值t的角点；
⑥ 进行非极大值抑制，邻域内局部最大值点即为Harris角点；
⑦ 获取Harris角点中响应值最大的N个角点.
1.3 BRIEF图像特征描述因子
传统的SIFT与SURF特征采用128 b和64 b浮点型数据作为特征描述因子，将占用大量的存储空间且会增加特征匹配的时间.BRIEF利用图像邻域内随机点对的灰度关系来建立图像特征描述因子，具有时间复杂度、空间复杂度低的特性[21].
去鱼鳞机
BRIEF特征描述因子的建立首先需要平滑图像，然后在特征点周围一定范围内通过特定的方法来挑选出来nd个点对.对于每一个点对(p,q)，如果这2个点的亮度值I符合I(p)>I(q),则这个点对生成的值为1；如果I(p)<I(q)，则对应在二值串中的值为-1，否则为0.对所有的点对就可以生成一个nd长的二进制串.环氧大豆油生产工艺
当图像旋转角度大于45°时，BRIEF图像特征描述因子的识别率几乎0，因此不具有旋转不变性；但当旋转角度为15°以内时，图像的识别率大于70%，且旋转角度越低，识别率越高；当旋转角度极小时，识别率明显高于其他方法，如图4所示.在全景摄像机中，对齐后的重叠图像旋转幅度仅仅在0～15°的范围内，使用BRIEF算法可以获得相对于传统方法更快的速度和更好的效果.
按摩脚盆
通过在ORB算法上对特征检测区域的优化分割，以及对尺度不变性、旋转不变性的简化，形成L-ORB图像特征提取算法，详见算法2.
算法2. L-ORB图像特征提取算法.
输入:n幅图像；
输出:P组特征描述因子.
① 对全部的n 幅图像分割为m个特征检测区域；
② 对m个特征检测区域进行FAST角点检测；
③ 从FAST特征点中挑选出Harris角点响应值最大的P个特征点；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议