基于单线激光雷达与视觉融合的负障碍检测算法通风柜风量
汪佩;郭剑辉;李伦波;赵春霞
【摘 要】In recent years,the unmanned vehicle has become a hot research direction,and negative obstacle detection is one of the tasks in environmental perception and understanding for unmanned ground vehicles.Therefore a negative obstacle detection algorithm based on single line laser radar and monocular vision is proposed.To compensate for the lack of coverage of single line laser radar,it is necessary to track the detected negative obstacle area in the camera screen,and then the negative obstacle area is further determined according to the tracking results.The experimental results show that the algorithm has more than 96% negative obstacle detection accuracy in a variety of experimental scenarios.It can be applied to mini unmanned ground vehicles effectively.%近年来,无人车成为热门研究方向,而负障碍物检测是地面无人车环境感知与理解的任务之一.为此,提出一种基于单线激光雷达和单目视觉的负障碍检测算法.为弥补单线激光雷达在覆盖能力方面的不足,对检测到的负障碍区域在摄像机画面中进行跟踪,结合跟踪结果对负障碍区域 做进一步判别.实验结果表明,该算法在多种实验场景下拥有96%以上的负障碍检测准确率,可有效应用于微小型地面无人车辆.安瓿印字机
【期刊名称】《计算机工程》
【年(卷),期】2017(043)007
【总页数】6页(P303-308)
【关键词】无人车;单线激光雷达;环境感知;负障碍检测;目标跟踪 局域表面等离子体共振【作 者】汪佩;郭剑辉;李伦波;赵春霞
【作者单位】南京理工大学 计算机科学与工程学院,南京 210094;南京理工大学 计算机科学与工程学院,南京 210094;南京理工大学 计算机科学与工程学院,南京 210094;南京理工大学 计算机科学与工程学院,南京 210094
【正文语种】中 文
【中图分类】TP242复合托盘
中文引用格式： 汪 佩,郭剑辉,李伦波,等.基于单线激光雷达与视觉融合的负障碍检测算法[J].计算机工程,2017,43(7):303-308.
英文引用格式： Wang Pei,Guo Jianhui,Li Lunbo,et al.Negative Obstacle Detection Algorithm Based on Single Line Laser Radar and Vision Fusion[J].Computer Engineering,2017,43(7):303-308.
近年来,无人车成为热门研究方向。障碍物检测是无人车研究中的一个重要组成部分,无人车行驶的环境主要包括结构化道路(城市街道、高等级公路)和非结构化道路(越野道路)。障碍物主要分为正障碍和负障碍,正障碍指凸起于地面的物体,而负障碍一般指像坑、沟渠、陡峭的下坡这样的场景。由于负障碍位于车载传感器难以测量的地面下方[1],因此一定距离上的负障碍检测仍具有很大挑战。
针对负障碍检测,文献[2]提出基于红外特征的负障碍检测方法。因为负障碍特有的结构有利于保存热量,所以该方法夜晚通过红外相机观测物体温度判断负障碍,但是其受环境因素影响较大,适用于干扰较小的环境。多数的研究人员使用激光雷达检测障碍,在大型车辆上多使用32线或者64线激光雷达,在微小型车辆上多使用加上旋转机械结构的单线激光雷达。文献[1] 提出基于双32线激光雷达的障碍物检测方法,通过特殊的雷达安装方式,使车辆前向激光雷达点密度相比单纯的64线激光雷达点密度大幅提高。在使用3D激光雷达时,通过提出不同的聚类算法、分类器以及训练模型来检测障碍物。比如文献[3]提出一种自然野外场景下的3D雷达数据分类器,文献[4]提出一种闭包标记的负障碍检测方法。以上的研究主要基于大型无人车平台。
通常情况下,单线激光雷达主要应用于前向障碍物检测,比如,文献[5]提出使用单线激光雷达检测道路。在使用单线激光雷达检测负障碍的方法中,提升数据量的做法包括:文献[6]提出使用单线激光雷达加上旋转机械结构采集雷达数据并且使用SVM进行训练,文献[7]同样使用单线激光雷达加上旋转机械结构采集雷达数据并且提出了基于HLD分类器的负障碍检测方法。由于文献[6-7]使用了旋转结构,因此必须采取走停方式采集数据。除此之外,基于多数据融合的障碍物检测也被广泛研究,同样可以用于负障碍检测,比如,文献[8]提出一种联合三维点云分布特征和多光谱特征的检测方法,文献[9]提出一种图像多特征融合的障碍物检测方法。另外,基于双目视觉的障碍物检测也有较多研究。
本文以基于单线激光雷达的道路检测方法为思路,结合负障碍的特有性质,利用小车行进过程
中激光雷达扫描线对地面的覆盖,完成负障碍的检测,该方法不需要小车采用走停方式采集数据,从而提高了小车行驶速度。但单线激光雷达会使小车在继续行驶中丢失目标,如果通过辅助手段来计算小车和障碍物之间的距离,需要解决很多问题,比如车速的控制、路程计算;当小车车轮打滑时,通过轮速装置的解决方法会失效,而通过惯导数据计算速度和路程,也会面临长时间漂移和精度的问题。所以本文通过视觉的方法来跟踪目标,并且将目标在图像中的位置反投影回雷达坐标系中,从而完成两者的数据融合,实现环境感知。
1.1 平台介绍
本文使用的平台为微小型轮式无人车,安装有一台UTM30-LX单线激光雷达,扫描角度270°,0.25°角分辨率,以及一台单目摄像机,还包括陀螺仪、倾角、电子罗盘、GPS等传感器,用于后期的多数据融合。Freedom无人车如图1所示。
1.2 激光雷达和摄像机的联合标定
图2给出了摄像机投影模型和激光雷达坐标,其中,图2(b)中的r表示P点到Z轴的距离。摄像机将图2(a)三维世界坐标系中的点M映射到二维图像的点m,虽然在变换中丢失了距离信息,但
stimulsoft
是对于三维空间中的任一点,只存在唯一像素点与之对应,即由三维空间坐标可以得到唯一的二维图像坐标。由于透视投影以及镜头自身因素,会产生畸变,因此需要进行摄像机的标定。目前摄像机标定有多种成熟的方法,如两步法、三维靶标法、张正友法等。通过标定获得摄像机的内参矩阵和投影畸变系数。本文使用文献[10]的摄像机标定方法,得到摄像机内参矩阵K、畸变系数矩阵kc。
接下来,根据内参矩阵K、畸变系数矩阵kc进行摄像机与激光雷达的联合标定。摄像机的内参矩阵K、畸变系数矩阵kc对于每台摄像机是固定的,摄像机和激光雷达的位置关系在安装结束后,两者之间的旋转平移关系也是固定的。这样就可以将激光雷达点映射到图像上。
通常定义:
λ·m=K·[R|t]·M
其中,矩阵为内参矩阵;(px,py)是基准点;fx,fy是以像素为单位的焦距。内参数对于每台摄像机在焦距不变的情况下都是固定的。旋转-平移矩阵为外参数矩阵,作用是将空间坐标M(X,Y,Z)变换到图像坐标系下。
轴流式压气机针对激光雷达和摄像机的联合标定,文献[11-12]分别提出通过特殊设计的标定板进行标定。文献[13]提出的摄像机和单线激光雷达联合标定的方法只需要普通的棋盘标定板即可完成,具有较高的便利性。使用文献[13]提出的摄像机和单线激光雷达联合标定的方法,利用摄像机的内参矩阵和畸变系数计算出摄像机和激光雷达之间的旋转矩阵R和平移矩阵T。最终得到两者联合标定结果如图3所示。
2.1 常见的负障碍检测理论
在通常情况下,3D激光雷达获得的数据量足够大,所以不论安装方式如何,都能获取较高密度的点分布。如图4所示,一般都使雷达安装高度H尽可能大,以减小盲区。通过计算如L1,L2等扫描线之间的几何关系判别障碍物。
2.2 基于单线激光雷达的负障碍检测
使用激光雷达坐标系,可以将图2(b)的车体坐标系简化成Z=0的雷达坐标系,如图5所示。
这里有:
xi=ri·cos θi
yi=ri·sin θi
其中,为第i个激光点的距离;θi为第i个激光点的角度。
解析雷达数据获取点的坐标后,需要根据坐标位置对数据进行聚类,由于单线激光雷达相比3D激光雷达具有数据量较少的特点,因此使用最近邻聚类算法。算法流程如图6所示。
执行完聚类算法后,可以得到每帧数据中物体位于激光点中的编号范围。这里需要根据不同负障碍的特性使用不同的处理方法,第1种是窨井这样有闭合边界的情形,此时雷达点图形会有明显的凸凹特性;第2种是台阶、沟渠这样可以看成没有闭合边界的情形,此时会有雷达距离跳变较大的情况。
对于第1种情形,获取到第k帧数据Fk后,通过聚类算法得到多个目标O(k,i)(i =1,2,…,n),选中摄像头视野中的目标O(k,i)(i=s,s+1,…,e,s≥1, e≤n),通过计算第k帧数据第i个目标区域点在y方向上的均值:
将相邻区域y方向上均值进行比较,可以判断出该区域的凹凸性,从而判断是否是负障碍。
对于第2种情形,雷达数据在视野中可能没有显著的凹凸性,但是在y方向上具有较大单边跳变,通过实验数据设定阈值,从而判断是否是负障碍。
3.1 目标跟踪算法
目标跟踪是图像处理领域一个重要的研究方向,依据目标与摄像机之间的关系可以分为静态背景下的目标跟踪和动态背景下的目标跟踪。本文在车辆行进过程中进行的检测属于动态背景下的目标跟踪。经典的基于颜的目标跟踪方法中,CamShift方法被广泛使用,其利用目标的颜直方图模型得到每一帧图像的颜投影图,并根据上一帧跟踪的结果自适应调整搜索窗口的位置和大小,从而得到当前图像中的尺寸和中心位置[14]。现在的目标跟踪算法通常结合目标检测并伴随学习过程。文献[15]提出的TLD算法与传统跟踪算法的显著区别在于将传统的跟踪算法和检测方法结合起来解决被跟踪目标在跟踪过程中发生的形变、部分遮挡问题。同时,通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数,从而使跟踪效果更加稳定、鲁棒、可靠。文献[16]提出的Struck算法将跟踪问题转化为一个分类问题并且通过在线学习技术更新目标模型。Struck算法主要提出了一种基于结构数据预测的自适应视觉跟踪框架,通过引入输出空间来满足跟踪功能,
能够避免中间分类环节,直接输出跟踪结果。同时,为防止跟踪过程中支持向量的过增长,还引入了阈值机制,从而保证了实时性。不同于TLD使用整体模型跟踪目标,也不同于光流这样的基于局部的跟踪方法,文献[17]提出的CMT方法利用了特征点来跟踪目标。通过计算前一帧框中的光流,得到当前帧的特征点位置,同时直接计算当前帧的特征点,并与上一帧的特征点进行匹配,得到相匹配的特征点,再将两者的特征点融合在一起。得到下一帧初步的特征点后,对特征点进行筛选。该方法使用特征点进行跟踪,具有较快的速度,并且使用自适应模型,模型实时更新,可以适应目标新的外表特征。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议