基于雷视融合的车辆目标快速检测方法

1.本发明涉及光学传感器与微波传感器交叉融合技术领域，尤其是涉及基于雷视融合的车辆目标快速检测方法。

背景技术：

2.在智能交通系统中，车辆检测与跟踪是实现交通事件行为决策的关键步骤，为后续车辆的决策规划、行为控制等高层任务提供基础支撑，所以必须使用有效的车辆目标检测算法以便更准确地检测并提取出运动目标，从而为后续的识别跟踪打下良好的基础。
3.黄东军等人在其发表的论文“基于改进混合高斯模型的运动物体检测研究”中提出了改进混合高斯模型的方法，对于前n帧采用邻域特性与中值滤波相结合的方法来初始化每个像素点，作为初始背景图像，对后面帧的每个像素点进行混合高斯模型更新匹配，匹配成功则判定像素点是背景点，否则判定为目标点，最后利用邻域特性，根据邻域像素点所属分类的概率决定该像素点的最终所属分类，从而提取出运动目标。该方法存在的不足之处在于若前面n帧中一直存在运动物体，那么在背景构建时离真实背景就会存在偏差，从而会影响像素点的判定结果。其次，由于背景建模是基于颜空间的建模，运动目标的颜与背景颜的高斯背景模型相匹配，会导致颜相近的区域被认为是背景而使目标区域产生部分空洞现象。
4.在视频中对运动车辆最常使用的方法是背景差分法，然而通过背景差分法获取运动车辆目标最为关键的是背景模型的建立，实际交通环境中，场景复杂、环境多变，干扰较多，尤其是当车辆目标颜与背景颜相近时，会出现将目标像素点判定为背景像素点的情况，因此很难估计出真实的背景图像，导致在实际车辆目标提取时，会出现空洞现象。
5.综上，如何在场景环境复杂多变特别是车辆目标颜与背景颜相近情况下，准确识别车辆目标轮廓，解决车辆目标提取时产生的空洞问题，快速准确实现车辆目标的检测是一个具有挑战性的问题。

技术实现要素：

6.本发明目的是提出基于雷视融合的车辆目标快速检测方法，解决复杂场景环境多变情况下，由于背景构建不准确，车辆目标提取时产生空洞现象的问题，进而实现对车辆目标快速准确检测，提升车辆检测精度。
7.本发明的基于雷视融合的车辆目标快速检测方法，包括如下步骤：
8.s1、通过坐标转换将雷达的点云投影到摄像机的图像上，获取雷达探测的点云速度信息在图像上的分布；
9.s2、利用点云速度信息进行区域补偿，为图像内全部像素点赋予速度信息；
10.s3、提取图像中所有像素点的rgb颜分量特征和像素坐标特征；
11.s4、从rgb分量值、坐标位置、速度信息维度对像素点进行聚类，确定聚类中心数k及每个聚类中心的初始聚类中心向量；
12.s5、运用kmeans算法对聚类中心重新聚类，从而实现背景、车辆目标分类；
13.s6、利用聚类结果进行车辆目标提取。
14.进一步的，s1步骤的具体过程如下：
15.s11、对雷达探测的原始点云信息进行预处理，滤除掉非必要杂波，保留目标的多雷达反射点；
16.s12、从时间起点和数据帧两个角度对雷达数据和视频数据进行时间匹配；
17.s13、将匹配后的点云由雷达坐标系转化到像素坐标系，并投影至图像中。
18.进一步的，s2步骤的具体过如下：以点云中每个点为中心，以n*n窗口为邻域，将该点的速度信息赋予在该窗口内的其他像素点；而对于路灯、地面的像素点，则将速度信息补偿为0，从而将图像内全部像素点都被赋予速度信息。
19.进一步的，s4步骤的具体过程如下：取图像中的像素点ui并将其设置为第一个类的中心，然后对图像中其他像素点us的特征向量收敛值按照下式进行相似性判断：
[0020][0021][0022][0023]
式中,分别为像素点ui特征向量归一化后的6个元素；分别为像素点us特征向量归一化后的6个元素；m1,m2,m3均为大于0且可调的阈值；分别为位置距离带宽、速度信息带宽和颜距离带宽；
[0024]
如果满足上式，则将像素点us与像素点ui合并为一类，否则，将像素点us作为一个新的类中心；以此方式继续计算剩下的样本像素点，直到处理完所有的像素点数据，这样即可得将整个场景分成k个类别。
[0025]
进一步的，s5步骤的具体过程为：
[0026]
s51、取每一聚类中心的所有像素点的均值向量uk作为聚类中心向量；即，每一类有多个像素点，分别取每一类中所有像素点的均值向量作为该类聚类中心向量，一共有k个聚类中心向量；
[0027]
s52、计算聚类中心中每一像素点u
t
与所有均值向量uk的欧式距离min(p)，若像素点u
t
与第p个聚类中心的均值向量距离最近，则将u
t
归属到第p个聚类中心；
[0028]
min(p)＝||u
k-u
t
||
[0029]
s53、重复s51-s52，直至相邻轮次的聚类中心向量重合；
[0030]
s54、将聚类后结果进行显示。
[0031]
与现有技术相比，本发明具备如下优势：1)相比于传统使用背景差分进行车辆检测的方法，解决了在环境场景复杂多变和运动目标颜与背景颜相近情况下，背景构建无法贴合实际真实背景，造成车辆目标提取时产生的空洞问题；2)本发明通过雷视特征融合，将场景分成不同的类别，从而提取出车辆运动目标。相比传统仅依靠像素点的灰度值进行场景分类的算法，解决了在车辆像素点灰度值与背景像素点灰度值接近的情况下，背景
和目标无法准确分离的问题；3)本发明可利用单帧实现车辆目标检测，一定程度上提升了车辆检测效率；4)本发明利用了不同传感器的信息进行融合互补，可以全方位、全维度地描述每个像素点的状态信息，克服了单维特征考量的片面性，提高了车辆目标提取的准确性。
附图说明
[0032]
图1为本发明基于雷视融合的车辆目标快速检测方法流程图；
[0033]
图2为摄像机在真实环境采集到的第25帧图像和第50帧图像；
[0034]
图3为毫米波雷达对应摄像机第25帧和第50帧探测的目标原始点云经过数据预处理后的图像；
[0035]
图4为基于雷视融合的第25帧和第50帧聚类效果图；
[0036]
图5为对第25帧图像用本发明方法的车辆目标检测结果和使用混合高斯背景建模的车辆检测结果对比；
[0037]
图6为对第50帧图像用本发明方法的车辆目标检测结果和使用混合高斯背景建模的车辆检测结果对比；
[0038]
图7为采集的前100帧图像中两种不同算法的漏检率、误检率对比图。
具体实施方式
[0039]
下面结合附图对本发明的实施例及效果作进一步详细描述。
[0040]
如图1所示，本发明从雷视融合的角度出发，利用毫米波雷达测速较准的优势，通过雷达数据和光学数据融合，实现背景与目标的准确分离，然后对其中的车辆目标进行提取实现单帧的车辆目标快速检测。
[0041]
s1、获取雷达探测的目标点云速度信息在图像上的分布。
[0042]
s11、首先对雷达探测的原始点云信息进行预处理，滤除掉非必要杂波，保留目标的多雷达反射点。图3为第25帧和第50帧毫米波雷达探测的目标原始点云经过数据预处理后的图像，由于雷达点云具有稀疏性和不确定性，不同类型车辆目标的反射点数不一样。
[0043]
s12、时间匹配。毫米波雷达和视频在时间方面的匹配主要分为两个部分，时间起点上的对齐和数据帧之间的对应。在采集数据时，需要对雷达和视频设备启动时间进行标记输出，作为后续时间起点对齐的参考数据。在时间起点对齐后，根据雷达和视频设备采集数据的帧率对两者数据帧进行匹配。雷达刷新率为20帧/秒，视频帧率为60帧/秒，由于视频采集率大于雷达采集率且为整数倍，因此，在采集雷达数据的时间戳上每间隔2帧对视频数据进行采样，以达到时间帧上的匹配。
[0044]
s13、空间匹配。雷达检测到目标的径向距离s，角度为r。
[0045]
(1)目标在雷达坐标系xryr的坐标表示为：
[0046]
xr＝s
·
sin(r),yr＝s
·
cos(r)；
[0047]
(2)目标由雷达坐标系转换到世界坐标系x
wywzw
的坐标表示为：
[0048]
xw＝xr,yw＝yr,zw＝0；
[0049]
(3)目标由世界坐标系转换到像素坐标系uv的坐标表示为：
[0050][0051]
式中，r为旋转系数矩阵；t为平移系数矩阵；m1为相机的内部参数矩阵，可通过张正友标定法获取；m2为相机的外部参数矩阵，可通过平移和旋转操作可获取。由下列公式和数据调试可知，在摄像机坐标系xcyczc下，由于雷达和摄像机设备基本处于同一位置，因此数据仅偏移了一个微弱的角度。其中，ω为旋转角度，x',y'为偏移量。
[0052]
xc＝xwcos(ω)-ywsin(ω)+x'
[0053]
yc＝xwcos(ω)+ywsin(ω)+y'
[0054]
zc＝zw[0055]
通过上述过程，可以将雷达预处理后点云信息在像素坐标系中显示。
[0056]
s2、利用雷达采集到的点云速度信息进行区域补偿，为图像内全部像素点赋予对应的速度信息。
[0057]
雷达探测到的关于目标车辆的原始点云带有速度信息，可以通过空间补偿，以每个点为中心，以n*n窗口为邻域，将该中心点的速度信息赋予在该窗口内的其他像素点。而对于路灯、地面等属于背景范围内的像素点可以将速度信息补偿为0，这样图像内全部像素点都被赋予了对应的速度信息。
[0058]
s3、提取图像rgb颜分量特征和空间位置特征。
[0059]
s31、在rgb彩空间，空间中的点越接近，这些点所代表的颜越相似。通过把rgb彩空间中比较接近的点划分为一类，距离较远的点划分为不同类，从而在图像分割后呈现出的是颜相同或相近的区域被划分为同一类，颜差异很大的区域被划分为不同的类。我们对图像进行处理后可获取图像中每一个像素点的r、g、b值。
[0060]
s32、图像都是由像素组成的，像素坐标是像素在图像中的位置。要确定像素的坐标，首先要确定图像的坐标系。因此，以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。这样我们可获得每个像素点的坐标信息。
[0061]
s4、确定聚类中心数k和k个初始聚类中心向量。
[0062]
根据rgb分量值、坐标位置、速度信息这五个维度特征信息进行融合，共同张成一组特征向量，每个像素点的特征向量表示为ui＝[xi,yi,vi,ri,gi,bi]。对每个像素点的特征向量值进行归一化得到那么将图像中全部像素点组成一个样本空间{1，2，3...n}。先取第一个样本像素点ui，作为第一个类的中心。然后，对样本空间中的其他样本像素点us的特征向量收敛值按照下式进行相似性判断：
[0063][0064]
[0065][0066]
式中,为像素点ui归一化后的元素；为像素点us归一化后的元素；m1,m2,m3均为大于0且可调的阈值；分别为位置距离带宽、速度信息带宽和颜距离带宽。
[0067]
如果满足上式，则将像素点us与像素点ui合并为一类，否则，将像素点us作为一个新的类中心。以此方式继续计算剩下的样本像素点，直到处理完所有的像素点数据，这样即可得将整个场景分成k个类别。
[0068]
s5、运用kmeans算法实现背景、目标分类。
[0069]
s51、取每一聚类中心的所有像素点的均值向量uk作为聚类中心向量；即，每一类有多个像素点，分别取每一类中所有像素点的均值向量作为该类聚类中心向量，一共有k个聚类中心向量；
[0070]
s52、计算聚类中心中每一像素点u
t
与所有均值向量uk的欧式距离min(p)，若像素点u
t
与第p个聚类中心的均值向量距离最近，则将u
t
归属到第p个聚类中心；
[0071]
min(p)＝||u
k-u
t
||
[0072]
s53、重复s51-s52，直至相邻轮次的聚类中心向量重合；
[0073]
s54、将上述步骤中属于同一类的像素点赋予相同的值。这样我们可以得到所有像素点的类别，并进行显示，为了方便看出效果，令同一类簇使用相同的颜表示。图4中同一类用同颜表示，可以看出，草地类、车道线类、地面类共同构成了该场景中的背景，车身类、车窗类共同构成了车辆目标。
[0074]
s6、利用聚类结果进行车辆目标提取。
[0075]
通过步骤s5可以将场景细化为不同的类别，背景细化为了草地类、车道线类、地面类，将这些类别进行聚合统一用一个颜表示，贴近最真实的道路背景，将其中由车身类和车窗类组成的车辆目标从场景中提取出来，实现单帧的车辆目标快速检测。
[0076]
如图2至图7所示的具体实施例中，图2为真实环境中获取的第25帧、第50帧的图像；图3为这两帧雷达探测的原始点云数据进行预处理后的结果，由于雷达点云具有稀疏性和不确定性，不同类型车辆目标的反射点数不一样；图4为通过步骤s5获得的基于雷视融合的聚类效果图，从图中可以看出将整个场景分成了5类，同一类用同颜表示，利用雷达视频融合很好的将目标像素点与背景像素点分开，方便后续更好的提取车辆目标；图5左为使用混合高斯背景建模的车辆目标检测结果，可以看出，由于背景颜和车身颜相近，在背景构建导致颜相近的区域被认为是背景而使车辆目标区域产生部分空洞现象，图5右为本发明方法的车辆目标检测结果，可以看出，本发明使用方法可以很好的分清目标像素点和背景像素点，大大降低了车辆目标提取时的空洞现象。同理，图6左为使用混合高斯背景建模的车辆目标检测结果，可以看出，该车辆目标提取时出现大量空洞现象，造成车辆目标的漏检，图6右为本发明方法的车辆目标检测结果，可以看出，本发明使用方法可以很好的提取该车辆目标。图7为采集的前100帧图像中两种不同算法的漏检率、误检率对比图。
[0077]
本文通过计算比较漏检率r
fn
和错检率r
fp
来评估所提算法的有效性。
[0078][0079]
式中，tp表示正确的目标像素点数目；fp表示误检的目标像素数目；tn表示正确背景像素数目；fn表示误检的背景像素数目。
[0080]
统计真实环境中的前面100帧来验证算法准确率。将两种算法的数据绘成折线图以方便比对，比对结果如图7所示，可以看出本发明的车辆检测方法平均漏检率、平均误检率均低于gmm混合高斯模型的目标检测方法，大大减少了车辆提取时所产生的空洞现象，提升了车辆检测精度。
[0081]
以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。

技术特征：

1.基于雷视融合的车辆目标快速检测方法，其特征在于，包括：s1、通过坐标转换将雷达的点云投影到摄像机的图像上，获取雷达探测的点云速度信息在图像上的分布；s2、利用点云速度信息进行区域补偿，为图像内全部像素点赋予速度信息；s3、提取图像中所有像素点的rgb颜分量特征和像素坐标特征；s4、从rgb分量值、坐标位置、速度信息维度对像素点进行聚类，确定聚类中心数k及每个聚类中心的初始聚类中心向量；s5、运用kmeans算法对聚类中心重新聚类，从而实现背景、车辆目标分类；s6、利用聚类结果进行车辆目标提取。2.根据权利要求1所述的车辆目标快速检测方法，其特征在于，s1步骤的具体过程如下：s11、对雷达探测的原始点云信息进行预处理，滤除掉非必要杂波，保留目标的多雷达反射点；s12、从时间起点和数据帧两个角度对雷达数据和视频数据进行时间匹配；s13、将匹配后的点云由雷达坐标系转化到像素坐标系，并投影至图像中。3.根据权利要求1所述的车辆目标快速检测方法，其特征在于，s2步骤的具体过如下：以点云中每个点为中心，以n*n窗口为邻域，将该点的速度信息赋予在该窗口内的其他像素点；而对于路灯、地面的像素点，则将速度信息补偿为0，从而将图像内全部像素点都被赋予速度信息。4.根据权利要求1所述的车辆目标快速检测方法，其特征在于，s4步骤的具体过程如下：取图像中的像素点u
i
并将其设置为第一个类的中心，然后对图像中其他像素点u
s
的特征向量收敛值按照下式进行相似性判断：向量收敛值按照下式进行相似性判断：向量收敛值按照下式进行相似性判断：式中,分别为像素点u
i
特征向量归一化后的6个元素；分别为像素点u
s
特征向量归一化后的6个元素；m1,m2,m3均为大于0且可调的阈值；分别为位置距离带宽、速度信息带宽和颜距离带宽；如果满足上式，则将像素点u
s
与像素点u
i
合并为一类，否则，将像素点u
s
作为一个新的类中心；以此方式继续计算剩下的样本像素点，直到处理完所有的像素点数据，这样即可得将整个场景分成k个类别。5.根据权利要求1所述的车辆目标快速检测方法，其特征在于，s5步骤的具体过程为：s51、取每一聚类中心的所有像素点的均值向量u
k
作为聚类中心向量；即，每一类有多个像素点，分别取每一类中所有像素点的均值向量作为该类聚类中心向量，一共有k个聚类中心向量；
s52、计算聚类中心中每一像素点u
t
与所有均值向量u
k
的欧式距离min(p)，若像素点u
t
与第p个聚类中心的均值向量距离最近，则将u
t
归属到第p个聚类中心；min(p)＝||u
k-u
t
||s53、重复s51-s52，直至相邻轮次的聚类中心向量重合；s54、将聚类后结果进行显示。

技术总结

本发明公开了基于雷视融合的车辆目标快速检测方法，首先，将毫米波雷达经过预处理后的点云信息映射到图像像素坐标系中，得到雷达探测到的目标点云速度信息在图像上的分布；其次，利用雷达采集到的点云速度信息进行区域补偿，为图像内全部像素点赋予对应的速度信息；然后，提取图像所有像素点的RGB分量值和每个像素点在图像上的坐标位置信息，接着对RGB分量值、坐标位置、速度信息这五个维度特征信息进行融合，共同张成一组特征向量，确定聚类中心数K和K个初始聚类中心向量，再运用Kmeans算法实现像素点云聚类，分离目标像素点与背景像素点，并输出分类后结果；最后，对分类结果进行车辆目标提取，实现单帧车辆快速检测。实现单帧车辆快速检测。实现单帧车辆快速检测。