刘祯; 罗健欣; 潘志松
【期刊名称】《《微型机与应用》》
【年(卷),期】2019(038)010
【总页数】5页(P40-44)
【关键词】自动驾驶; 雷达点云; 投影处理; 目标检测
【作 者】刘祯; 罗健欣; 潘志松
【作者单位】陆军工程大学指挥控制工程学院 江苏南京210007
工业数据采集控制【正文语种】中 文
【中图分类】TP181
0 引言
人类生活在一个三维的空间，正如双耳效应与双目深度存在的必要性，耳朵和眼睛均是成双来感知这个三维世界。单一的二维图像本身就缺乏一个维度信息，使其难以应用于更全面的环境感知领域以及许多相关实际应用，例如自动驾驶与机器人技术。然而，直接的三维检测由于维度的提升，导致变量显著增多，因此存在运算速度慢、检测精度低等一系列问题。
点云的利用，对自动驾驶而言相当重要，其主要体现在对普通的RGB相机的优势：(1)能够获取与RGB相机一样的环境信息;(2)获取所需研究对象的位置信息;(3)由于雷达点云通常位于汽车顶部的最高位置，因此在某种程度上减轻了遮挡问题。利用点云数据存在的劣势显而易见：点云是稀疏的，单独的一个个点云研究显得毫无意义，难以直接处理，但彼此又有所关联，因此不能单纯地分开处理。所以，考虑使用聚类或投影方法来处理点云。 1 相关工作
在自动驾驶方面，3D点云可以提供比2D图像更多的几何信息，因此对3D点云中的对象的姿势进行预计，往往比2D图像中的估计更准确。三维点云对象识别已逐渐成为新的研究方向，并已广泛应用于机器人导航、虚拟现实、人机交互、场景理解、激光遥感测量等多个 领域。而最具代表性的应用，就是自动驾驶方面。
1.1 点云识别研究现状
大多数方法[1-3]用体素网格表示编码3D点云。3DVP[4]引入了3D体素模式，并采用一组ACF检测器进行2D检测和3D姿态估计。3DOP[5]从立体图像重建深度，并使用能量最小化方法生成3D选框提议，然后利用R-CNN[6]训练。VoxelNet[7]是一种3D检测网络，其将特征提取和边界框预测统一到单个阶段的端到端可训练深度网络中。它将点云划分为等间距的3D体素，并通过新引入的体素特征编码(VFE)层将每个体素内的一组点转换为统一的特征表示。通过这种方式，点云被编码为描述性体积表示，然后将其连接到RPN以生成检测。
文献[2]将点云投射到前视图，获得2D点图。LMNet[8]同样是使用前视图投影方式，达到了非常快的速度，可以看作VeloFCN的改进版本。MV3D[9]提出了多视图3D网络，这是一种感知融合框架，它将LIDAR点云和RGB图像作为输入并预测定向的3D边界框。MV3D使用紧凑的多视图表示对稀疏3D点云进行编码，并设计深度融合方案，以组合来自多个视图的区域方式特征，并实现不同路径的中间层之间的交互。Complex-YOLO[10]是仅在点云上
的先进的实时3D物体检测网络，利用鸟瞰图来进行识别。它通过特定的复杂回归策略来估计笛卡尔空间中的多类3D框，是一个扩展YOLOv2的网络[11-12]。Complex-YOLO使用特定的Euler-Region-Proposal Network(E-RPN)[10]通过向回归网络添加虚数和实数分数来估计对象的姿态。
1.2 点云的鸟瞰图表示
有的工作将3D LIDAR点云编码为3D网格[1,13]或前视图[2]。根据MV3D[9]的思想，首先讨论点云的鸟瞰图投影。类似于制作带有等高线的地形图，为了保留更多的垂直方向的信息，可以将点云按照一定高度切割后再投影。
将投影点云分辨率设置为0.1 m，投影得到的每个像素的复制值只考虑高度。将点云按照高度值平均分为12个切片(测试起见，简单地设定x,y,z如下：x∈[0,20 m],y∈[-10 m,10 m],z∈[-2 m,2 m]，即前后设置为0～20 m，左右距离均为10 m，高度范围为-2～2 m，每隔0.3 m切片)。为每个切片计算高度图，可获得12个高度图(图1(a))。当然也可以按照图1(b)所示的方式，直接得到整个点云的鸟瞰图。
图1 点云的鸟瞰图
1.3 点云的前视图表示
根据点云的特征和获取方式，激光雷达从中间向外围分散获取点云数据。考虑到点云获取方式类似灯光照射，而灯光照射下会产生大量阴影，点云的获取也存在许多遮挡问题。将点云按照获取的路径重新投影回来，不考虑缺失的遮挡内容，可以更好地恢复当时的道路状况。同样，考虑人类驾驶员主要通过窗户玻璃的曲面获取道路信息，在前期处理中，将点云投影到弧面上以替换前视图，如图2所示，改进的前视图投影后，行人的特征得到了很好的保留。
图2 雷达点云的360°前视图投影
S
x
y
玻璃热转印
7705acz
蓝牙门禁
S
f
x
f
y
f棉花糖制造机
[9]
xf=⎣atan2(y,x)/m」
(1)
(2)
图2中，按距离标记颜，从近到远，从深红到蓝紫。点云的缺失部分标记为白(根据实际使用情况，也可以标记为黑)。
2 投影新方法——中视图投影
大多工作的点云投影处理，使用俯视图(鸟瞰图)。显而易见，鸟瞰图可以很好地获得物体的位置信息，但对行人识别的准确性却不能令人满意。
2.1 现有点云投影分析
对于鸟瞰图投影，显而易见，鸟瞰图投影很适合汽车等大物体的识别。虽然使用鸟瞰图可以轻松识别车辆信息，获取到想要的汽车位置信息，但是针对行人等小目标的精确识别，单纯的鸟瞰图难以实现。相比于鸟瞰图的直接投影，分割切片的方法在一定程度上更详细地反映了高度信息，但依旧解决不了相关问题。
前视图很好地保留了点云的信息，使行人和车辆的识别特征更加明显，还可以通过限制投影角度来限制与扩大视野。前视图投影存在的问题也比较明显：(1)运算量要比普通投影大很多；(2)与RGB相机视角重复，没有发挥点云优势；(3)虽然在一定程度上保留了距离要
素，但是相关数据的压缩过大。
2.2 中视图投影
受传统物体三个视图(主视图、侧视图、俯视图)的启发，为了提高投影点云的利用率，提高识别精度，保留物体在车辆行驶方向上的位置信息，同时更好地与RGB照片结合利用，作为雷达点云投影的补充，本文提出点云的中视图投影。
中视图投影是基于侧视图进行的改进，可用于提高投影方法的准确性、物体识别和定位精度。将车辆的行驶前进方向作为投影平面(中心平面，如图3所示)，根据侧视图的思想，将两边的点云投射到中心平面获得点云的中间视图，选择用点云y方向(车辆两侧方向)的值编码像素值，投影后的点的像素值如下：
P(xc,yc)=y,xc=x,yc=z
(3)
其中，x,y,z是点云坐标，xc,yc是中心投影后的坐标。这样保留了点云y方向的数据的同时，
最大程度上突出点云x方向(车辆前进方向)的数据。而且，点云x方向正是RGB相片所缺失的方向。
图3 中视图投影方法示意图
当然，还可以通过改变两侧投影的宽度(y方向数值范围)以获取更多详细信息。相应地，宽度越大，获得的点云数量越多，但干扰的背景云越多。可以根据适当的驾驶场景选择适当的点云投影范围。针对干扰问题，特别是路边墙壁与路灯等建筑对投影的较大干扰，本文提出了一种解决方案：两侧分别投影。如图4所示，在选取范围内全投影的同时，还可以分别针对前进中轴面(中视图的投影平面)左右两侧进行投影。
图4 中视图投影
更一般地，受到ComplexYolo[10]的启发，用三种值(距离y，反射r，高度z)编码RGB，可以尽可能地保留更多点云信息：
Q(xc,yc)=(y,z,r), xc=x, yc=z
(4)
其中，Q是投影后图片每个像素对应的RGB值，xc,yc是中心投影后的坐标。
2.3 中视图投影分析
单一地通过RGB进行图片识别，由于低维度的限制以及遮挡的问题，在汽车行进方向上存在很大的盲区。同样地，前视图和鸟瞰图投影也存在汽车行进方向和垂直方向维度缺失的问题，这些在中视图投影中得到了解决。由于与RGB照片的互补性，可以将两者进行结合，使得识别更精确，对数据利用更充分。
中视图投影作为本文提出的新投影方法，在理论上和实际操作时，也会遇到一些问题。由于点云的稀疏性，通过距离y、反射r、高度z编码RGB数值，在重新读取时有小概率出现空白的现象。解决方案可以将其读取范围扩大一个像素点，也就是将感受野扩大，从1个像素点拓展到9个。另外，若是选择左右侧单投影的方式，处在投影平面位置的物体点云会出现残缺。
综上所述，中视图投影有以下优点：(1)解决了鸟瞰图的行人等目标的识别困难问题；(2)最大程度地保留了RGB相机缺乏的维度数据，可以更好地在自动驾驶中应用；(3)本来的侧视图遮挡问题，可以按照所需要的左右两侧分投影解决，保留更详细的点云数据。
3 实验
3.1 数据预处理
实验在KITTI[14-15]的训练集T上进行，在训练之前对点云数据进行预处理。首先需要确定点云的范围，选择合适的投影区间。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议