一种基于改进SECOND网络的点云目标检测方法

一种基于改进second网络的点云目标检测方法
技术领域
1.本发明属于三维目标检测技术领域，具体为一种基于改进second网络的道路目标检测方法。

背景技术：

2.随着基于激光雷达的3d采集技术快速发展，三维数据的应用越来越广泛，包括自动驾驶、机器人技术、遥感和医疗等领域。因为可以提供丰富的几何、形状和比例信息，作为对二维图像的补充，三维数据为环境感知提供了更多信息。因为其保留了三维空间中的原始几何信息，可以高精度地识别物体的位置、大小、方向和类别等结果，因此基于三维点云数据的三维目标检测对于激光雷达系统至关重要。同时，随着存储技术和计算机算力的飞速提升，深度学习方法由于其高精度高鲁棒性，在包括目标检测等领域逐渐成为主流的选择。
3.目前，基于深度学习来进行三维目标检测的方法种类很多，主要可以划分为基于点的方法，基于视图的方法与基于体素的方法。基于点的方法根据每个点的特征来进行目标识别，经典的是通过pointnet结构，即多层感知机学习逐点特征并通过最大池化提取全局形状特征。优点是保留了点的原始空间信息，但是缺点是点云中点的数量庞大，造成此种方法运算消耗较大。基于视图的方法，通过把三维图像按照某个维度压缩到二维，来把三维问题转化为二维问题，方法简单计算轻便，但是丢失了三维的空间信息。基于体素的方法通过把点云图像划分为规则的体素，然后通过三维卷积直接对体素进行处理，但是消耗计算资源较大，限制了体素的分辨率。
4.可见，基于深度学习的三维目标检测方法尽管已经取得了显著进展，但是由于点云数据庞大的搜索空间、不规则性和稀疏性，使其在难例处理和判别性特征学习上仍有着困难存在。

技术实现要素：

5.为解决上述问题，本发明提出了一种基于改进second网络的点云目标检测方法，通过构建了引入体素内部空间位置信息的体素特征编码器，增加了各体素特征所包含的空间语义信息。进一步，通过向骨干网络中引入残差多路卷积(resnext)模块，强化了网络提取特征的能力，从而提高了网络对于点云目标检测的识别能力与难例检测准确率。
6.本发明的技术方案：
7.一种基于改进second网络的点云目标检测方法，步骤如下：
8.步骤1：获取待检测道路目标的三维点云数据；
9.步骤2：对步骤1中得到的三维点云数据进行数据的预处理，按照相同的大小对步骤1中所得到三维点云数据中的点云范围进行裁剪并划分，得到新的三维点云图，该三维点云图保持原本的各点相对空间位置，不同的是各点被分别划分给了不同的体素；
10.步骤3：通过引入各体素内部的各点空间位置信息，将其编码到对应的点特征信息
中，构建体素特征编码器；对步骤2中各体素内的点进行编码并使用现行层特征整合，得到代表各体素的特征张量，获得三维特征图；
11.步骤3.1：对三维点云图中的每个体素的几何空间中心点坐标进行计算，得到各体素对应的三维坐标c
voxel
；
12.步骤3.2：以体素为单位，计算体素内的每个点与其对应体素的空间位置中心c
voxel
的坐标差值c
offset
；
13.步骤3.3：为获取点与体素的相对空间信息，对体素中各点与其对应的体素空间中心点坐标的欧几里得距离进行计算，得到各点到中心点的距离c
euclidean
，其特征维度为1维；
14.步骤3.4：使用上述步骤中得到的新的特征：各体素对应的三维坐标c
voxel
、各点与其对应体素的空间位置中心的坐标差值c
offset
、各点到中心点的距离c
euclidean
，对体素中各点的特征维度进行扩充；在步骤1中获得的三维点云数据中，每个原始点的特征f包含三维坐标和反射强度共四个维度，现对其进行扩充，按照c
euclidean
，c
voxel
，f，c
offset
的顺序，在特征维度上对各特征进行拼接，得到新的张量f
‘
作为点的新的特征；
15.步骤3.5：将扩充的特征f
‘
经过线性层、批归一化层和线性整流函数来进行特征的整合，并将计算结果在体素张量的点维度上进行最大池化，得到每个体素中各点的最大值来代表各体素的高维特征，用于后续网络进行提取特征操作；
16.步骤4：为适应点云的数据稀疏性，提高计算的效率与速度，使用稀疏卷积构建稀疏卷积网络，对步骤3中得到的体素构成的三维特征图做三维卷积运算来提取空间特征，并对运算得到的稀疏特征图使用z轴方向压缩，压缩到二维的俯视特征图；
17.步骤5：为了在二维的俯视特征图上有效的进行提取特征，引入残差多路卷积模块构建二维卷积神经网络，在步骤4得到俯视特征图中进行特征提取，得到包含不同尺度信息的二维特征图；
18.步骤5.1：对步骤4中得到的二维俯视特征图进行降维卷积来减小计算量，得到尺寸保留原大小，维度变为原来一半的特征图f1；
19.步骤5.2：引入残差多路卷积网络resnext结构，将普通卷积替换为残差多路卷积，构建残差多路卷积模块来对特征图f1进行多次提取特征，得到与输入特征图f1同等尺寸与维度的特征图f2；
20.步骤5.3：为了得到分辨率更低且维度更高的特征图，对特征图f2进行二倍卷积升维下采样，并再次使用步骤5.2中同样的方法，构建残差多路卷积模块对其进行多次提取特征，得到下采样后的特征图f3；
21.步骤5.4：使用转置卷积，对特征图f3进行二倍上采样，得到与输入特征图f3尺寸和维度相等的特征图，并将其与特征图f2进行通道维度上的拼接，以得到特征图f4，并对特征图f4进行批归一化、线性整流函数处理得到的二维特征图用于后续检测头回归运算；
22.步骤6：基于步骤5所得二维特征图，使用rpn网络锚检测头进行分类和回归，得到预测框、方向与类别。
23.本发明的有益效果：通过本发明设计的基于改进second的三维目标检测方法，可以解决点云三维目标检测中存在的体素空间信息缺失导致的不同类别精度差异较大和难例检测效果不佳的问题，显著提高了难例检测准确率。本发明有助于三维目标检测算法在激光雷达系统上的应用，进一步为自动驾驶等基于激光雷达的三维点云目标检测系统提供
了技术支撑。
附图说明
24.图1为本发明的方法流程图。
25.图2为一张典型的三维点云图像样本。
26.图3为本发明所实现的基于resnext结构的rpn骨干网络的网络结构图。
具体实施方式
27.下面结合附图及技术方案对本发明的具体实施方式做进一步详细说明。
28.以图2所代表的道路三维点云图像样本为例，对三类主要道路目标利用深度学习技术进行检测和识别，包括边框回归和种类检测。三种类别为汽车(car)，自行车(cyclist)，行人(pedestrian)。
29.步骤1：使用德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办、目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集kitti，获取道路目标的三维点云数据，数据种类包括训练集和测试集，数据类型包括txt格式的校准(calib)文件、标签(label)文件，png格式的图像文件，以及bin格式的点云数据文件；
30.步骤2：对步骤1所述三维点云图像数据进行数据的预处理。
31.步骤2.1：对该点云图像的范围进行裁剪，将不规则的三维空间裁剪成宽为70.4米，长为80米，高为4米的空间。
32.步骤2.2：对经过裁剪的规整点云数据进行数项特征增强操作，包括：以x轴为轴的随机全局翻转，以角度[-π/4，π/4]为范围的随机全局旋转，以及以[0.95,1.05]倍为范围的随机全局放缩。
[0033]
步骤2.3：对经过如上数据预处理的点云图像数据进行体素化(voxelization)处理。按照相同且固定的大小：长宽都为0.05米，高为0.1米，对如上所述经过处理的三维点云图像进行划分，得到仍保持原本的相对空间位置的相同大小的体素堆叠在一起组成的体素化三维点云图；
[0034]
步骤3：构建体素特征编码器，对步骤2中所述各体素内点信息进行编码，得到代表各体素的特征张量，获得三维的特征图。以下步骤将详细介绍该编码器具体操作：
[0035]
步骤3.1：首先，由各体素的索引值以及体素的长宽高，对每个体素的几何空间中心点坐标进行计算，得到其相对于坐标系的三维坐标c
voxel
；
[0036]
步骤3.2：对于各个体素中包含的每个点，由各个点的三维坐标与其对应体素的空间中心点坐标c
voxel
在三个坐标轴方向上的各维度的偏差值进行计算，用点的坐标值减去对应的体素中心点坐标值，得到计算结果作为c
offset
；
[0037]
步骤3.3：再对体素中各点距离对应体素空间中心点的欧几里得距离进行计算。使用欧式距离计算公式，由上述步骤计算得到的c
offset
进行平方和相加再开方运算，得到各点到其对应体素的中心点的距离c
euclidean
；
[0038]
步骤3.4：对体素中各点的特征维度进行扩充。原本点的特征f包含三个坐标轴对应的三个坐标以及反射强度特征共四个维度，现在按照c
euclidean
，c
voxel
，f，c
offset
的顺序，在特征维度上对各特征进行拼接，从而得到新的扩充维度的特征张量f
11
作为该点的新的特
征；
[0039]
步骤3.5：将上述的各点经过扩充丰富后的特征f
11
经过线性层、批归一化层和线性整流函数，以在各体素的内部进行特征整合，并将结果在体素内的特征维度上进行最大池化，得到代表各体素的高维特征来作为该体素对应的特征向量，用于后续网络进行提取特征等操作。
[0040]
步骤4.1：使用稀疏卷积(sparse convolution)与子流形卷积(submanifold convolution)，构建三维稀疏卷积中间提取层，对步骤3所述得到的三维特征图做三维的特征提取。
[0041]
步骤4.2：对运算得到的稀疏特征图，将提取出的点云稀疏特征转换到二维的鸟瞰图视角上，首先将稀疏特征转换为体素特征的格式，然后在z轴方向使用高度压缩，将该三维的特征图压缩，转换成俯视的二维特征图形式；
[0042]
步骤5：构建二维卷积骨干网络，在步骤4所述俯视特征图中进行提取特征，获得包含不同尺度信息的二维特征图，以便用于后续的分类与回归。以图3所代表的网络结构图为例，以下将作具体步骤详细说明：
[0043]
步骤5.1：首先，对上述所得二维的俯视特征图进行降维卷积，得到尺寸保留原尺寸大小，而维度变为原来一半的二维特征图f1；
[0044]
步骤5.2：引入resnext结构，构建残差多路卷积模块。模块的设计遵循了分割-转换-合并的模式，具体步骤如下：首先，模块的输入为形状为(batch，channel，width，height)的二维特征图，首先对其进行一次降维卷积，该卷积输出维度设定为输入维度的一半，卷积核以及步幅为1，并在卷积后跟随批归一化处理。随后，对输出再进行一次卷积，该次卷积为分组多路卷积，将输入特征图分为多个支路，每个支路同时且分别独立地进行相同的卷积。每一个分支都采用相同的拓扑结构来对特征图进行多次提取特征，并将结果在通道维度上连接起来，然后得到整合的二维特征图，并对其进行批归一化处理。最后，对该特征图再进行一次卷积计算，该卷积对中间维度的特征图在通道维度上进行升维，将其还原到模块的输入维度，并进行批归一化处理，从而得到最终与输入特征图同等尺寸与同等维度的二维特征图；
[0045]
步骤5.3：利用上述的残差多路卷积模块，对上述特征图f1进行多次提取特征，得到原尺寸的二维特征图f2。然后对该特征图f2进行二倍卷积升维下采样，得到分辨率更低且维度更高的特征图，并再次使用残差多路卷积模块对其进行多次提取特征，得到下采样后的特征图f3；
[0046]
步骤5.4：使用转置卷积，对上述经过残差多路卷积模块进行提取特征之后的特征图f3进行二倍卷积上采样，并保持输出维度不变，从而得到与原输入尺寸相等且维度相等的特征图；同时，对上述特征图f2也进行转置卷积升维操作，得到与原输入尺寸相等且维度相等的特征图；将本步骤所述得到的两个特征图进行通道维度上的拼接，以得到特征图f4，并对特征图f4进行批归一化、线性整流函数等处理，从而获得本骨干网络的最终输出，用于后续步骤中的目标检测与回归操作。
[0047]
步骤6：基于步骤5所得经过骨干网络进行提取特征的二维特征图，采用锚点检测头(anchorhead)进行分类和回归，得到预测结果。如图一中detecthead部分所示，预测的内容包括了预测框的回归，对应的种类，以及框的方向。对步骤5中得到的二维特征图首先进
行一次降维卷积，从512维降到64维，然后分别对这个卷积结果进行三个不同的卷积核为1x1大小的卷积运算，以得到候选框、种类、方向这三个不同的预测目标。
[0048]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：

1.一种基于改进second网络的点云目标检测方法，其特征在于，步骤如下：步骤1：获取待检测道路目标的三维点云数据；步骤2：对步骤1中得到的三维点云数据进行数据的预处理，按照相同的大小对步骤1中所得到三维点云数据中的点云范围进行裁剪并划分，得到新的三维点云图，该三维点云图保持原本的各点相对空间位置，不同的是各点被分别划分给了不同的体素；步骤3：通过引入各体素内部的各点空间位置信息，将其编码到对应的点特征信息中，构建体素特征编码器；对步骤2中各体素内的点进行编码并使用现行层特征整合，得到代表各体素的特征张量，获得三维特征图；步骤3.1：对三维点云图中的每个体素的几何空间中心点坐标进行计算，得到各体素对应的三维坐标c
voxel
；步骤3.2：以体素为单位，计算体素内的每个点与其对应体素的空间位置中心c
voxel
的坐标差值c
offset
；步骤3.3：为获取点与体素的相对空间信息，对体素中各点与其对应的体素空间中心点坐标的欧几里得距离进行计算，得到各点到中心点的距离c
euclidean
，其特征维度为1维；步骤3.4：使用上述步骤中得到的新的特征：各体素对应的三维坐标c
voxel
、各点与其对应体素的空间位置中心的坐标差值c
offset
、各点到中心点的距离c
euclidean
，对体素中各点的特征维度进行扩充；在步骤1中获得的三维点云数据中，每个原始点的特征f包含三维坐标和反射强度共四个维度，现对其进行扩充，按照c
euclidean
，c
voxel
，f，c
offset
的顺序，在特征维度上对各特征进行拼接，得到新的张量f
‘
作为点的新的特征；步骤3.5：将扩充的特征f
‘
经过线性层、批归一化层和线性整流函数来进行特征的整合，并将计算结果在体素张量的点维度上进行最大池化，得到每个体素中各点的最大值来代表各体素的高维特征，用于后续网络进行提取特征操作；步骤4：为适应点云的数据稀疏性，提高计算的效率与速度，使用稀疏卷积构建稀疏卷积网络，对步骤3中得到的体素构成的三维特征图做三维卷积运算来提取空间特征，并对运算得到的稀疏特征图使用z轴方向压缩，压缩到二维的俯视特征图；步骤5：为了在二维的俯视特征图上有效的进行提取特征，引入残差多路卷积模块构建二维卷积神经网络，在步骤4得到俯视特征图中进行特征提取，得到包含不同尺度信息的二维特征图；步骤5.1：对步骤4中得到的二维俯视特征图进行降维卷积来减小计算量，得到尺寸保留原大小，维度变为原来一半的特征图f1；步骤5.2：引入残差多路卷积网络结构，将普通卷积替换为残差多路卷积，构建残差多路卷积模块来对特征图f1进行多次提取特征，得到与输入特征图f1同等尺寸与维度的特征图f2；步骤5.3：为了得到分辨率更低且维度更高的特征图，对特征图f2进行二倍卷积升维下采样，并再次使用步骤5.2中同样的方法，构建残差多路卷积模块对其进行多次提取特征，得到下采样后的特征图f3；步骤5.4：使用转置卷积，对特征图f3进行二倍上采样，得到与输入特征图f3尺寸和维度相等的特征图，并将其与特征图f2进行通道维度上的拼接，以得到特征图f4，并对特征图f4进行批归一化、线性整流函数处理得到的二维特征图用于后续检测头回归运算；
步骤6：基于步骤5所得二维特征图，使用rpn网络锚检测头进行分类和回归，得到预测框、方向与类别。

技术总结

本发明属于三维目标检测技术领域，公开了一种基于改进SECOND网络的点云目标检测方法。本方法首先将原始点云数据进行裁剪和划分，将整张点云图区域划分为有着相同大小的体素；然后，使用一种考虑了体素内部空间位置关系的体素特征编码器，将体素中的所有点的特征编码为一个张量作为该体素的特征；随后，通过稀疏卷积和使用ResNeXt模块增强了特征提取能力的骨干网络实现提取特征；最后，将送入多检测头的检测网络，得到预测检测结果。通过本发明设计的基于改进SECOND网络的道路目标检测方法，可以解决点云目标中难例检测的效果不佳问题，大大提升了检测的准确率，为基于激光雷达的三维点云目标检测领域发展提供技术支撑。点云目标检测领域发展提供技术支撑。点云目标检测领域发展提供技术支撑。