一种基于统计投影的室外点云语义分割方法与流程

1.本发明涉及点云数据处理技术领域，更具体的说是涉及一种基于统计投影的室外点云语义分割方法。

背景技术：

2.三维高精地图是下一代数字地图的主要发展方向，是实现汽车自动驾驶和辅助驾驶的前提条件，能够为自动驾驶汽车进行精确定位和正确决策提供主要依据。其中，使用点云语义分割算法将室外环境的各类物体的点云进行准确的分类以及精细化的判别环境中存在的物体及其结构是理解室外环境的重要技术方向。
3.传统的点云语义分割方法中，基于纯点云分析的神经网络模型虽然相较其他方法有着较高的细粒度，但其对点云局部特征的提取以及每个点特征的感受野范围均不如利用图像卷积的投影法或使用空间卷积的体素法。此外，目前国内外点云语义分割的主要关注点仍在自动驾驶领域，而对路面高精度地图构建的研究较少。相较于自动驾驶领域，创建高精度地图则要求点云的语义分割更关注路面的标志信息及路周围的物体，这使得在该目的下对路面投影获得的信息更为重要。如何提取局部特征、扩大每个点特征的感受野范围，使点云的语义分割更关注路面的标志信息及路周围的物体是本领域技术人员亟需解决的问题。

技术实现要素：

4.有鉴于此，本发明提供了一种基于统计投影的室外点云语义分割方法，结合有效信息引导网络对重要特征的关注，提升点云解析部分的效果，提升语义分割精度。
5.为了实现上述目的，本发明提供如下技术方案：
6.一种基于统计投影的室外点云语义分割方法，包括以下步骤：
7.s1、对输入的原始三维点云信息采用三维点云投影解析算法，将所述原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；
8.s2、将所述密度投影图和所述单位反射强度投影图组合输入至u形神经网络中，以所述注意力回归投影图为真实标签得到注意力程度图；
9.s3、通过卷积网络对所述注意力程度图的特征进行维度扩展，并增大特征的感受野；
10.s4、根据所述注意力程度图中各像素的位置，将经过所述s3处理后的所述注意力程度图的特征重新映射至所述原始三维点云信息并进行特征组合拼接；
11.s5、将经过所述s4中特征组合拼接后的点云信息作为输入，使用所述u形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。
12.优选的，所述s1中的三维点云投影的方式为俯视图投影，其投影表现为正方形区域。
13.优选的，所述s1中的所述三维点云投影解析算法为：通过点云二维化平面均布的采样点对点云做k-邻域采样，通过采样点邻域的临近点云密度、单位反射强度以及点标签得到投影图。
14.优选的，所述s2中的所述密度投影图和所述单位反射强度投影图通过下采样、上采样以及不同层级特征的跳跃连接后使用回归的方式输出所述注意力程度图。
15.优选的，所述s3中的所述卷积网络采用3
×
3的卷积核，所述u形卷积网络将所述注意力程度图的通道数由1变为32。
16.优选的，所述s4中的所述映射为所述s1中三维点云投影的逆过程。
17.优选的，所述s5中经过特征组合拼接后的点云信息通过下采样、上采样以及不同层级特征的跳跃连接后使用多分类的方式输出点云语义分割结果。
18.优选的，所述密度投影图、所述单位反射强度投影图和所述注意力回归投影图的像素均为128
×
128。
19.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于统计投影的室外点云语义分割方法，具有以下有益效果：通过高效的创建俯视投影图，结合更多的有效信息引导网络对重要特征的关注；通过将注意力图特征转换并映射回原始点云，拓展点云的初始特征，提升了点云解析部分的效果，特别是对于高精度地图构建或自动驾驶领域所关注的地面交通标志、路标、路灯等特征的语义分割精度有显著的提升。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
21.图1为本发明的方法流程图；
22.图2为本发明的点云投影解析算法示意图；
23.图3为本发明的u形神经网络示意图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.本发明实施例公开了一种基于统计投影的室外点云语义分割方法，如图1所示，包括以下步骤：
26.s1、对输入的原始三维点云信息采用三维点云投影解析算法，将原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；
27.s2、将密度投影图和单位反射强度投影图组合输入至u形神经网络中，以注意力回归投影图为真实标签得到注意力程度图；
28.s3、通过卷积网络对注意力程度图的特征进行维度扩展，并增大特征的感受野；
29.s4、根据注意力程度图中各像素的位置，将经过s3处理后的注意力程度图的特征重新映射至原始三维点云信息并进行特征组合拼接；
30.s5、将经过s4中特征组合拼接后的点云信息作为输入，使用u形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。
31.在本发明的另一个实施例中，s1中的投影方式为俯视图投影，其投影表现为正方形区域，在本实施例中正方形区域的长宽为15米。
32.在本发明的另一个实施例中，s1中的点云投影解析算法如图2所示：通过点云二维化平面均布的采样点对点云做k-邻域采样，通过采样点邻域的临近点云密度、单位反射强度以及点标签得到投影图；
33.进一步的，点云投影解析算法的目的是从原始的点云输入p及其对应的标签中获取点云二维化后各区域的点云密度图md、单位反射强度mi以及作为标签的注意力回归图ma，算法如表1所示：
34.表1：投影解析算法
[0035][0036]
其中，运算符
⊙
定义为依据坐标进行点信息(反射强度i，加权后的类别标签weight(pi))的一对一映射；
[0037]
在生成二维平面p
xoy
后，算法使用以1/w为步长，在(x,y)；x,y∈[0,1]的平面建立总数为w
×
w的均布的中心点集pm，并对p
xoy
和pm做k临近点采样，此过程中所用的k临近点采样(knn)通过计算目标点和总点集中各个点的距离来选择出距离目标点最近的k个点和点距离目标点的距离，在选出中心点集pm的各个邻域点后，需要通过一个距离判断排除超出
单位距离的点，即可得到与pm中每个中心点范围内的点的集合p
fit
，而p
fit
中各个点集中包含的点数即为各区域的点云密度图md；
[0038]
同时，算法通过计算p
fit
中各个点集中点的反射强度pi，并取平均值，就得到了单位反射强度投影图mi，注意力回归图ma的生成与mi类似，对于点云的输入数据，点的反射强度pi是其固有特征，而ma计算中所需的点注意力权重p
weight
则是由对原始点云的统计决定，将类别占比小于5％的点的权重设为1，占比较高的类别则设为0。在本实施例中，从数据集中通过网格划分的方式取出一长宽均为15米的点云样本，从样本中采样65536个点作为输入点云样本，并将点云的三维坐标归一化至0-1范围，经过投影解析算法得到的图片像素均为128
×
128。
[0039]
在本发明的另一个实施例中，如图3所示，s2中的密度投影图和单位反射强度投影图通过下采样、上采样以及不同层级特征的跳跃连接后使用回归的方式输出注意力程度图；
[0040]
进一步的，将前述md、mi两张同尺寸、从两个角度反映点云信息的图像组合为一两通道图像特征并输入u形神经网络，u形神经网络通过对输入的图片进行下采样与上采样，提取不同尺度下的图像特征，同时，u形神经网络通过跳跃连接的方式将下、上采样过程中维度相同的特征进行组合。具体的，该部分网络先通过一组卷积神经网络将输入扩展为(64
×
1282)并在下采样阶段使用卷积网络和最大值池化操作进一步增大特征通道数，减小特征尺寸，最深特征为(512
×
162)，在上采样过程中，组合使用逆卷积和卷积网络将高维特征进行降维并扩展尺寸，同时拼接下采样过程中同样尺寸的浅层语义信息，最终输出注意力回归图；本实施例中，特征在网络中的尺寸及特征维度变化如下：(2
×
1282，64
×
1282，128
×
642，256
×
322，512
×
162，2
×
256
×
322，2
×
128
×
642，2
×
64
×
1282，1
×
1282)。u形神经网络输出层使用leakrelu作为激活函数，使用mae作为损失函数对的注意力程度图进行监督。
[0041]
在本发明的另一个实施例中，s3中的卷积网络采用3
×
3的卷积核，u形卷积网络将注意力程度图的通道数由1变为32，特征扩展由1
×
1282为32
×
1282。
[0042]
在本发明的另一个实施例中，s4中的映射为s1中三维点云投影的逆过程；
[0043]
进一步的，将mc映射回点云需到p中各点pk最邻近的中心点集点对应的特征即为点云特征映射其过程可表达如下：
[0044]
mc＝conv(m'a)
[0045][0046][0047]
其中，c为由注意力图升维得到的特征维数，运算符为依据位置进行的一对一映射。通过特征的拼接，点云信息从原始的扩增为实现了对投影图中各点及其周边注意力特征的融合，其中n为输入点云样本的个数，在本实施例中，n为65536。
[0048]
在本发明的另一个实施例中，s5中经过特征组合拼接后的点云信息通过下采样、上采样以及不同层级特征的跳跃连接后使用多分类的方式输出点云语义分割结果；
[0049]
进一步的，由于u形神经网络在对特征进行上采样时使用了随机采样的方法降低运算的时间复杂度，因此，网络在下采样过程中，引入了低层级的点对高层级点的k邻域采样-映射，此后将深层和浅层的语义特征通过跳跃连接拼接，在上下采样中，模型均使用共享参数的mlp(shared mlp)进行特征转换，并得到特征完成上下采样后，网络使用一组shared mlp对特征进行解码，得到点对应每一类结果的概率，最后使用log-softmax作为激活函数，使用focal-loss作作为损失函数评估点云的语义分割结果，以在类不平衡的情况下获得更好的语义分割结果。在本实施例中，特征在网络中的尺寸及特征维度变化如下：(n
×
39，n
×
64，(n/4)
×
128，(n/16)
×
256，(n/64)
×
256，(n/16)
×
512，(n/4)
×
256，n
×
128，n
×
32)。
[0050]
本发明所公开的方法在大规模道路点云数据集中展现了突出的语义分割性能，相较于传统的仅基于点云或投影的模型均获得了更好的效果。
[0051]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0052]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：

1.一种基于统计投影的室外点云语义分割方法，其特征在于，包括以下步骤：s1、对输入的原始三维点云信息采用三维点云投影解析算法，将所述原始三维点云投影至二维xoy平面，生成点云数据在二维xoy平面上的密度投影图、单位反射强度投影图，并基于点云标签生成注意力回归投影图；s2、将所述密度投影图和所述单位反射强度投影图组合输入至u形神经网络中，以所述注意力回归投影图为真实标签得到注意力程度图；s3、通过卷积网络对所述注意力程度图的特征进行维度扩展，并增大特征的感受野；s4、根据所述注意力程度图中各像素的位置，将经过所述s3处理后的所述注意力程度图的特征重新映射至所述原始三维点云信息并进行特征组合拼接；s5、将经过所述s4中特征组合拼接后的点云信息作为输入，使用所述u形神经网络进行点云特征的信息提取并输出最终的点云语义分割结果。2.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s1中的三维点云投影的方式为俯视图投影，其投影表现为正方形区域。3.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s1中的所述三维点云投影解析算法为：通过点云二维化平面均布的采样点对点云做k-邻域采样，通过采样点邻域的临近点云密度、单位反射强度以及点标签得到投影图。4.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s2中的所述密度投影图和所述单位反射强度投影图通过下采样、上采样以及不同层级特征的跳跃连接后使用回归的方式输出所述注意力程度图。5.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s3中的所述卷积网络采用3
×
3的卷积核，所述u形卷积网络将所述注意力程度图的通道数由1变为32。6.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s4中的所述映射为所述s1中三维点云投影的逆过程。7.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述s5中经过特征组合拼接后的点云信息通过下采样、上采样以及不同层级特征的跳跃连接后使用多分类的方式输出点云语义分割结果。8.根据权利要求1所述的一种基于统计投影的室外点云语义分割方法，其特征在于，所述密度投影图、所述单位反射强度投影图和所述注意力回归投影图的像素均为128
×
128。

技术总结

本发明公开了一种基于统计投影的室外点云语义分割方法，应用于点云数据处理技术领域；首先，将三维点云投影至二维平面，生成密度、单位反射强度投影图并基于点云标签生成注意力回归投影图；然后，对密度、单位反射强度投影信息在多个尺度上进行特征提取，最终回归得到网络预测的注意力程度图；通过一层卷积神经网络对其进行特征升维，将特征映射回原始三维点云作为特征扩展；最后，通过随机上下采样的方式获取各尺度下的点云特征，并对特征进行跳跃连接融合不同层级的语义信息，输出语义分割的结果。本发明在大规模道路点云数据集中展现了突出的语义分割性能，相较于传统的仅基于点云或投影的模型均获得了更好的效果。云或投影的模型均获得了更好的效果。云或投影的模型均获得了更好的效果。