一种多特征联合网络的道路场景杆状地物自动分类方法

1.本发明涉及道路场景杆状地物分类技术领域。具体地说是一种多特征联合网络的道路场景杆状地物自动分类方法。

背景技术：

2.杆状地物(路灯、行道树、电线杆、指示牌等)是道路场景的重要组成部分，如何高效自动地实现杆状地物的提取与分类是当前的研究热点，对于智慧道路、智慧城市建设具有重要意义。车载lidar作为前沿的测绘技术，能够快速获取道路场景中各类地物全面的三维空间信息，密集点云能够精确表达道路场景中杆状地物的三维结构信息，为深度学习解决杆状地物分类问题提供了有力的数据支持。
3.目前基于深度学习的点云分类研究主要有：基于多视图的方法，代表性算法模型如mvcnn(su h.,2015)、gvcnn(feng y.,2018)、auto-mvcnn(li z.,2020)等。该类算法首先将点云转换为多个角度的投影图，然后使用二维图像处理方法分析这些包含点云信息的投影图，最后联合多视图特征实现分类。该类算法具有较高的效率，但采用3d降为2d的方式导致损失了点云的部分几何信息，并且只能获取特定视角下的特征，难以满足大规模复杂场景地物的自动分类。基于体素的方法，代表性算法模型如voxnet(maturana d.,2015)、3d shapenes(wu z.,2015)、octnet(riegler g.,2017)等。该类算法将非结构化的点云转变成以体素为单位的规则结构，之后利用3dcnn等卷积神经网络进行特征学习完成分类。该类算法有效解决了点云非结构化的问题，但是低分辨率的体素会丢失有用信息，高分辨率会导致更大的计算压力。基于图卷积的方法，代表性算法模型如gcn(kipf t n.,2016)、rgcnn(te g.,2018)、dgcnn(wang y.,2019)等。该类算法将图结构与卷积运算进行结合，通过图节点之间的关系获取特征信息。该类算法可以有效获取点云的几何结构信息，但受全连接网络层数的限制，参数过多容易出现过拟合问题。基于点的方法，代表性算法模型如pointnet(qi c r.,2017)、pointnet++(qi c r.,2017)、so-net(li j.,2018)等。该类算法直接处理原始数据提取特征，能充分利用原始点云的信息，但其重心是全局特征的提取，对局部特征的研究仍然不够深入。
4.虽然深度学习已成为解决分类问题的有效方法之一，但当前基于深度学习的点云分类研究仍存在以下问题：(1)网络模型多用于已有公开合成的数据集，在实际场景点云数据中的应用较少，泛化能力不足；(2)点云信息捕捉不够深入，仍能得到提升。

技术实现要素：

5.为此，本发明所要解决的技术问题在于提供一种多特征联合网络的道路场景杆状地物自动分类方法，此方法首先从车载lidar点云中提取出非地面点云，然后基于二值图像分割算法提取杆状地物，接着通过样本制作方法自制杆状地物数据集，最后基于pointnet改进的多特征联合网络实现杆状地物的分类；该方法可用深度学习网络模型从自制数据集中快速准确分类道路场景杆状地物，能够解决道路场景分类研究严重依赖传统人工交互方
法的技术问题，为杆状地物的精确分类提供有效的解决办法。
6.为解决上述技术问题，本发明提供如下技术方案：
7.一种多特征联合网络的道路场景杆状地物自动分类方法，包括如下步骤：
8.步骤(1)、对车载lidar点云数据进行预处理，得到非地面点云数据；
9.步骤(2)、从非地面点云数据中提取得到杆状地物点云数据并分类；本发明采用二值图像分割算法实现杆状地物点云数据的提取；
10.步骤(3)、利用杆状地物点云数据自制杆状地物数据集，得到杆状地物数据集；
11.步骤(4)、基于pointnet改进的多特征联合mfa-net(multiple feature associated network)网络的构建；利用mfa-net网络对杆状地物数据集进行自动分类。
12.本发明利用车载lidar点云数据的特性制作可用于深度学习的数据集，解决深度学习多用于公开数据集的限制。本发明结合pointnet可以提取点云全局特征的特点，附加点特征的获取，且利用上采样构建深度提取点云局部特征的高低层特征联合模块，三种特征融合加强点云信息的提取。本发明能够实现深度学习网络分析个人点云数据，并为杆状地物的精确分类提供有效的解决办法。
13.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(1)中，车载lidar点云数据的预处理方法包括：
14.步骤(101)、采用sor(statistical outlier removal)滤波算法对车载lidar点云数据进行去噪，滤除漂移点和离点，并手动剔除顽固点；
15.步骤(102)、对去噪后的车载lidar点云数据进行裁剪，去除与道路场景无关的数据；
16.步骤(103)、对裁剪后的车载lidar点云数据进行数据分块处理；
17.步骤(104)、采用布料模拟算法滤除试验区的地面点云，得到非地面点云数据，即完成了预处理工作。
18.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(2)的具体算法包括如下步骤：
19.步骤(201)、利用pca(principle compoent analysis)算法将三维非地面点云数进行二值图像转化；遍历x,y数据的最远点构建图像，后景灰度值为0，通过遍历实现点与图像的映射关系并计算位置，位于图像上的前景点灰度值设置为255，实现三维点云的二值化，得到二值图像；
20.步骤(202)、利用膨胀操作将二值图像中的微小断裂线连接起来，然后将前景物体归类标记，将像素值相同且位置相邻的点云标定为一个连通域；最后保存统计出个数的连通域边界；
21.步骤(203)、通过判定单点与连通域边界的关系实现非地面点云数据的聚类分割；判定原则为：距离d≥0即为同类非地面点云数据，添加杆状地物的类目标签；否则，继续判别单点与下一个边界的关系；
22.步骤(204)、重复步骤(203)，至遍历完所有非地面点云数据为止。
23.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(2)提取得到的杆状地物点云数据分为路灯、交通信号灯、行道树、线杆和交通指示牌五类。
24.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(3)的具体步骤为：
25.步骤(301)、使用采样功能将所有杆状地物点云数据的点云数量固定到2048，以满足数据集要求；
26.步骤(302)、通过随机旋转、平移和抖动的方式产出整体结构类似但点云坐标不同的新数据样本，以完成数据样本数量的扩增；
27.步骤(303)、将步骤(301)和步骤(302)处理后的杆状地物点云数据进行归一化处理，再进行标签标注；然后将各类数据样本按7:3的比例划分为训练集和测试集；最后写入h5文件，完成数据集的制作。
28.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(301)中采样功能为fps算法(farthest point sampling)。
29.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(4)采用全局特征、点特征和局部特征融合的方式加强点云特征的提取能力，具体包括如下步骤：
30.步骤(401)、采用pointnet对输入数据进行点特征和全局特征提取；即在pointnet网络提取全局特征的基础上，单独将点特征提取出来并与全局特征融合；从pointnet网络单独提取出点特征作为信息补充手段；
31.步骤(402)、构建高低层特征联合模块，利用上采样加强多层次特征的信息提取能力；采用上采样手段将三层局部特征提取层的特征得到进一步加强，从而提高深度学习网络的特征提取能力；
32.步骤(403)、利用构建的高低层特征联合模块提取局部特征；
33.步骤(403)、将点特征、全局特征和局部特征融合为联合特征，构建得到mfa-net网络；
34.步骤(404)、通过全连接层处理联合特征实现对杆状地物数据集的自动分类。自制杆状地物数据集投入改进后的深度学习网络mfa-net中，能够实现精确分类。
35.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(401)中，在提取全局特征的过程中，将n
×
64作为点的特征提取出来；通过最大池化操作聚合保存1
×
64点的特征。
36.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(402)中构建高低层特征联合模块的方法为：
37.步骤(4021)、sa模块获取局部特征：通过sa模块获得点的局部特征，sa模块分为采样sampling、分组grouping和特征提取pointnet三个部分；先使用sampling选取采样点，再以每个采样点为中心，通过grouping聚类指定个数的点集，最后利用pointnet迭代处理点集，将特征聚合到每个采样点上；第一个sa模块的结果输入到下一个sa模块重复此操作，获得点的局部特征；采样sampling和分组grouping分别采用最远点采样(farthest point sampling，fps)和k最近邻算法(k-nearest neighbor，knn)；
38.步骤(4022)、mid-feature模块提取中间层次特征：采用逐层处理的方式提取中间层次特征；即在原始数据经过空间变换输入第一个sa模块前，先通过多层感知机mlp得到低层特征，第一个sa模块的输出结果经过多层感知机mlp得到中层特征，第二个sa模块的输出结果经过多层感知机mlp得到高层特征；
39.步骤(4023)、unite module模块丰富语义信息：上一层特征通过特征上采样的方式转化拼接到下一层特征上，特征上采样的方式转化拼接是通过反向插值法实现。
40.上述多特征联合网络的道路场景杆状地物自动分类方法，步骤(4023)中，反向插值法是通过相邻两层的点计算出欧氏距离矩阵以及加权系数，分别在待插值的每个点附近选择k个最邻近点，并根据k个点的特征计算加权平均值作为插值点的特征，利用跳跃连接的方式将插值点的特征与上一层的特征进行堆叠，实现特征的上采样；
41.加权系数由各个点的距离倒数除以k个点的距离倒数之和求得；通过插值法将下层特征中的点云数量恢复到上一层特征包含的点云数量，并将特征相连成融合特征；特征差值公式如下：
42.其中，
43.公式中，代表待插值点的特征差值，pi指已知点，pj指未知点，fj代表已知点的特征值信息；ωj(pi)代表权重值，是未知点和已知点之间欧式距离的倒数；n(pi)代表已知点云区域组。
44.本发明的技术方案取得了如下有益的技术效果：
45.1、本发明利用车载lidar获取的道路场景点云自制杆状地物数据集，将实际采集的数据应用在深度学习网络中；并考虑到pointnet只能提取全局特征，提出构建多特征联合的深度神经网络模型，进一步加强点云特征提取能力，最后实现对车载lidar杆状地物点云的精确分类。
46.2、深度学习pointnet分类网络只能学习到点的全局特征，点云特征信息捕捉能力不足；而本发明的mfa-net分类网络在pointnet提取全局特征的基础上，增加了提取局部特征的高低层特征联合模块，更深层次地获取点与点之间的特征；同时联合了点特征，进一步增强了网络的特征提取能力，具有较高的分类精度。本发明中使用的mfa-net分类网络对杆状地物的整体分类精度最高，达到98.9％，比pointnet网络高2.7％。
附图说明
47.图1本发明实施例中实验区的俯视示意图；
48.图2本发明实施例中某段试验区原始点云示意图；
49.图3本发明实施例中某段试验区原始点云预处理效果示意图；
50.图4本发明实施例中杆状地物提取效果示意图；
51.图5本发明实施例中点特征、全局特征提取流程示意图；
52.图6本发明实施例中高低层特征联合模块结构示意图；
53.图7本发明实施例中unite module结构示意图；
54.图8本发明实施例中多特征联合网络的道路场景杆状地物自动分类方法的流程示意图；
55.图9本发明实施例中sa模块流程图；
56.图10a本发明实施例中rod5数据集样本效果图(路灯/0)；
57.图10b本发明实施例中rod5数据集样本效果图(交通信号灯/1)；
58.图10c本发明实施例中rod5数据集样本效果图(行道树/2)；
59.图10d本发明实施例中rod5数据集样本效果图(线杆/3)；
60.图10e本发明实施例中rod5数据集样本效果图(交通指示牌/4)。
具体实施方式
61.本实施例多特征联合网络的道路场景杆状地物自动分类方法在inter core i7-9700f+rtx2060(6g)+16gb ram硬件环境和ubuntu16.04
×
64+windows10
×
64+cuda10.1+cudnn7.5+tensorflow1.13+python3.7软件环境下实现；如图8所示，其具体处理步骤如下：
62.步骤(1)：对车载lidar点云数据进行预处理，得到非地面点云数据。
63.本实施例使用ssw-3车载lidar系统采集河南理工大学周边环形道路点云为实验数据，该实验区全长7.2km，图1为原始数据俯视示意图。
64.车载lidar点云数据的预处理方法包括：
65.步骤(101)、为方便数据的后期处理，采用sor(statistical outlier removal)滤波算法对车载lidar点云数据进行去噪，滤除漂移点和离点，并手动剔除顽固点；
66.步骤(102)、对去噪后的车载lidar点云数据进行裁剪，采用cloudcompare软件的裁剪功能去除与道路场景无关的数据，比如道路两旁的建筑物等；
67.步骤(103)、对裁剪后的车载lidar点云数据进行数据分块处理，以减轻后续处理的复杂度；
68.步骤(104)、采用布料模拟算法滤除试验区的地面点云，实现地面点和非地面点的分离，得到非地面点云数据，即完成了预处理工作。
69.图2和图3分别为某段实验区原始点云示意图和预处理效果示意图。
70.步骤(2)：从非地面点云数据中提取得到杆状地物点云数据并分类；即利用pca算法实现三维点云的二值图像转化，并利用膨胀操作将二值图像中的微小断裂线连接起来，构建连通域并提取边界轮廓，进行连通域的标记；接着依据点云与边界轮廓的位置关系实现点云聚类分割；最后根据各杆状地物的几何特征实现分类；具体算法包括如下步骤：
71.步骤(201)、利用pca算法将三维非地面点云数进行二维化；遍历x,y数据的最远点构建图像，后景灰度值为0，通过遍历实现点与图像的映射关系并计算位置，位于图像上的前景点灰度值设置为255，实现三维点云的二值化，得到二值图像；
72.步骤(202)、利用膨胀操作将二值图像中的微小断裂线连接起来，然后将前景物体归类标记，将像素值相同且位置相邻的点云标定为一个连通域；最后保存统计出个数的连通域边界；
73.连通域的具体标记过程如下：
①
遍历二值图像，直至扫描到前景像素点a，将a作为种子并添加标签，将所有与a相邻的前景像素压入栈中，将栈顶像素弹出，添加与a相同的标签；
②
将与该栈顶像素相邻的所有前景像素压入栈中；
③
重复步骤
①
、
②
，直至栈空，此时二值图像中的一个连通域被标记成功；
④
重复步骤
①‑③
，即可标记完二值图像中所有连通域。连通域标记完成后，提取连通域边界轮廓并保存。
74.步骤(203)、通过判定单点与连通域边界的关系实现非地面点云数据的聚类分割；判定原则为：距离d≥0即为同类非地面点云数据，添加杆状地物的类目标签；否则，继续判别单点与下一个边界的关系；
75.步骤(204)、重复步骤(203)，至遍历完所有非地面点云数据为止。
76.通过判断每个点与连通域的距离实现聚类分割，提取杆状地物；本实施例利用二值图像分割算法对预处理后的非地面点云进行分割，最终得到五种杆状地物点云：路灯、交通信号灯、行道树、线杆和交通指示牌。图4为本实施例的杆状地物提取效果示意图。
77.步骤(3)、利用杆状地物点云数据自制杆状地物数据集，得到杆状地物数据集；本实施例先通过fps算法将样本点云数量固定在2048个，然后将数量过少的样本进行数量扩增，最后将样本归一化处理并进行标签标注，写入h5文件完成数据集的制作；具体步骤为：
78.步骤(301)、使用采样功能将所有杆状地物点云数据的点云数量固定到2048，以满足数据集要求；
79.步骤(302)、通过随机旋转、平移和抖动的方式产出整体结构类似但点云坐标不同的新数据样本，以完成数据样本数量的扩增；
80.步骤(303)、将步骤(301)和步骤(302)处理后的杆状地物点云数据进行归一化处理，再进行标签标注；然后将各类数据样本按7:3的比例划分为训练集和测试集；最后写入h5文件，完成数据集的制作。
81.在本实施例中，将遍历样本点云数量记为n，若n》2048，则利用fps算法随机采样2048个点；若n＝2048，则不做处理；若n《2048，则随机复制样本中2048-n个点；利用采样将所有样本的点云数量固定在2048个，以满足数据集的基本要求；在交通指示牌、交通信号灯和线杆这三种较少样本中随机选择部分样本，通过随机旋转、平移、抖动的方式产出整体结构类似但点云坐标不同的新样本，以完成样本数量的扩增；将上述处理后的样本进行归一化处理，再进行标签标注。之后将各类样本按7:3的比例划分为训练集和测试集，最后写入h5文件，完成杆状地物数据集【本实施例命名为rod5数据集】的制作。图10a至图10e为本实施例rod5数据集样本效果。
82.步骤(4)、mfa-net(multiple feature associated network)网络实现杆状地物数据集rod5的分类；即采用全局特征、点特征和局部特征融合的方式加强点云特征的提取能力，构建得到mfa-net网络；利用mfa-net网络对rod5数据集进行自动分类；具体包括如下步骤：
83.步骤(401)、采用pointnet对输入数据进行点特征和全局特征提取；
84.在pointnet网络中，原始数据经过t-net处理后，首先进行低维度的卷积运算，然后通过多层感知机mlp进行卷积，直接得到1024维的全局特征。这种方式尽管可以描述点的全局信息，但是会丢失点的细节信息。为提取更加丰富的点云信息，本实施例在提取全局特征的过程中，将n
×
64作为点的特征提取出来。为进一步防止信息丢失，通过最大池化操作聚合保存(1
×
64)点的特征。最后将点特征、全局特征和高低层特征联合模块提取的局部特征进行拼接融合，利用全连接层处理联合特征输出分类结果；
85.步骤(402)、构建高低层特征联合模块；pointnet分类网络中仅考虑了每个独立点的特征，没有顾及到点云的局部信息。本实施例通过构建高低层特征联合模块提取局部特征信息；此模块主要由sa模块、mid-feature模块及unite module模块三部分组成；sa模块的功能是获得点云的局部特征，后续通过mid-feature模块逐步获取中间层次的特征，以便利用unite module模块丰富局部特征的语义信息；输入的n
×
c矩阵经过t-net实现数据的对齐，得到n
×
c1矩阵(其中n代表点数，c代表特征维度；此处的c1等于c，后续不同的n值和c值分别代表不同的点云数量和特征维度)；n
×
c1后续有两条路径：一是通过多层感知机
(mlp)得到低层特征n
×
c4；二是先通过sa模块和mlp得到中层特征n1×
c5，再将第二个sa模块的结果经过一个mlp得到n2×
c6高层特征；高层特征、中层特征以及低层特征依次通过unite module模块获得语义信息更加丰富的特征。最后将高层特征和两个unite module模块获得的特征联合，得到局部特征；本实施例通过concat拼接点特征、全局特征及局部特征，利用全连接层处理联合特征输出分类结果；
86.步骤(403)、利用构建的高低层特征联合模块提取局部特征；
87.步骤(403)、将点特征、全局特征和局部特征融合为联合特征；
88.步骤(404)、通过全连接层处理联合特征实现对rod5数据集的自动分类。
89.步骤(4021)、sa模块获取局部特征：通过sa模块获得点的局部特征，sa模块分为采样sampling、分组grouping和特征提取pointnet三个部分；如图9所示，先使用sampling选取一定数量的采样点，再以每个采样点为中心，通过grouping聚类指定个数的点集，最后利用pointnet迭代处理点集，将特征聚合到每个采样点上；第一个sa模块的结果输入到下一个sa模块重复此操作，所提取的中心点越来越少，但其中包含的特征信息越来越多，以此获得点的局部特征；以第一个sa为例，sampling将输入的点数n降采样到n1，以每个采样点为中心，通过grouping聚类指定数量最近的k个点。然后将输入的n
×
c1矩阵进行聚合得到n1×k×
c1矩阵，最后通过pointnet提取采样区域内的局部特征得到n1×
c4结果；见图6。
90.采样sampling和分组grouping分别采用最远点采样(farthest point sampling，fps)和k最近邻算法(k-nearest neighbor，knn)；fps算法过程：先把原始数据中的随机一个点作为初始点，再从剩余点集中选取距离初始点欧氏距离最近的点，将其成为采样组的第二个点，迭代操作达到采样数量要求。fps算法可以少量点代表物体的整体的信息，有效减少点云数量，且不会改变点云的整体几何形状，能够降低网络模型计算复杂度。knn算法过程：将fps降采样后的每一点作为中心点，计算其余点与该中心点的欧氏距离，选取距离最近的k个点构成每个中心点的区域组。对于每一个中心点来说，距离越近的点与中心点的联系越强。因此该算法可以有效聚合区域内需要的点，强化局部信息聚合能力。pointnet的任务是聚合区域点组的特征，将其添加到每个中心点特征上，最终实现点的局部特征提取。
91.步骤(4022)、mid-feature模块提取中间层次特征：通过层级推进方式将原始点云送入两层sa模块和一层mlp进行处理，最终得到点云的高层特征。高层特征中包含的点数量相对较少，但包含的语义信息更加丰富。相对而言，输入层的低层特征中包含的点更加贴近原始点云，数量相对较多，但是包含的语义信息相对较少。本实施例采用逐层处理的方式提取中间层次特征，以增加中间层的特征；在原始数据经过空间变换输入第一个sa模块前，先通过多层感知机mlp得到低层特征，第一个sa模块输出结果经过多层感知机mlp得到中层特征，第二个sa模块的输出结果经过多层感知机mlp得到高层特征；本实施例通过unite module模块将高层-中层-低层特征依次联合处理，最后将联合特征输送到分类网络；
92.步骤(4023)、unite module模块丰富语义信息：unite module模块的目的是将点数少、语义信息丰富的上一层特征通过特征上采样方式，附加到当前层的特征上，以此丰富当前层的语义信息。上一层特征首先经过upsampling上采样转化，结果拼接到当前层特征上，最后融合特征经过mlp输出结果。新的特征有两条路径：一是直接进入最后一步；二是作为下一层unite module的输入。
93.上一层特征通过特征上采样的方式转化拼接到下一层特征上，通过上采样将下层
特征传递到上层，这种高低层联合的方式可以使低层特征得到更加丰富的语义信息。本模块中的特征上采样转化upsampling是通过反向插值法实现，通过相邻两层的点计算出欧氏距离矩阵以及加权系数，分别在待插值的每个点附近选择k个最邻近点，并根据k个点的特征计算加权平均值作为插值点的特征，利用跳跃连接的方式将插值点的特征与上一层的特征进行堆叠，实现特征的上采样；
94.加权系数由各个点的距离倒数除以k个点的距离倒数之和求得；通过插值法将下层特征中的点云数量恢复到上一层特征包含的点云数量，并将特征相连成融合特征；特征差值公式如下：
95.其中，
96.公式中，代表待插值点的特征差值，pi指已知点，pj指未知点，fj代表已知点的特征值信息；ωj(pi)代表权重值，是未知点和已知点之间欧式距离的倒数；n(pi)代表已知点云区域组。
97.综上，本实施例先采用pointnet对输入数据进行点特征和全局特征提取，同时通过上采样方式构建的高低层特征联合模块提取点云的局部特征，然后将点特征、全局特征及局部特征融合为联合特征，最后通过全连接层实现点云精确分类。
98.图5为本实施例中点特征、全局特征提取流程示意图，其核心算法是pointnet网络；从中可以提取出1024维全局特征和64维点特征。
99.图6是高低层特征联合模块，其目的是获取点云的局部特征。局部特征具体过程如下：输入的2048
×
3矩阵经过t-net实现数据的对齐，得到2048
×
3矩阵。2048
×
3后续有两条路径：一是通过多层感知机(mlp)得到低层特征2048
×
512；二是先通过sa模块和mlp得到中层特征512
×
1024，再将第二个sa模块的结果经过一个mlp得到128
×
1024高层特征。
100.从图7的unite module结构图可以看出，高层特征、中层特征以及低层特征依次通过unite module模块获得语义信息更加丰富的特征。具体是高层特征128
×
1024通过特征上采样后，与中层特征512
×
1024进行拼接并经过mlp处理后，得到512
×
512特征。512
×
512经过上采样后与低层特征2048
×
512拼接，经过mlp处理后得到2048
×
128特征。最后将128
×
1024特征、512
×
512特征和2048
×
128特征进行拼接，进一步加强特征提取能力，得到2048
×
1024局部特征。将全局特征、点特征进行拼接处理得到2112维特征，大大强化了点云信息提取能力。
101.将自制的rod5数据集投入mfa-net网络进行分类，从表1中可以看出，改进后的mfa-net分类网络对杆状地物的整体分类精度达到98.9％，其中路灯的分类精度为99.5％，交通信号灯的分类精度为96.2％，行道树的分类精度为100％，线杆的分类精度为100％，交通指示牌的分类精度为98.8％。通过分析，行道树和线杆与其他三种地物相比，形状特征较为单一且差别较大，所以分类精度较高。交通信号灯由于种类较多，包含摄像头、人行横道信号灯，十字路口信号灯和道路中央信号灯，形状各异，分类精度最低。为了验证杆状地物的分类效果，采用pointnet与本实施例中的mfa-net网络进行精度对比。从表1中可知，本实施例的mfa-net分类网络对杆状地物的整体分类精度较高，达到98.9％，比pointnet网络高
2.7％。从单个样本分类精度来看，本实施例mfa-net网络分类的精度全部高于或等于pointnet。平均分类精度是所有样本独立精度的平均值，从表中可以看出，mfa-net网络的平均分类精度相对较高，达到98.9％。
102.表1 rod5数据集精度对比
[0103][0104]
通过分析，深度学习pointnet分类网络只能学习到点的全局特征，点云特征信息捕捉能力不足。而本实施例的mfa-net分类网络在pointnet提取全局特征的基础上，增加了提取局部特征的高低层特征联合模块，更深层次地获取点与点之间的特征。同时联合了点特征，进一步增强了网络的特征提取能力，具有较高的分类精度。本实施例的实验结果表明，本发明改进的mfa-net分类网络拥有更优越的性能。
[0105]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

技术特征：

1.一种多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，包括如下步骤：步骤(1)、对车载lidar点云数据进行预处理，得到非地面点云数据；步骤(2)、从非地面点云数据中提取得到杆状地物点云数据并分类；步骤(3)、利用杆状地物点云数据自制杆状地物数据集，得到杆状地物数据集；步骤(4)、基于pointnet改进的多特征联合mfa-net网络的构建；利用mfa-net网络对杆状地物数据集进行自动分类。2.根据权利要求1所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(1)中，车载lidar点云数据的预处理方法包括：步骤(101)、采用sor滤波算法对车载lidar点云数据进行去噪，滤除漂移点和离点，并手动剔除顽固点；步骤(102)、对去噪后的车载lidar点云数据进行裁剪，去除与道路场景无关的数据；步骤(103)、对裁剪后的车载lidar点云数据进行数据分块处理；步骤(104)、采用布料模拟算法滤除试验区的地面点云，得到非地面点云数据，即完成了预处理工作。3.根据权利要求1所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(2)的具体算法包括如下步骤：步骤(201)、利用pca算法将三维非地面点云数进行二值图像转化；遍历x,y数据的最远点构建图像，后景灰度值为0，通过遍历实现点与图像的映射关系并计算位置，位于图像上的前景点灰度值设置为255，实现三维点云的二值化，得到二值图像；步骤(202)、利用膨胀操作将二值图像中的微小断裂线连接起来，然后将前景物体归类标记，将像素值相同且位置相邻的点云标定为一个连通域；最后保存统计出个数的连通域边界；步骤(203)、通过判定单点与连通域边界的关系实现非地面点云数据的聚类分割；判定原则为：距离d≥0即为同类非地面点云数据，添加杆状地物的类目标签；否则，继续判别单点与下一个边界的关系；步骤(204)、重复步骤(203)，至遍历完所有非地面点云数据为止。4.根据权利要求1所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(2)提取得到的杆状地物点云数据分为路灯、交通信号灯、行道树、线杆和交通指示牌五类。5.根据权利要求1所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(3)的具体步骤为：步骤(301)、使用采样功能将所有杆状地物点云数据的点云数量固定到2048，以满足数据集要求；步骤(302)、通过随机旋转、平移和抖动的方式产出整体结构类似但点云坐标不同的新数据样本，以完成数据样本数量的扩增；步骤(303)、将步骤(301)和步骤(302)处理后的杆状地物点云数据进行归一化处理，再进行标签标注；然后将各类数据样本按7:3的比例划分为训练集和测试集；最后写入h5文件，完成数据集的制作。
6.根据权利要求5所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(301)中采样功能为fps算法。7.根据权利要求1所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(4)采用全局特征、点特征和局部特征融合的方式加强点云特征的提取能力，具体包括如下步骤：步骤(401)、采用pointnet对输入数据进行点特征和全局特征提取；即在pointnet网络提取全局特征的基础上，单独将点特征提取出来并与全局特征融合；步骤(402)、构建高低层特征联合模块，利用上采样加强多层次特征的信息提取能力；步骤(403)、利用构建的高低层特征联合模块提取局部特征；步骤(403)、将点特征、全局特征和局部特征融合为联合特征，构建得到mfa-net网络；步骤(404)、通过全连接层处理联合特征实现对杆状地物数据集的自动分类。8.根据权利要求7所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(401)中，在提取全局特征的过程中，将n
×
64作为点的特征提取出来；通过最大池化操作聚合保存1
×
64点的特征。9.根据权利要求7所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(402)中构建高低层特征联合模块的方法为：步骤(4021)、sa模块获取局部特征：通过sa模块获得点的局部特征，sa模块分为采样sampling、分组grouping和特征提取pointnet三个部分；先使用sampling选取采样点，再以每个采样点为中心，通过grouping聚类指定个数的点集，最后利用pointnet迭代处理点集，将特征聚合到每个采样点上；第一个sa模块的结果输入到下一个sa模块重复此操作，获得点的局部特征；采样sampling和分组grouping分别采用最远点采样和k最近邻算法；步骤(4022)、mid-feature模块提取中间层次特征：采用逐层处理的方式提取中间层次特征；即在原始数据经过空间变换输入第一个sa模块前，先通过多层感知机mlp得到低层特征，第一个sa模块的输出结果经过多层感知机mlp得到中层特征，第二个sa模块的输出结果经过多层感知机mlp得到高层特征；步骤(4023)、unite module模块丰富语义信息：上一层特征通过特征上采样的方式转化拼接到下一层特征上，特征上采样的方式转化拼接是通过反向插值法实现。10.根据权利要求9所述的多特征联合网络的道路场景杆状地物自动分类方法，其特征在于，步骤(4023)中，反向插值法是通过相邻两层的点计算出欧氏距离矩阵以及加权系数，分别在待插值的每个点附近选择k个最邻近点，并根据k个点的特征计算加权平均值作为插值点的特征，利用跳跃连接的方式将插值点的特征与上一层的特征进行堆叠，实现特征的上采样；加权系数由各个点的距离倒数除以k个点的距离倒数之和求得；通过插值法将下层特征中的点云数量恢复到上一层特征包含的点云数量，并将特征相连成融合特征；特征差值公式如下：其中，
公式中，代表待插值点的特征差值，p
i
指已知点，p
j
指未知点，f
j
代表已知点的特征值信息；ω
j
(p
i
)代表权重值，是未知点和已知点之间欧式距离的倒数；n(p
i
)代表已知点云区域组。

技术总结

本发明公开一种多特征联合网络的道路场景杆状地物自动分类方法，包括如下步骤：步骤(1)、对车载LiDAR点云数据进行预处理，得到非地面点云数据；步骤(2)、从非地面点云数据中提取得到杆状地物点云数据并分类；步骤(3)、利用杆状地物点云数据自制杆状地物数据集，得到杆状地物数据集；步骤(4)、基于PointNet改进的多特征联合MFA-Net网络的构建；利用MFA-Net网络对杆状地物数据集进行自动分类。本发明能够实现深度学习网络分析个人点云数据，并为杆状地物的精确分类提供有效的解决办法。物的精确分类提供有效的解决办法。物的精确分类提供有效的解决办法。