一种基于深度学习的三维点云语义分割方法

1.本发明属于计算机视觉技术领域，特别涉及一种基于深度学习的三维点云语义分割方法。

背景技术：

2.目前，三维数据是计算机视觉技术的一项宝贵“财富”，它提供了关于对象、场景完整且丰富的几何信息。随着三维数据采集技术的飞速发展，出现了越来越多廉价的传感器，包括各种类型的三维数据扫描仪、lidar和rgb-d相机。这些传感器获取的三维数据不但能够提供完整的几何、形状和尺度信息，而且获取方式简便易行，进一步推动三维数据的发展，为机器提供了更好地理解周围环境的机会，为实现自动化打下基础。
3.不同的三维传感设备以不同形式收集原始数据，点云作为一种常用数据格式，由于其具有能够将原始几何信息完整地保留在三维空间中的重要特性，成为不同领域研究与开发应用时的首选对象，包括自动驾驶、实时定位与制图、地质灾害监测与预防等，它更是许多场景理解相关应用程序的理想表示形式。基于点云的目标物体分割与提取则是场景解析中待解决的重要工作之一。
4.近些年，随着三维激光扫描技术(lidar)的快速发展和普及，基于点云的目标物体分割与提取算法研究已经成为当今lidar应用领域的热点话题之一。这类算法解决的是如何从杂乱无序的原始点云中识别、分割与提取自然地物与人工建(构)筑物的问题，是数字地面模型生成、复杂场景三维重建等后续应用的基础。但是，原始点云中往往存在目标多样、形态结构复杂、目标遮挡和重叠、空间密度差别迥异等现象，这为三维点云的识别与提取造成了巨大困难。

技术实现要素：

5.本发明提出一种基于深度学习的三维点云语义分割方法，解决了上述问题。
6.本发明的技术方案是这样实现的：一种基于深度学习的三维点云语义分割方法，包括如下步骤：
7.步骤1、根据先验信息对影像进行初步分类；
8.步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；
9.步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。
10.作为一种优选的实施方式，步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。
11.作为一种优选的实施方式，步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。
12.作为一种优选的实施方式，步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样
另存为文本格式。
13.作为一种优选的实施方式，步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本。
14.作为一种优选的实施方式，分割出的点云数据进行语义标注，赋予相应的属性后，完成封装。
15.作为一种优选的实施方式，步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入pointnet++点云数据处理网络中，pointnet++提取样本集中不同尺度的局部特征，并进行融合。
16.作为一种优选的实施方式，融合的方法包括multi scale grouping和multi resolution grouping。
17.作为一种优选的实施方式，完成模型训练后还设有测试步骤，测试的方法为，随机抽取数据集的部分数据作为测试集送入pointnet++点云数据处理网络中进行测试，并对测试结果进行精度分析，观察测试效果，分析是否需要继续增加样本的数量或继续调整参数，在将相关影响因素影响降到最低的情况下，进行多次测试。
18.作为一种优选的实施方式，步骤1中根据先验信息对影像进行初步分类的方法为，由影像中的各类地物，确定场景语义分割中的各种分类。
19.采用了上述技术方案后，本发明的有益效果是：
20.本发明能够直接处理无序点云，并可以提取到点云不同尺度的局部特征，具有可以提高对精细场景的识别以及对复杂场景的泛化能力的优点。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1为pointnet++网络结构示意图；
23.图2为(a)multi scale grouping与(b)multi resolution grouping的示意图；
24.图3为精度反馈机制示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.根据图1至图3所示，一种基于深度学习的三维点云语义分割方法，包括如下步骤：
27.步骤1、根据先验信息对影像进行初步分类；
28.步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；
29.步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。
30.步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。
31.步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。
32.步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样另存为文本格式。
33.步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本，以提供后续模型训练。
34.分割出的点云数据进行语义标注，赋予相应的属性，提供后续模型训练与建筑物分类提取。
35.步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入pointnet++点云数据处理网络中，pointnet++提取样本集中不同尺度的局部特征，pointnet++可以提取到不同尺度的局部特征，这样的特性对于点云来说尤为重要，因为点云在实际的采集过程中不可避免的会产生离传感器近密远疏的现象，点云各个部分的密度不一致，并进行融合，融合的方法包括multi scale grouping和multi resolution grouping。
36.完成模型训练后还设有测试步骤，并对测试结果进行精度分析，同时建立了精度反馈机制，反馈机制可以保证人工智能算法的持续优化。虽然通过增加样本量、优化网络结构等手段提高人工智能训练模型的预测精度，但面对目前室外大场景，尤其是相关数据集并不丰富的现状，建立模型精度反馈机制可以充分有效利用已有和自建数据集，持续优化模型精度。
37.从两个方面建立精度反馈机制。首先，通过不同算法对比试验建立的评价体系，分析提出的大场景下基于pointnet++的分类模型的方案，从精度入手，实现算法的自学习、自优化；另一方面，从精度评价体系上进一步分析提出的样本制作方案，并对其进行优化，进一步优化样本制作方案，实现整个流程的持续改进机制，实现对自建和公开数据集的有效利用。
38.以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于深度学习的三维点云语义分割方法，其特征在于，包括如下步骤：步骤1、根据先验信息对影像进行初步分类；步骤2、对数据进行预处理并进行点云样本制作后，完成样本集的封装；步骤3、将步骤2中的样本集送入语义分割的神经网络中提取点云的特征，完成模型训练。2.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中影像是指倾斜摄影软件获取的场景数字正射影像。3.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中根据先验信息对影像进行初步分类的方法为，将影像分为建筑物、植被以及其他，并通过计算机制图软件制作出各分类的矢量文件。4.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤2中对数据进行预处理的方法为，将倾斜摄影软件获取的场景数字正射影像及实景三维模型的数据格式转为点云数据，并将点云数据下采样另存为文本格式。5.根据权利要求4所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤2中进行点云样本制作的方法为，利用各分类的矢量文件以及实景三维模型的点云数据分割出各分类的点云样本。6.根据权利要求5所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述分割出的点云数据进行语义标注，赋予相应的属性后，完成封装。7.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤3中送入语义分割的神经网络中提取点云的特征的方法为，将制作好的样本集送入pointnet++点云数据处理网络中，pointnet++提取样本集中不同尺度的局部特征，并进行融合。8.根据权利要求7所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述融合的方法包括multi scale grouping和multi resolution grouping。9.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述完成模型训练后还设有测试步骤，测试的方法为，随机抽取数据集的部分数据作为测试集送入pointnet++点云数据处理网络中进行测试，并对测试结果进行精度分析，观察测试效果，分析是否需要继续增加样本的数量或继续调整参数，在将相关影响因素影响降到最低的情况下，进行多次测试。10.根据权利要求1所述的一种基于深度学习的三维点云语义分割方法，其特征在于，所述步骤1中根据先验信息对影像进行初步分类的方法为，由影像中的各类地物，确定场景语义分割中的各种分类。

技术总结

本发明公开了一种基于深度学习的三维点云语义分割方法，包括以下步骤：步骤1、根据先验信息对倾斜摄影软件获取的场景数字正射影像进行初步分类；步骤2、对点云数据进行预处理并进行点云样本的制作；步骤3、点云数据完成预处理与目标分割后，赋予相应的属性，并完成样本集的封装；步骤4、将样本集送入语义分割的神经网络中提取点云的特征，完成模型训练；步骤5、模型训练之后，进行测试，并对测试结果进行可视化，对可视化结果进一步分析，借此，本发明能够直接处理无序点云，并可以提取到点云不同尺度的局部特征，具有可以提高对精细场景的识别以及对复杂场景的泛化能力的优点。别以及对复杂场景的泛化能力的优点。别以及对复杂场景的泛化能力的优点。