基于语义信息的聚类方法、装置、电子设备及存储介质与流程

1.本发明涉及数据处理技术领域，特别是涉及一种基于语义信息的聚类方法、装置、电子设备及存储介质。

背景技术：

2.聚类算法是模式识别和计算机视觉领域常用的算法，在感知技术领域内，基于点云的聚类算法被大量应用。但是传统聚类算法只是根据空间信息对点云进行聚类，在目标密集的场景中，很容易将两个类别不同但距离很近的物体归为一类，导致整个算法的容错率较低，在众多应用聚类算法的场景下，例如，自动驾驶领域，容易出现安全隐患。因此，如何提高传统聚类算法的容错率成为亟待解决的问题。

技术实现要素：

3.本发明实施例的目的在于提供一种基于语义信息的聚类方法、装置、电子设备及存储介质，以提高聚类算法的容错率和聚类的准确度。具体技术方案如下：为实现上述目的，本发明实施例提供了一种基于语义信息的聚类方法，所述方法包括：获取目标点云的属性信息，所述属性信息包括：所述目标点云中各个检测点的位置信息和语义信息，所述语义信息包括所述检测点的至少一个语义标签和各个语义标签对应的置信度；基于所述目标点云中各个检测点的位置信息，将所述目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，所述栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
4.可选的，所述针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息的步骤，包括：针对每一栅格，将该栅格内所有检测点包括的语义标签对应的置信度累加求和，得到各个语义标签的累计置信度，并将大于预设阈值的累计置信度对应的语义标签，作为该栅格的语义标签；对该栅格的各个语义标签对应的累计置信度进行归一化，得到该栅格的各个语义标签对应的置信度。
5.可选的，在针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息之后，还包括：针对每一栅格，判断该栅格的所有语义标签是否属于预设的物体类别，若该栅格的任一语义标签属于预设的物体类别，则执行根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类的步骤。
6.可选的，所述根据所述栅格之间的位置关系和所述栅格的栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇的步骤，包括：确定种子栅格，将处于所述种子栅格的预设搜索范围内的栅格作为候选栅格；判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配，若是，将该候选栅格与所述种子栅格聚类到同一点云簇，并将该候选栅格确定为新的种子栅格，返回执行将处于所述种子栅格的预设搜索范围内的栅格作为候选栅格，判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配的步骤。
7.可选的，所述栅格的语义标签中包括主语义标签，所述预设搜索范围的大小与栅格的主语义标签相关。
8.可选的，所述判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配的步骤，包括：判断所述候选栅格的至少一个语义标签与所述种子栅格的任一语义标签是否相同，若是，确定所述候选栅格的语义标签与所述种子栅格的语义标签相匹配；若所述候选栅格的任一语义标签与所述种子栅格的任一语义标签均不相同，确定所述候选栅格的语义标签与所述种子栅格的语义标签不相匹配。
9.可选的，所述确定各个点云簇的语义标签的步骤，包括：针对各个点云簇，基于该点云簇包含的各个栅格的栅格语义信息，计算每个语义标签对应的置信度总和并归一化处理，将归一化处理后最大的置信度对应的语义标签作为该点云簇的语义标签。
10.为实现上述目的，本发明实施例提供了一种基于语义信息的聚类装置，所述装置包括：获取模块，用于获取目标点云的属性信息，所述属性信息包括：所述目标点云中各个检测点的位置信息和语义信息，所述语义信息包括所述检测点的至少一个语义标签和各个语义标签对应的置信度；映射模块，用于基于所述目标点云中各个检测点的位置信息，将所述目标点云映射至栅格内；第一确定模块，用于针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，所述栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；第二确定模块，用于根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
11.可选的，所述第一确定模块，具体用于：针对每一栅格，将该栅格内所有检测点包括的语义标签对应的置信度累加求和，得到各个语义标签的累计置信度，并将大于预设阈值的累计置信度对应的语义标签，作为该栅格的语义标签；对该栅格的各个语义标签对应的累计置信度进行归一化，得到该栅格的各个语义标签对应的置信度。
12.可选的，所述装置还包括：判断模块，用于在针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅
格的栅格语义信息之后，针对每一栅格，判断该栅格的所有语义标签是否属于预设的物体类别，若该栅格的任一语义标签属于预设的物体类别，触发所述第二确定模块。
13.可选的，所述第二确定模块，包括：第一确定子模块，用于确定种子栅格，将处于所述种子栅格的预设搜索范围内的栅格作为候选栅格；第一判断子模块，用于判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配，若是，将该候选栅格与所述种子栅格聚类到同一点云簇，并将该候选栅格确定为新的种子栅格，触发所述第一确定子模块。
14.可选的，所述栅格的语义标签中包括主语义标签，所述预设搜索范围的大小与栅格的主语义标签相关。
15.可选的，所述第一判断子模块，具体用于：判断所述候选栅格的至少一个语义标签与所述种子栅格的任一语义标签是否相同，若是，确定所述候选栅格的语义标签与所述种子栅格的语义标签相匹配；若所述候选栅格的任一语义标签与所述种子栅格的任一语义标签均不相同，确定所述候选栅格的语义标签与所述种子栅格的语义标签不相匹配。
16.可选的，所述第二确定模块，具体用于：针对各个点云簇，基于该点云簇包含的各个栅格的栅格语义信息，计算每个语义标签对应的置信度总和并归一化处理，将归一化处理后最大的置信度对应的语义标签作为该点云簇的语义标签。
17.为实现上述目的，本发明实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任一方法的步骤。
18.为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法的步骤。
19.本发明实施例有益效果：应用本发明实施例提供的基于语义信息的聚类方法、装置、电子设备及存储介质，获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
20.可见，本发明实施例中，将目标点云中的检测点映射到栅格内，综合栅格内检测点的语义信息确定栅格的整体语义信息，随后将栅格作为最小单位进行聚类，相比于直接将检测点作为最小单位进行聚类的方式，能够减少聚类的复杂度。并且，由于栅格的整体语义信息是综合栅格内各个检测点的语义信息确定的，即使部分检测点的语义标签和置信度存在误差，也不会对栅格的整体语义信息产生较大的影响，因此以栅格作为最小单位进行聚
类，在一定程度上提高了聚类过程的容错率。
21.随后，综合栅格之间的位置关系、栅格语义信息，对栅格进行聚类。在传统聚类算法以距离作为聚类指标的基础上，额外考虑了栅格的整体语义标签。与传统聚类方法相比，既解决了距离很近的不同类别物体无法分开的问题，也可以处理距离较远但类别一样的目标分截问题，从而大幅提升了聚类的准确度。
22.当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
23.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
24.图1为本发明实施例提供的基于语义信息的聚类方法的一种流程示意图；图2为本发明实施例提供的基于语义信息的聚类装置的一种结构示意图；图3为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
26.为了解决传统聚类算法容错率低的问题，本发明实施例提供了一种基于语义信息的聚类方法、装置、电子设备及存储介质。本发明提供的基于语义信息的聚类方法可以应用于辅助驾驶的场景，例如，采用本发明提供的基于语义信息的聚类方法对公路上的物体进行聚类检测，其中，待检测物体可以为车辆、行人等，车辆可以包含卡车、汽车、摩托车等。此外，也可以应用于其他场景，在其他场景中可以根据实际需求进行合理调整。
27.参见图1，图1为本发明实施例提供的基于语义信息的聚类方法的一种流程示意图，方法包括以下步骤：s101：获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度。
28.本发明实施例中，可以采用常规的点云语义分割神经网络来获取目标点云的语义信息。
29.作为一个示例，采用激光雷达采集部分路段的点云数据，然后用语义分割神经网络对点云数据进行语义分割，得到点云中各个检测点的位置信息和语义信息，其中，位置信息可以用三维坐标来表示，语义信息包括各个检测点的至少一个语义标签和各个语义标签对应的置信度。语义标签和置信度可以通过现有的语义分割技术实现。
30.s102：基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内。
31.栅格为对预定的雷达的检测区域进行划分，形成的多个空间网格。本发明实施例
中，可以基于目标点云中各个检测点的位置信息与栅格的空间位置进行关联，即将所有检测点映射到不同的栅格内，每一个栅格内可以包含多个检测点。
32.本发明实施例中，栅格的大小可以调整，栅格的表达方式为自定义的数据结构，每个栅格实例中包含落在本栅格内的点云以及某些属性，例如：位置、语义标签、置信度等。
33.本发明实施例中，栅格的形状可以是立体的，例如：正方体。
34.s103：针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度。
35.本发明的一个实施例中，针对每一栅格，首先统计栅格内的语义标签种类，将该栅格内所有检测点包括的语义标签对应的置信度累加求和，得到各个语义标签的累计置信度。并将大于预设阈值的累计置信度对应的语义标签，作为该栅格的语义标签；对该栅格的各个语义标签对应的累计置信度进行归一化，得到该栅格的各个语义标签对应的置信度。
36.作为一个示例，栅格a包含3个检测点，分别为检测点a、检测点b、检测点c。检测点a的语义信息为（d1：0.5；d2：0.3；d3：0.2），其中d1、d2和d3分别为检测点a的三个语义标签（可以为人、车、建筑物等交通场景中的预设目标类型），语义标签d1的对应的置信度为0.5，语义标签d2对应的置信度为0.3，语义标签d3对应的置信度为0.2，同样的对应关系也适用于检测点b和检测点c。检测点b的语义信息为（d4：0.7；d5：0.2；d6：0.1），检测点c的语义信息为（d1：0.6；d2：0.2；d4：0.2）。
37.其中，语义标签d1的累计置信度为0.5+0.6=1.1、语义标签d2的累计置信度为0.3+0.2=0.5、语义标签d3的累计置信度为0.2、语义标签d4的累计置信度为0.7+0.2=0.9，语义标签d5的累计置信度0.2，语义标签d6的累计置信度为0.1。
38.设置预设阈值的目的是为了过滤掉为后续聚类步骤可能引入噪声的标签。若预设阈值为0.4，则可以确定栅格a中语义标签d1、d2和d4对应的置信度都大于预设阈值。综上，则可以将语义标签d1、d2和d4分别作为栅格a的3个语义标签。
39.承接上例，对栅格a的各个语义标签对应的置信度做归一化处理后，语义标签d1的置信度为1.1/(1.1+0.5+0.9)=0.44，语义标签d2的置信度为0.5/(1.1+0.5+0.9)=0.2，语义标签d4的置信度为0.9/(1.1+0.5+0.9)=0.36。
40.由以上示例可知，本发明实施例是综合栅格的各个语义标签对应的置信度，选出数值大于预设阈值的置信度及其对应的语义标签，并将语义标签对应的置信度做归一化处理，从而确定栅格的语义信息，可见，应用本发明实施例的方法在确定栅格的语义信息时，即使部分检测点的语义信息存在误差，也不会对栅格的整体的语义信息产生较大的影响，可以得到准确度较高的语义信息。
41.本发明实施例中，在将目标点云映射至栅格内，并确定栅格语义信息之后，将对点云中检测点的聚类转换为对栅格的聚类。
42.本发明实施例中，在确定各个栅格的语义标签之后，可以检查每个语义标签所对应的置信度，如果某个语义标签的置信度低于预先预设的阈值，则将此语义标签赋值-1，表示该语义标签为噪声，其中阈值的取值范围应根据实际需求确定。通过设置合理的阈值范围，可以对栅格的语义标签进行进一步筛选，过滤掉置信度不符合阈值范围的语义标签，有利于提高后续算法的执行效率。
43.本发明的一个实施例中，上述步骤s103之后，还包括以下步骤：
针对每一栅格，判断该栅格的所有语义标签是否属于预设的物体类别，若该栅格的任一语义标签属于预设的物体类别，则执行根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类的步骤。
44.具体的，预设的物体类别可以根据实际的应用场景进行设置，可以设置为该应用场景下可能出现的物体类别。例如，对公路上的物体进行聚类检测，那么预设的物体类别可以包括：小汽车、摩托车、大卡车和自行车等。
45.在确定栅格的语义信息之后，针对每一栅格，判断栅格的所有语义标签是否属于预设的物体类别，如果某栅格的所有语义标签都不属于预设的物体类别，那么该栅格大概率是噪声栅格，在后续的聚类中，不考虑噪声栅格。
46.反之，如果栅格的任一语义标签属于预设的物体类别，那么该栅格参与后续的聚类过程。
47.作为一个示例，若预设物体类别为a1、a2和a3，该栅格的语义标签为b1、b2和a3，该栅格的语义标签b1和b2不属于预设的物体类别，但该栅格的语义标签a3属于预设的物体类别，则该栅格参与后续的聚类过程。
48.s104：根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
49.具体的，在对栅格进行聚类时，综合考虑栅格之间的位置关系和栅格的语义信息，将空间距离较近、且语义信息相匹配的栅格聚为一类，从而可以将距离很近但语义标签不同的检测点分开。
50.例如，在驾驶员下车的场景中，语义标签为行人和语义标签为汽车的检测点在边界处难以区分，如果只考虑距离信息，对两者进行聚类，很容易将这两者聚为一类。
51.而应用本发明实施例提供的基于语义信息聚类的方法，即使语义标签为行人的检测点和语义标签为汽车的检测点距离很近，但二者从属的栅格的语义信息差别很大，那么不会将二者聚为一类。
52.应用本发明实施例提供的基于语义信息的聚类方法，获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
53.可见，本发明实施例中，将目标点云中的检测点映射到栅格内，综合栅格内检测点的语义信息确定栅格的整体语义信息，随后将栅格作为最小单位进行聚类，相比于直接将检测点作为最小单位进行聚类的方式，能够减少聚类的复杂度。并且，由于栅格的整体语义信息是综合栅格内各个检测点的语义信息确定的，即使部分检测点的语义标签和置信度存在误差，也不会对栅格的整体语义信息产生较大的影响，因此以栅格作为最小单位进行聚类，在一定程度上提高了聚类过程的容错率。
54.随后，综合栅格之间的位置关系、栅格语义信息，对栅格进行聚类。在传统聚类算法以距离作为聚类指标的基础上，额外考虑了栅格的整体语义标签。与传统聚类方法相比，
既解决了距离很近的不同类别物体无法分开的问题，也可以处理距离较远但类别一样的目标分截问题，从而大幅提升了聚类的准确度。
55.本发明的一个实施例中，上述步骤s104，具体可以包括以下细化步骤：步骤11：确定种子栅格，将处于种子栅格的预设搜索范围内的栅格作为候选栅格。
56.本公开的一个实施例中，栅格的语义标签中包括主语义标签，预设搜索范围的大小与栅格的主语义标签相关。也就是，可以预先设置搜索范围的大小与栅格的主语义标签之间的对应关系。主语义标签可以定义为该栅格内置信度最大的语义标签。
57.作为一个示例：在无人驾驶场景中，针对道路上的车辆进行聚类，若目标栅格的主语义标签是卡车，说明该栅格所在位置处存在卡车的概率较大，则可以将预设搜索范围设置为较大值，若目标栅格的主语义标签是轿车，则可以将预设搜索范围设置为较小值。因为一般情况下，卡车的点云比较稀疏且分散，轿车的点云相对来说比较稠密，设置小一点的值，在预设范围内可以到邻居，而对于卡车来说，一个点的邻居可能距离它比较远，如果近距离搜索，可能会由于不到邻居而终止搜索，从而影响聚类效果。
58.步骤12：判断候选栅格的语义标签是否与种子栅格的语义标签相匹配，若是，将该候选栅格与种子栅格聚类到同一点云簇，并将该候选栅格确定为新的种子栅格，返回执行将处于种子栅格的预设搜索范围内的栅格作为候选栅格，判断候选栅格的语义标签是否与种子栅格的语义标签相匹配的步骤。
59.本发明实施例中，聚类算法实际作用在栅格上，随机选择多个栅格作为种子栅格，以种子栅格为中心，将种子栅格周围预设搜索范围内的栅格作为候选栅格，搜索到候选栅格后，进一步判断候选栅格的语义标签与种子栅格的语义标签是否相匹配，如果相匹配，则将该候选栅格作为种子栅格的邻居栅格，以邻居栅格作为下一个种子栅格继续进行区域生长（在此过程中，预设搜素范围可以保持不变），直至新到的候选栅格无法完成标签匹配，则搜索完成，点云簇为所有可以完成标签匹配的栅格的集合。对每个点云簇包含的栅格的语义标签做进一步统计，计算出每个点云簇的类别，例如：对每个标签的置信度进行累加，将累加后置信度最高的标签作为点云簇的标签。
60.本发明的一个实施例中，在判断候选栅格的语义标签是否与种子栅格的语义标签相匹配时，针对候选栅格，如果至少有一个语义标签与种子栅格的任一语义标签相等，则确定候选栅格的语义标签与种子栅格的语义标签相匹配，若候选栅格的任一语义标签与种子栅格的任一语义标签均不相同，则确定候选栅格的语义标签与种子栅格的语义标签不相匹配。
61.作为一个示例，假设种子栅格a的三个语义标签为（a；b；c），按置信度高低次序分别为：主语义标签a、副语义标签b、次语义标签c。候选栅格b的三个语义标签为（d；a；e），由于种子栅格a的主语义标签与候选栅格b的副语义标签相等，因此可以确定种子栅格a的语义标签与候选栅格b的语义标签相匹配。
62.作为另一个示例，假设种子栅格c的三个语义标签为（a；b；c），候选栅格d的三个语义标签为（d；e；f），由于种子栅格c的任一语义标签都不与候选栅格d的任一语义标签相等，因此，确定种子栅格c的语义标签和候选栅格d的语义标签不相匹配。
63.本发明的一个实施例中，在得到聚类后的点云簇后，针对各个点云簇，基于该点云簇包含的各个栅格的栅格语义信息，计算每个语义标签对应的置信度总和并归一化处理，
将归一化处理后最大的置信度对应的语义标签作为该点云簇的语义标签。
64.可见，本发明实施例中，综合栅格内所有检测点的语义标签确定栅格的至少一个语义标签，将目标栅格与邻近的候选栅格的语义标签进行匹配，根据语义标签匹配结果确定是否聚为一类。对于聚类生成的点云簇，通过累计的置信度大小确定最可信的语义标签，从而确保基于语义信息进行聚类的准确度。
65.相应于本发明实施例提供的一种基于语义信息的聚类方法实施例，本发明实施例还提供了一种基于语义信息的聚类装置，参见图2，装置可以包括以下模块：获取模块201，用于获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；映射模块202，用于基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；第一确定模块203，用于针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；第二确定模块204，用于根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
66.应用本发明实施例提供的基于语义信息的聚类装置，获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
67.可见，本发明实施例中，将目标点云中的检测映射到栅格内，综合栅格内检测点的语义信息确定栅格的整体语义信息，随后将栅格作为最小单位进行聚类，相比于直接将检测点作为最小单位进行聚类的方式，能够减少聚类的复杂度。并且，由于栅格的整体语义信息是综合栅格内各个检测点的语义信息确定的，即使部分检测点的语义标签和置信度存在误差，也不会对栅格的整体语义信息产生较大的影响，因此以栅格作为最小单位进行聚类，在一定程度上提高了聚类过程的容错率。
68.随后，综合栅格之间的位置关系、栅格语义信息，对栅格进行聚类。在传统聚类算法以距离作为聚类指标的基础上，额外考虑了栅格的整体语义标签。与传统聚类方法相比，既解决了距离很近的不同类别物体无法分开的问题，也可以处理距离较远但类别一样的目标分截问题，从而大幅提升了聚类的准确度。
69.在本发明的一种实施例中，第一确定模块，具体可以用于：针对每一栅格，将该栅格内所有检测点包括的语义标签对应的置信度累加求和，得到各个语义标签的累计置信度，并将大于预设阈值的累计置信度对应的语义标签，作为该栅格的语义标签；对该栅格的各个语义标签对应的累计置信度进行归一化，得到该栅格的各个语义
标签对应的置信度。
70.在本发明的一种实施例中，在图2所示装置的基础上，还可以包括判断模块，判断模块具体可以用于：在针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息之后，针对每一栅格，判断该栅格的所有语义标签是否属于预设的物体类别，若该栅格的任一语义标签属于预设的物体类别，触发所述第二确定模块。
71.在本发明的一种实施例中，在图2所示装置的基础上，第二确定模块可以包括：第一确定子模块，用于确定种子栅格，将处于种子栅格的预设搜索范围内的栅格作为候选栅格；第一判断子模块，用于判断候选栅格的语义标签是否与种子栅格的语义标签相匹配，若是，将该候选栅格与种子栅格聚类到同一点云簇，并将该候选栅格确定为新的种子栅格，触发第一确定子模块。
72.在本发明的一种实施例中，栅格的语义标签中包括主语义标签，预设搜索范围的大小与栅格的主语义标签相关。
73.在本发明的一种实施例中，第一判断子模块，具体可以用于：判断候选栅格的至少一个语义标签与种子栅格的任一语义标签是否相同，若是，确定候选栅格的语义标签与种子栅格的语义标签相匹配；若候选栅格的任一语义标签与种子栅格的任一语义标签均不相同，确定候选栅格的语义标签与种子栅格的语义标签不相匹配。
74.在本发明的一种实施例中，第二确定模块，具体可以用于：针对各个点云簇，基于该点云簇包含的各个栅格的栅格语义信息，计算每个语义标签对应的置信度总和并归一化处理，将归一化处理后最大的置信度对应的语义标签作为该点云簇的语义标签。
75.基于相同的发明构思，根据上述基于语义信息的聚类方法实施例，本发明实施例还提供了一种电子设备，如图3所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；存储器303，用于存放计算机程序；处理器301，用于执行存储器上所存放的程序时，实现如下步骤。
76.获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于所述目标点云中各个检测点的位置信息，将所述目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，所述栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
77.上述电子设备提到的通信总线可以是外设部件互连标准（peripheral component interconnect，pci）总线或扩展工业标准结构（extended industry standard architecture，eisa）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
78.通信接口用于上述电子设备与其他设备之间的通信。
79.存储器可以包括随机存取存储器（random access memory，ram），也可以包括非易失性存储器（non-volatile memory，nvm），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
80.上述的处理器可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
81.应用本发明实施例提供的电子设备，获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。
82.可见，本发明实施例中，将目标点云中的检测点映射到栅格内，综合栅格内检测点的语义信息确定栅格的整体语义信息，随后将栅格作为最小单位进行聚类，相比于直接将检测点作为最小单位进行聚类的方式，能够减少聚类的复杂度。并且，由于栅格的整体语义信息是综合栅格内各个检测点的语义信息确定的，即使部分检测点的语义标签和置信度存在误差，也不会对栅格的整体语义信息产生较大的影响，因此以栅格作为最小单位进行聚类，在一定程度上提高了聚类过程的容错率。
83.随后，综合栅格之间的位置关系、栅格语义信息，对栅格进行聚类。在传统聚类算法以距离作为聚类指标的基础上，额外考虑了栅格的整体语义标签。与传统聚类方法相比，既解决了距离很近的不同类别物体无法分开的问题，也可以处理距离较远但类别一样的目标分截问题，从而大幅提升了聚类的准确度。
84.在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于语义信息的聚类方法的步骤。
85.在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于语义信息的聚类方法的步骤。
86.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（dsl））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或
数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质（例如固态硬盘solid state disk (ssd)）等。
87.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
88.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于基于语义信息的聚类装置、电子设备、计算机可读存储介质及计算机程序产品实施例而言，由于其基本相似于基于语义信息的聚类方法实施例，所以描述的比较简单，相关之处参见基于语义信息的聚类方法实施例的部分说明即可。
89.以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：

1.一种基于语义信息的聚类方法，其特征在于，所述方法包括：获取目标点云的属性信息，所述属性信息包括：所述目标点云中各个检测点的位置信息和语义信息，所述语义信息包括所述检测点的至少一个语义标签和各个语义标签对应的置信度；基于所述目标点云中各个检测点的位置信息，将所述目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，所述栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。2.根据权利要求1所述的方法，其特征在于，所述针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息的步骤，包括：针对每一栅格，将该栅格内所有检测点包括的语义标签对应的置信度累加求和，得到各个语义标签的累计置信度，并将大于预设阈值的累计置信度对应的语义标签，作为该栅格的语义标签；对该栅格的各个语义标签对应的累计置信度进行归一化，得到该栅格的各个语义标签对应的置信度。3.根据权利要求1所述的方法，其特征在于，在针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息之后，还包括：针对每一栅格，判断该栅格的所有语义标签是否属于预设的物体类别，若该栅格的任一语义标签属于预设的物体类别，则执行根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类的步骤。4.根据权利要求1所述的方法，其特征在于，所述根据所述栅格之间的位置关系和所述栅格的栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇的步骤，包括：确定种子栅格，将处于所述种子栅格的预设搜索范围内的栅格作为候选栅格；判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配，若是，将该候选栅格与所述种子栅格聚类到同一点云簇，并将该候选栅格确定为新的种子栅格，返回执行将处于所述种子栅格的预设搜索范围内的栅格作为候选栅格，判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配的步骤。5.根据权利要求4所述的方法，其特征在于，所述栅格的语义标签中包括主语义标签，所述预设搜索范围的大小与栅格的主语义标签相关。6.根据权利要求4所述的方法，其特征在于，所述判断所述候选栅格的语义标签是否与所述种子栅格的语义标签相匹配的步骤，包括：判断所述候选栅格的至少一个语义标签与所述种子栅格的任一语义标签是否相同，若是，确定所述候选栅格的语义标签与所述种子栅格的语义标签相匹配；若所述候选栅格的任一语义标签与所述种子栅格的任一语义标签均不相同，确定所述候选栅格的语义标签与所述种子栅格的语义标签不相匹配。7.根据权利要求1所述的方法，其特征在于，所述确定各个点云簇的语义标签的步骤，包括：针对各个点云簇，基于该点云簇包含的各个栅格的栅格语义信息，计算每个语义标签
对应的置信度总和并归一化处理，将归一化处理后最大的置信度对应的语义标签作为该点云簇的语义标签。8.一种基于语义信息的聚类装置，其特征在于，所述装置包括：获取模块，用于获取目标点云的属性信息，所述属性信息包括：所述目标点云中各个检测点的位置信息和语义信息，所述语义信息包括所述检测点的至少一个语义标签和各个语义标签对应的置信度；映射模块，用于基于所述目标点云中各个检测点的位置信息，将所述目标点云映射至栅格内；第一确定模块，用于针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，所述栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；第二确定模块，用于根据所述栅格之间的位置关系和所述栅格语义信息，对所述栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。

技术总结

本发明实施例提供了一种基于语义信息的聚类方法、装置、电子设备及存储介质，方法包括：获取目标点云的属性信息，属性信息包括：目标点云中各个检测点的位置信息和语义信息，语义信息包括检测点的至少一个语义标签和各个语义标签对应的置信度；基于目标点云中各个检测点的位置信息，将目标点云映射至栅格内；针对每一栅格，基于该栅格中各个检测点的语义信息，确定该栅格的栅格语义信息，栅格语义信息包括栅格的至少一个语义标签和各个语义标签对应的置信度；根据栅格之间的位置关系和栅格语义信息，对栅格进行聚类，得到聚类后的点云簇，并确定各个点云簇的语义标签。应用本发明实施例，可以提高聚类算法的容错率，且大幅提升聚类的准确度。升聚类的准确度。升聚类的准确度。