三维语义标注方法和装置

1.本发明涉及导航技术，尤其涉及导航中的语义标注技术。

背景技术：

2.在对图像进行语义分割时，提取图像的细节信息和语义信息都非常重要。通常需要较深的网络结构来提取图像的语义信息，而图像细节信息往往保留在网络浅层中，导致提取图像的细节信息和语义信息对网络结构深浅的需求是相互矛盾的，从而语义标注存在计算速度差、效果不佳等问题。

技术实现要素：

3.本发明鉴于现有技术的情况作出，用于克服现有技术中存在的一种或更多种的问题，至少提供一种有益的选择。
4.根据本发明的一个方面，提供了一种三维语义标注方法，包括以下步骤：获取语义掩膜；将所述语义掩膜的中心点设为初始种子点；利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及利用所述区域生长阈值从所述初始种子点进行区域生长。
5.根据本发明的另一个方面，提供了三维语义标注装置，包括语义掩膜获取装置，用于获取语义掩膜；初始种子点获取单元，用于将语义掩膜中心点设为初始种子点；生长阈值计算单元，用于利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及区域生长单元，用于利用所述区域生长阈值从所述初始种子点进行区域生长。
6.根据本发明的一些实施方式，能够进行快速和更好的三维语义标注。
附图说明
7.结合附图可以更好地理解本发明。附图只是示意性的，不是对本发明的保护范围的限制，附图也不是按照比例绘制的，没有示出对于理解本发明没有帮助的部件。
8.图1是示出了依据本发明的一种实施方式的三维语义标注方法的示意性流程图。
9.图2示出了计算区域生长阈值的一种示例性实施方式。
10.图3是示出了依据本发明的一种实施方式的三维语义标注装置的示意性方框图。
具体实施方式
11.下面结合附图对本发明的具体实施方式进行说明。这些说明都是示例性的，旨在使本领域技术人员能够实现本发明的实施方式，不是对本发明的保护范围的限制。说明中也没有描述对于实际实施不可缺少，但是对于理解本发明无关的内容。
12.图1是示出了依据本发明的一种实施方式的三维语义标注方法的示意性流程图。如图1所示，首先在步骤s100，获取语义掩膜。根据一种实施方式，使用卷积神经网络对图像进行语义分割，获取语义掩膜。语义分割是指识别图像中每个像素所属的类别，如指出画面中的所有物体各自的类别。语义分割可对图像中同类别的物体产生一个掩膜，即语义掩膜，
也称为语义分割掩膜。可以采用目前已知的各种方法获得语义掩膜，例如ds-slam算法等。也可以采用本领域技术人员未来知悉的方法。
13.然后，在步骤s200，将语义掩膜中心点设为初始种子点。根据一种实施方式，可以如下地确定语义掩膜中心点，即初始种子点：
14.首先，计算语义掩膜轮廓的几何矩：
15.m
pq
＝∑
u,vup
vqi(u,v),p,q＝{0,1}；
ꢀꢀ
公式1
16.通过掩膜轮廓的几何矩计算语义掩膜中心点：
[0017][0018]
其中，p,q取值为0或1；u,v为掩膜轮廓的像素的坐标；i(u,v)表示在像素坐标(u,v)处图像的灰度值；m
pq
表示掩膜轮廓的几何矩。m
10
和m
01
分别表示掩膜轮廓关于x轴和y轴的矩，m
00
表示掩膜轮廓的面积。p
center
表示语义掩膜中心点。u，v为掩膜轮廓的像素坐标。∑
u,v
即对掩膜轮廓上每一个像素计算u
p
vqi(u,v)后求和。
[0019]
根据一种实施方式，可以如下地计算m
pq
。此时，m
00
为掩膜轮廓上所有像素的灰度值总和：
[0020][0021][0022][0023]
b表示为掩膜轮廓上所有像素坐标的集合。
[0024]
以上方法优点在于仅依靠掩膜轮廓的像素坐标即可计算出掩膜的中心点，有较快的计算速度。
[0025]
然后，在步骤s300，利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值。图2示出了计算区域生长阈值的一种示例性实施方式。
[0026]
如图2所示，根据一种实施方式，如下地确定区域生长阈值：
[0027]
首先，在步骤s310，在语义掩膜中随机选取i个像素点(i是大于3的正整数)，即随机像素或随机像素点，同时分别选取各随机像素点的相邻8个像素，即相邻像素或相邻像素点。
[0028]
然后，在步骤s320，计算各像素(包括随机像素和相邻像素)对应的空间坐标。
[0029]
根据一种实施方式，如下地计算各像素对应的空间坐标：
[0030]
在通过深度相机获得当前帧的彩和深度图像后，已知图像中像素点p
′
的坐标信息(u,v)、深度信息d，则可利用该像素坐标反推其空间点p的坐标，如公式3：
[0031][0032]
式中，f
x
、fy、c
x
、cy、df为深度相机内参，f
x
与fy为所述深度相机的焦距参数，表示水平、垂直方向的缩放倍数；c
x
与cy表示图像原点的偏移量，表示图像中心距离图像左上角的像素距离；df表示为深度图像的缩放系数；空间点p的坐标为[x,y,z]
t
，深度信息为d。
[0033]
深度相机内参为相机所获得深度信息与实际深度距离的转换关系。
[0034]
接着，在步骤s330，分别计算各随机像素与对应相邻像素对应空间坐标的欧式距离平均值，根据一种实施方式，可以如公式4地计算：
[0035][0036]
式中，表示某一随机像素m与相邻像素对应空间坐标的欧式距离平均值，(xm,ym,zm)表示随机像素点对应的空间坐标，表示随机像素m的第n个对应相邻像素对应的空间坐标。
[0037]
然后，在步骤s340，计算整体的欧式距离平均值。根据一种实施方式，首先对i个进行排序，然后剔除q个最大值和q个最小值后，再计算整体的欧式距离平均值，如公式5：
[0038][0039]
最后，在步骤s350，根据动态系数ε与欧式距离平均值ρ，最终计算动态阈值。例如，如公式6：
[0040]
t＝ερ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0041]
根据一种实施方式，动态系数ε取值在0.8～1.2之间，可以预先设定。
[0042]
步骤4：利用所述动态阈值t进行区域生长。
[0043]
区域生长是根据同一区域内像素的相似程度来对图像进行分割，选定图像中某一像素作为初始种子点，将种子点周围相似的像素点归纳到生长区域，得到新的生长点，然后将新的生长点作为种子点重复以上步骤，直到没有可以归纳的像素点为止。本文将深度相机作为传感器，利用了深度信息作为相邻像素相似性的判断依据。
[0044]
区域生长的结果是完成三维语义标注，得到含有语义信息的三维点云。
[0045]
根据一种实施方式，如下地进行所述区域生长：
[0046]
1)将所述初始种子点作为生长起始点；
[0047]
2)在原始语义掩膜范围内分别到所述初始种子点相邻的8个像素点，计算其与所述初始种子点空间坐标的欧式距离；若距离小于阈值将其作为下一次的生长点压入堆栈，并将其空间点加入到该语义点云集p；
[0048]
3)从堆栈中取出一个像素点作为下一次生长的种子点，在原始语义掩膜范围内分
别到与其相邻的8个像素点，计算该8个像素点与所述种子点的空间坐标的欧式距离；若距离小于阈值将其作为下一次的生长点压入堆栈，并将其空间点加入到该语义点云集p；
[0049]
4)，重复步骤3)直到所述堆栈为空，将该语义点云集p作为优化后的结果。
[0050]
根据本实施方式，通过结合深度信息的区域生长算法进行三维语义标注，减小了二维图像的语义信息映射到三维空间时产生的误差，提高物体语义标注的准确性。可以克服或缓解，在深度学习对图像进行语义分割获得二维的语义信息时，其语义信息存在图像过分割所导致的二维语义信息映射至三维点云时存在的较大偏差。
[0051]
完成区域生长后，就已经完成了三维语义的标注。
[0052]
图3是示出了依据本发明的一种实施方式的三维语义标注装置的示意性方框图。如图3所示，依据本发明的一种实施方式的三维语义标注装置包括：语义掩膜获取单元100，用于获取语义掩膜；初始种子点获取单元200，用于将语义掩膜中心点设为初始种子点；生长阈值计算单元300，用于利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及区域生长单元400，用于利用所述区域生长阈值从所述初始种子点进行区域生长。
[0053]
根据一种实施方式，初始种子点获取单元200如下地确定初始种子点：
[0054]
首先，计算语义掩膜的轮廓的几何矩：
[0055]mpq
＝∑
u,vup
vqi(u,v),p,q＝{0,1}；
[0056]
然后，利用语义掩膜的轮廓的几何矩计算语义掩膜中心点：
[0057][0058]
其中，u,v为掩膜轮廓的像素的坐标；i(u,v)表示在像素坐标(u,v)处图像的灰度值；m
pq
表示掩膜轮廓的几何矩，m
10
和m
01
分别表示掩膜轮廓关于x轴和y轴的矩，m
00
表示掩膜轮廓的面积。p
center
表示语义掩膜中心点。∑
u，v
即对掩膜轮廓上每一个像素计算u
p
vqi(u,v)后求和。
[0059]
根据一种实施方式，如下地计算m
10
，m
01
以及m
00
，m
00
在这种情况下表示掩膜轮廓上所有像素的灰度值总和：
[0060][0061][0062][0063]
根据一种实施方式，生长阈值计算单元300如下地确定区域生长阈值：
[0064]
在所述语义掩膜中随机选取i个像素点，即随机像素，并分别选取各随机像素的相邻8个像素，即对应的相邻像素，i是大于3的正整数，
[0065]
计算所述随机像素和相邻像素对应的空间坐标；
[0066]
分别计算各随机像素与对应相邻像素对应空间坐标的欧式距离平均值
[0067]
根据所获得的i个欧式距离平均值计算整体的欧式距离平均值ρ，
[0068]
根据动态系数ε与该整体的欧式距离平均值ρ，确定区域生长阈值。
[0069]
根据一种实施方式，生长阈值计算单元300如下地分别计算各随机像素与相邻像
素对应空间坐标的欧式距离平均值：
[0070][0071]
式中，表示随机像素与相邻像素对应空间坐标的欧式距离平均值，(xm,ym,zm)表示随机像素点对应的空间坐标，表示随机像素m的第n个相邻像素对应的空间坐标。
[0072]
根据一种实施方式，生长阈值计算单元300如下地根据所获得的i个欧式距离平均值计算整体的欧式距离平均值ρ：
[0073]
对所述i个欧式距离平均值进行排序；
[0074]
剔除其中q个最大项和q个最小项；以及
[0075]
例如如下地计算整体的欧式距离平均值：
[0076][0077]
根据一种实施方式，生长阈值计算单元300如下地根据动态系数ε与该整体的欧式距离平均值ρ，确定区域生长阈值：
[0078]
t＝ερ
[0079]
其中，ε的取值在0.8～1.2之间。
[0080]
根据一种实施方式，生长阈值计算单元300如下地计算各像素对应的空间坐标：
[0081]
在通过深度相机获得当前帧的彩和深度图像后，利用图像中像素点p
′
的坐标信息(u,v)，如下地反推其空间点p的坐标：
[0082][0083]
式中，f
x
、fy、c
x
、cy、df为深度相机内参，f
x
与fy为所述深度相机的焦距参数，表示水平、垂直方向的缩放倍数；c
x
与cy表示图像原点的偏移量，表示图像中心距离图像左上角的像素距离；df表示为深度图像的缩放系数；空间点p的坐标为[x,y,z]
t
，深度信息为d。
[0084]
根据一种实施方式，区域生长单元400如下地进行所述区域生长：
[0085]
1)将所述初始种子点作为生长起始点；
[0086]
2)在语义掩膜范围内分别到所述初始种子点相邻的8个像素点，计算其与所述初始种子点空间坐标的欧式距离；若距离小于阈值将其作为下一次的生长点压入堆栈，并将其空间点加入到该语义点云集p；
[0087]
3)从堆栈中取出一个像素点作为下一次生长的种子点，在原始语义掩膜范围内分别到与种子点相邻的8个像素点，计算8个像素点与种子点空间坐标的欧式距离；若距离小于阈值，则将其作为下一次的生长点压入堆栈，并将其对应的空间点加入到所述语义点
云集p；
[0088]
4)，重复步骤3)直到所述堆栈为空，将该语义点云集p作为优化后的结果。
[0089]
本领域技术人员容易理解，可以利用以上对方法的说明来理解本发明的装置。
[0090]
本领域技术人员容易理解，本发明的方法还可以包括与本发明的装置所完成的功能对应的其他步骤。以上的这些步骤也可以进行精简。
[0091]
本发明对单元和步骤的标号仅仅是为了说明的方便，除非上下文中有相反的说明，否则不代表其执行的顺序。
[0092]
本领域的技术人员应该理解，上述的各单元可以由软件或专门的硬件来实现，例如现场可编程门阵列、单片机、或微芯片等，或者也可以通过软件结合硬件的方式来实现。
[0093]
本发明还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现本发明的方法。
[0094]
本发明还涉及一种计算机软件，该计算机软件在被计算装置(例如单片机、电脑、cpu等)执行时，可以实现本发明的方法。
[0095]
本发明还涉及一种计算机软件存储装置，例如硬盘、软盘、闪存等，该计算机软件存储装置存储有上述的计算机软件。
[0096]
本发明对方法或步骤的说明可以用于理解对单元或装置的说明，对单元或装置的说明也可以用于理解本发明的方法或步骤。
[0097]
以上说明仅仅是示意性的，不是对本发明的保护范围的限制，在本发明的构思范围内的任何改变、替换均在本发明的保护范围内。

技术特征：

1.一种三维语义标注方法，其特征在于，包括以下步骤：获取语义掩膜；将所述语义掩膜的中心点设为初始种子点；利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及利用所述区域生长阈值从所述初始种子点进行区域生长。2.根据权利要求1所述的方法，其中确定初始种子点的步骤包括：首先，如下计算语义掩膜的轮廓的几何矩：m
pq
＝∑
u，v
u
p
v
q
i(u，v)，p，q＝{0，1}；然后，如下地根据所述语义掩膜的轮廓的几何矩计算所述语义掩膜的中心点：其中，u,v表示所述语义掩膜的轮廓的像素的坐标；i(u,v)表示在像素坐标(u,v)处图像的灰度值；m
pq
表示掩膜轮廓的几何矩，m
10
和m
01
分别表示所述轮廓关于x轴和y轴的矩，m
00
表示语义掩膜的轮廓的面积，p
center
表示所述语义掩膜的中心点，∑
u，v
为对所述语义掩膜的轮廓上每一个像素计算u
p
v
q
i(u,v)后求和。3.根据权利要求2所述的方法，其中：3.根据权利要求2所述的方法，其中：3.根据权利要求2所述的方法，其中：b表示所述语义掩膜的轮廓上所有像素坐标的集合。4.根据权利要求1所述的方法，其特征在于，如下地计算区域生长阈值：在所述语义掩膜中随机选取i个像素点，即随机像素，并分别选取各随机像素的相邻8个像素，即对应的相邻像素，i是大于3的正整数，计算各所述随机像素和相邻像素对应的空间坐标；分别计算各随机像素与对应相邻像素对应的空间坐标的欧式距离平均值根据所获得的i个欧式距离平均值计算整体的欧式距离平均值ρ，根据动态系数ε与该整体的欧式距离平均值ρ，确定区域生长阈值。5.根据权利要求4所述的方法，其特征在于，如下地分别计算各随机像素与对应的相邻像素对应的空间坐标的欧式距离平均值：式中，表示随机像素与对应相邻像素对应的空间坐标的欧式距离平均值，(x
m
,y
m
,z
m
)表示随机像素对应的空间坐标，表示随机像素m的对应的第n个相邻像素对应的空间坐标。6.根据权利要求4所述的方法，其特征在于，如下地根据所获得的i个欧式距离平均值
计算整体的欧式距离平均值ρ：对所述i个欧式距离平均值进行排序；剔除其中q个最大项和q个最小项；以及如下计算整体的欧式距离平均值：7.根据权利要求4所述的方法，其特征在于，如下地根据动态系数ε与该整体的欧式距离平均值ρ，确定区域生长阈值：t＝ερ其中，ε的取值在0.8～1.2之间。8.根据权利要求4所述的方法，其特征在于，如下地计算各像素对应的空间坐标：在通过深度相机获得当前帧的彩和深度图像后，利用图像中像素点p
′
的坐标信息(u,v)、深度信息d，如下地反推其空间点p的坐标：式中，f
x
、f
y
、c
x
、c
y
、d
f
为深度相机内参，f
x
与f
y
为所述深度相机的焦距参数，表示水平、垂直方向的缩放倍数；c
x
与c
y
表示图像原点的偏移量，表示图像中心距离图像左上角的像素距离；d
f
表示为深度图像的缩放系数；空间点p的坐标为[x,y,z]
t
，深度信息为d。9.根据权利要求1所述的方法，其特征在于，进行区域生长包括：1)将所述初始种子点作为生长起始点；2)在语义掩膜范围内分别到所述初始种子点相邻的8个像素点，计算其与所述初始种子点空间坐标的欧式距离；若距离小于阈值，则将其作为下一次的生长点压入堆栈，并将其空间点加入到语义点云集p；3)从堆栈中取出一个像素点作为下一次生长的种子点，在原始语义掩膜范围内分别到与种子点相邻的8个像素点，计算8个像素点与种子点空间坐标的欧式距离；若距离小于阈值，则将其作为下一次的生长点压入堆栈，并将其对应的空间点加入到所述语义点云集p；4)，重复步骤3)直到所述堆栈为空，将该语义点云集p作为优化后的结果。10.一种三维语义标注装置，其特征在于，包括：语义掩膜获取装置，用于获取语义掩膜；初始种子点获取单元，用于将语义掩膜中心点设为初始种子点；生长阈值计算单元，用于利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及
区域生长单元，用于利用所述区域生长阈值从所述初始种子点进行区域生长。

技术总结

本发明涉及一种三维语义标注方法和装置。该方法包括以下步骤：获取语义掩膜；将语义掩膜中心点设为初始种子点；利用在所述语义掩膜中随机选取的像素点，计算区域生长阈值；以及利用所述区域生长阈值从所述初始种子点开始进行区域生长。进行区域生长。进行区域生长。

技术研发人员：

危双丰 李澔 吴耐明 朱元娇 刘光祖 刘畅畅 王尚兴

受保护的技术使用者：

北京建筑大学

技术研发日：

2022.09.21

技术公布日：

2022/12/16