一种基于双目结构光的高反光物体的点云生成方法与流程

1.本发明涉及3d结构光测量技术领域，尤其涉及了一种基于双目结构光的高反光物体的点云生成方法。

背景技术：

2.随着光学传感器的快速发展，3d测量技术不断取得新的突破与发展，在工业领域的应用日益广泛。3d结构光测量技术作为3d测量技术中的重要分支，具有非接触、检测速度快、检测精度高、操作简单等优点，在测量、检测等各种工业场景中有着重要应用。
3.双目结构光技术由两个工业相机与一个光机组成，两个工业相机分布在光机两侧位置，双目结构光相机的测量原理是光机投射特定编码的光栅条纹，左右两个工业相机同步采集带有编码图案的图片，然后进行解码及点云的三维坐标计算。与单目3d结构光相机相同，双目结构光相机对高反光物体三维成像依然存在三维成像效果差，难以获取完整点云的问题。

技术实现要素：

4.针对现有技术存在的不足，本发明的目的就在于提供了一种基于双目结构光的高反光物体的点云生成方法，在一定程度上解决反光导致的点云缺失问题。为了实现上述目的，本发明采用的技术方案是这样的：一种基于双目结构光的高反光物体的点云生成方法，包括双目结构光相机，所述双目结构光相机包括光机、左相机、右相机，所述光机与左相机组成左结构光相机，所述光机与右相机组成右结构光相机，所述点云生成方法包括如下步骤：
5.(1)将待测高反光物体设置于双目结构光相机的测量范围内，调整高反光物体的位置及角度，使高反光物体在左相机、右相机的成像图片中反光位置不同；
6.(2)光机投射n幅特定编码的光栅图案，左相机、右相机分别同步采集n张投影图片；
7.(3)生成右结构光相机对应的三维点云坐标；
8.(4)将右结构光相机生成的三维点云坐标转至左相机坐标系下的三维点云坐标；
9.(5)将左相机坐标系下的右结构光相机对应的三维点云坐标，转化为左相机对应的像素坐标；
10.(6)生成左相机投影图片的map
l
图；
11.(7)生成左结构光相机对应的三维点云坐标；
12.(8)根据步骤(6)的map
l
图，将左结构光相机生成的无效点云，替换为右结构光相机对应位置的三维点云坐标；
13.(9)生成高反光物体在双目结构光对应的三维点云坐标。
14.作为一种优选方案，步骤(3)中对右相机采集的n张投影图片，进行编码解码操作，并根据右相机与光机的标定结果，生成右相机坐标系下的待测高反光物体的三维点云
15.作为一种优选方案，所述步骤(4)中根据左相机、右相机间的关系矩阵，将右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系下的三维点云转换公式为：
[0016][0017]
其中，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标，为由右相机坐标系转换到左相机坐标系下的旋转矩阵，为待测高反光物体在右相机坐标系的三维点云对应的x坐标，为待测高反光物体在右相机坐标系的三维点云对应的y坐标，为待测高反光物体在右相机坐标系的三维点云对应的z坐标，为右相机坐标系转换到左相机坐标系下的平移向量。
[0018]
作为一种优选方案，步骤(5)中根据左相机的内参参数，将右相机与光机生成的在左相机坐标系下的三维点云转化为左相机对应的像素坐标系下的像素坐标，转换公式为：
[0019][0020]
其中，为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的x坐标，为为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的y坐标，为左相机的内参参数，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标。
[0021]
作为一种优选方案，步骤(6)中根据左相机采集的投影图片生成一张记录有效点的map
l
图，对于灰度值低于高阈值且高于低阈值的像素位置，记录为有效点，有效点的对应值为1，否则为无效点，无效点的对应值为0。
[0022]
作为一种优选方案，步骤(6)中所述map
l
图为w*h的矩阵，w为图片宽度，h为图片高度。
[0023]
作为一种优选方案，步骤(7)中对左相机采集的n张投影图片，进行编码解码操作，并根据左相机与光机的标定结果，生成左相机坐标系下的待测高反光物体的三维点云坐标
[0024]
其中，为待测高反光物体在左相机坐标系下的三维点云，为待测高反光物体在左相机坐标系的三维点云对应的x坐标，为待测高反光物体在左相机坐标系的三维点云对应的y坐标，为待测高反光物体在左相机坐标系的三维点云对应的z坐标。
[0025]
作为一种优选方案，步骤(8)中根据步骤(6)中的map
l
图，得到左结构光相机对应的无效点云的像素坐标，以及步骤(4)、步骤(5)得到该像素坐标对应的右结构光相机在左相机坐标系下的三维点云坐标，并用该三维点云坐标替换左结构光相机在该像素位置的三维点云坐标。
[0026]
与现有技术相比，本发明的有益效果：
[0027]
(1)提出一种基于双目结构光，对高反光物体的点云处理方法，在一定程度上解决反光导致的点云缺失问题；
[0028]
(2)操作简单，运算量小，通用性强。
附图说明
[0029]
图1是本发明中双目结构光相机对高反光物体的点云生成流程；
[0030]
图2(a)是本发明实施例中左相机采集的被测高反光物体，(b)是本发明实施例中右相机采集的被测高反光物体；
[0031]
图3是本发明中左结构光相机生成的三维点云图；
[0032]
图4是本发明中右结构光相机生成的三维点云图；
[0033]
图5是本发明合成后的三维点云图。
具体实施方式
[0034]
下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0035]
实施例：
[0036]
如图1所示，一种基于双目结构光的高反光物体的点云生成方法，包括双目结构光相机，所述双目结构光相机包括光机、左相机、右相机，所述光机与左相机组成左结构光相机，所述光机与右相机组成右结构光相机，所述点云生成方法包括如下步骤：
[0037]
(1)将待测高反光物体设置于双目结构光相机的测量范围内，调整高反光物体的位置及角度，使高反光物体在左相机、右相机的成像图片中反光位置不同；
[0038]
(2)光机投射n幅特定编码的光栅图案，左相机、右相机分别同步采集n张投影图片；
[0039]
(3)生成右结构光相机对应的三维点云坐标；对右相机采集的n张投影图片，进行编码解码操作，并根据右相机与光机的标定结果，生成右相机坐标系下的待测高反光物体的三维点云；
[0040]
(4)将右结构光相机生成的三维点云坐标转至左相机坐标系下的三维点云坐标；根据左相机、右相机间的关系矩阵，将右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系下的三维点云转换公式为：
[0041][0042]
其中，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标，为由右相机坐标系转换到左相机坐标系下的旋转矩阵，为待测高反光物体在右相机坐标系的三维点云对应的x坐标，为待测高反光物体在右相机坐标系的三维点云对应的y坐标，为待测高反光物体在右相机坐标系的三维点云对应的z坐标，为右相机坐标系转换到左相机坐标系下的平移向量；
[0043]
(5)将左相机坐标系下的右结构光相机对应的三维点云坐标，转化为左相机对应的像素坐标；根据左相机的内参参数，将右相机与光机生成的在左相机坐标系下的三维点云转化为左相机对应的像素坐标系下的像素坐标，转换公式为：
[0044][0045]
其中，为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的x坐标，为为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的y坐标，a
l
为左相机的内参参数，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标；
[0046]
(6)生成左相机投影图片的map
l
图；根据左相机采集的投影图片生成一张记录有
效点的map
l
图，对于灰度值低于高阈值且高于低阈值的像素位置，记录为有效点，有效点的对应值为1，否则为无效点，无效点的对应值为0；所述map
l
图为w*h的矩阵，w为图片宽度，h为图片高度；
[0047]
(7)生成左结构光相机对应的三维点云坐标；对左相机采集的n张投影图片，进行编码解码操作，并根据左相机与光机的标定结果，生成左相机坐标系下的待测高反光物体的三维点云坐标其中，为待测高反光物体在左相机坐标系下的三维点云，为待测高反光物体在左相机坐标系的三维点云对应的x坐标，为待测高反光物体在左相机坐标系的三维点云对应的y坐标，为待测高反光物体在左相机坐标系的三维点云对应的z坐标；
[0048]
(8)根据步骤(6)的map
l
图，将左结构光相机生成的无效点云，替换为右结构光相机对应位置的三维点云坐标；根据步骤(6)中的map
l
图，得到左结构光相机对应的无效点云的像素坐标，以及步骤(4)、步骤(5)得到该像素坐标对应的右结构光相机在左相机坐标系下的三维点云坐标，并用该三维点云坐标替换左结构光相机在该像素位置的三维点云坐标；
[0049]
(9)生成高反光物体在双目结构光对应的三维点云坐标。
[0050]
具体的，本发明的点云生成方法建立在双目结构光相机完成标定的基础上，已知左相机、右相机、光机的内参参数和畸变系数，以及左相机、右相机坐标系间的转换关系矩阵。
[0051]
本实施中，使用中科行智at-bc040双目结构光相机，此双目结构光相机由左相机、右相机以及一个光机组成，左相机标定后的内参参数为径向畸变系数为[-0.1427 0.1015 9.4905]，切向畸变系数为[0.00086
ꢀ‑
0.00141]，右相机标定后的内参参数为径向畸变系数为[-0.1454 0.2601 7.7169]，切向畸变系数为[0.0017
ꢀ‑
0.0014]，光机标定后的内参参数为径向畸变系数为[0.01925 0.4146 3.9834]，切向畸变系数为[-0.0011-0.0012]，右相机坐标系转换到左相机坐标系下的旋转矩阵为右相机坐标系转换到左相机坐标系下的平移向量为[-0.2508 100.9577 26.3045]
t
。
[0052]
更为具体的，所述待测高反光物体可以为光滑抛光的金属、硬币，在本实施例中，如图2所示，被测高反光物体为光滑抛光的圆形金属。
[0053]
在使用双目结构光相机重建高反光物体时，常会出现采集的条纹图片在一些位置过度曝光，从而导致解相错误造成的点云缺失问题，如图3、图4所示，左单目结构光相机、右单目结构光相机出现由于过曝导致点云缺失。
[0054]
通过本发明的点云生成方法，使用双目结构光，调整拍摄位置以及角度，使被测高反光物体在左相机、右相机中过曝区域不同，如图2所示，从图中可以看出本方法中的被测高反光物体在左相机、右相机中的显示情况，可以看出，被测高反光物体在左相机、右相机中对应的过曝位置不同。
[0055]
按照本发明的点云生成方法，将右结构光相机生成的点云，转至左相机坐标系下再转为左相机像素坐标，将左结构光相机对应的无效点位置的点云，替换为该位置右结构光相机转至左相机坐标系下的点云，从而可以得到最终合成的点云如图5所示。
[0056]
本发明的点云生成方法具有以下优点：可以使用现有的双目结构光系统，以及双目结构光的标定结果，不需要额外的处理，操作流程简单，运算量小，通用性强，且在一定程度上解决反光导致的点云缺失问题。
[0057]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：

1.一种基于双目结构光的高反光物体的点云生成方法，包括双目结构光相机，所述双目结构光相机包括光机、左相机、右相机，所述光机与左相机组成左结构光相机，所述光机与右相机组成右结构光相机，其特征在于，所述点云生成方法包括如下步骤：（1）将待测高反光物体设置于双目结构光相机的测量范围内，调整高反光物体的位置及角度，使高反光物体在左相机、右相机的成像图片中反光位置不同；（2）光机投射n幅特定编码的光栅图案，左相机、右相机分别同步采集n张投影图片；（3）生成右结构光相机对应的三维点云坐标；（4）将右结构光相机生成的三维点云坐标转至左相机坐标系下的三维点云坐标；（5）将左相机坐标系下的右结构光相机对应的三维点云坐标，转化为左相机对应的像素坐标；（6）生成左相机投影图片的map
l
图；（7）生成左结构光相机对应的三维点云坐标；（8）根据步骤（6）的map
l
图，将左结构光相机生成的无效点云，替换为右结构光相机对应位置的三维点云坐标；（9）生成高反光物体在双目结构光对应的三维点云坐标。2.根据权利要求1所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（3）中对右相机采集的n张投影图片，进行编码解码操作，并根据右相机与光机的标定结果，生成右相机坐标系下的待测高反光物体的三维点云。3.根据权利要求2所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：所述步骤（4）中根据左相机、右相机间的关系矩阵，将右相机坐标系下的待测高反光物体的三维点云，转换为左相机坐标系下的三维点云，转换公式为：；其中，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标，为由右相机坐标系转换到左相机坐标系下的旋转矩阵，为待测高反光物体在右相机坐标系的三维点云对应的x坐标，为待测高反光物体在右相机坐标系的三维点云对应的y坐标，为待测高反光物体在右相机坐标系的三维点云对应的z坐标，为右相机坐标系转换到左相机坐标系下的平移向量。
4.根据权利要求3所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（5）中根据左相机的内参参数，将右相机与光机生成的在左相机坐标系下的三维点云转化为左相机对应的像素坐标系下的像素坐标，转换公式为：；其中，为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的x坐标，为为右相机与光机生成的在左相机坐标系下的三维点云转化到左相机像素坐标系下的像素的y坐标，为左相机的内参参数，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的x坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的y坐标，为右相机坐标系下的待测高反光物体的三维点云转换为左相机坐标系的三维点云对应的z坐标。5.根据权利要求4所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（6）中根据左相机采集的投影图片生成一张记录有效点的map
l
图，对于灰度值低于高阈值且高于低阈值的像素位置，记录为有效点，有效点的对应值为1，否则为无效点，无效点的对应值为0。6.根据权利要求5所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（6）中所述map
l
图为w*h的矩阵，w为图片宽度，h为图片高度。7.根据权利要求5或6所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（7）中对左相机采集的n张投影图片，进行编码解码操作，并根据左相机与光机的标定结果，生成左相机坐标系下的待测高反光物体的三维点云坐标；其中，为待测高反光物体在左相机坐标系下的三维点云，为待测高反光物体在左相机坐标系的三维点云对应的x坐标，为待测高反光物体在左相机坐标系的三维点云对应的y坐标，为待测高反光物体在左相机坐标系的三维点云对应的z坐标。8.根据权利要求7所述的一种基于双目结构光的高反光物体的点云生成方法，其特征在于：步骤（8）中根据步骤（6）中的map
l
图，得到左结构光相机对应的无效点云的像素坐标，以及步骤（4）、步骤（5）得到该像素坐标对应的右结构光相机在左相机坐标系下的三维点云坐标，并用该三维点云坐标替换左结构光相机在该像素位置的三维点云坐标。

技术总结

本发明公开了一种基于双目结构光的高反光物体的点云生成方法，包括双目结构光相机，所述双目结构光相机包括光机、左相机、右相机，所述光机与左相机组成左结构光相机，所述光机与右相机组成右结构光相机，所述点云生成方法包括如下步骤：基于双目结构光标定的基础上，通过坐标变换，建立右结构光相机生成的点云与左相机像素坐标间的对应关系，并根据此对应关系，将左结构光相机生成的点云的无效点替换为对应的右结构光相机生成的点云。本发明解决了3D结构光测量技术中对高反光物体生成的点云质量差的问题，使用双目结构光相机生成高反光物体的三维点云，操作简单，可生成高质量的三维点云。维点云。维点云。