一种基于地面辅助线的外参标定方法及装置与流程

1.本发明涉及rgbd相机标定技术领域，尤其涉及一种基于地面辅助线的外参标定方法及装置。

背景技术：

2.无人智能叉车在智能仓储中应用十分广泛。在搬运转移货物的过程中，智能叉车经常需要叉起装载货物的栈板(托盘)或者台车。由于栈板(托盘)或者台车在库位摆放的过程中，有时会产生位置以及旋转角度的偏移。
3.在智能无人叉车叉取货物之前，需要通过安装在智能叉车上的rgbd传感器识别库位中栈板(托盘)或者台车的偏移情况，然后无人叉车自动调整相应的位置，以便对栈板(托盘)或者台车进行叉取。通常情况下，安装在智能叉车上的rgbd传感器所采集的三维点云数据是基于摄像机坐标系的，因此处理和分析这些点云数据也是基于摄像机坐标系的结果。现有的对rgbd传感器摄像机的外参标定方法中，通过外部设置白线条实现，按照yaw、pitch、roll、ty的先后顺序计算外参参数，但该计算过程基于旋转矩阵的连乘思想，逐步拆解成每一个自由度的旋转矩阵计算，计算过程复杂，同时也有需要已标定好的参考深度相机传输给待标定相机他们共同目标的位置信息，从而实现待标定相机空间位置外参的标定，但需要多用一个已标定好的参考深度相机，且操作复杂度高，存在标定的误差。
4.因此，目前亟需一种能够简化外参标定的过程、提高外参标定准确性和鲁棒性的方法。

技术实现要素：

5.本发明提供了一种基于地面辅助线的外参标定方法及装置，以解决现有技术中外参标定复杂度高、准确性和鲁棒性低的技术问题。
6.为了解决上述技术问题，本发明实施例提供了一种基于地面辅助线的外参标定方法，包括：
7.获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识点；
8.获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量；
9.获取地面平面方程，并根据标识点所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示；
10.获取叉车坐标系的原点在摄像机坐标系下的坐标；
11.根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。
12.作为优选方案，所述获取每个标识点在摄像机坐标系下的坐标，具体为：
13.获取每个标识点在所述rgb图像上的坐标，并根据所述深度图像对应的深度信息，得到每个标识点在摄像机坐标系下的坐标。
14.作为优选方案，所述在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量，具体为：
15.在摄像机坐标系下，通过最小二乘法对标识点进行直线拟合，得到拟合的空间直线方程；
16.对所述拟合的空间直线方程进行求解，得到标识点拟合直线在摄像机坐标系下方向向量。
17.作为优选方案，所述获取地面平面方程，并根据标识点拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示，具体为：
18.根据地面点云，在摄像机坐标系下拟合并得到地面平面方程；
19.根据所述地面平面方程，得到所述地面平面方程的法向量，结合标识点拟合直线的方向向量得到叉车坐标系的方向向量，从而得到叉车坐标系的方向向量在摄像机坐标系下的表示；
20.将在摄像机坐标系下表示的每个叉车坐标系坐标轴的方向向量进行归一化，得到叉车坐标系在摄像机坐标系下的旋转矩阵表示。
21.作为优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体包括：
22.获取其中一个标识点到叉车坐标系原点的距离；
23.在摄像机坐标系下，根据标识点所拟合直线方程以及叉车坐标系原点和其中一个标识点的位置关系，得到叉车坐标系的原点在摄像机坐标系下对应的直线方程；
24.将其中一个标识点到叉车坐标系原点的距离代入至所述叉车坐标系的原点在摄像机坐标系下对应的直线方程，计算得到叉车坐标系的原点在摄像机坐标系下的坐标。
25.作为优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体还包括：
26.若叉车坐标系的原点出现在所述rgb图像中，根据地面平面方程与通过摄像机坐标系原点的射线交点，得到叉车坐标系在摄像机坐标系下的坐标。
27.作为优选方案，根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，具体为：
28.根据叉车坐标系的原点在摄像机坐标系下的坐标，计算得到叉车坐标系到摄像机坐标系的平移向量；
29.将所述叉车坐标系在摄像机坐标系下的旋转表示以及所述平移向量进行组合，得到叉车坐标系与摄像机坐标系对应的变换关系；
30.根据所述叉车坐标系与摄像机坐标系对应的变换关系，得到摄像机的外参，从而完成摄像机的外参标定。
31.相应地，本发明还提供一种基于地面辅助线的外参标定装置，包括：图像获取模块、标识点方向模块、旋转矩阵模块、原点坐标模块和外参标定模块；
32.所述图像获取模块，用于获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识
点；
33.所述标识点方向模块，用于获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量；
34.所述旋转矩阵模块，用于获取地面平面方程，并根据标识点所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示；
35.所述原点坐标模块，用于获取叉车坐标系的原点在摄像机坐标系下的坐标；
36.所述外参标定模块，用于根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。
37.作为优选方案，所述获取每个标识点在摄像机坐标系下的坐标，具体为：
38.获取每个标识点在所述rgb图像上的坐标，并根据所述深度图像对应的深度信息，得到每个标识点在摄像机坐标系下的坐标。
39.作为优选方案，所述在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量，具体为：
40.在摄像机坐标系下，通过最小二乘法对标识点进行直线拟合，得到拟合的空间直线方程；
41.对所述拟合的空间直线方程进行求解，得到标识点拟合直线在摄像机坐标系下方向向量。
42.作为优选方案，所述获取地面平面方程，并根据标识点拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示，具体为：
43.根据地面点云，在摄像机坐标系下拟合并得到地面平面方程；
44.根据所述地面平面方程，得到所述地面平面方程的法向量，结合标识点拟合直线的方向向量得到叉车坐标系的方向向量，从而得到叉车坐标系的方向向量在摄像机坐标系下的表示；
45.将在摄像机坐标系下表示的每个叉车坐标系坐标轴的方向向量进行归一化，得到叉车坐标系在摄像机坐标系下的旋转矩阵表示。
46.作为优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体包括：
47.获取其中一个标识点到叉车坐标系原点的距离；
48.在摄像机坐标系下，根据标识点所拟合直线方程以及叉车坐标系原点和其中一个标识点的位置关系，得到叉车坐标系的原点在摄像机坐标系下对应的直线方程；
49.将其中一个标识点到叉车坐标系原点的距离代入至所述叉车坐标系的原点在摄像机坐标系下对应的直线方程，计算得到叉车坐标系的原点在摄像机坐标系下的坐标。
50.作为优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体还包括：
51.若叉车坐标系的原点出现在所述rgb图像中，根据地面平面方程与通过摄像机坐标系原点的射线交点，得到叉车坐标系在摄像机坐标系下的坐标。
52.作为优选方案，根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，具体为：
53.根据叉车坐标系的原点在摄像机坐标系下的坐标，计算得到叉车坐标系到摄像机坐标系的平移向量；
54.将所述叉车坐标系在摄像机坐标系下的旋转表示以及所述平移向量进行组合，得到叉车坐标系与摄像机坐标系对应的变换关系；
55.根据所述叉车坐标系与摄像机坐标系对应的变换关系，得到摄像机的外参，从而完成摄像机的外参标定。
56.相应地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上任一项所述的基于地面辅助线的外参标定方法。
57.相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上任一项所述的基于地面辅助线的外参标定方法。
58.相比于现有技术，本发明实施例具有如下有益效果：
59.本发明的技术方案通过获取地面辅助线的rgb图像和深度图像对齐后的图像数据，通过每个标识点在摄像机坐标系下的坐标，得到基于标识点所拟合直线的方向向量，在获取地面平面方程后，计算出叉车坐标系在摄像机坐标系下的旋转矩阵表示，同时在获取叉车坐标系的原点在摄像机坐标系下的坐标后，能够准确且高效地得到叉车坐标系与摄像机坐标系的变换关系，进而标定出摄像机高鲁棒性和高准确性的外参。
60.进一步地，本发明不需要标定模板，只需要一条地面辅助线即可实现摄像机到叉车坐标系的外参标定。同时本发明的标定方法简单易操作，不需要其他标定工具，易于产品批量化生产，在计算的过程中充分利用摄像机点云数据的特点进行平面拟合和空间刚体坐标变换的几何属性，使得外参标定结果准确性和鲁棒性高。
附图说明
61.图1：为本发明实施例所提供的叉车坐标系与摄像机坐标系建立的示意图；
62.图2：为本发明实施例所提供的一种基于地面辅助线的外参标定方法的步骤流程图；
63.图3：为本发明实施例所提供的外参标定方法的流程图；
64.图4：为本发明实施例所提供的一种基于地面辅助线的外参标定装置的结构示意图。
具体实施方式
65.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.实施例一
67.请参阅图1，其为本发明实施例所提供的叉车坐标系与摄像机坐标系建立的示意图。在本示例性的实施例中，通过一条沿着无人叉车运行方向的地面辅助线和在地面辅助
线上的四个标识点，准确的估算了rgbd传感器相对于智能叉车随体坐标系的外参；其中，摄像机坐标系zc正方向为摄像机光轴正方向，xc正方向为从左向右，yc正方向满足右手定则。叉车随体坐标系的原点与叉车叉端四个轮子几何中心的地面上，xf正方向为叉车前进的方向，yf正方向为从左向右，zf正方向满足右手定则，垂直顶面向上。
68.请参照图2，为本发明实施例提供的一种基于地面辅助线的外参标定方法，包括以下步骤s101－s105：
69.步骤s101：获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识点。
70.在本实施例中，地面上沿着叉车叉取货物的方向设置有一条直线，即与叉车的运动方向一致并重合，主要用于引导叉车进行外参标定，地面辅助线上设置有若干个标识点，示例性地，标识点的数量优选为4个，进而在直线上标识出p1、p2、p3和p4点的位置，并保证这四个标识点都可以出现在摄像机rgb的图像中，同时测量出这四个点到叉车坐标系原点的距离分别为d1，d2，d3，d4。
71.需要说明的是，在本实施例中，标识点的数量只要大于等于2，即可实现对地面辅助线的确定，即两个以上的标识点都可以确定直线的方程。
72.步骤s102：获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量。
73.作为本实施例优选方案，所述获取每个标识点在摄像机坐标系下的坐标，具体为：
74.获取每个标识点在所述rgb图像上的坐标，并根据所述深度图像对应的深度信息，得到每个标识点在摄像机坐标系下的坐标。
75.需要说明的是，在rgbd摄像机采集的rgb图像和深度图像并已经完成了配准对齐的情况下，到p1、p2、p3、p4这四个标识点在摄像机坐标系下的坐标，以及对应标识点的深度信息。在本实施例中，假设地面标识点在rgb图上成像后的坐标为(ui,vi),i＝1,2,3,4，该标识点对应的深度为zi，根据公式(1)和地面平面方程ax+by+cz+d＝0：
[0076][0077]
联立求解可得到地面标识点在摄像机坐标系下的坐标为
[0078]
作为本实施例的优选方案，所述在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线拟合的方向向量，具体为：
[0079]
在摄像机坐标系下，通过最小二乘法对标识点进行直线拟合，得到拟合的空间直线方程；对所述拟合的空间直线方程进行求解，得到标识点拟合直线在摄像机坐标系下的方向向量。
[0080]
在本实施例中，随着zi的变化即表示以摄像机坐标系原点为起点，过rgb图像对应交点的射线，该射线与地面拟合平面的交点即为地面标识点在摄像机坐标系下的坐标(x
ci
,y
ci
,z
ci
)。可以看到任意两个点做差即为叉车坐标系xf的方向向量，为了减少误差，这里采用最小二乘法对p1、p2、p3、p4在摄像机坐标系进行直线拟合，从而求出拟合的空间直线方
程为：即解得地面标识点在摄像机坐标系下直线的方向向量，也是叉车运行方向xf向量在摄像机坐标系下的表示。
[0081]
步骤s103：获取地面平面方程，并根据所拟合直线的的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示。
[0082]
作为本实施例的优选方案，所述获取地面平面方程，并根据标识点所拟合直线拟合的方向向量和地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示，具体为：
[0083]
根据地面点云，在摄像机坐标系下拟合并得到地面平面方程；根据所述地面平面方程，得到所述地面平面方程的法向量，并根据叉车坐标系的方向向量，得到叉车坐标系的方向向量在摄像机坐标系下的表示；将在摄像机坐标系下表示的每个叉车坐标系坐标轴的方向向量进行归一化，得到叉车坐标系在摄像机坐标系下的旋转矩阵表示。
[0084]
需要说明的是，由于深度图可能会由于某种原因出现空洞或者位置深度不正确的情况，因此根据地面点云在摄像机坐标系下拟合地面的平面方程为ax+by+cz+d＝0。
[0085]
进一步地，在本实施例中，结合拟合的地面平面方程，平面方程的法向量为(a,b,c)
t
，该法向量正好与叉车坐标系zf的方向向量在摄像机坐标系下的表示相同，根据右手定则x
fc
＝(m,n,p)
t
与z
fc
＝(a,b,c)
t
的叉乘x
fc
×zfc
正好是叉车坐标系yf的方向向量在摄像机坐标系下的表示y
fc
。根据已经计算出了叉车坐标系xfyfzf在摄像机坐标系的表示，将每个方向向量归一化即为从叉车坐标系到摄像机坐标系的旋转矩阵，即
[0086]
步骤s104：获取叉车坐标系的原点在摄像机坐标系下的坐标。
[0087]
作为本实施例的优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体包括：
[0088]
获取其中一个标识点到叉车坐标系原点的距离；在摄像机坐标系下，根据标识点所拟合直线方程以及叉车坐标系原点和其中一个标识点的位置关系，得到叉车坐标系的原点在摄像机坐标系下对应的直线方程；将其中一个标识点到叉车坐标系原点的距离代入至所述叉车坐标系的原点在摄像机坐标系下对应的直线方程，计算得到叉车坐标系的原点在摄像机坐标系下的坐标。
[0089]
需要说明的是，叉车坐标系的原点无法从摄像机中看到，但已知叉车坐标系的原点到p1点的距离为d1，设叉车坐标系原点在摄像机坐标系的坐标为(x
c0
,y
c0
,z
c0
)，与p1在摄像机坐标系下的坐标(x
c1
,y
c1
,z
c1
)一同带入至直线方程为：同时，由于同时，由于即可得到进而，解出叉车坐标系原点在摄像机坐标系下的坐标为：
[0090][0091]
作为本实施例的优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体还包括：
[0092]
若叉车坐标系的原点出现在所述rgb图像中，根据地面平面方程与通过摄像机坐标系原点的射线交点，得到叉车坐标系在摄像机坐标系下的坐标。
[0093]
需要说明的是，直接通过拟合地面的平面方程与通过摄像机原点的射线交点获得该原点在摄像机坐标系下的坐标。
[0094]
步骤s105：根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。
[0095]
作为本实施例的优选方案，根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，具体为：
[0096]
根据叉车坐标系的原点在摄像机坐标系下的坐标，计算得到叉车坐标系到摄像机坐标系的平移向量；将所述叉车坐标系在摄像机坐标系下的旋转表示以及所述平移向量进行组合，得到叉车坐标系与摄像机坐标系对应的变换关系；根据所述叉车坐标系与摄像机坐标系对应的变换关系，得到摄像机的外参，从而完成摄像机的外参标定。
[0097]
需要说明的是，在本实施例中，根据叉车坐标系原点在摄像机坐标系下的坐标，得出从叉车坐标系到摄像机坐标系的平移向量t＝(x
c0
,y
c0
,z
c0
)
t
。
[0098]
在本实施例中，在得出从叉车坐标系到摄像机坐标系的平移向量t＝(x
c0
,y
c0
,z
c0
)
t
后，与旋转矩阵r组合，即可求出叉车坐标系与摄像机坐标系的变换关系
[0099]
在本发明另一实施例中，请参阅图3，本发明的技术方案通过获取地面辅助线的rgb图像和深度图像对齐后的图像数据，通过每个标识点在摄像机坐标系下的坐标，得到基于标识点所拟合直线后的方向向量，在获取地面平面方程后，计算出叉车坐标系在摄像机坐标系下的旋转矩阵表示，同时在获取叉车坐标系的原点在摄像机坐标系下的坐标后，能够准确且高效地得到叉车坐标系与摄像机坐标系的变换关系，进而标定出摄像机高鲁棒性和高准确性的外参。
[0100]
可以理解的是，本发明实施例能够使得智能叉车更好地使用基于rgbd传感器所识别的栈板(托盘)或者台车位姿结果，需要将rgbd摄像机坐标系下的识别信息转换的智能叉车的随体坐标系中，在保证标定结果准确性和稳定性的同时，简化标定过程，并且本实施例
准确性和鲁棒性高，操作简单，易于产品批量生产。
[0101]
实施以上实施例，具有如下效果：
[0102]
本发明实施例相比于现有技术，不需要设定标定模板，只需要一条地面辅助线即可实现摄像机到叉车坐标系的外参标定。同时本发明的标定方法简单易操作，不需要其他标定工具，易于产品批量化生产，在计算的过程中充分利用摄像机点云数据的特点进行平面拟合和空间刚体坐标变换的几何属性，使得外参标定结果准确性和鲁棒性高。
[0103]
实施例二
[0104]
相应地，本发明还提供一种基于地面辅助线的外参标定装置，包括：图像获取模块201、标识点方向模块202、旋转矩阵模块203、原点坐标模块204和外参标定模块205。
[0105]
所述图像获取模块201，用于获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识点。
[0106]
所述标识点方向模块202，用于获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量。
[0107]
所述旋转矩阵模块203，用于获取地面平面方程，并根据所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示。
[0108]
所述原点坐标模块204，用于获取叉车坐标系的原点在摄像机坐标系下的坐标。
[0109]
所述外参标定模块205，用于根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。
[0110]
作为本实施例的优选方案，所述获取每个标识点在摄像机坐标系下的坐标，具体为：
[0111]
获取每个标识点在所述rgb图像上的坐标，并根据所述深度图像对应的深度信息，得到每个标识点在摄像机坐标系下的坐标。
[0112]
作为本实施例的优选方案，在摄像机坐标系下对所述标识点进行直线拟合，并得到拟合直线的方向向量，具体为：
[0113]
在摄像机坐标系下，通过最小二乘法对标识点进行直线拟合，得到拟合的空间直线方程；对所述拟合的空间直线方程进行求解，得到标识点拟合直线在摄像机坐标系下的方向向量。
[0114]
作为本实施例的优选方案，所述获取地面平面方程，并根据标识点所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示，具体为：
[0115]
根据地面点云，在摄像机坐标系下拟合并得到地面平面方程；根据所述地面平面方程，得到所述地面平面方程的法向量，结合标识点拟合直线的方向向量得到叉车坐标系的方向向量得到叉车坐标系的方向向量在摄像机坐标系下的表示；将在摄像机坐标系下表示的每个叉车坐标系坐标轴的方向向量进行归一化，得到叉车坐标系在摄像机坐标系下的旋转矩阵表示。
[0116]
作为本实施例的优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体包括：
[0117]
获取其中一个标识点到叉车坐标系原点的距离；在摄像机坐标系下，根据标识点所拟合直线方程以及叉车坐标系原点和其中一个标识点的位置关系，得到叉车坐标系的原点在摄像机坐标系下对应的直线方程；将其中一个标识点到叉车坐标系原点的距离代入至所述叉车坐标系的原点在摄像机坐标系下对应的直线方程，计算得到叉车坐标系的原点在摄像机坐标系下的坐标。
[0118]
作为本实施例的优选方案，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体还包括：
[0119]
若叉车坐标系的原点出现在所述rgb图像中，根据地面平面方程与通过摄像机坐标系原点的射线交点，得到叉车坐标系在摄像机坐标系下的坐标。
[0120]
作为本实施例的优选方案，根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，具体为：
[0121]
根据叉车坐标系的原点在摄像机坐标系下的坐标，计算得到叉车坐标系到摄像机坐标系的平移向量；将所述叉车坐标系在摄像机坐标系下的旋转表示以及所述平移向量进行组合，得到叉车坐标系与摄像机坐标系对应的变换关系；根据所述叉车坐标系与摄像机坐标系对应的变换关系，得到摄像机的外参，从而完成摄像机的外参标定。
[0122]
所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0123]
实施本发明实施例，具有如下效果：
[0124]
本发明的技术方案通过获取地面辅助线的rgb图像和深度图像对齐后的图像数据，通过每个标识点在摄像机坐标系下的坐标，得到基于标识点所拟合直线拟合的方向向量，在获取地面平面方程后，计算出叉车坐标系在摄像机坐标系下的旋转矩阵表示，同时在获取叉车坐标系的原点在摄像机坐标系下的坐标后，能够准确且高效地得到叉车坐标系与摄像机坐标系的变换关系，进而标定出摄像机高鲁棒性和高准确性的外参。
[0125]
进一步地，本发明不需要标定模板，只需要一条地面辅助线即可实现摄像机到叉车坐标系的外参标定。同时本发明的标定方法简单易操作，不需要其他标定工具，易于产品批量化生产，在计算的过程中充分利用摄像机点云数据的特点进行平面拟合和空间刚体坐标变换的几何属性，使得外参标定结果准确性和鲁棒性高。
[0126]
实施例三
[0127]
相应地，本发明还提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项实施例所述的基于地面辅助线的外参标定方法。
[0128]
该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤，例如图1所示的步骤s101至s105。或者，所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能，例如标识点方向模块202。
[0129]
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所
述计算机程序在所述终端设备中的执行过程。例如，所述所述旋转矩阵模块203，用于获取地面平面方程，结合标识点拟合直线的方向向量得到叉车坐标系的方向向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示。
[0130]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0131]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
[0132]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0133]
其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0134]
实施例四
[0135]
相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的基于地面辅助线的外参标定方法。
[0136]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于地面辅助线的外参标定方法，其特征在于，包括：获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识点；获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量；获取地面平面方程，并根据所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示；获取叉车坐标系的原点在摄像机坐标系下的坐标；根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。2.如权利要求1所述的一种基于地面辅助线的外参标定方法，其特征在于，所述获取每个标识点在摄像机坐标系下的坐标，具体为：获取每个标识点在所述rgb图像上的坐标，并根据所述深度图像对应的深度信息，得到每个标识点在摄像机坐标系下的坐标。3.如权利要求2所述的一种基于地面辅助线的外参标定方法，其特征在于，所述在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量，具体为：在摄像机坐标系下，通过最小二乘法对标识点进行直线拟合，得到拟合的空间直线方程；对所述拟合的空间直线方程进行求解，得到标识点拟合直线在摄像机坐标系下的方向向量。4.如权利要求1所述的一种基于地面辅助线的外参标定方法，其特征在于，所述获取地面平面方程，并根据标识点拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示，具体为：根据地面点云，在摄像机坐标系下拟合并得到地面平面方程；根据所述地面平面方程，得到所述地面平面方程的法向量，结合标识点拟合直线的方向向量得到叉车坐标系的方向向量，从而得到叉车坐标系的方向向量在摄像机坐标系下的表示；将在摄像机坐标系下表示的每个叉车坐标系坐标轴的方向向量进行归一化，得到叉车坐标系在摄像机坐标系下的旋转矩阵表示。5.如权利要求1所述的一种基于地面辅助线的外参标定方法，其特征在于，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体包括：获取其中一个标识点到叉车坐标系原点的距离；在摄像机坐标系下，根据标识点所拟合直线方程以及叉车坐标系原点和其中一个标识点的位置关系，得到叉车坐标系的原点在摄像机坐标系下对应的直线方程；将其中一个标识点到叉车坐标系原点的距离代入至所述叉车坐标系的原点在摄像机坐标系下对应的直线方程，计算得到叉车坐标系的原点在摄像机坐标系下的坐标。6.如权利要求1所述的一种基于地面辅助线的外参标定方法，其特征在于，所述获取叉车坐标系的原点在摄像机坐标系下的坐标，具体还包括：
若叉车坐标系的原点出现在所述rgb图像中，根据地面平面方程与通过摄像机坐标系原点的射线交点，得到叉车坐标系在摄像机坐标系下的坐标。7.如权利要求5或6任意一项所述的一种基于地面辅助线的外参标定方法，其特征在于，根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，具体为：根据叉车坐标系的原点在摄像机坐标系下的坐标，计算得到叉车坐标系到摄像机坐标系的平移向量；将所述叉车坐标系在摄像机坐标系下的旋转表示以及所述平移向量进行组合，得到叉车坐标系与摄像机坐标系对应的变换关系；根据所述叉车坐标系与摄像机坐标系对应的变换关系，得到摄像机的外参，从而完成摄像机的外参标定。8.一种基于地面辅助线的外参标定装置，其特征在于，包括：图像获取模块、标识点方向模块、旋转矩阵模块、原点坐标模块和外参标定模块；所述图像获取模块，用于获取地面辅助线的rgb图像和深度图像对齐后的图像数据；其中，所述地面辅助线与叉车运动方向重合，所述地面辅助线上设置有预设数量的标识点；所述标识点方向模块，用于获取每个标识点在摄像机坐标系下的坐标，在摄像机坐标系下对标识点进行直线拟合，并得到拟合直线的方向向量；所述旋转矩阵模块，用于获取地面平面方程，并根据所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示；所述原点坐标模块，用于获取叉车坐标系的原点在摄像机坐标系下的坐标；所述外参标定模块，用于根据叉车坐标系在摄像机坐标系下的旋转矩阵表示，以及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。9.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如权利要求1－7中任一项所述的基于地面辅助线的外参标定方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1－7中任一项所述的基于地面辅助线的外参标定方法。

技术总结

本发明公开了一种基于地面辅助线的外参标定方法及装置，包括：获取地面辅助线的RGB图像和深度图像对齐后的图像数据；获取每个标识点在摄像机坐标系下的坐标，并在摄像机坐标系下进行直线拟合，得到拟合直线的方向向量；获取地面平面方程，并根据所拟合直线的方向向量及地面平面的法向量，计算叉车坐标系在摄像机坐标系下的旋转矩阵表示；获取叉车坐标系的原点在摄像机坐标系下的坐标；根据叉车坐标系在摄像机坐标系下的旋转矩阵表示及叉车坐标系的原点在摄像机坐标系下的坐标，得到叉车坐标系与摄像机坐标系的变换关系，进而完成摄像机的外参标定。本发明不需要其他标定工具或模板，易于产品批量化生产，同时外参标定结果的准确性和鲁棒性高。准确性和鲁棒性高。准确性和鲁棒性高。