基于彩图像的滚转物单目位姿测量方法

本发明属于计算机视觉测量技术领域，涉及一种适用于伴随滚转 运动回转体的空间位置和姿态测量方法。

随着航天、航空技术的逐步完善和提高，飞行器及其投放物执行 任务过程中的位姿信息测量在飞行器设计和试验阶段有着极其重要 的作用。机器视觉测量技术具有非接触、灵活性、测量精度高等优点， 被广泛用于飞行器及其投放模型的位姿测量中。滚转物体在实际运动 过程中移动速度快、运动空间大的特点对运动物体的位姿测量提出了 更高的要求。

大连理工大学刘巍等人2014年在航空学报发表的《基于彩编 码的副油箱风洞模型位姿测量方法》中提出了基于彩编码图像的副 油箱位姿测量方法，利用彩编码的自发光标记点进行图像匹配，解 决了低照度条件下目标标记亮度不足和由于物体滚转造成的标记点 消隐现象。但双目测量系统的测量视场只有两台摄像机视场相交的部 分，物体运动范围较大时很难保证其始终在测量视场内。北京宇航系 统工程研究所谌德荣等人发明专利号了为CN103512559A《一种弹丸 单目视频位姿测量方法及靶标图案》提出一种适用于弹丸的单目视频 位姿测量方法，采用视场较大的单目摄像机结合弹丸外圆周表面的分 区域靶标图案对弹丸的运动位姿进行测量。但该方法采用的靶标图案 与弹丸表面仅通过颜对比进行区分，在光照不足的条件下会造成图 像特征轮廓不清晰或标记特征无法提取的情况。

本发明要解决的技术难题是克服现有技术的问题，发明一种基于 彩图像的滚转物单目位姿测量方法，单目视觉系统测量滚转物位姿 的特征是仅使用一台高速摄像机采集目标物图像，克服了传统双目视 觉系统测量视场小，难以覆盖目标整个运动空间的问题；与使用两台 摄像机进行测量的双目系统相比，单目测量系统设备简单；此外，无 需考虑两台摄像机同时触发的问题；沿回转体圆周方向均匀分布的自 发光标志点可以解决物体滚转时图像特征被遮挡的问题，利用环绕式 彩编码的方式对标记点进行编码，无需特征匹配即可实现运动目标 的位姿测量，满足单目测量要求。同时，简化图像处理流程，提高测 量效率，并且保证测量结果有很好的精度。

本发明所采用的技术方案是一种基于彩图像的滚转物单目位 姿测量方法，其特征是，测量方法采用环绕式分组排列的方式将彩 编码的自发光标志点布置在被测物体的表面，利用单目视觉系统对滚 转体目标进行X、Y、Z方向的位移和俯仰角、偏航角、滚转角六参 数位姿测量；以目标物表面彩编码自发光标志点作为特征标记，采 集运动目标表面彩编码特征图像，在高速摄像机标定的基础上，经 彩编码标记特征的识别和提取的图像处理步骤后，求解出滚转体目 标位置姿态信息；测量方法的具体步骤如下：

1、彩特征点的编码

本发明采用环绕式分组排列的方式将彩编码的自发光标志点 布置在被测物体的表面，标志点分为两组，每组含有一定数量的编码 标志点，以周向均布方式分布在被测物体的表面，标记点的数量根据 具体测量视场的大小和被测回转体直径的大小决定，必须保证在每一 帧图像上至少有三个特征点，才能以此拟合出被测回转体的圆心；用 标记点的颜信息作为其编码信息，每种颜采用一定的代码进行标 记；几个连续的编码标志点组成一个编码片段，即代码数组；编码组 中任意两编码片段因所含标志点颜顺序不同而使各编码片段都是 唯一的；编码颜和编码片段长度根据标记点的个数来确定，且编码 片段长度至少为3，才能保证一组中编码组各不相同；最后将代码代 入编码组得到每个标记点的编码；

2、进行高速摄像机的标定

本发明采用张正友基于平面标定板的标定方法对高速摄像机进 行标定，其具体标定过程如下：

首先将精密加工的二维棋盘格标定板放置在物体运动的平面附 近，并将标定板摆放多个位置，同时触发高速摄像机拍摄标定板的多 幅图像，通过标定板上每个特征点和其像平面的像点间的对应关系来 标定摄像机，得到摄像机的内外参数，然后利用各靶标角点坐标与实 际坐标的偏差构建目标函数f(x)并利用优化算法对内外参数进行整 体优化；目标函数公式如下：

f(x)＝(Xw-Xd)2+(Yw-Yd)2+(Zw-Zd)2    (1)

其中：Xw，Yw，Zw表示各特征角点在世界坐标系中的坐标，而 Xd，Yd，Zd为采用摄像机标定参数重建得到的对应特征角点的坐标， 则可建立目标函数F(x)如下：

$F\left(x\right)=\min \underset{i=1}{\overset{N}{\Sigma }}f{\left(x\right)}^2---\left(2\right)$

其中，N为特征点的个数，为所有特征角点偏差函数的平
方和，应用LM方法对该目标函数F(x)进行优化，进而得摄像机内外
参数的全局最优解；

3、彩图像特征的识别和提取

1)彩编码特征的识别

本发明采用基于RGB的图像分割原理对彩标记点的颜信息 进行识别，将图像特征分解为红、绿、蓝三个互相独立的颜通道(用 R、G、B表示)，每个通道的灰度范围都是0～255，根据欧几里德距 离公式判断图像上像素点的颜是否与某一颜之间的相似度是否 小于所设阈值T，进而判断出该像素点特征所属的颜，欧几里德距 离公式表示为：

D(z,m)＝||z-m||＝[(z-m)T(z-m)]1/2＝[(zR-mR)2+(zG-mG)2+(zB-mB)2]1/2   (3) 其中，m为某一颜的RGB向量，z表示该像素点的RGB向量，下 标R、G、B表示向量m和z的RGB分量；

在解码时，采用曲线拟合的方法出图像特征标记所组成的环形 曲线，然后将标记点按该曲线串联排序，按顺序写出图像中标记点的 片段代码数组并与标记点编码数组列表进行对比，到与之完全相同 的数组，便可确定图像中标记点与编码组中标记点的对应关系，从而 得知所采集片段在整个编码组中的位置；

2)标记点的提取

本发明采用梯度重心法提取被测类圆柱体表面的编码标记点，首 先使用高斯一阶微分算子对被测类圆柱体运动图像进行卷积处理，获 得二维图像上各点的灰度梯度，图像特征标记所在区域的梯度重心点 坐标用下式表示：

$C=\underset{i=-h}{\overset{h}{\Sigma }}\underset{j=-w}{\overset{w}{\Sigma }}\left[\right|G(i,j)|·P(i,j)]/\underset{i=-h}{\overset{h}{\Sigma }}\underset{j=-w}{\overset{w}{\Sigma }}\left|G(i,j)\right|---\left(4\right)$

其中：C为应用梯度重心法所提取的标记中心像素的坐标值， (i,j)点的梯度幅值用|G(i,j)|表示，w，h分别为二维图像的宽和高， (i,j)点的图像坐标表示为P(i,j)；

4、目标物位姿求取

选取滚转物体表面的三个特征点A，B，C，通过求解方程组：

$\left\{\begin{array}{c}{h_A}^2+{h_B}^2+2h_A{h}_B\cos \alpha =c^2\\ {h_A}^2+{h_C}^2+2h_A{h}_C\cos \beta =b^2\\ {h_B}^2+{h_C}^2+2h_B{h}_C\cos \gamma =a^2\end{array}\right.---\left(5\right)$

解出hA,hB，hC的值；其中hA,hB，hC分别为A，B，C与摄像机 光心O之间的距离，A，B，C两两组成的三条直线之间的夹角为α， β，γ，并且三个特征点之间的距离表示为：|AB|＝c，|AC|＝b，|BC|＝a；

设A′，B′，C′分别是A，B，C在摄像机平面上的对应点，求出hA, hB，hC后，利用A′，B′，C′坐标，根据摄像机的成像关系，解算出 特征点在摄像机坐标系下的坐标，再通过摄像机的标定参数将该坐标 转换到物体在世界坐标系下的坐标，即求出被测目标的初始位姿参数； 最后通过图像上其余特征标记对目标的初始位姿参数进行优化，得出 运动目标的准确位姿信息；

本发明的有益效果是利用单目视觉系统配合环绕式布局彩编 码标志点解决滚转类运动目标位姿测量过程中由于物体滚转导致的 标记特征被遮挡问题。并且单目系统测量视场大、测量设备简单，保 证摄像机视场能完全覆盖物体运动的空间，减少位姿测量时间和设备 成本。同时，采用环绕式组合编码的方式对彩特征进行编码，结合 图像识别、提取等图像处理过程求取运动目标的位姿参数，解决单目 测量系统要求特征标记几何约束已知的问题。

图1为基于彩图像的滚转物单目位姿测量方法原理图。其中， 1-高速摄像机，2-被测回转体，3-彩编码标记特征，4-图形工作站。

图2为环绕式彩编码特征的编码结果示意图。其中，R、Y、B、 G分别表示红、黄、蓝、绿四种颜。

以下结合技术方案和附图详细叙述本发明的具体实施方式。

附图1为基于彩图像的滚转物单目位姿测量方法原理图，本方 法通过在物体表面布置彩编码标记点，用摄像机1采集回转体2运 动过程中图像，经摄像机标定、标记特征提取和位姿求取解算出目标 的位姿信息。先在被测回转体2表面按照预先设计的编码方式布置彩 自发光单元，调整单目摄像机1的焦距和角度使测量视场完全覆盖 运动目标2的活动空间。采用图形工作站4对摄像机进行标定，通过 计算机进行标记特征的提取和滚转类运动目标2的位姿求取等工作。

本发明采用带有广角镜头的高速摄像机进行运动目标图像采集， 采用红、黄、蓝、绿四种颜进行标记特征颜编码，超高速彩摄 像机型号为FASTCAM SA5摄像机，摄像机分辨率：1024×1024，帧 频：在50fps-50000fps范围内可调，在保证分辨率1024×1024情况下 最高可达10000fps，CCD面积：2cm×2cm。广角镜头型号为AF-S 17-35mm f/2.8D IF-ED，镜头焦距：f＝17-35，APS焦距：25.5-52.5， 最大光圈：F2.8，最小光圈：F22，镜头重量：745g，镜头尺寸：82.5×106。 本具体实施方案的拍摄条件如下：高速摄像机帧频为3000fps，图片 像素为1024×1024，镜头焦距为17mm，物距为750mm，视场约为 800mm×800mm。夲实施例测量方法的具体步骤如下：

1.彩标记特征编码

按照预先设计的布局方式将彩自发光标记特征布置在回转体2 表面，由于本实施例子中视场大小为800mm×800mm，被测回转体 的直径为32mm，为使回转体旋转到任意角度时视场中至少有三个标 记点，且编码片段之间不重复，每组标记点的数目都确定为15，采 用红、黄、蓝、绿四种颜对于彩自发光标记点进行颜编码，每 3个连续标记点定义为一个编码片段，得到一个片段代码数组；用R、 Y、B、G作为红、黄、蓝、绿四种颜的代码，将代码代入编码组 得到标记点的编码，彩特征标记的编码结果如图2所示。

2.高速摄像机标定

将精密加工的二维棋盘格标定板放置在物体运动的平面附近，用 高速摄像机对摆放多个位置的平面标定板进行图像采集，采用张正友 二维靶标标定方法进行摄像机的标定，利用靶标角点的图像坐标与其 空间实际坐标之间的对应关系：

$s\left(\begin{array}{c}{X}_p\\ Y_p\\ 1\end{array}\right)=K\left(\begin{array}{cc}R& T\end{array}\right)\left(\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right)---\left(6\right)$

得到摄像机的内参数K和外参数矩阵[R T]。其中，s为比例因子； (Xp Yp)为靶标角点的图像坐标；(Xw Yw Zw)为靶标角点的空间坐标。 再利用非线性畸变公式：

$\left\{\begin{array}{c}{\delta }_x=k_1\hat{x}({\hat{x}}^2+{\hat{y}}^2)+k_2\hat{x}({\hat{x}}^2+{\hat{y}}^2)=x-\hat{x}\\ {\delta }_y=k_1\hat{y}({\hat{x}}^2+{\hat{y}}^2)+k_2\hat{y}({\hat{x}}^2+{\hat{y}}^2)=y-\hat{y}\end{array}\right.---\left(7\right)$

求出摄像机的畸变参数[k₁ k₂]；其中x，y为经上述线性模型求出的
靶标角点在图像上的理想坐标；为其在图像上的实际坐标；δ_x，
δ_y分别为图像上理想点与实际点之间的距离。

然后利用公式(1)所示的靶标特征点的实际坐标与其图像坐标 的偏差目标函数对内外参数进行整体优化，建立优化目标函数如公式 (2)所示，应用LM方法对公式(1)、(2)进行优化，进而得摄像 机内外参数的全局最优解，标定结果如表1所示。

表1 像机内外参数以及畸变参数

3.彩图像特征进行识别和提取

1)彩编码特征的识别

采用基于RGB的图像分割原理对彩标记点的颜信息进行识 别，将图像特征分解为R、G、B三个互相独立的颜通道，每个通 道的灰度范围都是0～255，对图像上每个像素点采用公式(3)计算 其与各编码颜的相似度，计算结果与阈值T进行比较，判断出该像 素点特征所属的颜。

然后对特征标记进行解码，采用曲线拟合的方法出图像特征标 记所组成的环形曲线，将标记点按该曲线串联排序，按顺序写出图像 中标记点的片段代码数组并与标记点编码数组列表进行对比，到与 之完全相同的数组，确定图像中标记点与编码组中标记点的对应关系， 从而得知所采集片段在整个编码组中的位置。

2)标记点的提取

采用梯度重心法提取被测回转体2运动时表面的特征标记点3， 首先使用高斯一阶微分算子对被测回转体2的运动图像进行卷积处 理，利用公式(4)求出图像在各点的梯度中心点，然后提取图像上 的标记特征。

4.目标物位姿求取

通过方程组(5)解出回转体2表面不共线的三个特征点与摄像 机光心O之间的距离，再结合它们在摄像机平面上的对应点的坐标 以及摄像机的标定参数求出被测目标的初始位姿参数；最后经参数优 化计算得到目标位姿信息。物体位姿求取公式如下所示：

$R=\left[\begin{array}{ccc}\cos \left({\theta }_Y\right)\cos \left({\theta }_Z\right)-\sin \left({\theta }_Y\right)\sin \left({\theta }_X\right)\sin \left({\theta }_Z\right)& \cos \left({\theta }_Y\right)\sin \left({\theta }_Z\right)+\sin \left({\theta }_Y\right)\sin \left({\theta }_X\right)\cos \left({\theta }_Z\right)& -\sin \left({\theta }_Y\right)\cos \left({\theta }_X\right)\\ -\cos \left({\theta }_X\right)\sin \left({\theta }_Z\right)& \cos \left({\theta }_X\right)\cos \left({\theta }_Z\right)& \sin \left({\theta }_X\right)\\ \sin \left({\theta }_Y\right)\cos \left({\theta }_Z\right)+\cos \left({\theta }_Y\right)\sin \left({\theta }_X\right)\sin \left({\theta }_Z\right)& & \\ & \sin \left({\theta }_Y\right)\sin \left({\theta }_Z\right)-\cos \left({\theta }_Y\right)\sin \left({\theta }_X\right)\cos \left({\theta }_Z\right)& \cos \left({\theta }_Y\right)\cos \left({\theta }_X\right)\end{array}\right]$

                          (8)

$\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]=R\left[\begin{array}{c}{x}_p-x_0\\ y_p-y_0\\ z_p-z_0\end{array}\right]---\left(9\right)$

其中，-θZ，-θX，-θY分别表示物体的偏航角，俯仰角和滚转角； (xp yp zp)为世界坐标系中任意点的坐标；(xt yt zt)为其在物体坐 标系中的对应坐标；(x0 y0 z0)为物体质心在世界坐标系中的位置， 即所求的物体位移参数。采用单目视觉测量的滚转体的位姿参数如表 2所示。

表2 单目视觉测量滚转体的位姿六参数

时间/s 偏航角/° 俯仰角/° 滚转角/° x方向位移/mm y方向位移/mm z方向位移/mm

0 0.55977 2.72647 0.246 48.08112 192.1963 52.66914

0.00133 0.56329 2.73788 0.267 48.15133 192.2114 52.62014

0.003 0.58344 2.72655 0.289 48.24236 192.2161 52.56366

0.00466 0.59183 2.73108 0.288 48.32259 192.2281 52.51511

0.00633 0.60802 2.72254 0.3 48.30499 192.2572 52.50601

0.00799 0.61454 2.74174 0.337 48.35114 192.2708 52.46885

0.00966 0.60029 2.80612 0.331 48.33769 192.3038 52.45851

0.01132 0.62717 2.81628 0.357 48.27666 192.3416 52.4753

0.01299 0.68508 2.77087 0.354 48.2919 192.3655 52.44257

0.01465 0.72776 2.78207 0.378 48.30263 192.3915 52.42045

0.01632 0.77245 2.82185 0.392 48.26757 192.4309 52.41102

0.01798 0.85287 2.82238 0.387 48.3037 192.453 52.37324

0.01965 0.90763 2.89069 0.428 48.2457 192.4863 52.3844

0.02131 1.02254 2.87279 0.442 48.19871 192.5166 52.3886

0.02298 1.2239 2.71749 0.467 48.03764 192.5728 52.44354

本发明可用于伴随滚转运动的回转类运动目标的位姿测量，适用 范围广。采用单目摄像机配合彩图像的测量方法具有测量视场大、 测量效率高、设备简单的优点。并且彩自发光单元的应用为图像特 征提供了足够的亮度，弥补了已有单目测量方法的不足，具有广阔的 应用前景。