一种基于双目视觉的自由曲面法矢量测量方法

本发明属于计算机视觉测量领域，涉及一种基于双目视觉的曲面法矢量测 量方法。

曲面零部件如涡轮叶片、喇叭、曲面腔体、列车蒙皮等正日益成为各应用 领域产品不可缺少的重要构成部分。对于这些零件，曲面法矢成为重要的测量 参数。蒙皮作为飞机典型复合材料曲面零件具有壁薄、形状复杂、随机变形大、 材料性质各向异性、尺寸范围大等特点。蒙皮柔性钻铆工艺对钻铆垂直度有很 高要求，而飞机蒙皮铆接件钻孔时，由加工预制件铺放、热压固化以及零件自 身重力所引起的变形和定位、协调、夹紧时各种误差的积累使得实际待铆点处 法矢量与三维数字模型中理论法矢量产生偏差。若铆接点处法向精度超出范围， 会使孔加工质量下降、连接形式为强迫连接、连接处产生应力集中以及蒙皮表 面不光滑，进而影响铆接质量和飞机气动外形，并最终导致飞机使役性能下降。 因此，如何实现飞机蒙皮表面任意一点法矢量的在线高精度、高效率测量成为 亟需解决的重要难题。

李原、余剑锋发明的专利号为CN201120358775的“一种测量自由曲面任 意点处法向矢量的装置”发明一种利用球形触头在曲面上画出相交的曲线，利 用曲线的切矢求取法向量的测量方法。此种方法为接触式测量，对于随机变形 曲面其法矢量求取精度比较低。姚振强、胡永祥发明的专利号为CN102248450A 的“用于大曲率半径曲面法向矢量快速检测方法”发明了利用光学测量技术实 现两假想正交平面与曲面交线的获取,利用这两条交线在待测点的法矢量的叉 乘积求取曲面一点的法向量,但该方法没有考虑曲面一点处的曲率大小,而单一 的利用一种方法求取法矢量,效率低、柔性差。

本发明要解决的技术难题是克服现有技术的缺陷，发明一种基于双目视觉 的自由曲面法矢量测量方法，采用由双目视觉系统以及投影图案组成的测量系 统进行自由曲面任一点法矢量的测量。通过比较所设阈值与待测点到拟合平面 的距离大小，选取不同测量方案完成法矢量的高精度快速测量。该测量方法考 虑的待测点邻域的曲率的大小，柔性比较高，可实现曲面任一点法矢量的在线 高精度与高效率测量。

本发明所采取的技术方案是一种基于双目视觉的自由曲面法矢量测量方法， 其特征是：测量方法中,由激光投影装置向自由曲面投影的投影图案由两条正交 直线L1、L2与位于两条线上的四个圆形光斑G构成；两直线交点为P，四个圆形 光斑大小相等且均布在同一圆周上；利用双目视觉系统采集投影图案的图像； 通过基于距离的阈值判定条件，估计曲面一点小邻域范围的曲率大小，以选取 不同的法矢量测量方案：当d≤ε时，选用拟合平面的法向量逼近曲面待测点法 矢量；当d＞ε时，则利用拟合后的两条空间曲线在待测点处切矢量的叉乘积求 取待测点处的法矢量；测量方法的具体步骤如下:

（1）基于阈值灰度重心法的光斑中心提取

本发明采用Canny算子结合灰度重心法对光斑中心进行高精度提取，灰度 图像I(i,j)中目标S的灰度重心为:

$\left\{\begin{array}{c}{X}_k=\frac{\underset{(i,j)\in S}{\Sigma }i\times W(i,j)}{\underset{(i,j)\in S}{\Sigma }W(i,j)}\\ Y_k=\frac{\underset{(i,j)\in S}{\Sigma }j\times W(i,j)}{\underset{(i,j)\in }{\Sigma }W(i,j)}\end{array}\right.---\left(1\right)$

式中，(Xk,Yk)为第k个光斑中心点的图像坐标；W(i,j)为所设定的权值；考虑实 际背景和目标之间的灰度信息状况，本发明采用阈值灰度重心法，其权值W(i,j) 定义为：

$\begin{array}{c}W(i,j)=\left\{\begin{array}{c}I(i,j)\\ 0\end{array}\right.\\ (I(i,j)>T)\\ (I(i,j)\le T)\end{array}---\left(2\right)$

其中，T为区分目标和背景的阈值；灰度重心取W(i,j)＝I(i,j)；

（2）光斑中心点的匹配和重建

在完成光斑中心点的提取后对左右摄像机采集的图像上的光斑中心点进行 匹配与重建；匹配方法如下：

首先采用Hartley提出的改进八点归一化算法计算左右摄像机的基本矩阵F， 然后通过左右两高速摄像机所采集的二维数字图像之间极线约束关系进行光斑 中心点的初匹配，假设左图像光斑中心点xi'与右图像光斑中心点xi''相匹配，即 两光斑中心点满足极限约束条件，极限约束方程可表示如下：

$x_i^{\prime T}F{x_{i^{\prime }}}^{\prime }=0---\left(3\right)$

其中，xi'为左摄像机采集的图像光斑中心点的像面坐标；xi''为与xi'相匹配由右摄 像机所采集图像光斑中心点的像面坐标；F为两摄像机之间的基本矩阵；

在此基础上对左右图像中所有满足极限约束条件的光斑中心点进行三维重 建以得到光斑中心点在世界坐标系下的三维坐标值，重建公式如下：

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{zX}}_i^{\prime }}{f_1}\\ y_i=\frac{{\mathrm{zY}}_i^{\prime }}{f_1}\\ z_i=\frac{f_1(f_2{t}_y-{Y_{i^{\prime }}}^{\prime }{t}_z)}{Y_1(r_7{X}_i^{\prime }+r_8{Y}_i^{\prime }+r_9{f}_1)-f_2(r_4{X}_i^{\prime }+r_5{Y}_i^{\prime }+r_6{f}_1)}\end{array}\right.---\left(4\right)$

其中，x_i'＝(X_i',Y_i')，X_i'，Y_i'分别为左摄像机采集的图像光斑中心点x_i'在像面坐标
系下的横、纵坐标；x_i''＝(X_i'',Y_i'')，X_i''，Y_i''分别为右摄像机采集的图像光斑中心
点x_i‘'在像面坐标系下的横、纵坐标；(x_i,y_i,z_i)为由两匹配光斑中心点x_i'、x_i‘'重建
出来的空间标记点的三维坐标；f₁、f₂分别为左右摄像机的焦距；为
连接左右摄像机关系的旋转矩阵，[t_xt_yt_z]是右摄像机相对于左摄像机的平移
矩阵；

（3）曲率判定

1)最小二乘法拟合空间平面

以重建出的四个光斑中心点在世界坐标系的三维坐标值为基础，利用最小 二乘法拟合空间平面，步骤如下：

平面方程的一般表达式为：

$\left\{\begin{array}{c}\mathrm{Ax}+\mathrm{By}+\mathrm{Cz}+D=0,(C\ne 0)\\ z=-\frac{A}{C}x-\frac{B}{C}y-\frac{D}{C}\end{array}\right.---\left(5\right)$

其中(A,B,C)为平面的法向向量；D为原点到平面的距离；记 $a_0=-\frac{A}{D},a_1=-\frac{B}{D},a_2=-\frac{C}{D};$ 则z=a0x+a1y+a2；

选用最小二乘法利用n个点(n≥3):(xi,yi,zi),i＝0,1…，,n-1拟合上述平面，则使： $S=\underset{i=0}{\overset{n-1}{\Sigma }}{(a_{0}x+a_{1}y+a_2-z)}^2$ 最小;

其中S为点到直线的距离的平方和；

要使S取得最小值，应满足：K＝0,1,2；即：

$\left\{\begin{array}{c}\Sigma 2(a_0{x}_i+a_1{y}_i+a_2-z_i)x_{i=0}\\ \Sigma 2(a_1{x}_i+a_1{y}_i+a_2-z_i)y_i=0\\ \Sigma 2(a_1{x}_i+a_1{y}_i+a_2-z_i)=0\end{array}\right.---\left(6\right)$

将四个重建光斑中心的空间三维坐标(xi,yi,zi),i＝0,1,2,3带入上述方程组求得a0, a1,a2；

即拟合平面的方程为：z＝a₀x+a₁y+a₂；空间拟合平面的法向量为:

2)求待测点P′到拟合平面的距离

空间一点到平面的距离公式可表示为：

其中,S平面为空间拟合平面的方程；d为待测点到平面的距离；P′＝(x′,y′,z′)为待 测点在世界坐标系下的坐标；Q＝(xq,yq,zq)为拟合平面上的任意一点；ε为所设 阈值；当d≤ε时，认为待测点P′小邻域曲面范围内曲率变化不大；当d＞ε时则 认为待测点P′小邻域曲面范围内曲率变化较大；

（4）法矢量求解

基于距离阈值约束的法矢量测量方案选择准则，情况一：若位于曲面上的
待测点P′到空间拟合平面的距离满足d≤ε，则认为待测点P′小邻域曲面范围内
曲率变化不大，此时认为平面的法向量就是曲面上待测点的法矢量，即
<math> <mrow> <mover> <mi>n</mi> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow> </math>

情况二：若曲面上待测点P′到空间拟合平面的距离d＞ε，则认为待测点P′小 邻域曲面范围内曲率变化较大，其近似曲面可能是球面、抛物面、马鞍面等其 它二次曲面，此时选用投影到曲面上的两条空间曲线进行法矢量的求解；其步 骤如下：

1)激光条纹中心线点的提取、匹配与重建

本发明采用基于方向模板的激光条纹中心线检测方法，分别在水平、垂直、 左倾斜45。、右倾斜45。方向上布置大小固定方向可变的模板，分别记为K0、K1、 K2、K3，用这四个模板对二维数字图像每一行分别进行处理；以对i行处理为例， 对于K0模板有：

$\begin{array}{c}\left\{\begin{array}{c}{H}_j=\underset{s=0}{\overset{M-1}{\Sigma }}\underset{t=0}{\overset{N-1}{\Sigma }}{K}_0\left[s\right]\left[t\right]C[i-\frac{M}{2}+S][j-\frac{N}{2}+t],j=\frac{N}{2},\frac{N+1}{2},...,\mathrm{col}-1\\ H_{g0}=\max (H_{\frac{N}{2},}{H}_{\frac{N}{2}+1},...,H_{\mathrm{col}-1}),\frac{N}{2}\le j\le \mathrm{col}-1\end{array}\right.---\left(8\right)\end{array}$

其中M为模板所对应的行数；N为模板对应的列数；K₀[s][]t≥0；
表示点的灰度值；相应的对于模板K₁、K₂、
K₃有H_g1、H_g2、H_g3；求取H_g＝max(H_g0,H_g1,H_g2,H_g3)，则有第i行激光条纹的中心
点的位置在点g处；用该方法对二维数字图像进行逐行逐像素检测可完成激光条
纹中心线的提取；在完成激光条纹中心线提取的基础上，采用与本发明(2)中光
斑中心点匹配和重建相同的方法进行激光条纹中心点的匹配和重建，得到激光
条纹中心线点在世界坐标系下的三维坐标值；

2)三次B样条曲线拟合两空间曲线

本发明采用三次B样条曲线拟合两空间激光条纹曲线，B样条曲线分段函数 表达式为：

$\left\{\begin{array}{cc}{c}_1:p=P_0·{N_{10}}^3+P_1·{N_{11}}^3+P_2·{N_{12}}^3+P_3{N_{13}}^3& u\in [u_2,u_3]\\ c_2:p=P_1·{N_{20}}^3+P_2·{N_{21}}^3+P_3·{N_{22}}^3+P_4{N_{23}}^3& u\in [u_3,u_4]\\ c_1:p=P_2·{N_{30}}^3+P_3·{N_{31}}^3+P_4·{N_{32}}^3+P_5{N_{33}}^3& u\in [u_4,u_5]\end{array}\right.---\left(9\right)$

其中Pi(i＝0,1…5)分别表示控制顶点；Nij(i＝1…3,j＝0,1…4)表示基函数；设有两 摄像机重建出的曲线上离散点为b1,b2,???,bn；其中前i个点位于c1段上，k-i个点位 于c2段上，n-j个点位于c3段上，则将几点代入上述方程组得：

令M为左边的系数矩阵，P为所求的控制顶点的所组成的向量，p为三维重建 的激光条纹中心线点，上述方程简写为：

M·P＝p   (11)

由此可得到拟合的法方程为：

M'·M·P＝M'·p   (12)

为提高交点附近曲线的拟合精度，对上述方程引入权值；加权后的方程为：

(M'·H'·M·P)＝(M'·H')·M·p   (13)

通过此加权方程即可求取两曲线的方程。在此基础上分别求取两曲线在待测点
两个方向的切矢，记为则所求法矢量为：

本发明的有益效果是所发明的测量方法为非接触、柔性强、实时性高。可 适用于曲面不同点的在线高效率测量，且其方法简单，算法易于实现。

图1为曲面法矢量求解方法原理图。其中，L₁′-水平投影激光条纹、L₂′-竖
直投影激光条纹、P′-待测点、G₁-第一投影光斑、G₂-第二投影光斑、G₃-第三投
影光斑、G₄-第四投影光斑、S-拟合平面、m-拟合平面S的法向量、d-待测点P′
到拟合平面S的距离、-曲面在点P′的法矢量、-曲线L₁′在点P′的切向量、-
曲线L₂′在点P′的切向量。

图2为发明的投影图案。其中L1-水平投影线、L2-竖直投影线、P-两正交 投影线交点、G1-第一圆形光斑、G2-第二圆形光斑、G3-第三圆形光斑、G4-第四 圆形光斑。

图3为基于双目视觉测量系统的法矢量求解流程图。

本发明结合技术方案和附图，为了更好的说明法矢量求解过程，以飞机蒙 皮为实例对其详细叙述。按附图3所示的具体流程如下： （1）利用数控系统将激光投影装置移动到飞机蒙皮待测点P′(x′,y′,z′)处，在保 证两激光条纹交点为待测点的基础上，将附图2图案投影在飞机蒙皮待测表面 上，投射为四个高亮的光斑G1′、G2′、G3′、G4′和两条激光条纹L1′、L2′，与此同 时利用双目视觉系统的左右高速摄像机采集投影图案图像。

（2）基于阈值灰度重心法的光斑中心的提取

选用Canny算子结合阀值灰度重心法对左右相机采集图像中光斑中心进行 提取，完成光斑中心的定位。得左图像中四个光斑中心点的像面坐标(Xi,Yi) i＝1,2,3,4和右图像的四个光斑中心点的像面坐标为(Xi′,Yi′)i′＝1,2,3,4。

（3）光斑中心点的匹配和重建

将左右图像的光斑中心点的像面坐标带入公式(3)和(4)得到相匹配光斑中心 点在世界坐标系下的三维坐标值：

G1′(x1,y1,z1)、G2′(x2,y2,z2)、G3′(x3,y3,z3)、G4′(x4,y4,z4)。

（4）点邻域曲率判定

1）基于光斑中心离散点最小二乘法拟合空间平面

将重建出的四个光斑中心作为空间点列，利用最小二乘法拟合空间平面S。
将四个光斑中心点的三维坐标带入公式(6)，得到平面方程为z＝a₀x+a₁y+a₂，
得到平面的法向量为

2）求待测点P′到拟合平面的距离

将点P′(x′,y′,z′)代到空间平面的距离公式(7)求取待测点到拟合平面的距离 d并将此距离与所设阈值ε进行比较得到d＞ε。此时应选取两空间曲线在待测点 P′(x′,y′,z′)的切矢的叉乘积求取法矢量。

（5）曲面任一点法矢量的求解

1）激光条纹中心线点的提取、匹配和重建

采用基于方向模板的激光条纹中心检测法，完成激光条纹中心线点的提取， 如公式(8)。得到左图像中四个光斑中心点的像面坐标(Xi,Yi)i＝1,2…n和右图像的 四个光斑中心点的像面坐标(Xi′,Yi′)i′＝1,2…n。将提取的左右图像的像面坐标代 入公式(3)和(4)进行光斑中心线点的匹配和重建，得光斑中心线点的三维坐标值 为(xi,yi,zi)i＝1,2…n。

2）基于空间点离散点数据利用三次B样条曲线拟合

将重建出的激光条纹中心线点的三维坐标值(x_i,y_i,z_i)i＝1,2…n代入公式(10)
和加权方程(13)，求取两曲线的方程。在此基础上分别求取两曲线在待测点两个
方向的切向量，记为则所求法矢量为：

本发明的测量方法为非接触式测量，在充分考虑曲面一点邻域的曲率情况 下，选取不同的测量方案求取自由曲面任一点法矢量的测量。其方法简单，柔 性强、实时性高、算法易于实现，在满足测量精度要求的条件下很好的提高了 法矢量求取效率。