传感技术学报CHINESE JOURNAL OF SENSORS AND ACTUATORS Vol.34No.3 Mar.2021
led防水模组
第34卷第3期
2021年3月
Simulation Modeling and Error Sensitivity Analysis of Dual-Camera
Structured Light System*
ZHAI Hangjun,WANG Ling*,WANG Binrui,GAO Yanfeng,CHEN Xiai (School of Mechanical and Electrical Engineering,China JUiang University,Hangzhou Zhejiang310018,CAina)
Abstract:Structured light systems are widely used in three-dimensional measurement,reverse engineering and other fields.However,there are still few research results on the performance evaluation methods of structured light systems.Only a few international standards provide the performance evaluation methods of3D scanning systems.Firstly,the simulation model of binocular structured light system is established,including camera lens distortion model and pinhole imaging model.The simulation of projector projecting digital sinusoidal fringes and the simulation calculation of target feature are realized.The three-dimensional reconstruction method is optical triangulation me
thod. Then,based on the simulation model,the error sensitivity of baseline distance correlation is simulated and analyzed. It is found that the center position of the target ball and the center distance of the target ball have high sensitivity to the baseline distance error,and the output that can be used as the performance evaluation index.Finally,if only the baseline distance error is considered,the relative distance of the calibrated bat in the standard test method should be as large as possible,which provides suggestions for improving the standard performance evaluation method.
Key words：dual-camera structured light system；simulation system；error sensitivity；performance evaluation EEACC：7230doi：10.3969/j.issn.l004-1699.2021.03.009
翟杭军，王凌*，王斌锐，高雁凤，陈锡爱
(中国计量大学机电工程学院，浙江杭州310018)
摘要：结构光系统目前在三维测量、逆向工程等领域应用日益广泛，然而关于结构光系统性能评测方法的研究成果仍然很少，仅有少数国际标准给出了3D扫描系统的性能评测方法。本文首先建立了双目结构光系统的仿真模型，其中包括了相机镜头畸变模型和针孔成像模型，实现投影仪投射数字正弦条
纹的仿真和被扫描的靶球特征量仿真计算，采用的三维重建方法为光学三角法。然后基于仿真模型，对其基线距离相关的误差灵敏度进行了仿真，发现靶球中心位置和靶球球心距对基线距离误差具有较高的灵敏度，可以作为测试方法的输出。最后，如果只考虑基线距离误差，标准测试方法中的校准球棒的位置应在测量范围内的相对距离尽可能大，为标准性能评测方法提供了改进建议。
关键词：双目结构光；仿真系统；误差灵敏度；性能评测
中图分类号:TP391.41文献标识码:A文章编号:1004-1699(2021)03-0346-08
结构光系统是获取物体表面三维数据的有效工具，一般由固定机架、数字投影仪和相机组成，易于开发和使用。结构光三维测量系统采集的物体表面点云存在误差，其原因包括相机成像畸变、相机位姿参数(外参)误差、投影仪的投影图像畸变、三维重建算法缺陷等。通过构建和应用误差补偿模型⑴刀可以对上述结构光系统测量误差进行部分补偿。 目前，像素点提取和特征点匹配算法方面已经有较多研究成果，而相机内部结构设计及相机标定等方面还有较大提升空间。Daniel和Gabrie[3]认为许多已有的相机校准技术都使用了简化的模型，忽略了透镜变形，导致成像精度较低，并且提出了_种新的投影图像平面中三维点的图像坐标估计方法，以及基于相机模型描述投影仪成像畸变。崔海华
项目来源：国家重点研发计划项目(2018YFB2101004)；浙江省重点研发计划项目(2019C03114)；浙江省公益技术应用研究分析测试项目(LGC21F030001)
收稿日期：2020-11-03修改日期：2021-01-25
第3期翟杭军，王凌等：双目结构光系统仿真建模和误差灵敏度分析347
等⑷提出了一种基于六步相移法的伽马射线畸变模型，消除了使用现有投影仪进行条纹投影技术带来的非线性误差。这类针对投影仪投影条纹的优化方法，国内外也有一些学者发表了部分研究成果o陈东岳等［7】提出了一种新型全向环形结构光图案，简化了图像特征点的提取，可以快速完成场景定位。达飞鹏等⑻针对条纹投影轮廓术(FPP)系统中存在的局部模糊问题，提出了一种灵活的误差校正方法来处理相机离焦引起的相位误差。关旭等⑼采用了矢量正交归一化目标的双目主动视觉，使得重建后目标轮廓测量的距离误差减少25%，角度误差减少23%。Sen［⑹提出了一种具有自动阈值的三步相移标定系统，该标定系统包括相机标定、投影仪标定和深度标定，降低了相机和投影仪镜头的误差。Ye和ZhanU提出了一种基于结构光系统的标定参数优化算法，通过最小化标记点之间的距离、夹角和参考平面的平面度等三维测量误差求解最优函数，提高了三维重建精度。然而，这些方法中系统基于误差模型进行了标定并不一定意味着可以完全消除系统误差，实际中可能存在误差补偿错误或补偿后误差放大等情况。因此，有必要对结构光系统进行误差分析和性能评测，从而评估结构光系统误差补偿效果或对其三维测量扫描性能进行评测。
对于结构光系统性能评测或评价方法的研究，近年来也有少数学者发表了研究成果。Brauer-Bur-chardt等［⑵提出一种基于结构光投影的三维扫描仪性能评测方法，其中扫描标靶是一个金字塔形的截锥，但该方法测试流程的工作量仍然很大。而作为开展3D扫描仪性能评测的国际标准之一，德国VDI/VDE2634系列标准包含了针对基于区域扫描的光学系统的性能评测标准，规定使用带有两个靶球的球棒来开展3D扫描仪的误差分析和性能评测工作，该球棒尺寸已预先标定，并在测量体积内分别处于至少十个任意的并尽可能均匀的位置采样的特征量包括球棒两端靶球的球心距离(球间距离)，用于验证测量系统的长度测量能力，并确保了在标准VDI/VDE2617中长度测量误差的可追溯性。此外国际标准ISO10360-13也规定了光学三维坐标测量系统的性能评测验收方法，其中也推荐使用已标定的球棒。
结构光系统的性能评测方法一般涉及的工作量较大，而且经常受硬件上的物理性质影响。如果可以对系统性能评测实验进行仿真分析，那么不仅可以有效降低其性能评测方法设计的工作量，也能够提前发现方法中存在的问题，为系统误差评测分析提供理论基础和开发支持。Liang［13］提出了一种基于单目结构光三维测量仿真系统，并且讨论了部分系统参数对测量结果的影响和参数修正的问题。陈迎春［⑷提出一种新的光栅条纹投影轮廓术仿真系统，使仿真系统不再要求投影仪光轴和照相机光轴相交于一点。近年来，也有部分学者通过对结构光系统的仿真解决了一些难题［3可，如以往的投影仪和相机要求有严格位置关系以及传统的光线追踪法遇到的数值运算问题等。然而，针对双目结构光系统进行仿真分析的研究成果未见报道。
本文在构建基于三步移相法的双目结构光系统数学仿真模型基础上，实现了对靶球的点云重建仿真；然后针对双目结构光系统模型误差对处于不同高度的参考平面时靶球中心位置误差进行灵敏度仿真分析，研究了该试验对靶球处于不同位置时的靶球特征量误差灵敏度，然后分析了现有标准中的结构光系统性能评测方法存在的不足，并提出测试方法改进措施。
1基于三步移相法的双目结构光系统工作原理和建模
为了分析双目结构光系统测量误差的影响因素，首先对此类系统的坐标系给予定义，如图1所示。
图像像素坐标系
图1视觉测量系统坐标系定义
图像物理坐标系0-血：左相机图像物理坐标系为o厂x.Y.，右相机图像物理坐标系为o r-x r y r；o L^o R分别为左、右相机的光轴与图像像素坐标系平面中心的交点。
图像像素坐标系0-叫右相机图像像素坐标系记为0如-％%，険、％轴分另!］与X r'Y r平行；同理，左相机图像像素坐标系记为0Li-u L v Lf u L>v L轴分别与X l>Y l平行,0R在像素坐标系中的坐标为(%, %o)O
相机坐标系。-驴：以左相机光心0］为原点，光轴为引轴，建立左相机坐标系为0宀仍匀；同理,
传感技术学报
chinatransducers,seu.edu第34卷348
建立右相机坐标系为02-x272z2o光轴与图像平面垂直，衍、九分别与图像坐标系的兀血轴平行，”2, y
2分别与图像坐标系的禺、$轴平行。
世界坐标系。-兀bZ“：即物体在真实世界中的坐标，是外部的一个固定的参考坐标系，不随着物体的大小以及位置变化，用于描述相机与目标物体的位置关系。
投影仪坐标系P-X孟Zp：在结构光系统中，以投影机的光心P为原点，建立投影仪坐标系P-XpYpZ”其中所有的y轴方向都垂宜纸面向里，如图 2所示。
1.2相机畸变模型及图像畸变矫正
确定坐标系的定义以及位置关系后可以发现，结构光系统三维扫描中的成像过程的实质上是几个坐标系的转换。首先空间中的一点由世界坐标系转换到相机坐标系，然后再将其投影到图像物理坐标系，最后再将图像物理坐标系上的数据转换到图像像素坐标系。
但是上述得到的相机图像都是受到相机镜头畸变影响的图像。如果要降低图像畸变,，需要对图像进行畸变矫正。相机成像畸变可以分为径向畸变和切向畸变。假定图像像素坐标系O R1-u R v R下的畸变前的坐标为(“,。)，经过径向畸变和切向畸变后该坐标在久厂唧R坐标系的(岭S)上，即未畸变的图像久与畸变后的图像生之间的关系为(叭”)=£(叫,％)。其中，径向畸变数学模型为：
'u f =u(l+k l r2+k2r4+k3r6)
=®(l+k^+^^+^r6)")
翻边氐2,%为径向畸变系数。
切向畸变数学模型为：
(u,=u+[2p1v+p2(r2+2u2)]
=v+[2p2u+pi(r2+2v2)]
式中U2为切向畸变系数。
得到相机畸变模型后，即可对图像进行畸变矫正。已知像素值在图像像素坐标系O Ri-u R v R中的理想位置坐标：
x*=x/z(3)
y*=y/z(4)
(5)
尸TA+Cy
式中：(％』,z)为相机坐标系下的坐标点,("』')是归一化之后的坐标。其中,££,C*,Cy分别为左右相机的焦距以及图像物理坐标系的原点相对于光心成像点的纵横偏移量。
像素值在图像像素坐标系O RX-U R V R中的畸变位置坐标：
界p'(l+热/+虬/)+2pM'/+p2(r+2/)(6)
/=y z(l+/c1r2+A2r4)+2p2xy+j p1(r2+2y,2)(7)
钢水密度严宀(8)式中詢,k2为径向畸变系数,M，必为切向畸变系数，其中r2=x^2+/20因为畸变图像的像素坐标(岭，兔)是已知的，那么未畸变的图像像素坐标仏°)可以根据式(5)~式(8)求解。
理论上可以通过=(叫皿)映射关系可以将他们各个像素坐标点一一对应起来。但是，畸变的像素坐标往往不是整数，所以还需要通过双线性内插法⑴】来进行求解。该插值计算以及相机畸变模型准确度问题，都会使得畸变矫正后的图像不可能是完全真实的图像。
1.3基于三步移相法的结构光技术及解包裹算法
基于相机畸变矫正得到的图像，对其每个像素点坐标进行相位解包裹。基于三步相移法的结构光技术是相移法中测量效率最高的。三步相移法中常用的相位变化量为77/2或2灯/3，其中计算公式为：
厌氧胶能用于木材吗人(®y)=a(%』)+8(%,y)cos[<pG』)+Apn]
(9)式中：“1,2,3，采用的相移增量通常是A^=2ir/3，则A筝1 =-2tt/3,*2=0和*3=2h/3,/…(%,/)为相位图的灰度值f a(x,y)为环境光强,j3(x,y)为条纹光强的调制强度。那么，该方法对应的相位求解表达式分别为呦：
_I.-L~
(x,y)=arctan^3-(10)
L2爲-(妇+厶丿」
该方法使用反正切法解出的相位在区间”]，只能在该区间内连续，超出该区间就会出现每隔2“的周期会有一个间断点的情况。运用相位解
第3期翟杭军，王凌等：双目结构光系统仿真建模和误差灵敏度分析349
包裹算法可以解决这种问题，该算法在每个2ir的间断点上，在相位的邻域判断是否可以加或减一个2tt[22]o则相位解包裹算法可表示为：
侑（％』）=卩（久』）±2亦（11）式中必为整数,<P（x,y）称为包裹相位，而经过相位解包裹之后的轻（％』）在区间内是连续且单调。此时，卩1（能,y）称为绝对相位。
1.4双目结构光测量系统三维重建模型
在得到物体表面的解包裹相位图之后，可以知道图像上每个像素坐标点对应的相位值，然后对其进行左右图像的特征点匹配，即每对匹配点判断像素坐标和相位值是否一致，最后实现物体表面点云的三维重建。
物体表面一点在相机中的成像模型可以简化为针孔成像模型，根据相机畸变模型得到每个图像像素坐标点，再通过图像物理坐标系与图像像素坐标系之间的转化关系，得出每个像素点在图像物理坐标系上的坐标点。假设一个像素物理尺寸的长和宽分别为心，哲，图像像素坐标系的像素点为（叭1）T，对应的图像物理坐标系的点为&p』p,l）T，则：
由此，可以根据以上公式推出图像物理坐标系上的坐标值。
双目结构光系统的三维点云坐标计算原理与双目视觉系统类似。图3是双目视觉成像原理图，相机坐标系的原点在相机的光心处，左右相机光心之间的基线距离为b o成像平面距离相机镜头的光心/处，图像物理坐标系的原点在相机光轴与成像平面的交点处，九（知％）和厶（如必2）分别为点A（Xf7f2）在左右图像物理坐标系上的坐标。
图3双目视觉成像原理图
图3中，人到血的距离为：
^=b~（x pl-x p2）（13）
若两相机的图像像素坐标系在同一平面上，则切=y p2=y P，根据光学三角法建立线性方程组
可得：
d x-x pl
~b=^T
b y
b z
(14)
因此，可计算出在左相机坐标系下的坐标值：
'%
%-----
%一％2
%一％2
bf
菱角剥壳机(15)
得到该点在相机坐标系上的坐标，最后通过相机坐标系与世界坐标系的旋转平移变换就可以确定实际的三维坐标。旋转矩阵和平移矩阵可以对左右相机进行标定获得。设4点在世界坐标系坐标记为（石,％,ZJ，再根据针孔成像模型，可以得到世界坐标系和图像像素坐标系之间的转化关系：
U
V=
_1_
f y
(16)
工
式中沈=^打=£，分别为相机在M轴和v轴方向上的尺度因子,K：,K2分为相机的内、外参数矩阵，都可通过对两相机的立体标定获得,R为3X3的单位正交矩阵，为右相机相对于左相机的旋转操作;f 为三维的平移向量，为右相机相对于左相机的平移操作,0T为三维零向量的转置。
2基于三步移相法的结构光系统和双目视觉系统的仿真
在由一台相机和一台投影仪组成的结构光系统（SLS）中，实现三维重建必须使用投影仪的模型参数。然而，另外一种常见的结构光系统包含两台相机和一台投影仪，即双目结构光系统。在双目结构光系统中，物体三维重建时可以认为与投影仪模型参数无关。由于其中左右图像的特征点映射是基于
传感技术学报
chinatransducers,seu.edu第34卷350
三步相移法给出的展开相位完成的，在使用两台相机和一台投影仪的结构光系统中，只有两台相机拍摄的重叠成像区域可以用于重建。
本论文采用基于MATLAB软件平台对双目结构光系统进行仿真，其仿真步骤设计如图4所示，说明如下。
图4SLS仿真系统流程图
①设置内外参数的初始值：包括理想状态下两个相机的内、外参数以及在相机标定过程中得到的带有误差的左右相机内外参数；此外还包括图像点云的分辨率，结构光系统的初始参数（如结构光的相移值）等。
②生成扫描物体表面点的三维坐标：以相机的坐标系原点为参考点，物体表面的三维点的呼坐标分别存储在三个经过初始化的矩阵中。参考坐标系原点在相机镜头上，就是相机坐标系作为参考坐标系。默认的坐标数据都是基于这个参考坐标系，而被扫描物体在这个参考坐标系的正下方。该物体是一个平面上的若干个半球组成。这个平面和左相机坐标系的矽轴形成的平面平行。描述被扫描物体需要三个特征量，分别是物体平面所处的纵坐标、各球体中心坐标和球体的半径。
③分别查左右图像的阴影点：对于物体平面上的点，我们到球体和光线之间可能的交点的坐标。
本文仿真实现中阴影区域的判别分两部分来进行：一是物体表面上阴影区的判别，对于这种物体表面上阴影区域的判断方法用向量法来判断；二是参考平面上阴影区的判别，对于此种情况向量法己经不再适用，本文使用一种迭代搜索法。
④求出扫描物体各表面点的条纹图像灰度值：如图3所示，对应于被扫描物体表面4点，其在左右条纹图像中的灰度值由参考平面上的C点位置和初始相位决定。条纹起点设计在％线上，其中％/2是被扫描物体在％轴方向的宽度。
⑤计算两台相机捕获的条纹图像的像素坐标：在上一步得到A点的灰度值后，我们使用两个相机的理想针孔模型和畸变模型，导出左/右条纹图像对应的非整数像素坐标（以加）的灰度值即为4点的灰度值。然后，通过基于灰度（以0）的二维插值计算，得到像素坐标为整数的两个相机输出的左右条纹图像灰度。
⑥基于左右图像灰度（“理）和三步相移方法式（10）计算包裹相位，分别为％和％。
⑦改变初始相位后，再重复步骤④〜⑥。然后，可以导出与三个初始相位对应的左右相机的所有三池裹相位图像。图5为某次仿真的包裹相位图像结果。
图5左/右相机包哀相位图
智能卡读写器
⑧if*算解包裹相位：本仿真中基于Goldstein分支切割法，利用步骤⑦的6幅包裹相位图像，计算得到左右解包裹相位图像，其解包裹相位实例如图6所示。
Unwrapped phase Unwrapped phase
图6左右相机解包襄相位图像
⑨双目极线校正和标定：对于左右未包裹的相位图像，我们基于已知的旋转/平移矩阵参数和具有
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议