引⾔
3D视觉成像是⼯业机器⼈信息感知的⼀种最重要的⽅法，可分为光学和⾮光学成像⽅法。⽬前应⽤最多的还是光学⽅法，包括：飞⾏时间法、结构光法、激光扫描法、莫尔条纹法、激光散斑法、⼲涉法、照相测量法、激光跟踪法、从运动获得形状、从阴影获得形状，以及其他的 Shape from X等。本次介绍⼏种典型⽅案。 节选于卢荣胜，史艳琼，胡海兵《机器⼈视觉三维成像技术综述》⼀⽂。
飞⾏时间3D成像
飞⾏时间（TOF）相机每个像素利⽤光飞⾏的时间差来获取物体的深度。
在经典的TOF测量⽅法中，探测器系统在发射光脉冲的同时启动探测接收单元进⾏计时，当探测器接收到⽬标发出的光回波时，探测器直接存储往返时间。⽬标距离Z可通过以下简单⽅程估算：
这种测距⽅式也称为直接TOF（DTOF）。D-TOF通常⽤于单点测距系统，为了实现⾯积范围3D成像，通常需要采⽤扫描技术。
⽆扫描TOF三维成像技术直到近⼏年才实现，因为在像素级实现亚纳秒电⼦计时是⾮常困难的。
与直接计时的D-TOF不同的⽅案是间接TOF（I-TOF），时间往返⾏程是从光强度的时间选通测量中间接外推获得。I-TOF不需要精确的计时，⽽是采⽤时间选通光⼦计数器或电荷积分器，它们可以在像素级实现。I-TOF是⽬前基于TOF 相机的电⼦和光混合器的商⽤化解决⽅案。
TOF成像可⽤于⼤视野、远距离、低精度、低成本的3D图像采集。其特点是：检测速度快、视野范围较⼤、⼯作距离远、价格便宜，但精度低，易受环境光的⼲扰。
扫描3D成像电子蜂毒采集器
tmal扫描3D成像⽅法可分为扫描测距、主动三⾓法、⾊散共焦法等。其实，⾊散共焦法是扫描测距法的⼀种，考虑到⽬前在⼿机、平板显⽰等制造⾏业应⽤⽐较⼴泛，在此单独介绍。
1、扫描测距
扫描测距是利⽤⼀条准直光束通过⼀维测距扫描整个⽬标表⾯实现3D测量。典型扫描测距⽅法有：
1、单点飞⾏时间法，如连续波频率调制（FM-CW）测距、脉冲测距（激光雷达）等；
2、激光散射⼲涉法，如基于多波长⼲涉、全息⼲涉、⽩光⼲涉散斑⼲涉等原理的⼲涉仪；
3、共焦法，如⾊散共焦、⾃聚焦等。
单点测距扫描3D⽅法中，单点飞⾏时间法适合远距离扫描，测量精度较低，⼀般在毫⽶量级。
其他⼏种单点扫描⽅法有：单点激光⼲涉法、共焦法和单点激光主动三⾓法，测量精度较⾼，但前者对环境要求⾼；线扫描精度适中，效率⾼。
⽐较适合于机械⼿臂末端执⾏3D测量的应是主动激光三⾓法和⾊散共焦法。
2、主动三⾓法
主动三⾓法是基于三⾓测量原理，利⽤准直光束、⼀条或多条平⾯光束扫描⽬标表⾯完成3D测量的。
主动三⾓法是基于三⾓测量原理，利⽤准直光束、⼀条或多条平⾯光束扫描⽬标表⾯完成3D测量的。
tz15
光束常采⽤以下⽅式获得：激光准直、圆柱或⼆次曲⾯柱形棱⾓扩束,⾮相⼲光(如⽩光、LED 光源)通过⼩孔、狭缝(光栅)投影或相⼲光衍射等。主动三⾓法可分为三种类型：单点扫描、单线扫描和多线扫描。⽬前商业化的⽤于机械⼿臂末端的产品⼤多数是单点和单线扫描仪
3、⾊散共焦法
⾊散共焦似乎可以扫描测量粗糙和光滑的不透明和透明物体，如反射镜⾯、透明玻璃⾯等，⽬前在⼿机盖板三维检测等领域⼴受欢迎。
⾊散共焦扫描有三种类型：单点⼀维绝对测距扫描、多点阵列扫描和连续线扫描，下图分别列出了绝对测距和连续线扫描两类⽰例，其中连续线扫描也是⼀种阵列扫描，只是阵列的点阵更多、更密集。
在商业产品上，⽬前较为知名的扫描光谱共焦传感器是法国的 STIL MPLS180，采⽤180个阵列点形成⼀条线，最⼤线长4.039mm（测量点11.5pm，点与点间距为22.5pm），另⼀款产品是芬兰的 FOCALSPEC UULA，采⽤的是⾊散共焦三⾓法技术。
结构光投影3D成像
结构光投影三维成像⽬前是机器⼈3D视觉感知的主要⽅式，结构光成像系统是由若⼲个投影仪和相机组成，常⽤的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等典型结构形式。
结构光投影三维成像的基本⼯作原理是：投影仪向⽬标物体投射特定的结构光照明图案，由相机摄取被⽬标调制后的图像，再通过图像处理和视觉模型求出⽬标物体的三维信息。
常⽤的投影仪主要有下列⼏种类型：液晶投影（LCD）、数字光调制投影（DLP，如数字微镜器件（DMD）、激光LED图案直接投影
根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3D和多次投影3D⽅法。
1、单次投影成像
单次投影结构光主要采⽤空间复⽤编码和频率复⽤编码形式实现，常⽤的编码形式有：彩⾊编码、灰度索引、⼏何形状编码和随机斑点。
⽬前在机器⼈⼿眼系统应⽤中，对于三维测量精度要求不⾼的场合，如码垛、拆垛、三维抓取等，⽐较受欢迎的是投射伪随机斑点获得⽬标三维信息，其3D成像原理如下图所⽰。
2、多次投影成像
多次投影3D⽅法主要采⽤时间复⽤编码⽅式实现，常⽤的图案编码形式有：⼆进制编码、多频相移编码τ35和混合编码法（如格雷码⼗相移条纹）等。
飞机部件修理>防臭鞋垫
条纹投影3D成像基本原理如下图所⽰，利⽤计算机⽣成结构光图案或⽤特殊的光学装置产⽣结构光，经过光学投影系统投射⾄被测物体表⾯，然后采⽤图像获取设备（如CCD或CMOS相机）采集被物体
表⾯调制后发⽣变形的结构光图像，利⽤图像处理算法计算图像中每个像素点与物体轮廓上点的对应关系；最后通过系统结构模型及其标定技术，计算得到被测物体的三维轮廓信息。
在实际应⽤中，常采⽤格雷码投影、正弦相移条纹投影或格雷码⼗正弦相移混合投影3D技术。
3、偏折法成像
扣具对于粗糙表⾯，结构光可以直接投射到物体表⾯进⾏视觉成像测量；但对于⼤反射率光滑表⾯和镜⾯物体3D测量，结构光投影不能直接投射到被测则表⾯，3D测量还需要借助镜⾯偏折技术，如下图所⽰。
在这种⽅案中，条纹不是直接投影到被测则轮廓上，⽽是投射到⼀个散射屏上，或⽤液晶显⽰屏代替散射屏把条纹直接显⽰出来。相机通过光亮表⾯折返光路，获取被光亮表⾯曲率变化调制的条纹信息，然后解算出三维轮廓形貌。
⽴体视觉3D成像
⽴体视觉字⾯意思是⽤⼀只眼睛或两只眼睛感知三维结构，⼀般情况下是指从不同的视点获取两幅或多幅图像重构⽬标物体3D结构或深度信息。
深度感知视觉线索可分为ocular cues和 Binocular cues（双⽬视差）。⽬前⽴体视觉3D可以通过单⽬视觉、双⽬视觉、多（⽬）视觉、光场3D成像（电⼦复眼或阵列相机）实现。
1、单⽬视觉成像
单⽬视觉深度感知线索通常有：透视、焦距差异、多视觉成像、覆盖、阴影、运动视差等。在机器⼈视觉⾥还可以⽤镜像1，以及其他 shape from X10等⽅法实现。
2、双⽬视觉成像
双⽬视觉深度感知视觉线索有：眼睛的收敛位置和双⽬视差。在机器视觉⾥利⽤两个相机从两个视点对同⼀个⽬标场景获取两个视点图像再计算两个视点图像中同名点的视差获得⽬标场景的3D深度信息。
典型的双⽬⽴体视觉计算过程包含下⾯四个步骤：图像畸变矫正、⽴体图像对校正、图像配准和三⾓法重投影视差图计算，如下图。
3、多（⽬）视觉成像
也称多视点⽴体成像，⽤单个或多个相机从多个视点获取同⼀个⽬标场景的多幅图像，重构⽬标场景的三维信息。其基本原理如下图所⽰。
多视点⽴体成像主要⽤于下列⼏种场景：
1）使⽤多个相机从不同视点，获取同⼀个⽬标
场景多幅图像，然后基于特征的⽴体重构等算法求取场景深度和空间结构信息
2）从运动恢复形状（SM）的技术。使⽤同⼀相机在其内参数不变的条件下，从不同视点获取多幅图像，重构⽬标场景的三维信息。该技术常⽤于跟踪⽬标场景中⼤量的控制点，连续恢复场景的3D结构信息、相机的姿态和位置。
4、光场成像
光场3D成像的原理与传统CCD和CMOS相机成像原理在结构原理上有所差异，传统相机成像是光线穿过镜头在后续的成像平⾯上直接成像，⼀般是2D图像。
光场相机成像是在传感器平⾯前增加了⼀个微透镜阵列，将经过主镜头⼊射的光线再次穿过每个微透镜，由感光阵列接收，从⽽获得光线的⽅向与位置信息，使成像结果可在后期处理，达到先拍照，后聚焦的效果，如下图所⽰。
机器⼈视觉3D成像⽅法⽐较
（1）类似于ToF相机、光场相机这类相机，可以归类为单相机3D成像范围，它们体积⼩，实时性好，适合Eye-in-Hand系统执⾏3D测量、定位和实时引导。
但是，ToF相机、光场相机短期内还难以⽤来构建普通的Eye- inHand系统，主要原因如下：
①ToF相机空间分辨率和3D精度低，不适合⾼精度测量、定位与引导。
②对于光场相机，⽬前商业化的⼯业级产品只有德国 Raytrix⼀家，虽然性能较好，空间分率和精度适中，但价格太贵，⼀台⼏⼗万元，使⽤成本太⾼
（2）结构光投影3D系统，精度和成本适中，有相当好的应⽤市场前景。它由若⼲个相机-投影仪组成，如果把投影仪当作⼀个逆向的相机，可以认为该系统是⼀个双⽬或多⽬3D三⾓测量系统。
（3）被动⽴体视觉3D成像，⽇前在⼯业领域也得到较好应⽤，但应⽤场合有限。因为单⽬⽴体视觉实现有难度，双⽬和多⽬⽴体视觉要求⽬标物体纹理或⼏何特征清晰。
（4）结构光投影3D、双⽬⽴体视觉3D都存在下列缺点：体积较⼤，容易产⽣遮挡。因为这⼏种⽅法都是基于三⾓测量原理，要求相机和投影仪之间或双⽬⽴体两个相机之间必须间隔⼀定距离，并且存在⼀定的夹⾓θ（通常⼤于15°）才能实现测量。
如果减⼩相机与投影仪（结构光光源）的夹⾓，虽然在某些程度上可以解决问题，但是却会严重降低系统的测量灵敏度，影响该测量系统的应⽤。
针对上述问题虽然可以增加投影仪或相机覆盖被遮挡的区域，构成投影仪-相机-投影仪系统、相机-投影仪-相机测量系统或者多个相机投影仪系统，增⼤可视范围，减⼩阴影区域，扩⼤測量区域，但会增加成像系统的体积，减少在Eye n-hand系统中应⽤的灵活性。从 Eye-in-Hand系统的⾓度来看，最佳的⽅案是开发⼀种成本低廉、精度适中、被动单⽬3D成像系统。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议