一种基于多角度正弦条纹光场融合的相移轮廓术

本发明涉及三维光学检测技术领域，尤其涉及一种基于多角度正弦条纹光场融合的相移轮廓术，可以针对漫反射表面极微小对象进行高速高精度的三维检测。

为了更好地实现工业生产中的质量过程控制，光学检测系统是许多制造和质量控制过程中的一个关键部分。前沿制造领域目前对光学检测系统提出了挑战性的要求，即高吞吐量并能检测微小缺陷、可适应复杂检测表面，以及移动物体的精确三维高度测量。光场三维测量由于微米级的测高精度、毫米级的测高范围和较快的检测速度成为工业三维检测的主流方案之一。

传统光场用自然光或均匀光照明下采集的光场图像进行三维重建，称为被动光场。被动光场技术对环境无特殊要求，系统也较为简单，但对于弱纹理表面的结构重建不够理想，如果采用结构光照明技术向物体和场景的表面投射含有深度编码信息的结构光 ，则可以无视表面纹理而产生主动编码，从而改善三维重建的效果。

在实际的工业三维检测领域，由于不同的光入射角度和不同表面的反射率导致图像局部过亮或过暗，检测目标之间的阴影遮挡等问题容易产生检测死角和错误数据，基于单目视觉下的光场获取的信息不够全面，可能造成较大的测量误差。

本发明要实现工业三维高速高精度的检测，首先投影一组或者多组相移条纹，基于微镜阵列的光场成像系统进行拍照，每个子孔径经过图像校准之后计算出相对相位和绝对相位，基于相位贡献权重的子孔径选择算法选择待融合的子孔径，结合角度、距离和相似度的子孔径融合相位，相位映射到高度后通过矫正填充到点云数据，最后通过多角度的点云阵列形成最终点云矩阵，进一步，提出了与之对应的微镜阵列校准标定、相机标定和相位-高度映射标定方法，具体如下。

S1、本发明提供的一种正弦条纹光场投影及拍摄装置，采用投影机构投影一组或者多组正弦条纹到被测物表面，光线反射后透过一个微透镜阵列被面阵相机收集，此时相机不仅收集了每一条光线的光强信息，还收集每一条光线的角度信息，得到多个不同角度的子孔径条纹光图像，基于双平面模型对四维光场进行参数化，一个四维光场可以参数化为Lux，其中x = (x, y)T, u =(u, v)T分别代表光场的空间坐标和角度坐标，该公式的表征为光线在两个平面的横截面。

S2、本本发明提出一种子孔径图像进行校准的方法，由于微透镜阵列于CCD平面不可能完全平行，子孔径图像会产生一定的偏移，需要提前进行图像校准以获得校准参数，基于校准参数对图像进行修正便于后续处理。

S3、本发明采用正弦相移法进行相位求解，多幅条纹图像之间存在的相关性可以有效地降低噪声的影响，提高了相位获取的精确度和准确性，假设投影了N幅正弦条纹图像, 令Ii(x,y) 表示在像素坐标(x, y)第i幅条纹图像的光强。

其中，a和b分别是记录光场的背景辐射强度和调制辐射强度，是受物体高度调制的相位信息, 是第i幅条纹的相位移，通过条纹分析技术可以解调出相对相位,公式如下。

通过反切运算后相对相位的值域为(-π，π)。如果相位超过一个相位周期，只能够得到被压缩在一个相位周期内的相位，这里需要对相位进行展开求得绝对相位，相位展开需要确定条纹级次K, 如下公式。

其中，如果投影的是一组正弦相移条纹，即只有一组频率，可以使用基于空间的相位展开算法; 如果投影的是多组正弦相移条纹，即存在一组以上的频率，可以使用基于时间的相位展开算法。

其中，在计算绝对相位的过程中，可以计算出每个像素点的置信度，作为后续衡量像素点质量的一个评判依据，置信度的公式如下。

S4、本发明提出一种基于相位贡献权重的子孔径选择算法，目的是避免全部的子孔径参与融合造成数据处理太慢导致的检测速度降低，模型基于中心子孔径开始，具体步骤如下。

1. 遍历中心子孔径，出所有无效的相位inf像素点集合P，无效的像素点条件满足A或者B，公式如下。

其中A代表绝对相位为inf的像素集合，B代表置信度大于某个阈值M1的像素集合，(x,y)代表子孔径的像素坐标，(u,v)代表子孔径的角度坐标。

2. 构造子孔径标志位矩阵C，初始值为0，遍历P中每一个位置坐标，并判断该像素位置经过坐标映射f (x, y)后在其它子孔径中像素点(x’,y’)是否合法，公式如下。

3. 统计每一个子孔径的融合权重，融合权重通过S中求和的倒数阶来衡量，最终选用的子孔径可以是权重分布靠前的固定数量的或者选择大于某个权重阈值筛选，公式如下。

S5、本发明提出一种结合了角度、距离和相似度的子孔径融合算法，分别基于子孔径的角度、距离和相似度建立相应的核函数，对中心子孔径的绝对相位进行重构，得到更好的成像质量，同时融合后可以在一定程度上抑制目标之间阴影遮挡，具体步骤如下。

1.基于子孔径的角度特性构建核函数K1，构建双边卷积窗口，公式如下。

其中，uc, vc代表中心角坐标，是输入参数。

2. 基于亮度方差构建核函数K2，如果像素点的相位无效，需要该像素位置(x, y)映射的世界坐标在所有子孔径位置(x’,y’)的亮度平均值替代，公式如下。

其中代表点(x’,y’)的绝对相位平均值，是输入参数。

3. 基于绝对相位图构建核函数K3，用于衡量绝对相位的相似度。

其中ux，uy代表(x,y)处的相位平均值，，代表方差，代表协方差，C1,C2,C3是常数。

4. 把上面的所有核函数融合为K。

5. 考虑子孔径有不同的角度，子孔径图像会存在一定的像素偏移，在融合的时候结合考虑不同子孔径领域的影响，公式如下。

其中Wd是点p所在的领域窗口，D(p, q)是距离核函数。

其中是输入参数。

6. 最终融合相位计算公式如下。

其中如果把输入数据由相位换成置信度，可以求出融合后的置信度。

S6、高度融合后得到一个单视角下的绝对相位数据，然后进行高度映射，基于标定参数得到一个三维点云数据。

S7、本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，可以进一步避免检测目标之间的遮挡带来的检测误差，采用一个同轴或者近似同轴的投影，在侧面安装多个不同角度的光场成像系统，这些多角度的光场成像系统可以进行同步曝光，同时收集多个角度的光场信息，根据步骤S1 ~ S6计算出每个视角下的三维点云数据和置信度信息，然后按照映射关系填充到一个整体的三维点云矩阵中，如果对于多个视角下同时存在的点，选取置信度最好的视角的高度进行填充；如果不存在重复的点，可以直接填充。

其中，步骤S2包含了步骤S8、为了能够校准微镜阵列的图像，需要提前对于微镜阵列进行校准标定，具体包括需要使用相机对透过微镜阵列对固定位置的卡进行多次取像，然后对于这些图像进行求平均得到一个子孔径图像阵列，首先对于图像进行二值化，然后通过提取子孔径图像的边缘特征点，对于同一行/同一列的子孔径特征点进行直线拟合，通过拟合后的直线计算出每个子孔径的旋转矩阵和平移矩阵作为每个子孔径图像的校准参数。

其中，步骤S4包含了步骤S9、为了能够在子孔径图像之间进行坐标映射以及高度的准确位置填充，需要提前进行相机标定，相机标定包括标定相机的内参和外参，最终每一个子孔径都会生成一套映射参数；如果有多个视角，需要对于同一位置的相机标定板进行同步曝光取像，每个视角下都会生成一套子孔径映射参数。

图1为本发明提供的一种基于正弦条纹光场融合的相移轮廓术流程图。

图2为本发明提供的一种正弦条纹光场投影及拍摄装置示意图。

图3为本发明提供的一种微透镜阵列图像校准流程图。

图4为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术的相机标定示意图。

图5为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术的相位-高度映射标定示意图。

图6为本发明提供的一种基于多角度正弦条纹光场融合的相移轮廓术流程图。

附图标记说明。

S1 ~ S2：正弦条纹光场融合的相移轮廓术流程图；20：投影机构；21：基于微透镜阵列的光场成像系统；210：相机；211：微透镜阵列；22：正弦条纹；30 ~ 35：微透镜阵列图像校准流程图；40：相机标定板；41: 同轴或近似同轴的投影机构；42,43,44,45：多个不同角度的基于微透镜阵列的光场成像系统；50：相位-高度映射标定板；52,53,54,55：多个不同角度的基于微透镜阵列的光场成像系统；60 ~ 64：多角度正弦条纹光场融合的相移轮廓书流程图。

下面结合附图对本发明的具体实施方式做进一步说明，以详细说明本发明的技术方案，主要流程见附图1。

S1、本发明提供的一种正弦条纹光场投影及拍摄装置，类似于附图2所示：具体采用投影机构投影20一组或者多组正弦条纹到被测物表面，光线反射后透过一个微透镜阵列211被面阵相机210收集，此时相机不仅收集了每一条光线的光强信息，还收集每一条光线的角度信息，得到多个不同角度的子孔径条纹光图像，基于双平面模型对四维光场进行参数化，一个四维光场可以参数化为Lux，其中x = (x, y)T, u =(u, v)T分别代表光场的空间坐标和角度坐标，该公式的表征为光线在两个平面的横截面。

S2、本发明提出一种子孔径图像进行校准的方法，由于微透镜阵列于CCD平面不可能完全平行，子孔径图像会产生一定的偏移，需要提前进行图像校准以获得校准参数，基于校准参数对图像进行修正便于后续处理。

S3、本发明采用正弦相移法进行相位求解，多幅条纹图像之间存在的相关性可以有效地降低噪声的影响，提高了相位获取的精确度和准确性，假设投影了N幅正弦条纹图像, 令Ii(x,y) 表示在像素坐标(x, y)第i幅条纹图像的光强。

其中，a和b分别是记录光场的背景辐射强度和调制辐射强度，是受物体高度调制的相位信息, 是第幅条纹的相位移，通过条纹分析技术可以解调出相对相位, 公式如下。

通过反切运算后相对相位的值域为(-π，π)。如果相位超过一个相位周期，只能够得到被压缩在一个相位周期内的相位，这里需要对相位进行展开求得绝对相位，相位展开需要确定条纹级次K, 如下公式。

其中，如果投影的是一组正弦相移条纹，即只有一组频率，可以使用基于空间的相位展开算法; 如果投影的是多组正弦相移条纹，即存在一组以上的频率，可以使用基于时间的相位展开算法。

其中，在计算绝对相位的过程中，可以计算出每个像素点的置信度，作为后续衡量像素点质量的一个评判依据，置信度的公式如下。

S4、本发明提出一种基于相位贡献权重的子孔径选择算法，目的是避免全部的子孔径参与融合造成数据处理太慢导致的检测速度降低，模型基于中心子孔径开始，具体步骤如下:

1. 遍历中心子孔径，出所有无效的相位inf像素点集合P，无效的像素点条件满足A或者B，公式如下:

其中A代表绝对相位为inf的像素集合，B代表置信度大于某个置信度阈值M1的像素集合, (x,y)代表子孔径的像素坐标，(u,v)代表子孔径的角度坐标；

2. 构造子孔径标志位矩阵C，初始值为0，遍历P中每一个位置坐标，并判断该像素位置经过坐标映射f (x, y)后在其它子孔径中像素点(x’,y’)是否合法，公式如下:

3. 统计每一个子孔径的融合权重，融合权重通过S中求和的倒数阶来衡量，最终选用的子孔径可以是权重分布靠前的固定数量的或者选择大于某个权重阈值筛选，公式如下。

S5、本发明提出一种结合了角度、距离和相似度的子孔径融合算法，分别基于子孔径的角度、距离和相似度建立相应的核函数，对中心子孔径的绝对相位进行重构，得到更好的成像质量，同时融合后可以在一定程度上抑制目标之间阴影遮挡，具体步骤如下:

1. 基于子孔径的角度特性构建核函数K1，构建双边卷积窗口，公式如下:

其中，uc, vc代表中心角坐标，是输入参数；

2. 基于亮度方差构建核函数K2，如果像素点的相位无效，需要该像素位置(x,y)映射的世界坐标在所有子孔径位置(x’,y’)的亮度平均值替代，公式如下:

其中代表点(x’,y’)的绝对相位平均值，是输入参数；

3. 基于绝对相位图构建核函数K3，用于衡量绝对相位的相似度；

其中ux，uy代表(x,y)处的相位平均值，，代表方差，代表协方差，C1,C2,C3是常数；

4. 把上面的所有核函数融合为K；

5. 考虑子孔径有不同的角度，子孔径图像会存在一定的像素偏移，在融合的时候结合考虑不同子孔径领域的影响，公式如下:

其中Wd是点p所在的领域窗口，D(p, q)是距离核函数；

其中是输入参数；

6. 最终融合相位计算公式如下:

其中如果把输入数据由相位换成置信度，可以求出融合后的置信度。

S6、高度融合后得到一个单视角下的绝对相位数据，然后进行高度映射，基于标定参数得到一个三维点云数据。

S7、本发明提出了一种基于多角度正弦条纹光场融合的相移轮廓术，可以进一步避免检测目标之间的遮挡带来的检测误差，如附图4所示：采用一个同轴或者近似同轴的投影41，在侧面安装多个不同角度的光场成像系统42,43,44,45，这些多角度的光场成像系统可以进行同步曝光，同时收集多个角度的光场信息，根据步骤S1 ~ S6计算出每个视角下的三维点云数据和置信度信息，然后按照映射关系填充到一个整体的三维点云矩阵中，如果对于多个视角下同时存在的点，选取置信度最好的视角的高度进行填充；如果不存在重复的点，可以直接填充。

其中，步骤S2包含了步骤S8、为了能够校准微镜阵列的图像，需要提前对于微镜阵列进行校准标定，如附图3所示，使用相机对透过微镜阵列对固定位置的卡进行多次取像30，对于这些图像进行求平均得到一个子孔径图像阵列31，首先对于图像进行二值化32，然后通过提取子孔径图像的边缘特征点33，对于同一行/同一列的子孔径特征点进行直线拟合34，通过拟合后的直线计算出每个子孔径的旋转矩阵和平移矩阵作为每个子孔径图像的校准参数35。

其中，步骤S4包含了步骤S9、为了能够在子孔径图像之间进行坐标映射以及高度的准确位置填充，需要提前进行相机标定，类似于附图4所示：相机标定包括标定相机的内参和外参，最终每一个子孔径都会生成一套映射参数；如果有多个视角42,43,44,45，需要对于同一位置的相机标定板40进行同步曝光取像，每个视角下都会生成一套子孔径映射参数。

其中，步骤S4包含了步骤S9、为了能够对于每一条光线进行相位到高度的映射，需要进行相位-高度映射标定，考虑系统投影机构和成像系统的相对位置固定，只需要标定绝对相位和深度值的关系，类似于附图5所示：可以上下移动投影机构51，也可以上下移动标定块50，对于每一层高度的每一次投影，所有视角的光场成像系统52,53,54,55需要同步曝光取像，计算出相位然后根据线性/多次项拟合计算相位到高度的映射，线性拟合采用分段拟合的方式，分段数量n由可以由测高范围决定，中间范围内段数可以多写，两端段数可以相对少写，最终每个视角下都会生成一套相位到高度的映射参数。