基于光场重采样的集成成像二次成像法

本发明涉及集成成像技术，特别涉及基于光场重采样的集成成像二次成像法。

集成成像技术包括3D拍摄和3D显示两个过程，在3D拍摄过程中，透镜阵列对3D场景的光场信息进行采样，采样间隔受限于透镜尺寸和物点与透镜的间距；在3D显示过程中，与3D拍摄时参数相同的透镜阵列对采样的光线进行还原，重构出原3D场景的光场信息。由于3D拍摄时透镜阵列的记录方向与3D显示时观看者的观看方向相反，导致深度反转问题。二次成像法能有效的解决深度反转问题，对深度反转的像再进行一次深度反转，即可获得正确的深度再现，如附图1所示。随着计算机技术的发展，计算机二次成像法突显了其优势，能有效避免光学二次成像的图像质量下降问题，但计算过程中的误差也会影响3D成像质量。基于参考平面的二次成像法，如附图2所示，将拍摄的微图像阵列的同名点像素通过拍摄透镜阵列中心发出光线，并与参考平面相交，相交点作为光源点通过显示透镜阵列的光心到达显示微图像阵列，在显示微图像阵列中形成新的同名点，当3D点不在参考平面上时，新的同名点重构的3D像点将发生错乱，与拍摄时的3D物体不能完全对应。基于像素映射的二次成像法，如附图3所示，将拍摄的微图像阵列中所有同名点像素依次通过拍摄透镜阵列和显示透镜阵列折射，在显示透镜阵列的焦平面上获得显示微图像阵列，拍摄微图像阵列和显示微图像阵列上的同名点个数相同，一一对应，当显示透镜阵列节距小于拍摄透镜阵列的节距时，在显示微图像阵列上将出现同名点缺失问题。

国内外研究人员分别提出了解决黑边问题的方法、基于多个参考平面的方法、以及移动透镜阵列法来有效降低二次成像中的误差，但并不能完全消除。

本发明提出如附图4所示的基于光场重采样的集成成像二次成像法，该方法包含立体匹配、3D物点重构和光场重采样三个过程。立体匹配过程寻到同一3D物点在拍摄微图像阵列中的同名点，3D物点重构过程根据同名点的像素移位和拍摄透镜阵列以及拍摄微图像阵列参数计算出3D物点的真实三维坐标，光场重采样过程将重构的3D物点视为朗伯光源，发出各向均匀的光场信息，由显示透镜阵列对光场信息进行重采样，获得理想的显示微图像阵列。

像素I(m, n, i, j)代表第m列第n行的拍摄图像元中第i列第j行的像素，拍摄图像元的分辨率为r×r，i和j取值范围为1～r之间的整数，当拍摄透镜阵列和拍摄微图像阵列包含奇数个单元时，即拍摄透镜阵列包含(2M+1)×(2N+1)个拍摄透镜元，拍摄微图像阵列包含(2M+1)×(2N+1)个拍摄图像元，m取值为-M～M之间的整数，n取值为-N～N之间的整数，当拍摄透镜阵列和拍摄微图像阵列包含偶数个单元时，即拍摄透镜阵列包含2M×2N个拍摄透镜元，拍摄微图像阵列包含2M×2N个拍摄图像元，m取值为-M～M之间的非零整数，n取值为-N～N之间的非零整数。

所述立体匹配过程，采用立体匹配算法，在周围拍摄图像元中寻I(m, n, i, j)的同名点，如附图5所示，同名点在相邻拍摄图像元中等间隔排列，相邻拍摄图像元间同名点的坐标偏移量为Δr。当Δr＞r时，同名点对应的3D物点深度为正，即位于透镜阵列前方，当Δr＜r时，同名点对应的3D物点深度为负，即位于透镜阵列后方。

所述3D物点重构过程，以位于拍摄透镜阵列中心的拍摄透镜元的光心为原点建立直角坐标系，拍摄透镜阵列光心所在平面为XOY面，Z轴垂直于拍摄透镜阵列平面，拍摄透镜元和拍摄图像元节距为p，拍摄透镜元焦距为f，根据相邻拍摄图像元中同名点的坐标偏移量以及拍摄透镜阵列和拍摄微图像阵列的参数，如附图6所示，获得像素I(m, n, i, j)及其同名点所拍摄的3D物点的三维坐标(x, y, z)，且

（1）

将m在-M～M之间，n在-N～N之间，i在1～r之间，j在1～r之间依次循环取值，将构建出所有3D物点的真实三维坐标。

像素I′(m′, n′, i′, j′)代表第m′列第n′行的显示图像元中第i′列第j′行的像素，显示图像元的分辨率为r′×r′，i′和j′取值范围为1～r′之间的整数，当显示透镜阵列和显示微图像阵列包含奇数个单元时，即显示透镜阵列包含(2M′+1)×(2N′+1)个显示透镜元，显示微图像阵列包含(2M′+1)×(2N′+1)个显示图像元，m′取值为-M′～M′之间的整数，n′取值为-N′～N′之间的整数，当显示透镜阵列和显示微图像阵列包含偶数个单元时，即显示透镜阵列包含2M′×2N′个显示透镜元，显示微图像阵列包含2M′×2N′个显示图像元，m′取值为-M′～M′之间的非零整数，n′取值为-N′～N′之间的非零整数。

所述光场重采样过程，如附图7所示，显示透镜阵列平面与拍摄透镜阵列平面平行且中心对齐，两者相距L，将像素I(m, n, i, j)及其同名点重构的3D物点视为朗伯光源，重构3D物点发出的均匀的光场信息由显示透镜阵列进行重采样，显示透镜元和显示图像元节距为p′，显示透镜元焦距为f ′，重构3D物点与显示透镜阵列中各显示透镜元光心的连线与显示微图像阵列相交，获得重采样的同名点I′(m′, n′, i′, j′)，代表第m′列第n′行的显示图像元中第i′列第j′行的像素，且

I′(m′, n′, i′, j′)= I(m, n, i, j) （2）

m′, n′, i′, j′均为整数，取值为

（3）

其中round函数代表四舍五入取整数，将变量m，n，i，j依次循环取值，计算出的m′, n′,i′, j′的取值分别满足，当显示透镜阵列和显示图像阵列包含奇数个单元时，m′为-M′～M′之间的整数，n′为-N′～N′之间的整数，当显示透镜阵列和显示图像阵列包含偶数个单元时，m′为-M′～M′之间的非零整数，n′为-N′～N′之间的非零整数，i′和j′为1～r′之间的整数。将拍摄微图像阵列中的所有像素重构的3D物点发出的光场信息重采样，获得理想的显示微图像阵列。

生成的显示微图像阵列在集成成像显示时，3D像点的深度d由光场重采样时拍摄和显示透镜阵列的间距L和3D物点重构深度z（即原始深度）决定，

d=L-z （4）

当d＞0时，3D像点位于显示透镜阵列前方，当d＜0时，3D像点位于显示透镜阵列后方。

本发明方法可实现任意3D场景、拍摄和显示参数任意设置的二次成像。当3D场景深度较大时，本发明基于光场重采样的集成成像二次成像法生成的同名点能无失真的重建出3D物点，避免重构3D像点错乱的问题。当显示透镜阵列比拍摄透镜阵列更密集、单元数更多时，本发明基于光场重采样的集成成像二次成像法获得与显示透镜阵列参数完全对应的同名点像素，避免同名点缺失的问题。

附图1为集成成像拍摄与显示示意图。

附图2为基于参考平面的二次成像法及其重构3D像点错乱示意图。

附图3为基于像素映射的二次成像法及其同名点缺失示意图。

附图4为本发明提出的基于光场重采样的集成成像二次成像法。

附图5 为3D物点在拍摄微图像阵列中同名点分布情况。

附图6为 3D物点重构示意图。

附图7为3D物点的光场重采样示意图。

上述附图中的图示标号为：

1拍摄透镜阵列，2拍摄微图像阵列，3 3D物体， 4 显示透镜阵列，5显示微图像阵列, 6无深度反转的3D图像，7参考平面，8 3D物点，9 错乱的重构3D物点，10拍摄微图像阵列中的同名点，11显示微图像阵列中的同名点，12重采样光线，13拍摄图像元，14显示图像元

应该理解上述附图只是示意性的，并没有按比例绘制。

下面详细说明本发明的基于光场重采样的集成成像二次成像法的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。

本发明提出如附图4所示的基于光场重采样的集成成像二次成像法，该方法包含立体匹配、3D物点重构和光场重采样三个过程。立体匹配过程寻到同一3D物点在拍摄微图像阵列中的同名点，3D物点重构过程根据同名点的像素移位和拍摄透镜阵列以及拍摄微图像阵列参数计算出3D物点的真实三维坐标，光场重采样过程将重构的3D物点视为朗伯光源，发出各向均匀的光场信息，由显示透镜阵列对光场信息进行重采样，获得理想的显示微图像阵列。

本实施例中，拍摄透镜阵列和拍摄微图像阵列包含15×13个单元，拍摄图像元的分辨率为100×100像素，像素I(m, n, i, j)代表第m列第n行的拍摄图像元中第i列第j行的像素，m取值为-7～7之间的整数，n取值为-6～6之间的整数，i和j取值范围为1～100之间的整数。

所述立体匹配过程中，采用立体匹配算法，在周围拍摄图像元中寻I(m, n, i,j)的同名点，如附图5所示，同名点在相邻拍摄图像元中等间隔排列，获得3D物点1的同名点的坐标偏移量为Δr=131像素，Δr＞r，同名点对应的3D物点1深度为正，即位于透镜阵列前方。按照此方法，依次进行立体匹配，获得所有3D物点对应的同名点。

所述3D物点重构过程，以位于拍摄透镜阵列中心的拍摄透镜元的光心为原点建立直角坐标系，拍摄透镜阵列光心所在平面为XOY面，Z轴垂直于拍摄透镜阵列平面，拍摄透镜元和拍摄图像元节距为p=10mm，拍摄透镜元焦距为f=12mm，根据相邻拍摄图像元中同名点的坐标偏移量以及拍摄透镜阵列和拍摄微图像阵列的参数，如附图6所示，获得像素I(m,n, i, j)及其同名点所拍摄的3D物点的三维坐标(x, y, z)，三维坐标值由公式（1）计算得出，将m在-7～7之间，n在-6～6之间，i在1～100之间，j在1～100之间依次循环取值，将构建出所有3D物点的真实三维坐标。如像素I(3, 1, 34, 18)及其同名点所拍摄的3D物点1的三维坐标为（24.84 mm，4.84 mm，38.71 mm）。

显示透镜阵列和显示微图像阵列包含26×16单元，显示图像元的分辨率为80×80，像素I′(m′, n′, i′, j′)代表第m′列第n′行的显示图像元中第i′列第j′行的像素，m′取值为-13～13之间的非零整数，n′取值为-8～8之间的非零整数，i′和j′取值范围为1～80之间的整数。

所述光场重采样过程，如附图7所示，显示透镜阵列平面与拍摄透镜阵列平面平行且中心对齐，两者相距L=60mm，将像素I(m, n, i, j)及其同名点重构的3D物点视为朗伯光源，重构3D物点发出的均匀的光场信息由显示透镜阵列进行重采样，显示透镜元和显示图像元节距为p′=6mm，显示透镜元焦距为f ′=4mm，重构3D物点与显示透镜阵列中各显示透镜元光心的连线与显示微图像阵列相交，获得重采样的同名点I′(m′, n′, i′, j′)，代表第m′列第n′行的显示图像元中第i′列第j′行的像素，且I′(m′, n′, i′, j′)= I(m, n, i,j)，其中m′, n′, i′, j′均为整数，取值由公式（3）计算得出，其中round函数代表四舍五入取整数，将m在-7～7之间，n在-6～6之间，i在1～100之间，j在1～100之间依次循环取值，计算出的m′, n′, i′, j′的取值范围满足：i′和j′为1～80之间的整数，m为-13～13之间的非零整数，n′为-8～8之间的非零整数。即可完成拍摄微图像阵列中所有像素重构的3D物点的光场信息重采样，获得理想的显示微图像阵列。

生成的显示微图像阵列在集成成像显示时，3D像点的深度d由光场重采样时拍摄和显示透镜阵列的间距L和3D物点重构深度z（即原始深度）决定，且d=L-z，计算出3D物点1对应的3D像点1深度为d=21.29mm，位于显示透镜阵列前方。

本发明方法可实现任意3D场景、拍摄和显示参数任意设置的二次成像。当3D场景深度较大时，本发明基于光场重采样的集成成像二次成像法生成的同名点能无失真的重建出3D物点，避免重构3D像点错乱的问题。当显示透镜阵列比拍摄透镜阵列更密集、单元数更多时，本发明基于光场重采样的集成成像二次成像法获得与显示透镜阵列参数完全对应的同名点像素，避免同名点缺失的问题。