一种实时多视角三维成像系统及成像方法

1.本发明涉及实时成像装置，具体涉及一种实时多视角三维成像系统及成像方法。

背景技术：

2.条纹管激光雷达是获取目标三维信息的重要手段，因其高时间分辨、低噪声、大动态范围等特点，被广泛应用于水下探测、直升机机载激光雷达、无人驾驶、地形地貌探测、海洋探测以及军事防御等。然而，传统条纹相机只具备一维成像能力，如何通过条纹相机单次采集获得更多的数据，一直是基于条纹相机激光雷达的重要研究方向。
3.要实现二维成像常规的方式是结合转镜扫描，这样虽然能获得更多的数据，但是无法获得完整的三维深度信息，同时也大大牺牲了可成像深度距离。而基于光纤转换的方式，图像可成像分辨率又极其有限，通常小于25*25。
4.目前基于压缩感知的条纹相机二维成像技术(压缩超快成像技术，cup)为条纹相机单次高分辨目标三维信息提供了可能，通过编码和解码，条纹相机能够实现真正的实时三维成像。
5.然而，随着多目标三维探测，无人驾驶等技术的发展，多视角三维成像需求越来越强烈。但是目前单个三维探测器件无法实时获取不同视角的三维信息，通过探测器件的累加实现，则增加了信号探测的成本，同时还不利于系统的集成。

技术实现要素：

6.本发明的目的是提供一种实时多视角三维成像系统及成像方法，以解决在现有技术中要想实时获得不同视角的三维信息，需要通过探测器件的累加实现，这样不但增加了信号探测的成本，同时还不利于系统集成的技术问题。
7.为了达到上述目的，本发明提供了一种实时多视角三维成像系统，其特殊之处在于：包括第一分束镜、第二分束镜、第三分束镜、第四分束镜、光源、第一成像镜头、第二成像镜头、条纹相机、第一编码板、第二编码板以及处理单元；
8.所述第一分束镜、第二分束镜、第三分束镜以及第四分束镜沿光路以矩形结构分布，且第一分束镜与第四分束镜互为对角；所述第一编码板设置在第二分束镜与第四分束镜之间的光路上；第二编码板设置在第三分束镜与第四分束镜之间的光路上；所述第二编码板与第一编码板不具相关性；
9.所述光源发射第一光束，第一分束镜设置在第一光束的光路上，将第一光束分为第二光束和第三光束；第二光束经第二分束镜反射形成第四光束；
10.所述第一成像镜头设置在第四光束的光路上；第四光束经第一成像镜头后到达第一目标，再经第一目标反射形成第六光束；第六光束依次经过所述第一成像镜头、所述第二分束镜、第一编码板到达第四分束镜；所述第三光束经第三分束镜反射形成第五光束；
11.所述第二成像镜头设置在第五光束的光路上；第五光束经过第二成像镜头到达第二目标，经第二目标反射形成第七光束；第七光束依次经过所述第二成像镜头、所述第三分
束镜、第二编码板到达所述第四分束镜；所述第四分束镜将第六光束与第七光束叠加形成第八光束；
12.所述条纹相机设置在第八光束的光路上；
13.所述处理单元与条纹相机的输出端连接，用于根据条纹相机的数据构建三维图像。
14.进一步地，还包括匀光片；
15.所述匀光片设置在光源与第一分束镜之间的光路上。
16.进一步地，还包括第一f系统；
17.所述第一f系统设置在第四分束镜与条纹相机之间的光路上，其入射端与第四分束镜相对，出射端与条纹相机相对。
18.进一步地，还包括ccd相机；
19.所述第二分束镜还将第六光束分成第九光束；所述第九光束入射至所述第一分束镜；
20.所述第三分束镜还将第七光束分成第十光束；所述第十光束入射至所述第一分束镜；所述第一分束镜将第九光束和第十光束叠加形成第十一光束；
21.所述ccd相机设置在第十一光束的出射光路上；所述ccd相机的输出端与所述处理单元连接；
22.所述处理单元根据条纹相机和ccd相机的数据构建三维图像。
23.进一步地，还包括第二f系统；
24.所述第二f系统设置在ccd相机与第一分束镜之间的光路上，其入射端与第一分束镜相对，出射端与ccd相机相对。
25.进一步地，所述光源为皮秒激光器，其波长为nm。
26.进一步地，所述第一编码板和第二编码板的分辨率均为*，其材质均为镀铬石英玻璃。
27.进一步地，所述第一f系统和第二f系统的焦距均大于mm。
28.同时，本发明还提供了一种实时多视角三维成像方法，基于上述的实时多视角三维成像系统，其特殊之处在于，包括以下步骤：
29.步骤1、光源发射第一光束；
30.步骤2、第一分束镜将所述第一光束分为第二光束和第三光束；
31.步骤3、所述第二分束镜接收所述第二光束并将其反射形成第四光束；第四光束经过第一成像镜头到达第一目标，经第一目标反射形成第六光束；第六光束依次经过所述第一成像镜头、所述第二分束镜、第一编码板到达第四分束镜；
32.所述第三分束镜接收第三光束并将其反射形成第五光束；第五光束经过第二成像镜头到达第二目标，经第二目标反射形成第七光束；第七光束依次经过所述第二成像镜头、所述第三分束镜、第二编码板到达所述第四分束镜；
33.步骤4、所述第四分束镜将第六光束与第七光束叠加形成第八光束，条纹相机获取第八光束；
34.步骤5、根据所述条纹相机获取数据构建三维图像。
35.进一步地，在步骤3中，所述第二分束镜还将第六光束分成第九光束；所述第九光
束入射至所述第一分束镜；
36.并且，所述第三分束镜还将第七光束分成第十光束；所述第十光束入射至所述第一分束镜；
37.则步骤4还包括：所述第一分束镜将所述第九光束和第十光束叠加形成第十一光束，ccd相机获取第十一光束；
38.则步骤5具体为：根据所述条纹相机以及所述ccd相机获取数据构建三维图像。
39.本发明的有益效果：
40.1、本发明提供的实时多视角三维成像系统采用三个分束镜及一个第四分束镜结合使得条纹相机能够单次获得不同视角的3d信息，并采用透射式的第一编码板及第二编码板分别对不同视角的3d信息进行编码，简化了系统结构，利于系统集成，同时还简化了dmd编码器件对能量的损耗，降低了信号探测成本。
41.2、本发明还外加了ccd相机，以获取来自不同视角的二维混叠信息，辅助算法的重建，提高图像重建质量。
42.3、本发明的三维成像系统可实现低带宽，低价格的多视角实时三维成像，即随着求解算法能力的提升可将视角扩展为多个，结合小型化的条纹管以供更多场景使用，如无人驾驶多角度三维测距，降低三维探测技术的商业成本。
43.4、本发明采用了匀光片，光源发出的第一光束经过匀光片(ed)可以产生均匀扩束光，以供各个分束镜使用，提高了构建图像质量。
附图说明
44.图1是本发明一种实时多视角三维成像系统实施例的结构示意图；
45.图2是本发明一种实时多视角三维成像系统实施例的光路图。
46.附图标号：
47.1-第一分束镜，2-第二分束镜，3-第三分束镜，4-第四分束镜，5-光源，6-第一成像镜头，7-第二成像镜头，8-条纹相机，9-第一编码板，10-第二编码板，11-匀光片，12-第一4f系统，13-ccd相机，14-第二4f系统，15-第一目标，16-第二目标；
48.01-第一光束，02-第二光束，03-第三光束，04-第四光束，05-第五光束，06-第六光束，07-第七光束，08-第八光束，09-第九光束，010-第十光束，011-第十一光束。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.本发明实施例扩展了空间三维信息混叠能力，提供了一种实时多视角三维成像系统，在系统的设计中，为了保证激光雷达的成像效率，本发明实施例提出的是一种结构紧凑的mv-lidar系统。传统的压缩超快成像系统多采用dmd编码方法，不仅系统复杂，而且效率低，本发明实施例的系统中采用透射式编码来分别对不同的视角信息，简化了系统结构，同时减小了dmd编码器件对激光能量的损耗，此外，我们通过外加的cdd相机获取来自不同视
角的二维混叠信息，辅助算法的重建。具体结构如下：
51.如图1所示，该三维成像系统包括第一分束镜1、第二分束镜2、第三分束镜3、第四分束镜4、光源5、第一成像镜头6、第二成像镜头7、条纹相机8、第一编码板9、第二编码板10、匀光片11、第一4f系统12、ccd相机13、第二4f系统14以及处理单元。
52.第一分束镜1、第二分束镜2、第三分束镜3以及第四分束镜4以矩形结构分布，且第一分束镜1与第四分束镜4互为对角，则第二分束镜2与第三分束镜3互为对角；第一编码板9设置在第二分束镜2与第四分束镜4之间的光路上；第二编码板10设置在第三分束镜3与第四分束镜4之间的光路上，第一编码板9和第二编码板10的分辨率均为250*250，其材质均为镀铬石英玻璃，需要说明的是，第一编码板9与第二编码板10不具相关性，具体的，第一编码板9和第二编码板10的编码采用“0”，“1”伪随机分布的编码模式，“0”表示该像元处镀铬层，“1”表示该像元处不镀铬层，第一编码板9与第二编码板10分别采用两个伪随机编码模式。光源5设置在第一分束镜1远离第二分束镜2的一侧，其作用端与第一分束镜1相对，该光源5为皮秒激光器，其波长为532nm；匀光片11设置在光源5与第一分束镜1之间的光路上，用于对光源发出的第一光束01进行均匀扩束。第一成像镜头6设置在第二分束镜2远离第四分束镜4一侧的光路上；第二成像镜头7设置在第三分束镜3远离第四分束镜4一侧的光路上；条纹相机8设置在第四分束镜4远离第三成像镜头7一侧的光路上，条纹相机8的作用端与第四分束镜4相对；第一4f系统12设置在第四分束镜4与条纹相机8之间的光路上，其入射端与第四分束镜4相对，出射端与条纹相机8相对。ccd相机13设置在第一分束镜1远离第三分束镜3一侧的光路上。第二4f系统14设置在ccd相机13与第一分束镜1之间的光路上，其入射端与第一分束镜1相对，出射端与ccd相机13相对。第一4f系统12和第二4f系统14的焦距均大于100mm。处理单元分别与条纹相机8以及ccd相机13输出端连接，用于根据条纹相机8以及ccd相机13输出的数据构建三维图像。皮秒激光器发出532nm波段的脉冲光，首先经过匀光片(ed)产生均匀扩束光，扩束光经过第一分束镜1分成相同的两束，之后各自经过一个分束镜(第二分束镜2和第三分束镜3)和一个成像镜头(第一成像镜头6和第二成像镜头7)到达视角1和视角2的第一目标15和第二目标16的表面。随后，第一成像镜头6和第二成像镜头7获取返回的光信号，再分别返回相应的分束镜(第二分束镜2和第三分束镜3)各自分成两束。其中两束(第六光束06和第七光束07)在第四分束镜4处叠加后被条纹相机获取，另外两束(第九光束09和第十光束010)在第一分束镜1处叠加后被ccd相机13获取。最后处理单元根据条纹相机8以及ccd相机13获取的数据构建三维图像，该图像质量大大提高。压缩超快成像技术是编码与条纹相机的结合，采集过程主要分为三步操作：编码算子t，扫描电压偏转算子s以及ccd时域叠加算子c，建立空间坐标系，则对于来自不同编码的采集信号可以表示为t1sci1(x,y,t)和t2sci2(x,y,t)，其中(x,y)表示空间坐标，t表示时间坐标；假设操作算子t1sc＝a1，t2sc＝a2，∫i1(x,y,t)dt＝aci1，∫i2(x,y,t)dt＝aci2；两组测量信号分别为m
sc
(条纹相机)和m
ccd
(ccd相机)，则原始3d信号i1和i2可通过以下最优化公式求解：
[0053][0054]
其中tv(*)表示全变分函数(total variation)，该最优化问题可以被压缩感知算法求解，如两步软阈值算法(twist)、广义投影算法(gap-tv)等。
[0055]
上述的实时多视角三维成像系统的成像方法具体包括以下步骤：
[0056]
步骤1、光源5发射第一光束01，第一光束01通过匀光片进行均匀扩束；
[0057]
步骤2、第一分束镜1将第一光束01分为第二光束02和第三光束03；
[0058]
步骤3、第二分束镜2接收第二光束02并将其反射形成第四光束04；第四光束04经过第一成像镜头6到达第一目标15，经第一目标15反射形成第六光束06；第六光束06依次经过第一成像镜头6、第二分束镜2、第一编码板9到达第四分束镜4；同时，第二分束镜2还将第六光束06分成第九光束09；第九光束09入射至第一分束镜1；
[0059]
第三分束镜3接收第三光束03并将其反射形成第五光束05；第五光束05经过第二成像镜头7到达第二目标16，经第二目标16反射形成第七光束07；第七光束07依次经过第二成像镜头7、第三分束镜3、第二编码板10到达第四分束镜4，同时，第三分束镜3还将第七光束07分成第十光束010；第十光束010入射至第一分束镜1；
[0060]
步骤4、第四分束镜4将第六光束06与第七光束07叠加形成第八光束08，第八光束08经过第一二4f系统12后被条纹相机8获取；第一分束镜1将第九光束09和第十光束010叠加形成第十一光束011，第十一光束011经过第二4f系统14后被ccd相机13获取；
[0061]
步骤5、处理单元根据条纹相机8以及ccd相机13获取数据构建三维图像。
[0062]
本发明扩展了空间三维信息混叠能力，提出了一个单发多视角三维成像方案，通过单一条纹相机对不同方位的三维目标信息的编码混叠，以及压缩感知算法的分离，实现条纹相机对于多视角目标的三维成像能力。该方法通过结合压缩超快成像技术捕捉到的不同时刻到达的飞行光子，还原目标的三维信息。并通过不同场景的三维信息独立编码，区分来自不同视角的信息。该方法可实现多方位实时三维探测、为无人驾驶领域的3d感知降低硬件成本。
[0063]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明披露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种实时多视角三维成像系统，其特征在于：包括第一分束镜(1)、第二分束镜(2)、第三分束镜(3)、第四分束镜(4)、光源(5)、第一成像镜头(6)、第二成像镜头(7)、条纹相机(8)、第一编码板(9)、第二编码板(10)以及处理单元；所述第一分束镜(1)、第二分束镜(2)、第三分束镜(3)以及第四分束镜(4)沿光路以矩形结构分布，且第一分束镜(1)与第四分束镜(4)互为对角；所述第一编码板(9)设置在第二分束镜(2)与第四分束镜(4)之间的光路上；第二编码板(10)设置在第三分束镜(3)与第四分束镜(4)之间的光路上；所述第二编码板(10)与第一编码板(9)不具相关性；所述光源(5)发射第一光束(01)，第一分束镜(1)设置在第一光束(01)的光路上，将第一光束(01)分为第二光束(02)和第三光束(03)；第二光束(02)经第二分束镜(2)反射形成第四光束(04)；所述第一成像镜头(6)设置在第四光束(04)的光路上；第四光束(04)经第一成像镜头(6)后到达第一目标(15)，再经第一目标(15)反射形成第六光束(06)；第六光束(06)依次经过所述第一成像镜头(6)、所述第二分束镜(2)、第一编码板(9)到达第四分束镜(4)；所述第三光束(03)经第三分束镜(3)反射形成第五光束(05)；所述第二成像镜头(7)设置在第五光束(05)的光路上；第五光束(05)经过第二成像镜头(7)到达第二目标(16)，经第二目标(16)反射形成第七光束(07)；第七光束(07)依次经过所述第二成像镜头(7)、所述第三分束镜(3)、第二编码板(10)到达所述第四分束镜(4)；所述第四分束镜(4)将第六光束(06)与第七光束(07)叠加形成第八光束(08)；所述条纹相机(8)设置在第八光束(08)的光路上；所述处理单元与条纹相机(8)的输出端连接，用于根据条纹相机(8)的数据构建三维图像。2.根据权利要求1所述的实时多视角三维成像系统，其特征在于：还包括匀光片(11)；所述匀光片(11)设置在光源(5)与第一分束镜(1)之间的光路上。3.根据权利要求1或2所述的实时多视角三维成像系统，其特征在于：还包括第一4f系统(12)；所述第一4f系统(12)设置在第四分束镜(4)与条纹相机(8)之间的光路上，其入射端与第四分束镜(4)相对，出射端与条纹相机(8)相对。4.根据权利要求3所述的实时多视角三维成像系统，其特征在于：还包括ccd相机(13)；所述第二分束镜(2)还将第六光束(06)分成第九光束(09)；所述第九光束(09)入射至所述第一分束镜(1)；所述第三分束镜(3)还将第七光束(07)分成第十光束(010)；所述第十光束(010)入射至所述第一分束镜(1)；所述第一分束镜(1)将第九光束(09)和第十光束(010)叠加形成第十一光束(011)；所述ccd相机(13)设置在第十一光束(011)的出射光路上；所述ccd相机(13)的输出端与所述处理单元连接；所述处理单元根据条纹相机(8)和ccd相机(13)的数据构建三维图像。5.根据权利要求4所述的实时多视角三维成像系统，其特征在于：
还包括第二4f系统(14)；所述第二4f系统(14)设置在ccd相机(13)与第一分束镜(1)之间的光路上，其入射端与第一分束镜(1)相对，出射端与ccd相机(13)相对。6.根据权利要求5所述的实时多视角三维成像系统，其特征在于：所述光源(5)为皮秒激光器，其波长为532nm。7.根据权利要求6所述的实时多视角三维成像系统，其特征在于：所述第一编码板(9)和第二编码板(10)的分辨率均为250*250，其材质均为镀铬石英玻璃。8.根据权利要求7所述的实时多视角三维成像系统，其特征在于：所述第一4f系统(12)和第二4f系统(14)的焦距均大于100mm。9.一种实时多视角三维成像方法，基于权利要求1-8任一所述的实时多视角三维成像系统，其特征在于，包括以下步骤：步骤1、光源(5)发射第一光束(01)；步骤2、第一分束镜(1)将所述第一光束(01)分为第二光束(02)和第三光束(03)；步骤3、所述第二分束镜(2)接收所述第二光束(02)并将其反射形成第四光束(04)；第四光束(04)经过第一成像镜头(6)到达第一目标(15)，经第一目标(15)反射形成第六光束(06)；第六光束(06)依次经过所述第一成像镜头(6)、所述第二分束镜(2)、第一编码板(9)到达第四分束镜(4)；所述第三分束镜(3)接收第三光束(03)并将其反射形成第五光束(05)；第五光束(05)经过第二成像镜头(7)到达第二目标(16)，经第二目标(16)反射形成第七光束(07)；第七光束(07)依次经过所述第二成像镜头(7)、所述第三分束镜(3)、第二编码板(10)到达所述第四分束镜(4)；步骤4、所述第四分束镜(4)将第六光束(06)与第七光束(07)叠加形成第八光束(08)，条纹相机(8)获取第八光束(08)；步骤5、根据所述条纹相机(8)获取数据构建三维图像。10.根据权利要求9所述的实时多视角三维成像方法，其特征在于：在步骤3中，所述第二分束镜(2)还将第六光束(06)分成第九光束(09)；所述第九光束(09)入射至所述第一分束镜(1)；并且，所述第三分束镜(3)还将第七光束(07)分成第十光束(010)；所述第十光束(010)入射至所述第一分束镜(1)；则步骤4还包括：所述第一分束镜(1)将所述第九光束(09)和第十光束(010)叠加形成第十一光束(011)，ccd相机(13)获取第十一光束(011)；则步骤5具体为：根据所述条纹相机(8)以及所述ccd相机(13)获取数据构建三维图像。

技术总结

本发明公开了一种实时多视角三维成像系统及成像方法，解决了获取不同视角三维信息成本太高，且系统不够集成的问题。具体包括以矩形结构分布的第一分束镜、第二分束镜、第三分束镜及第四分束镜，第二分束镜与第四分束镜之间设置第一编码板，第三分束镜与第四分束镜之间设置第二编码板，另外还包括光源、第一成像镜头、第二成像镜头、条纹相机以及处理单元；本发明采用三个分束镜及一个第四分束镜结合使得条纹相机能够单次获得不同视角的3D信息，并采用透射式的第一编码板及第二编码板分别对不同视角的3D信息进行编码，简化了系统结构，利于系统集成，同时还简化了DMD编码器件对能量的损耗，降低了信号探测成本。降低了信号探测成本。降低了信号探测成本。