数据融合方法、结构光相机设备、电子设备及存储介质与流程

1.本发明实施例涉及图像处理领域，特别涉及一种数据融合方法、结构光相机设备、电子设备及存储介质。

背景技术：

2.在房屋出租、出售的时候，通常能看到中介、售卖方展示的房屋全景图，买方通过滑动屏幕，以漫游的方式360
°
查看房屋信息。
3.但为降低图像成本，商家普遍是通过对拍摄得到的平面图进行图像长宽比拉伸后得到全景图。由于拉伸后的图像改变了图像内容在视觉中的真实比例关系，从而导致图像内容与真实场景内容不符，造成图像的视觉效果不佳。

技术实现要素：

4.本发明实施方式的目的在于提供一种数据融合方法、结构光相机设备、电子设备及存储介质，可以生成真实场景比例的深度全景图，从而带给用户较为真实的视觉观看效果。
5.为解决上述技术问题，本发明的实施方式提供了一种数据融合方法，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。
6.本发明的实施方式还提供了一种结构光相机设备，用于执行如上述数据融合方法，包括：结构光相机和位于结构光相机底部的步进电机，结构光相机上设置有红外镜头、彩镜头和散斑投射器；步进电机，用于带动结构光相机围绕指定中轴线旋转至多个预设角度；红外镜头结构光相机，用于围绕指定中轴线旋转至多个预设角度时采集得到深度图和彩图，对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图；结构光相机，还用于利用彩图对深度图进行误差校正；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心、彩镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转。
7.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的数据融合方法。
8.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述数据融合方法。
9.本发明实施方式的数据融合方法，由于在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步
旋转，因此结构光相机旋转一圈，就可以获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，即获取结构光相机所处环境的所有深度信息，通过对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，可以将各幅深度图由相机拍摄的平面投影图转换为符合人眼视觉效果的柱面投影图，并将转换后邻接的柱面投影图进行拼接，可以将各幅柱面投影图合为一张全景图，从而得到深度全景图。由于该深度全景图反映了真实场景下的图像比例关系，从而可以带给用户较为真实的视觉观看效果。
10.另外，结构光相机底部设置有步进电机，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，包括：通过步进电机控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图。本技术中，由于结构光相机底部设置有步进电机，通过步进电机，可以控制结构光相机每次以同一角度进行旋转，从而控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图，就可以得到生成深度全景图所需的平面投影深度图。
11.另外，结构光相机还包括彩镜头，在所述结构光相机旋转过程中，彩镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图之前，方法还包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩图；基于彩图，对深度图进行误差校正；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：对多个预设角度时所采集得到的经误差校正后的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。本技术中，由于深度图只能体现拍摄对象的深度信息，则对于深度值相同的两个不同对象，就无法通过深度图进行区别，所以，深度图中可能存在一些误差，基于彩图，可以通过彩信息，对不同的对象进行进一步的区分，因此，结构光相机中设置彩镜头，彩镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩图，基于彩图，对深度图进行误差校正，从而得到更加准确的深度图，进而得到更加准确的深度全景图。
12.另外，基于彩图，对深度图进行误差校正，包括：根据彩图中相邻图像的同名点对，和深度图中相邻图像的同名点对，获取结构光相机的平移矩阵；其中，相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，平移矩阵表示彩图和深度图中各图像的姿态与基准姿态之间的平移关系，基准姿态从结构光相机的多个姿态中选定，多个姿态对应多个预设角度；根据平移矩阵，对深度图进行光心对齐处理。本技术中，由于相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，因此，两幅相邻图像之间存在同名点对，根据彩图中相邻图像的同名点对，和深度图中相邻图像的同名点对，根据同名点对之间的位置关系，就可以获取表示彩图和深度图中各图像的姿态与基准姿态之间的平移关系的结构光相机的平移矩阵，并根据平移矩阵，对深度图进行光心对齐处理，从而对深度图进行误差校正。
13.另外，对深度图进行误差校正，还包括：对光心对齐处理后的深度图进行空白区域插值填充；其中，空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图
像区域。本技术中，空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图像区域，则对光心对齐处理后的深度图进行空白区域插值填充，可以得到更加完整的图像内容，从而避免光心移动后，出现空白区域影响图像美感，因此可以提高用户体验。
附图说明
14.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
15.图1是根据本发明一实施例提供的数据融合方法流程示意图一；
16.图2是根据本发明一实施例提供的数据融合方法流程示意图二；
17.图3是根据本发明一实施例提供的结构光相机所用的预设步进角度示意图；
18.图4是根据本发明一实施例提供的结构光相机设备的结构示意图；
19.图5是本发明一个实施例提供的电子设备结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
21.本发明的实施例涉及一种数据融合方法。本发明的数据融合方法，由图像处理模块执行，其中，图像处理模块可以内置在结构光相机设备中，也可以安装在其他电子设备中，即，本发明的数据融合方法的执行主体可以是结构光相机设备，或者其他电子设备。具体流程如图1所示。
22.步骤101，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转；
23.步骤102，对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。
24.本实施方式的数据融合方法，用于生成深度全景图，可以供房屋展示、场地展示等系统使用，以保证图像能还原场景真实信息，其中，以房屋展示系统为例，房屋展示系统可以包括拍摄模块和图像处理模块和展示模块，为用户提供线上看房服务。拍摄模块置于结构光相机设备中，本技术结构光相机设备需要预先、或者实时地置于待展示房屋中，以拍摄得到深度图，由图像处理模块生成深度全景图，由展示模块向用户进行图像展示。其中，图像处理模块可以组装在结构光相机设备中，也可以单独组装在一个图像处理服务器中，本技术以图像处理模块可以组装在结构光相机设备中的情况为例进行说明。当结构光相机采集得到的深度图时，可以传输至图像处理模块进行深度全景图的生成。图像处理模块可以自动将深度全景图传输至展示模块，或者，由工作人员手动将房屋的深度全景图传输至展
示模块，或者，此深度全景图可以存储于数据库中，展示模块响应于用户请求从数据库中下载此房屋展示全景图。线上看房用户持有的组装有展示模块电子设备，通过此电子设备在进行房屋的观看、选择。
25.但由于存在一些无良的商家为了降低图像成本，在生成全景图时普遍是通过对拍摄得到的平面图进行图像长宽比拉伸后得到。由于拉伸后的图像改变了图像内容在视觉中的真实比例关系，从而导致图像内容与真实场景内容不符，造成图像的视觉效果不佳。因此，亟需一种方法，使生成的全景图能准确的反映出真实场景内容的比例关系，以带给用户较为真实的视觉观看效果。
26.而本技术的数据融合方法，由于在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转，因此结构光相机旋转一圈，就可以获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，即获取结构光相机所处环境的所有深度信息，通过对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，可以将各幅深度图由相机拍摄的平面投影图转换为符合人眼视觉效果的柱面投影图，并将转换后邻接的柱面投影图进行拼接，可以将各幅柱面投影图合为一张全景图，从而得到深度全景图，由于深度全景图以三维空间体现拍摄对象的细节，深度全景图中的每个像素点中携带了真实空间深度信息，能够准确的反映出真实场景内容的比例关系，从而带给用户较为真实的视觉观看效果。
27.下面对本实施方式的数据融合方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
28.在步骤101中，结构光相机设备获取围绕指定中轴线旋转至多个预设角度时所采集得到的深度图。其中，预设角度是特定的角度，可以由工程师根据不同的使用场景进行预设，由结构光相机设备中的旋转装置进行控制，例如，设置相邻图像中存在同一拍摄区域，或者，旋转一周可以回至原位等等。结构光相机设备控制本设备每次旋转预设角度，进行旋转拍摄。在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转。
29.在一个例子中，结构光相机底部设置有步进电机，结构光相机设备通过步进电机实现本设备每次旋转预设角度的控制。获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，可以通过以下方式实现：通过步进电机控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图。
30.本实施例中，由于结构光相机底部设置有步进电机，通过步进电机，可以控制结构光相机每次以同一角度进行旋转，从而控制结构光相机围绕中轴线旋转至多个预设角度，并在预设角度位置处，控制获取结构光相机采集深度图，就可以得到生成深度全景图所需的平面投影深度图。
31.在步骤102中，结构光相机设备对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。其中，结构光相机设备可以将预设角度设置为将拍摄画面正好衔接的角度，则可以直接将深度图由平面投影图进行坐标变换，转换为柱面投影图，并将转换后邻接的柱面投影图进行拼接，即得到深度全景图。
32.在一个例子中，结构光相机还包括彩镜头，其中，在所述结构光相机旋转过程
中，彩镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转。彩镜头的光心、红外镜头的光心和散斑投射器的投射点可以按上下排列的方式进行放置，为了使彩图与深度图的差异较小，三者的距离应该尽量靠近。对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图之前，结构光相机设备还获取围绕指定中轴线旋转至多个预设角度时所采集得到的彩图，基于彩图，对深度图进行误差校正。例如，当相机的实际旋转角度与预设旋转角度存在偏差时，可以通过此方式进行校正。
33.对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图，通过以下方式实现：对多个预设角度时所采集得到的经误差校正后的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。
34.本实施例中，由于深度图只能体现拍摄对象的深度信息，则对于深度值相同的两个不同对象，就无法通过深度图进行区别，所以，深度图中可能存在一些误差，基于彩图，可以通过彩信息，对不同的对象进行进一步的区分，因此，结构光相机中设置彩镜头，彩镜头的光心始终位于中轴线的固定位置处且围绕中轴线同步旋转，获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩图，基于彩图，对深度图进行误差校正，从而得到更加准确的深度图，进而得到更加准确的深度全景图。
35.在一个例子中，基于彩图，对深度图进行误差校正，可以是：根据彩图中相邻图像的同名点对，和深度图中相邻图像的同名点对，获取结构光相机的平移矩阵；其中，相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，平移矩阵表示彩图和深度图中各图像的姿态与基准姿态之间的平移关系，基准姿态从结构光相机的多个姿态中选定，多个姿态对应多个预设角度，根据平移矩阵，对深度图进行光心对齐处理。
36.本实施例中，由于相邻图像是结构光相机旋转过程中，以相邻预设角度拍摄得到的，因此，两幅相邻图像之间存在同名点对，根据彩图中相邻图像的同名点对，和深度图中相邻图像的同名点对，根据同名点对之间的位置关系，就可以获取表示彩图和深度图中各图像的姿态与基准姿态之间的平移关系的结构光相机的平移矩阵，并根据平移矩阵，对深度图进行光心对齐处理，从而对深度图进行误差校正。
37.进一步地，进行光心对齐处理后，需要将因对齐导致的边界空白区域进行填充，可以将相邻图像中的内容填充至边界空白区域。
38.在一个例子中，对深度图进行误差校正，还包括如下步骤：对光心对齐处理后的深度图进行空白区域插值填充，其中，空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图像区域。
39.分析：空白区域是深度图在光心对齐处理中，由于光心移动导致的无拍摄内容图像区域，则对光心对齐处理后的深度图进行空白区域插值填充，可以得到更加完整的图像内容，从而避免光心移动后，出现空白区域影响图像美感，因此可以提高用户体验。
40.在一个例子中，在结构光相机设备基于彩图，对深度图进行误差校正时，还根据彩图中相邻图像的同名点对，和深度图中相邻图像的同名点对，获取结构光相机的旋转矩阵；旋转矩阵表示彩图和深度图中各图像的姿态与基准姿态之间的旋转关系。在将转换后邻接的柱面投影图进行拼接，得到深度全景图时，还根据旋转矩阵，将转换后邻接的柱
面投影图进行拼接，得到深度全景图。
41.进一步地，根据旋转矩阵，将转换后邻接的柱面投影图进行拼接，得到深度全景图，可以通过以下方式实现：根据旋转矩阵和深度图中相邻图像的同名点对，获取深度图中的待融合区域，在待融合区域内，通过动态规划搜索灰度差值最小的点，基于灰度差值最小的点，形成拼接线，根据拼接线，对柱面投影后的深度图进行拼接。
42.本实施例中，通过根据旋转矩阵和深度图中相邻图像的同名点对，获取深度图中的待融合区域，在待融合区域内，通过动态规划搜索灰度差值最小的点，基于灰度差值最小的点，形成拼接线，则根据拼接线，可以快速对柱面投影后的深度图进行拼接。
43.在一个例子中，平移矩阵和旋转矩阵，通过以下方式获取：获取红外镜头、彩镜头和散斑投射器的内部参数矩阵和外部参数矩阵，基于内部参数矩阵，将彩图中相邻图像的同名点对、和深度图中相邻图像的同名点对，由图像坐标转换为相机坐标，基于相机坐标的转换结果，计算本质矩阵，并基于本质矩阵计算各姿态之间的差异旋转矩阵和差异平移矩阵，优化外部参数矩阵的传递误差，并基于差异旋转矩阵和差异平移矩阵得到旋转矩阵和平移矩阵。其中，彩镜头、红外镜头和散斑投射器的内部参数与外部参数都是相机参数的一部分，相机参数由工程师根据结构光相机设计时选择的红外镜头、散斑投射器的型号进行预设。
44.在一个例子中，由图像坐标转换为相机坐标，通过以下表达式实现：
[0045][0046]
其中，式中z
ik
为第i姿态下的深度图中第k对同名点对应位置的深度值，x
ik
、y
ik
分别表示第i姿态下的深度图中第k对同名点对转换后的相机坐标系的x、y轴上的坐标，u
ik
、v
ik
分别表示第i姿态下的深度图中第k对同名散斑点对在图像坐标系的u、v轴上的坐标，cx、cy、fx、fy从内部参数矩阵得到，cx、cy是图像坐标系的坐标变换至相机坐标系过程中，坐标原点的平移尺寸，fx、fy是图像坐标系的坐标变换至相机坐标系过程中，像距与像素点物理长度的商。
[0047]
在一个例子中，光心对齐处理通过以下表达式实现：
[0048][0049]
其中，(u’，v’)为彩图的点坐标(u，v)经平移矩阵变换后得到的图像坐标系坐标，(x’，y’，z’)为深度图由图像坐标系转换为相机坐标系后，(u’,v’)对应点的坐标，tx、ty、tz分别为平移矩阵变换过程中x、y、z轴的坐标变化量。
[0050]
在一个例子中，本技术的数据融合方法，具体实现流程如图2所示，包括：
[0051]
1、根据结构光相机的相机尺寸，对相机的各镜头选型，使红外镜头和彩镜头的光心在步进电机转轴的中轴线上。
[0052]
2、获取相机参数。相机参数通常是指结构光相机中红外镜头、彩镜头的外参和内参，红外镜头与散斑投射器的外参。外参是指两个部件之间的旋转分量矩阵r和平移向量t。
[0053]
3、确定单次拍摄电机旋转角度。红外镜头和彩镜头输出的通常为像素对齐后的图像，图像中相同位置的像素表示的是相同的物体的像。根据对齐后的图像能得到镜头的水平视场角α1，故可以确定单次拍摄电机旋转角度α2，通常α2小于或等于α1的一半。
[0054]
4、采集全景数据。转动步进电机，每转动α2变采集一次数据，数据包含彩图i
colori
和深度图i
depthi
。其中i表示第i次采集数据，设一共采集n次数据才采集完成覆盖水平360
°
的内容，如图3所示。
[0055]
5、获取相邻姿态下的彩图像对的同名点对。通过sift特征匹配获取相邻彩像对的同名点对。
[0056]
6、获取各姿态下的相机旋转矩阵ri和平移矩阵ti。虽然在相机选型时有考虑将相机的摄影光心放置在转轴上，但由于存在装配误差以及镜头的制造误差，所以光心很难完全落在转轴上。这样会导致绕转轴转动时，光心会发生位移变化。而步进电机虽然按照特定的旋转角度α2进行旋转，但由于存在系统误差，相机实际转动角度不等于α2。故需要通过同名点来恢复相机旋转矩阵r
ij
和平移矩阵t
ij
。
[0057]
(1)将同名点对的坐标转换为相机坐标系下的坐标。计算方法如式1所示，式中z
ik
为第i姿态下采集到的深度图idepthi中第k对同名点对应位置的深度值，x
ik
、y
ik
分别表示第i姿态下第k对同名点转换后的相机坐标系下x、y轴上的坐标，u
ik
、v
ik
分别表示第i姿态下第k对同名图像坐标系下u、v轴上的坐标，cx、cy、fx、fy表示相机的内参，通过标定获得。
[0058][0059]
(2)通过五点法计算本质矩阵，进一步的通过本质矩阵恢复旋转矩阵r
ij
和平移矩阵t
ij
。通过光束平差法优化外参矩阵的传递误差，以第一姿态为基准得到各姿态的相机旋转矩阵ri和平移矩阵ti。
[0060]
7、光心对齐。由于光心不在旋转轴上导致各姿态下的相机坐标系的光心不在同一点，故需要进行对齐，这样能够有效防止全景图生成时造成数据错位。这里通过恢复的平移矩阵ti进行光心对齐。
[0061]
(1)彩图转换。通过平移矩阵以直接采样的形式为新的彩图icolori’，计算方式如式2所示。式中u’、v’为彩图icolori的坐标(u,v)经平移矩阵变换后在图像icolori’上的图像坐标。(x’，y’，z’)为icolori’的相机坐标系下(u’,v’)对应点的坐标，该坐标通过icolori的相机坐标系下的坐标(x，y，z)求得，(x，y，z)可通过式1求得。将(u,v)坐标下的三通道灰度值赋值给icolori’的(u’,v’)坐标下的像素，便能得到转换后的彩图icolori’。
[0062][0063]
(2)深度图转换。深度图的转换方式同彩图转换，得到转换后的深度图idepthi’。并存储(x’,y’,z’,r,g,b)生成点云集vcloudi’，其中r、g、b是指对应彩图位置处三个颜通道的灰度值。
[0064]
(3)像素插值。式3所示为图像转换的间接采样形式，式中变量含义同式2。从式3可知
△
u和
△
v影响u,v的取值。而通常情况下相机的焦距fx、fy通常为900pixel，cx、cy通常为500pixel，在室内情况下z通常为1000～3000mm，在考虑镜头选型的情况下光心的移动距离通常小于2mm，故
△
u、
△
v不大于1pixel。所以能够得到直接采样获得的转换图中空白像素的点十分稀少且空白像素的周围一定存在有效像素。故可通过区域插值法对icolori’、idepthi’中空白像素的点进行赋值。
[0065][0066]
8、数据融合。光心重合后，各姿态下的数据仅存在旋转偏量，故以柱面模型进行全景数据融合。
[0067]
(1)根据旋转矩阵ri，完成各姿态的平面投影图像icolori’向柱面投影图像icolor”转换。
[0068]
(2)取每对特征点的最大、最小x轴上的值umin、umax构成融合区域，在融合区域内以动态规划的形式逐行搜索像素点pr，并将各行的点串起来形成拼接线li，拼接相邻图像。根据动态规划原理，拼接线li上相邻图像的灰度值差异最小。故可保证拼接后的全景图无错位现象。
[0069]
(3)由于深度图与彩图像素对齐，故根据拼接线对深度图进行拼接，由于深度图和点云集一一对应，故将点云集中的x、y、z分量按照p’＝rp的形式转换为基准坐标系下的坐标，再根据拼接线去除冗余的点云，完成点云融合。
[0070]
9、数据展示。完成数据融合后，提供两个通道供用户选择，一个是二维全景图通道，可以显示柱面投影模型下的彩全景图；一个是全景点云通道，可以显示由点云构成的且带有灰度信息的全景点云模型，即，深度全景图。
[0071]
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围
内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
[0072]
本发明的实施例还涉及一种结构光相机设备，如图4所示，包括：
[0073]
结构光相机400和位于结构光相机400底部的步进电机401，结构光相机400上设置有红外镜头402、彩镜头403和散斑投射器404；
[0074]
步进电机401，用于带动结构光相机400围绕指定中轴线旋转至多个预设角度；
[0075]
红外镜头402结构光相机400，用于围绕指定中轴线旋转至多个预设角度时采集得到深度图和彩图，对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图；
[0076]
结构光相机400，还用于利用彩图对深度图进行误差校正；
[0077]
其中，在结构光相机400旋转过程中，结构光相机400的红外镜头402的光心、彩镜头403的光心和散斑投射器404的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转。
[0078]
本实施例的结构光相机设备，用于执行上述任一项数据融合方法，所以本实施方式为与上述实施例相对应的实施例，本实施例可与上述实施例互相配合实施。上述实施例中提到的相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述实施例中。
[0079]
本发明的实施例还涉及一种电子设备，如图5所示，包括：至少一个处理器501；与至少一个处理器通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行上述的任一实施例的方法。
[0080]
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的信息通过天线在无线介质上进行传输，进一步，天线还接收信息并将信息传送给处理器501。
[0081]
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器在执行操作时所使用的信息。
[0082]
本发明的实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0083]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征：

1.一种数据融合方法，其特征在于，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在所述结构光相机旋转过程中，所述结构光相机的红外镜头的光心和散斑投射器的投射点始终位于所述中轴线的固定位置处且围绕所述中轴线同步旋转；对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。2.根据权利要求1所述的数据融合方法，其特征在于，所述结构光相机底部设置有步进电机，所述获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图，包括：通过所述步进电机控制所述结构光相机围绕所述中轴线旋转至所述多个预设角度，并在所述预设角度位置处，控制所述获取结构光相机采集所述深度图。3.根据权利要求2所述的数据融合方法，其特征在于，所述结构光相机还包括彩镜头，在所述结构光相机旋转过程中，所述彩镜头的光心始终位于所述中轴线的固定位置处且围绕所述中轴线同步旋转；所述对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图之前，所述方法还包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的彩图；基于所述彩图，对所述深度图进行误差校正；所述对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：对所述多个预设角度时所采集得到的经所述误差校正后的所述深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。4.根据权利要求3所述的数据融合方法，其特征在于，基于所述彩图，对所述深度图进行误差校正，包括：根据所述彩图中相邻图像的同名点对，和所述深度图中相邻图像的同名点对，获取所述结构光相机的平移矩阵；其中，所述相邻图像是所述结构光相机旋转过程中，以相邻预设角度拍摄得到的，所述平移矩阵表示所述彩图和所述深度图中各图像的姿态与基准姿态之间的平移关系，所述基准姿态从所述结构光相机的多个姿态中选定，所述多个姿态对应所述多个预设角度；根据所述平移矩阵，对所述深度图进行光心对齐处理。5.根据权利要求4所述的数据融合方法，其特征在于，所述对所述深度图进行误差校正，还包括：对光心对齐处理后的所述深度图进行空白区域插值填充；其中，所述空白区域是所述深度图在所述光心对齐处理中，由于光心移动导致的无拍摄内容图像区域。6.根据权利要求4或5所述的数据融合方法，其特征在于，所述基于所述彩图，对所述深度图进行误差校正，还包括：根据所述彩图中相邻图像的同名点对，和所述深度图中相邻图像的同名点对，获取所述结构光相机的旋转矩阵；所述旋转矩阵表示所述彩图和所述深度图中各图像的姿态与所述基准姿态之间的旋转关系；
所述将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：根据所述旋转矩阵，将转换后邻接的柱面投影图进行拼接，得到深度全景图。7.根据权利要求6所述的数据融合方法，其特征在于，所述根据所述旋转矩阵，将转换后邻接的柱面投影图进行拼接，得到深度全景图，包括：根据所述旋转矩阵和所述深度图中相邻图像的同名点对，获取所述深度图中的待融合区域；在所述待融合区域内，通过动态规划搜索灰度差值最小的点；基于所述灰度差值最小的点，形成拼接线；根据所述拼接线，对柱面投影后的所述深度图进行拼接。8.根据权利要求6所述的数据融合方法，其特征在于，所述平移矩阵和所述旋转矩阵，通过以下方式获取：获取所述红外镜头、所述彩镜头和所述散斑投射器的内部参数矩阵和外部参数矩阵；基于所述内部参数矩阵，将所述彩图中相邻图像的同名点对、和所述深度图中相邻图像的同名点对，由图像坐标转换为相机坐标；基于所述相机坐标的转换结果，计算本质矩阵，并基于所述本质矩阵计算各所述姿态之间的差异旋转矩阵和差异平移矩阵；优化所述外部参数矩阵的传递误差，并基于所述差异旋转矩阵和所述差异平移矩阵得到所述旋转矩阵和所述平移矩阵。9.根据权利要求8所述的数据融合方法，其特征在于，所述由图像坐标转换为相机坐标，通过以下表达式实现：其中，式中z
ik
为第i姿态下的深度图中第k对同名点对应位置的深度值，x
ik
、y
ik
分别表示第i姿态下的深度图中第k对同名点对转换后的相机坐标系的x、y轴上的坐标，u
ik
、v
ik
分别表示第i姿态下的深度图中第k对同名散斑点对在图像坐标系的u、v轴上的坐标，cx、cy、fx、fy从所述内部参数矩阵得到，cx、cy是所述图像坐标系的坐标变换至所述相机坐标系过程中，坐标原点的平移尺寸，fx、fy是所述图像坐标系的坐标变换至所述相机坐标系过程中，像距与像素点物理长度的商。10.根据权利要求9所述的数据融合方法，其特征在于，所述光心对齐处理通过以下表达式实现：
其中，(u’，v’)为彩图的点坐标(u，v)经所述平移矩阵变换后得到的图像坐标系坐标，(x’，y’，z’)为深度图由所述图像坐标系转换为所述相机坐标系后，(u’,v’)对应点的坐标，tx、ty、tz分别为平移矩阵变换过程中x、y、z轴的坐标变化量。11.一种结构光相机设备，用于执行如权利要求1-10中任一项所述数据融合方法，其特征在于，包括：结构光相机和位于所述结构光相机底部的步进电机，所述结构光相机上设置有红外镜头、彩镜头和散斑投射器；所述步进电机，用于带动所述结构光相机围绕指定中轴线旋转至多个预设角度；所述结构光相机，用于围绕指定中轴线旋转至多个预设角度时采集得到深度图和彩图，对所述多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图；所述结构光相机，还用于利用所述彩图对所述深度图进行误差校正；其中，在所述结构光相机旋转过程中，所述结构光相机的红外镜头的光心、所述彩镜头的光心和散斑投射器的投射点始终位于所述中轴线的固定位置处且围绕所述中轴线同步旋转。12.一种电子设备，其特征在于，包括：至少一个处理器；与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一所述的数据融合方法。13.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一所述的数据融合方法。

技术总结

本发明实施例涉及图像处理领域，公开了一种数据融合方法、结构光相机设备、电子设备及存储介质，本发明中，数据融合方法，包括：获取结构光相机围绕指定中轴线旋转至多个预设角度时所采集得到的深度图；其中，在结构光相机旋转过程中，结构光相机的红外镜头的光心和散斑投射器的投射点始终位于中轴线的固定位置处且围绕中轴线同步旋转；对多个预设角度时所采集得到的深度图，进行平面投影图到柱面投影图的转换，并将转换后邻接的柱面投影图进行拼接，得到深度全景图。本发明的数据融合方法，可以生成真实场景比例的深度全景图，从而带给用户较为真实的视觉观看效果。户较为真实的视觉观看效果。户较为真实的视觉观看效果。