外参的确定方法、装置、存储介质及电子装置与流程

1.本发明实施例涉及智能交通领域，具体而言，涉及一种外参的确定方法、装置、存储介质及电子装置。

背景技术：

2.路侧传感器信息负责获取道路场景信息，随着无人驾驶，智慧道路，智能交通的发展，越来越多的传感器（相机，激光雷达，毫米波雷达）被应用到路侧设备端。每种传感器都有自身的优缺点。相机能够获得物体的颜和纹理信息，但是探测距离较短，并且是被动探测，受光照影响较大，激光雷达主动探测能够探测更远的距离，并且拥有3d位置信息。因此将相机和激光雷达进行融合，可以获得更加丰富的场景信息，提高感知能力。
3.由于路侧激光雷达和相机组合设备在运输和部署的过程中，扭动、震动导致激光雷达和相机的外参改变。所以采用一种可以在线标定的方法是必要的。
4.激光雷达和相机的外参标定可分为两种：有目标和无目标标定。有目标的外参标定，需要特制的标定版或标定场地，通过获得多组匹配点来求取外参，标定结果比较好，标定过程比较繁琐，不能在线标定。无目标的外参标定，一般通过匹配提取的物体边缘信息，来获得外参。随着深度学习的发展，深度神经网络具有强大的学习和拟合能力，目前使用端到端的深度神经网络来一次性预测外参的方法简单，但精度较差，达不到可使用的要求。
5.由此可知，相关技术中存在确定外参效率低、精度差的问题。
6.针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

技术实现要素：

7.本发明实施例提供了一种外参的确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的确定外参效率低、精度差的问题。
8.根据本发明的一个实施例，提供了一种外参的确定方法，包括：获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参；基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；基于所述转换点云以及所述目标图像确定转换损失值；基于所述转换损失值调整所述初始外参，得到目标外参。
9.根据本发明的另一个实施例，提供了一种外参的确定装置，包括：获取模块，用于获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；第一确定模块，用于确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；第二确定模块，用于基于所述第一中心点、所述第二中心点以及所述第一设备
的内参确定所述第一设备以及所述第二设备之间的初始外参;转换模块，用于基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；第三确定模块，用于基于所述转换点云以及所述目标图像确定转换损失值；调整模块，用于基于所述转换损失值调整所述初始外参，得到目标外参。
10.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
11.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
12.通过本发明，获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在目标时间对目标区域进行拍摄所得到的目标点云；确定目标图像中包括的每种类别对象的第一中心点，以及确定目标点云中包括的每种类别对象的第二中心点；根据第一中心点、第二中心点以及第一设备的内参确定第一设备以及第二设备之间的初始外参；基于初始外参将目标点云转换到目标图像所在的坐标系，得到转换点云；基于转换点云以及目标图像确定转换损失值；基于转换损失值调整初始外参，得到目标外参。由于在确定外参时，可以根据每种类别对象在目标图像中的第一中心点、每种类别对象在目标点云中的中心点以及第一设备内参确定初始外参，并根据转换点云以及目标图像确定转换损失值，根据转换损失值对初始外参进行调整，提高了确定的外参的准确率，进一步提升了确定外参的效率。因此，可以解决相关技术中存在的确定外参效率低、精度差问题，达到提高确定外参的效率、提升外参精度的效果。
附图说明
13.图1是本发明实施例的一种外参的确定方法的移动终端的硬件结构框图；图2是根据本发明实施例的外参的确定方法的流程图；图3是根据本发明具体实施例的外参的确定方法流程图；图4是根据本发明实施例的外参的确定装置的结构框图。
具体实施方式
14.下文中将参考附图并结合实施例来详细说明本发明的实施例。
15.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
16.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种外参的确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的
组件，或者具有与图1所示不同的配置。
17.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的外参的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
18.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器（network interface controller，简称为nic），其可通过与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
19.在本实施例中提供了一种外参的确定方法，图2是根据本发明实施例的外参的确定方法的流程图，如图2所示，该流程包括如下步骤：步骤s202，获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；步骤s204，确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；步骤s206，基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参；步骤s208，基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；步骤s210，基于所述转换点云以及所述目标图像确定转换损失值；步骤s212，基于所述转换损失值调整所述初始外参，得到目标外参。
20.路侧传感器信息负责获取道路场景信息，随着无人驾驶，智慧道路，智能交通的发展，越来越多的传感器（相机，激光雷达，毫米波雷达）被应用到路侧设备端。每种传感器都有自身的优缺点。相机能够获得物体的颜和纹理信息，但是探测距离较短，并且是被动探测，受光照影响较大，雷达主动探测能够探测更远的距离，并且拥有3d位置信息。因此将相机和雷达进行融合，可以获得更加丰富的场景信息，提高感知能力。在上述实施例中，第一设备可以是摄像设备，如相机、摄像头等，第二设备可以是雷达设备，如激光雷电、毫米波雷达等。可以根据第一设备采集的图像以及第二设备采集的点云综合定位交通道路中出现的行人、机动车以及非机动车等。
21.在上述实施例中，可以获取第一设备和第二设备同时实时采集的多组图像及点云，根据多组图像及点云中包括的每组目标图像以及目标点云进行外参确定。可以分别确定每组目标图像以及目标点云中包括的每种类别的对象。其中，对象的类别可以包括机动车、非机动车、行人、固定设施等。在确定目标图像中包括的对象时，可以采用分类网络模型对目标图像以及目标点云进行识别，以确定目标图像中包括的不同类别的对象以及目标点云中包括的不同类别的对象。在确定出每种类别的对象后，还可以确定每种类别对象的中
心点，其中，中心点可以是每种类别对象的几何中心，还可以是每种类别对象的质心。
22.在上述实施例中，在确定出第一中心点和第二中心点后，可以根据第一中心点、第二中心点以及第一设备的内参确定初始外参，其中，第一设备的内参可以是预先确定的参数。求解初始外参时，可以采用目标图像和目标点云的整体语义信息，每个类别获得一个中心点，这种方式没有充分利用每个点的语义信息，得到的精度也不高。因此，可以以点云投影到图像上的位置做语义匹配，当点云的点的属性（例：行人）和投影到图像的位置的图像像素点语义信息（例：机动车）不一致时，那么说明此点没有匹配好，那么可以用此位置距最近图像的同类别点的距离为评价指标时，距离为零，说明此点的语义信息匹配无误，距离越大说明语义此点的匹配程度越差。为了充分使用每个点的语义信息，可以确定转换损失函数，通过转换损失函数调整初始外参，得到目标外参。
23.在上述实施例中，基于初始外参将目标点云转换到目标图像所在的坐标系，得到转换点云可以包括：确定目标点云中包括的每个点的坐标与初始外参中包括的旋转矩阵的第一乘积，确定第一乘积与初始外参中包括的平移矩阵的和值，确定和值与内参的第二乘积；确定第二乘积与每个点的竖坐标的比值；将比值确定为每个点在目标图像所在的坐标系下的坐标，将所有坐标所对应的点组成的点云确定为转换点云。其中，目标点云中包括的每个点转换到目标图像所在的坐标系下对应的坐标可以表示为，其中，为点云坐标系下的点坐标，为图像坐标系下的坐标，k为第一设备的内参矩阵，r为初始外参中包括的旋转矩阵，t为初始外参中包括的平移矩阵。
24.其中，上述步骤的执行主体可以为处理器等，但不限于此。
25.通过本发明，获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在目标时间对目标区域进行拍摄所得到的目标点云；确定目标图像中包括的每种类别对象的第一中心点，以及确定目标点云中包括的每种类别对象的第二中心点；根据第一中心点、第二中心点以及第一设备的内参确定第一设备以及第二设备之间的初始外参；基于初始外参将目标点云转换到目标图像所在的坐标系，得到转换点云；基于转换点云以及目标图像确定转换损失值；基于转换损失值调整初始外参，得到目标外参。由于在确定外参时，可以根据每种类别对象在目标图像中的第一中心点、每种类别对象在目标点云中的中心点以及第一设备内参确定初始外参，并根据转换点云以及目标图像确定转换损失值，根据转换损失值对初始外参进行调整，提高了确定的外参的准确率，进一步提升了确定外参的效率。因此，可以解决相关技术中存在的确定外参效率低、精度差问题，达到提高确定外参的效率、提升外参精度的效果。
26.在一个示例性实施例中，确定所述目标图像中包括的每种类别对象的第一中心点包括：利用第一网络模型确定所述目标图像中包括的每个像素点的第一属性类别；将所述第一属性类别相同的像素点确定为类别相同的第一对象；确定每种所述第一对象的所述第一中心点。在本实施例中，在确定第一中心点时，可以通过分类网络模型，如语义分割模型确定目标图像中包括的每种类别的对象。在确定每种类别的对象时，可以确定目标图像中
包括的每个像素点的第一属性类别，将第一属性类别相同的像素点确定为同种类型的对象。其中，第一网络模型可以为hrnet-ocr模型。
27.在一个示例性实施例中，确定每种所述第一对象的所述第一中心点包括：确定每种所述第一对象中包括的每个像素点的第一坐标，得到多个所述第一坐标；确定多个所述第一坐标的第一平均坐标；将所述第一平均坐标对应的点确定为所述第一中心点。在本实施例中，第一平均坐标可以表示为，其中，为图像坐标系的2d坐标，即第一平均坐标，k为求取中心点的类别，i表示目标图像中的相同类别的像素点，n表示目标图像中的相同类别的像素点的总数，表示第一坐标。li表示任意一种类别。
28.在一个示例性实施例中，确定所述目标点云中包括的每种类别对象的第二中心点包括：删除所述目标点云中包括的位于所述第一设备的视场区域之外的点，得到裁剪点云；利用第二网络模型确定所述裁剪点云中包括的每个点的第二属性类别；将所述第二属性类别相同的点确定为类别相同的第二对象；确定每种所述第二对象的所述第二中心点。在本实施例中，当第二设备为雷达设备时，第二设备的视场区域大于第一设备的视场区域，因此，在确定目标点云中包括的每种类别的对象的中心点时，可以对目标点云进行裁剪，裁剪掉位于第一设备的时长区域之外的点，得到裁剪点云，根据裁剪点云确定第二中心点，以提高处理速度，节约算力。可以将裁剪点云输入至第二网络模型中，以确定裁剪点云中包括的每个点的第二属性类别。其中，第二网络模型可以是语义分割模型，如randla-net模型。
29.在上述实施例中，可以利用先验知识（如第一设备和第二设备的视场，和安装大致方向）。裁剪点云，主要是从角度上裁剪，裁剪方法为，保留小于第一设备视场角的中心视场区域，第一设备视场角外的点云裁剪掉，让点云中的点都在第一设备视场内。
30.在一个示例性实施例中，确定每种所述第二对象的所述第二中心点包括：确定每种所述第二对象中包括的每个点的第二坐标，得到多个所述第二坐标；确定多个所述第二坐标的第二平均坐标；将所述第二平均坐标对应的点确定为所述第二中心点。在本实施例中，第二平均坐标可以表示为，其中，为激光雷达坐标系的3d坐标，s为求取中心点的类别。i表示目标点云中的相同类别的点，n表示目标点云中的相同类别的点的总数，li表示任意一种类别。
31.在一个示例性实施例中，基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参包括：将所述第一中心点以及所述第二中心点中包括的类别相同的中心点进行匹配，得到匹配点对；基于所述内参以及所述匹配点对通过无穷小平面的姿态估计算法确定所述初始外参。在本实施例中，第一中心点中可以包括多种类别的对象的中心点，第二中心点中可以包括多种类别的对象的中心点。可以将相同类别的中心点进行匹配，得到匹配点对。例如，第一中心点中可以包括第一行人中心点、第一非机动车中心点、第一机动车中心点，第二中心点中可以包括第二行人中心点、第二非机动车中心点、第二机动车中心点，因此，可以将第一行人中心点和第二行
人中心点进行匹配，得到匹配点对，将第一机动车中心点和第二机动车中心点进行匹配，得到匹配点对，将第一非机动车中心点和第二非机动车中心点进行匹配，得到匹配点对。根据第一设备的内参以及匹配点对通过无穷小屏幕的姿态估计算法确定初始外参。
32.在上述实施例中，初始外参可以包括旋转矩阵以及平移矩阵。在提取多组匹配的2d-3d点（同类别的图像上中心点+同类别的点云中心点，即匹配点对），每同步帧最多可以获得3对（机动车，非机动车，行人）匹配点。第一设备的内参可以是在安装第一设备时确定出的。由于提取的物体属性为道路上行驶的车辆行人，一般在同一个道路平面上，中心点近乎一个平面，因此，可以采用基于无穷小平面的姿态估计解算此pnp问题，可得到初始外参旋转矩阵r和平移矩阵t 。
33.在一个示例性实施例中，基于所述转换点云以及所述目标图像确定转换损失值包括：确定所述转换点云中包括的每个目标点距离所述目标图像中包括的目标像素点之间的目标距离，得到多个目标距离，其中，所述目标像素点为所述目标图像中包括的与所述转换点云对应的对象类别相同的目标对象中的像素点，所述目标像素点与所述目标点之间的距离均小于所述目标对象中包括的其他像素点与所述目标点之间的距离；将多个所述目标距离的和值确定为所述转换损失值。在本实施例中，初始外参步骤是为了让后续损失函数优化有一个很好的初始值，这样可以让优化过程更容易到较优解，减少陷入局部最优的可能。求解初始外参时，采用的是图像和点云的整体语义信息，每个类别获得一个中心点，没有充分利用每个点的语义信息，得到的精度也不高。以点云投影到图像上的位置做语义匹配，当点云的点的属性（例：行人）和投影到图像的位置的图像像素点语义信息（例：机动车）不一致时，那么说明此点没有匹配好，那么用此位置距最近图像的同类别点的距离为评价指标时，距离为零说明此点的语义信息匹配无误，距离越大说明语义此点的匹配程度越差。为了充分使用每个点的语义信息，设计了一个评价匹配程度的损失函数。其中，转换损失值可以表示为，s为所有待求取的类别，l
1 ((ui，v
i )，(uc，v
c ))为(ui,v
i )到图像上同类别最近点的l1距离。当损失函数值，即转换损失值越小时，意味着投影后不匹配的点越少，外参越精确。
34.在上述实施例中，r，t矩阵可以包含多个待优化参数，例如，12个待优化的参数，参数较多，不易优化，因此，可以使用欧拉角三个旋转角度代替旋转矩阵r，总待优化的参数量降为6个，便于优化。损失函数不可导，无法用求梯度的方法优化参数，因此，可以选择鲍威尔优化法最小化损失函数，即可获得精度较好的外参。
35.下面结合具体实施方式对外参的确定方法进行说明：图3是根据本发明具体实施例的外参的确定方法流程图，如图3所示，该流程包括：1.交通道路上，交通畅通时，路侧设备实时采集5组以上的时间同步图像（对应于上述目标图像）和点云（对应于上述目标点云）。
36.2.服务器上分别搭建图像和点云的语义分割模型，图像的语义分割模型采用hrnet-ocr（对应于上述第一网络模型），点云的语义分割模型采用randla-net（对应于上述第二网络模型），并使用标注好的数据集进行训练。
37.3.图像和点云分别输入到对应的语义分割模型，获得图像像素点和点云每个点的
属性类别。
38.4.分别提取每张图像的行人、非机动车和机动车属性的像素点，并求取每个类别的中心点。
39.计算公式：其中，为图像坐标系的2d坐标，k为求取中心点的类别，i表示目标图像中的相同类别的像素点，n表示目标图像中的相同类别的像素点的总数，表示第一坐标。li表示任意一种类别。
40.5.利用先验知识（相机和雷达的视场，和安装大致方向）。裁剪点云，主要是从角度上裁剪，裁剪方法为，保留小于相机视场角的中心视场区域，相机视场角外的点云裁剪掉，尽可能让点云中的点都在相机视场内。
41.6.分别提取裁剪后的每帧点云的行人、非机动车和机动车属性的点，并求取每个类别的中心点。
42.计算公式：，其中，为激光雷达坐标系的3d坐标，s为求取中心点的类别，i表示目标点云中的相同类别的点，n表示目标点云中的相同类别的点的总数，li表示任意一种类别。
43.7.从步骤4和步骤5，可提取多组匹配的2d-3d点（同类别的图像上中心点+同类别的点云中心点），每同步帧最多可以获得3对（机动车，非机动车，行人）匹配点。相机的内参已知，一般在安装前会标定得到，本方法默认相机内参已知。由于提取的物体属性为道路上行驶的车辆行人，一般在同一个道路平面上，中心点近乎一个平面，因此采用基于无穷小平面的姿态估计解算此pnp问题，可得到初始外参旋转矩阵r和平移矩阵t。
44.初始外参步骤是为了让后续损失函数优化有一个很好的初始值，这样可以让优化过程更容易到较优解，减少陷入局部最优的可能。
45.8.根据初始化外参，将点云上的点投影到图像坐标系下，计算公式：其中，为点云坐标系下的点坐标，为图像坐标系下的坐标，k为相机的内参矩阵，r,t为初始外参。
46.9.求解初始外参时，采用的是图像和点云的整体语义信息，每个类别获得一个中心点，没有充分利用每个点的语义信息，得到的精度也不高。以点云投影到图像上的位置做语义匹配，当点云的点的属性（例：行人）和投影到图像的位置的图像像素点语义信息（例：机动车）不一致时，那么说明此点没有匹配好，那么用此位置距最近图像的同类别点的距离为评价指标时，距离为零说明此点的语义信息匹配无误，距离越大说明语义此点的匹配程度越差。为了充分使用每个点的语义信息，设计了一个评价匹配程度的损失函数。
47.其中s为所有待求取的类别，l
1 ((ui，v
i )，(uc，v
c ))为(ui,v
i )到图像上同类别最近点的l1距离。
48.当损失函数值越小时，意味着投影后不匹配的点越少，外参越精确。
49.10.r，t矩阵总共包含12个待优化的参数，参数较多，不易优化，因此使用欧拉角三个旋转角度代替旋转矩阵r，总待优化的参数量降为6个，便于优化。损失函数不可导，无法用求梯度的方法优化参数，因此选择鲍威尔优化法最小化损失函数。即可获得精度较好的外参。
50.在前述实施例中，传统的有目标标定方案，需要特制的标定版或标定场地，标定过程比较繁琐，不能在线标定。基于无目标的标定方案，通过匹配提取的物体边缘信息，来匹配获得外参，但鲁棒性差，较为复杂的场景标定效果较差。随着深度学习的发展，深度神经网络具有强大的学习和拟合能力，目前使用端到端的深度神经网络来一次性预测外参的方法简单，但精度较差，达不到可使用的要求。而深度神经网络能够很好的提取数据的语义信息，利用网络提取的语义信息，通过匹配图像和点云的语义信息，来标定外参，具有标定简单，无需标定版，标定精度高，鲁棒性强，可在线标定的优势。本技术通过提取图像和点云的每个点的语义信息，获得每帧图像和点云中的相同类别点的中心点对，通过多帧多对匹配点，求取外参初始值，然后通过优化设计的损失函数，减少语义不匹配的边缘区域，来获得较高精度的外参。可解决由于运输和安装导致的外参（不准）失效问题，可在线校准设备外参。可在线标定，标定方便，标定无需人工参与，节省成本。相对于传统提取边缘、梯度这种底层特征，本方法提取图像和点云的上层语义信息，具有更好的鲁棒性。相对于端到端的深度神经网络预测外参的方法，精度更高。
51.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
52.在本实施例中还提供了一种外参的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
53.图4是根据本发明实施例的外参的确定装置的结构框图，如图4所示，该装置包括：获取模块402，用于获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；第一确定模块404，用于确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；第二确定模块406，用于基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参;转换模块408，用于基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；第三确定模块410，用于基于所述转换点云以及所述目标图像确定转换损失值；调整模块412，用于基于所述转换损失值调整所述初始外参，得到目标外参。
54.在一个示例性实施例中，第一确定模块404可以通过如下方式实现确定所述目标图像中包括的每种类别对象的第一中心点：利用第一网络模型确定所述目标图像中包括的每个像素点的第一属性类别；将所述第一属性类别相同的像素点确定为类别相同的第一对象；确定每种所述第一对象的所述第一中心点。
55.在一个示例性实施例中，第一确定模块404可以通过如下方式实现确定每种所述第一对象的所述第一中心点：确定每种所述第一对象中包括的每个像素点的第一坐标，得到多个所述第一坐标；确定多个所述第一坐标的第一平均坐标；将所述第一平均坐标对应的点确定为所述第一中心点。
56.在一个示例性实施例中，第一确定模块404可以通过如下方式实现确定所述目标点云中包括的每种类别对象的第二中心点：删除所述目标点云中包括的位于所述第一设备的视场区域之外的点，得到裁剪点云；利用第二网络模型确定所述裁剪点云中包括的每个点的第二属性类别；将所述第二属性类别相同的点确定为类别相同的第二对象；确定每种所述第二对象的所述第二中心点。
57.在一个示例性实施例中，第一确定模块404可以通过如下方式实现确定每种所述第二对象的所述第二中心点：确定每种所述第二对象中包括的每个点的第二坐标，得到多个所述第二坐标；确定多个所述第二坐标的第二平均坐标；将所述第二平均坐标对应的点确定为所述第二中心点。
58.在一个示例性实施例中，第二确定模块406可以通过如下方式实现基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参：将所述第一中心点以及所述第二中心点中包括的类别相同的中心点进行匹配，得到匹配点对；基于所述内参以及所述匹配点对通过无穷小平面的姿态估计算法确定所述初始外参。
59.在一个示例性实施例中，第三确定模块410可以通过如下方式实现基于所述转换点云以及所述目标图像确定转换损失值：确定所述转换点云中包括的每个目标点距离所述目标图像中包括的目标像素点之间的目标距离，得到多个目标距离，其中，所述目标像素点为所述目标图像中包括的与所述转换点云对应的对象类别相同的目标对象中的像素点，所述目标像素点与所述目标点之间的距离均小于所述目标对象中包括的其他像素点与所述目标点之间的距离；将多个所述目标距离的和值确定为所述转换损失值。
60.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
61.本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
62.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器（read-only memory，简称为rom）、随机存取存储器（random access memory，简称为ram）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
63.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
64.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
65.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
66.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
67.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种外参的确定方法，其特征在于，包括：获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参；基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；基于所述转换点云以及所述目标图像确定转换损失值；基于所述转换损失值调整所述初始外参，得到目标外参。2.根据权利要求1所述的方法，其特征在于，确定所述目标图像中包括的每种类别对象的第一中心点包括：利用第一网络模型确定所述目标图像中包括的每个像素点的第一属性类别；将所述第一属性类别相同的像素点确定为类别相同的第一对象；确定每种所述第一对象的所述第一中心点。3.根据权利要求2所述的方法，其特征在于，确定每种所述第一对象的所述第一中心点包括：确定每种所述第一对象中包括的每个像素点的第一坐标，得到多个所述第一坐标；确定多个所述第一坐标的第一平均坐标；将所述第一平均坐标对应的点确定为所述第一中心点。4.根据权利要求1所述的方法，其特征在于，确定所述目标点云中包括的每种类别对象的第二中心点包括：删除所述目标点云中包括的位于所述第一设备的视场区域之外的点，得到裁剪点云；利用第二网络模型确定所述裁剪点云中包括的每个点的第二属性类别；将所述第二属性类别相同的点确定为类别相同的第二对象；确定每种所述第二对象的所述第二中心点。5.根据权利要求4所述的方法，其特征在于，确定每种所述第二对象的所述第二中心点包括：确定每种所述第二对象中包括的每个点的第二坐标，得到多个所述第二坐标；确定多个所述第二坐标的第二平均坐标；将所述第二平均坐标对应的点确定为所述第二中心点。6.根据权利要求1所述的方法，其特征在于，基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参包括：将所述第一中心点以及所述第二中心点中包括的类别相同的中心点进行匹配，得到匹配点对；基于所述内参以及所述匹配点对通过无穷小平面的姿态估计算法确定所述初始外参。7.根据权利要求1所述的方法，其特征在于，基于所述转换点云以及所述目标图像确定转换损失值包括：
确定所述转换点云中包括的每个目标点距离所述目标图像中包括的目标像素点之间的目标距离，得到多个目标距离，其中，所述目标像素点为所述目标图像中包括的与所述转换点云对应的对象类别相同的目标对象中的像素点，所述目标像素点与所述目标点之间的距离均小于所述目标对象中包括的其他像素点与所述目标点之间的距离；将多个所述目标距离的和值确定为所述转换损失值。8.一种外参的确定装置，其特征在于，包括：获取模块，用于获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在所述目标时间对所述目标区域进行拍摄所得到的目标点云；第一确定模块，用于确定所述目标图像中包括的每种类别对象的第一中心点，以及确定所述目标点云中包括的每种类别对象的第二中心点；第二确定模块，用于基于所述第一中心点、所述第二中心点以及所述第一设备的内参确定所述第一设备以及所述第二设备之间的初始外参;转换模块，用于基于所述初始外参将所述目标点云转换到所述目标图像所在的坐标系，得到转换点云；第三确定模块，用于基于所述转换点云以及所述目标图像确定转换损失值；调整模块，用于基于所述转换损失值调整所述初始外参，得到目标外参。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。

技术总结

本发明实施例提供了一种外参的确定方法、装置、存储介质及电子装置，其中，该方法包括：获取第一设备在目标时间对目标区域进行拍摄所得到的目标图像，以及第二设备在目标时间对目标区域进行拍摄所得到的目标点云；确定目标图像中包括的每种类别对象的第一中心点，以及确定目标点云中包括的每种类别对象的第二中心点；基于第一中心点、第二中心点以及第一设备的内参确定第一设备以及第二设备之间的初始外参；基于初始外参将目标点云转换到目标图像所在的坐标系，得到转换点云；基于转换点云以及目标图像确定转换损失值；基于转换损失值调整初始外参，得到目标外参。通过本发明，解决了相关技术中存在的确定外参效率低、精度差问题。题。题。