一种装载机行驶控制方法、装置、设备及存储介质与流程

1.本技术涉及装载机技术领域，具体而言，涉及一种装载机行驶控制方法、装置、设备及存储介质。

背景技术：

2.装载机主要用于公路、铁路、建筑、水电、港口、矿山等建设工程的土石方施工机械，可以执行装载作业，示例地，装载机可以铲装土壤、砂石、石灰、煤炭等散状物料，也可对矿石、硬土等作轻度铲挖作业。
3.现有技术中，通过人工驾驶装载机对物料进行装载作业，随着建设工程数量的不断增加以及工程面积的不断扩增，需要对多个物料进行多次装载作业，使得装载机的车流量较大，由于每个装载机都需要人工驾驶的方式将其驾驶到物料处，人工成本较高。

技术实现要素：

4.本发明的目的在于，针对上述现有技术的不足，提供一种装载机行驶控制方法、装置、设备及存储介质，以解决现有技术中每个装载机都需要人工驾驶的方式将其驾驶到物料处导致人工成本较高的技术问题。
5.为实现上述目的，本技术实施例采用的技术方案如下：
6.第一方面，本技术实施例提供一种装载机行驶控制方法，该方法包括：
7.分别从装载机上配置的视觉传感器和激光雷达传感器，获取所述装载机所在场景的环境图像和环境点云图像；
8.根据所述环境图像以及预先训练的目标检测模型，得到所述环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标；
9.根据所述至少一个目标实体的类别，确定所述至少一个目标实体是否包括装载目标；
10.若包括所述装载目标，则根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置；
11.根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数；
12.根据所述行驶控制参数，控制所述装载机基于行驶路径，行驶至所述装载目标所在的位置并对所述装载目标执行装载作业。
13.可选地，所述根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置，包括：
14.根据所述装载目标的像素坐标，采用预设的所述视觉传感器和所述激光雷达传感器的坐标映射关系，从所述环境点云图像中确定所述装载目标的三维点云数据；
15.根据所述装载目标的三维点云数据，确定所述装载目标在所述场景中的位置。
16.可选地，若所述装载目标为多个，所述根据所述装载目标在所述场景中的位置，对
所述装载机进行路径规划，得到行驶控制参数之前，所述方法还包括：
17.根据多个所述装载目标的三维点云数据，确定多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离；
18.根据多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中确定满足预设条件的装载目标作为路径规划目标；
19.所述根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数，包括：
20.根据所述路径规划目标在所述场景中的位置，对所述装载机进行路径规划，得到所述行驶控制参数；
21.可选地，所述根据多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中确定满足预设条件的装载目标作为路径规划目标，包括：
22.根据多个所述装载目标的尺寸，确定多个所述装载目标的容量；
23.根据多个所述装载目标的容量以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中选择容量满足预设最小装载量，且距离最近的装载目标为所述路径规划目标。
24.可选地，所述根据多个所述装载目标的三维点云数据，确定多个所述装载目标的尺寸，包括：
25.将多个所述装载目标的三维点云数据映射至预设垂直映射平面，得到所述三维点云数据在所述预设垂直映射平面的垂直图像，确定所述垂直图像的尺寸。
26.将多个所述装载目标的三维点云数据映射至预设水平映射平面，得到所述三维点云数据在所述预设水平映射平面的水平图像，确定所述水平图像的尺寸。
27.可选地，所述根据多个所述装载目标的三维点云数据，确定每个所述装载目标和所述装载机之间的距离，包括：
28.根据多个所述装载目标的三维点云数据与预设坐标系，得到多个所述装载目标的三维点云数据的三维坐标；
29.根据每个装载目标的三维点云数据的三维坐标，计算所述每个装载目标的三维点云数据的三维坐标和所述装载机之间的距离；
30.根据所述每个装载目标的三维点云数据的三维坐标和所述装载机之间的距离，通过求均值计算得到每个所述装载目标和所述装载机之间的距离。
31.可选地，所述方法还包括：
32.获取所述装载机上配置的毫米波雷达传感器采集的障碍物的中频信号的频率；
33.根据所述中频信号的频率，确定所述障碍物和所述装载机之间的距离；
34.若所述距离小于预设阈值，则控制所述装载机进行制动。
35.第二方面，本技术实施例提供一种装载机行驶控制装置，包括：
36.获取模块，用于分别从装载机上配置的视觉传感器和激光雷达传感器，获取所述装载机所在场景的环境图像和环境点云图像；
37.第一得到模块，用于根据所述环境图像以及预先训练的目标检测模型，得到所述环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标；
38.第一确定模块，用于根据所述至少一个目标实体的类别，确定所述至少一个目标实体是否包括装载目标；
39.第二确定模块，用于若包括所述装载目标，则根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置；
40.第二得到模块，用于根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数；
41.控制模块，用于根据所述行驶控制参数，控制所述装载机基于所述行驶路径，行驶至所述装载目标所在的位置并对所述装载目标执行装载作业。
42.第三方面，本技术实施例提供一种计算机设备，包括：存储介质和处理器，所述存储介质存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面的一种装载机行驶控制方法。
43.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面的一种装载机行驶控制方法。
44.相对现有技术而言，本技术具有以下有益效果：
45.本技术提供的一种装载机行驶控制方法、装置、设备及存储介质，通过分别从装载机上配置的视觉传感器和激光雷达传感器，获取装载机所在场景的环境图像和环境点云图像，根据环境图像以及预先训练的目标检测模型，得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标，根据至少一个目标实体的类别，确定至少一个目标实体是否包括装载目标，若包括装载目标，则根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置，根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数，根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目标所在的位置并对装载目标执行装载作业，实现了装载机自动识别装载目标，并自动行驶至装载目标处执行装载作业，在该过程中不需要装载机为自动驾驶，不需要人工驾驶，可以降低人工成本。
附图说明
46.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
47.图1为本技术实施例提供的一种装载机行驶控制系统的示意图；
48.图2为本技术实施例提供的一种装载机行驶控制方法的流程示意图；
49.图3为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
50.图4为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
51.图5为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
52.图6为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
53.图7为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
54.图8为本技术实施例提供的另一种装载机行驶控制方法的流程示意图；
55.图9为本技术实施例提供的一种装载机行驶控制装置的示意图；
56.图10为本技术实施例提供的一种控制设备的示意图。
具体实施方式
57.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
58.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
59.需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
60.在进行装载作业前，装载机需先行驶至物料处，一般通过人工驾驶的方式将每一个装载机都驾驶至对应的物料处，使得人工成本较高，因此，可对装载机进行自动控制，使其自动行驶至对应的物料处，该无需人工驾驶，即不需要人工的参与，可以减小人工成本。
61.为了解决现有技术中每个装载机都需要人工驾驶的方式将其驾驶到物料处导致人工成本较高的技术问题，本技术的方案中，提供一种装载机行驶控制系统，如下先通过具体示例，对本技术实施例所提供的一种装载机行驶控制系统进行解释说明。图1为本技术实施例提供的一种装载机行驶控制系统的示意图，如图1所示，该装载机行驶控制系统包括：控制设备10、视觉传感器20、激光雷达传感器30以及毫米波雷达传感器40。
62.控制设备10与视觉传感器20通信连接，使得控制设备10可以获取视觉传感器20采集的环境图像信息并对该环境图像信息进行处理。控制设备10还与激光雷达传感器30通信连接，使得控制设备10可以获取激光雷达传感器30采集的环境点云图像信息并对该环境点云图像信息进行处理。控制设备10还与毫米波雷达传感器40通信连接，使得控制设备10可以获取毫米波雷达传感器40采集的信息并对该信息进行处理。
63.控制设备10设置在装载机上，控制设备10可根据视觉传感器20采集的环境图像信息、激光雷达传感器30采集的环境点云图像信息以及毫米波雷达传感器40采集的信息中的至少一个信息，计算得到车辆的行驶控制参数，以通过行驶控制参数控制装载机行驶并执行装载作业。
64.视觉传感器20在装载机上的应用可以以摄像头的方式出现，在本技术实施例中，该视觉传感器20可以为单目摄像头传感器、双目摄像头传感器、三目摄像头传感器、环视摄像头传感器，当然，还可以为其它摄像头传感器，在本技术实施例中不作具体限制。
65.激光雷达传感器30是一种用于精确获得三维位置信息的传感器，可利用激光束探测目标，获得点云数据，在本技术实施例中，该激光雷达传感器30可以为机械式激光雷达传感器、固态激光雷达传感器、混合固态激光雷达传感器，当然，还可以为其它激光雷达传感器，在本技术实施例中不作具体限制。
66.毫米波雷达传感器40通过收发毫米波电磁波，实现信息的获取，其中，毫米波是波长介于1～10mm的电磁波，波长短，频带宽，比较容易实现窄波束，雷达分辨率高，发出的光束具有优良的穿透性，不易受到烟雾影响。
67.可选地，视觉传感器20和激光雷达传感器30均可设置于装载机的顶部，毫米波雷达传感器40安装在装载机的底部区域，用来紧急避障，作用范围覆盖激光雷达传感器30和视觉传感器20的盲区。当然，该多个传感器的设置位置仅为示例，还可为其它位置，在本技术实施例中不作具体限制。
68.本技术提供的一种装载机行驶控制系统，控制设备可根据视觉传感器采集的环境图像信息、激光雷达传感器采集的环境点云图像信息以及毫米波雷达传感器采集的信息中的至少一个信息，计算得到车辆的行驶控制参数，以通过行驶控制参数控制装载机进行自动行驶并执行装载作业，不需要人工进行驾驶，降低了人工成本。
69.为了降低驾驶装载机的人工成本，本技术的方案中，提供一种装载机行驶控制方法，如下通过具体示例，对本技术实施例提供的一种装载机行驶控制方法进行解释说明。图2为本技术实施例提供的一种装载机行驶控制方法的流程示意图。如图2所示，该方法的执行主体为装载机行驶控制系统中的控制设备，该控制设备可以为具有计算处理控制功能的设备，该方法包括：
70.s201，分别从装载机上配置的视觉传感器和激光雷达传感器，获取装载机所在场景的环境图像和环境点云图像。
71.在本技术实施例中，视觉传感器可用于采集装载机所在场景的环境图像，该环境图像可以为装载机所在场景的建筑的图像、电线杆的图像、人的图像等，控制设备通过与视觉传感器通信连接，可以实时获取视觉传感器采集的装载机所在场景的环境图像。
72.激光雷达传感器可用于采集装载机所在场景的环境点云图像，该环境点云图像可以为装载机所在场景的建筑的点云数据、电线杆的点云数据、人的点云数据等，控制设备通过与激光雷达传感器通信连接，可以实时获取激光雷达传感器采集的装载机所在场景的环境点云图像。
73.s202，根据环境图像以及预先训练的目标检测模型，得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标。
74.视觉传感器内部设置有预先训练的目标检测模型，该目标检测模型可以为以卷积神经网络为基础的深度网络检测模型，如yolo系列，示例地，可为yolov5检测模型，采用梯度下降算法训练模型后，将训练好的目标检测模型用于场景中的目标实体识别。当然，深度网络检测模型可以为满足目标检测任务的任何检测模型，在本技术实施例中不作具体限制。
75.在本技术实施例中，将环境图像输入预先训练的目标检测模型，可得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标。
76.其中，目标检测模型的训练过程为：初始化目标检测模型，在当前场景中采集不同实体的环境图像进行深度学习建模，即深度训练，将建立的目标检测模型植入视觉传感器中以进行目标实体识别。
77.可选地，可对于待识别图像给出目标实体的类别和类别的可信度，以及目标实体在环境图像上的像素坐标。像素坐标可显示为目标实体在环境图像上的最小包围矩形框。当出现可信度低或位置坐标明显错误的图像，视觉传感器将环境图像以及预测的结果通过通信协议发送至后台服务器，服务器根据预测的结果进行调整。若置信度满足预设条件，可将该环境图像加入模型训练中，以对目标检测模型进行优化和改进。若置信度小于最低阈
值，即置信度特别低，表明目标检测模型暂时不包括该类别的识别任务，可以通过添加分类的方式，自动优化目标检测模型，示例地，可通过人工的方式进行目标类别和坐标调整。
78.可选地，目标检测模型定期收到样本图像时，可利用采样模块进行样本图像的筛选和清理，挑选出目标检测模型需要的样本图像，避免样本图像的不均衡对目标检测模型的检测效果带来影响。采样模块主要基于图像特征的相似度进行筛选，用于计算相似度的特征为当前目标检测模型学习出来的特征值，该特征值保存在数据库中，如mongodb数据库。
79.可选地，目标检测模型在增加样本图像的情况下，将模型重新训练并按照验证的数据进行模型验证，如果模型验证结果满足预设条件，将该重新训练得到的目标检测模型更新至视觉传感器中。
80.s203，根据至少一个目标实体的类别，确定至少一个目标实体是否包括装载目标。
81.通过预先训练的目标检测模型得到所述环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标后，可根据类别信息，判断是否包括类别为装载目标类别的目标实体，类别为装载目标类别的目标实体可以称为装载目标。
82.示例地，若环境图像中存在四个目标实体，其中，四个目标实体的类别分别为a、b、c、d，若装载目标的类别为e，则至少一个目标实体中不包括装载目标，若装载目标的类别为b，则至少一个目标实体中包括装载目标，该装载目标为类别b对应的目标实体。
83.s204，若包括装载目标，则根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置。
84.至少一个目标实体中包括装载目标时，则可根据装载目标的相关位置信息，确定装载目标在该场景中的位置。其中，相关位置信息可以为装载目标的像素坐标和环境点云图像。
85.s205，根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数。
86.根据装载目标在场景中的位置以及装载机当前的位置，得到装载机至装载目标的行驶路径，根据行驶路径可以得到行驶控制参数，该行驶控制参数可以为在行驶路径上装载机的实时前轮转角、实时加速度等参数，在本技术实施例中不作具体限制。
87.s206，根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目标所在的位置并对装载目标执行装载作业。
88.可选地，根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目标所在的位置的过程中，还可根据视觉传感器实时检测行驶路径上装载机四周的障碍物，障碍物为除了装载目标之外的其他目标实体。若障碍物的距离小于或者等于距离最小阈值，则控制装载机进行制动，若障碍物的距离大于距离最小阈值且小于或者等于距离最大阈值，则控制装载机进行减速行驶。
89.本技术提供的一种装载机行驶控制方法，通过获取装载机所在场景的环境图像和环境点云图像，得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标，确定至少一个目标实体是否包括装载目标，若包括装载目标，则根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置，进而对装载机进行路径规划，得到行驶控制参数，根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目标所在的位置并对
装载目标执行装载作业，实现了装载机自动识别装载目标，并自动行驶至装载目标处执行装载作业，在该过程中不需要装载机为自动驾驶，不需要人工驾驶，可以降低人工成本。
90.在上述图2所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图3为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图3所示，上述方法s204，根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置，包括：
91.s301，根据装载目标的像素坐标，采用预设的视觉传感器和激光雷达传感器的坐标映射关系，从环境点云图像中确定装载目标的三维点云数据。
92.根据多传感器融合技术，可以将视觉传感器与激光雷达传感器的数据进行融合处理，以更好的感知周围环境。
93.在本技术实施例中，根据多传感器融合技术，可以建立视觉传感器的2d环境图像中的目标实体的像素坐标与激光雷达传感器的3d环境点云坐标的映射关系。
94.若视觉传感器的2d环境图像中存在装载目标，则可根据装载目标的像素坐标，采用视觉传感器的2d环境图像中的目标实体的像素坐标与激光雷达传感器的3d环境点云坐标的映射关系，确定装载目标的像素坐标对应的环境点云图像中的装载目标的三维点云数据。
95.s302，根据装载目标的三维点云数据，确定装载目标在场景中的位置。
96.获取得到装载目标的三维点云数据之后，可以以装载机的中心所在的位置为坐标系的原点，确定装载目标的三维点云数据中的所有点的三维坐标。当然，还可以以激光雷达传感器或者视觉传感器的中心所在的位置为坐标系的原点，在本技术实施例中不作具体限制。
97.确定装载目标的三维点云数据中的所有点的三维坐标后，可根据所有点的三维坐标，计算获得所有点距坐标系的原点的距离，可选择距离最小的点的三维坐标作为装载目标在场景中的位置，还可计算得到距离平均值，到与距离平均值最接近的点的三维坐标作为装载目标在场景中的位置，还可选择其他合适的点的三维坐标作为装载目标在场景中的位置，在本技术实施例中不作具体限制。
98.本技术提供的一种装载机行驶控制方法，根据装载目标的像素坐标，采用预设的视觉传感器和激光雷达传感器的坐标映射关系，从环境点云图像中确定装载目标的三维点云数据，根据装载目标的三维点云数据，确定装载目标在场景中的位置，进而可根据装载目标的位置对装载机进行路径规划，控制装载机行驶至装载目标所在的位置并对装载目标执行装载作业，从而实现装载机的无人自动驾驶，降低了人工成本。
99.在上述图3所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图4为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图4所示，若装载目标为多个，上述方法s205之前，即根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数之前，还包括：
100.s401，根据多个装载目标的三维点云数据，确定多个装载目标的尺寸，以及每个装载目标和装载机之间的距离。
101.若装载目标为多个，则需要从多个装载目标当中选择其中的一个作为最终装载目标。
102.在本技术实施例中，可以以多个装载目标的尺寸以及每个装载目标和装载机之间的距离，作为选择最终装载目标的条件。其中，每个装载目标的尺寸以及每个装载目标和装载机之间的距离都可以通过每个装载目标的三维点云数据通过计算得到。
103.可选地，根据多个装载目标的三维点云数据，确定多个装载目标的尺寸，以及每个装载目标和装载机之间的距离之前，还可对多个装载目标的三维点云数据进行处理，该处理可以为滤除噪点和滤除孤立点，进而得到有效的装载目标的三维点云数据。其中，可通过计算装载目标的三维点云数据中各个点之间距离的均值和方差，依据经验法则，滤除噪点和滤除孤立点。该经验法则还可以称为3-sigma法则。
104.s402，根据多个装载目标的尺寸，以及每个装载目标和装载机之间的距离，从多个装载目标中确定满足预设条件的装载目标作为路径规划目标。
105.预设条件为装载目标的尺寸条件以及装载目标和装载机之间的距离条件，在多个装载目标中根据预设条件，选择其中一个装载目标作为最终装载目标，该最终装载目标还可以称为路径规划目标。
106.上述方法s205，根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数，包括：根据路径规划目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数。
107.本技术提供的一种装载机行驶控制方法，若装载目标为多个，根据多个装载目标的三维点云数据，确定多个装载目标的尺寸，以及每个装载目标和装载机之间的距离，根据多个装载目标的尺寸，以及每个装载目标和装载机之间的距离，从多个装载目标中确定满足预设条件的装载目标作为路径规划目标，根据路径规划目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数，解决了场景中存在多个装载目标时，装载机如何选择其中一个装载目标的问题。
108.在上述图4所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图5为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图5所示，上述方法s402，根据多个装载目标的尺寸，以及每个装载目标和装载机之间的距离，从多个装载目标中确定满足预设条件的装载目标作为路径规划目标，包括：
109.s501，根据多个装载目标的尺寸，确定多个装载目标的容量。
110.在本技术实施例中，每个装载目标的尺寸包括每个装载目标对应的垂直图像的尺寸，以及每个装载目标对应的水平图像的尺寸。
111.示例地，装载目标为物料堆时，装载目标对应的垂直图像的尺寸为物料堆的剖面对应图像的尺寸，可包括物料堆的高度等尺寸，装载目标对应的水平图像的尺寸为物料堆的底部对应图像的尺寸，可根据物料堆的底部的形状确定尺寸，示例地，若物料堆的底部的形状为圆形，水平图像的尺寸可包括物料堆的底部圆形的直径等尺寸。
112.根据每个装载目标的尺寸，可以确定每个装载目标的容量。示例地，装载目标为物料堆时，装载目标对应的垂直图像的尺寸包括物料堆的高度，装载目标对应的水平图像的尺寸包括物料堆底部的直径，此时，物料堆为一个圆锥体，根据圆锥体的体积计算公式，带入物料堆的高度信息以及直径信息，可以计算得到物料堆的体积，即装载目标的容量。
113.上述仅为装载目标为物料堆时的确定装载目标的容量的示例，装载目标可以为其
他形状，计算容量还可以为其他方法，在本技术实施例中不作具体限制。
114.s502，根据多个装载目标的容量以及每个装载目标和装载机之间的距离，从多个装载目标中选择容量满足预设最小装载量，且距离最近的装载目标为路径规划目标。
115.得到每个装载目标的容量以及每个装载目标和装载机之间的距离之后，可根据“就近、量足原则”，选择满足装载机的预设最小装载量且距离最近的装载目标作为路径规划目标。
116.根据“就近、量足原则”，可以使装载机的自动行驶路径最短，减小了装载机在行驶过程中所消耗的时间，节省了时间资源。
117.本技术提供的一种装载机行驶控制方法，根据多个装载目标的尺寸，确定多个装载目标的容量，根据多个装载目标的容量以及每个装载目标和装载机之间的距离，从多个装载目标中选择容量满足预设最小装载量，且距离最近的装载目标为路径规划目标，即解决了场景中存在多个装载目标时，装载机如何选择其中一个装载目标的问题，还使得装载机在满足装载量的同时，自动行驶路径最短，节省了时间资源，提高了自动驾驶的效率。
118.在上述图4所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图6为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图6所示，上述方法s401，根据多个装载目标的三维点云数据，确定多个装载目标的尺寸，包括：
119.s601，将多个装载目标的三维点云数据映射至预设垂直映射平面，得到三维点云数据在预设垂直映射平面的垂直图像，确定垂直图像的尺寸。
120.将多个装载目标的三维点云数据映射至同一预设垂直映射平面，可以得到多个装载目标的三维点云数据对应的多个二维图像，该多个二维图像位于预设垂直映射平面内，该多个二维图像还可称为多个装载目标的垂直图像。
121.根据多个装载目标的垂直图像，可以确定该垂直图像的尺寸。示例地，装载目标对应的垂直图像的尺寸可为装载目标的剖面对应图像的尺寸，可包括装载目标的高度等尺寸。
122.s602，将多个装载目标的三维点云数据映射至预设水平映射平面，得到三维点云数据在预设水平映射平面的水平图像，确定水平图像的尺寸。
123.将多个装载目标的三维点云数据映射至同一预设水平映射平面，可以得到多个装载目标的三维点云数据对应的多个二维图像，该多个二维图像位于预设水平映射平面内，该多个二维图像还可称为多个装载目标的水平图像。
124.根据多个装载目标的水平图像，可以确定该水平图像的尺寸。示例地，装载目标对应的水平图像的尺寸可为装载目标的底部对应图像的尺寸，可包括装载目标的底部的形状对应的直径或者长度或者宽度等尺寸。
125.可以理解的是，上述s601以及s602的顺序可不仅限于先进行s601后进行s602，还可以先进行s602再进行s601，还可以两个步骤同时进行，在本技术实施例中不作具体限制。
126.本技术提供的一种装载机行驶控制方法，将多个装载目标的三维点云数据映射至预设垂直映射平面，得到三维点云数据在预设垂直映射平面的垂直图像，确定垂直图像的尺寸，将多个装载目标的三维点云数据映射至预设水平映射平面，得到三维点云数据在预设水平映射平面的水平图像，确定水平图像的尺寸，根据获得的尺寸信息，进而可以以多个
装载机的尺寸信息为依据，确定多个装载目标的容量，选择其中的一个装载机作为路径规划目标，使得路径规划目标满足最小装载量的要求。
127.在上述图4所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图7为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图7所示，上述方法s401，根据多个装载目标的三维点云数据，确定每个所述装载目标和所述装载机之间的距离，包括：
128.s701，根据多个装载目标的三维点云数据与预设坐标系，得到多个装载目标的三维点云数据的三维坐标。
129.示例地，预设坐标系的原点为装载机的中心所在的位置时，装载机可以预设坐标系的原点，根据预设坐标系以及多个装载目标的三维点云数据，可以得到多个装载目标在预设坐标系下的多个三维点云数据的三维坐标。当然，还可以以激光雷达传感器或者视觉传感器的中心所在的位置为坐标系的原点，在本技术实施例中不作具体限制。
130.可选地，预设坐标系的原点还其他位置，为其他位置时，根据预设坐标系以及多个装载目标的三维点云数据，可以得到多个装载目标在预设坐标系下的多个三维点云数据的三维坐标，根据预设坐标系以及装载机的位置，可以得到装载机在预设坐标系下的三维坐标，当然，还可以得到激光雷达传感器或者视觉传感器在预设坐标系下的三维坐标。
131.s702，根据每个装载目标的三维点云数据的三维坐标，计算每个装载目标的三维点云数据的三维坐标和装载机之间的距离。
132.预设坐标系的原点为装载机的中心所在的位置时，可以根据每个装载目标的三维点云数据的三维坐标，计算得到每个装载目标的三维点云数据的三维坐标和装载机之间的距离。预设坐标系的原点不为装载机的中心所在的位置时，可以根据每个装载目标的三维点云数据的三维坐标以及装载机的中心位置的三维坐标，计算得到每个装载目标的三维点云数据的三维坐标和装载机之间的距离。
133.s703，选择每个装载目标的三维点云数据和装载机之间的最小距离作为每个装载目标和装载机之间的距离。
134.可选地，还可以先计算得到每个装载目标的三维点云数据和装载机之间的平均值，将该平均值作为每个装载目标和装载机之间的距离。还可计算其他的距离信息作为每个装载目标和装载机之间的距离，在本技术实施例中不作具体限制。
135.本技术提供的一种装载机行驶控制方法，根据多个装载目标的三维点云数据与预设坐标系，得到多个装载目标的三维点云数据的三维坐标，根据每个装载目标的三维点云数据的三维坐标，计算每个装载目标的三维点云数据的三维坐标和装载机之间的距离，选择每个装载目标的三维点云数据和装载机之间的最小距离作为每个装载目标和装载机之间的距离，得到每个装载目标与装载机之间的距离，进而可根据该距离，选择其中的一个装载机作为路径规划目标，使得路径规划目标距离装载机的距离较近，自动行驶路径较短，可以节省时间资源。
136.在上述图2所示的一种装载机行驶控制方法的基础上，本技术实施例还提供了另一种装载机行驶控制方法的实现方法。可选地，图8为本技术实施例提供的另一种装载机行驶控制方法的流程示意图，如图8所示，该方法还包括：
137.s801，获取装载机上配置的毫米波雷达传感器采集的障碍物的中频信号的频率。
138.毫米波雷达传感器实时探测车辆底部的周围障碍物，根据障碍物的相关信息对装载机进行控制，保证行车时装载机底部的安全性。
139.毫米波雷达传感器使用线性调频信号作为发射信号，可由合成器产生线性调频信号，通过天线进行发射，信号发射回来后由接收天线进行接收，接收信号和发射信号混频可以产生中频信号。
140.对于毫米波雷达传感器，可通过中频信号的频率计算得到毫米波雷达传感器与障碍物之间的距离。在本技术实施例中，该毫米波雷达传感器与障碍物之间的距离可以作为障碍物和装载机之间的距离。
141.s802，根据中频信号的频率，确定障碍物和装载机之间的距离。
142.在本技术实施例中，中频信号的频率与毫米波雷达传感器与障碍物之间的距离成正比。
143.可根据毫米波雷达传感器中的合成器产生的线性调频信号的调频斜率、中频信号的频率以及光速，通过计算确定障碍物和毫米波雷达传感器之间的距离，作为障碍物和装载机之间的距离。
144.示例地，将中频信号的频率乘以光速后，除以线性调频信号的调频斜率与2的乘积，即可得到障碍物和毫米波雷达传感器之间的距离，作为障碍物和装载机之间的距离。
145.s803，若距离小于预设阈值，则控制装载机进行制动。
146.毫米波雷达实时探测车辆周围障碍物。
147.若障碍物和装载机之间的距离小于规定阈值，装载机实施紧急制动，保证行车安全，可以防止鬼探头的事件发生。若障碍物和装载机之间的距离不小于规定阈值，则对装载机不进行其他控制操作。
148.本技术提供的一种装载机行驶控制方法，获取装载机上配置的毫米波雷达传感器采集的障碍物的中频信号的频率，根据中频信号的频率，确定障碍物和装载机之间的距离，若距离小于预设阈值，则控制装载机进行制动，提高装载机的行驶安全性。
149.下述对用以执行的本技术所提供的一种装载机行驶控制装置、控制设备以及存储介质进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
150.图9为本技术实施例提供的一种装载机行驶控制装置的示意图，如图9所示，该装载机行驶控制装置包括：
151.获取模块901，用于分别从装载机上配置的视觉传感器和激光雷达传感器，获取装载机所在场景的环境图像和环境点云图像。
152.第一得到模块902，用于根据环境图像以及预先训练的目标检测模型，得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标。
153.第一确定模块903，用于根据至少一个目标实体的类别，确定至少一个目标实体是否包括装载目标。
154.第二确定模块904，用于若包括装载目标，则根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置。
155.第二得到模块905，用于根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数。
156.控制模块906，用于根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目
标所在的位置并对装载目标执行装载作业。
157.可选地，第二确定模块904，具体用于根据装载目标的像素坐标，采用预设的视觉传感器和激光雷达传感器的坐标映射关系，从环境点云图像中确定装载目标的三维点云数据；根据装载目标的三维点云数据，确定装载目标在场景中的位置。
158.可选地，第二得到模块905，还用于根据多个装载目标的三维点云数据，确定多个装载目标的尺寸，以及每个装载目标和装载机之间的距离；根据多个装载目标的尺寸，以及每个装载目标和装载机之间的距离，从多个装载目标中确定满足预设条件的装载目标作为路径规划目标；根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数，包括：根据路径规划目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数。
159.可选地，第二得到模块905，具体用于根据多个装载目标的尺寸，确定多个装载目标的容量；根据多个装载目标的容量以及每个装载目标和装载机之间的距离，从多个装载目标中选择容量满足预设最小装载量，且距离最近的装载目标为路径规划目标。
160.可选地，第二得到模块905，具体用于将多个装载目标的三维点云数据映射至预设垂直映射平面，得到三维点云数据在预设垂直映射平面的垂直图像，确定垂直图像的尺寸；将多个装载目标的三维点云数据映射至预设水平映射平面，得到三维点云数据在预设水平映射平面的水平图像，确定水平图像的尺寸。
161.可选地，第二得到模块905，具体用于根据多个装载目标的三维点云数据与预设坐标系，得到多个装载目标的三维点云数据的三维坐标；根据每个装载目标的三维点云数据的三维坐标，计算每个装载目标的三维点云数据的三维坐标和装载机之间的距离；选择每个装载目标的三维点云数据和装载机之间的最小距离作为每个装载目标和装载机之间的距离。
162.第三确定模块907，用于获取装载机上配置的毫米波雷达传感器采集的障碍物的中频信号的频率；根据中频信号的频率，确定障碍物和装载机之间的距离；若距离小于预设阈值，则控制装载机进行制动。
163.以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微处理器(digital singnal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
164.图10为本技术实施例提供的一种控制设备的示意图，该控制设备可以是具备计算处理控制功能的控制设备。
165.该控制设备包括：处理器1001、存储介质1002、总线1003。处理器1001和存储介质1002通过总线1003连接。
166.存储介质1002用于存储程序，处理器1001调用存储介质1002存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
167.可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。
168.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
169.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
170.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
171.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
172.上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：

1.一种装载机行驶控制方法，其特征在于，包括：分别从装载机上配置的视觉传感器和激光雷达传感器，获取所述装载机所在场景的环境图像和环境点云图像；根据所述环境图像以及预先训练的目标检测模型，得到所述环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标；根据所述至少一个目标实体的类别，确定所述至少一个目标实体是否包括装载目标；若包括所述装载目标，则根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置；根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数；根据所述行驶控制参数，控制所述装载机基于行驶路径，行驶至所述装载目标所在的位置并对所述装载目标执行装载作业。2.根据权利要求1所述的装载机行驶控制方法，其特征在于，所述根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置，包括：根据所述装载目标的像素坐标，采用预设的所述视觉传感器和所述激光雷达传感器的坐标映射关系，从所述环境点云图像中确定所述装载目标的三维点云数据；根据所述装载目标的三维点云数据，确定所述装载目标在所述场景中的位置。3.根据权利要求2所述的装载机行驶控制方法，其特征在于，若所述装载目标为多个，所述根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数之前，所述方法还包括：根据多个所述装载目标的三维点云数据，确定多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离；根据多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中确定满足预设条件的装载目标作为路径规划目标；所述根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数，包括：根据所述路径规划目标在所述场景中的位置，对所述装载机进行路径规划，得到所述行驶控制参数。4.根据权利要求3所述的装载机行驶控制方法，其特征在于，所述根据多个所述装载目标的尺寸，以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中确定满足预设条件的装载目标作为路径规划目标，包括：根据多个所述装载目标的尺寸，确定多个所述装载目标的容量；根据多个所述装载目标的容量以及每个所述装载目标和所述装载机之间的距离，从多个所述装载目标中选择容量满足预设最小装载量，且距离最近的装载目标为所述路径规划目标。5.根据权利要求3所述的装载机行驶控制方法，其特征在于，所述根据多个所述装载目标的三维点云数据，确定多个所述装载目标的尺寸，包括：将多个所述装载目标的三维点云数据映射至预设垂直映射平面，得到所述三维点云数据在所述预设垂直映射平面的垂直图像，确定所述垂直图像的尺寸；
将多个所述装载目标的三维点云数据映射至预设水平映射平面，得到所述三维点云数据在所述预设水平映射平面的水平图像，确定所述水平图像的尺寸。6.根据权利要求3所述的装载机行驶控制方法，其特征在于，所述根据多个所述装载目标的三维点云数据，确定每个所述装载目标和所述装载机之间的距离，包括：根据多个所述装载目标的三维点云数据与预设坐标系，得到多个所述装载目标的三维点云数据的三维坐标；根据每个装载目标的三维点云数据的三维坐标，计算所述每个装载目标的三维点云数据的三维坐标和所述装载机之间的距离；选择所述每个装载目标的三维点云数据和所述装载机之间的最小距离作为每个所述装载目标和所述装载机之间的距离。7.根据权利要求1所述的装载机行驶控制方法，其特征在于，所述方法还包括：获取所述装载机上配置的毫米波雷达传感器采集的障碍物的中频信号的频率；根据所述中频信号的频率，确定所述障碍物和所述装载机之间的距离；若所述距离小于预设阈值，则控制所述装载机进行制动。8.一种装载机行驶控制装置，其特征在于，包括：获取模块，用于分别从装载机上配置的视觉传感器和激光雷达传感器，获取所述装载机所在场景的环境图像和环境点云图像；第一得到模块，用于根据所述环境图像以及预先训练的目标检测模型，得到所述环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标；第一确定模块，用于根据所述至少一个目标实体的类别，确定所述至少一个目标实体是否包括装载目标；第二确定模块，用于若包括所述装载目标，则根据所述装载目标的像素坐标和所述环境点云图像，确定所述装载目标在所述场景中的位置；第二得到模块，用于根据所述装载目标在所述场景中的位置，对所述装载机进行路径规划，得到行驶控制参数；控制模块，用于根据所述行驶控制参数，控制所述装载机基于行驶路径，行驶至所述装载目标所在的位置并对所述装载目标执行装载作业。9.一种控制设备，其特征在于，包括：存储介质和处理器，所述存储介质存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述权利要求1-7中任一项所述的装载机行驶控制方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述权利要求1-7中任一项所述的装载机行驶控制方法。

技术总结

本申请提供一种装载机行驶控制方法、装置、设备及存储介质，涉及装载机技术领域。分别从装载机上配置的视觉传感器和激光雷达传感器获取装载机所在场景的环境图像和环境点云图像，根据环境图像以及预先训练的目标检测模型，得到环境图像中的至少一个目标实体的类别，以及每个目标实体的像素坐标，根据至少一个目标实体的类别，确定至少一个目标实体是否包括装载目标，若包括装载目标，则根据装载目标的像素坐标和环境点云图像，确定装载目标在场景中的位置，根据装载目标在场景中的位置，对装载机进行路径规划，得到行驶控制参数，根据行驶控制参数，控制装载机基于行驶路径，行驶至装载目标所在的位置并对装载目标执行装载作业，降低了人工成本。降低了人工成本。降低了人工成本。