用于控制重型机械的系统和方法与流程

用于控制重型机械的系统和方法
1.相关申请
2.本技术要求2020年3月9日提交的美国临时申请no.62/986,851的权益，其全部内容通过引用并入。
技术领域
3.本公开涉及用于控制重型机械的系统和方法。

背景技术：

4.重型机械是指专门设计用于执行施工任务(诸如土方作业或其它施工任务)的重型车辆。重型机械包括反铲(backhoe)装载机、前端装载机、推土机等。重型机械通常由熟练的操作员操作，该操作员不仅受过驾驶此类大型车辆的训练，而且还受过操纵重型机械上的(一个或多个)作业工具的训练。

技术实现要素：

5.根据本公开的一个示例性方面的方法尤其包括收集指示操作员使用重型机械执行任务的方式的数据、利用人工智能模块分析数据，以及响应于来自人工智能模块的指令而控制重型机械的至少一些部件来执行重型机械的至少一些任务。
6.在进一步的实施例中，人工智能模块不是基于云的，并且存在于重型机械的控制器上。
7.在进一步的实施例中，人工智能模块包括神经网络。
8.在进一步的实施例中，人工智能模块包括被配置为接收数据的第一层、第二长短期记忆层、第三长短期记忆层和被配置为生成输出的第四层，并且来自人工智能模块的指令基于第四层的输出。
9.在进一步的实施例中，人工智能模块被配置为随机忽略某些数据片段。
10.在进一步的实施例中，该方法包括基于数据预测应该被执行的任务。
11.在进一步的实施例中，该方法包括基于数据预测应该执行预测的任务的时间。
12.在进一步的实施例中，控制步骤包括在预测的时间执行预测的任务。
13.在进一步的实施例中，控制步骤包括操纵重型机械的工具，并且不包括驱动重型机械。
14.在进一步的实施例中，控制步骤包括限制发动机旋转以使得发动机的速度不超过阈值，并且在分析步骤中确定阈值。
15.根据本公开的示例性方面的重型机械尤其包括控制器，该控制器包括人工智能模块。控制器被配置为从重型机械的至少一个部件接收指示操作员执行重型机械的任务的方式的数据。数据被配置为由人工智能模块分析。此外，人工智能模块被配置为使控制器向重型机械的至少一些部件发出指令以执行重型机械的至少一些任务。
16.在进一步的实施例中，人工智能模块被配置为随机忽略某些数据片段。
17.在进一步的实施例中，人工智能模块包括被配置为接收数据的第一层、第二长短期记忆层、第三长短期记忆层和被配置为生成输出的第四层。
18.在进一步的实施例中，人工智能模块不是基于云的，并且存在于重型机械的控制器上。
19.在进一步的实施例中，重型机械包括按钮，该按钮被配置为使人工智能模块执行学习功能。
20.在进一步的实施例中，人工智能模块包括神经网络。
21.在进一步的实施例中，重型机械包括工具，并且控制器被配置为发出操纵工具的指令但不被配置为发出驱动重型机械的指令。
附图说明
22.图1示意性地图示了示例系统。
23.图2示意性地图示了示例人工智能模块。
具体实施方式
24.再次，本公开涉及用于控制重型机械的系统和方法。特别地，该系统包括人工智能模块，其可以包括神经网络或决策树架构，被配置为分析指示操作员使用重型机械执行任务的方式的数据。人工智能模块还被配置为提供与控制重型机械的至少一些部件相关的指令。由此，重型机械全部或部分基于人工智能模块的指导进行操作，从而减少了对人类操作员的依赖。人工智能模块效率高，特别是人工智能模块训练相对快。此外，人工智能模块可以实施在重型机械本身上，而不是在基于云的系统或功率较高的计算机上。因此，实现和操作所公开的系统的成本相对低。从下面的书面描述中将认识到这些和其它益处。
25.图1示意性地图示了重型机械系统10(“系统10”)。在这个示例中，系统10包括重型机械12，这里是装载机(即，前端装载机)。重型机械12是包括由传动系统驱动的轮子和可由一个或多个致动器操纵的至少一个工具的车辆。重型机械12包括各种输入，诸如轮子和/或操纵杆，被配置为驱动重型机械12和操纵(一个或多个)工具。这里，工具是被配置为提升、移动和/或装载诸如泥土、沥青、雪、碎屑等材料的装载机。虽然在图1中示出装载机，但本公开扩展到其它类型的重型机械，并且还扩展到其它类型的工具。
26.系统10的部件电连接在一起并且被配置为发送和接收彼此相关的信息。系统10还包括计算系统14。计算系统14在图1中示意性地示出并且表示硬件设备、软件程序、处理器、存储器等的组合。计算机系统14可以实施为单个设备或设备的组合。
27.在这个示例中，计算系统14包括位于重型机械12上的控制器16。控制器16包括人工智能模块18，或者与人工智能模块18电通信。这里使用术语模块来指代计算系统14的一部分。人工智能模块18可以包括硬件和软件的组合。具体而言，人工智能模块18可以实施在控制器16上、具有控制器16的普通计算机上，或与控制器16电通信的远程计算机(诸如远程服务器)上。控制器16可以包括硬件和/或软件，并且可以用可执行指令进行编程，用于与重型机械12的各种部件(包括(一个或多个)工具)对接并对其进行操作。应该理解的是，控制器16可以是整体控制模块的一部分。控制器16包括用于执行重型机械12的各种控制策略和模式的处理单元和非瞬态存储器。
28.在重型机械12的操作期间，重型机械12的操作员(即，驾驶员或用户)可以驱动重型机械和/或操纵重型机械12的工具以在工地执行一项或多项任务。在此期间，计算机系统14接收多条数据d
1-dn，其中“n”表示任意数字。数据可以来自重型机械12上的各种负载和/或位置传感器、控制器16、重型机械12的传动系统或与(一个或多个)工具相关联的致动器。数据指示操作员使用重型机械12执行任务的方式。
29.在本公开中，使用人工智能模块18分析数据。基于该数据，人工智能模块18向控制器16或直接向重型机械12的各个部件发出一条或多条指令，以控制重型机械12的至少一些部件。具体而言，指令可以包括以特定速度和/或沿着特定方向驱动重型机械12的指令，和/或指令可以包括以特定方式操纵重型机械12的(一个或多个)工具的指令。在这点上，计算系统14与重型机械12的传动系统以及与被配置为操纵(一个或多个)工具的各种致动器电通信。指令使重型机械12至少部分地执行否则操作员会完全执行的一项或多项任务。人工智能模块18还被配置为预测应该由重型机械12在什么时间以什么顺序执行哪些任务。人工智能模块18基于数据做出这样的预测。
30.在本公开的一个方面，人工智能模块18不被配置为发出驱动重型机械12的指令，而是仅限于预测(一个或多个)工具的未来操纵和发出以特定方式操纵(一个或多个)工具的指令。以这种方式，重型机械12的操作员可以专注于驱动重型机械12，而无需将其注意力分散于驱动重型机械12和操作(一个或多个)工具。
31.在本公开的另一方面，一旦人工智能模块18已经学习了特定功能，该功能就可以作为“按钮”功能被操作员访问。换句话说，操作员可以选择性地调用人工智能模块18来处理特定学习功能的执行。例如，如果人工智能模块18学习如何铲起一堆泥土，那么操作员可以将重型机械12驱动到泥土堆并简单地按下对应的按钮(即，物理按钮、实施在触摸屏上的按钮，或一些其它输入)，并且重型机械12将铲起土堆。在本公开的另一方面，人工智能模块18预测何时应该铲起泥土，并且要么提示操作员，询问操作员是否想要发起动作，要么当人工智能模块18确定适合这样做时简单地发起动作本身。
32.在本公开的一个特定方面，人工智能模块18随着时间的推移学习到操作员试图限制重型机械12的发动机旋转的速率，该速率可以以每分钟转数(rpm)测量。在示例中，人工智能模块18可以从数据中观察到操作员通常试图将发动机的rpm保持在阈值(诸如6,500rpm)以下。操作员在执行某些任务时可能不时超过该值，并且人工智能模块18可以从数据中观察到操作员通常在超过该值时手动采取纠正动作。一旦人工智能模块18学习到操作员正在试图限制发动机rpm，人工智能模块18可以开始自行这样做。替代地，操作员可以使用如上所述的“按钮”激活人工智能模块18的这个方面，和/或人工智能模块18可以提示操作员，询问操作员是否希望在特定任务期间让计算系统14调节发动机rpm。此外，如果人工智能模块18确定将发动机rpm保持在特定阈值以下是期望的目标，那么人工智能模块18可以以特定顺序或以特定方式执行某些工地任务以优化发动机rpm。例如，如果速度(而不管发动机rpm)变得更合乎需要，那么人工智能模块18可以覆盖该目标。在本公开的另一方面，人工智能模块18可以学习防止发动机熄火。
33.在另一个示例中，人工智能模块18被配置为发出驱动重型机械12的指令，而不被配置为发出操纵(一个或多个)工具的指令。在这个示例中，与前面提到的示例一样，操作员的注意力不需要在功能之间分散。在又一个示例中，人工智能模块18被配置为发出指令，该
指令被配置为驱动重型机械12和操纵(一个或多个)工具。在该示例和任何其它示例中，操作员可以仍然存在于重型机械12中并且可以观察重型机械12的操作，并且如果操作员认为有必要则进行干预。在这些示例中的任何一个中，操作员的精神负担都减少了。
34.本公开的人工智能模块18相对高效地操作并且能够在相对短的时间段内被训练。特别地，人工智能模块18可以通过观察(即，在期间接收和分析与重型机械12相关联的数据)某个工地任务的大约10到15次迭代来训练自己执行这种任务。这与传统的人工智能形成对比，传统的人工智能可能需要大约100次迭代来训练人工智能模块执行任务。
35.本公开的导致人工智能模块18效率提高的一个方面是人工智能模块18随机地忽略某些数据片段。通过随机忽略某些数据片段，人工智能模块18更高效地确定特定数据片段的重要性。因为人工智能模块18如此高效，使得不必将人工智能模块18实施在大型计算机(诸如服务器或重型机械12上的单独的高性能计算机)上。相反，人工智能模块18可以在现有的、功率相对低的计算机(诸如那些已经是大多数传统重型机械的一部分的计算机)上运行。
36.图2是图示示例人工智能模块18的附加细节的示意图。在图2中，示例人工智能模块18包括被配置为接收数据d
1-dn的第一层20、第二长短期记忆(lstm)层22、第三lstm层24和被配置为生成输出的第四层26，该输出传送到控制器16或者直接传送到重型机械12的一个或多个部件。术语层在本文用于指代在人工智能模块18内的特定深度处一起操作的节点的集合。在一个示例中，第二和第三lstm层24、26可以是隐藏层。其它示例人工智能模块架构落入本公开的范围内。即，通过使用图2的架构并结合随机忽略某些数据片段，人工智能模块18相对高效并且可以在低功率计算机上运行。
37.人工智能模块18可以包括神经网络或者是神经网络。神经网络可以是深度生成神经网络，其替代地称为流模型神经网络。神经网络(如果存在)为机器学习提供了框架。具体而言，神经网络被训练以预测(即，来自数据d
1-dn的)各种数据输入如何与特定工地任务相关，包括训练神经网络执行(即，学习指令以使重型机械12执行)那些任务和/或预测何时需要执行任务。虽然提到神经网络，但人工智能模块18不限于神经网络。相反，人工智能模块18可以包括另一种架构，诸如决策树架构。
38.随着重型机械12的使用，人工智能模块18可以被不断地训练。换句话说，在初始训练之后训练不会停止。因此，随着时间的推移，人工智能模块18在执行某些工地功能方面变得更好，并做出更准确的预测。事实上，本公开的优点在于不可能预测人工智能模块18可能对某些数据组合作出反应的所有方式。即，随着人工智能模块18继续其机器学习过程，人工智能模块18可以采取动作或做出当今不可能预测但最终有益的预测。
39.虽然不同示例具有图示中所示的特定部件，但是本公开的实施例不限于那些特定组合。可以将来自示例之一的一些部件或特征与来自另一个示例的特征或部件组合使用。此外，本公开所附的各种附图不一定按比例绘制，并且一些特征可能被夸大或最小化以显示特定部件或布置的某些细节。
40.本领域普通技术人员将理解，上述实施例是示例性的而非限制性的。即，本公开的修改将落入权利要求的范围内。因此，应研究以下权利要求以确定其真实范围和内容。

技术特征：

1.一种方法，包括：收集指示操作员使用重型机械执行任务的方式的数据；使用人工智能模块分析数据；以及响应于来自人工智能模块的指令而控制重型机械的至少一些部件来执行重型机械的至少一些任务。2.如权利要求1所述的方法，其中人工智能模块不是基于云的，并且存在于重型机械的控制器上。3.如权利要求1所述的方法，其中人工智能模块包括神经网络。4.如权利要求1所述的方法，其中：人工智能模块包括被配置为接收数据的第一层、第二长短期记忆层、第三长短期记忆层和被配置为生成输出的第四层，以及来自人工智能模块的指令基于第四层的输出。5.如权利要求4所述的方法，其中人工智能模块被配置为随机忽略某些数据片段。6.如权利要求1所述的方法，还包括：基于数据预测应该执行的任务。7.如权利要求6所述的方法，还包括：基于数据预测应该执行预测的任务的时间。8.如权利要求7所述的方法，其中控制步骤包括在预测的时间执行预测的任务。9.如权利要求1所述的方法，其中控制步骤包括操纵重型机械的工具，并且不包括驱动重型机械。10.如权利要求1所述的方法，其中：控制步骤包括限制发动机旋转以使得发动机的速度不超过阈值，以及在分析步骤中确定阈值。11.一种重型机械，包括：控制器，包括人工智能模块，其中控制器被配置为从重型机械的至少一个部件接收指示操作员执行重型机械的任务的方式的数据，其中数据被配置为由人工智能模块进行分析，并且其中人工智能模块被配置为使控制器向重型机械的至少一些部件发出指令以执行重型机械的至少一些任务。12.如权利要求11所述的重型机械，其中人工智能模块被配置为随机忽略某些数据片段。13.如权利要求12所述的重型机械，其中人工智能模块包括被配置为接收数据的第一层、第二长短期记忆层、第三长短期记忆层和被配置为生成输出的第四层。14.如权利要求13所述的重型机械，其中人工智能模块不是基于云的，并且存在于重型机械的控制器上。15.如权利要求11所述的重型机械，还包括：按钮，被配置为使人工智能模块执行学习的功能。16.如权利要求11所述的重型机械，其中人工智能模块包括神经网络。17.如权利要求11所述的重型机械，还包括工具，并且其中控制器被配置为发出操纵工具的指令，但不被配置为发出驱动重型机械的指令。

技术总结

本公开的系统包括人工智能模块，其可以包括神经网络或决策树架构，被配置为分析指示操作员使用重型机械执行任务的方式的数据。人工智能模块还被配置为提供与控制重型机械的至少一些部件相关的指令。由此，重型机械全部或部分基于人工智能模块的指导进行操作，从而减少了对人类操作员的依赖。人工智能模块效率高，特别是人工智能模块训练相对快。此外，人工智能模块可以实施在重型机械本身上，而不是在基于云的系统或功率较高的计算机上。因此，实现和操作所公开的系统的成本相对低。现和操作所公开的系统的成本相对低。现和操作所公开的系统的成本相对低。