一种无人机集的航迹规划方法、装置及电子设备与流程

1.本公开总体上涉及软件技术领域，更具体地涉及一种无人机集的航迹规划方法、装置及电子设备。

背景技术：

2.本部分旨在介绍本领域的一些方面，其可以与下面描述的和/或要求保护的本公开的各个方面相关。相信本部分有助于提供背景信息以便于更好地理解本公开的各个方面。因此，应该理解的是这些介绍应该从这个角度来理解，而不是作为对现有技术的承认。
3.随着科技的进步，机器人在精准农业中的应用研究也在不断深入，以提高作物产量和质量。candiago等人部署了一个多旋翼飞行器来监测葡萄园和番茄农场，然后对收集到的图像数据进行分析和评估。berni等人开发了一个自治空中系统，用热传感器和成像传感器远程监测植被场。bakker等人提出了一种自主导航地面机器人，用于绘制作物行图和监测田间甜菜。
4.由于单个无人机的局限性，多无人机构成的集被用来减少完成任务所需的时间，从而提高系统的整体性能。在实际场景中，可能会部署具有不同能力（例如动力学、视野、速度或电池充电等）的异构无人机集系统。尽管无人机在任何方向飞行都没有限制，为了避免急转弯和在执行任务时不断移动，多数场景中它们都是通过类似割草机似的来回运动来监测目标区域。然而，这种航迹规划方法无法在尽可能少的时间覆盖尽可能大的区域。

技术实现要素：

5.本公开的目的在于提供一种无人机集的航迹规划方法、装置及电子设备，以最小化无人机集执行任务的总时间。
6.根据本公开的第一方面，提供了一种无人机集的航迹规划方法，包括：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。
7.在一些实施例中，所述有向图的约束条件由所述无人机集的性能参数和所述监视任务的设定条件确定。
8.在一些实施例中，所述无人机集的性能参数包括以下中的至少一项：所述无人机集中机载摄像机所监视区域的宽度；所述无人机集中每架无人机的电池容量；以及所述无人机集中每架无人机的飞行速度。
9.在一些实施例中，所述监视任务的设定条件包括以下中的至少一项：强制所述无人机集中每架无人机离开基地；强制所述无人机集中每架无人机返回基地；强制所述有向图的每个有向边被监视一次；强制所述无人机集中同一无人机访问并离开所述有向图的每个顶点；所述无人机集中每架无人机的飞行方向垂直于所述预设扫描方向；强制所述无人机集中每架无人机的执行垂直于所述预设扫描方向的来回运动；以及所述有向
图被分为多个子图，所述无人机集中的无人机在所述多个子图中的一个子图中执行监视任务。
10.在一些实施例中，所述目标监视区域为农作物植被区域，所述预设扫描方向垂直于农作物植被行或平行于农作物植被行。
11.在一些实施例中，所述无人机集为异构无人机。
12.在一些实施例中，所述根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间包括：根据所述有向图的约束条件，最小化所述无人机集中具有最长飞行时间的无人机所使用的飞行时间。
13.在一些实施例中，所述根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图包括：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域划分为多个覆盖行，其中，所述覆盖行的宽度以及所述覆盖行之间的间隔由所述最小宽度和第二参数确定，所述第二参数用于表征所述最小宽度之间的重叠率。
14.根据本公开的第二方面，提供了一种无人机集的航迹规划装置，包括：转换模块，其配置为根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及优化模块，其配置为根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。
15.根据本公开的第三方面，提供了一种电子设备，包括：处理器，与所述处理器进行电子通信的存储器；以及指令，所述指令存储在所述存储器中并且可由所述处理器执行以使所述电子设备执行根据本公开的第一方面的至少一项所述的方法。
16.根据本公开提供的各个实施例，通过有向图对监视区域进行建模，将路径优化问题转化为飞行时间最小化问题，使得执行监视任务所花费的时间最小化。
17.应当理解，本部分所描述的内容并不旨在标识所要求保护的发明内容的关键或必要特征，也不旨在单独地用于确定所要求保护的发明内容的范围。
附图说明
18.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的该实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
19.图1示出了根据本公开的扫描方向的示例说明图。
20.图2a和图2b示出了根据本公开的覆盖行的示例说明图。
21.图3示出了根据本公开的有向图建模示意图。
22.图4示出了通过求解具有不同足迹的两个无人机的车辆路径优化问题而得到的覆盖区域。
23.图5示出了根据本公开的无人机集的航迹规划方法的流程示意图。
24.图6示出了根据本公开的无人机集的航迹规划装置的结构示意图。
25.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。
具体实施方式
26.下文将参考附图更全面地描述本公开。然而，本公开可以以多种替代形式来体现，并且不应被解释为限于本文描述的实施例。因此，尽管本公开易于进行各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并将在本文详细描述。然而，应当理解，这种方式并不旨在将本公开限制于所公开的特定形式，相反，本公开覆盖了落入由权利要求所限定的本公开的精神和范围内的所有修改方案、等同方案和替代方案。
27.应当理解，尽管本文可以用术语第一、第二等描述各种元素，但是这些元素不应该被这些术语所限制。这些术语仅用于区分一个元素和另一个元素。例如，第一元素可以被称为第二元素，并且类似地，第二元素可以被称为第一元素，而不脱离本公开的教导。
28.本文结合框图和/或流程图描述了一些示例，其中每个框表示包括用于实现指定逻辑功能的一个或多个可执行指令的电路元件、模分块或代码的部分。还应该注意的是，在其他实现方式中，框中所述的功能可以不按所述的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以实质上同时执行，或者这些框有时可以以相反的顺序执行。
29.本文提到的“根据...示例”或“在..示例中”意味着结合示例描述的特定特征、结构或特性可以被包括在本公开的至少一个实现方式中。本文中不同地方出现的短语“根据...示例”或“在...示例中”不一定都指同一示例，也不一定是与其他示例相互排斥的单独或替代示例。
30.图1示出了根据本公开的扫描方向的示例说明图。如图1所示，四个灰方框可以为杂草行。扫描方向可以是垂直于杂草行的航迹方向，也可以是平行于杂草行的航迹方向。根据扫描方向可以将杂草行区域分解为若干子区域，无人机可以沿着垂直于扫描方向来回运动，以飞越这些子区域。对无人机来说优选的扫描方向是沿着杂草行飞行。
31.图2a和图2b示出了根据本公开的覆盖行的示例说明图。在图2b中，无人机uav1和uav2沿着杂草行区域飞行并对杂草行区域进行监视，l1为无人机uav1机载摄像头监视视野的宽度，l2为无人机uav2机载摄像头监视视野的宽度。在图2a中，示出了无人机机载摄像头监视视野的宽度的计算方式，第m架无人机机载摄像头监视视野的宽度lm为：其中，表示第m架无人机机载摄像头的宽度，表示第m架无人机机载摄像头的焦距，表示第m架无人机的飞行高度，e表示第m架无人机来回运动时两个监视视野在宽度上的重叠率。
32.下面对本公开中有向图的建模方法进行说明。
33.首先，确定特定的无人机集中（既包括同构无人机，包括异构无人机）具有最小监视视野的宽度l，l的定义如下：然后，根据设定的e，确定目标监视区域覆盖行的数量，的定义如下：其中，w为目标监视区域的宽度（在图2b中示出），l（1-e）为覆盖行的宽度。
34.之后，确定覆盖行之间的距离为：最后，根据以上步骤确定的参数，将目标监视区域转换成一个由g=（v, e, c）和节点集v∈{1，2，..,,n}表示的有向图。其中，是一组边（又称为弧），c是边的特定成本（公制长度），c
ij
表示节点（又称顶点）i和j之间的欧氏距离，如图3所示。
35.下面对本公开中覆盖行分区方法进行说明。
36.考虑到无人机之间的感知差异，为了划分无人机之间的覆盖行，本公开定义了一个新的参数ρm，ρm表示第m架无人机机载摄像头监视视野的宽度与最小长度l的比值：如图2b所示，ρm被定义为计算第m无人机在飞越一行时可以监视的覆盖行行数。
37.有向图g的每个节点被认为是一个需要被一个无人机访问的客户。此外，决策变量表示弧（i, j）是否由第m架无人机在路线上使用。与大多数车辆路径问题一样，在该应用中，主要目标是在所有无人机之间划分节点，以最小化任务时间。通过获得第m架无人机的飞行速度vm和成本矩阵c，第m架无人机的飞行时间计算如下：其中，c
ij
表示成本矩阵c位置（i,j）的值，索引0表示基地节点。那么，所有无人机之间最长的飞行时间是：为了最小化覆盖整个区域所需的最长飞行时间，本公开中的路径优化问题转化为一个最小-最大问题，即使最长路线（即最大飞行时间）所花费的时间最小化，其定义如下：为了确保第m架无人机的总覆盖时间不超过最大时间，施加约束（1）：为了用电池容量限制每架无人机的最长飞行路线，施加约束（2）：其中表示第m架无人机的最大电池持续时间。
38.为了强制每架无人机离开基地（节点0）并到达确定的客户，施加约束（3）：为了强制所有无人机返回基地，施加约束（4）：
为了确保每个弧（i，j）只被监测一次，施加约束（5）：为了限制无人机的进出流量，以确保同一无人机能够访问并离开图中的每个节点，施加约束（6）：为了强制无人机沿着垂直于给定扫描方向的覆盖行飞行，施加约束（7）：为了强制无人机执行来回运动以覆盖监视区域，分别施加约束（8）和约束（9）：为了强制无人机在有向图的子图中执行监视任务，避免无人机分散监视，施加约束（10）：这里，表示附加的二进制变量。
39.通过以上约束条件，可以考虑到航迹比率、飞行速度和电池限制，将有向图的所有节点和相应的覆盖行划分到一组异构无人机中（参见图2b）。
40.作为示例，图4示出了通过求解具有不同足迹的两个无人机的车辆路径优化问题而得到的覆盖区域。在该图中，用实线绘制的从节点1到节点8的边被分配给ρ=1的无人机，从节点9到26的虚线被分配给ρ=2的无人机。
41.通过求解上述车辆路径优化问题，将有向图g划分为m个子图，每个子图分配给一个无人机。然后，为每架无人机生成最优轨迹，使其能够通过这些轨迹采集相应子区域的图像数据。为了生成无人机覆盖有向图区域的最优轨迹，在区域之间划分覆盖行以最小化执行任务的总时间。
42.如前所述，参数ρm表示第m架无人机在仅飞越一行时监视的覆盖行数。例如，在图4中，小方块表示ρ1=1的第一个无人机的足迹，而大方块表示ρ2=2的第二个无人机足迹。从图4中可以清楚地看出，当无人机飞越任意边（i, j），除此边外，它将同时覆盖相邻行：
本公开实施例的无人机集的航迹规划方法，至少具有如下优势：（1）将传统的车辆路径优化问题描述为无人机航迹的函数，然后针对具有不同感知能力的无人机进行求解。
43.（2）与大多数路径问题不同，本公开解决车辆路径优化问题的结果是在无人机之间划分覆盖行，然后根据无人机的航迹生成最优路径。
44.（3）指定了无人机的数量，并考虑了制定优化策略时无人机摄像头的视野。
45.图5示出了根据本公开的无人机集的航迹规划方法的流程示意图。如图5所示，该无人机集的航迹规划方法包括：步骤s502：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图。
46.步骤s504：根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。
47.根据本公开实施例的无人机集的航迹规划方法，通过有向图对监视区域进行建模，将路径优化问题转化为飞行时间最小化问题，使得执行监视任务所花费的时间最小化。
48.图6根据本公开的无人机集的航迹规划装置的结构示意图。如图6所示，该无人机集的航迹规划装置包括：转换模块601，其配置为根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及优化模块602，其配置为根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。
49.应当理解，图6中所示装置600的各个模块可以与参考图5描述的方法500中的各个步骤相对应。由此，上面针对方法500描述的操作、特征和优点同样适用于装置600及其所包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
50.在一些示例中，所述有向图的约束条件由所述无人机集的性能参数和所述监视任务的设定条件确定。
51.在一些示例中，所述无人机集的性能参数包括以下中的至少一项：所述无人机集中机载摄像机所监视区域的宽度；所述无人机集中每架无人机的电池容量；以及所述无人机集中每架无人机的飞行速度。
52.在一些示例中，所述监视任务的设定条件包括以下中的至少一项：强制所述无人机集中每架无人机离开基地；强制所述无人机集中每架无人机返回基地；强制所述有向图的每个有向边被监视一次；强制所述无人机集中同一无人机访问并离开所述有向图的每个顶点；所述无人机集中每架无人机的飞行方向垂直于所述预设扫描方向；强制所述无人机集中每架无人机的执行垂直于所述预设扫描方向的来回运动；以及所述有向图被分为多个子图，所述无人机集中的无人机在所述多个子图中的一个子图中执行监视任务。
53.在一些示例中，所述目标监视区域为农作物植被区域，所述预设扫描方向垂直于农作物植被行或平行于农作物植被行。
54.在一些示例中，所述无人机集为异构无人机。
55.在一些示例中，所述优化模块602进一步配置为：根据所述有向图的约束条件，最小化所述无人机集中具有最长飞行时间的无人机所使用的飞行时间。
56.在一些示例中，所述转换模块601进一步配置为：根据预设扫描方向和所述无人机
集中机载摄像机所监视区域的最小宽度，将目标监视区域划分为多个覆盖行，其中，所述覆盖行的宽度以及所述覆盖行之间的间隔由所述最小宽度和第二参数确定，所述第二参数用于表征所述最小宽度之间的重叠率。
57.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。参见图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
58.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如模拟服务的调用方法。例如，在一些实施例中，模拟服务的调用方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的模拟服务的调用方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模拟服务的调用方法。
59.结合本文公开的方面所描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可以实现为电子硬件、计算机软件或两者的组合。硬件和软件的可互换性已经在功能方面进行了一般性描述，并且在上述各种说明性组件、块、模块、电路和过程中进行了说明。这种功能是以硬件还是软件实现取决于特定的应用和对整个系统的设计限制。
60.用于实现结合本文公开的方面所描述的各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理装置可以用通用单芯片或多芯片处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件或被设计成执行本文所描述的功能的其任意组合来实现或执行。通用处理器可以是微处理器或任何常规处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如dsp和微处理器的组合、多个微处理器、一个或多个与dsp内核结合的微处理器、或者任何其他这样的配置。在一些方面中，特定的过程和方法可以由特定于给定功能的
电路来执行。
61.在一个或多个方面，所描述的功能可以在硬件、数字电子电路、计算机软件、固件(包括本说明书中公开的结构及其等同结构)或其任意组合中实现。本说明书中所描述的主题的方面也可以实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，该一个或多个计算机程序被编码在计算机存储介质上用于由数据处理装置执行或控制数据处理装置的操作。
62.如果以软件实现，该功能可以作为一个或多个指令或代码存储或传输到计算机可读介质上。本文公开的方法或算法的过程可以在处理器可执行的软件模块中实现，该软件模块可以驻留在计算机可读介质上。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括能够将计算机程序从一个地方传送到另一个地方的任何介质。存储介质可以是可由计算机访问的任何可用介质。作为示例而非限制，此计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备，或者可以用于以指令或数据结构的形式存储所需的程序代码并且可以由计算机访问的任何其他介质。此外，任何连接都可以被恰当地称为计算机可读介质。本文使用的盘(disk)和盘(disc)包括高密度光盘(cd)、激光盘、光盘、数字多功能盘(dvd)、软盘和蓝光光盘，其中盘(disk)通常磁性地复制数据，而盘(disc)用激光光学地复制数据。以上的组合也应该包括在计算机可读介质的范围内。附加地，方法或算法的操作可以作为机器可读介质和计算机可读介质上的代码和指令的一个或任意组合或集合，其可以被结合到计算机程序产品中。
63.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
64.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：

1.一种无人机集的航迹规划方法，包括：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。2.根据权利要求1所述的航迹规划方法，其中，所述有向图的约束条件由所述无人机集的性能参数和所述监视任务的设定条件确定。3.根据权利要求2所述的航迹规划方法，其中，所述无人机集的性能参数包括以下中的至少一项：所述无人机集中机载摄像机所监视区域的宽度；所述无人机集中每架无人机的电池容量；以及所述无人机集中每架无人机的飞行速度。4.根据权利要求2或3所述的航迹规划方法，其中，所述监视任务的设定条件包括以下中的至少一项：强制所述无人机集中每架无人机离开基地；强制所述无人机集中每架无人机返回基地；强制所述有向图的每个有向边被监视一次；强制所述无人机集中同一无人机访问并离开所述有向图的每个顶点；所述无人机集中每架无人机的飞行方向垂直于所述预设扫描方向；强制所述无人机集中每架无人机的执行垂直于所述预设扫描方向的来回运动；以及所述有向图被分为多个子图，所述无人机集中的无人机在所述多个子图中的一个子图中执行监视任务。5.根据权利要求1所述的航迹规划方法，其中，所述目标监视区域为农作物植被区域，所述预设扫描方向垂直于农作物植被行或平行于农作物植被行。6.根据权利要求1所述的航迹规划方法，其中，所述无人机集为异构无人机。7.根据权利要求4所述的航迹规划方法，其中，所述根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间包括：根据所述有向图的约束条件，最小化所述无人机集中具有最长飞行时间的无人机所使用的飞行时间。8.根据权利要求4所述的航迹规划方法，其中，所述根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图包括：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域划分为多个覆盖行，其中，所述覆盖行的宽度以及所述覆盖行之间的间隔由所述最小宽度和第二参数确定，所述第二参数用于表征所述最小宽度之间的重叠率。9.一种无人机集的航迹规划装置，包括：转换模块，其配置为根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及优化模块，其配置为根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。10.一种电子设备，包括：
处理器，与所述处理器进行电子通信的存储器；以及指令，所述指令存储在所述存储器中并且可由所述处理器执行以使所述电子设备执行根据权利要求1至8中的任一项所述的方法。

技术总结

本公开提供了一种无人机集的航迹规划方法、装置及电子设备。该无人机集的航迹规划方法包括：根据预设扫描方向和所述无人机集中机载摄像机所监视区域的最小宽度，将目标监视区域转换为有向图；以及根据所述有向图的约束条件，最小化所述无人机集执行监视任务的时间。根据本公开提供的各个实施例，通过有向图对监视区域进行建模，将路径优化问题转化为飞行时间最小化问题，使得执行监视任务所花费的时间最小化。费的时间最小化。费的时间最小化。