一种面向扑翼飞行器的单目视觉避障系统

1.本发明涉及扑翼飞行器控制技术领域，特别涉及一种面向扑翼飞行器的单目视觉避障系统。

背景技术：

2.扑翼飞行器是一种新型的无人飞行器，相比于固定翼、旋翼等飞行器，其最大的特点是通过模仿鸟类、昆虫扑动翅膀的飞行方式，使用机械结构驱动扑翼飞行器的翅膀扑动，以此获得升力和推力。扑翼飞行器调节姿态的方式也与鸟类类似，通过调节尾翼的角度，来控制扑翼飞行器的机身姿态，进而控制扑翼飞行器的高度、航向。扑翼飞行器具有飞行效率高、隐蔽性好、噪音小、控制灵活等优点，因此，扑翼飞行器在军用、民用等领域有广阔的应用前景。
3.扑翼飞行器的控制不同于旋翼、固定翼等飞行器，一般不能执行悬停、垂直爬升等飞行动作，使得扑翼飞行器的控制方法与其他飞行器有所不同；扑翼飞行器的转向动作是由其尾翼舵机的转动角度控制，在接收转向指令后，不能够进行实时的姿态调整，存在一定的控制滞后特性，且由于扑翼飞行器安装不对称、结构损耗等原因，存在左偏、右偏等问题，导致其在飞行的过程中经常存在一定的滚转角。
4.在旋翼等飞行器上，往往使用一些重量较大的传感器来感知周围环境，如深度相机、激光雷达等，扑翼飞行器能够携带的负载较小，不能携带重量大的传感器，导致扑翼飞行器对环境的感知能力低于旋翼等飞行器。而基于视觉的环境感知设备具有重量轻，感知能力广等优势，适用于扑翼飞行器。受限于负载低、安装位置受限等原因，双目视觉在扑翼飞行器上应用较为困难，因此单目视觉更适用于扑翼飞行器。目前尚无一种成熟的适用于扑翼飞行器的避障系统，因此，结合扑翼飞行的运动特点、负载特点，设计一种基于单目视觉的适用于扑翼飞行器的避障系统是十分有意义的。

技术实现要素：

5.本发明提供了一种面向扑翼飞行器的单目视觉避障系统，以解决实际应用中目前尚无成熟适用于扑翼飞行器的自主避障系统的技术问题。
6.为解决上述技术问题，本发明提供了如下技术方案：一种面向扑翼飞行器的单目视觉避障系统，所述避障系统包括：机载环境感知模块、地面信号处理模块和飞行器控制模块；其中，所述机载环境感知模块和所述飞行器控制模块均搭载于被控扑翼飞行器上，所述机载环境感知模块和所述飞行器控制模块均与所述地面信号处理模块通信连接；在被控扑翼飞行器进行飞行时，所述机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像，并将拍摄的视频图像发送至所述地面信号处理模块；所述飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述地面信号处理模块；
所述地面信号处理模块根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，由所述飞行器控制模块控制被控扑翼飞行器根据所述控制指令执行相应的飞行动作。
7.进一步地，所述机载环境感知模块包括单目相机模块和图像传输模块；其中，所述单目相机模块用于实时拍摄被控扑翼飞行器飞行过程中前方的视频图像；所述图像传输模块用于将单目相机模块拍摄的视频图像发送至所述地面信号处理模块。
8.进一步地，所述飞行状态信息包括扑翼飞行器的高度信息和惯性测量单元信息；其中，所述高度信息包括由气压计测量得到的当前扑翼飞行器的绝对海拔高度；所述惯性测量单元信息包括三轴速度信息和三轴加速度信息。
9.进一步地，所述地面信号处理模块包括机载扑翼飞行器控制模块信号接收装置、机载环境感知模块图像接收装置、障碍物检测模块和决策模块；其中，所述机载扑翼飞行器控制模块信号接收装置用于接收所述飞行器控制模块发送的被控扑翼飞行器的飞行状态信息；所述机载环境感知模块图像接收装置用于接收所述机载环境感知模块发送的被控扑翼飞行器飞行过程中前方的视频图像；所述障碍物检测模块用于根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测；所述决策模块用于根据所述障碍物检测模块检测出的障碍物相对扑翼飞行器的位置，确定避障策略和目标航向，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，使扑翼飞行器执行相应的飞行动作。
10.进一步地，所述障碍物检测模块具体用于：根据接收到的惯性测量单元信息和高度信息，确定当前姿态下的障碍物检测区域，同时，对所述视频图像进行场景深度估计，得到视频图像的深度信息，并将深度信息与障碍物检测区域融合，获得所述障碍物检测区域的深度信息；对所述障碍物检测区域的深度图像依次进行彩空间转换、阈值分割、滤波、边缘检测和轮廓提取，获得障碍物在图像中的位置及其分布。
11.进一步地，障碍物在图像中的位置及其分布包括：仅图像左半部分存在障碍物、仅图像右半部分存在障碍物以及图像左半部分和右半部分均存在障碍物。
12.进一步地，所述根据接收到的惯性测量单元信息和高度信息，确定当前姿态下的障碍物检测区域，包括：取图像的上半部分作为初始检测区域，将所述初始检测区域与扑翼飞行器的飞行高度进行融合，得到检测区域底边中心相比整张图像高度占比，公式为：式中，d为检测区域底边中心相比整张图像高度占比，h为当前扑翼飞行器的飞行高度，h
max
为扑翼飞行器需执行避障飞行动作的最高飞行高度；假设当前扑翼飞行器的机身倾斜角为r，将倾斜角r转换为角度值，以矩形检测区
域底边中点为中心点，更改检测区域底边倾角为r，同时修改左右邻边长度，使检测区域闭合，由矩形转换为与扑翼飞行器当前飞行姿态匹配的梯形。
13.进一步地，所述决策模块具体用于：当仅在图像左半部分存在障碍物时，根据障碍物在图像左半部的位置，确定转向舵量大小，向所述飞行器控制模块发送右转指令；当仅在图像右半部分存在障碍物时，根据障碍物在图像右半部的位置，确定转向舵量大小，向所述飞行器控制模块发送左转指令；当图像左半部分和右半部分均存在障碍物时，根据障碍物相对扑翼飞行器的位置，判断左右转指令，以及转向舵量大小，发送给所述飞行器控制模块；当没检测到障碍物时，向所述飞行器控制模块发送前行指令。
14.本发明提供的技术方案带来的有益效果至少包括：本发明首次提出了基于机载单目视觉深度估计的扑翼飞行器避障方案，通过实时拍摄扑翼飞行器前方的视频图像，根据此图像估计出该帧图像的深度图像；针对扑翼飞行器飞行过程中存在的滚转角，通过飞行器控制模块采集扑翼飞行器飞行过程中的飞行状态信息，根据得到的飞行状态信息，动态的确定当前飞行姿态下的障碍物检测区域，解决了在扑翼飞行器中使用图像深度信息进行障碍物检测时对地面区域的障碍物误检问题。通过对区域内深度信息进行分析，确定距离扑翼飞行器距离较近的障碍物在图像中的范围；通过对障碍物相对扑翼飞行器的分布，确定当前的避障策略，并发送给扑翼飞行器，使其执行相应的飞行动作，从而达到扑翼飞行器自主避障的目的。解决了实际应用中目前尚无成熟适用于扑翼飞行器的自主避障系统的这一问题。本发明能够满足障碍物检测的精度和实时性要求，且具有结构简单，控制效果好等优势，并且也能满足扑翼飞行器的低负载工况，适用于扑翼飞行器自主飞行时使用。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1是本发明实施例提供的面向扑翼飞行器的单目视觉避障系统的结构框图；图2a是本发明实施例提供的相机模块的示意图；图2b是本发明实施例提供的图像传输模块的示意图；图2c是本发明实施例提供的机械连接件的示意图；图2d是本发明实施例提供的惯性测量单元的示意图；图3是本发明实施例提供的系统实现扑翼飞行器自主避障的流程示意图；图4是本发明实施例提供的飞行器控制模块对扑翼飞行器进行闭环反馈控制的控制原理示意图。
具体实施方式
17.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方
式作进一步地详细描述。
18.本实施例将环境感知模块与扑翼飞行器的飞行状态结合，设计了一套用于解决扑翼飞行器自主避障问题的面向扑翼飞行器的单目视觉避障系统，该系统旨在通过对飞行中的扑翼飞行器周围环境的感知和障碍物检测等关键技术，提供高效且可靠的扑翼飞行器自主避障能力，且兼顾准确性和可靠性。对此，本实施例将环境感知与扑翼飞行器的飞行姿态、飞行高度融合，针对扑翼飞行器的飞行特点，即在飞行过程中姿态调整缓慢、飞行过程经常存在一定滚转角的背景下，通过扑翼飞行器的实时飞行状态确定当前状态下的障碍物检测范围，解决了在扑翼飞行器上使用深度图像进行环境感知时对地面区域的障碍物误检问题。在检测到障碍物后，进行避障决策，使扑翼飞行器执行相应的避障动作，具有结构简单，控制效果好等优势，同时采用了低成本的环境感知设备，适用于负载有限的扑翼飞行器，较好地解决了扑翼飞行器自主避障问题。
19.具体地，如图1所示，本实施例的面向扑翼飞行器的单目视觉避障系统包括：机载环境感知模块、地面信号处理模块和飞行器控制模块；其中，所述机载环境感知模块和所述飞行器控制模块均通过如图2c所示的机械连接件，以机械固定的方式固定在被控扑翼飞行器平台上，所述机载环境感知模块和所述飞行器控制模块均与所述地面信号处理模块通信连接。
20.在被控扑翼飞行器进行飞行时，所述机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像，并将拍摄的视频图像发送至所述地面信号处理模块；所述飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述地面信号处理模块；所述地面信号处理模块根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，由所述飞行器控制模块控制被控扑翼飞行器根据所述控制指令执行相应的飞行动作。
21.进一步地，所述机载环境感知模块包括如图2a所示的单目相机模块和如图2b所示的图像传输模块；其中，所述单目相机模块通过如图2c所示的机械连接件固定在扑翼飞行器上，用于实时拍摄被控扑翼飞行器飞行过程中前方的视频图像；所述图像传输模块用于将所述单目相机模块拍摄的视频图像发送至所述地面信号处理模块。具体地，在本实施例中，所述单目相机模块为微型摄像头，其与所述图像传输模块通过电路连接，二者通过电路实现图像数据传输。
22.进一步地，如图3所示，在本实施例中，机载环境感知模块与地面信号处理模块之间采用图像传输-接收设备进行通信，机载扑翼飞行器控制模块与地面信号处理模块之间采用无线串口通信的方式进行通信。
23.地面信号处理模块为便携式设备，其由处理模块、通信模块及电源模块组成，处理模块安装windows系统，并且实时接收和显示由飞行器控制模块发送的受控扑翼飞行器的飞行状态信息；其中，飞行状态信息包括受控扑翼飞行器的飞行姿态、飞行高度信息和惯性测量单元信息；其中，所述高度信息包括由气压计测量得到的当前扑翼飞行器的绝对海拔高度；所述惯性测量单元信息包括三轴速度信息和三轴加速度信息。
24.飞行器控制模块固定在受控扑翼飞行器上，由飞控板及stm32芯片、十轴姿态传感
器、通信模块组成，其中，十轴姿态传感器固定在飞控板上，如图2d所示，可以获取扑翼飞行器当前的三轴加速度、三轴角速度、三轴磁场及海拔高度等数据，可用于采集当前扑翼飞行器的飞行姿态信息和飞行高度信息；通信模块的作用是接收地面信号处理模块发来的控制指令，并且将十轴姿态传感器获取到的飞行姿态信息和飞行高度信息发送给地面信号处理模块；stm32芯片及飞控板的作用是将地面信号处理模块发来的控制指令转换成受控扑翼飞行器的电机和舵机的pwm控制信号，驱动扑翼飞行器内部的电机和舵机转动，并实时接收和处理扑翼飞行器当前高度和姿态，形成闭环反馈控制，如图4所示。
25.进一步地，所述地面信号处理模块包括机载扑翼飞行器控制模块信号接收装置、机载环境感知模块图像接收装置、障碍物检测模块和决策模块；其中，所述机载扑翼飞行器控制模块信号接收装置用于接收所述飞行器控制模块发送的被控扑翼飞行器的飞行状态信息；所述机载环境感知模块图像接收装置用于接收所述机载环境感知模块发送的被控扑翼飞行器飞行过程中前方的视频图像；所述障碍物检测模块用于根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测；所述决策模块用于根据所述障碍物检测模块检测出的障碍物相对扑翼飞行器的位置，确定避障策略和目标航向，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，使扑翼飞行器执行相应的飞行动作。
26.进一步地，所述障碍物检测模块具体用于：根据接收到的惯性测量单元信息和高度信息，确定当前姿态下的障碍物检测区域，同时，对所述视频图像进行场景深度估计，得到视频图像的深度信息，并将深度信息与障碍物检测区域融合，获得所述障碍物检测区域的深度信息；对所述障碍物检测区域的深度图像依次进行彩空间转换、阈值分割、滤波、边缘检测和轮廓提取，获得障碍物在图像中的位置及其分布。其中，障碍物在图像中的位置及其分布包括：仅图像左半部分存在障碍物、仅图像右半部分存在障碍物以及图像左半部分和右半部分均存在障碍物；进一步地，所述决策模块具体用于：当仅在图像左半部分存在障碍物时，根据障碍物在图像左半部的位置，确定转向舵量大小，向所述飞行器控制模块发送右转指令；当仅在图像右半部分存在障碍物时，根据障碍物在图像右半部的位置，确定转向舵量大小，向所述飞行器控制模块发送左转指令；当图像左半部分和右半部分均存在障碍物时，根据障碍物相对扑翼飞行器的位置，判断左右转指令，以及转向舵量大小，发送给所述飞行器控制模块；当没检测到障碍物时，向所述飞行器控制模块发送前行指令。
27.基于上述，如图3所示，所述地面信号处理模块的工作流程如下：步骤1，通过图像接收装置接收由机载环境感知模块传来的航拍图像。
28.步骤2，通过机载扑翼飞行器控制模块信号接收装置接收由飞行器控制模块发送的当前状态下扑翼飞行器的飞行状态信息，包括高度信息、机身姿态信息。
29.步骤3，根据接收到的航拍图像，对图像进行深度估计处理，得到该帧图像的深度图像。
30.步骤4，选取固定的检测区域作为障碍物检测的初始区域，获取当前扑翼飞行器的飞行姿态、飞行高度数据，根据获取的飞行姿态数据确定当前状态下的准确检测区域，具体
为：取所述初始检测区域为图像的上半部分，将初始检测区域与扑翼飞行器飞行高度进行融合,方法为：式中，d为检测区域底边中心相比整张图像高度占比，h为当前扑翼飞行器的飞行高度，h
max
为扑翼飞行器需执行避障飞行动作的最高飞行高度, 0.6、0.2为经验值，可根据实际情况进行调整。
31.假设当前扑翼飞行器的飞行高度为h，机身倾斜角为r，将倾角r转换为角度值，以矩形检测区域底边中点为中心点，更改检测区域底边倾角为r，同时修改左右邻边长度，使检测区域闭合，由矩形转换为与扑翼飞行器当前飞行姿态匹配的梯形。
32.步骤5，对检测区域的深度图像进行彩空间转换，转换为灰度图像。具体关系如下：上式表示彩深度图像经过灰度变换变成灰度图，其中gray表示图像的灰度值，r、g、b为原彩深度图像红、绿、蓝三通道的彩值。
33.步骤6，对灰度图像进行阈值分割。根据图像的灰度特性,将图像分为前景和背景两个部分。当取最佳阈值时，两部分之间的差别最大。记t为前景与背景的分割阈值，具体方法如下：其中，为前景图像和背景图像的方差，w0为前景点数占图像比例，u0为图像前景点平均灰度，w1为背景点数占图像比例，u1为背景点平均灰度，u为图像的总平均灰度，当最大时对应的t为最佳阈值。
34.步骤7，对阈值分割后的图像进行滤波处理，使用图像开运算，即先对图像进行腐蚀操作，以此消除较小的像素点和较小连通区域，断开物体之间的粘连，去除孤立的小点，毛刺和小桥，再对图像进行膨胀操作，恢复障碍物的形状轮廓。使用的腐蚀、膨胀操作使用的内核如下：步骤8，对灰度图进行边缘检测、轮廓提取，得到障碍物的位置分布情况，具体如下：选取横向、纵向算子，与航拍图像做卷积处理，得到横向、纵向的亮度差分近似值，公式如下：
式中，g
x
及gy分别代表经横向及纵向边缘检测的图像，a代表原始图像。
35.将图像中每一像素点的横向梯度和纵向梯度结合，计算梯度的大小，具体为：步骤9，根据障碍物相对扑翼飞行器的位置，确定避障策略和目标航向，避障策略为：当仅在图像左半部分存在障碍物时，目标航向为图像右半部区域，具体为：式中，x为目标航向的具体位置；w为图像宽度；x1为距离图像中心最近的左端障碍物中心像素点与图像中心像素点的水平距离。
36.当仅在图像右半部分存在障碍物时，目标航向为图像右半部区域，具体为：式中，x为目标航向的具体位置；w为图像宽度；x2为距离图像中心最近的右端障碍物中心像素点与图像中心像素点的水平距离。
37.当图像两侧均存在障碍物时，目标航向需根据左右两端障碍物相对扑翼飞行器的位置进行判断，当右端障碍物距离图像中心较近时，目标航向为图像左半部区域，当左端障碍物距离图像中心较近时，目标航向为图像右半部区域，具体为：式中，x为目标航向的具体位置；x1、x2为距离图像中心最近的左右两障碍物中心像素点与图像中心像素点的水平距离。
38.需要说明的是，当目标航向x》0时，目标航向为图像的左半部区域，当目标航向x《0时，目标航向为图像的右半部区域。
39.步骤10，将计算得到的目标航向进行归一化处理，映射到扑翼飞行器尾翼的舵机舵量，并将控制信号发送给机载扑翼飞行器控制模块，使扑翼飞行器执行相应的飞行动作。具体方法为：式中，c为扑翼飞行器尾翼舵机的偏转量，x为目标航向的具体位置；w为图像宽度。
40.基于上述，本实施例的视觉系统的使用步骤如下：s1，给整个控制系统上电，完成机载环境感知模块与地面信号处理模块间的图像传输连接，并完成飞行器控制模块与地面信号处理模块间的无线串口连接，实现系统内各个模块的正常通信；s2，受控扑翼飞行器上电后进入起飞准备状态，等待操控者通过航模遥控器发出起飞指令即可进入起飞状态；其中，航模遥控器有两个遥控杆、一个飞行模式选择摇杆，两遥控杆位置与扑翼飞行器飞行状态的对应关系为：右摇杆控制扑翼飞行器的机翼扑动频率和飞行方向，摇杆上调，扑翼飞行器机翼扑动频率增大，飞行器飞行高度升高，摇杆下调，且右摇杆上下角度摆动角度越大，扑翼飞行器高度变化越快。扑翼飞行器机翼扑动频率降低，飞行器飞行高度降低，摇杆左调，扑翼飞行器左转，摇杆右调，扑翼飞行器右转，且右摇杆左右角度摆动角度越大，扑翼飞行器转弯速度越快。左杆控制扑翼飞行器的俯仰角，左摇杆上调，扑翼飞行器仰角变大，左摇杆下调，扑翼飞行器仰角降低。飞行模式选择摇杆可选择飞行模式，共有两种飞行模式：手动飞行模式、自主飞行模式。
41.s3，扑翼飞行器成功起飞后首先进入手动飞行模式，由操控者切换为自主飞行模式。
42.s4，机载环境感知模块通过图像发送装置向地面信号处理模块发送拍摄到的扑翼飞行器前方的航拍图像。同时，机载扑翼飞行器控制模块实时采集当前扑翼飞行器的飞行姿态和飞行高度信息，将采集的飞行姿态和飞行高度信息发送到地面信号处理模块。
43.s5，地面信号处理模块根据接收到的航拍图像计算得到当前图像的深度图像。同时，根据接收到的飞行姿态、飞行高度信息计算得到需要进行障碍物检测的区域。将深度图像与障碍物检测区域进行融合，获取在障碍物检测区域内的深度图像。对该深度图像进行灰度变换、阈值分割、滤波、边缘提取、轮廓检测处理过后，获得当前环境下的障碍物位置分布信息。
44.s6，根据当前环境下的障碍物位置分布信息，地面信号处理模块决策出可航行的区域并解算出控制扑翼飞行器向目标航向飞行需要的机身姿态，生成控制信号，并将控制信号发送给机载扑翼飞行器控制模块，使得扑翼飞行器按照地面信号处理模块发送的指令进行机动操作。
45.s7，飞行器控制模块根据接收到的控制指令，生成控制扑翼飞行器的舵机和电机的pwm信号，控制扑翼飞行器内部的舵机臂角度和电机转速，进而控制尾翼偏航面的摆动角度和扑翼频率，改变扑翼飞行器的飞行状态；同时，飞行器控制模块实时采集当前扑翼飞行器的飞行姿态和飞行高度信息，将采集的飞行姿态和飞行高度信息发送到地面信号处理模块；机载环境感知模块实时采集当前扑翼飞行器前方的航拍图像，将采集的航拍图像发送到地面信号处理模块，由地面信号处理模块对当前扑翼飞行器的飞行姿态、飞行高度信息、航拍图像进行解算，计算得到扑翼飞行器在当前环境下需规避的障碍物的位置，并生成控制指令发送给飞行器控制模块。从而形成闭环控制，保证自主避障的精确度和可靠性。
46.综上，本实施例的视觉避障系统将环境感知模块、飞行控制模块的信息进行了融合，弥补了扑翼飞行器自主飞行时环境感知困难，规避障碍物成功率低的问题。降低了扑翼飞行器在机身运动时存在偏转状态下的深度图像对地面区域的障碍物误检率，解决了实际
应用中目前尚无成熟适用于扑翼飞行器的自主避障系统的这一问题。更能满足扑翼飞行器在不同环境下自主飞行过程中的避障要求，可以有效的降低自主飞行过程中与障碍物碰撞的概率，提高了自主飞行的稳定性，改善了操控者的操控体验。并且，本实施例利用机载扑翼飞行器控制模块对扑翼飞行器进行闭环反馈控制，确保了避障指令的精准执行，使得扑翼飞行器自主飞行过程中的避障动作精准且高效。
47.此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
48.最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

技术特征：

1.一种面向扑翼飞行器的单目视觉避障系统，其特征在于，所述避障系统包括：机载环境感知模块、地面信号处理模块和飞行器控制模块；其中，所述机载环境感知模块和所述飞行器控制模块均搭载于被控扑翼飞行器上，所述机载环境感知模块和所述飞行器控制模块均与所述地面信号处理模块通信连接；在被控扑翼飞行器进行飞行时，所述机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像，并将拍摄的视频图像发送至所述地面信号处理模块；所述飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述地面信号处理模块；所述地面信号处理模块根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，由所述飞行器控制模块控制被控扑翼飞行器根据所述控制指令执行相应的飞行动作。2.如权利要求1所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述机载环境感知模块包括单目相机模块和图像传输模块；其中，所述单目相机模块用于实时拍摄被控扑翼飞行器飞行过程中前方的视频图像；所述图像传输模块用于将单目相机模块拍摄的视频图像发送至所述地面信号处理模块。3.如权利要求1所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述飞行状态信息包括扑翼飞行器的高度信息和惯性测量单元信息；其中，所述高度信息包括由气压计测量得到的当前扑翼飞行器的绝对海拔高度；所述惯性测量单元信息包括三轴速度信息和三轴加速度信息。4.如权利要求3所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述地面信号处理模块包括机载扑翼飞行器控制模块信号接收装置、机载环境感知模块图像接收装置、障碍物检测模块和决策模块；其中，所述机载扑翼飞行器控制模块信号接收装置用于接收所述飞行器控制模块发送的被控扑翼飞行器的飞行状态信息；所述机载环境感知模块图像接收装置用于接收所述机载环境感知模块发送的被控扑翼飞行器飞行过程中前方的视频图像；所述障碍物检测模块用于根据接收到的视频图像和飞行状态信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测；所述决策模块用于根据所述障碍物检测模块检测出的障碍物相对扑翼飞行器的位置，确定避障策略和目标航向，生成避障控制指令，并将所述控制指令发送给所述飞行器控制模块，使扑翼飞行器执行相应的飞行动作。5.权利要求4所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述障碍物检测模块具体用于：根据接收到的惯性测量单元信息和高度信息，确定当前姿态下的障碍物检测区域，同时，对所述视频图像进行场景深度估计，得到视频图像的深度信息，并将深度信息与障碍物检测区域融合，获得所述障碍物检测区域的深度信息；对所述障碍物检测区域的深度图像依次进行彩空间转换、阈值分割、滤波、边缘检测和轮廓提取，获得障碍物在图像中的位置及其分布。
6.如权利要求5所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，障碍物在图像中的位置及其分布包括：仅图像左半部分存在障碍物、仅图像右半部分存在障碍物，以及图像左半部分和右半部分均存在障碍物。7.如权利要求5所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述根据接收到的惯性测量单元信息和高度信息，确定当前姿态下的障碍物检测区域，包括：取图像的上半部分作为初始检测区域，将所述初始检测区域与扑翼飞行器的飞行高度进行融合，得到检测区域底边中心相比整张图像高度占比，公式为：式中，d为检测区域底边中心相比整张图像高度占比，h为当前扑翼飞行器的飞行高度，h
max
为扑翼飞行器需执行避障飞行动作的最高飞行高度；假设当前扑翼飞行器的机身倾斜角为r，将倾斜角r转换为角度值，以矩形检测区域底边中点为中心点，更改检测区域底边倾角为r，同时修改左右邻边长度，使检测区域闭合，由矩形转换为与扑翼飞行器当前飞行姿态匹配的梯形。8.如权利要求6所述的面向扑翼飞行器的单目视觉避障系统，其特征在于，所述决策模块具体用于：当仅在图像左半部分存在障碍物时，根据障碍物在图像左半部的位置，确定转向舵量大小，向所述飞行器控制模块发送右转指令；当仅在图像右半部分存在障碍物时，根据障碍物在图像右半部的位置，确定转向舵量大小，向所述飞行器控制模块发送左转指令；当图像左半部分和右半部分均存在障碍物时，根据障碍物相对扑翼飞行器的位置，判断左右转指令，以及转向舵量大小，发送给所述飞行器控制模块；当没检测到障碍物时，向所述飞行器控制模块发送前行指令。

技术总结

本发明公开了一种面向扑翼飞行器的单目视觉避障系统，包括机载环境感知模块、地面信号处理模块和飞行器控制模块；机载环境感知模块实时拍摄被控扑翼飞行器飞行过程中前方的视频图像，并发送至地面信号处理模块；飞行器控制模块实时采集被控扑翼飞行器的飞行状态信息，并发送至地面信号处理模块；地面信号处理模块结合上述信息，估算出当前场景的深度信息，确定当前姿态下的障碍物检测区域，进行障碍物检测，生成避障控制指令，并发送给飞行器控制模块，控制飞行器执行相应的飞行动作。本发明解决了在扑翼飞行器上使用深度图像进行环境感知时对地面区域的障碍物误检问题。具有结构简单，控制效果好等优势，较好地解决了扑翼飞行器自主避障问题。翼飞行器自主避障问题。翼飞行器自主避障问题。

技术研发人员：

付强 刘禹杉 贺威 李哲 刘胜南 王久斌 张辉 何修宇 邹尧 李擎

受保护的技术使用者：

北京科技大学

技术研发日：

2023.01.04

技术公布日：

2023/3/24