基于机器视觉辅助的门对门全自主飞行着陆引导方法

1.本公开属于飞行器引导技术领域，具体涉及一种基于机器视觉辅助的门对门全自主飞行着陆引导方法。

背景技术：

2.现有技术中的仪表着陆系统精确度较低的ⅰ类盲降虽然普遍存在，但仅能够在能见度不低于800m的条件或跑道视程不小于550m的情况下，引导飞机到60m的决断高度，而精确度较高的ⅱ类和ⅲ类盲降虽然引导的决断高度更低一些(最高等级的ⅲc类无决断高度，即可引导飞机到触地)，但同时需要更加严苛的信号保护措施，对电磁环境要求很高，设备的成本和维护费用也较高，对机组的技术要求也更高，通常效益不高。此外，飞行员培训过程的长周期性无法满足日益增长的空中交通量。

技术实现要素：

3.为了解决上述技术问题，本公开的目在于提供一种能够依据机器视觉辅助着陆系统引导，一定程度上可以减少飞行员培训过程，有效减轻飞行员负担，提高飞机安全性的基于机器视觉辅助的门对门全自主飞行着陆引导方法。
4.为了实现本公开的目的，本公开所采用的技术方案如下：
5.一种基于机器视觉辅助的门对门全自主飞行着陆引导方法，包括：
6.处理器基于视觉传感器检测跑道上的标记，获得标记图像；
7.基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息；
8.基于所述位置信息和所述姿态信息引导所述飞行器着陆。
9.可选地，所述基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息，包括：
10.基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一位置信息；
11.基于飞行器上仪表着陆系统和气压高度表获取飞行器在世界坐标系中的第二位置信息；
12.基于第一位置信息和第二位置信息通过最优估计算法获得所述飞行器在世界坐标系中的位置信息。
13.可选地，所述基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的姿态信息，包括，
14.基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一姿态信息；
15.基于飞行器上仪表着陆系统和惯性测量单元获取飞行器在世界坐标系中的第二姿态信息；
16.基于第一姿态信息和第二姿态信息通过最优估计算法获得所述飞行器在世界坐标系中的姿态信息。
17.可选地，所述处理器包括扩展卡尔曼滤波模块，所述最优估计算法通过扩展卡尔曼滤波模块进行计算。
18.可选地，所述第二位置信息和/或第二姿态信息作为扩展卡尔曼滤波器中时间更新的输入，第一位置信息和/或第一姿态信息作为扩展卡尔曼滤波器中测量更新的输入。
19.可选地，基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息，包括：
20.基于所述标记在标记图像的像素坐标系下的坐标，获得所述标记在视觉传感器的摄像机坐标系下的坐标；
21.基于所述标记在所述摄像机坐标系下的坐标和所述标记在世界坐标系下的坐标，获得飞行器在世界坐标系中的位置信息和姿态信息。
22.可选地，所述基于所述标记在标记图像的坐标系下的坐标，获得所述标记在视觉传感器的摄像机坐标系下的坐标，包括：
23.基于以下公式获得所述标记在视觉传感器的摄像机坐标系下的坐标：
[0024][0025]
s为所述标记在摄像机坐标系下沿着摄像机光轴zc的坐标；(u,v)是标记在像素坐标系下的坐标；(xc,yc,zc)是标记在摄像机坐标系下的坐标，f
x
和fy是相机的焦距，(u0,v0)为标记图像的图像坐标系原点在像素坐标系下的坐标，k是摄像机的内参矩阵。
[0026]
可选地，所述基于所述标记在所述摄像机坐标系下的坐标和所述标记在世界坐标系下的坐标，获得飞行器在世界坐标系中的位置信息和姿态信息，包括：
[0027]
基于以下公式组获得飞行器在世界坐标系中的位置信息和姿态信息：
[0028][0029][0030][0031]
其中，(xw,yw,zw)是标记在世界坐标系下的坐标，r为旋转矩阵，t为平移矩阵，ψ、和θ分别为飞行器姿态信息的偏航角、俯仰角以及滚转角，(t
x
,ty,tz)为飞行器在世界坐标
系下的坐标。
[0032]
本公开还提供一种可读存储介质，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如权利要求1-3、5-7任一项所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。
[0033]
本公开还提供一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时执行如权利要求1-3、5-7任一项所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。
[0034]
本公开采用机器视觉传感器来代替最后进近阶段飞行员的目视进近来辅助仪表着陆可以有效减轻飞行员负担，使飞行员将更多的精力放在战略决策和管理等任务上，有效缓解飞行员短缺问题。同时，很多飞行事故都是由于人工操作不当引起的，使用机器视觉代替飞行员目视进近在一定程度上可以减少人为因素引起的事故，提高飞机安全性。
附图说明
[0035]
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
[0036]
图1为本公开中基于机器视觉辅助的门对门全自主飞行着陆引导方法的方法原理框图；
[0037]
图2为本公开中基于机器视觉辅助的门对门全自主飞行着陆引导方法的方法流程图；
[0038]
图3为本公开中基于机器视觉辅助的门对门全自主飞行着陆引导方法的摄像机成像原理图；
[0039]
图4为本公开的基于机器视觉辅助的门对门全自主飞行着陆引导方法的飞机着陆过程的示意图。
具体实施方式
[0040]
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
[0041]
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
[0042]
参阅图1、图2、图4所示，一种基于机器视觉辅助的门对门全自主飞行着陆引导方法，包括：
[0043]
s10、处理器基于视觉传感器检测跑道上的标记p，获得标记图像；该标记p可以是跑道中线、瞄准点标志等；可以通过摄像机或照相机对标记p进行摄像或拍照，标记图像中形成标记p’。获得标记图像；处理器可以是飞机、无人机等飞行器上的控制器。该步骤可以在飞行器由着陆系统引导至即将到达决断层高度时开始执行，当视觉传感器能识别跑道上的标记p时，继续执行s20，当视觉传感器无法识别跑道上的标记p时，可以重新复飞。
[0044]
s20、基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息，其中位置信息可以包括世界坐标系中的三坐标参数等，姿态信息可以包括飞行器的偏航角、俯仰角以及滚转角等，该步骤具体可以包括：
[0045]
s21、基于所述标记p在标记图像的像素坐标系下的坐标，获得所述标记p在视觉传感器的摄像机坐标系下的坐标，即标记p’的坐标；
[0046]
参阅图3所示，基于视觉传感器的摄像机成像模型可看作小孔成像模型。物体上的光点经过相机透镜投影到相机成像平面。因此，主要涉及三个坐标系，即摄像机坐标系、世界坐标系(跑道上的绝对坐标系)以及图像坐标系，目标检测算法就是对视觉传感器获得的图像进行识别检测出跑道上的标记p特征点在图像坐标系下的2d坐标，目标检测算法可以包括r-cnn，fast r-cnn，faster r-cnn，yolo，ssd等。
[0047]
根据视觉传感器获得的标记p在图像坐标系下的坐标信息可以解算出标记p在视觉传感器的摄像机坐标系下的坐标。
[0048]
基于以下公式获得所述标记p在视觉传感器的摄像机坐标系下的坐标：
[0049][0050]
式中，s为所述标记p在摄像机坐标系下沿着摄像机光轴zc的坐标；(u,v)是标记p在像素坐标系下的坐标；(xc,yc,zc)是标记p在摄像机坐标系下的坐标，f
x
和fy是相机的焦距，(u0,v0)为标记p图像的图像坐标系原点在像素坐标系下的坐标，即光轴在像素坐标系下的偏移量，k是摄像机的内参矩阵，可通过摄像机标定来获取。通过该步骤可以获取标记p在摄像机坐标系下的三坐标值，用于后续计算位置信息和姿态信息。
[0051]
s22、基于所述标记p在所述摄像机坐标系下的坐标和所述标记p在世界坐标系下的坐标，获得飞行器在世界坐标系中的位置信息和姿态信息。
[0052]
由于空间中某点在摄像机坐标系和世界坐标系下的变换属于刚体变换，可用旋转矩阵和平移矩阵来表示两坐标系之间的转换；
[0053]
具体基于以下公式组获得飞行器在世界坐标系中的位置信息和姿态信息：
[0054][0055][0056]
[0057]
其中，(xw,yw,zw)是标记p在世界坐标系下的坐标，r为旋转矩阵，t为平移矩阵，ψ、和θ分别为飞行器姿态信息的偏航角、俯仰角以及滚转角，(t
x
,ty,tz)为飞行器在世界坐标系下的坐标。基于步骤s21中获取的摄像机坐标系下的坐标(xc,yc,zc)，可以获得
[0058]
故通过目标检测算法获得标记p在摄像机坐标系下的坐标(xc,yc,zc)后，结合标记p在已知的世界坐标系下的坐标(xw,yw,zw)，则可以解算包含飞行器位置信息(t
x
,ty,tz)和姿态信息(ψ、和θ)的转换矩阵。
[0059]
s30、基于所述位置信息和所述姿态信息引导所述飞行器着陆。该步骤中，飞行器还可以依据位置信息和所述姿态信息计算飞行器是否能够安全着陆，如果能够安全着陆，则利用位置信息和所述姿态信息引导飞行器最后阶段的着陆至地面，若依据位置信息和姿态信息判断无法安全着陆，则飞行器可以重新复飞，恢复到决断高度和位置和重新执行步骤s10。
[0060]
在另一优选实施例中，还可以将视觉传感器得到的飞行器位姿(位置信息和姿态信息)以及其他机载传感器(包括惯性测量单元、气压高度表以及仪表着陆系统)得到的飞行器位姿利用进行多源传感器信息融合，提高飞机位姿估计的精度。
[0061]
s20中，位置信息的信息融合具体包括：
[0062]
基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一位置信息；
[0063]
基于飞行器上仪表着陆系统和气压高度表获取飞行器在世界坐标系中的第二位置信息；该第二位置信息可以是飞行器上的气压高度表高度信息等。
[0064]
基于第一位置信息和第二位置信息通过最优估计算法获得所述飞行器在世界坐标系中的位置信息，
[0065]
s20中，姿势信息的信息融合具体包括：
[0066]
基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一姿态信息；
[0067]
基于飞行器上仪表着陆系统和惯性测量单元获取飞行器在世界坐标系中的第二姿态信息；该第二姿态信息可以是飞行器上惯性测量单元姿态信息等。
[0068]
基于第一姿态信息和第二姿态信息通过最优估计算法获得所述飞行器在世界坐标系中的姿态信息；
[0069]
其中，最优估计算法可以采用现有技术中的大系统估计理论方法、鲁棒估计理论方法、卡尔曼滤波器估计、u－d分解滤波、平滑新方法、状态与参数联合估计、非线性系统状态估计等方法。在本实施例中，最优估计算法通过扩展卡尔曼滤波器进行计算。
[0070]
卡尔曼滤波器的主要思想就是以k-1时刻的最优估计x
k-1
为准，预测k时刻的状态变量同时对该状态进行观测，得到观测变量zk，再以观测量对预测量进行修正，得到k时刻的最优估计状态xk。主要过程包括了时间更新(状态预测)和测量更新(状态更新)两部分。卡尔曼滤波器不断把协方差递归，从而估算出最优的位姿值。公开中将惯性测量单元、气压高度表以及仪表着陆系统得到的位姿信息作为卡尔曼滤波器时间更新阶段的测量值进行时间更新，视觉传感器位姿估计的速度较慢，因此将视觉测量值作为系统的测量值，完成系统的测量更新。
[0071]
在本实施例中，第二位置信息和/或第二姿态信息作为扩展卡尔曼滤波器中时间
更新的输入，第一位置信息和/或第一姿态信息作为扩展卡尔曼滤波器中测量更新的输入。依据第一位置信息和第二位置信息时时更新最优的位置信息，依据第一姿态信息和第二姿态信息时时更新最优的状态信息；
[0072]
本公开示例性实施例提供的一种可读存储介质，其上存储有可执行指令，当可执行指令被执行时，使得计算机执行上述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。计算机可读存储介质可以是：电子介质、磁介质、光介质、电磁介质、红外介质或半导体系统或传播介质。计算机可读存储介质还可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘可以包括光盘-只读存储器(cd-rom)、光盘-读/写(cd-rw)和dvd。
[0073]
本公开示例性实施例提供的一种电子设备，其包括处理器和存储器，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时执行上述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。所述处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，例如，处理器采用基于多核数字信号处理器3713，内置多个主频500mhz的dsp核，并且使用中断的方式来控制时间精度；所述存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。所述存储器也可以为随机存取存储器(randomaccessmemory，ram)类型的内部存储器，所述处理器、存储器可以集成为一个或多个独立的电路或硬件，如：专用集成电路(applicationspecificintegratedcircuit，asic)。需要说明的是，上述的存储器中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
[0074]
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
[0075]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0076]
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并
非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。

技术特征：

1.一种基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于，包括：处理器基于视觉传感器检测跑道上的标记，获得标记图像；基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息；基于所述位置信息和所述姿态信息引导所述飞行器着陆。2.如权利要求1所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于，所述基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息，包括：基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一位置信息；基于飞行器上仪表着陆系统和气压高度表获取飞行器在世界坐标系中的第二位置信息；基于第一位置信息和第二位置信息通过最优估计算法获得所述飞行器在世界坐标系中的位置信息。3.如权利要求2所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：所述基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的姿态信息，包括，基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的第一姿态信息；基于飞行器上仪表着陆系统和惯性测量单元获取飞行器在世界坐标系中的第二姿态信息；基于第一姿态信息和第二姿态信息通过最优估计算法获得所述飞行器在世界坐标系中的姿态信息。4.如权利要求3所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：所述处理器包括扩展卡尔曼滤波模块，所述最优估计算法通过扩展卡尔曼滤波模块进行计算。5.如权利要求4所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：所述第二位置信息和/或第二姿态信息作为扩展卡尔曼滤波器中时间更新的输入，第一位置信息和/或第一姿态信息作为扩展卡尔曼滤波器中测量更新的输入。6.如权利要求1所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息，包括：基于所述标记在标记图像的像素坐标系下的坐标，获得所述标记在视觉传感器的摄像机坐标系下的坐标；基于所述标记在所述摄像机坐标系下的坐标和所述标记在世界坐标系下的坐标，获得飞行器在世界坐标系中的位置信息和姿态信息。7.如权利要求6所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：所述基于所述标记在标记图像的坐标系下的坐标，获得所述标记在视觉传感器的摄像机坐标系下的坐标，包括：
基于以下公式获得所述标记在视觉传感器的摄像机坐标系下的坐标：s为所述标记在摄像机坐标系下沿着摄像机光轴z
c
的坐标；(u,v)是标记在像素坐标系下的坐标；(x
c
,y
c
,z
c
)是标记在摄像机坐标系下的坐标，f
x
和f
y
是相机的焦距，(u0,v0)为标记图像的图像坐标系原点在像素坐标系下的坐标，k是摄像机的内参矩阵。8.如权利要求7所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法，其特征在于：所述基于所述标记在所述摄像机坐标系下的坐标和所述标记在世界坐标系下的坐标，获得飞行器在世界坐标系中的位置信息和姿态信息，包括：基于以下公式组获得飞行器在世界坐标系中的位置信息和姿态信息：基于以下公式组获得飞行器在世界坐标系中的位置信息和姿态信息：基于以下公式组获得飞行器在世界坐标系中的位置信息和姿态信息：其中，(x
w
,y
w
,z
w
)是标记在世界坐标系下的坐标，r为旋转矩阵，t为平移矩阵，ψ、和θ分别为飞行器姿态信息的偏航角、俯仰角以及滚转角，(t
x
,t
y
,t
z
)为飞行器在世界坐标系下的坐标。9.一种可读存储介质，其特征在于，其上具有可执行指令，当可执行指令被执行时，使得计算机执行如权利要求1-7任一项所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。10.一种电子设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时执行如权利要求1-7任一项所述的基于机器视觉辅助的门对门全自主飞行着陆引导方法的步骤。

技术总结

一种基于机器视觉辅助的门对门全自主飞行着陆引导方法，包括：飞行器基于视觉传感器检测跑道上的标记，获得标记图像；基于所述标记图像通过目标检测算法获得所述飞行器在世界坐标系中的位置信息和姿态信息；基于所述位置信息和所述姿态信息引导所述飞行器着陆。本公开采用机器视觉传感器来代替最后进近阶段飞行员的目视进近来辅助仪表着陆可以有效减轻飞行员负担，使飞行员将更多的精力放在战略决策和管理等任务上，有效缓解飞行员短缺问题。同时使用机器视觉代替飞行员目视进近在一定程度上可以减少人为因素引起的事故，提高飞机安全性。机安全性。机安全性。