(10)申请公布号 CN 102053563 A
(43)申请公布日 2011.05.11C N 102053563 A
*CN102053563A*
(21)申请号 201010605643.0
(22)申请日 2010.12.27
G05B 17/02(2006.01)
G09B 9/30(2006.01)
G06K 9/00(2006.01)
G06T 17/00(2006.01)
(71)申请人刘宇
地址116021 辽宁省大连市高新区屹馨街
129号楼3-1
(72)发明人刘宇
种法锋
(54)发明名称
(57)摘要
本发明属于航空训练领域，涉及到模拟机飞
行训练数据采集及质量评估系统及其技术解决方
案，特别是涉及到对模拟机训练系统显示器中的
频分帧后的图像进行预处理，通过模式识别技术
识别出图像中的飞行数据，对模拟机训练过程中
的飞行轨迹进行三维仿真进而进行教学评估，并
针对典型性问题归纳总结附带飞行训练视频一并
上传到视频服务器，提供共享和学习平台。在与模
拟机系统保持完全隔离，不与模拟机本身系统有
数据连接通道的情况下，准确采集飞行数据，再现
飞行员训练过程并对其进行质量评估的问题。(51)Int.Cl.
(19)中华人民共和国国家知识产权局(12)发明专利申请
权利要求书 1 页 说明书 7 页 附图 2 页
1.一种模拟机飞行训练数据采集与质量评估系统，包括数据采集、三维仿真与质量评估、视频共享与学习平台，其特征是对模拟机训练系统显示器中的飞行数据进行视频信息采集，利用图像处理和模式识别技术识别数据，进行三维仿真，方便质量评估和视频共享学习。
2.根据权利要求1所述的数据采集子系统，其特征在于其包括至少一个8路或8路以上视频服务器，两块或以上视频分屏器，用视频分屏器将显示器中视频流一分为二，并通过信号转换设备，将VGA信号转换成AV信号，传送到8路视频服务器中。
3.根据权利要求1所述的数据采集子系统，其特征在于通过3个摄像头对受训学员的飞行动作及模拟机显示仪表中数据进行音视频信息采集，并将视频信息方式传送到8路视频服务器中。
4.根据权利要求1所述的数据采集子系统，其特征在于在8路视频服务器中包含飞行数据识别程序模块和视频上传程序模块，功能分别如下：
(1)数据识别程序模块实现快速准确的识别飞行训练过程中的飞行数据，并将飞行数据存储到数据库服务器中。
(2)视频上传程序模块将教员对典型的飞行训练问题的指导和评估电子化，与其相对应的飞行视频一并传送到视屏共享与学习平台中的视频数据服务器中，学员和教员可以对此资源进行下载学习，减少飞行训练过程中的低效、重复的飞行动作。
5.根据权利要求3所述的数据识别程序模块，其特征在于包括以下步骤：
(1)视频分帧
对视频进行抽取视频帧操作，分离为一幅幅静态图片。
(2)图像预处理
对图像进行预处理操作包括灰度化、二值化、灰度拉伸、边缘增强。
(3)飞行数据区域定位
通过视频帧间差分技术，对飞行数据区域进行准确定位
(4)字符分割
根据字符书写格式、尺寸等分割出每一个字符。
(5)数据识别
对分割收的字符进行特征值提取，作为数据输入，利用神经网络完成对飞行训练数据的识别，并存储到数据库中。
6.根据权利要求1所述的模拟机飞行轨迹三维仿真子系统，其特征在于将研发的三维仿真程序模块直接植入8路视频服务器中，实时接收数据识别程序输出的飞行训练数据对飞行轨迹进行三维仿真，并将仿真视频实时输出到模拟机飞行训练质量评估子系统中。
7.根据权利要求1模拟机飞行训练质量评估子系统，其特征在于直接连接到8路视频服务器中，用于同时显示经过处理后的多路视频，包括驾驶舱中受训员飞行训练动作、仪表数据显示、两个飞行数据显示视频、三维仿真视频。
8.根据权利要求1所述的模拟机训练系统中的视频共享与学习平台，其特征在于包含单独的视频服务器，与权利2中的8路视频服务器直接相连，其内置入了学员登录程序及视频检索程序，并且存储受训学员的飞行记录视频及具有典型代表性质的视频(包括专家对其指导和评估)，方便受训学员的训练前的预习及训练后的更进一步学习。
模拟机飞行训练数据采集及质量评估系统
技术领域
[0001] 本发明属于航空训练领域，涉及到模拟机飞行训练数据采集及质量评估系统及其技术解决方案，特别是涉及到对模拟机训练系统显示器中的飞行数据进行视频采集，应用图像处理技术对视频分
帧后的图像进行预处理，通过模式识别技术识别出图像中的飞行数据，对模拟机训练过程中的飞行轨迹进行三维仿真进而进行教学评估，并针对典型性问题归纳总结附带飞行训练视频一并上传到视频服务器，提供共享和学习平台。
背景技术
[0002] 飞行员培训是民航业事业蓬勃发展和保持更高安全水平的基础性工作，其教学工作以学习的渐进原理为设计依据，注重将知识积累和飞行技能实践相结合。该行业特有的严谨性和复杂性迫切需要相应的软件产品为其飞行训练教学工作提供技术支持和保证。加大飞行员训练投入、加快成才速度、提高训练质量是摆在各航空公司面临的重要课题。同时，国内飞行员飞行时间较短，实战训练较少，模拟真实飞行的飞行训练系统显得格外重要，因此模拟机训练器教学在训练体系中占有相当重要的地位，是整体训练大纲的一个重要组成部分，而重飞机训练轻模拟机训练器带飞的观点是制约提高教学质量的一个重要因素。
[0003] 用于训练飞行员的飞行模拟机和飞行训练设备有许多种类，从可模拟各种飞机通用系统的部分功能训练器(Part-Task Trainer，PTT)，练习操作与仪表检查的驾驶舱程序训练器(Cockpit Procedures Trainer，CPT)，到最复杂的全功能飞行模拟机(Full Flight Simulator，FFS)。较高等级的全功能飞行模拟机可以做出有6个自由度的全方位移动，同时也有广角高传真的视觉系统来模拟窗外的景。包含
了拟真的驾驶舱与视觉系统的模拟器座舱是装在由6支起重轴支撑的运动平台上，借由电脑的控制可以提供三个轴线的线性运动与旋转，就如同一个真实的自由物体在空间的运动状况。三种旋转分别是俯仰(机头朝上或下)、滚转(某一面机翼朝上或下)与偏转(机头朝左或右)；而三种线性运动分别是起伏(上下移动)、横移(左右移动)以及纵移(向前加速或减速)。
[0004] 飞行模拟器也用于训练机组成员的正常和紧急作业程序。所以使用模拟器可训练飞行员处理各种飞机在有问题或不安全的情况下，诸如发动机故障、液压或电气系统失灵、仪表失常等等。
[0005] 现代的飞行模拟器，集计算机、机械、电气、电子、自动控制、液压、光学等技术于一身，是一种十分复杂、精密的高科技设备。自2007年起，飞行模拟机制造公司-加拿大CAE 公司提出了一种模拟机新技术-SimXXI，该技术的提出是对传统模拟机生产技术的挑战，主要从以下几个方面定义：(1)模块化设计；(2)基于windows的计算机结构；(3)一对一的接口设计；(4)维护导向设计；(5)连接CAE文档体系的树状诊断系统；(6)部件集成化高，数量减少；(7)较轻的模拟机结构。其中模块化设计就是将整台飞行模拟机分解为一个个典型的模块式结构，可以根据不同的机型要求进行灵活组合，安装成适合需要的模拟机整体，便于实现产品的批量化和标准化，有利于后期的维护和使用；基于windows的计算机结构
打破了传统模拟机采用小型机+AIX操作系统的旧模式，采用基于windows和PC计算机的分布式结构，
可以更加方便的操纵模拟机；一对一的接口设计采用Super C总线控制结构，模块化控制各种电子设备，实现了一块接口卡控制一个电子设备，同时采用了相对集中、标准化的接口卡，从而大大方便了模拟机的维护和使用；树状诊断系统和维护导向设计基于计算机结构和一对一的接口设计使SimXXI实现对系统的软硬件的自动诊断，维护工程人员还可以通过模拟机厂家建立的强大的模拟机维护信息网站迅速了解模拟机的维护信息，按照网站的维护导向一步步解决问题，给维护工作带来极大地方便；较轻的模拟机结构使整个模拟机重量减轻，能够给迅速的响应运动；同时CAE的模拟机开始采用电动式运动系统代替传统的液压式运动系统，使模拟机的电能消耗减少了三分之二，减少了液压工作站、水冷却循环系统带来的问题，增强了使用寿命，也提高了模拟机的训练质量。
[0006] 随着科学技术的进步，飞行模拟机也变得越来越先进，越来越逼真，但是应用在模拟机训练过程中的教学评估手段却没有得到及时的更新，而目前国内民航训练用模拟机依赖进口，国外公司对其系统进行一定的技术保护，限制在模拟器使用计算机上安装任何软件，并对系统的维护和升级都收取非常高的费用。
[0007] 在与模拟机系统保持完全隔离的条件下，开发模拟机的辅助训练系统，需要取得准确的飞行模拟训练数据，在国外公司的限制下，较难自行设计系统。这也成为了民航训练行业发展的一个瓶颈，突破国外的技术封锁，开发自己的具有针对性的模拟机飞行数据采集与质量评估系统显得尤为重要。据专家介绍类似的开发项目在国内还没有研制成功的记录，有少数国家的航空公司拥有类似的系统，
但价格昂贵，增加了模拟机训练费用。
发明内容
[0008] 本发明的目的是在与模拟机系统保持完全隔离的条件下，提供一种方法准确采集到模拟机训练过程的各种飞行数据，在此基础上对模拟机飞行轨迹进行三维仿真，重现飞行员的飞行状态，用于教学点评，并提供视频共享与学习平台。解决了在不与模拟机本身系统有数据连接通道的情况下，准确采集飞行数据，再现飞行员训练过程并对其进行质量评估的问题。
[0009] 本发明的技术解决方案如下：本系统直接针对计算机屏幕上显示的模拟机数据，应用图像处理技术和模式识别技术，识别出模拟飞行训练过程中的各参数，并记录到数据库中，基于采集到的各种飞行数据，运用三维仿真技术，对训练过程中的飞行数据、飞行动作、操作流程以及仪表显示进行再现，对于典型问题评估将与对应视频一并上传到视频服务器。
[0010] 一、飞行数据的采集及识别过程
[0011] (一)数据采集
[0012] 数据采集系统的种类主要分为两类：设备类和网络类。本系统中数据采集子系统为设备类，数据采集来源于模拟机飞行训练系统中飞行数据的显示设备，并没有关联到外界的网络数据库，主要包
括：
[0013] 1、两个分频设备
[0014] 分频设备将模拟机主机柜中的飞行数据流的VGA信号一分为二，一路直接传送到显示器中，另一路经过信号转换设备转换成AV信号，传送到8路视频服务器中。
[0015] 2、信号转换设备
[0016] VGA视频信号的带宽及信息要求量太大，为了方便后期数据识别过程，信号转换设备用于将模拟机中的VGA信号转换成AV信号。
[0017] 3、3个摄像头(含声音)
[0018] 3个摄像头其中一个用于采集模拟机训练室内的飞行员训练的视频和音频信息，另外两个分别采集模拟机上仪表的两个侧面的视频信息，用于后面的图像校正和融合。[0019] 4、8路视频服务器
[0020] 视频服务器中包含两块数据采集卡，用来接收摄像头传送的视频信息及从模拟机机柜中传送过来的飞行数据视频信息，并且能够同时显示8路视频信息，把飞行员飞行训练过程、飞行数据、模拟机中的仪表显示、甚至后期的三维再现视频等视频流集成到同一平台中，实现各视频的同时播放，方便教员及检查员对受训队员的飞行过程从各个角度进行评估，真正意义上提高训练质量。
[0021] (二)数据识别
[0022] 1、视频分帧
[0023] 视频是由一系列连续变化的静态图像经过一定的技术处理而形成，通常所说的帧数是1秒内变化的图像数，帧则是变化中的某一副静止图像。视频分帧就是把视频分离为一幅幅的静态图像，存储到专门的文件夹内，方便之后识别其中的数字信息。本系统中视频分帧的实现基于Intel公司支持的开源计算机视觉库OpenCV(Open Source Computer Vision Library)，并在其基础上于windows操作系统中，采用VisualStudio2005平台，用C++语言实现了视频分帧，并且实现了分离指定帧，隔帧取图等功能。
[0024] 2、图片预处理
[0025] (1)灰度化
[0026] 一般通过摄像头采集的图像或者计算机中存储的图像通常是彩图，即24位真彩图像。彩图像包含着大量的彩信息，不仅占用了大量的内存，也大大降低了处理速度。因此通过将彩图像灰度化来提高处理速度。彩图像又称RGB图像，它是由R、G、B 三个分量来表示一个像素信息。当图像中的每一个像素值R＝G＝B是，表示一种灰度颜。灰度化通常有三种方法：
[0027] 1)最大值法：R＝G＝B＝max(R，G，B)
[0028] 2)平均值法：R＝G＝B＝(R+G+B)/3
[0029] 3)加权值法：R＝G＝B＝0.30R+0.59G+0.11B
[0030] 因为人眼对绿敏感度最高，红次之，蓝最低，因此加权值法中的权值可以得到最合适的灰度图像，所以本系统选择加权值法对从视频中分离出的图像进行灰度化。[0031] (2)二值化
[0032] 二值化是数字图像处理技术中的一项基本技术，在许多应用场合都要求首先对输入的图像进行二值化，二值图像就是指整幅图像内仅有黑、白两个值。为了加快处理速度并能将飞行数据与背景分开，通过阈值的设定将灰度值小于阈值的像素直接设置为255，灰度值大于阈值的像素值直接设置为0。因此阈值的选择至关重要，阈值分为全局阈值和局部阈值。全局阈值方法速度比较快，但是容易受到光线条件、背景亮度及图像背景的影响从而引起飞行数据的丢失；局部阈值可能引起伪影或笔画断裂。考虑到实际环境的复杂性，定义
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议