paper：ANOMALY DETECTION IN AIRCRAFT DATA USING RECURRENT NEURAL NETWORKS (RNN)
摘要
从飞机飞⾏数据记录器（FDR）或飞⾏运⾏质量保证（FOQA）数据收集的多变量时间序列数据中的异常检测为识别降低安全裕度的事件和趋势提供了强有⼒的⼿段。“超标检测”算法使⽤指定参数列表及其阈值来识别已知偏差。相⽐之下，机器学习算法通过半监督或⾮监督学习检测数据中未知的异常模式。基于⼀类⽀持向量机的多核异常检测（MKAD）算法在⼀个⼤型数据集中识别了11个典型异常中的6个，但受到降维需求、对短期异常的敏感性差以及⽆法检测潜在特征中的异常的限制。 本⽂描述了具有长短时记忆（LTSM）和选通递归单元（GRU）结构的递归神经⽹络（RNN）的应⽤，它可以克服上述限制。RNN算法检测到测试数据集中11个异常中的9个，精度为1，召回率为0.818，F1值0.89。为时间序列数据设计的RNN体系结构适合在飞⾏甲板上实施，以提供实时异常检测。还讨论了这些结果的含义。
⼀、介绍
从飞机飞⾏数据记录器（FDR）或飞⾏运⾏质量保证（FOQA）数据收集的多变量时间序列数据中的异常检测为识别降低安全裕度的事件、趋势或预兆提供了⼀种强有⼒的⼿段。
标检测算法使⽤⼀组规则来检测飞⾏各个阶段中存档的FDR数据中的异常情况。超越检测算法的性能取决于“规则”的设计。相⽐之下，机器学习算法通过学习“决策边界”来检测输⼊数据中的异常（即⾮正常）模式。Li等⼈⽐较了多核异常检测（MKAD）和聚类异常检测算法的性能通过对11个已知异常的同⼀组数据进⾏测试。这两种算法识别了11个异常中的6个。此外，这两种机器学习算法受到以下限制：（i）降维的需要，（ii）对短期异常的敏感性差，（iii）⽆法检测潜在特征中的异常。此外，它们不能⽤于飞⾏甲板上的实时异常检测。本⽂介绍了递归神经⽹络（RNN）在飞⾏数据异常检测中的应⽤。具有长-短期记忆细胞的递归神经⽹络（RNN LSTM）和具有门控递归单元的递归神经⽹络（RNN GRU）能够处理多变量连续时间序列数据，⽽⽆需降维，并且能够检测潜在特征中的异常。RNN还可⽤于飞⾏甲板上的实时异常检测。
RNN LTSM和RNN GRU结果的性能与MKAD在本研究中从模拟到达SFO 24L和24R⽣成的存档时间序列飞⾏数据中11个预定义异常的性能进⾏了⽐较。RNN LSTM和RNN GRU在测试集中检测到11个异常中有9个异常（精度=1，召回率=0.818，F1得分=0.89），⽽MKAD在11个异常中有6个异常（精度=1，召回率=0.5，F1得分=0.66）。
RNNs显⽰出⽐MKAD检测更细微异常的能⼒，如飞⾏指引仪切换和⼀例跑道对准异常。RNN和MKAD⼀样，未能在短时间内检测到俯仰的变化，以及跑道线形变化的微妙情况。此外，通过接受多变量数据点序列作为输⼊并将其作为时间序列数据处理，预训练的RNNs模型可⽤于飞机上的实时异常检测。
⼆、飞⾏数据异常检测的研究进展
货物销售
Exceedance Detection
超标检测是当今航空业使⽤的标准飞⾏数据分析⽅法。在特定条件下，检查飞⾏参数是否超出预定义的限制。这些限制和条件由领域专家根据航空公司的标准操作程序预先确定。⽰例事件包括：起飞期间的俯仰和速度、襟翼回缩点以及稳定进近的各种参数。因此，此⽅法⽆法检测未知和未指定的条件。
Multiple Kernel Based Anomaly Detection (MKAD)
基于多核的异常检测（MKAD）使⽤多核学习（MKL）同时为离散和连续序列合并单独的核函数。
MKAD中使⽤⼀类⽀持向量机作为异常检测⽅法。单类⽀持向量机是⼀种半监督⽅法，它通过最⼤化原点和超平⾯之间的边界，在⾼维特征空间中构造最优超平⾯。这是通过解决优化问题来实现的，其
对偶形式如下所⽰：
min Q =ααK (x ,x )
21i ,j ∑i j i j subject to 0≤α≤i ,α=lv 1i ∑i 1,ρ≥0,v ∈[0,1]
其中为拉格朗⽇乘⼦，为可调参数，给出了训练误差的上界和作为⽀持向量的训练点分数的下界。解决这个优化问题会产⽣⾄少个拉格朗⽇乘数⼤于零的训练点，这些数据点称为⽀持向量。是⼀个偏差项，是离散核和连续核线性组合得到的复合核，如下所⽰：
其中是控制两个内核贡献的参数。
⽀持向量是边际或⾮边际。⼀旦获得了⽀持向量，以下等式给出的决策函数⽤于确定测试数据点是否正常或异常。负值的数据点被归类为异常，正值的数据点被视为正常。
可持续发展内涵
基于聚类的异常检测（ClusterAD ）
基于聚类的异常检测（ClusterAD）最初将原始数据转换为时间序列数据。为了将数据映射到⾼维空间中的可⽐向量，来⾃不同航班的时间序列数据通过特定事件锚定，以使时间模式具有可⽐性。然后，根据时间、距离或参考事件的其他参考，以固定间隔对每个飞⾏参数进⾏采样。所有采样值按以下形式排列，以形成每次飞⾏的⾼维向量：
其中是采样时间时第个飞⾏参数的值，是飞⾏参数的数量，是每个飞⾏参数的样本数量。现⾏⽅法的局限性
Need for Dimensionality Reduction 降维的必要性
MKAD和ClusterAD都对该数据进⾏预处理，使⽤复杂的降维技术将整个航班的顺序数据转换为⾼维时间序列数据，将⾼维数据映射到低维特征空间。具体来说，MKAD使⽤符号聚合近似（SAX），ClusterAD使⽤主成分分析（PCA）作为降维技术。这限制了这些算法在实时异常检测中的应⽤。此外，ClusterAD要求多个航班的特征向量与特定事件对齐，以便进⾏有意义的⽐较。
Poor sensitivity towards short term anomalies 对短期异常的敏感性差
过去的研究发现，MKAD和ClusterAD对持续时间短的异常模式不敏感。其中⼀个原因可能是，由于降维过程中的数据压缩，其中⼀些细微差别可能已经丢失。
Inability to detect anomalies in Latent Features ⽆法检测潜在特征中的异常
MKAD和Cluster AD都⽆法检测特征向量中未明确显⽰的特征中的异常，尽管这些潜在特征可以从现有特征中衍⽣出来。例如，两种算法都未能在着陆期间检测到异常俯仰率，因为俯仰率不是特征向量的⼀部分。该数据集将节距值作为特征之⼀。
递归神经⽹络（RNN ）
递归神经⽹络（RNN）不同于标准神经⽹络，它允许隐层神经元的输出反馈并作为神经元的输⼊。通过这种⽅式，⽹络能够使⽤过去的历史作为了解数据顺序性质的⼀种⽅式。本⽂使⽤了两种类型的RNN。
持续惊恐长-短期记忆（LSTM）有助于学习输⼊中的长期依赖性。LSTM体系结构由⼀组称为内存块的循环连接结构组成。每个块包含⼀个或多个⾃连接的内存单元，每个单元都具有关联的单元状态。内存块围绕单元构建，通过使⽤标识函数并始终获取输⼊的单位权重，确保恒定的错误流通过单元。因此，这些单元解决了传统递归神经⽹络中常见的消失/爆炸梯度问题。计算机保护条例
选通循环单元（GRU）是LSTM的特殊变体，它将忘记门和输⼊门合并为⼀个更新门，从⽽形成⽐标准LSTM模型更简单的模型。
基于LSTM和GRU单元的递归神经⽹络没有MKAD或Cluster AD的局限性，因为RNN根据定义能够处理多元顺序输⼊数据，⽆需任何修改，并将其视为时间序列数据。
三、⽤于分析的飞⾏数据源
通过模拟飞⾏⽣成⼤量类似FOQA的数据，⽤于开发和测试机器学习/数据挖掘算法。该数据不受限制，
可以公开获取。
使⽤X-Plane软件开发⼯具包（XSDK）将X-Plane模拟配置为在蒙特卡罗外壳中运⾏，以⽣成类似FOQA的数据。开发了外部插件来操作模拟设置配置、引导命令和蒙特卡罗外壳。
αi v vl ρK K d K c K (x ,x )=i j ηK (x ,x )+d i j (1−η)K (x ,x )
c i j ηx :i i ∈[l ],α>i 0ξ=m i :0<α<i 1ξ=nm i :α=i 1α˙f (x )=j sign (αk (x ,x )+i ∈ξm ∑i i j αk (x ,x −i ∈ξnm ∑
i i j ρ))[x ,x ,⋯,x ,⋯,x ,x ,⋯,x ]
微波通信
uat 11t 21t n 1t 1m t 2m t n m
x t j i t j i m n
数据集共包括500次航班，其中485次为正常航班，15次为异常航班。
11个典型异常被引⼊数据集中：
四、分析结论
模拟⽣成的FOQA类数据进⾏RNN–LSTM、RNN–GRU和MKAD算法训练和测试的分析结果。
结果如下：
正常飞⾏也是测试集的⼀部分。RNN和MKAD算法都成功地将它们分类为负值。通过这种⽅式，RNN没有出现任何误报，产⽣的理想精度值等于1。
由于⼤多数异常被正确分类，它们也会导致较⾼的召回值，从⽽导致较⾼的F1分数。所有使⽤RNN和LSTM单元以及GRU单元的模型都表现同样出⾊。所有具有不同配置的模型都产⽣了类似的结果，具有⾼精度和⾼召回值。由于F1分数同时考虑了精确度和召回率，因此它最能代表模型的整体性能。RNN-LSTM和RNN-GRU在所有三个指标上都优于MKAD。虽然MKAD能够获得⾼精度值，但由于假阴性，其整体性能较差。
结论
RNN能够毫不含糊地检测到11个异常中的8个。另外⼀个异常接近检测。MKAD算法检测到11个异常中的6个。
RNN设计⽤于处理多变量时间序列数据，如FOQA数据。此外，它们不需要降维，对短期异常更敏感，并且可以检测潜在故障中的异常。RNN也适⽤于在飞⾏甲板上实现实时异常检测。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议