一种有效的海洋哺乳动物声音自动检测和分类方法

1.本发明涉及海洋声学应用技术领域，尤其涉及一种有效的海洋哺乳动物声音自动检测和分类方法。

背景技术：

2.据统计，自1600年以来，世界上的2.1％的哺乳动物已经灭绝。专家统计分析发现，现在物种的灭绝速度在不断加快，约是以前(原估计)速度的100～1000倍。在全球已记录的173.9万个物种中，海洋哺乳动物约有130多种，其中鲸和海豚类动物达90余种，其它鳍脚目和海牛目等动物近40种。在我国海域中已记录的20278个生物物种中，己发现近50种水生哺乳动物(包括引进种)，其中鲸和海豚类动物有发现记录的达41种，鳍脚类动物5种(不包括引进种)，海牛目动物1种。海洋哺乳动物是自然界中最濒危的物种，几乎在世界各个国家中，海洋哺乳动物都被列为保护动物。
3.虽然海洋哺乳动物的数量少，但在维持海洋生态系统平衡中所起的作用不容小觑，对海洋哺乳动物的保护也是一件及其重要的事情；而近年来，由于物种资源状况不清、栖息地衰退、水环境污染等问题，海洋哺乳动物生存状况仍面临严峻挑战；传统的人工识别哺乳动物工作困难，工作效率低下，工作时间长，物质、人工成本高，数据处理庞大且困难，无法实施监测海洋哺乳动物，具有时间的滞后性且具有一定的危险性。且样品采集具有很大的偶然性和随机性，需要长时间的累积样品；野外调查和被动声学监测需要巨大的人力、财力和物力投入，往往难以快速、频繁和大规模的实施。鉴于很多海洋哺乳动物栖息在人迹罕见的海域，而且活动能力强，给人工识别带来了极大的困难。因此，如何对海洋哺乳动物进行检测识别和分类是目前需要考虑的问题。

技术实现要素：

4.本发明的目的在于克服现有技术的缺点，提供了一种有效的海洋哺乳动物声音自动检测和分类方法，解决了传统人工识别哺乳动物存在的问题。
5.本发明的目的通过以下技术方案来实现：一种有效的海洋哺乳动物声音自动检测和分类方法，所述自动检测和分类方法包括：
6.将现有公开和实地采集的海洋哺乳动物音频数据通过单样本变分自编码器进行数据增强处理；
7.从经过数据增强后的音频数据中提取出梅尔倒谱系数和起始强度包络进行特征拼接得到第一输入特征，通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征的音频指纹特征；
8.将梅尔频率倒谱系数和音频指纹特征输入到双路融合mg-resformer网络中，输出得到两路对样本类别概率进行预测的结果，对两路预测结果进行融合得到对海洋哺乳动物检测和分类的最终预测结果。
9.所述通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征
的音频指纹特征包括：
10.将音频数据划分为多个相同大小的原子帧，并对原子帧的数据进行傅里叶变换计算其频谱信息；
11.将计算得到的原子频谱划分为多个频谱带，对每个频谱带进行计算得到能量块，并将所有能量块进行组合得到表示原子频谱能量信息的二维矩阵；
12.对二维矩阵进行差分计算，通过捕捉每一个能量块与其邻近能量块的方式得到一个只含有0和1的01矩阵；
13.将二维矩阵和蕴含生物发声信息的01矩阵进行拼接得到音频指纹特征。
14.所述双路融合mg-resformer网络包括mg-resnet网络模型、mg-transformer网络模型和融合层；所述梅尔频率倒谱系数输入到mg-transformer网络模型中得到mg-transformer网络模型对样本的概率矩阵，所述音频指纹特征输入到mg-resnet网络中得到mg-resnet网络模型对样本的概率矩阵，所述融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分类的最终预测结果。
15.所述mg-resnet网络模型包括五个卷积层模块、一个池化层、两个全连接层、一个粗细粒度组合模块，首先通过第一个卷积层模块对输入的音频指纹特征进行7
×
7卷积，通过分别包含了两个build-block的第二卷积层到第五卷积层进行残差卷积后再进行平均池化，然后经过两个并行的全连接层后将得到的两个输出输入到粗细粒度组合层，最后得到对样本的概率矩阵。
16.所述mg-transformer网络模型首先对输入的梅尔频率倒谱系数进行池化以降低特征对不同位置的敏感程度，然后输入到编码层中通过多头注意力机制提取不同的特征信号，并对特征进行切分以增强模型对全局特征的关注力，通过两个线性层分别提取粗粒度和细粒度概率，最后输入到粗细粒度组合层得到样本的概率矩阵。
17.所述融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分类的最终预测结果包括：
18.在融合层中设置9个神经元，两个网络模型输出的9种类别的概率值分别经过9个神经元与9个伪神经元；
19.其中一路网络模型输出的类别概率值直接与9个神经元进行相乘操作，另一路网络模型输出的类别概率值与9个伪神经元相乘，再将得到的两组概率值相加进行归一化操作得到最终的概率。
20.所述mg-transformer网络模型和mg-resnet网络模型中通过粗细粒度组合层得到样本额概率矩阵包括：
21.mg-resnet网络模型中通过两个并行的全连接层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量，mg-transformer网络模型中通过两个并行的线性层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量；
22.粗细粒度组合层中的粗粒度层对输入数据通过softmax函数得到样本所属粗粒度类别的概率，细粒度层对输入数据进行分组，将属于同一粗粒度类别的细粒度数据划分为一组，并对每组进行softmax操作，最终将得到粗粒度概率与对应细粒度概率相乘得到类别概率信息p1；
23.通过类残差结构对细粒度层的输入直接进行softmax运算并赋予ε后与p1所在的
矩阵进行运算即p2＝p1+ε*p0，p0表示对细粒度层的输入直接进行softmax运算得到的概率；
24.最后将p2进行归一化得到样本最终的概率矩阵p3＝p2/∑p2。
25.本发明具有以下优点：一种有效的海洋哺乳动物声音自动检测和分类方法，不同于传统的特征，通过构建音频指纹信息包含的叫声信号大量的能量、频率、时序信息和不同物种特有的发声表达能力，并在卷积神经网络中展现了先进性；通过构建多粒度联合层，用于辅助多分类任务，通过使用“界门纲目科属种”的划分方式为将要进行识别的物种数据构建了粗粒度层和细粒度层，粗粒度层对应物种的“科”，细粒度对应物种的“属”，并通过粗粒度的先验判断巩固细粒度层的决策，多粒度融合层具有强大的普适性，可适用于其他的研究；通过双路并行的融合网络结构，使得融合网络可以同时具有捕捉高维特征和利用时序信息的能力，并利用不同网络所关注的不同信息，增强模型间的互补性对模型性能进行高效提升。
附图说明
26.图1为本发明的双路mg-resformer网络的结构示意图；
27.图2为粗细粒度组合层的结构示意图；
28.图3为mg-resnet网络模型的结构示意图；
29.图4为融合层的结构示意图；
30.图5为多种网络模型的效果对比图。
具体实施方式
31.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的保护范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。下面结合附图对本发明做进一步的描述。
32.如图1所示，一种有效的海洋哺乳动物声音自动检测和分类方法，所述自动检测和分类方法包括：
33.s1、将现有公开和实地采集的海洋哺乳动物音频数据通过单样本变分自编码器进行数据增强处理；
34.其中，公开的海洋哺乳动物音频数据为沃特金斯海洋哺乳动物声音数据库中所公开的9类海洋哺乳动物信息，该数据库提供了从1940年到2000年的海洋哺乳动物声音记录；为方便音频指纹的生成与同一网络输入数据尺度，将长短不一的音频平均的分割成2s的音频；
35.为了防止样布分布对模型的学习造成负面影响，通过单样本变分自编码器(singe sample sampling vae，s3vae)解决普通vae(plain vae，pvae)生成图像可能出现的模糊、混乱(指后验崩溃使得图像重合严重)现象。
36.s2、从经过数据增强后的音频数据中提取出梅尔倒谱系数和起始强度包络进行特
征拼接得到第一输入特征，通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征的音频指纹特征；
37.进一步地，音频特征提取可以精简原始波形的采样信号，从而加速机器对音频中语义含义的理解。为得到效果最好的音频特征，提取了音频数据主流的9种特征：谱信息、常数q谱信息、归一化谱信息、梅尔频谱信息、梅尔倒谱信息、光谱对比度、音调质心、起始强度包络的局部自相关、傅里叶时速图。
38.首先对样本进行预加重，以提高信号高频部分的能量，给定时域输入信号x[n]，预加重之后信号为：y[n]＝x[n]-αx[n-1],0.9≤α≤1.0；
[0039]
为预加重后的声音信号进行了分帧加窗处理，为方便后续各种特征的提取，我们要使信号在窗边界的值近似为0，从而使得信号趋近于是一个周期信号，该窗函数如下：
[0040][0041]
在信号进行预处理后，通过python中的开源库librosa提取了上文中的九种特征，由于每种特征关注的维度的不尽相同，对特征进行组合，对这些组合进行训练并验证其相关性，最终选定两种特征进行拼接作为输入数据之一：梅尔倒谱系数(mfcc)与起始强度包络。
[0042]
s3、将梅尔频率倒谱系数和音频指纹特征输入到双路融合mg-resformer网络中，输出得到两路对样本类别概率进行预测的结果，对两路预测结果进行融合得到对海洋哺乳动物检测和分类的最终预测结果。
[0043]
进一步地，如图2所示，通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征的音频指纹特征包括：
[0044]
将音频数据划分为多个相同大小的原子帧，并对原子帧的数据进行傅里叶变换计算其频谱信息；
[0045]
将计算得到的原子频谱划分为多个频谱带，对每个频谱带进行计算得到能量块，并将所有能量块进行组合得到表示原子频谱能量信息的二维矩阵；
[0046]
对二维矩阵进行差分计算，通过捕捉每一个能量块与其邻近能量块的方式得到一个只含有0和1的01矩阵；
[0047]
将二维矩阵和蕴含生物发声信息的01矩阵进行拼接得到音频指纹特征。
[0048]
具体地，在传统的音频特征中，如mel频谱、mfcc、谱图往往只与声纹中单一的信息有关，因此本发明希望能构建一种包含有频率、能量、时序的新型声纹特征，以增强单一信号存在的弱项，并且还希望该特征能够体现出不同物种发声的独特性。
[0049]
本发明尽可能地减少音频的过长与过短对最终分类的影响。因此，在音频指纹的构建中，使用了原子帧流的策略，即将原始音频分割成相同大小的原子帧，之后对原子帧进行一系列的变化得到原子特征，最终的特征由这些原子特征组合得到的。常见的原子特征可能包含的信息并不多，不足以支撑模型识别其本身，但是在正常情况下，需要进行识别的音频是由数百数千个原子帧组成的，包含足够多的原子帧进行有效和可靠的识别。
[0050]
然后对原子帧的数据进行傅里叶变换，以计算其频谱信息，包括：
[0051][0052]
f(e
jω
)＝a+ib
[0053][0054]
其中，j为虚数，ω为角频率，t为时间，为了使能量信息表达的更精确，将原子频谱划分成了65个频谱带，对每个频谱带计算得到能量块
[0055]
于是，组合65个能量块后得到了原子频谱的能量信息。这些原子频谱的能量信息将会组成一张二维矩阵，这样又保留了一定的时序信息，这将是音频指纹的重要特征。
[0056]
将二维矩阵进行差分计算，通过捕捉每一个能量块与其邻近能量块的方式得到了一个只含有0和1的矩阵，计算公式如下：
[0057][0058]
其中，m和n表示二维矩阵的坐标信息，n表示x方向的坐标，m表示y方向的坐标，以此来定位二维矩阵中每一个能量块的位置；这种01矩阵中蕴含着生物的发声信息，因此将其与二维矩阵进行拼接，得到了最后的指纹特征。
[0059]
进一步地，如图1所示，双路融合mg-resformer网络包括mg-resnet网络模型、mg-transformer网络模型和融合层；所述梅尔频率倒谱系数输入到mg-transformer网络模型中得到mg-transformer网络模型对样本的概率矩阵，所述音频指纹特征输入到mg-resnet网络中得到mg-resnet网络模型对样本的概率矩阵，所述融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分类的最终预测结果。
[0060]
在mg-resnet网络模型中输入音频的音频指纹特征，其损失函数记为loss1；在mg-transformer网络模型中输入音频的梅尔频率倒谱系数特征，其损失函数记为loss2；在融合模块中，会将mgresnet网络模型和mgtransformer网络模型输出的概率作为输入，去和经过one-hot编码后的标签信息进行拟合，其损失记为loss3。最终的损失函数记为：
[0061]
loss＝loss1+loss2+loss3
[0062]
一个音频样本的指纹特征与梅尔倒谱系数(mfcc)与起始强度包络的拼接特征(描述大小)，将会分别输入到mgresnet与mgtransformer中，在经过双路网络的前向传播之后，会分别输出两个对样本类别概率进行预测的矩阵，此时冻结这两个预测的1*9的矩阵。因为这两个矩阵中带有着来自双路的计算过程，loss3反向传播时将会改变双路网络的参数，而此时loss1与loss2已完成双路网络的更新，这时loss3的反向传播就将对双路网络造成负面影响。
[0063]
由于loss的计算是根据梯度反向传播得到，所以loss计算过程是正确的，经过细致的偏导计算后，loss中所包含的loss1，loss2，loss3会分别负责他们所属模块的反向传播。
[0064]
如图3所示，mg-resnet网络模型包括五个卷积层模块、一个池化层、两个全连接层、一个粗细粒度组合模块，首先通过第一个卷积层模块对输入的音频指纹特征进行7
×
7卷积，通过分别包含了两个build-block的第二卷积层到第五卷积层进行残差卷积后再进
行平均池化，然后经过两个并行的全连接层后将得到的两个输出输入到粗细粒度组合层，最后得到对样本的概率矩阵。
[0065]
mg-transformer网络模型首先对输入的梅尔频率倒谱系数进行池化以降低特征对不同位置的敏感程度，然后输入到编码层中通过多头注意力机制提取不同的特征信号，并对特征进行切分以增强模型对全局特征的关注力，通过两个线性层分别提取粗粒度和细粒度概率，最后输入到粗细粒度组合层得到样本的概率矩阵；这样处理使得模型对于大量的叫声分类任务中保持高效的识别性能，模型可以更好的感知全局特征，并对于多类别任务具有更优秀的性能。
[0066]
如图4所示，mg-transformer网络模型和mg-resnet网络模型中通过粗细粒度组合层得到样本额概率矩阵包括：
[0067]
mg-resnet网络模型中通过两个并行的全连接层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量，mg-transformer网络模型中通过两个并行的线性层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量；此处所使用的数据依然只具有一个标签，即细粒度标签，粗粒度信息的捕捉依靠粗粒度层来实现。
[0068]
粗细粒度组合层中的粗粒度层对输入数据通过softmax函数得到样本所属粗粒度类别的概率，细粒度层对输入数据进行分组，将属于同一粗粒度类别的细粒度数据划分为一组，并对每组进行softmax操作，最终将得到粗粒度概率与对应细粒度概率相乘得到类别概率信息；如下公式表示了虎鲸类别概率的计算公式：
[0069]
p1(killer whale)＝p(killer whale|whale)*p(whale)
[0070]
此外，还需要考虑到一种特殊情况，粗粒度层可能会输出错误的粗粒度类别概率，虽然这种情况概率极低，因此需要通过类残差结构对细粒度层的输入直接进行softmax运算并赋予ε后与p1所在的矩阵进行运算p2(killer whale)＝p1(killer whale)+ε*p0(killer whale)；
[0071]
其中，p0(killer whale)表示对细粒度层的输入直接进行softmax运算得到的概率；
[0072]
最后将p0(killer whale)进行归一化得到样本最终的概率矩阵p3(killer whale)＝p2(killer whale)/∑p2。
[0073]
在实际训练过程中，神经网络会逐渐注意到学习特征的正确性，对细粒度类别所属的粗粒度类别划分越正确，细粒度类别越有可能分配正确，虽然本发明仅使用了细粒度标签，但最后的分类效果仍然非常理想。
[0074]
如图5所示，融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分类的最终预测结果包括：
[0075]
在融合层中设置9个神经元，两个网络模型输出的9种类别的概率值(分别记为input1与input2)分别经过9个神经元与9个伪神经元；
[0076]
其中一路网络模型输出的类别概率值直接与9个神经元进行相乘操作，另一路网络模型输出的类别概率值与9个伪神经元相乘，再将得到的两组概率值相加进行归一化操作得到最终的概率。
[0077]
其中，伪神经元同样也有9个，每个伪神经元的值取决于对应位置的神经元的值。计算公式如下，其中β
ti
表示参与训练的神经元，β
fi
表示不参与训练的伪神经元：
[0078]
β
ti
＝1-β
fi
[0079]
为保证融合结构有着正确的影响，同样使用了类残差结构，输出最终的概率将会与输入的input1与input2相加，进行标准化操作，得到最终的output。
[0080]
本发明对双路融合mg-resformer网络进行了测试，从下表中可以看到其对海洋哺乳动物的音频九分类任务中发挥出了极致的性能。在本次任务中，其acc，auc，map，f1_score分别达到了99.09，99.99，99.97，99.24。相比于同领域常用的分类网络，该网络取得了明显的进步。
[0081]
网络效果对比图
[0082]
网络/指标accaucmapf1_scoremgresformer99.0999.9999.9799.24mgresnet1897.2799.9399.3596.54mgtrans96.3699.8598.6395.76inceptionv394.6298.9799.0394.43efficientnet95.3999.1499.0295.78
[0083]
如图5所示，mgresformer的精度几乎一直在mgresnet和mgtransformer之上，这证明两种网络相互融合起到了互补提升的作用。
[0084]
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：

1.一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述自动检测和分类方法包括：将现有公开和实地采集的海洋哺乳动物音频数据通过单样本变分自编码器进行数据增强处理；从经过数据增强后的音频数据中提取出梅尔倒谱系数和起始强度包络进行特征拼接得到第一输入特征，通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征的音频指纹特征；将梅尔频率倒谱系数和音频指纹特征输入到双路融合mg-resformer网络中，输出得到两路对样本类别概率进行预测的结果，对两路预测结果进行融合得到对海洋哺乳动物检测和分类的最终预测结果。2.根据权利要求1所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述通过音频指纹提取的方式从数据增强后的音频数据中提取出第二输入特征的音频指纹特征包括：将音频数据划分为多个相同大小的原子帧，并对原子帧的数据进行傅里叶变换计算其频谱信息；将计算得到的原子频谱划分为多个频谱带，对每个频谱带进行计算得到能量块，并将所有能量块进行组合得到表示原子频谱能量信息的二维矩阵；对二维矩阵进行差分计算，通过捕捉每一个能量块与其邻近能量块的方式得到一个只含有0和1的01矩阵；将二维矩阵和蕴含生物发声信息的01矩阵进行拼接得到音频指纹特征。3.根据权利要求1所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述双路融合mg-resformer网络包括mg-resnet网络模型、mg-transformer网络模型和融合层；所述梅尔频率倒谱系数输入到mg-transformer网络模型中得到mg-transformer网络模型对样本的概率矩阵，所述音频指纹特征输入到mg-resnet网络中得到mg-resnet网络模型对样本的概率矩阵，所述融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分类的最终预测结果。4.根据权利要求3所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述mg-resnet网络模型包括五个卷积层模块、一个池化层、两个全连接层、一个粗细粒度组合模块，首先通过第一个卷积层模块对输入的音频指纹特征进行7
×
7卷积，通过分别包含了两个build-block的第二卷积层到第五卷积层进行残差卷积后再进行平均池化，然后经过两个并行的全连接层后将得到的两个输出输入到粗细粒度组合层，最后得到对样本的概率矩阵。5.根据权利要求4所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述mg-transformer网络模型首先对输入的梅尔频率倒谱系数进行池化以降低特征对不同位置的敏感程度，然后输入到编码层中通过多头注意力机制提取不同的特征信号，并对特征进行切分以增强模型对全局特征的关注力，通过两个线性层分别提取粗粒度和细粒度概率，最后输入到粗细粒度组合层得到样本的概率矩阵。6.根据权利要求3所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述融合层对两个网络模型输出的概率矩阵进行融合得到对海洋哺乳动物检测和分
类的最终预测结果包括：在融合层中设置9个神经元，两个网络模型输出的9种类别的概率值分别经过9个神经元与9个伪神经元；其中一路网络模型输出的类别概率值直接与9个神经元进行相乘操作，另一路网络模型输出的类别概率值与9个伪神经元相乘，再将得到的两组概率值相加进行归一化操作得到最终的概率。7.根据权利要求5所述的一种有效的海洋哺乳动物声音自动检测和分类方法，其特征在于：所述mg-transformer网络模型和mg-resnet网络模型中通过粗细粒度组合层得到样本额概率矩阵包括：mg-resnet网络模型中通过两个并行的全连接层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量，mg-transformer网络模型中通过两个并行的线性层分别映射出长度为细粒度类别数量和粗粒度类别数量的张量；粗细粒度组合层中的粗粒度层对输入数据通过softmax函数得到样本所属粗粒度类别的概率，细粒度层对输入数据进行分组，将属于同一粗粒度类别的细粒度数据划分为一组，并对每组进行softmax操作，最终将得到粗粒度概率与对应细粒度概率相乘得到类别概率信息p1；通过类残差结构对细粒度层的输入直接进行softmax运算并赋予ε后与p1所在的矩阵进行运算即p2＝p1+ε*p0，p0表示对细粒度层的输入直接进行softmax运算得到的概率；最后将p2进行归一化得到样本最终的概率矩阵p3＝p2/∑p2。

技术总结

本发明涉及一种有效的海洋哺乳动物声音自动检测和分类方法，包括将海洋哺乳动物音频数据通过单样本变分自编码器进行数据增强处理；从音频数据中提取出梅尔倒谱系数和起始强度包络进行特征拼接得到第一输入特征的梅尔频率倒谱系数，通过音频指纹提取的方式从音频数据中提取出第二输入特征的音频指纹特征；将梅尔频率倒谱系数和音频指纹特征输入到双路融合网络中，得到两路预测结果，对两路预测结果进行融合得到对海洋哺乳动物检测和分类的最终预测结果。本发明通过双路并行的融合网络结构，使得融合网络可以同时具有捕捉高维特征和利用时序信息的能力，并利用不同网络所关注的不同信息，增强模型间的互补性对模型性能进行高效提升。行高效提升。行高效提升。