一种基于多任务网络的麦克风阵列语音增强系统及方法

1.本发明涉及语音增强技术领域，具体涉及一种基于多任务网络的麦克风阵列语音增强系统及方法。

背景技术：

2.基于麦克风阵列的语音增强是语音通信系统中抑制干扰的有效方法之一。现有的麦克风阵列语音增强技术主要可以分为传统的增强技术和基于深度神经网络的增强技术两类。传统的增强技术通常针对回声消除、空间混响、环境噪声的相关特性分别设计对应的滤波器，对硬件算力要求较低，可以做到较好的实时性，但是传统的增强技术还存在以下不足：(1)不能很好的消除非线性的噪声分量，使得输出语音有非线性回声残余；(2)对非平稳突发性噪声的抑制能力较差，输出语音质量不高。
3.近年来，得益于计算机硬件算力的快速提升，深度神经网络技术得到广泛应用，相较于传统的增强技术，基于深度神经网络的增强技术不需要估计噪声，对于非平稳的噪声有更强的适应性。目前的研究中，通常通过设计一体化的深度神经网络来同时完成回声消除、去混响和去噪声等工作，一体化的网络模型能够在较为单一的干扰环境下达到比较好的效果，但是这些网络还存在以下不足：(1)在多种类型干扰并存时，网络的训练难度大大增加，网络难以学习输入特征与标签之间的映射关系；(2)网络训练目标单一时，容易陷入局部极小值，从而达不到较好的增强效果；(3)在测试阶段，针对不同的降噪任务，泛化性能不足。

技术实现要素：

4.本发明的目的是针对现有基于深度神经网络的麦克风阵列语音增强技术的不足，提供一种基于多任务网络的麦克风阵列语音增强系统及方法。该系统与方法针对现有网络系统难训练、易陷入局部极小值等缺陷，按语音增强系统的功能对深度神经网络的结构进行了细化，提供了一种由回声消除子网络、去混响子网络和降噪子网络构成的多任务语音增强网络模型，有效降低网络训练难度，弥补单一网络目标带来的缺陷，能显著改善语音增强的效果。本发明可以广泛应用于在线语音会议，车载电话，移动通话终端等场合。
5.本发明的第一个目的可以通过采取如下技术方案达到：
6.一种基于多任务的麦克风阵列语音增强系统，该系统由语音预处理模块、多任务网络模块、多任务损失统计模块、网络权重计算模块和语音重构模块组成。其中，语音预处理模块分别与多任务网络模块和多任务损失统计模块连接，该模块获取阵列语音、参考回声语音和各个任务目标语音作为输入语音，对这些输入语音进行预处理，预处理工作包含语音信号的归一化，提取各声道语音和参考回声语音的对数幅度谱；多任务网络模块分别与语音预处理模块、多任务损失统计模块、网络权重计算模块和语音重构模块连接连接，完成阵列语音各声道的去混响、回声消除、降噪任务，并将多声道语音融合输出为增强后的语音；多任务损失统计模块分别与多任务网络模块和网络权重计算模块连接，计算多任务网
络模块中各任务的损失值，并统计网络的总损失；网络权重计算模块分别与多任务网络模块和多任务损失统计模块连接，根据网络的总损失计算梯度，将梯度反向传播，计算得到更新后网络的权重；语音重构模块与多任务网络模块连接，完成从频域特征到时域语音的映射，得到增强后的干净语音。
7.进一步地，多任务网络模块，包括m条并联的声道分支网络和1个分别与上述m条声道分支网络连接的声道融合子网络，上述每条声道分支网络包括依次顺序连接的1个去混响子网络、1个回声消除子网络和1个降噪子网络，其中m与语音预处理模块中麦克风阵列的阵元数目相同，每条声道分支网络中去混响子网络与回声消除子网络、所述多任务损失统计模块和所述语音预处理模块连接，完成对该声道的混响去除任务；每条声道分支网络中的回声消除子网络与去混响子网络、降噪子网络、所述语音预处理模块和所述多任务损失统计模块连接，利用参考的回声信号，消除该声道的回声分量；每条声道分支网络中的降噪子网络与回声消除子网络、声道融合子网络和所述多任务损失统计模块连接，消除该声道中的噪声分量；声道融合子网络分别与m条声道分支网络中的降噪子网络、所述多任务损失统计模块和所述网络权重计算模块连接，利用阵列语音各声道包含的空间信息进行二次增强。多任务网络模块中利用各声道分支网络对阵列语音的各声道信号进行增强，增强输出并行通过声道融合子网络以获得增强后的单通道语音。上述每条声道分支网络利用语音增强系统中的不同功能，将网络划分为去混响、回声消除和降噪任务的子网络，使得子网络任务清晰化，网络更加便于训练。
8.进一步地，上述多任务损失统计模块，由去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声道融合损失统计模块和总损失统计模块共同构成。其中，所述去混响损失统计模块分别与上述语音预处理模块、上述各声道的去混响子网络和总损失统计模块连接，利用去混响子网络的输出和去混响标签计算各声道去混响子网络的损失值；所述回声消除损失统计模块分别与上述语音预处理模块、上述各声道的回声消除子网络和总损失统计模块连接，利用回声消除子网络的输出和去混响去回声标签计算各声道回声消除子网络的损失值；所述降噪损失统计模块分别与上述语音预处理模块、上述各声道的降噪子网络和总损失统计模块连接，利用降噪子网络的输出和无噪声标签计算各声道降噪子网络的损失值；所述声道融合损失统计模块分别与上述语音预处理模块、上述声道融合子网络和总损失统计模块连接，利用声道融合子网络的输出和干净语音标签计算声道融合子网络的损失值；所述总损失统计模块分别与去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声道融合损失统计模块和上述网络权重计算模块连接，接收各任务损失统计模块的损失值，统计网络的总损失值。多任务损失统计模块包括上述各子网络的损失统计模块，该模块为各子网络的输出计算目标损失，统计得到总网络的损失值。多任务损失统计模块使得训练时各子网络能够按照预设的任务调整网络参数。
9.本发明的另一个目的可以通过采取如下技术方案达到：
10.一种基于多任务网络的麦克风阵列语音增强方法，所述语音增强方法包括以下步骤：
11.s1、构建阵列语音训练集，对语音进行预处理，分别得到每一个声道的输入特征和去混响任务、回声消除任务、降噪任务、融合任务的标签；
12.s2、将各声道预处理得到的特征输入多任务网络模块，依次通过与每条声道对应
的去混响子网络、回声消除子网络和降噪子网络后，在声道融合子网络进行融合，从上述各子网络的输出端分别得到各声道已去混响的目标输出、已去混响去回声目标输出、无噪声目标输出和融合后干净语音目标输出；
13.s3、将各任务的网络输出和各任务的标签输入多任务损失统计模块，计算各声道中回声消除子网络的损失值、混响子网络的损失值、降噪子网络的损失值和声道融合子网络的损失值，并根据上述损失值计算网络总损失；
14.s4、计算网络总损失的梯度，采用反向传播法更新网络的权重；
15.s5、重复步骤s2、s3、s4，直到网络的总损失低于预设阈值，保存此时的网络参数；
16.s6、将测试语音进行预处理，计算每一个声道的输入特征，将待增强的语音特征输入步骤s5中保存的多任务网络，得到增强后的语音特征，将增强后的语音特征输入语音重构模块，得到增强后的语音。
17.进一步地，所述步骤s1中的阵列语音训练集的构建过程如下：
18.s1.1、构建带噪阵列语音与相应的已去混响的阵列语音、已去混响去回声的阵列语音和无噪声的阵列语音：
19.带噪阵列语音为x(n)＝[x1(n),x2(n),...,xm(n),...,xm(n)]
t
,m∈[1,m]，其中
[0020][0021]
xm(n)为第m个阵元接收到的带噪语音信号，m为麦克风阵列的阵元数目，s
′
(n)为包含混响的源语音分量，d(n)为包含混响的回声分量，v(n)为环境噪声，s(n)为源语音，e(n)为参考的回声语音，τm(θ)是阵元m收到方向角为θ的声源产生的信号时刻相对参考阵元的时延，*代表卷积操作，h(n)为房间内的多径传播信道参数，ser为随机分布的信号回声比，snr为随机分布的信噪比。训练集带噪语音的分布应尽可能覆盖各种噪声种类和各种强度的干扰，使网络尽可能学习多的噪声语音特征，不容易陷入过拟合的情况；
[0022]
已去混响的阵列语音为
[0023]ydereb
(n)＝[y
1_dereb
(n),y
2_dereb
(n),...,y
m_dereb
(n),...,y
m_dereb
(n)]
t
,m∈[1,m]，其中
[0024]ym_dereb
(n)＝s(n-τm(θ))+e(n-τm(θ))+v(n)
ꢀꢀ
(2)
[0025]
已去混响去回声的阵列语音为
[0026]ydecho
(n)＝[y
1_decho
(n),y
2_decho
(n),...,y
m_decho
(n),...,y
m_decho
(n)]
t
,m∈[1,m]，其中
[0027]ym_decho
(n)＝s(n-τm(θ))+v(n)
ꢀꢀ
(3)
[0028]
无噪声的阵列语音为
[0029]yenh
(n)＝[y
1_enh
(n),v
2_enh
(n),...,y
m_enh
(n),...,y
m_enh
(n)]
t
,m∈[1,m]，其中
[0030]ym_enh
(n)＝s(n-τm(θ))
ꢀꢀ
(4)
[0031]
其中，y
m_dereb
(n)为第m个阵元的已去混响语音，y
m_enh
(n)为第m个阵元的已去混响去回声语音，y
m_enh
(n)为第m个阵元的无噪声语音，构造上述三种语音将用于后续制作声道支路网络中各子网络的标签；
[0032]
s1.2、提取网络的输入特征：将阵元m接收的语音信号xm(n)进行短时傅里叶变换，
得到每帧的对数幅度谱xm(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，将第i帧与其前l帧的对数幅度谱组合得到第m声道第i帧的网络输入特征参考回声语音e(n)经过相同的处理后获得参考回声的对数幅度谱e(i,k)。将输入拓展前l帧是为了使网络获取更多过去时间帧的信息，以助于网络恢复当前第i帧的语音信号；
[0033]
s1.3、构建第m声道各任务的标签：将y
m_dereb
(n)、y
m_decho
(n)、y
m_enh
(n)和s(n)语音进行短时傅里叶变换得到每帧的幅度谱进行短时傅里叶变换得到每帧的幅度谱和s(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，采用目标理想比值掩蔽(ideal ratio mask,irm)作为各任务的标签，irm采用下式计算，其中tm(i,k)为期待得到目标语音的幅度谱,β为可调节尺度因子，mm(i,k)＝exp(xm(i,k))为带噪语音的幅度谱，k为离散频率序号，i为帧序号，将上述得到的和替换式(5)中的tm(i,k)，得到去已去混响的标签已去除混响和回声的标签和去噪后的标签此外，将s(i,k)做对数变换得到干净语音的对数幅度谱标签s
lms
。
[0034]
进一步地，所述步骤s2中将特征输入多任务网络模块得到各任务子网络得到目标输出的过程如下：
[0035]
s2.1、将输入第m声道的去混响子网络，得到期望去除混响语音的irm输出采用irm作为网络的目标可以同时利用带噪语音和干净语音两者的信息，使网络学习到更多特征；
[0036]
s2.2、将和e(i,k)输入第m声道的回声消除子网络，得到期望去除混响和回声语音的irm输出回声消除子网络的输入有带噪语音和参考信号两种信息，网络利用参考回声信号的幅度谱特征e(i,k)，消除带噪语音中的回声分量；
[0037]
s2.3、第m声道的降噪子网络包含两个输出层，一个输出层输出降噪后语音的对数幅度谱，另一个输出层输出降噪后语音的irm，将输入降噪子网络，得到对数幅度谱输出和irm输出降噪子网络采用两个输入层结构，使得网络能从不同维度提取数据特征得到不同的输出，为后续声道融合子网络提供更高纬度的输入；
[0038]
s2.4、构建声道融合子网络的输入
[0039]
其中
[0040]
[0041]
采用一个层的卷积层作为声道融合子网络，m为总阵元数，d为卷积核的宽度，对于输入x
fuse_in
其维度可以表示为x
fuse_in
∈r2×m×k，将矩阵沿m维度方向作卷积，得到声道融合子网络增强后的单声道对数幅度谱声道融合子网络的卷积结构能够重点学习声道之间的特征信息，在尽可能保持原有各声道的增强结果情况下，将各声道输出融合为单声道，完成二次增强。
[0042]
进一步地，所述步骤s3中多任务损失统计模块得到总损失值的流程如下：
[0043]
s3.1、将去混响子网络的输出和已去除混响语音的irm标签通过下式计算各声道去混响子网络的总损失值l
dereb
。每个声道的去混响子网络的损失重要程度是相同的，因此采用直接累加方式，采用相同的权重；
[0044][0045]
s3.2、将回声消除子网络的输出和已去除混响和回声语音的标签通过下式计算得到各声道回声消除子网络损失值l
decho
，此处各声道回声消除子网络采用相同损失权重，直接累加；
[0046][0047]
s3.3、将降噪子网络输出和无噪声标签通过下式计算得到各声道降噪子网络的损失值l
enh
，此处各声道降噪子网络采用相同损失权重，直接累加；
[0048][0049]
s3.4、将声道融合子网络得到的输出和干净语音的对数幅度谱s
lms
通过下式计算声道融合子网络的损失l
fuse
。log-cosh函数对于数据中的异常值容忍度较高，并且它在最小值附近时梯度会减小，不同于均方误差损失始终使用一样的损失，可能导致最小值的遗漏；
[0050][0051]
s3.5、将得到的各个任务模块的损失值l
dereb
、l
decho
、l
enh
和l
fuse
计算网络的总损失loss如下。其中各子网络未加权重参数，目标损失权重相同，将各任务视为同等重要：
[0052]
loss＝l
dereb
+l
decho
+l
enh
+l
fuse
ꢀꢀ
(11)。
[0053]
进一步地，所述步骤s6中采用如下方法将增强后的语音特征重构为增强后的语音：
[0054]
将声道融合子网络输出的对数幅度谱转换为线性幅度谱然后对与xm(n)的相位谱相乘得到增强后语音的复数表示将进行短时傅里叶变换逆变换和重叠相加，得到增强后语音的时域波形。通过重叠相加的方法可以复原在特征提取
时为了做短时傅里叶变换而分帧的各帧语音。
[0055]
本发明相对于现有技术具有如下的优点及效果：
[0056]
(1)本发明在声道分支网络中采用了串联的多个增强任务子网络，对噪声中包含的多种噪声分量进行针对性的降噪，缓解了单一目标网络模型面对多种类噪声类型时，网络难以拟合和训练困难的问题，从而拥有更强的降噪性能。
[0057]
(2)本发明中充分利用不同降噪任务之间的相关性，设计了回声消除任务目标、去混响目标、降噪目标和声道融合目标，通过不同任务任务之间相互作用，避免单一任务网络在梯度的反向传播倾向于容易陷入局部最小值问题。
[0058]
(3)本发明中采用声道支路网络对阵列语音各个声道进行独立处理，并采用声道融合子网络对各声道增强后的特征进行二次增强，可以在不需要获取说话人语音来波方向和噪声的先验信息的情况下，实现对语音的增强，克服了传统麦克风阵列性能上的不足。
附图说明
[0059]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0060]
图1是本发明实施例中公开的基于多任务网络的麦克风阵列语音增强系统的结构框图；
[0061]
图2是本发明实施例中多任务网络模块网络结构图；
[0062]
图3是本发明实施例中多任务网络的阵列语音增强方法的训练测试流程图；
[0063]
图4为本发明实施例中带噪语音的生成示意图。
具体实施方式
[0064]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
实施例1
[0066]
本实施例公开了一种基于多任务网络的麦克风阵列语音增强系统，该系统结构如图1所示，该系统由语音预处理模块、多任务网络模块、多任务损失统计模块、网络权重计算模块和语音重构模块组成。其中语音预处理模块与多任务网络模块和多任务损失统计模块连接，该模块获取阵列语音、参考回声语音和各个任务目标语音作为输入语音，对这些输入语音进行预处理，预处理工作包含语音信号的归一化，提取各声道语音和参考回声语音的对数幅度谱；多任务网络模块与语音预处理模块、多任务损失统计模块和网络权重计算模块连接，完成阵列语音各声道的去混响、回声消除、降噪任务，并将多声道语音融合输出为增强后的语音；多任务损失统计与多任务网络模块和网络权重计算模块连接，计算多任务网络模块中各任务的损失值，并统计网络的总损失；网络权重计算模块与多任务网络模块和多任务损失统计模块连接，根据网络的总损失计算梯度，将梯度反向传播，计算得到更新后网络的权重；语音重构模块与多任务网络模块连接，完成从频域特征到时域语音的映射，得到增强后的干净语音。
[0067]
本实施例中，上述多任务网络模块网络结构如图2所示，包含4条声道分支网络和1个声道融合子网络，上述声道融合子网络由3层全卷积神经网络搭建而成，每条声道分支网络由1个去混响子网络、1个回声消除子网络、1个降噪子网络共同构成，其中4条声道分支网络对应麦克风阵列的4个阵元，其中去混响子网络由2层单向长短时记忆网络(long short-term memory,lstm)和一个全连接输出层搭建而成，回声消除子网络由2层双向lstm搭建和一个全连接输出层而成，降噪子网络由2层单向lstm和两个全连接输出层搭建而成。每条声道分支网络中的去混响子网络与回声消除子网络、上述多任务损失统计模块和上述语音预处理模块连接，完成对该声道的混响去除任务；每条声道分支网络中的回声消除子网络与去混响子网络、降噪子网络、上述语音预处理模块和上述多任务损失统计模块连接，利用参考的回声信号，消除该声道的回声分量；每条声道分支网络中的降噪子网络与回声消除子网络、声道融合子网络和上述多任务损失统计模块连接，除去该声道中的噪声分量；多声道融合子网络与4条声道分支网络中的降噪子网络、上述多任务损失统计模块和上述网络权重计算模块连接，利用阵列语音各声道包含的空间信息进行二次增强。
[0068]
上述多任务损失统计模块，由去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声道融合损失统计模块和总损失统计模块共同构成。去混响损失统计模块与上述语音预处理模块、上述各声道的去混响子网络和总损失统计模块连接，利用去混响子网络的输出和去混响标签计算各声道去混响子网络的损失值；回声消除损失统计模块与上述语音预处理模块、上述各声道的回声消除子网络和总损失统计模块连接，利用回声消除子网络的输出和去混响去回声标签计算各声道回声消除子网络的损失值；降噪损失统计模块与上述语音预处理模块、上述各声道的降噪子网络和总损失统计模块连接，利用降噪子网络的输出和无噪声标签计算各声道降噪子网络的损失值；声道融合损失统计模块与上述语音预处理模块、上述声道融合子网络和总损失统计模块连接，利用声道融合子网络的输出和干净语音标签计算声道融合子网络的损失值；总损失统计模块与去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声道融合损失统计模块和上述网络权重计算模块连接，接收各任务损失统计模块的损失值，统计网络的总损失值。
[0069]
实施例2
[0070]
基于上述实施例公开的一种基于多任务网络的麦克风阵列语音增强系统，本实施例继续公开一种基于多任务网络的麦克风阵列语音增强方法，该方法采用以下步骤完成训练和测试，训练和测试流程如图3所示：
[0071]
s1、构建阵列语音训练集，对语音进行预处理，得到每一个声道的输入特征和去混响任务、回声消除任务、降噪任务、融合任务的标签；过程如下：
[0072]
s1.1、构建带噪阵列语音与相应的已去混响的阵列语音、已去混响去回声的阵列语音和无噪声的阵列语音：
[0073]
带噪阵列语音为x(n)＝[x1(n),x2(n),...,xm(n),...,xm(n)]
t
,m∈[1,m]，其中m＝4为总阵元数，带噪语音的生成如图4所示，xm(n)为第m个阵元接收到的带噪语音信号，
[0074][0075]s′
(n)为包含混响的源语音分量，d(n)为包含混响的回声分量，v(n)为环境噪声，s
(n)为源语音，e(n)为参考的回声语音，τm(θ)是阵元m收到方向角为θ的声源产生的信号时刻相对参考阵元的时延，*代表卷积操作，信号回声比ser∈[-10,10]取值随机分布，信噪比snr∈[-5,15]取值随机分布，h(n)为房间内的多径传播信道参数，通过混响时间、房间大小、声源和阵列位置确定，本实施例中混响时间随机取0.2s/0.3s/0.4s/0.5s/0.6s，房间大小通过长5/7/9/11/13m、宽4/6/8/10m、高3m随机组合，阵列位置在房间中随机选取5个位置。
[0076]
已去混响的阵列语音为
[0077]ydereb
(n)＝[y
1_dereb
(n),y
2_dereb
(n),...,y
m_dereb
(n),...,y
m_dereb
(n)]
t
,m∈[1,m]，其中
[0078]ym_dereb
(n)＝s(n-τm(θ))+e(n-τm(θ))+v(n)
ꢀꢀ
(2)
[0079]
已去混响去回声的阵列语音为
[0080]ydecho
(n)＝[y
1_decho
(n),y
2_decho
(n),...,y
m_decho
(n),...,y
m_decho
(n)]
t
,m∈[1,m]，其中
[0081]ym_decho
(n)＝s(n-τm(θ))+v(n)
ꢀꢀ
(3)
[0082]
无噪声的阵列语音为y
enh
(n)＝[y
1_enh
(n),v
2_enh
(n),...,y
m_enh
(n),...,y
m_enh
(n)]
t
,m∈[1,m]，其中
[0083]ym_enh
(n)＝s(n-τm(θ))
ꢀꢀꢀ
(4)
[0084]
s1.2、提取网络的输入特征：将阵元m接收的语音信号xm(n)进行短时傅里叶变换，得到每帧的对数幅度谱xm(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，将第i帧与其前l帧的对数幅度谱组合得到第m声道第i帧的网络输入特征参考回声语音e(n)经过相同的处理后获得参考回声的对数幅度谱e(i,k)。本实例中xm(n)和e(n)以帧长256和帧移192分帧，并用汉明窗窗函数加窗后，进行短时傅里叶变换，离散频率序号k∈[0,128]，对数幅度谱上文帧数l＝4。
[0085]
s1.3、构建第m声道各任务的标签：将y
m_dereb
(n)、y
m_decho
(n)、y
m_enh
(n)和s(n)语音进行短时傅里叶变换得到每帧的幅度谱进行短时傅里叶变换得到每帧的幅度谱和s(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数。采用目标理想比值掩蔽(ideal ratio mask,irm)作为各任务的标签，irm采用下式计算，
[0086][0087]
其中tm(i,k)为期待得到目标语音的幅度谱，可调节尺度因子β＝0.5，mm(i,k)＝exp(xm(i,k))为带噪语音的幅度谱，将上述得到的(i,k))为带噪语音的幅度谱，将上述得到的和替换式(5)中的tm(i,k)，得到去已去混响的标签已去除混响和回声的标签和去噪后的标签此外，将s(i,k)做对数变换得到干净语音的对数幅度谱标签s
lms
。
[0088]
s2、将各声道预处理得到的特征输入多任务网络模块，本实例中采用4条声道支路网络，各支路网络参数独立，各声道特征依次通过与每条声道对应的去混响子网络、回声消
除子网络和降噪子网络后，在声道融合子网络进行融合，从上述各子网络的输出端分别得到各声道已去混响的目标输出、已去混响去回声目标输出、无噪声目标输出和融合后干净语音目标输出；过程如下：
[0089]
s2.1、混响子网络采用两层单向lstm网络，输入维度为129，隐藏层宽度为512，网络输出层的激活函数采用softmax函数，将输入第m声道的去混响子网络，得到期望去除混响语音的irm输出
[0090]
s2.2、回声消除子网络采用两层双向lstm网络，输入维度为258，隐藏层宽度为512，网络输出层的激活函数采用softmax函数，将和e(i,k)输入第m声道的回声消除子网络，得到期望去除混响和回声语音的irm输出
[0091]
s2.3、降噪子网络采用两层单向lstm网络，输入维度为129，隐藏层宽度为512，第m声道的降噪子网络包含两个输出层，一个输出层采用relu激活函数，输出降噪后语音的对数幅度谱，另一个输出层采用softmax激活函数，输出降噪后语音的irm。将输入降噪子网络，得到对数幅度谱输出和irm输出
[0092]
s2.4、构建声道融合子网络的输入
[0093]
其中
[0094][0095]
采用一个3层的卷积层作为声道融合子网络，其中每层的卷积核大小为2
×
9、2
×
19、2
×
129，每层的输入输出维度为(1,16)、(16,16)、(16,1)，对于输入x
fuse_in
其维度可以表示为x
fuse_in
∈r2×4×
129
，将矩阵沿第二维度方向即通道方向作卷积，得到声道融合子网络增强后的单声道对数幅度谱
[0096]
s3、将各任务的网络输出和各任务的标签输入多任务损失统计模块，计算各声道中回声消除子网络的损失值、混响子网络的损失值、降噪子网络的损失值和声道融合子网络的损失值，并根据上述损失值计算网络总损失；过程如下：
[0097]
s3.1、将去混响子网络的输出和已去除混响语音的irm标签通过下式计算各声道去混响子网络的总损失值l
dereb
；
[0098][0099]
s3.2、将回声消除子网络的输出和已去除混响和回声语音的标签通过下式计算得到各声道回声消除子网络损失值l
decho
；
[0100]
[0101]
s3.3：将降噪子网络输出和无噪声标签通过下式计算得到各声道降噪子网络的损失值l
enh
；
[0102][0103]
s3.4、将声道融合子网络得到的输出和干净语音的对数幅度谱s
lms
通过下式计算声道融合子网络的损失l
fuse
；
[0104][0105]
s3.5、将得到的各个任务模块的损失值l
dereb
、l
decho
、l
enh
和l
fuse
计算网络的总损失loss如下：
[0106]
loss＝l
dereb
+l
decho
+l
enh
+l
fuse
ꢀꢀ
(11)
[0107]
s4、将s3获取的总损失计算梯度，使用adam优化器，计算并更新网络的权重；
[0108]
s5、训练批次大小为1000，学习率为0.001，训练总轮次为200，每轮重复步骤s2、s3、s4，直到网络的总损失低于预设阈值，保存此时的网络参数；
[0109]
s6、将测试语音进行预处理，计算每一个声道的输入特征，将待增强的语音特征输入步骤s5中保存的多任务网络，得到增强后的语音特征，将增强后的语音特征输入语音重构模块，得到增强后的语音，具体重构流程如下；
[0110]
将声道融合子网络输出的对数幅度谱转换为线性幅度谱取第1声道的语音相位谱e
jθ
与相乘得到增强后语音的复数表示将进行短时傅里叶变换逆变换和重叠相加，得到增强后语音的时域波形。
[0111]
实施例3
[0112]
基于上述实施例公开的一种基于多任务网络的麦克风阵列语音增强系统，本实施例继续公开一种基于多任务网络的麦克风阵列语音增强方法，该方法采用以下步骤完成训练和测试，训练和测试流程如图3所示：
[0113]
s1、构建阵列语音训练集，对语音进行预处理，得到每一个声道的输入特征和去混响任务、回声消除任务、降噪任务、融合任务的标签；过程如下：
[0114]
s1.1、构建带噪阵列语音与相应的已去混响的阵列语音、已去混响去回声的阵列语音和无噪声的阵列语音：
[0115]
带噪阵列语音为x(n)＝[x1(n),x2(n),...,xm(n),...,xm(n)]
t
,m∈[1,m]，其中m＝4为总阵元数，带噪语音的生成如图4所示，xm(n)为第m个阵元接收到的带噪语音信号，
[0116][0117]s′
(n)为包含混响的源语音分量，d(n)为包含混响的回声分量，v(n)为环境噪声，s(n)为源语音，e(n)为参考的回声语音，τm(θ)是阵元m收到方向角为θ的声源产生的信号时刻相对参考阵元的时延，*代表卷积操作，信号回声比ser∈[-10,10]取值随机分布，信噪比snr∈[-5,15]取值随机分布，h(n)为房间内的多径传播信道参数，通过混响时间、房间大
小、声源和阵列位置确定，本实施例中混响时间随机取0.2s/0.3s/0.4s/0.5s/0.6s，房间大小通过长5/7/9/11/13m、宽4/6/8/10m、高3m随机组合，阵列位置在房间中随机选取5个位置。
[0118]
已去混响的阵列语音为
[0119]ydereb
(n)＝[y
1_dereb
(n),y
2_dereb
(n),...,y
m_dereb
(n),...,y
m_dereb
(n)]
t
,m∈[1,m]，其中
[0120]ym_dereb
(n)＝s(n-τm(θ))+e(n-τm(θ))+v(n)
ꢀꢀ
(2)
[0121]
已去混响去回声的阵列语音为
[0122]ydecho
(n)＝[y
1_decho
(n),y
2_decho
(n),...,y
m_decho
(n),...,y
m_decho
(n)]
t
,m∈[1,m]，其中
[0123]ym_decho
(n)＝s(n-τm(θ))+v(n)
ꢀꢀ
(3)
[0124]
无噪声的阵列语音为y
enh
(n)＝[y
1_enh
(n),v
2_enh
(n),...,y
m_enh
(n),...,y
m_enh
(n)]
t
,m∈[1,m]，其中
[0125]ym_enh
(n)＝s(n-τm(θ))
ꢀꢀ
(4)
[0126]
s1.2、提取网络的输入特征：将阵元m接收的语音信号xm(n)进行短时傅里叶变换，得到每帧的对数幅度谱xm(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，将第i帧与其前l帧的对数幅度谱组合得到第m声道第i帧的网络输入特征参考回声语音e(n)经过相同的处理后获得参考回声的对数幅度谱e(i,k)。本实例中xm(n)和e(n)以帧长256和帧移192分帧，并用汉明窗窗函数加窗后，进行短时傅里叶变换，离散频率序号k∈[0,128]，对数幅度谱上文帧数l＝4。
[0127]
s1.3、构建第m声道各任务的标签：将y
m_dereb
(n)、y
m_decho
(n)、y
m_enh
(n)和s(n)语音进行短时傅里叶变换得到每帧的幅度谱进行短时傅里叶变换得到每帧的幅度谱和s(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数。采用目标理想比值掩蔽(ideal ratio mask,irm)作为各任务的标签，irm采用下式计算，
[0128][0129]
其中tm(i,k)为期待得到目标语音的幅度谱，可调节尺度因子β＝0.5，mm(i,k)＝exp(xm(i,k))为带噪语音的幅度谱，将上述得到的(i,k))为带噪语音的幅度谱，将上述得到的和替换式(5)中的tm(i,k)，得到去已去混响的标签已去除混响和回声的标签和去噪后的标签此外，将s(i,k)做对数变换得到干净语音的对数幅度谱标签s
lms
。
[0130]
s2、将各声道预处理得到的特征输入多任务网络模块，本实例中采用一条声道支路网络，4条声道共享该支路网络参数，各声道特征串行输入该支路网络，依次通过去混响子网络、回声消除子网络和降噪子网络后，串行输出在声道融合子网络进行融合，从上述各子网络的输出端分别得到各声道已去混响的目标输出、已去混响去回声目标输出、无噪声目标输出和融合后干净语音目标输出；过程如下：
[0131]
s2.1、混响子网络采用两层单向lstm网络，输入维度为129，隐藏层宽度为512，网络输出层的激活函数采用softmax函数，将输入第m声道的去混响子网络，得到期望去除混响语音的irm输出
[0132]
s2.2、回声消除子网络采用两层双向lstm网络，输入维度为258，隐藏层宽度为512，网络输出层的激活函数采用softmax函数，将和e(i,k)输入回声消除子网络，得到期望去除混响和回声语音的irm输出
[0133]
s2.3、降噪子网络采用两层单向lstm网络，输入维度为129，隐藏层宽度为512，降噪子网络包含两个输出层，一个输出层采用relu激活函数，输出降噪后语音的对数幅度谱，另一个输出层采用softmax激活函数，输出降噪后语音的irm。将输入降噪子网络，得到对数幅度谱输出和irm输出
[0134]
s2.4、构建声道融合子网络的输入其中，
[0135]
采用一个3层的卷积层作为声道融合子网络，其中每层的卷积核大小为2
×
9、2
×
19、2
×
129，每层的输入输出维度为(1,16)、(16,16)、(16,1)，对于输入x
fuse_in
其维度可以表示为x
fuse_in
∈r2×4×
129
，将矩阵沿第二维度方向即通道方向作卷积，得到声道融合子网络增强后的单声道对数幅度谱
[0136]
s3、将各任务的网络输出和各任务的标签输入多任务损失统计模块，计算各声道中回声消除子网络的损失值、混响子网络的损失值、降噪子网络的损失值和声道融合子网络的损失值，并根据上述损失值计算网络总损失；过程如下：
[0137]
s3.1、将去混响子网络的输出和已去除混响语音的irm标签通过下式计算各声道去混响子网络的总损失值l
dereb
；
[0138][0139]
s3.2、将回声消除子网络的输出和已去除混响和回声语音的标签通过下式计算得到各声道回声消除子网络损失值l
decho
；
[0140][0141]
s3.3：将降噪子网络输出和无噪声标签通过下式计算得到各声道降噪子网络的损失值l
enh
；
[0142]
[0143]
s3.4、将声道融合子网络得到的输出和干净语音的对数幅度谱s
lms
通过下式计算声道融合子网络的损失l
fuse
；
[0144][0145]
s3.5、将得到的各个任务模块的损失值l
dereb
、l
decho
、l
enh
和l
fuse
计算网络的总损失loss如下：
[0146]
loss＝l
dereb
+l
decho
+l
enh
+l
fuse
ꢀꢀ
(11)
[0147]
s4、将s3获取的总损失计算梯度，使用adam优化器，计算并更新网络的权重；
[0148]
s5、训练批次大小为1000，学习率为0.001，训练总轮次为200，每轮重复步骤s2、s3、s4，直到网络的总损失低于预设阈值，将1条声道支路网络拓展为4条声道支路网络，4条声道支路网络共享相同的参数，保存此时的网络参数；
[0149]
s6、将测试语音进行预处理，计算每一个声道的输入特征，将待增强的语音特征输入步骤s5中保存的多任务网络，得到增强后的语音特征，将增强后的语音特征输入语音重构模块，得到增强后的语音，具体重构流程如下；
[0150]
将声道融合子网络输出的对数幅度谱转换为线性幅度谱取第1声道的语音相位谱e
jθ
与相乘得到增强后语音的复数表示将进行短时傅里叶变换逆变换和重叠相加，得到增强后语音的时域波形。
[0151]
为验证本发明的技术效果，将上述实施例2和实施例3与已有的基线系统(详见：westhausen n l,meyer b t.acoustic echo cancellation with the dual-signal transformation lstm network[c]//icassp 2021-2021ieee international conference on acoustics,speech and signal processing(icassp).ieee,2021:7138-7142.)进行对比，评价指标使用语音质量感知评估pesq。训练集的源语音和参考回声语音选自timit训练集，加性噪声选用babble噪声。测试集源语音和参考回声选自timit测试集。分别在信噪比：-3db、2db、7db、12db和信号回声比：-2db、3db、8db上完成测试。
[0152]
基线系统的测试结果由原文提供的预训练的模型测试得到。对比结果如表1和表2所示。可以看到在不同信噪比下本专利的实施方案相对于带噪语音pesq平均有0.6的提高，相对于基线系统pesq平均有0.2的提高。在不同的回声信号比下，本专利的实施方案相对于带噪语音pesq平均提升25％到50％，相对基线系统pesq平均提高约11％。
[0153]
表1.不同信噪比条件下的pesq对比表
[0154]
ꢀ‑
3db2db7db12db带噪语音1.3581.4451.5171.561基线系统1.5291.8281.9862.058本实施例21.8682.0132.1222.186本实施例31.8531.9912.1042.170
[0155]
表2.不同信号回声比条件下的pesq对比表
[0156]
ꢀ‑
2db3db8db带噪语音1.2631.4771.671
基线系统1.7031.8691.979本实施例21.8622.0672.213本实施例31.8522.0482.189
[0157]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：

1.一种基于多任务网络的麦克风阵列语音增强系统，其特征在于，所述麦克风阵列语音增强系统包括语音预处理模块、多任务网络模块、多任务损失统计模块、网络权重计算模块和语音重构模块，其中，所述语音预处理模块分别与多任务网络模块和多任务损失统计模块连接，用于获取阵列语音、参考回声语音和各个任务目标语音作为输入语音，对输入语音进行预处理，所述预处理工作包含语音信号的归一化、提取各声道语音和参考回声语音的对数幅度谱；所述多任务网络模块分别与语音预处理模块、多任务损失统计模块、网络权重计算模块和语音重构模块连接，完成阵列语音各声道的去混响、回声消除、降噪任务，并将多声道语音融合输出为增强后的语音；所述多任务损失统计模块分别与多任务网络模块和网络权重计算模块连接，计算多任务网络模块中各任务的损失值，并统计网络的总损失；所述网络权重计算模块分别与多任务网络模块和多任务损失统计模块连接，根据网络的总损失计算梯度，将梯度反向传播，计算得到更新后网络的权重；所述语音重构模块与多任务网络模块连接，完成从频域特征到时域语音的映射，得到增强后的干净语音。2.根据权利要求1所述的一种基于多任务网络的麦克风阵列语音增强系统，其特征在于，所述多任务网络模块，包括m条并联的声道分支网络和1个声道融合子网络，上述每条声道分支网络包括依次顺序连接的1个去混响子网络、1个回声消除子网络和1个降噪子网络，其中m与语音预处理模块中麦克风阵列的阵元数目相同，每条声道分支网络中去混响子网络与回声消除子网络、所述多任务损失统计模块和所述语音预处理模块连接，完成对该声道的混响去除任务；每条声道分支网络中的回声消除子网络与去混响子网络、降噪子网络、所述语音预处理模块和所述多任务损失统计模块连接，利用参考的回声信号，消除该声道的回声分量；每条声道分支网络中的降噪子网络与回声消除子网络、声道融合子网络和所述多任务损失统计模块连接，消除该声道中的噪声分量；所述声道融合子网络分别与m条声道分支网络中的降噪子网络、所述多任务损失统计模块和所述网络权重计算模块连接，利用阵列语音各声道包含的空间信息进行二次增强。3.根据权利要求2所述的一种基于多任务网络的麦克风阵列语音增强系统，其特征在于，所述多任务损失统计模块包括去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声道融合损失统计模块和总损失统计模块，其中，所述去混响损失统计模块分别与上述语音预处理模块、上述各声道的去混响子网络和总损失统计模块连接，利用去混响子网络的输出和去混响标签计算各声道去混响子网络的损失值；所述回声消除损失统计模块分别与上述语音预处理模块、上述各声道的回声消除子网络和总损失统计模块连接，利用回声消除子网络的输出和去混响去回声标签计算各声道回声消除子网络的损失值；所述降噪损失统计模块分别与上述语音预处理模块、上述各声道的降噪子网络和总损失统计模块连接，利用降噪子网络的输出和无噪声标签计算各声道降噪子网络的损失值；所述声道融合损失统计模块分别与上述语音预处理模块、上述声道融合子网络和总损失统计模块连接，利用声道融合子网络的输出和干净语音标签计算声道融合子网络的损失值；所述总损失统计模块分别与去混响损失统计模块、回声消除损失统计模块、降噪损失统计模块、声
道融合损失统计模块和上述网络权重计算模块连接，接收各任务损失统计模块的损失值，统计网络的总损失值。4.一种根据权利要求1至3任一所述的基于多任务网络的麦克风阵列语音增强系统的语音增强方法，其特征在于，所述语音增强方法包括以下步骤：s1、构建阵列语音训练集，对语音进行预处理，分别得到每一个声道的输入特征和去混响任务、回声消除任务、降噪任务、融合任务的标签；s2、将各声道预处理得到的特征输入多任务网络模块，依次通过与每条声道对应的去混响子网络、回声消除子网络和降噪子网络后，在声道融合子网络进行融合，从上述各子网络的输出端分别得到各声道已去混响的目标输出、已去混响去回声目标输出、无噪声目标输出和融合后干净语音目标输出；s3、将各任务的网络输出和各任务的标签输入多任务损失统计模块，计算各声道中回声消除子网络的损失值、混响子网络的损失值、降噪子网络的损失值和声道融合子网络的损失值，并根据上述损失值计算网络总损失；s4、计算网络总损失的梯度，采用反向传播法更新网络的权重；s5、重复步骤s2、s3、s4，直到网络的总损失低于预设阈值，保存此时的网络参数；s6、将测试语音进行预处理，计算每一个声道的输入特征，将待增强的语音特征输入步骤s5中保存的多任务网络，得到增强后的语音特征，将增强后的语音特征输入语音重构模块，得到增强后的语音。5.根据权利要求4所述的一种基于多任务网络的麦克风阵列语音增强方法，其特征在于，所述步骤s1中的阵列语音训练集的构建过程如下：s1.1、构建带噪阵列语音与相应的已去混响的阵列语音、已去混响去回声的阵列语音和无噪声的阵列语音：带噪阵列语音为x(n)＝[x1(n),x2(n),...,x
m
(n),...,x
m
(n)]
t
,m∈[1,m]，其中x
m
(n)为第m个阵元接收到的带噪语音信号，m为麦克风阵列的阵元数目，s
′
(n)为包含混响的源语音分量，d(n)为包含混响的回声分量，v(n)为环境噪声，s(n)为源语音，e(n)为参考的回声语音，τ
m
(θ)是阵元m收到方向角为θ的声源产生的信号时刻相对参考阵元的时延，*代表卷积操作，h(n)为房间内的多径传播信道参数，ser为随机分布的信号回声比，snr为随机分布的信噪比；已去混响的阵列语音为y
dereb
(n)＝[y
1_dereb
(n),y
2_dereb
(n),...,y
m_dereb
(n),...,y
m_dereb
(n)]
t
,m∈[1,m]，其中y
m_dereb
(n)＝s(n-τ
m
(θ))+e(n-τ
m
(θ))+v(n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)已去混响去回声的阵列语音为y
decho
(n)＝[y
1_decho
(n),y
2_decho
(n),...,y
m_decho
(n),...,y
m_decho
(n)]
t
,m∈[1,m]，其中y
m_decho
(n)＝s(n-τ
m
(θ))+v(n)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)无噪声的阵列语音为y
enh
(n)＝[y
1_enh
(n),v
2_enh
(n),...,y
m_enh
(n),...,y
m_enh
(n)]
t
,m∈[1,m]，其中
y
m_enh
(n)＝s(n-τ
m
(θ))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，y
m_dereb
(n)为第m个阵元的已去混响语音，y
m_enh
(n)为第m个阵元的已去混响去回声语音，y
m_enh
(n)为第m个阵元的无噪声语音；s1.2、提取网络的输入特征：将阵元m接收的语音信号x
m
(n)进行短时傅里叶变换，得到每帧的对数幅度谱x
m
(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，将第i帧与其前l帧的对数幅度谱组合得到第m声道第i帧的网络输入特征参考回声语音e(n)经过相同的处理后获得参考回声的对数幅度谱e(i,k)；s1.3、构建第m声道各任务的标签：将y
m_dereb
(n)、y
m_decho
(n)、y
m_enh
(n)和s(n)语音进行短时傅里叶变换得到每帧的幅度谱时傅里叶变换得到每帧的幅度谱和s(i,k)，k为离散频率序号，i∈[0,n]为帧的序号，n为总帧数，采用目标理想比值掩蔽irm作为各任务的标签，irm采用下式计算，其中，t
m
(i,k)为期待得到目标语音的幅度谱,β为可调节尺度因子，m
m
(i,k)＝exp(x
m
(i,k))为带噪语音的幅度谱，k为离散频率序号，i为帧序号，将上述得到的和替换式(5)中的t
m
(i,k)，得到去已去混响的标签已去除混响和回声的标签和去噪后的标签此外，将s(i,k)做对数变换得到干净语音的对数幅度谱标签s
lms
。6.根据权利要求5所述的一种基于多任务网络的麦克风阵列语音增强方法，其特征在于，所述步骤s2中将特征输入多任务网络模块得到各任务子网络得到目标输出的过程如下：s2.1、将输入第m声道的去混响子网络，得到期望去除混响语音的irm输出s2.2、将和e(i,k)输入第m声道的回声消除子网络，得到期望去除混响和回声语音的irm输出s2.3、第m声道的降噪子网络包含两个输出层，一个输出层输出降噪后语音的对数幅度谱，另一个输出层输出降噪后语音的irm，将输入降噪子网络，得到对数幅度谱输出和irm输出s2.4、构建声道融合子网络的输入其中
采用一个层的卷积层作为声道融合子网络，m为总阵元数，d为卷积核的宽度，对于输入x
fuse_in
其维度可以表示为x
fuse_in
∈r2×
m
×
k
，将矩阵沿m维度方向作卷积，得到声道融合子网络增强后的单声道对数幅度谱7.根据权利要求6所述的一种基于多任务网络的麦克风阵列语音增强方法，其特征在于，所述步骤s3中多任务损失统计模块得到总损失值的流程如下：s3.1、将去混响子网络的输出和已去除混响语音的irm标签通过下式计算各声道去混响子网络的总损失值l
dereb
；s3.2、将回声消除子网络的输出和已去除混响和回声语音的标签通过下式计算得到各声道回声消除子网络损失值l
decho
；s3.3、将降噪子网络输出和无噪声标签通过下式计算得到各声道降噪子网络的损失值l
enh
；s3.4、将声道融合子网络得到的输出和干净语音的对数幅度谱s
lms
通过下式计算声道融合子网络的损失l
fuse
；s3.5、将得到的各个任务模块的损失值l
dereb
、l
decho
、l
enh
和l
fuse
计算网络的总损失loss如下：loss＝l
dereb
+l
decho
+l
enh
+l
fuse
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)。8.根据权利要求6所述的一种基于多任务网络的麦克风阵列语音增强方法，其特征在于，所述步骤s6中采用如下方法将增强后的语音特征重构为增强后的语音：将声道融合子网络输出的对数幅度谱转换为线性幅度谱然后对与x
m
(n)的相位谱相乘得到增强后语音的复数表示将进行短时傅里叶变换逆变换和重叠相加，得到增强后语音的时域波形。

技术总结

本发明公开了一种基于多任务网络的麦克风阵列语音增强系统及方法，该系统由语音预处理模块、多任务网络模块、多任务损失统计模块、网络权重计算模块和语音重构模块组成。其中，语音预处理模块获取阵列语音、参考回声语音和各个任务目标语音作为输入语音并进行预处理；多任务网络模块完成阵列语音各声道的去混响、回声消除、降噪任务，并将多声道语音融合输出为增强后的语音；多任务损失统计模块用于计算多任务网络模块中各任务的损失值，并统计网络的总损失；网络权重计算模块根据网络的总损失计算梯度，将梯度反向传播，计算得到更新后网络的权重；语音重构模块完成从频域特征到时域语音的映射，得到增强后的干净语音。得到增强后的干净语音。得到增强后的干净语音。