一种基于多分支-动态合并网络的信号增强方法

1.本发明属于人工智能领域，涉及一种基于神经网络的语音增强方法。

背景技术：

2.语音增强是语音信号处理中的重要环节，其主要任务是从带噪语音中将目标语音分离出来，尽可能移除或削弱噪声语音信号中的背景噪声，以提高语音信号的质量和客观可懂度；在实际应用中，往往需要先将语音尽可能和背景噪声分离开来，后续的语音处理过程才会取得较好的效果。早期的语音增强算法主要依赖于人工假设的数学模型，以非监督算法为主，基于统计信号模型设计算法，这类算法往往与实际条件有一定的偏差，因此性能始终有限。近年来，随着硬件计算能力的快速进步和深度学习理论的快速发展，基于深度学习的语音增强方法被大量提出，且迅速成为语音增强的主要发展方向。现有的深度学习语音增强方法主要结合卷积神经网络和循环神经网络，以卷积层作为网络模型的主要组成部分，完成对语音信号的局部特征提取；以循环神经网络层作为辅助部分，提取语音信号的时序信息。尽管卷积神经网络具有结构简单以及强大的特征提取能力，但由于卷积网络的滤波器是空间不变的，并且其参数在网络训练结束后不会发生改变，因此理论上空间不变的滤波器在面对内容不同的输入时，其特征提取能力是次优的；其次随着卷积网络的宽度和深度不断增大，网络的表达能力增强，但其网络运算量也成倍增加，因而进一步限制了网络的性能。

技术实现要素：

3.本发明针对背景技术的缺陷，借鉴前沿的注意力机制(attention)，以及由深度分离卷积网络所获得的灵感，提出了多分支-动态合并结构，将该结构引入到经典的门控卷积循环网络(gated convolutional recurrent networks,gcrn)中，提出了一种新型的多分支-动态合并神经网络信号增强方法。本发明将原始gcrn中的主支路卷积层全部换成了多分支-动态合并结构，一方面降低了计算量和参数量，另一方面使得相应卷积层的卷积参数根据输入自适应地进行调整，具有更强的特征提取能力，性能得到了显著提升，同时在反卷积层采用先进的亚像素卷积算法，克服了反卷积网络的“棋盘伪影”问题。
4.本发明技术方案为一种基于多分支-动态合并神经网络的信号增强方法，该方法包括：
5.步骤1：由纯净信号数据集x
train
构造含噪信号数据集
[0006][0007]
其中，x
train
表示纯净信号数据集，n
train
为指定信噪比的加性噪声；将纯净信号数据集x
train
和含噪信号数据集经过短时傅里叶变换进行特征提取，获得相应信号的stft谱数据集：训练输入和训练目标输出x
train
；
[0008]
步骤2：采用的信号增强网络为将门控卷积循环网络(gcrn)改进为多分支-动态合
并结构，改进为多分支-动态合并结构的方法为：将门控卷积循环网络网络编码器(encoder)模块中的卷积网络结构门控线性单元(glu)中的常规卷积网络convk
×
1用k个卷积层conv1
×
1来代替，输入数据分别经过k个卷积层conv1
×
1得到k个输出结果，再将这k个输出结果按照通道维度进行拼接得到多分支处理结果；
[0009]
步骤3：将步骤2中多分支处理结果输入注意力机制模块，获得每个通道的加权系数w；将多分支处理结果按通道维度与加权系数w相乘，得到空间维度动态分配结果；
[0010]
步骤4：将步骤3得到的空间动态分配结果按照卷积运算的方式进行错位相加，得到输出结果；将步骤1的作为输入信号，x
train
作为目标，使用如下所示的损失函数进行信号增强网络训练；
[0011][0012]
其中，l为网络损失函数，l
mag
为幅度谱分支的损失函数，l
cpl
为复数谱分支的损失函数，m为训练目标的幅度谱，为降噪信号的幅度谱，和分别为信号增强网络实际输出复数谱的实部和虚部，sr和si为训练目标的实部和虚部，其由复数谱计算可得，n为输入信号的帧数，α为比例因子，直到训练完毕；
[0013]
步骤5：采用训练好的信号增强网络对实际信号进行增强处理。
[0014]
进一步地，所述gcrn网络中多分支-动态合并结构中卷积核大小均设为(3,1)，所述信号增强网络设置5个带门控分支的卷积层和5个带门控分支的反卷积层，称为门控卷积模块和门控反卷积模块；对每个模块中的卷积层和反卷积层均使用并行的门控分支进行调整，门控分支的设置与卷积层一致，但使用sigmoid作为激活函数，注意力机制两个全连接层根据输入参数的大小设置输入特征，使用relu作为激活函数；同时，反卷积层采用亚像素卷积算法，克服反卷积算法带来的棋盘伪影问题；此外，前5个门控卷积模块通过将步长设置为2不断压缩输入沿频率方向的大小，即每过一个卷积层，输入的长度减小一半，而后5个门控反卷积模块通过将步长设置为2不断将输入的长度恢复成原来的2倍；所有卷积层和反卷积层的通道数均设置为64；长短时记忆的输入特征数和隐藏神经元数均为320，所有激活函数均使用prelu。进行stft时，将信号使用汉明窗进行分帧，每帧帧长256，相邻两帧重叠50％的采样点，逐帧进行傅里叶变换即可得到信号语谱图；由于信号是实信号，其频谱是共轭对称的，因此仅取半边谱，即每帧129长度送入信号增强网络。
[0015]
本发明的主要特点在于：创新性地提出将空间注意力机制和多分支结构结合应用于深度学信号增强方法中，令神经网络的输出数据根据输入数据而进行动态调整，这一做法克服了卷积网络完成训练之后内容不可知的特性，即网络参数不再随着输入而变化从而导致特征提取能力次优的问题，使得神经网络能够更好地提取特征，同时多分支结构减少了卷积网络带来的计算量，使得网络模型的资源消耗减小；本发明使用了空间注意力机制结合多分支的方法，并将其嵌入到先进的神经网络结构gcrn中，重新设计了相应的门控卷
积模块和门控反卷积模块，在参数量没有增加的情况下取得了显著优于原始gcrn的性能。
附图说明
[0016]
图1为本发明适用的多分支-动态合并网络的简化框图；
[0017]
图2为本发明使用的语音增强网络网络结构图；
[0018]
图3为本发明方法中语音增强网络中的门控卷积模块结构图，门控反卷积模块与之相似，将门控分支(gate branch)中的卷积层换为亚像素卷积。
具体实施方式
[0019]
下面结合附图和实施例，详述本发明的技术方案。但不应将此理解为本发明上述主体的范围仅限于以下实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
[0020]
本发明使用多分支-动态合并结构替代了图2所示的语音信号增强网络结构中各个模块中的卷积层以及反卷积层。每个门控卷积模块和门控反卷积模块中多分支-动态合并结构的具体位置如图3所示，由于门控卷积模块与门控反卷积模块结构类似，仅将门控分支(gate branch)中的卷积层换成了亚像素卷积层。值得注意的是，在门控卷积模块中，多分支动态合并分支和门控分支中均通过调整步长为2压缩输入的频率维度大小至原来的二分之一，而在门控反卷积模块中的多分支-动态合并分支通过亚像素卷积的方式来将输入的频率维度(第二个维度)大小扩大两倍：假设门控反卷积模块的输入为x∈rc×h×
t
，则通过该模块后的输出为y
′
∈r
2c
×h×
t
，将y
′
中一半的通道维度分离出来填充到频率维度中，即：
[0021][0022]
其中1≤i≤h,1≤j≤t。由于亚像素操作是比较基础的深度学习处理手段，此处不再赘述。而门控反卷积模块中的门控分支使用反卷积层完成频率维度扩增的操作；经过以上修改，得到本发明提出的语音增强网络。
[0023]
数据集和仿真参数设置如下：
[0024]
本发明实施例采用timit数据集对语音增强网络进行训练和测试，该数据集包含了由630名发音人员构成的6300条音频(70％为男性)。选择其中的4620条音频作为训练数据x
train
，另外1680条作为测试数据x
test
。
[0025]
训练数据x
train
添加的噪声类型为短波噪声，指定噪声snr为-5db,-4db,-3db,-1db和0db，每个snr下的音频数目为1500，即总共9000条音频用于训练。
[0026]
测试数据x
test
所选噪声类型为短波噪声，指定噪声snr为0db。
[0027]
所有音频数据采样率为8khz，使用汉明窗进行加窗分帧操作，帧长为256样本，帧移为128样本。
[0028]
卷积神经网络使用adam优化器以1e-3的初始学习率对模型进行训练，每一个怕批次(mini-batch)的大小为4，每5个训练周期(epoch)减小一半学习率。
[0029]
评价指标：语音质量感知指标(perceptual evaluation of speech quality，pesq)，该指标的量化区间为-0.5～4.5，分数越高，表示语音质量越好。短时客观可懂度(short-time objective intelligibility,stoi)，该指标的量化区间为0～1，可使用百分比的形式表示，分数越高代表语音质量越好。
[0030]
具体实施例包括以下步骤：
[0031]
步骤1：由纯净语音数据集x
train
构造含噪语音数据集
[0032][0033]
其中n
train
为指定信噪比的加性噪声，从而获得9000条语音数据集x
train
和含噪语音数据集将这两个处理后的数据集与纯净语音数据集经过短时傅里叶变换(short time fourier transform，stft)进行特征提取，获得相应语音信号的stft谱数据集获得相应语音信号的语谱图数据集x
train
和转入步骤2.
[0034]
步骤2：根据gcrn网络encoder模块中的卷积网络结构glu，将glu结构中的常规卷积网络convk
×
1用k个卷积层conv1
×
1来代替，输入数据分别经过k个卷积层conv1
×
1得到k个输出结果，再将这k个输出结果按照通道维度进行拼接得到多分支处理结果，将其输入注意力机制模块，获得每个通道的加权系数w；将多分支处理结果与加权系数w相乘，得到空间动态分配结果，将该结果按照卷积运算的方式进行错位相加，得到输出结果转入步骤3.
[0035]
步骤3：训练步骤2构造的神经网络语音增强网络，将步骤2所得的语音语谱图数据集作为输入信号，将纯净语音语谱图数据集x
train
作为目标，使用上述所提损失函数进行卷积神经网络训练，最终获得具有噪声抑制能力的神经网络模型，转入步骤4.
[0036]
步骤4：将步骤3获得的神经网络模型语音增强网络用于实际信号的语音增强。首先对待增强信号y
test
进行stft得到语谱图y
test
，将y
test
送入语音增强网络得到输出对进行逆stft，得到增强后的信号由此完成本发明的短波语音增强。
[0037]
与本发明的方法对比的有：短波语音不经过增强处理(unprocessed)，使用原始gcrn算法，以及本发明所用方法语音增强网络。如下表1所示为0db下不同方法在不同噪声上对于pesq指标和stoi指标的测试结果。
[0038]
表1
[0039]
质量指标pesqstoi(％)unprocessed1.483669.0589gcrn2.886789.0552本发明语音增强网络3.066590.8344
[0040]
实验对比结果表示，本发明相比原始的gcrn语音增强算法，显著提高了增强语音质量。

技术特征：

1.一种基于多分支-动态合并神经网络的语音增强方法，该方法包括：步骤1：由纯净语音数据集x
train
构造含噪语音数据集构造含噪语音数据集其中，x
train
表示纯净语音数据集，n
train
为指定信噪比的加性噪声；将纯净语音数据集x
train
和含噪语音数据集经过短时傅里叶变换进行特征提取，获得相应语音信号的stft谱数据集：训练输入和训练目标输出x
train
；步骤2：采用的语音增强网络为将门控卷积循环网络改进为多分支-动态合并结构，改进为多分支-动态合并结构的方法为：将门控卷积循环网络网络编码器模块中的卷积网络结构门控线性单元中的常规卷积网络convk
×
1用k个卷积层conv1
×
1来代替，输入数据分别经过k个卷积层conv1
×
1得到k个输出结果，再将这k个输出结果按照通道维度进行拼接得到多分支处理结果；步骤3：将步骤2中多分支处理结果输入注意力机制模块，获得每个通道的加权系数w；将多分支处理结果按通道维度与加权系数w相乘，得到空间维度动态分配结果；步骤4：将步骤3得到的空间动态分配结果按照卷积运算的方式进行错位相加，得到输出结果；将步骤1的作为输入信号，x
train
作为目标，使用如下所示的损失函数进行语音增强网络训练；其中，l为网络损失函数，l
mag
为幅度谱分支的损失函数，l
cpl
为复数谱分支的损失函数，m为训练目标的幅度谱，为降噪语音的幅度谱，和分别为语音增强网络实际输出复数谱的实部和虚部，s
r
和s
i
为训练目标的实部和虚部，其由复数谱计算可得，n为输入语音的帧数，α为比例因子，直到训练完毕；步骤5：采用训练好的语音增强网络对实际语音进行增强处理。2.如权利要求1所述的一种基于多分支-动态合并神经网络的语音增强方法，其特征在于，所述gcrn网络中多分支-动态合并结构中卷积核大小均设为(3,1)，所述语音增强网络设置5个带门控分支的卷积层和5个带门控分支的反卷积层，称为门控卷积模块和门控反卷积模块；对每个模块中的卷积层和反卷积层均使用并行的门控分支进行调整，门控分支的设置与卷积层一致，但使用sigmoid作为激活函数，注意力机制两个全连接层根据输入参数的大小设置输入特征，使用relu作为激活函数；同时，反卷积层采用亚像素卷积算法，克服反卷积算法带来的棋盘伪影问题；此外，前5个门控卷积模块通过将步长设置为2不断压缩输入沿频率方向的大小，即每过一个卷积层，输入的长度减小一半，而后5个门控反卷积模块通过将步长设置为2不断将输入的长度恢复成原来的2倍；所有卷积层和反卷积层的通道数均设置为64；长短时记忆的输入特征数和隐藏神经元数均为320，所有激活函数均使用
prelu。进行stft时，将语音信号使用汉明窗进行分帧，每帧帧长256，相邻两帧重叠50％的采样点，逐帧进行傅里叶变换即可得到信号语谱图；由于语音是实信号，其频谱是共轭对称的，因此仅取半边谱，即每帧129长度送入语音增强网络。

技术总结

本发明公开了一种基于多分支-动态合并神经网络的信号增强方法，属于信号处理方法。针对背景技术的缺陷，借鉴前沿的注意力机制，以及由深度分离卷积网络所获得的灵感，提出了多分支-动态合并结构，将该结构引入到经典的门控卷积循环网络(Gated ConvolutionalRecurrent Networks,GCRN)中，提出了一种新型的多分支-动态合并神经网络语音增强方法。本发明将原始GCRN中的主支路卷积层全部换成了多分支-动态合并结构，一方面降低了计算量和参数量，另一方面使得相应卷积层的卷积参数根据输入自适应地进行调整，具有更强的特征提取能力，性能得到了显著提升，同时在反卷积层采用先进的亚像素卷积算法，克服了反卷积网络的“棋盘伪影”问题。问题。问题。