基于二次谱减法的复杂噪声背景下的语音识别方法和系统与流程

1.本发明属于语音增强技术领域，尤其涉及一种基于二次谱减法的复杂噪声背景下的语音识别方法和系统。

背景技术：

2.谱减法是语音增强算法之一。语音增强是指当语音信号被各种各样的噪声干扰、甚至淹没后，从具有噪声的语音信号中提取有用的语音信号，抑制、降低噪声干扰的技术。然而噪声干扰通常都是随机的，从带噪声语音中提取完全纯净的语音信号几乎不可能。在这种情况下，语音增强的目的主要有两个：一是改进语音质量，消除背景噪声，这是一种主观度量；二是提升语音识别，说话人识别等语音任务效果，这是一种客观度量。但是这两种目的往往不能兼得，比如一些语音增强的算法可以显著地降低背景噪声，改进语音质量，但是并不能提高语音识别的效果，甚至是略有下降。
3.谱减法是处理带宽噪声较为传统和有效的语音增强算法，其基本思想是在假定加性噪声与短时平稳的语音信号相互独立的条件下，从带噪语音信号中减去噪声功率谱，从而得到较为纯净的语音频谱。谱减法突出的优点是算法计算量比较小，运算量比较低，计算复杂度很低，并且适用于实时处理的场景。缺点是处理后的信号会残留比较多的噪声，被称为音乐噪声。
4.为了减弱谱减法所带来的音乐噪声，berouti提出频谱过减算法，通过使用噪声移除因子来减小频谱相减残留的宽带谱峰的幅度，使用最低音频能量来填充谱谷(频谱相减的负值)从而控制残留噪声的多少以及音乐噪声的大小。过减谱减法表达式如下：
[0005][0006]
其中，py(ω)、ps(ω)、pn(ω)，分别表示含噪信号、纯净语音信号和噪音信号的功率谱；α是噪声移除因子，是音频频谱减去噪声频谱的系数；b表示音频中保留的最低音频能量；
[0007]
谱减法以及过减谱减法都是在稳态的背景噪声环境下成立的，即噪声对语音的所有频谱分量具有同等程度的影响。但是现实世界中的背景噪声是随时变化的，不同的干扰噪声对语音各个频段的影响不尽相同，过减谱减法仍然不能将残余噪声控制到较低的水平。

技术实现要素：

[0008]
鉴于上述的分析，本发明旨在提供一种基于二次谱减法的复杂噪声背景下的语音识别方法，对于含噪历史音频进行噪声估计，对于当前音频噪声估计，经计算确定历史噪声移除因子和当前帧音频噪声移除因子，对待识别含噪音频进行二次谱减，以解决现实世界中的背景噪声复杂，采用现有技术无法将残余噪声控制到较低水平的问题。
[0009]
一方面，本发明提供了一种基于二次谱减法的复杂噪声背景下的语音识别方法，
具体包括如下步骤：
[0010]
基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计；
[0011]
对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；
[0012]
依次对每帧音频进行处理，得到降噪后的语音；其中，对当前帧音频处理，包括：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。
[0013]
进一步的，所述基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计，包括：
[0014]
分别对每条所述含噪历史音频分帧，处理后得到含噪历史音频每帧信号的功率谱；
[0015]
选取每条音频上功率谱最低的预设数量帧的音频作为纯噪声，估计得到每条含噪历史音频的噪声的每一帧平均功率谱bi(ω)，其中，i＝1，2，3
……
，n，n表示含噪历史音频的条数；
[0016]
对每条所述纯净噪声音频分帧，处理后得到每条纯净噪声音频每帧的平均噪声功率谱bj(ω)，其中，j＝1，2，3
……
，k，k表示纯净噪声音频的条数；
[0017]
将bi(ω)和bj(ω)取平均值得到历史噪声估计
[0018]
进一步的，所述当前帧音频的噪声估计，包括：
[0019]
选取所述待识别音频中功率谱最低的预设数量帧的音频作为纯噪声，估计待识别音频的每一帧的噪声平均功率谱即当前帧音频的噪声估计。
[0020]
进一步的，利用下述公式对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱：
[0021][0022]
其中，表示当前帧音频的功率谱估计，y
n+1
(ω,m)表示当前帧音频的频谱，ψ
n+1
(ω,m)表示当前帧音频的相位信息；αm、βm分别是历史噪声移除因子和当前帧音频噪声移除因子；bm是音频信号最低频谱因子。
[0023]
进一步的，利用下述公式计算得到所述αm、βm和bm：
[0024][0025][0026]
[0027]
其中，c为常数，ξm为所述当前帧音频信号频域的后验信噪比；α
min
、α
max
分别表示αm的最小值和最大值；β
min
、β
max
分别表示βm的最小值和最大值；b
min
、b
max
分别表示bm的最大值和最小值。
[0028]
进一步的，利用下述公式计算得到所述ξm：
[0029][0030]
其中，k为频点，∑k|y
n+1
(ωk，m)|表示所述当前帧音频频谱强度，表示所述历史噪声估计的频谱强度。
[0031]
进一步的，对所述αm、βm和bm的最大值和最小值做出限制，包括α
max
＝3,α
min
＝1,β
max
＝3,β
min
＝1,b
max
＝0.1,b
min
＝0.02。
[0032]
另一方面，本发明还提供了一种基于二次谱减法的复杂噪声背景下的语音识别系统系统，包括：
[0033]
历史噪声估计模块：基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计；
[0034]
待识别音频降噪处理模块：对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；依次对每帧音频进行处理，得到降噪后的语音；其中，对当前帧音频处理，包括：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。
[0035]
进一步的，所述历史噪声估计模块，包括以下模块：
[0036]
含噪历史音频处理模块：分别对每条所述含噪历史音频分帧，处理后得到含噪历史音频每帧信号的功率谱；选取每条音频上功率谱最低的预设数量帧的音频作为纯噪声，估计得到每条含噪历史音频的噪声的每一帧平均功率谱bn(ω)，其中，n表示第n条含噪历史音频；
[0037]
纯净噪声音频处理模块：对每条所述纯净噪声音频分帧，处理后得到每条纯净噪声音频每帧的平均噪声功率谱bk(ω)，其中，k表示第k条纯净噪声音频；
[0038]
噪声估计模块：将b
p
(ω)和bn(ω)取平均值得到历史噪声估计
[0039]
进一步的，所述待识别音频降噪处理模块，包括：
[0040]
当前音频噪声估计模块：对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频，选取其中功率谱最低的预设数量帧的音频作为纯噪声，估计待识别音频的每一帧的噪声平均功率谱即当前帧音频的噪声估计；
[0041]
降噪处理模块：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。
[0042]
本发明至少可以实现下述之一的有益效果：
[0043]
1、通过采集大量不同场景的复杂噪声背景的历史含噪音频进行噪声加权平均得到历史噪声估计，以及通过对当前的待识别音频抽取特定帧进行当前噪声估计，解决了不同场景下的复杂噪声背景存在差异所引起的噪声估计与待识别音频中的噪声存在偏差的问题。
[0044]
2、通过计算确定历史噪声移除因子和当前帧音频噪声移除因子，对待识别含噪音频进行二次谱减，提升了对待识别音频进行降噪处理的准确性。
[0045]
3、通过将每次的待处理音频的噪声估计迭代到历史噪声估计，可以不断优化历史噪声估计，进一步提升二次谱减法对待识别音频进行降噪处理的准确性。
[0046]
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
[0047]
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
[0048]
图1为本发明所述方法的流程示意图；
[0049]
图2为本发明所述方法的详细步骤示意图；
[0050]
图3为本发明一实施例中对一条待处理音频处理前后的波形对比。
具体实施方式
[0051]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0052]
方法实施例
[0053]
实施例1
[0054]
本发明的一个具体实施例，公开了一种基于二次谱减法的复杂噪声背景下的语音识别方法方法，具体包括如下步骤：
[0055]
步骤s1：选取复杂噪声背景下的含噪历史音频和纯净噪声音频，经过计算处理得到历史噪声估计。
[0056]
复杂噪声背景指的是语音信号环境中，有与信号存在与否无关的各种不同噪声且噪声不断的发生变化；含噪历史音频指的是包含复杂噪声和纯净语音信号的音频，纯净噪声音频指在复杂噪声背景中捕获的不包含语音信号的噪声音频。本方法可适用于军事领域稳态噪声语音增强场景，如装甲车辆运行情况下的语音识别场景；此时，含噪历史音频指包含装甲车辆运行产生的噪声和纯净语音信号的音频，纯净噪声音频指装甲车辆运行时产生的噪声。
[0057]
具体的，步骤s1包括以下步骤：
[0058]
步骤s11：选取i条含噪历史音频(其中i＝1，2，3，
……
，n，n为含噪历史音频的条数)，对其中第i条含噪音频分帧，示例性地，每25ms分一帧，帧移10ms，分别用x(i,m)、y(i,m)和b(i,m)表示为第i条音频中第m帧处的干净音频、含噪音频和噪声音频信号，相应的频谱分别表示为x(ω,m)、y(ω,m)和b(ω,m)；
[0059]
步骤s12：对每一帧音频进行短时傅里叶变换，得到每一帧信号的功率谱xi(ω,m)和相位谱ψi(ω,m)；
[0060]
步骤s13：选取整个音频上功率谱xi(ω,m)最低的100帧音频作为纯噪声，估计此条待降噪音频的噪声的每一帧平均功率谱bi(ω)；
[0061]
步骤s14：选取j条纯净噪声音频(其中，j＝(1，2，3
……
，k))，对其中第j条净噪声音频分帧，每25ms分一帧，帧移10ms，对每一帧音频进行短时傅里叶变换并计算加权功率谱，得到每一帧平均噪声功率谱bj(ω)；
[0062]
步骤s15：将bi(ω)和bj(ω)取平均值得到历史噪声估计
[0063]
步骤s2：对复杂噪声背景下的待识别音频进行分帧，依次对每帧音频进行处理，得到降噪后的语音，具体包括以下步骤：
[0064]
步骤s21：令待识别音频的序号为n+1，令i＝n+1，执行步骤同s11、s12、s13，估计待识别音频的每一帧平均功率谱
[0065]
步骤s22：计算对当前帧音频进行二次谱减所需的参数：ξm、αm、βm和bm的取值；其中，ξm为当前帧音频信号频域的后验信噪比；αm、βm分别是历史噪声移除因子和当前帧音频噪声移除因子；bm是音频信号最低频谱因子；
[0066][0067]
其中，k为频点，∑k|y
n+1
(ωk，m)|表示所述当前帧音频频谱强度，表示所述历史噪声估计的频谱强度；
[0068][0069][0070][0071]
步骤s23：利用下述公式对待识别音频当前帧进行二次谱减，得到当前帧音频降噪后的语音频谱：
[0072][0073]
需要说明的是，在下次待识别音频的识别处理时，当前待识别音频作为第n+1加入历史含噪音频中，将待识别音频的噪声估计迭代到历史噪声估计优化历史噪声估计。
[0074]
实施例2
[0075]
本发明的另一个具体实施例，公开了一种基于二次谱减法的复杂噪声背景下的语音识别方法，具体包括如下步骤：
[0076]
步骤s4：选取100条采样率为44khz、长度为1分钟的装甲车训练场实地采样的含噪人声音频作为含噪历史音频；其中，背景噪音场景有：装甲车辆静止时只有的发动机运行噪声、装甲车辆加速时发动机运行噪声、车辆行进时履带与轮子或地面碰撞噪声、装甲车辆减
速时车辆运行噪声等；选取300条采样率为44khz、长度为1分钟的训练场实地采样的装甲车辆噪声作为纯净噪声音频；经过计算处理得到历史噪声估计，具体包括以下步骤：
[0077]
步骤s41：对每条含噪音频分帧，每25ms分一帧，帧移10ms，分别用x(i，m)、y(i，m)和b(i，m)表示为第i(i＝1，2，3......，100)条音频中第m帧处的干净因频、含噪音频和噪声音频信号，相应的频谱分别表示为x(ω，m)、y(ω，m)和b(ω，m)；
[0078]
步骤s42：对每一帧音频进行短时傅里叶变换，得到每一帧信号的功率谱xi(ω，m)和相位谱ψi(ω，m)；
[0079]
步骤s43：选取整个音频上功率谱xi(ω，m)最低的100帧音频作为纯噪声，估计此条待降噪音频的噪声的每一帧平均功率谱bi(ω)；
[0080]
步骤s44：对每条纯净噪声音频分帧，每25ms分一帧，帧移10ms，对每一帧音频进行短时傅里叶变换并计算加权功率谱，得到每一帧平均噪声功率谱bj(ω)(j＝1，2，3......，80)；
[0081]
步骤s45：将bi(ω)和bj(ω)取平均值得到历史噪声估计
[0082]
步骤s5：选取50条采样率为44khz、长度为1分钟的装甲车训练场实地采样的含噪人声音频作为待识别音频，对待识别音频进行分帧，依次对每帧音频进行处理，得到降噪后的语音，具体包括以下步骤：
[0083]
步骤s51：令当前待识别音频的序号为n+1；令i＝n+1，执行步骤s41、s42、s43，估计待识别音频的每一帧平均功率谱
[0084]
步骤s52：计算对当前帧音频进行二次谱减所需参数：ξm、αm、βm和bm的取值；其中，ξm为当前帧音频信号频域的后验信噪比；αm、βm分别是历史噪声移除因子和当前帧音频噪声移除因子；bm是音频信号最低频谱因子；
[0085][0086]
其中，k为频点，∑k|y
n+1
(ωk，m)|表示所述当前帧音频频谱强度，表示所述历史噪声估计的频谱强度；
[0087][0088][0089][0090]
步骤s53：利用下述公式对待识别音频当前帧进行二次谱减，得到当前帧音频降噪后的语音频谱：
[0091][0092]
步骤s54：将当前待识别音频的噪声估计迭代到历史噪声估计优化历史噪声估计；
[0093]
步骤s55：对下一条待识别音频执行步骤s51、s52、s53、s54，一直到将50条待识别人声音频处理完毕。
[0094]
采用如下方法验证本实施例的降噪效果：
[0095]
使用标注工具对50条待识别人声音频中说话人声进行标注，时间槽为10ms，对于每个时间槽，若存在人声则标注为1，否则标注为0；每一个音频文件对应一个标注文件。
[0096]
对于每一段音频，由于音频长度固定，因此降噪处理后结果与标注数据的长度相同。比较结果数据与标注数据内容，统计标注内容不相同的数量a，与音频总标注长度b运算，可得错误率e＝a/b。
[0097]
经计算，采用本实施例公开的一种基于二次谱减法的复杂噪声背景下的语音识别方法，对待识别音频进行降噪处理的错误率为14.92％，准确率为85.1％；采用统基于功率的谱减法对50条待识别音频进行降噪处理的错误率为19.10％，准确率为80.9％；本实施例的语音识别方法准确率较经典谱减法有显著提升。
[0098]
图3给出了使用本实施例的语音识别方法对一条待处理音频处理前后的波形对比，从图中标记位置可以观察到声音降噪前后的波形，背景噪声移除效果明显。
[0099]
系统实施例
[0100]
一种基于二次谱减法的复杂噪声背景下的语音识别系统，包括：
[0101]
历史噪声估计模块：基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计；
[0102]
待识别音频降噪处理模块：对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；依次对每帧音频进行处理，得到降噪后的语音；其中，对当前帧音频处理，包括：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。
[0103]
其中，历史噪声估计模块，包括以下模块：
[0104]
含噪历史音频处理模块：分别对每条所述含噪历史音频分帧，处理后得到含噪历史音频每帧信号的功率谱；选取每条音频上功率谱最低的预设数量帧的音频作为纯噪声，估计得到每条含噪历史音频的噪声的每一帧平均功率谱bn(ω)，其中，n表示第n条含噪历史音频；
[0105]
纯净噪声音频处理模块：对每条所述纯净噪声音频分帧，处理后得到每条纯净噪声音频每帧的平均噪声功率谱bk(ω)，其中，k表示第k条纯净噪声音频；
[0106]
噪声估计模块：将b
p
(ω)和bn(ω)加权平均得到历史噪声估计
[0107]
其中，待识别音频降噪处理模块，包括：
[0108]
当前音频噪声估计模块：对复杂噪声背景下的待识别音频进行分帧处理，得到多
帧音频，选取其中功率谱最低的预设数量帧的音频作为纯噪声，估计待识别音频的每一帧的噪声平均功率谱即当前帧音频的噪声估计；
[0109]
降噪处理模块：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。
[0110]
由于该基于二次谱减法的复杂噪声背景下的语音识别系统与基于二次谱减法的复杂噪声背景下的语音识别方法，基于相同的发明构思，相关之处可相互借鉴，因此可实现相同的技术效果。
[0111]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：

1.一种基于二次谱减法的复杂噪声背景下的语音识别方法,其特征在于，包括如下步骤：基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计；对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；依次对每帧音频进行处理，得到降噪后的语音；其中，对当前帧音频处理，包括：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。2.根据权利要求1所述的语音识别方法，其特征在于，所述基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计，包括：分别对每条所述含噪历史音频分帧，处理后得到含噪历史音频每帧信号的功率谱；选取每条音频上功率谱最低的预设数量帧的音频作为纯噪声，估计得到每条含噪历史音频的噪声的每一帧平均功率谱b
i
(ω)，其中，i＝1，2，3，
……
，n，n表示含噪历史音频的条数；对每条所述纯净噪声音频分帧，处理后得到每条纯净噪声音频每帧的平均噪声功率谱b
j
(ω)，其中，j＝1，2，3，
……
，k，k表示纯净噪声音频的条数；将b
i
(ω)和b
j
(ω)取平均值得到所述历史噪声估计3.根据权利要求2所述的语音识别方法，其特征在于，所述当前帧音频的噪声估计，包括：选取所述待识别音频中功率谱最低的预设数量帧的音频作为纯噪声；基于所述纯噪声估计待识别音频的每一帧的噪声平均功率谱即当前帧音频的噪声估计。4.根据权利要求3所述的语音识别方法，其特征在于，利用下述公式对所述当前帧音频进行二次谱减，得到当前帧音频的功率谱估计，即所述当前帧音频降噪后的语音频谱：其中，表示当前帧音频的功率谱估计，m表示当前帧音频的序号，y
n+1
(ω,m)表示当前帧音频的频谱，ψ
n+1
(ω,m)表示当前帧音频的相位信息；α
m
、β
m
分别是历史噪声移除因子和当前帧音频噪声移除因子；b
m
是音频信号最低频谱因子。5.根据权利要求4所述的语音识别方法，其特征在于，利用下述公式计算得到所述α
m
、β
m
和b
m
：：
其中，c为常数，ξ
m
为所述当前帧音频信号频域的后验信噪比；α
min
、α
max
分别表示α
m
的最小值和最大值；β
min
、β
max
分别表示β
m
的最小值和最大值；b
min
、b
max
分别表示b
m
的最大值和最小值。6.根据权利要求5所述的语音识别方法，其特征在于，利用下述公式计算得到所述ξ
m
：其中，k为频点，∑
k
|y
n+1
(ω
k
，m)|表示所述当前帧音频频谱强度，表示所述历史噪声估计的频谱强度。7.根据权利要求6所述的语音识别技术，其特征在于，对所述α
m
、β
m
和b
m
的最大值和最小值做出限制，包括α
max
＝3,α
min
＝1,β
max
＝3,β
min
＝1,b
max
＝0.1,b
min
＝0.02。8.一种基于二次谱减法的复杂噪声背景下的语音识别系统，其特征在于，包括：历史噪声估计模块：基于复杂噪声背景下的含噪历史音频和纯净噪声音频，得到所述复杂噪声背景的历史噪声估计；待识别音频降噪处理模块：对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；依次对每帧音频进行处理，得到降噪后的语音；其中，对当前帧音频处理，包括：基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。9.根据权利要求8所述的语音识别系统，其特征在于，所述历史噪声估计模块，包括以下模块：含噪历史音频处理模块，用于分别对每条所述含噪历史音频分帧，处理后得到含噪历史音频每帧信号的功率谱；选取每条音频上功率谱最低的预设数量帧的音频作为纯噪声，估计得到每条含噪历史音频的噪声的每一帧平均功率谱b
n
(ω)，其中，n表示第n条含噪历史音频；纯净噪声音频处理模块，用于对每条所述纯净噪声音频分帧，处理后得到每条纯净噪声音频每帧的平均噪声功率谱b
k
(ω)，其中，k表示第k条纯净噪声音频；噪声估计模块，用于将b
p
(ω)和b
n
(ω)取平均值得到历史噪声估计10.根据权利要求9所述的语音识别系统，其特征在于，所述待识别音频降噪处理模块，包括：当前音频噪声估计模块，用于对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频，选取其中功率谱最低的预设数量帧的音频作为纯噪声，估计待识别音频的每一帧的噪声平均功率谱即当前帧音频的噪声估计；降噪处理模块，用于基于所述历史噪声估计和当前帧音频的噪声估计，对所述当前帧音频进行二次谱减，得到所述当前帧音频降噪后的语音频谱。

技术总结

本发明涉及一种基于二次谱减法的复杂噪声背景下的语音识别方法和系统，属于语音增强技术领域。该方法包括：选取复杂噪声背景下的含噪历史音频和纯净噪声音频，经过计算处理得到历史噪声估计；对复杂噪声背景下的待识别音频进行分帧处理，得到多帧音频；依次对每帧音频进行处理：基于历史噪声估计和当前帧音频的噪声估计，确定历史噪声移除因子和当前帧音频噪声移除因子，对当前帧音频进行二次谱减，得到当前帧音频降噪后的语音频谱。该方法解决了对于现实世界中的背景噪声复杂采用现有技术无法将残余噪声控制到较低水平的问题。无法将残余噪声控制到较低水平的问题。无法将残余噪声控制到较低水平的问题。