基于声纹特征的目标说话人实时语音信息提取方法

1.本发明属于语音识别技术领域，涉及一种语音分离方法，具体涉及一种基于声纹特征的目标说话人实时语音信息提取方法，可用于各种移动设备中给语音识别应用的前端处理。

背景技术：

2.近年来，语音识别被广泛应用在智能音箱、智能手机、助听器等设备中，用来进行语音交互、语音输入等操作。这些设备在接收需处理的目标说话人语音数据的同时，往往会接收到一些非目标说话人的语音。这些非目标说话人的语音会严重干扰语音识别的准确度进而影响用户体验。为了解决这一问题，需要在语音识别之前对混合语音进行处理，从中提取出目标说话人的语音信息。提取出的语音信息首先应当能够有效的提高后续语音识别的准确性；同时考虑到移动设备有限的计算资源和部分语音识别任务的实时性，这一提取操作不能占用过多的计算资源或者过长的时间。
3.目前主流的语音分离方法通常是将n位说话人的混合语音分离为n条对应的语音。这些方法需要麦克风阵列等硬件的支持，或者预先知道场景中的说话人数量与位置，而且对内存、cpu等计算资源的需求较大。这些问题使得这类方法并不适合用作语音识别的前端处理。
4.由于声纹特征一定程度可以表征说话人语音的特点，借助目标说话人的声纹特征从混合语音中提取目标说话人的语音信息成为了一种可行的方法。例如申请公布号为cn 113990344a，“一种基于声纹特征的多人语音分离方法、设备及介质”的专利申请，公开了一种基于声纹特征的多人语音分离方法，该方法首先从目标说话人的纯净语音中提取出梅尔频率倒谱系数mfccs作为目标说话人的声纹特征，并对混合语音数据进行短时傅里叶变换获得其频谱特征，将目标说话人的声纹特征与混合语音的频谱特征进行融合，输入到基于双向lstm网络的深度聚类模型dpcl中得到混合语音的频谱掩膜，将该掩膜与混合语音的频谱特征相乘即可获得目标说话人纯净语音的频谱，之后可以进一步进行语音识别或者进行短时傅里叶逆变换得到目标说话人的纯净语音。该方法可以有效的从混合语音中提取出目标说话人的语音信息，但是该方法需要依赖复杂的扩张卷积网络将声纹特征与混合语音频谱融合，额外的网络结构使得该方法需要占用更多的计算资源，并且导致了更大的延迟；并且该方法用于计算掩码分离模型dpcl网络结构复杂，进一步增大了计算资源的占用和延迟。

技术实现要素：

5.本发明的目的在于克服上述现有技术存在的缺陷，一种基于声纹特征的目标说话人实时语音信息提取方法，用于解决现有技术中存在的因较大的额外计算资源与延迟导致的实时性较差的技术问题。
6.为实现上述目的，本发明采取的技术方案包括如下步骤：
7.1、一种基于声纹特征的目标说话人实时语音信息提取方法，其特征在于，包括如下步骤：
8.(1)获取纯净语音训练样本集和混合语音训练样本集：
9.从纯净语音数据集中获取n位说话人p＝{p1,p2,...,pn,...,pn}且包含每位说话人pn的m条纯净语音数据并将所获取的n
×
m条纯净语音数据组成纯净语音训练样本集，然后对每位说话人pn的每条纯净语音数据与其他n-1位说话人中的任意一位的任意一条纯净语音数据进行混合，获得pn的m条混合语音数据最后将n
×
m条混合语音数据组成混合语音训练样本集，其中，n≥400，pn表示第n位说话人，m≥300，表示pn的第m条纯净语音数据，表示对应的混合语音数据，对应的目标说话人为pn；
10.(2)构建声纹提取模型v：
11.构建包括顺次连接的语音特征提取模块、声纹特征提取模块和注意力池化模块的声纹提取模型v；其中：声纹特征提取模块包含顺次的多层长短期记忆网络lstm和激活函数为双曲正切tanh函数的全连接层；注意力池化模块包含激活函数为softmax函数的全连接层；
12.(3)对声纹提取模型v进行迭代训练：
13.(3a)初始化迭代次数为i，最大迭代次数为i，i≥250，当前的声纹识别模型为vi，并令i＝1，v＝vi；
14.(3b)将纯净语音训练样本集作为声纹提取模型v的输入进行前向传播：
15.(3b1)语音特征提取模块对每个纯净语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；
16.(3b2)声纹特征提取模块根据每个帧的梅尔滤波器组特征提取声纹特征；注意力池化模块依据每个帧的声纹特征计算该帧的注意力权重，将所有帧的声纹特征与该帧的注意力权重相乘并求和，得到语音的声纹特征
17.(3c)采用广义端到端损失函数lg，并根据所有声纹特征计算v的损失值然后采用反向传播方法，并通过计算声纹特征提取模块和注意力池化模块的参数梯度，最后采用梯度下降法，通过声纹特征提取模块的参数梯度对声纹特征提取模块的权重参数进行更新，通过注意力池化模块的参数梯度对注意力池化模块的权重参数进行更新，得到第i次迭代后的声纹提取模型；
18.(3d)判断i≥i是否成立，若是，得到训练好的声纹提取模型v
*
，否则，令i＝i+1，并执行步骤(3b)；
19.(4)构建基于声纹特征的目标说话人实时语音信息提取模型m：
20.构建包括并行排布的声纹提取模块和语音特征提取模块，以及与该两个模块的输出端顺次连接的特征拼接模块、掩码计算模块和语音提取模块的目标说话人实时语音信息提取模型m；其中：声纹提取模块采用训练好的声纹提取模型v
*
，掩码计算模块顺次连接多
层lstm网络和激活函数为softmax函数的全连接层；
21.(5)对目标说话人实时语音信息提取模型m进行迭代训练：
22.(5a)固定声纹提取模型v
*
的参数不变，初始化迭代次数为j，最大迭代次数为j，j≥100，当前的目标说话人实时语音信息提取模型为mj，并令j＝1，m＝mj；
23.(5b)将混合语音训练样本集作为基目标说话人实时语音信息提取模型m的输入进行前向传播：
24.(5b1)声纹提取模块从pn的任意一条纯净语音中提取pn的声纹特征；同时语音特征提取模块对每个混合语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；对对应的纯净语音进行相同操作，并将所有帧的梅尔滤波器组特征按照分帧的时间顺序排列，组合得到对应的纯净语音的语音特征x
clean
；
25.(5b2)特征拼接模块对声纹特征与混合语音每一帧的梅尔滤波器组特征进行拼接，得到混合语音的拼接特征；掩码计算模块中lstm网络根据拼接特征计算语音掩码，后使用激活函数为softmax的全连接层将掩码映射到与混合语音每个帧的梅尔滤波器组特征相同的维度；语音提取模块将语音掩码掩码逐帧与混合语音样本的语音特征点乘，点乘的结果按照分帧的时间顺序排列，组合得到语音特征x
extraction
；
26.(5c)采用均方误差损失函数l
mse
，并通过x
extraction
和x
clean
计算第j次迭代中目标说话人实时语音信息提取模型的损失值，并采用adam优化方法，通过最小化l
mse
对掩码计算模块的权重参数进行更新，得到第j次迭代后的目标说话人实时语音信息提取模型mj；
27.(5d)判断j≥j是否成立，若是，得到训练好的目标说话人实时语音信息提取模型m
*
，否则，令j＝j+1，并执行步骤(5b)；
28.(6)提取目标说话人的实时语音信息：
29.(6a)预先获取目标说话人的纯净语音，使用目标说话人实时语音信息提取模型m
*
中的声纹提取模块提取并储存其声纹；
30.(6b)持续获取目标说话人语音流，每达到一个固定长度即截取为一个语音段；
31.(6c)将目标说话人的语音段和声纹输入基于声纹特征的目标说话人实时语音信息提取模型m
*
的，并使用预先存储的声纹特征，实时提取出目标说话人的语音信息。
32.本发明与现有技术相比，具有以下优点：
33.1、本发明所构建的目标说话人实时语音信息提取模型在提取语音信息掩码的过程中，掩码计算模块采用了一个轻量且适合实时处理lstm网络根据特征拼接模块给出的拼接特征计算掩码，避免了现有技术中基于双向lstm网络的分离模型dpcl中过于复杂的网络结构和需要完整语音才能进行分离的问题，轻量的网络结构降低了对计算资源的需求并更大幅的缩短了语音提取的延迟，同时lstm允许模型在接收到部分语音时即开始提取操作，不会破坏实时语音识别任务的实时性。
34.2、本发明在对目标说话人实时语音信息提取模型进行迭代训练以及提取目标说话人的实时语音信息的过程中，特征拼接模块通过对声纹提取模块和语音特征提取模块所提取的声纹特征与混合语音特征进行拼接，实现对该两个特征的融合，避免了现有技术采用较复杂的扩张卷积网络获取融合特征需要较大计算量的缺陷，在保证充分利用声纹特征
提取目标说话人语音信息的前提下，进一步缩短了语音提取的延迟并降低了对计算资源的需求，进而提高了语音提取的实时性。
35.3、本发明在对目标说话人实时语音信息提取模型进行迭代训练以及提取目标说话人的实时语音信息的过程中，采用了梅尔滤波器组特征作为模型输入与输出的语音特征，避免了现有技术中采用经过短时傅里叶变换得到的频谱特征导致输入特征过多和处理较为复杂的问题，采用梅尔滤波器组特征有效降低了模型输入的大小，更进一步的降低了计算量，并且梅尔滤波器特征可以直接用于语音识别，更符合语音识别前端处理的需求。
附图说明
36.图1是本发明的实现流程图；
37.图2是本发明所构建的目标说话人实时语音信息提取模型的结构示意图。
具体实施方式
38.以下结合附图和具体实施例，对本发明作进一步的详细描述。
39.参照图1，本发明包括如下步骤：
40.步骤1)获取纯净语音训练样本集和混合语音训练样本集：
41.从纯净语音数据集中获取n位说话人p＝{p1,p2,...,pn,...,pn}且包含每位说话人pn的m条纯净语音数据并将所获取的n
×
m条纯净语音数据组成纯净语音训练样本集，然后对每位说话人pn的每条纯净语音数据与其他n-1位说话人中的任意一位的任意一条纯净语音数据进行混合，获得pn的m条混合语音数据最后将n
×
m条混合语音数据组成混合语音训练样本集，其中，n≥400，pn表示第n位说话人，m≥300，表示pn的第m条纯净语音数据，表示对应的混合语音数据，对应的目标说话人为pn；
42.其中纯净语音训练样本集用于训练声纹提取模型，该模型用于从纯净语音中提取说话人的声纹特征；混合语音训练样本集则用于训练目标说话人实时语音信息提取模型；本实施例中，n＝400，350≤m≤400；
43.步骤2)构建声纹提取模型v：
44.构建包括顺次连接的语音特征提取模块、声纹特征提取模块的声纹提取模型v；其中：声纹特征提取模块包含顺次的多层长短期记忆网络lstm和激活函数为双曲正切tanh函数的全连接层；注意力池化模块包含激活函数为softmax函数的全连接层；
45.注意力池化层为不同的帧赋予了不同的权重，再按权重将所帧真的声纹编码相加得到最终的声纹特征。这一处理使得模型能更有效地捕获到更长期的声纹特征变化，使得声纹能更好的表征说话人的语音特征；
46.步骤3)对声纹提取模型v进行迭代训练：
47.(3a)初始化迭代次数为i，最大迭代次数为i，i≥250，当前的声纹识别模型为vi，并令i＝1，v＝vi；
48.(3b)将纯净语音训练样本集作为声纹提取模型v的输入，
49.(3b1)语音特征提取模块对每个纯净语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；
50.本实施例中按照25ms帧长和10ms的帧移将划分为多个帧，将每一帧与汉明窗函数相乘后进行快速傅里叶变换得到每一帧的频谱，对每一帧的频谱取幅度的平方后得到相应的功率谱，最后对每一帧的功率谱施加梅尔滤波器并将输出取对数，即得到每一帧的梅尔滤波器组特征，各个帧的梅尔滤波器组特征按照时间顺序排列，组合成为的语音特征；
51.(3b2)声纹特征提取模块对的语音特征逐帧提取声纹特征；注意力池化层依据每个帧的声纹特征计算该帧的注意力权重，将所有帧的声纹特征与该帧的注意力权重相乘并求和，得到语音的声纹特征
52.(3c)采用广义端到端损失函数lg，并根据所有声纹特征计算v的损失值然后采用反向传播方法，并通过计算声纹特征提取模块和注意力池化模块的参数梯度，最后采用梯度下降法，通过声纹特征提取模块的参数梯度对声纹特征提取模块的权重参数进行更新，通过注意力池化模块的参数梯度对注意力池化模块的权重参数进行更新，得到第i次迭代后的声纹提取模型；
53.广义端到端损失函数lg的公式如下：
[0054][0055][0056]
其中，cos(x,y)代表计算x和y之间的余弦相似度；ω和b均为可学习的参数，且满足ω＞0；
[0057]
(3d)判断i≥i是否成立，若是，得到训练好的声纹提取模型v
*
，否则，令i＝i+1，并执行步骤(3b)；
[0058]
步骤4)参照图2，构建基于声纹特征的目标说话人实时语音信息提取模型m：
[0059]
构建包括并行排布的声纹提取模块和语音特征提取模块，以及与该两个模块的输出端顺次连接的特征拼接模块、掩码计算模块和语音提取模块的目标说话人实时语音信息提取模型m；其中：声纹提取模块采用训练好的声纹提取模型v
*
，掩码计算模块顺次连接多层lstm网络和激活函数为softmax函数的全连接层；
[0060]
掩码计算模块所使用lstm网络在处理当前数据的时候可以充分利用历史信息且不依赖未来的信息，非常适合处理实时语音流的场景。因此本发明选用lstm网络计算掩码；
[0061]
步骤5)对目标说话人实时语音信息提取模型m进行迭代训练：
[0062]
(5a)固定声纹提取模型v
*
的参数不变，初始化迭代次数为j，最大迭代次数为j，j≥100，当前的目标说话人实时语音信息提取模型为mj，并令j＝1，m＝mj；
[0063]
(5b)将混合语音训练样本集作为基于声纹特征的目标说话人实时语音信息提取模型m的输入，对于每一条混合语音从中提取对应的目标说话人pn的语音信息，得到语音特征x
extraction
，并使用语音特征提取模块计算对应的纯净语音的语音特征x
clean
；其中语音特征x
extraction
的具体计算步骤如下：
[0064]
(5b1)使用声纹提取模块，从pn的任意一条纯净语音中提取pn的声纹特征；
[0065]
(5b2)语音特征提取模块对每个混合语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；对对应的纯净语音进行相同操作，并将所有帧的梅尔滤波器组特征按照分帧的时间顺序排列，组合得到x
clean
；
[0066]
(5b3)特征拼接模块将声纹特征拼接在混合语音每一帧的梅尔滤波器组特征，得到混合语音的拼接特征；掩码计算模块中lstm网络根据拼接特征计算语音掩码，后使用激活函数为softmax的全连接层将掩码映射到与混合语音每个帧的梅尔滤波器组特征相同的维度；语音提取模块将语音掩码掩码逐帧与混合语音样本的语音特征点乘，点乘的结果按照分帧的时间顺序排列，组合得到语音特征x
extraction
。
[0067]
大多数语音分离方法为了能够还原分离出的语音，往往使用原始语音采样数据或者经过短时傅里叶变换获得频谱特征作为模型输入，导致模型的结构很复杂，计算量较大；而考虑到本发明只需要作为语音识别的前端处理，不需要还原语音，所以本发明采用了梅尔滤波器组特征作为模型输入，提取出的目标说话人语音信息也以梅尔滤波器组特征的形式表示，可直接用做后续语音识别的输入，不需要额外操作；
[0068]
(5b3)特征拼接模块将声纹特征拼接在混合语音每一帧的语音特征上，得到混合语音的拼接特征；掩码计算模块根据拼接特征计算得到语音掩码；语音提取模块将语音掩码掩码逐帧与混合语音样本的语音特征点乘，从中提取出目标说话人的语音信息，得到语音特征x
extraction
；
[0069]
区别于现有方法中使用点乘或者神经网络融合声纹特征与混合语音特征，本发明采用简单的拼接操作融合特征，有效降低了计算量，并且同样可以充分利用声纹特征来提取目标说话人语音；
[0070]
(5c)采用均方误差损失函数l
mse
，并通过x
extraction
和x
clean
计算第j次迭代中目标说话人实时语音信息提取模型的损失值，并采用adam优化方法，通过最小化l
mse
对掩码计算模块的权重参数进行更新，得到第j次迭代后的目标说话人实时语音信息提取模型mj；其中l
mse
的计算公式如下：
[0071][0072]
其中分别表示纯净语音的语音特征的第t帧中第f维的值，则表示模型m从中提取出的语音特征的第t帧中第f维的值，t表示语音特征的总帧数，f表示语音特征每一帧的维度；
[0073]
l
mse
优化模型从混合语音中提取出的语音编码与直接从对应的纯净语音中提取的语音编码之间相似性，使得模型从混合语音中提取出的语音信息更加贴近从说话人的纯净语音中提取的语音信息；
[0074]
(5d)判断j≥j是否成立，若是，得到训练好的目标说话人实时语音信息提取模型m
*
，否则，令j＝j+1，并执行步骤(5b)；
[0075]
步骤6)提取目标说话人的实时语音信息：
[0076]
(6a)预先获取目标说话人的纯净语音，使用目标说话人实时语音信息提取模型m
*
中的声纹提取模块提取并储存其声纹；
[0077]
(6b)持续获取目标说话人语音流，每达到一个固定长度即截取为一个语音段；
[0078]
(6c)将目标说话人的语音段输入基于声纹特征的目标说话人实时语音信息提取模型m
*
，并使用预先存储的声纹特征，实时提取出目标说话人的语音信息。

技术特征：

1.一种基于声纹特征的目标说话人实时语音信息提取方法，其特征在于，包括如下步骤：(1)获取纯净语音训练样本集和混合语音训练样本集：从纯净语音数据集中获取n位说话人p＝{p1,p2,...,p
n
,...,p
n
}且包含每位说话人p
n
的m条纯净语音数据并将所获取的n
×
m条纯净语音数据组成纯净语音训练样本集，然后对每位说话人p
n
的每条纯净语音数据与其他n-1位说话人中的任意一位的任意一条纯净语音数据进行混合，获得p
n
的m条混合语音数据最后将n
×
m条混合语音数据组成混合语音训练样本集，其中，n≥400，p
n
表示第n位说话人，m≥300，表示p
n
的第m条纯净语音数据，表示对应的混合语音数据，对应的目标说话人为p
n
；(2)构建声纹提取模型v：构建包括顺次连接的语音特征提取模块、声纹特征提取模块和注意力池化模块的声纹提取模型v；其中：声纹特征提取模块包含顺次的多层长短期记忆网络lstm和激活函数为双曲正切tanh函数的全连接层；注意力池化模块包含激活函数为softmax函数的全连接层；(3)对声纹提取模型v进行迭代训练：(3a)初始化迭代次数为i，最大迭代次数为i，i≥250，当前的声纹识别模型为v
i
，并令i＝1，v＝v
i
；(3b)将纯净语音训练样本集作为声纹提取模型v的输入进行前向传播：(3b1)语音特征提取模块对每个纯净语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；(3b2)声纹特征提取模块根据每个帧的梅尔滤波器组特征提取声纹特征；注意力池化模块依据每个帧的声纹特征计算该帧的注意力权重，将所有帧的声纹特征与该帧的注意力权重相乘并求和，得到语音的声纹特征(3c)采用广义端到端损失函数l
g
，并根据所有声纹特征计算v的损失值然后采用反向传播方法，并通过计算声纹特征提取模块和注意力池化模块的参数梯度，最后采用梯度下降法，通过声纹特征提取模块的参数梯度对声纹特征提取模块的权重参数进行更新，通过注意力池化模块的参数梯度对注意力池化模块的权重参数进行更新，得到第i次迭代后的声纹提取模型；(3d)判断i≥i是否成立，若是，得到训练好的声纹提取模型v
*
，否则，令i＝i+1，并执行步骤(3b)；(4)构建基于声纹特征的目标说话人实时语音信息提取模型m：构建包括并行排布的声纹提取模块和语音特征提取模块，以及与该两个模块的输出端顺次连接的特征拼接模块、掩码计算模块和语音提取模块的目标说话人实时语音信息提取模型m；其中：声纹提取模块采用训练好的声纹提取模型v
*
，掩码计算模块顺次连接多层lstm网络和激活函数为softmax函数的全连接层；
(5)对目标说话人实时语音信息提取模型m进行迭代训练：(5a)固定声纹提取模块的参数不变，初始化迭代次数为j，最大迭代次数为j，j≥100，当前的目标说话人实时语音信息提取模型为m
j
，并令j＝1，m＝m
j
；(5b)将混合语音训练样本集作为基目标说话人实时语音信息提取模型m的输入进行前向传播：(5b1)声纹提取模块从p
n
的任意一条纯净语音中提取p
n
的声纹特征；同时语音特征提取模块对每个混合语音训练样本进行预加重，并将预加重后的训练样本划分为多个帧，并提取每个帧的梅尔滤波器组特征；对对应的纯净语音进行相同操作，并将所有帧的梅尔滤波器组特征按照分帧的时间顺序排列，组合得到对应的纯净语音的语音特征x
clean
；(5b2)特征拼接模块对声纹特征与混合语音每一帧的梅尔滤波器组特征进行拼接，得到混合语音的拼接特征；掩码计算模块中lstm网络根据拼接特征计算语音掩码，后使用激活函数为softmax的全连接层将掩码映射到与混合语音每个帧的梅尔滤波器组特征相同的维度；语音提取模块将语音掩码掩码逐帧与混合语音样本的语音特征点乘，点乘的结果按照分帧的时间顺序排列，组合得到语音特征x
extraction
；(5c)采用均方误差损失函数l
mse
，并通过x
extraction
和x
clean
计算第j次迭代中目标说话人实时语音信息提取模型的损失值，并采用adam优化方法，通过最小化l
mse
对掩码计算模块的权重参数进行更新，得到第j次迭代后的目标说话人实时语音信息提取模型m
j
；(5d)判断j≥j是否成立，若是，得到训练好的目标说话人实时语音信息提取模型m
*
，否则，令j＝j+1，并执行步骤(5b)；(6)提取目标说话人的实时语音信息：(6a)预先获取目标说话人的纯净语音，使用目标说话人实时语音信息提取模型m
*
中的声纹提取模块提取并储存其声纹；(6b)持续获取目标说话人语音流，每达到一个固定长度即截取为一个语音段；(6c)将目标说话人的语音段和声纹输入基于声纹特征的目标说话人实时语音信息提取模型m
*
的，并使用预先存储的声纹特征，实时提取出该语音段中目标说话人的语音信息。2.根据权利要求1所述的基于声纹特征的目标说话人实时语音信息提取方法，其特征在于，步骤(3c)中所述广义端到端损失函数，其计算步骤如下：c)中所述广义端到端损失函数，其计算步骤如下：其中，cos(x,y)代表计算x和y之间的余弦相似度；ω和b均为可学习的参数，且满足ω＞0。
3.根据权利要求1所述的基于声纹特征的目标说话人实时语音信息提取方法，其特征在于，步骤(5c)中的均方误差损失函数l
mse
，其表达式为：其中分别表示纯净语音的语音特征的第t帧中第f维的值，则表示模型m从中提取出的语音特征的第t帧中第f维的值，t表示语音特征的总帧数，f表示语音特征每一帧的维度。

技术总结

本发明提出了一种基于声纹特征的目标说话人实时语音提取的方法，实现步骤为：获取纯净语音训练样本集和混合语音训练样本集；构建声纹提取模型V；对声纹提取模型V进行迭代训练；构建基于声纹特征的目标说话人实时语音信息提取模型M；对目标说话人实时语音信息提取模型M进行迭代训练；提取目标说话人的实时语音信息。本发明目标说话人实时语音信息提取模型中的特征拼接模块通过简单的拼接操作，实现对目标说话人的声纹特征与换和语音特征的融合，并采用了轻量且实时处理的LSTM网络，有效的降低了提取目标说话人语音信息的延迟和对计算资源的需求，提高了语音提取操作的实时性。性。性。