针对病理嗓音的语音转换方法、装置和存储介质

1.本发明涉及一种针对病理嗓音的语音转换方法、装置和存储介质，属于声音处理技术领域。

背景技术：

2.作为语言的载体，语音是现实生活中传递信息的重要信号。包括语音相关专业人士、老年人、吸烟者、呼吸系统疾病患者、鼻部疾病患者、咽喉疾病患者等在内的部分人存在不同程度的语音困难。通常情况下，患者发出的病理嗓音难以被普通人理解。
3.现有技术中，一些病理性声音患者可以通过手术改善其语音质量，然后手术可能会给患者造成一定的伤害。例如，在喉切除术的情况下，该过程不仅改变了患者的生活方式，而且还导致声带的切除和语言能力的丧失。

技术实现要素：

4.本发明的目的在于提供一种针对病理嗓音的语音转换方法、装置和存储介质，用于解决现有技术中存在的问题。
5.为达到上述目的，本发明提供如下技术方案：根据第一方面，本发明实施例提供了一种针对病理嗓音的语音转换方法，所述方法包括：获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。
6.可选地，所述根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频，包括：对于每个样本梅尔谱图，将所述样本梅尔谱图输入至f0提取网络，通过所述f0提取网络提取所述样本病理嗓音的样本基频。
7.可选地，所述获取风格向量，包括：获取随机采样的高斯分布向量；将所述高斯分布向量输入至映射网络，通过所述映射网络生成所述风格向量。
8.可选地，所述获取风格向量，包括：获取参考梅尔谱图；
将所述参考梅尔谱图输入至说话人编码器，通过所述说话人编码器生成所述风格向量。
9.可选地，所述根据所述判别器的各个判别结果训练所述生成器，包括：获取第一损失因子，所述第一损失因子包括：对抗损失因子、对抗源损失因子、风格重构损失因子、风格多样化损失因子、f0一致性损失因子、语音一致性损失因子、范数一致性损失因子和循环一致性损失因子中的至少一种；根据所述第一损失因子和所述各个判别结果训练所述生成器。
10.可选地，所述根据所述判别器的各个判别结果训练所述判别器，包括：获取第二损失因子，所述第二损失因子包括对抗损失因子和源分类器损失因子；根据所述第二损失因子和所述各个判别结果训练所述判别器。
11.可选地，所述获取所述样本病理嗓音的样本梅尔谱图，包括：将所述样本病理嗓音先做stft变换生成功率谱特征，然后输入至梅尔滤波器组，通过所述梅尔滤波器组获取所述样本梅尔谱图。
12.第二方面，提供了一种针对病理嗓音的语音转换方法，所述方法包括：获取目标病理嗓音的梅尔谱图；根据所述梅尔谱图获取所述目标病理嗓音的基频；获取风格向量；将所述梅尔谱图、所述基频以及所述风格向量输入至训练后的生成器，通过所述生成器输出转换后的梅尔谱图，所述生成器通过第一方面所述的方法训练得到；将转换后的梅尔谱图输入到所述声码器，通过所述声码器输出转换后所述目标病理嗓音的语音波形，进而得到转换后的目标嗓音。
13.第三方面，提供了一种针对病理嗓音的语音转换装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如第一方面或者第二方面所述的方法。
14.第四方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如第一方面或者第二方面所述的方法。
15.通过获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题，达到了可以通过训练对抗网络进而通过生成器将病理嗓音转换为正常嗓音，提高病理嗓音的可懂度和清晰度的效果。
16.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
附图说明
17.图1为本发明一个实施例提供的针对病理嗓音的语音转换方法的方法流程图；图2为本发明一个实施例提供的针对病理嗓音的语音转换方法的原理框图；图3为本发明一个实施例提供的映射网络的结构示意图；图4为本发明一个实施例提供的说话人编码器的网络结构示意图；图5为本发明一个实施例提供的生成器的网络结构示意图；图6为本发明一个实施例提供的判别器的网络结构示意图；图7为本发明一个实施例提供的针对病理嗓音的语音转换方法的方法流程图；图8为本发明一个实施例提供的转换方法与现有两种转换方法转换后的频谱示意图；图9为本发明一个实施例提供的转换方法与现有两种转换方法转换后的语音清晰度评价结果的示意图。
具体实施方式
18.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
19.请参考图1，其示出了本技术一个实施例提供的针对病理嗓音的语音转换方法的方法流程图，如图1所示，所述方法包括：步骤101，获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；步骤102，对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；请参考图2，其示出了本技术所涉及的实施原理的原理框图，如图2所示，可以通过预处理模块p对各个样本病理嗓音进行处理。并且，可选的，预处理模块p可以为梅尔滤波器组。也即本步骤包括：将所述样本病理嗓音先做stft变换生成功率谱特征，然后输入至梅尔滤波器组，通过所述梅尔滤波器组获取所述样本梅尔谱图。
20.梅尔频率与实际频率的关系如下：
。其中，f表示语音波形的原始频率。预处理模块p将输入语音波形xs转换为xp-mel，xp-mel定义为输入语音波形的梅尔谱图。
21.可选地，将 vctk 和 svd 病态语音样本中选择的 20 个说话人的样本分成帧大小为 1200 的帧。对于每一帧，执行离散时间傅里叶变换 (dtft)，总共有 2048 个点。之后，使用一个 80 通道的梅尔滤波器组从上述所有样本中提取特征，然后将频率尺度映射到梅尔尺度。通过上述预处理得到每个样本的梅尔频率倒谱系数（mfcc）。每个帧的特征被组合为转换网络的输入数据。
22.步骤103，根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；对于每个样本梅尔谱图，将所述样本梅尔谱图输入至f0提取网络，通过所述f0提取网络提取所述样本病理嗓音的样本基频。
23.f0提取网络为预先训练并存储的网络。
24.比如，f0提取网络提取得到的基频为hf0。
25.步骤104，获取风格向量；可选的，本步骤可以包括如下两种可能的实现方式：在第一种可能的实现方式中，本步骤包括：第一，获取随机采样的高斯分布向量；第二，将所述高斯分布向量输入至映射网络，通过所述映射网络生成所述风格向量。
26.映射网络用于生成引导生成器生成正常语音的风格向量。映射网络由内部的全连接层组成，是一个全连接网络，并且映射网络有多个分支输出，分支的数量取决于域的数量，即说话人的数量。映射网络结构如图3所示。其中，全连接层作为映射网络的输入层，relu函数作为映射网络的激活函数。
27.映射网络 m 在域y中生成带有高斯分布向量的样式向量：。
28.其中m(
·
)表示映射网络的输出。高斯分布向量z是从高斯分布中采样的，以在所有域中提供不同的样式表示。所有领域的模型权重参数在映射网络的前四层共享，后四层用于生成特定领域的样式向量。
29.在第二种可能的实施例中，本步骤包括：第一，获取参考梅尔谱图；第二，将所述参考梅尔谱图输入至说话人编码器，通过所述说话人编码器生成所述风格向量。
30.与映射网络一样，说话人编码器也用于生成样式向量。与映射网络类似，说话者编码器首先处理跨所有域的共享层的输入。与映射网络不同，四个残差块用作说话人编码器的共享层。然后，通过特定领域的全连接层生成不同说话人领域的风格向量。说话人编码器的网络结构如图4所示。
31.在训练阶段，说话人编码器不仅生成风格向量，还引导生成器在同一域中生成更
多样化的特征。因此，该网络可以实现任意对多的病理嗓音转换。给定参考梅尔谱图，说话人编码器 s 提取域 y_trg 中的样式代码：。
32.其中， s(
·
) 表示扬声器编码器的输出。
33.步骤105，将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；生成器是用于生成正常语音。如图2所示，生成器包括编码器和解码器。并且，如图2所示，在编码器中，使用卷积层作为输入层，残差块作为网络的主要部分。残差块由归一化层、激活层、卷积层和池化层组成。残差块先首尾连接，然后再依次连接。在编码器中采用实例归一化作为归一化层，由于语音转换任务中关注每个样本的细节，因此对于激活层，为了保存小于0的数据，leakrelu函数比relu更适合这个任务。
34.残差块也用于解码器中作为网络的主要部分。与编码器不同的是，自适应实例归一化函数被用作解码器的归一化层。最后一个残差块的输出输入到实例归一化层、激活层和卷积层，转换后的频谱图通过卷积层输出。生成器的网络结构如图5所示。
35.结合图5，生成器 g 将作为 p 的输出的输入梅尔谱图x 转换为反映s 中的风格（由说话人编码器或映射网络提供）和中的基频（由f0提取网络f的卷积层提供）的：。
36.其中， e(
·
) 表示生成器的编码器的输出，d(
·
) 表示生成器的解码器的输出。
37.步骤106，根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；判别器可以判断生成器生成的语音是否为真实语音。卷积层用作判别器的输入层，残差块用作其隐藏层。与映射网络和说话人编码器类似，鉴别器也有多个输出分支。但是，如果特定领域的分类器仅包含一个卷积层，则无法捕捉特定领域特征的重要方面，例如说话者的发音。为了解决这个问题，本技术采用了一个额外的分类器 c，其架构与 d 相同，用于学习转换样本的原始域。判别器的结构如图 6所示。
38.对于一个梅尔谱图x，判别器 d 计算语音在域 y 中为真实的概率 p：；其中，d(
·
) 表示判别器的输出。
39.步骤107，根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。
40.可选的，训练生成器的步骤包括：第一，获取第一损失因子，所述第一损失因子包括：对抗损失因子、对抗源损失因子、风格重构损失因子、风格多样化损失因子、f0一致性损失因子、语音一致性损失因子、范数一致性损失因子和循环一致性损失因子中的至少一种；对抗损失用于优化生成器以生成更逼真的语音。生成器接收输入的梅尔谱图 x 和样式向量 s，并通过对抗性损失学习生成新的梅尔谱图：
帧的梅尔谱图 x 使用绝对列和范数，定义为, 其中 t ∈ {1, . . . , t } 是帧索引。范数一致性损失由下式给出：。
46.使用循环一致性损失来保留输入语音的所有其他特征。将生成器生成的语音输入到生成器中，将目标域设置为源域，计算生成器重构的源语音与源语音之间的损失。循环一致性损失如下：其中定义为，即源域中输入的估计样式代码。
47.第二，根据所述第一损失因子和所述各个判别结果训练所述生成器。
48.可选地，在第一损失因子包括多个时，根据各个损失因子以及每个损失因子对应的权重确定生成器的总损失函数，进而根据确定的损失函数和各个判别结果训练生成器。
49.在一种可能的实现方式中，生成器的损失函数为：其中，为每个损失因子提供的超参数。可选地，可选地，。在整个训练过程中，我们使用了固定学习率为 0.0001 的 adamw 优化器。
50.可选的，训练判别器的步骤包括：第一，获取第二损失因子，所述第二损失因子包括对抗损失因子和源分类器损失因子；对抗损失因子与上述生成器中的对抗损失因子类似，在此不再赘述。
51.第二，根据所述第二损失因子和所述各个判别结果训练所述判别器。
52.在第二损失因子包括多个时，可以根据各个第二损失因子计算判别器的总损失函数，损失函数为：。
53.其中，是源分类器损失的超参数，由下式给出：综上所述，通过获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的
各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题，达到了可以通过训练对抗网络进而通过生成器将病理嗓音转换为正常嗓音，提高病理嗓音的可懂度和清晰度的效果。
54.请参考图7，其示出了本技术一个实施例提供的针对病理嗓音的语音转换方法的方法流程图，如图7所示，所述方法包括：步骤701，获取目标病理嗓音的梅尔谱图；步骤702，根据所述梅尔谱图获取所述目标病理嗓音的基频；步骤703，获取风格向量；步骤704，将所述梅尔谱图、所述基频以及所述风格向量输入至训练后的生成器，通过所述生成器输出转换后的梅尔谱图；所述生成器通过上述实施例所述的方法训练得到。
55.步骤701至步骤704与上述实施例中的步骤102至步骤105类似，不同的是，处理的对象不同，上述实施例处理的是样本病理嗓音，而本步骤处理的是目标病理嗓音，对此并不做限定。
56.步骤705，将转换后的梅尔谱图输入到所述声码器，通过所述声码器输出转换后所述目标病理嗓音的语音波形，进而得到转换后的目标嗓音。
57.与上述实施例不同的是，在本实施例中，在生成器输出转换后的梅尔谱图时，并不输入至判别器进行判别，而是输入至声码器，通过声码器将转换后的梅尔谱图转换至目标嗓音。
58.在本技术中，通过主观评价和客观评价来评估上述方法转换得到的目标嗓音的性能。
59.其中，对于主观评价，从 svd 数据集中的所有样本中随机选择 50 个话语作为源语音，并从 vctk 数据集中的所有说话者中随机选择 1 个男性和 1 个女性作为目标说话者。所以得到了 100 对语音进行测试。要求 30 名受试者以 1 到 5 的等级对每个语音样本的自然度进行评分，其中 1 表示完全失真且不自然，5 表示没有失真且完全自然。此外，我们要求被试以 1 到 5 的等级判断每对音频的内容是否相同且可理解，其中 1 表示内容完全不同/完全无法理解，5 表示内容完全相同/完全可理解。受试者不会被告知音频样本是真实的还是转换的。我们在评估集中添加了 10 个高度失真和难以理解的音频部分作为注意力检查，以验证受试者没有偶然完成调查。如果这些样本中的三个以上被评为 2 或更高，则将受试者从分析中删除。
60.对于客观评价，我们采用频谱图分析和字错误率 (wer) 作为转换后语音的频域和可懂度的评估指标。一方面，频谱图是由语音短时傅里叶变换（stft）的幅度创建的二维图形，其中横轴是时间，纵轴是频率，每个网格的颜深度反映幅度。在本实验中，我们使用窄带频谱图来研究语音的基频和共振峰。另一方面，我们使用上述 asr 模型计算语音的wer。我们通过 asr 网络获取 svd 数据集中所有语音样本的识别结果和转换后的语音识别结果，然后使用以下公式计算 wer：
其中s表示替换词数，d表示删除词数，i表示插入词数，n表示总词数。
61.此外，为了更好的对比，本技术通过如下几个维度进行对比：（1）、频谱分析。
62.将重度病理嗓音和轻度病理嗓音通过三种方法转换后语音的频谱图如图8所示。转换后的语音频谱图的源语音是同一个病理嗓音样本，本技术使用原始病态语音作为参考。我们发现 asr-tts 和 vae 方法无法保持轻度和重度病态声音的语音长度一致。但是，本技术方法（p2n-vc）可以保持语音长度一致，即保持源说话人的韵律。这样，转换后的语音只改变了源说话人声音的病理特征，同时保留了源说话人声音的韵律特征。此外，本技术和 vae 方法可以在原始频谱图的基础上增加表示语音内容的频率能量，但从图 8 可以看出，我们提出的方法表现更好。然而，使用 asr-tts 方法转换的语音可以产生比本技术和 vae 更自然的语音，因为合成语音的自然度受到神经声码器的影响。自然度的详细分析将在以下各节中介绍。我们发现，无论源病理嗓音是轻度还是重度，asr-tts方法转换后的语音频谱图都非常相似，因此无法生成个性化语音。结果表明，本技术方法成功地提高了重度和轻度病态声音的语音质量，并且在重度病态声音中明显优于其他两种方法。其中，图8中a为源语音是轻度病理嗓音，b为源语音是重度病理嗓音。
63.（2）、语音清晰度的定量评价。
64.wer用于评估转换后语音的可懂度，wer越小，语音的可懂度越高。首先，针对不同类型的病理嗓音，我们比较了三种方法生成语音的可懂度。语音清晰度评价结果如图 9 所示，对比了 20 种转换后的病态语音的清晰度。其中 p2n-vc（本技术方法）、asr-tts 和 vae 用三种不同的颜表示。我们发现，虽然 vae 方法可以提高语音质量，但在语音可懂度方面却不尽如人意。 asr-tts 方法在轻度病态声音方面的表现与 p2n-vc 方法相似。表1比较了svd数据集中所有转换语音的平均wer。粗体字表示与其他方法的结果相比最好的结果。结果表明，p2n-vc 方法在提高各种病理嗓音的清晰度方面优于其他方法。
65.表1methodgroundtruthvaeasr-ttsp2n-vcwer（%）7.0978.2636.7917.05除了上述客观评价外，我们还对转换后的语音清晰度进行了主观评价。主观评价的实验结果如表 2 所示。使用我们提出的方法 p2n-vc 转换后的语音在 wer 方面不如病理嗓音，但在平均意见分数（mos）方面优于病理嗓音。这是因为自动语音识别（asr）网络都是使用真实语音数据集训练的，网络合成的语音识别率不如真实语音。此外，轻度病态声音在 svd 数据集中占有很大比例，在计算评估指标的均值中起主导作用。因此，仅使用 wer 来评估病态语音和转换语音的可懂度是片面的，我们从主客观两个指标来评估病态语音和转换语音的可懂度。从表 2 可以看出，我们提出的方法 p2n-vc 与vae方法、病理嗓音和 asr-tts 方法相比分别提高了 91.40%、18.67% 和 4.09%。
66.表2 pathologicalvaeasr-ttsp2n-vcnaturalness3.462.983.543.20
intelligibility3.001.863.423.56contentsimilarity3.841.923.383.94（3）、语音自然度的定量评价。
67.每个受试者一共听了 200 个音频样本：50(speaker pairs)
ꢀ×ꢀ
4(pathological, p2n-vc, asr-tts, vae)。给定一对说话人，以随机顺序播放 4 个音频样本：病理嗓音、转换语音（p2n-vc）、转换语音（asr-tts）、转换语音（vae）。对于每个音频样本，受试者将他或她听到的 mos（自然度）输入计算机。评估结果如表2所示。很明显，asr-tts方法转换的语音在自然度方面优于其他方法转换的语音，甚至优于真实的病态语音。因为受试者无法将言语的病理性和自然性完全分开，疾病程度影响受试者对自然性的判断。结果表明，这三种方法转换后的语音的mos（自然度）在2.98到3.54之间。 vae 方法并没有提高病态语音的自然度，因为 vae 方法没有完全解开说话人特征和内容特征。 asr-tts方法将语音的mos（自然度）提高了0.08，比病态语音提高了2.31%。相比之下，p2n-vc方法转换的语音的自然度得分不如病态语音，因为合成语音的自然度主要受声码器性能的影响。后续我们考虑优化神经声码器，以合成自然度更高的语音。
68.（4）、内容相似度的定量评价。
69.语音的内容相似度用于评估转换后的语音是否能保留源语音的内容。在这里，我们采用健康说话者的语音内容作为参考内容，对病理嗓音和通过 vae 方法、asr-tts 方法和 p2n-vc 转换的语音进行评分。与自然度分数一样，每个受试者总共听了 200 个音频样本：50（说话者对）
×
4（病理、asr-tts、vae、p2n-vc）。并且我们随机打乱了200个音频样本，防止被试提前知道音频的来源，影响判断。受试者以 1-5 的等级对每个样本进行评分，分数越高表示内容越相似。结果如表 2 所示。粗体字表示与其他方法的结果相比的最佳结果。我们发现病理语音内容比vae方法和asr-tts方法转换的语音内容更接近参考内容。因此，虽然 asr-tts 方法在语音自然度方面优于 p2n-vc 方法，但我们的主要目的是提高病态声音的可懂度，其中 asr-tts 方法没有效果。即asr-tts方法转换后的语音更接近真实语音，但其内容与参考内容相差较大。
70.我们提出的方法 p2n-vc 转换的语音内容相似度比病态语音高 2.60%，分别比 vae 方法和 asr-tts 方法高 105.21% 和 16.57%。
71.综上本技术提出的 p2n-vc 方法转换后的语音与病态语音相比，语音清晰度提高了约 18.67%；转换后的语音内容与参考内容的相似度比病态语音内容增加了2.60%；“优秀”相对于真实的声音，转换后的语音质量接近“好”的mos水平。在客观评价方面，我们提出的方法 p2n-vc 与 vae 方法和 asr-tts 方法相比分别提高了 78.21% 和 53.66%。
72.综上所述，通过获取目标病理嗓音的梅尔谱图；根据所述梅尔谱图获取所述目标病理嗓音的基频；获取风格向量；将所述梅尔谱图、所述基频以及所述风格向量输入至训练后的生成器，通过所述生成器输出转换后的梅尔谱图，所述生成器通过上述方法训练得到；根据转换后的梅尔谱图生成转换后的目标嗓音。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题，达到了可以通过训练对抗网络进而通过生成器将病理嗓音转换为正常嗓音，提高病理嗓音的可懂度和清晰度的效果。本技术还提供了一种针对病理嗓音的语音转换装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如上所述的方法。
73.本技术还提供了一种计算机存储介质，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如上所述的方法。
74.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
75.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：

1.一种针对病理嗓音的语音转换方法，其特征在于，所述方法包括：获取训练样本，所述训练样本中包括样本病理嗓音以及每个样本病理嗓音对应的正常嗓音；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。2.根据权利要求1所述的方法，其特征在于，所述根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频，包括：对于每个样本梅尔谱图，将所述样本梅尔谱图输入至f0提取网络，通过所述f0提取网络提取所述样本病理嗓音的样本基频。3.根据权利要求1所述的方法，其特征在于，所述获取风格向量，包括：获取随机采样的高斯分布向量；将所述高斯分布向量输入至映射网络，通过所述映射网络生成所述风格向量。4.根据权利要求1所述的方法，其特征在于，所述获取风格向量，包括：获取参考梅尔谱图；将所述参考梅尔谱图输入至说话人编码器，通过所述说话人编码器生成所述风格向量。5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述判别器的各个判别结果训练所述生成器，包括：获取第一损失因子，所述第一损失因子包括：对抗损失因子、对抗源损失因子、风格重构损失因子、风格多样化损失因子、f0一致性损失因子、语音一致性损失因子、范数一致性损失因子和循环一致性损失因子中的至少一种；根据所述第一损失因子和所述各个判别结果训练所述生成器。6.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述判别器的各个判别结果训练所述判别器，包括：获取第二损失因子，所述第二损失因子包括对抗损失因子和源分类器损失因子；根据所述第二损失因子和所述各个判别结果训练所述判别器。7.根据权利要求1至4任一所述的方法，其特征在于，所述获取所述样本病理嗓音的样本梅尔谱图，包括：将所述样本病理嗓音先做stft变换生成功率谱特征，然后输入至梅尔滤波器组，通过所述梅尔滤波器组获取所述样本梅尔谱图。8.一种针对病理嗓音的语音转换方法，其特征在于，所述方法包括：获取目标病理嗓音的梅尔谱图；根据所述梅尔谱图获取所述目标病理嗓音的基频；
获取风格向量；将所述梅尔谱图、所述基频以及所述风格向量输入至训练后的生成器，通过所述生成器输出转换后的梅尔谱图，所述生成器通过权利要求1至7任一所述的方法训练得到；将转换后的梅尔谱图输入到所述声码器，通过所述声码器输出转换后所述目标病理嗓音的语音波形，进而得到转换后的目标嗓音。9.一种针对病理嗓音的语音转换装置，其特征在于，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至8任一所述的方法。10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求1至8任一所述的方法。

技术总结

本申请公开了一种针对病理嗓音的语音转换方法、装置和存储介质，涉及声音处理技术领域，所述方法包括：获取训练样本；对于每个样本病理嗓音，获取所述样本病理嗓音的样本梅尔谱图；根据各个样本梅尔谱图获取所述样本病理嗓音的样本基频；获取风格向量；将各个样本梅尔谱图、各个样本基频以及所述风格向量输入至生成器，通过所述生成器输出转换后的各个样本梅尔谱图；根据判别器判别所述生成器生成的转换后的各个样本梅尔谱图的真伪；根据所述判别器的各个判别结果训练所述生成器和所述判别器，训练后的所述生成器用于对目标病理嗓音进行嗓音转换。解决了现有技术中病理嗓音的语音质量较差，无法被理解的问题。无法被理解的问题。无法被理解的问题。