一种语音处理方法、装置和设备与流程

1.本技术涉及计算机技术领域，尤其涉及一种语音处理方法、装置和设备。

背景技术：

2.语音转换是指在保持语言内容不变的情况下，将语音的原始说话人音转换为目标说话人的音。语音转换在视频变声、视频配音、人机交互等领域均发挥着重要作用。语音转换的基础是语音识别和语音合成，这就涉及到asr(automatic speech recognition，自动语音识别)技术和tts(text to speech，语音合成)技术。其中，asr用于将人的语音转换为文本，tts用于将文本转化为人的语音。
3.当前，在语音识别和语音合成阶段，需要对多种语音特征进行处理，然而，目前的处理方式很难兼顾各种语音特征，从而导致转换得到的语音与预期的目标语音的相似度较低，语音转换效果较差。

技术实现要素：

4.本技术实施例期望提供一种语音处理方法、装置和设备。
5.本技术的技术方案是这样实现的：
6.本技术第一方面的实施例提供一种语音处理方法，包括：
7.将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；
8.获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；
9.对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；
10.对所述目标语音特征进行语音重建，获得转换后的目标语音。
11.可选地，所述韵律特征提取模型包括第一编码器；所述第一编码器用于识别所述第一语音，并提取所述第一语音的韵律特征。
12.可选地，所述文本特征提取模型包括第二编码器；所述第二编码器用于识别所述第一语音，并提取所述第一语音的文本特征。
13.可选地，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：
14.调用解码器中全连接层对所述第一语音特征进行变换，得到全连接特征；
15.将所述全连接特征与所述第二语音特征进行拼接处理，得到目标语音特征。
16.可选地，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：
17.将所述第一语音特征和所述第二语音特征转换为对应的波形单元；
18.将所述波形单元输入至解码器进行拼接，获得目标语音特征。
19.可选地，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：
20.将所述第一语音特征和所述第二语音特征转换为对应的第一波形单元和第二波形单元；
21.对所述第一波形单元和所述第二波形单元分别以目标权重参数进行加权处理；
22.将加权处理后的所述第一波形单元和所述第二波形单元输入至解码器进行拼接，获得目标语音特征。
23.可选地，所述对所述目标语音特征进行语音重建，获得转换后的目标语音，包括：
24.调用声码器对所述目标语音特征进行波形重建，获得转换后的目标语音。
25.可选地，在所述将待处理的第一语音输入至特征提取模型之后，所述方法还包括：
26.对所述第一语音进行短时傅里叶变换得到对应的幅度谱；
27.对所述幅度谱进行滤波得到所述第一语音对应的梅尔频谱；
28.基于所述梅尔频谱的长度，对所述文本特征的长度进行拓展；拓展后的所述文本特征的长度与所述梅尔频谱的长度一致。
29.本技术的第二方面的实施例提供一种语音处理装置，包括：
30.第一获取模块，用于将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；
31.第二获取模块，用于获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；
32.解码模块，用于对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；
33.重建模块，用于对所述目标语音特征进行语音重建，获得转换后的目标语音。
34.本技术的第三方面的实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行第一方面所述方法的步骤。
35.本技术实施例提供的一种语音处理方法、装置和设备，包括：将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；对所述目标语音特征进行语音重建，获得转换后的目标语音。采用本技术的技术方案，分别采用不同的特征提取模型提取韵律特征、文本特征和音特征，降低了不同语音特征之间影响，减少了所提取的语音特征中的干扰因素，确保了所提取的语音特征的准确性，提高了目标语音的转换效果。
附图说明
36.图1为本技术实施例提供的一种语音处理方法的流程示意图；
37.图2为本技术实施例提供的一种语音处理装置的结构示意图；
38.图3为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
39.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.此外，附图仅为本技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
41.附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
42.在此使用的术语的目的仅在于描述具体实施例并且不作为本技术的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
43.首先，对本技术实施例中涉及的名词进行简单介绍。
44.语音转换，是指保持语义内容不变的情况下，将源语音转换为目标语音的技术，其中，源语音为第一人声发出的语音，目标语音为第二人声发出的语音，也即将第一人声发出的源语音通过语音转换技术，转换为语义相同的第二人声发出的目标语音。
45.文本特征，对应于语音所表达的语义内容。
46.韵律特征，又称“超音质特征”或“超音段特征”。韵律特征是语言的一种音系结构，与句法和语篇结构、信息结构等其他语言学结构密切相关。韵律特征可以分为三个主要方面：语调、时域分布和重音，通过超音段特征实现。超音段特征包括音高，强度以及时间特性，由音位或音位负载。
47.音特征，直译为声音的颜、声音的彩，是指声音的个性特征。音的形成和差异是物体振动的不同分量组合变化关系在人耳的听觉上感受的效应。
48.在一些实施例中，请参阅图1，图1为本技术实施例提供的一种语音处理方法的流程示意图；所述语音处理方法，包括：
49.s110，将待处理的第一语音输入至特征提取模型，得到第一语音特征；特征提取模型包括韵律特征提取模型和文本特征提取模型；第一语音特征包括韵律特征和文本特征。
50.这里，第一语音为源语音，也即需要进行语音转换处理的语音。第一语音的获取方式可以包括：通过终端上的语音获取模块采集或录制得到、通过下载或手动输入等方式获取得到、或者通过从本地存储库或其他设备(例如云端或者服务器等)中获取得到等中的至
少一种，本技术对此不作具体限定。第一语音可以为说话语句、视频旁白、歌曲等类型，其数量可以为一个或多个。
51.特征提取模型可以是利用多说话人基础数据库训练得到的具有语音处理功能的模型。为了提高提取第一语音中的语音特征的准确性，还可以利用至少一句源说话对象的语句对基础语音处理模型进行优化训练；源说话对象对应于源语音的发声对象。需要说明的是，韵律特征提取模型和文本特征提取模型的不同之处在于，二者对语音的处理侧重点不同，输出内容也不同。韵律特征提取模型在经训练后，具有提取说话对象的韵律信息相关特征的能力，文本特征提取模型在经训练后，具有提取说话对象的文本信息相关特征的能力。
52.在一个示例中，韵律特征提取模型包括第一编码器；第一编码器用于识别第一语音，并提取第一语音的韵律特征。
53.在另一个示例中，文本特征提取模型包括第二编码器；第二编码器用于识别第一语音，并提取第一语音的文本特征。
54.可以理解的，若仅基于单一的基础语音处理模型对第一语音进行处理，其虽然也能提取到韵律特征和文本特征，但提取到的韵律特征中往往具有干扰特征，同样，提取到的文本特征中也会具有干扰特征，这会极大的影响语音转换效果，而本实施例采用韵律特征提取模型和文本特征提取模型分别提取韵律特征和文本特征，可以降低不同语音特征之间的影响，提高特征编码质量和效率，减少语音处理耗时。
55.在一可选实施例中，在将待处理的第一语音输入至特征提取模型之后，所述方法还包括：
56.对第一语音进行短时傅里叶变换得到对应的幅度谱；
57.对幅度谱进行滤波得到所述第一语音对应的梅尔频谱；
58.基于梅尔频谱的长度，对文本特征的长度进行拓展；拓展后的文本特征的长度与所述梅尔频谱的长度一致。
59.在本实施例中，可以根据文本特征对应的标准语音音频输出梅尔频谱。将编码器输出的文本特征通过预测时长进行对齐，达到和梅尔频谱的长度一致。示例性的，根据预测时长对文本特征中的每一个单词进行长度拓展，拓展后得到经过时长调节后的文本特征t1，t2，
…
，tt，其中，t为提取的真实梅尔频谱的帧数。这里，拓展后的文本特征对应的总时长与提取到的韵律特征对应的总时长一致，以保证后续解码后获得的目标语音特征的完整性和准确性。
60.s120，获取待处理的第二语音对应的第二语音特征；第二语音特征包括音特征；第二语音与第一语音对应的发声对象不同。
61.第二语音为目标语音，也即需要转换为目标音对应的语音。第二语音与第一语音的发声对象不同，也即第二语音对应的音与第一语音对应的音不同。第二语音的获取方式也可以包括：通过终端上的语音获取模块采集或录制得到、通过下载或手动输入等方式获取得到、或者通过从本地存储库或其他设备(例如云端或者服务器等)中获取得到等中至少一种，本技术对此不作具体限定。第二语音可以为说话语句、视频旁白、歌曲等类型，另外，第二语音与第一语音的类型可以相同，也可不同；第二语音的数量优选为一个。
62.这里，第二语音特征可以是通过音特征提取模型对第二语音进行处理得到的音
特征。可以通过利用少量目标说话人语句对基础语音处理模型进行优化训练，使得训练得到的音特征提取模型具有提取目标说话对象的音信息相关特征的能力。优选地，提取到的韵律特征对应的总时长与上述实施例中拓展后的文本特征对应的总时长一致，以保证后续解码后获得的目标语音特征的完整性和准确性。
63.s130，对第一语音特征和第二语音特征进行解码，获得目标语音特征。
64.这里，可以调用解码器对韵律特征、文本特征以及音特征进行解码处理。
65.在一可选实施例中，步骤s130可以为：
66.调用解码器中全连接层对所述第一语音特征进行变换，得到全连接特征；
67.将全连接特征与第二语音特征进行拼接处理，得到目标语音特征。
68.解码器可以包括全连接层、门控循环神经网络和输出层。通过调用解码器中全连接层对第一语音特征进行变换，得到全连接特征，然后将全连接特征与第二语音特征进行拼接处理，得到拼接特征；调用解码器中的门控循环神经网络对拼接特征进行特征提取，得到时间相关特征；将时间相关特征输入到解码器中输出层，得到目标语音特征，使得输出的目标语音特征符合第一语音特征的文本内容和韵律细节，又符合第二语音特征的说话对象的音信息，保障语音处理效果。
69.在一可选实施例中，步骤s130还可以为：
70.将第一语音特征和第二语音特征转换为对应的波形单元；
71.将波形单元输入至解码器进行拼接，获得目标语音特征。
72.这里，将第一语音特征和第二语音特征转换为对应的波形单元后，直接进行叠加，从而得到目标语音特征。
73.在一可选实施例中，步骤s130还可以为：
74.将第一语音特征和第二语音特征转换为对应的第一波形单元和第二波形单元；
75.对第一波形单元和第二波形单元分别以目标权重参数进行加权处理；
76.将加权处理后的第一波形单元和第二波形单元输入至解码器进行拼接，获得目标语音特征。
77.根据第一语音特征和第二语音特征中的韵律特征、文本特征和音特征的侧重不同，可以对韵律特征、文本特征和音特征进行加权处理，分别为各自转换的波形单元匹配合适的目标权重参数，进而进行叠加处理，从而得到目标语音特征。相较于上一实施例，本实施例可以根据实际需求对预期的目标语音特征进行适当调整，从而提高目标语音与预期语音的相似度。
78.s140，对目标语音特征进行语音重建，获得转换后的目标语音。
79.在一可选实施例中，可以调用声码器对目标语音特征进行波形重建，获得转换后的目标语音。
80.在获取到目标语音特征之后，可以调用声码器对目标语音特征进行波形重建，获得转换后的目标语音，也即转换为人耳能够识别的目标语音。该目标语音为由第一语音经过音转换为第二语音后的语音。其中，声码器包括但不限于为lpcnet、world、straight、wavenet等中至少一种。
81.本技术实施例通分别采用不同的特征提取模型提取韵律特征、文本特征和音特征，降低了不同语音特征之间影响，减少了所提取的语音特征中的干扰因素，确保了所提取
的语音特征的准确性，从而提高了目标语音的转换效果、特征编码质量和转换效率，减少了语音处理耗时。
82.在一些实施例中，请参阅图2，图2为本技术实施例提供的一种语音处理装置的结构示意图，所述语音处理装置200包括：第一获取模块210，第二获取模块220，解码模块230和重建模块240，其中：
83.第一获取模块210，用于将待处理的第一语音输入至特征提取模型，得到第一语音特征；特征提取模型包括韵律特征提取模型和文本特征提取模型；第一语音特征包括韵律特征和文本特征。
84.第一获取模块210可以包括韵律特征提取模型和文本特征提取模型，其中，韵律特征提取模型对应有第一编码器，可以用于识别第一语音，并提取第一语音的韵律特征，文本特征提取模型对应有第二编码器，可以用于识别第一语音，并提取第一语音的文本特征。
85.韵律特征提取模型和文本特征提取模型可以是利用多说话人基础数据库训练得到的具有语音处理功能的模型。为了提高提取第一语音中的语音特征的准确性，还可以利用至少一句源说话对象的语句对基础语音处理模型进行优化训练；源说话对象对应于源语音的发声对象。需要说明的是，韵律特征提取模型和文本特征提取模型的不同之处在于，二者对语音的处理侧重点不同，输出内容也不同。韵律特征提取模型在经训练后，具有提取说话对象的韵律信息相关特征的能力，文本特征提取模型在经训练后，具有提取说话对象的文本信息相关特征的能力。
86.第二获取模块220，用于获取待处理的第二语音对应的第二语音特征；第二语音特征包括音特征；第二语音与第一语音对应的发声对象不同。
87.这里，第二获取模块220可以包括音特征提取模型。通过音特征提取模型对第二语音进行处理得到从而得到音特征。与上述相同原理，可以通过利用少量目标说话人语句对基础语音处理模型进行优化训练，使得训练得到的音特征提取模型具有提取目标说话对象的音信息相关特征的能力。
88.解码模块230，用于对第一语音特征和第二语音特征进行解码，获得目标语音特征。
89.解码模块230包括至少一个解码器，解码器可以包括全连接层、门控循环神经网络和输出层。通过调用解码器中全连接层对第一语音特征进行变换，得到全连接特征，然后将全连接特征与第二语音特征进行拼接处理，得到拼接特征；调用解码器中的门控循环神经网络对拼接特征进行特征提取，得到时间相关特征；将时间相关特征输入到解码器中输出层，得到目标语音特征，使得输出的目标语音特征符合第一语音特征的文本内容和韵律细节，又符合第二语音特征的说话对象的音信息，保障语音处理效果。
90.重建模块240，用于对目标语音特征进行语音重建，获得转换后的目标语音。
91.在获取到目标语音特征之后，可以调用声码器对目标语音特征进行波形重建，获得转换后的目标语音，也即转换为人耳能够识别的目标语音。该目标语音为由第一语音经过音转换为第二语音后的语音。
92.在一可选实施例中，韵律特征提取模型包括第一编码器；第一编码器用于识别所述第一语音，并提取所述第一语音的韵律特征。
93.在一可选实施例中，文本特征提取模型包括第二编码器；第二编码器用于识别所
controller，nic)，其可通过与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中，输入输出接口可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
114.本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。
115.在一些实施例中，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述语音处理方法的步骤。
116.这里需要指出的是：以上电子设备实施例和存储介质实施例的描述，与上述语音处理方法实施例的描述是类似的，具有同语音处理方法实施例相似的有益效果。对于本技术电子设备实施例和存储介质实施例中未披露的技术细节，请参照本技术故障诊断方法实施例的描述而理解，在此不再一一赘述。
117.在本技术所提供的几个实施例中，应该理解到，所揭露的语音处理方法、装置、系统和存储介质可以通过其他的方式实现。以上所描述的方法、装置和系统实施例仅仅是示意性的。
118.本技术实施例中记载的一种语音处理方法、装置、电子设备和存储介质只以本技术所述实施例为例，但不仅限于此，只要涉及到该语音处理方法、装置、电子设备和存储介质均在本技术的保护范围。
119.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
120.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
121.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种语音处理方法，包括：将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；对所述目标语音特征进行语音重建，获得转换后的目标语音。2.根据权利要求1所述的语音处理方法，所述韵律特征提取模型包括第一编码器；所述第一编码器用于识别所述第一语音，并提取所述第一语音的韵律特征。3.根据权利要求1所述的语音处理方法，所述文本特征提取模型包括第二编码器；所述第二编码器用于识别所述第一语音，并提取所述第一语音的文本特征。4.根据权利要求1所述的语音处理方法，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：调用解码器中全连接层对所述第一语音特征进行变换，得到全连接特征；将所述全连接特征与所述第二语音特征进行拼接处理，得到目标语音特征。5.根据权利要求1所述的语音处理方法，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：将所述第一语音特征和所述第二语音特征转换为对应的波形单元；将所述波形单元输入至解码器进行拼接，获得目标语音特征。6.根据权利要求1所述的语音处理方法，所述对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征，包括：将所述第一语音特征和所述第二语音特征转换为对应的第一波形单元和第二波形单元；对所述第一波形单元和所述第二波形单元分别以目标权重参数进行加权处理；将加权处理后的所述第一波形单元和所述第二波形单元输入至解码器进行拼接，获得目标语音特征。7.根据权利要求1所述的语音处理方法，所述对所述目标语音特征进行语音重建，获得转换后的目标语音，包括：调用声码器对所述目标语音特征进行波形重建，获得转换后的目标语音。8.根据权利要求1所述的语音处理方法，在所述将待处理的第一语音输入至特征提取模型之后，所述方法还包括：对所述第一语音进行短时傅里叶变换得到对应的幅度谱；对所述幅度谱进行滤波得到所述第一语音对应的梅尔频谱；基于所述梅尔频谱的长度，对所述文本特征的长度进行拓展；拓展后的所述文本特征的长度与所述梅尔频谱的长度一致。9.一种语音处理装置，包括：第一获取模块，用于将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；
第二获取模块，用于获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；解码模块，用于对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；重建模块，用于对所述目标语音特征进行语音重建，获得转换后的目标语音。10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，所述处理器执行如权利要求1至8中任一项所述方法的步骤。

技术总结

本申请实施例公开了一种语音处理方法、装置和设备，包括：将待处理的第一语音输入至特征提取模型，得到第一语音特征；所述特征提取模型包括韵律特征提取模型和文本特征提取模型；所述第一语音特征包括韵律特征和文本特征；获取待处理的第二语音对应的第二语音特征；所述第二语音特征包括音特征；所述第二语音与所述第一语音对应的发声对象不同；对所述第一语音特征和所述第二语音特征进行解码，获得目标语音特征；对所述目标语音特征进行语音重建，获得转换后的目标语音。获得转换后的目标语音。获得转换后的目标语音。