一种基于特征金字塔的文本驱动语音合成方法

1.本发明涉及一种文本驱动语音合成的方法，特别涉及一种基于特征金字塔的文本驱动语音合成方法，属于语音信号处理和人工智能技术领域。

背景技术：

2.语音合成，又称文语转换(text to speech，tts)，是一种可以将任意输入文本转换成相应语音的技术。文本到语音(tts)合成，是从文本生成合成语音的活跃研究领域，在语音助手、视频配音和数字人类许多应用中非常有用。由于tts过程本质上是一种跨模态转换，因此，需要采用一种机制来保留合成语音中说话者的语音特征。否则，合成的语音可能会因中性风格而导致低质量的语音。
3.为了解决这个技术问题，国内外技术人员开展了大量研究，提出了许多用于文本到语音合成的方法。根据语音特征表示及其用途，现有的方法可大致分为三类：传统方法、基于深度学习的方法以及传统与深度学习相结合的方法。
4.传统方法求助于复杂的tts模型，例如：使用波形拼接(j.kala and j.matou
ˇ
sek,“very fast unit selection using viterbi search with zero-concatenation-cost chains,”in 2014ieee international conference on acoustics,speech and signal processing(icassp).ieee,2014,pp.2569
–
2573.)和统计参数(n.narendra and k.s.rao,“syllable specific unit selection cost functions for text-to-speech synthesis,”acm transactions on speech and language processing(tslp),vol.9,no.3,pp.1
–
24,2012.)。基于大语料库的波形拼接可以更好地保留说话人的音，而选择的单元可能是帧、音节或音素，导致合成效果不稳定。基于统计参数的方法比波形拼接更有效，但依赖于手工特征的准确性，这可能会限制合成复杂语音的音质。
5.基于深度学习的语音合成(y.qian,y.fan,w.hu,and f.k.soong,“on the training aspects of deep neural network(dnn)for parametric tts synthesis,”in 2014ieee international conference on acoustics,speech and signal processing(icassp).ieee,2014,pp.3829
–
3833.)由于深度神经网络的显着特征表示和顺序数据处理而具有更好的合成效率和音质。然而，通过这些基于深度学习的方法获得的大多数特征通常统一地模拟持续时间和音高等语音特征，因此合成语音仍然倾向于中性，没有说话者的音等其他特征。
6.根据声学中的响度、音调和音等基本要素建立特征工程的方法(m.fabiani and a.friberg,“influence of pitch,loudness,and timbre on the perception of instrument dynamics,”vol.130,no.4.acoustical society of america,2011,pp.el193
–
el199.)被证明是获得更精细语音表征的有前途的策略，根据这些丰富的声音元素，可以构建更全面和结构化的语音特征表示。此外，技术人员很容易从文本中建立这些声音元素和音素之间的相关性，因此tts合成的语音具有所需的语音真实性和个性化。
7.尽管传统方法与基于深度学习的方法相结合具有更好的合成质量，但难以描述更
全面的语音特征。因此，尚需要探索更精细的语音特征表示，以进一步提高合成语音的质量。

技术实现要素：

8.本发明的目的是针对现在技术存在的缺陷和不足，为了解决合成的语音不能很好表达说话者语音特征的技术问题，创造性地提出一种基于特征金字塔的文本驱动语音合成方法。本方法在文本合成语音过程中根据声学中的响度、音调和音等基本要素建立特征工程，将底层特征和高层特征以金字塔形式融合，得到说话人的综合语音表征，可以有效地合成更接近说话者语音特征的高质量语音，提高了有效性。
9.本发明的创新点在于：从音频频谱图中提取能量和音高的特征信息，分别以均方根能量和基音频率进行提取，对应于响度和音调的声音元素，作为底层特征。从通过继承音的声音元素的梅尔谱图的时频分析得到时频信息，分别以过零率与谱质心进行提取，作为高层特征。然后，将底层特征和高层特征以金字塔形式融合，得到说话人的综合语音表征。
10.本发明的具体实现步骤如下：
11.一种基于特征金字塔的文本驱动语音合成方法，包括以下步骤：
12.步骤1：获取文本、音频相对应的多模态数据集。
13.步骤2：计算底层特征，包括能量和音高。
14.具体如下：
15.能量：对语音信号进行计算，得到能量谱图stft：
[0016][0017]
其中，f(t)是语音信号，w(x)是窗函数，x表示窗函数长度，t表示语音信号长度，e-iwt
表示复变函数。
[0018]
优选地，可以利用均方根能量进行提取，如下式：
[0019][0020]
其中，rmse表示均方根能量，n表示样本总数，bi和表示振幅的实际值和均值，i表示当前帧。
[0021]
音高：通过下式得到基音序列wt：
[0022][0023]
其中，f(t)表示语音信号；a表示尺度，控制小波函数的伸缩；τ表示平移量，控制小波函数的平移；ψ表示小波变换；dt表示每帧信号。
[0024]
优选地，可以利用基音序列中频率最低的基音频率进行提取。
[0025]
步骤3：梅尔谱图转换。
[0026]
将频谱图转化为梅尔谱图，频谱图和梅尔谱图对应关系如下式：
[0027]
mel(f)＝2595*lg(1+f/700)
[0028]
其中，mel表示梅尔频率，f表示频谱图频率，lg()表示三角函数。
[0029]
步骤4：获取高层特征，包括时域和频域。
[0030]
语音信号通过下式得到频谱图f(ω)：
[0031][0032]
其中，f(t)表示语音信号，e-iωt
表示复变函数，dt表示每帧信号。
[0033]
时域：从频谱图f(ω)提取时域特征。
[0034]
优选地，时域特征采用过零率计算，具体如下：
[0035][0036]
其中，zi表示每帧的过零率，sgn[v]表示符号函数，v表示速率，n表示频谱序列长度，i表示当前帧。
[0037]
频域：从频谱图f(ω)提取频域特征。
[0038]
优选地，频域特征采用谱质心计算，设第i帧的重心为ci，具体如下：
[0039][0040]
其中，g(i)表示当前帧的频谱序列，i表示当前帧，n表示频谱序列长度。
[0041]
步骤5：特征融合，将底层特征和高层特征的信息进行相加。
[0042]
作为优选，采用下式计算：
[0043][0044]
其中，ri表示总体特征信息，xi表示频谱图中能量与音高的特征信息，yi表示梅尔谱图中的时域和频域特征信息，ki表示维度，n表示频谱序列长度，i表示当前帧。
[0045]
步骤6：通过损失函数对预测值与真实值拟合：
[0046]
loss
total
＝loss
low-level
+loss
high-level
[0047]
其中，loss
total
表示整体损失值，loss
low-level
表示底层特征，loss
high-level
表示高层特征。
[0048]
不断迭代，直至值稳定，得到网络权重。
[0049]
优选地，损失函数采用平均绝对误差计算，如下式：
[0050][0051]
其中，mae表示平均绝对误差，n表示样本总数，ci和表示损失函数的实际值与预测值，i表示当前帧。
[0052]
步骤7：根据网络权重，输入文本，生成语音。
[0053]
有益效果
[0054]
本发明方法，对比现有技术，具有以下优点：
[0055]
1.基于底层特征的能量特征和音高特征来自于频谱图，但由于频谱图中频率和振幅分布范围过大，导致提取到很多无效信息，可能会大大降低语音质量。
[0056]
本发明有效克服了这一问题，能量特征的提取利用均方根能量计算，音高特征的提取利用频率最低的基音频率计算，能够有效提取能量与音高的有效值，使数据的描述结果更加合理与稳定。
[0057]
2.基于高层特征的时频特征来自于梅尔谱图，时频特征可以表示信号的稳态性能，即对应声学中的音特征，但是频谱图的频率范围不符合人耳范围，会导致合成语音无法体现说话人的真实特点。
[0058]
本发明在时频特征的计算中，采用梅尔谱图，这是一种更符合人耳范围的频谱图，可以有效描述声音的音。
[0059]
3.对于底层特征和高层特征的联合，底层特征来自于频谱图，高层特征来自于梅尔谱图，这是两种不同尺度的频谱图，传统的线性相加的方式，会导致有效信息的缺失。
[0060]
本发明在特征的联合中，采用金字塔的方式，可以对多层特征准确描述，能够准确反映说话人的语音特征。
附图说明
[0061]
图1是本发明方法的结构流程图。
[0062]
图2是底层特征与高层特征融合示意图。
[0063]
图3是训练网络的结构示意图。
具体实施方式
[0064]
下面结合附图和实施例对本发明方法做进一详细说明。
[0065]
一种基于特征金字塔的文本驱动语音合成方法，包括以下步骤：
[0066]
步骤1：数据集处理，获取文本、音频相对应的多模态数据集。
[0067]
步骤2：计算底层特征：
[0068]
能量:利用下式对语音信号进行计算，得到能量谱图stft：
[0069][0070]
其中，f(t)是语音信号，w(x)是窗函数，x表示窗函数长度，t表示语音信号长度，e-iwt
表示复变函数。
[0071]
a.之后，利用均方根能量进行提取，如下式：
[0072][0073]
其中，rmse表示均方根能量，n表示样本总数，bi和表示振幅的实际值和均值，i表示当前帧。
[0074]
b.音高。通过下式得到基音序列：
[0075]
[0076]
式中，rmse表示均方根能量；f(t)表示语音信号；a表示尺度，控制小波函数的伸缩；τ表示平移量，控制小波函数的平移；ψ表示小波变换；dt表示每帧信号。利用基音中频率最低的基音频率进行提取。
[0077]
步骤3：梅尔谱图转换。
[0078]
将频谱图转化为梅尔谱图，频谱图和梅尔谱图对应关系如下式：
[0079]
mel(f)＝2595*lg(1+f/700)
[0080]
其中，mel表示梅尔频率，f表示频谱图频率，lg()表示三角函数。
[0081]
步骤4：计算高层特征。
[0082]
语音信号通过下式得到频谱图：
[0083][0084]
其中，f(t)表示语音信号，e-iωt
表示复变函数，dt表示每帧信号。
[0085]
时域:从频谱图f(ω)提取时域特征，时域特征采用过零率计算，具体如下：
[0086][0087]
其中，zi表示每帧的过零率，sgn[v]表示符号函数，v表示速率，n表示频谱序列长度，i表示当前帧。
[0088]
频域：从频谱图f(ω)提取频域特征，频域特征采用谱质心计算，设第i帧的重心为ci，具体如下：
[0089][0090]
其中，g(i)表示当前帧的频谱序列，i表示当前帧，n表示频谱序列长度。
[0091]
步骤5：特征融合，将两部分特征信息进行相加，采用下式计算：
[0092][0093]
其中，ri表示总体特征信息，xi表示频谱图中能量与音高的特征信息，yi表示梅尔谱图中的时域和频域特征信息，ki表示维度，n表示频谱序列长度，i表示当前帧。具体如图2所示。
[0094]
步骤6：通过损失函数对预测值与真实值拟合，定义如下式：
[0095]
loss
total
＝loss
low-level
+loss
high-level
[0096]
其中，loss
total
表示整体损失值，loss
low-level
表示底层特征，loss
high-level
表示高层特征，迭代至值稳定，得到网络权重。具体如图3所示。
[0097]
所述损失函数采用平均绝对误差计算，如下式：
[0098][0099]
其中，mae表示平均绝对误差，n表示样本总数，ci和表示损失函数的实际值与预
测值，i表示当前帧。
[0100]
步骤7：根据网络权重，输入文本，生成语音。
[0101]
方法整体结构流程图如图1所示。
[0102]
本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

技术特征：

1.一种基于特征金字塔的文本驱动语音合成方法，其特征在于，包括以下步骤：步骤1：获取文本、音频相对应的多模态数据集；步骤2：计算底层特征，包括能量和音高；能量：对语音信号进行计算，得到能量谱图stft：其中，f(t)是语音信号，w(x)是窗函数，x表示窗函数长度，t表示语音信号长度，e-iwt
表示复变函数；音高：通过下式得到基音序列wt：其中，f(t)表示语音信号；a表示尺度，控制小波函数的伸缩；τ表示平移量，控制小波函数的平移；ψ表示小波变换；dt表示每帧信号；步骤3：梅尔谱图转换；将频谱图转化为梅尔谱图，频谱图和梅尔谱图对应关系如下式：mel(f)＝2595*lg(1+f/700)其中，mel表示梅尔频率，f表示频谱图频率，lg()表示三角函数；步骤4：获取高层特征，包括时域和频域；语音信号通过下式得到频谱图f(ω)：其中，f(t)表示语音信号，e-iωt
表示复变函数，dt表示每帧信号；时域：从频谱图f(ω)提取时域特征；频域：从频谱图f(ω)提取频域特征；步骤5：特征融合，将底层特征和高层特征的信息进行相加；步骤6：通过损失函数对预测值与真实值拟合：loss
total
＝loss
low-level
+loss
high-level
其中，loss
total
表示整体损失值，loss
low-level
表示底层特征，loss
high-level
表示高层特征；不断迭代，直至值稳定，得到网络权重；步骤7：根据网络权重，输入文本，生成语音。2.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤2计算能量时，利用均方根能量进行提取，如下式：其中，rmse表示均方根能量，n表示样本总数，b
i
和表示振幅的实际值和均值，i表示当前帧。
3.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤2计算音高时，利用基音序列中频率最低的基音频率进行提取。4.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤3中，时域特征采用过零率计算，具体如下：其中，z
i
表示每帧的过零率，sgn[v]表示符号函数，v表示速率，n表示频谱序列长度，i表示当前帧。5.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤3中，频域特征采用谱质心计算，设第i帧的重心为c
i
，具体如下：其中，g(i)表示当前帧的频谱序列，i表示当前帧，n表示频谱序列长度。6.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤5中，采用下式计算：其中，r
i
表示总体特征信息，x
i
表示频谱图中能量与音高的特征信息，y
i
表示梅尔谱图中的时域和频域特征信息，k
i
表示维度，n表示频谱序列长度，i表示当前帧。7.如权利要求1所述的一种基于特征金字塔的文本驱动语音合成方法，其特征在于，步骤6中，损失函数采用平均绝对误差计算，如下式：其中，mae表示平均绝对误差，n表示样本总数，c
i
和表示损失函数的实际值与预测值，i表示当前帧。

技术总结

本发明涉及一种基于特征金字塔的文本驱动语音合成方法，属于语音信号处理和人工智能技术领域。本方法从音频频谱图中提取能量和音高的特征信息，分别以均方根能量和基音频率进行提取，对应于响度和音调的声音元素，作为底层特征。同时，从通过继承音的声音元素的梅尔谱图的时频分析得到时频信息，分别以过零率与谱质心进行提取，作为高层特征。然后，将底层特征和高层特征以金字塔形式融合，得到说话人的综合语音表征。本方法能够有效提取能量与音高的有效值，使数据描述结果更加合理与稳定。在时频特征的计算中采用梅尔谱图，可以有效描述声音的音。在特征的联合中采用金字塔的方式，可以对多层特征准确描述，能够准确反映说话人的语音特征。话人的语音特征。话人的语音特征。