基于混合专家模型的端到端的多语言语音识别方法

1.本发明涉及语音识别技术领域，特别涉及一种基于混合专家模型的多语言语音识别方法、系统、电子设备及存储介质。

背景技术：

2.随着人工智能的发展，语音识别已经广泛应用于各行各业中；在多语言语音识别方法及系统中，常常使用transformer网络作为声学模型，随着moe(mix of expert：混合专家)模型的发展，基于moe模型的多语言语音识别方法及系统逐渐成为研究热点。
3.然而，现有技术中，基于moe模型的语音方法和/或系统存在很多技术问题，例如，语音识别效果差、语音识别效率低、语音识别模型泛化能力弱、语音识别模型的训练过程复杂和训练成本高昂以及无法实现多种语言的语音识别等。

技术实现要素：

4.有鉴于此，本发明提供了一种基于混合专家模型的多语言语音识别方法、系统、电子设备及存储介质，以期能够至少解决上述问题之一。
5.根据本发明的第一个方面，提供了一种基于混合专家模型的端到端的多语言语音识别方法，包括：
6.从用户端获取待识别的语音；
7.利用训练完成的基于混合专家模型的多语言语音识别模型处理待识别的语音，输出语音识别结果和语种类别；
8.将语音识别结果和语种类别反馈到用户端；
9.其中，训练完成的基于混合专家模型的多语言语音识别模型通过以下训练过程得到：
10.利用音频训练数据和语种编码，得到多语种音频训练数据，其中，多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据；
11.从多语种音频训练数据中随机抽取多条数据作为批处理数据组；
12.随机初始化基于混合专家模型的多语言语音识别模型的参数，并利用基于混合专家模型的多语言语音识别模型对批处理数据组进行语音处理，得到语音识别结果和语种识别结果；
13.将批处理数据组的标注文本、批处理数据组的语种类别、语音识别结果以及语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值；
14.根据交叉损失值，优化基于混合专家模型的多语言语音识别模型的参数；
15.迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到交叉损失值满足预设条件，得到训练完成的基于混合专家模型的多语言语音识别模型。
16.根据本发明的实施例，上述利用音频训练数据和语种编码，得到多语种音频训练数据包括：
17.利用one-hot编码，在音频训练数据的标注文本的头部添加语种编码，语种编码用于表示音频训练数据的语种类别。
18.根据本发明的实施例，上述混合专家模型包括编码器和解码器，其中，编码器包括共享嵌入网络和多层混合专家神经网络，共享嵌入网络被所有层的混合专家神经网络所共享，每层混合专家神经网络包括路由层、非专家组件和多个专家组件，非专家组件包括卷积神经网络和自注意力模块，每个专家组件包括前馈神经网络或全连接层。
19.根据本发明的实施例，每层混合专家神经网络根据前一层的混合专家神经网络的路由层的输出值，从多个专家组件中确定要激活的专家组件；其中，共享嵌入网络和每层混合专家神经网络的路由层用于控制每层混合专家神经网络的路径选择策略。
20.根据本发明的第二个方面，提供了一种基于混合专家模型的端到端的多语言语音识别训练装置，包括：
21.语种编码模块，用于利用音频训练数据和语种编码，得到多语种音频训练数据，其中，多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据；
22.数据抽取模块，用于从多语种音频训练数据中随机抽取多条数据作为批处理数据组；
23.语音处理模块，用于随机初始化基于混合专家模型的多语言语音识别模型的参数，并利用基于混合专家模型的多语言语音识别模型对批处理数据组进行语音处理，得到语音识别结果和语种识别结果；
24.损失计算模块，用于将批处理数据组的标注文本、批处理数据组的语种类别、语音识别结果以及语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值；
25.参数优化模块，用于根据交叉损失值，优化基于混合专家模型的多语言语音识别模型的参数；
26.迭代更新模块，用于迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到交叉损失值满足预设条件，得到训练完成的基于混合专家模型的多语言语音识别模型。
27.根据本发明的第三个方面，提供了一种电子设备，包括：
28.一个或多个处理器；
29.存储装置，用于存储一个或多个程序，
30.其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述基于混合专家模型的端到端的多语言语音识别方法及训练方法。
31.根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行基于混合专家模型的端到端的多语言语音识别方法及训练方法。
32.本发明提供的语音识别方法，通过基于混合专家模型对多语言语音模型进行训练，能够得到高效准确对多种语言的语音进行识别的多语言语音识别模型，相比于单一语种的语音识别，性能得到了极大提升；同时，可以实现端到端的快速语音识别，降低了对硬件的依赖，大大提高了用户的体验；此外，本发明提供的基于混合专家模型的多语言语音识别训练方法能够简化训练、数据处理、测试、模型管理和上线环节，训练一个端到端多语言模型，支持n(n为大于或等于2的正整数)个语言语言识别，简单高效，而且由于使用混合专
家模型，在增加参数的情况下，显著提升识别性能，但同时不会增加模型的计算量。
附图说明
33.图1是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别方法的流程图；
34.图2是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别训练方法的流程图；
35.图3是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别训练装置的结构图；
36.图4是根据本发明实施例的对音频训练数据进行语种编码的示意图；
37.图5是根据本发明实施例的多语言语音识别模型的训练过程示意图；
38.图6是根据本发明实施例的多语言语音识别方法的示意图；
39.图7示意性示出了根据本发明实施例的适于实现基于混合专家模型的端到端的多语言语音识别方法及其训练方法的电子设备的方框图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
41.图1是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别方法的流程图。
42.如图1所示，上述基于混合专家模型的端到端的多语言语音识别方法包括操作s110～操作s130。
43.在操作s110，从用户端获取待识别的语音。
44.在操作s120，利用训练完成的基于混合专家模型的多语言语音识别模型处理待识别的语音，输出语音识别结果和语种类别。
45.在操作s130，将语音识别结果和语种类别反馈到用户端。
46.本发明提供的语音识别方法，通过基于混合专家模型对多语言语音模型进行训练，能够得到高效准确对多种语言的语音进行识别的多语言语音识别模型，相比于单一语种的语音识别，性能得到了极大提升；同时，可以实现端到端的快速语音识别，降低了对硬件的依赖，大大提高了用户的体验。
47.图2是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别训练方法的流程图。
48.本发明提供的上述多语言语音识别模型通过如图2所示的训练方法得到，其中，上述多语言语音模型基于混合专家模型，并利用对多语种类别的音频训练数据，能够得到对多种类别的语言进行识别的语音识别模型。
49.如图2所示，上述基于混合专家模型的端到端的多语言语音识别训练方法包括操作s210～操作s260。
50.在操作s210，利用音频训练数据和语种编码，得到多语种音频训练数据，其中，多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据。
51.上述利用音频训练数据和语种编码，得到多语种音频训练数据包括利用one-hot编码，在音频训练数据的标注文本的头部添加语种编码，语种编码用于表示音频训练数据的语种类别。
52.例如，有k种语言，则在音频训练数据对应的标注文本的头部添加语种embeding编码1-k，这里embeding编码使用one-hot编码。
53.上述音频训练数据可以是任意一种语言的语音片段，例如英语音频片段或音频特征帧，或葡语音频片段或音频特征帧。
54.经过上述处理的音频训练数据共有n个小时，其中，n为正数。
55.在操作s220，从多语种音频训练数据中随机抽取多条数据作为批处理数据组。
56.从n小时中随机抽取b条数据构成一个batch，记做(x,y_dict)其中x为音频或音频特征，其中y_dic包括了语音识别标注结果和音频语种类别。
57.在操作s230，随机初始化基于混合专家模型的多语言语音识别模型的参数，并利用基于混合专家模型的多语言语音识别模型对批处理数据组进行语音处理，得到语音识别结果和语种识别结果。
58.把batch(x,y_dict)中x作为输入,输入到m中，得到识别结果y_result，y_result中包括了语言种类结果和语音识别结果。
59.在操作s240，将批处理数据组的标注文本、批处理数据组的语种类别、语音识别结果以及语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值。
60.把y_result,和y_dict送入到ce损失函数中计算loss，并更新神经网络m(即多语言语音识别模型)。
61.在操作s250，根据交叉损失值，优化基于混合专家模型的多语言语音识别模型的参数。
62.在操作s260，迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到交叉损失值满足预设条件，得到训练完成的基于混合专家模型的多语言语音识别模型。
63.本专利发明了一种基于混合专家的端到端多语言语音识别方法及其训练方法，解决了单个模型支持识别多个语言的语音识别问题。而且不依赖其他语种分类模型或者语种分类模块，同时在更大的模型参数的情况下，提高了多语言语音识别性能，同时不会增加模型的计算量。
64.根据本发明的实施例，上述混合专家模型包括编码器和解码器，其中，编码器包括共享嵌入网络和多层混合专家神经网络，共享嵌入网络被所有层的混合专家神经网络所共享，每层混合专家神经网络包括路由层、非专家组件和多个专家组件，非专家组件包括卷积神经网络和自注意力模块，每个专家组件包括前馈神经网络或全连接层。
65.根据本发明的实施例，每层混合专家神经网络根据前一层的混合专家神经网络的路由层的输出值，从多个专家组件中确定要激活的专家组件；共享嵌入网络和每层混合专家神经网络的路由层用于控制每层混合专家神经网络的路径选择策略。
66.第一层混合专家神经网络中要激活的专家组件根据预设条件进行选择，其他层的混合专家神经网络中要激活的专家组件根据前一层的混合专家神经网络的输出值进行选择。
67.根据本发明的实施例，上述路由层的输出值由公式(1)确定：
68.r
l
＝w
l
*concat(e；o
l-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)，
69.其中，r
l
表示l层混合专家神经网络的路由层的输出值，w
l
表示l层混合专家神经网络的路由层的权重，e表示共享嵌入网络的输出，o
l-1
表示l-1层混合专家神经网络的输出，其中，l为大于1的正整数。
70.根据本发明的实施例，上述路径选择策略由公式(2)确定：
[0071][0072]
其中，k表示每层混合专家神经网络的专家组件的数量，1≤i≤k，表示第l层混合专家神经网络中第i个专家组件被选中的概率，合专家神经网络中第i个专家组件被选中的概率，表示第l层混合专家神经网络中路由层的第i层的输出值；
[0073]
其中，第l层混合专家神经网络的输出由公式(3)确定：
[0074][0075]
其中，表示第l层专家神经网络中第i个专家组件的输出。
[0076]
上述公式(2)～(3)表明表示第l层混合专家神经网络的第i个专家组件被选中的概率，取值范围[0-1]，每层混合专家神经网络只有1个专家组件被选中，因此，每层专家神经网络的输出如公式(3)所示。
[0077]
根据本发明的实施例，上述交叉损失函数包括共享嵌入损失函数、分类损失函数以及基于l1范式的稀疏损失函数。
[0078]
根据本发明的实施例，上述交叉损失函数包括共享嵌入损失函数、分类损失函数以及基于l1范式的稀疏损失函数。
[0079]
图3是根据本发明实施例的基于混合专家模型的端到端的多语言语音识别训练装置的结构图。
[0080]
如图3所示，上述基于混合专家模型的端到端的多语言语音识别训练装置300包括语种编码模块310、数据抽取模块320、语音处理模块330、损失计算模块340、参数优化模块350、迭代更新模块360。
[0081]
语种编码模块310，用于利用音频训练数据和语种编码，得到多语种音频训练数据，其中，多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据。
[0082]
数据抽取模块320，用于从多语种音频训练数据中随机抽取多条数据作为批处理数据组。
[0083]
语音处理模块330，用于随机初始化基于混合专家模型的多语言语音识别模型的参数，并利用基于混合专家模型的多语言语音识别模型对批处理数据组进行语音处理，得到语音识别结果和语种识别结果。
[0084]
损失计算模块340，用于将批处理数据组的标注文本、批处理数据组的语种类别、语音识别结果以及语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值。
[0085]
参数优化模块350，用于根据交叉损失值，优化基于混合专家模型的多语言语音识
别模型的参数。
[0086]
迭代更新模块360，用于迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到交叉损失值满足预设条件，得到训练完成的基于混合专家模型的多语言语音识别模型。
[0087]
图4是根据本发明实施例的对音频训练数据进行语种编码的示意图。
[0088]
图5是根据本发明实施例的多语言语音识别模型的训练过程示意图。
[0089]
图6是根据本发明实施例的多语言语音识别方法的示意图。
[0090]
下面结合图4～图6对本发明提供的上述语音识别方法及其语音模型训练方法作进一步详细地说明。
[0091]
如图4所示，音频训练数据自身带有用于表示语音识别结果的标注文本，经过字典模块使用one-hot编码对带有标注文本的音频训练数据进行语种编码，得到多语种音频训练数据。
[0092]
在图5中，将利用图4所示的过程得到的多语种音频训练数据输入到moe transformer模型(基于混合专家模型的多语言语音识别模型)进行模型训练。在模型上，使用混合专家transformer，混合专家transformer是指，transformerffn作为专家，每层中的ffn有多个，比如k个专家，选择使用哪个专家的方法是使用神经网络前一层的网络输出为o
l-1
,和共享的embedding和权重w
l
来选择那么每层的ffn,ffn1,ffn2,ffn3
…
ffnk，首先利用公式(1)和(2)，即：r
l
＝w
l
*concat(e；o
l-1
)、)、j from 1to k，k为提前设定的专家的个数，比如32，48等；选取数值最大的对应的i，作为对应激活的专家，即对应的i，作为对应激活的专家，即对应的i，作为对应激活的专家，即即第l层中，第i个ffn被选中激活，因为每次只有一个ffn被激活，因此在参数里大幅增加的情况下，计算量和传统的transformer一致。计算量不会显著增加，同时根据不同的语音来自动选择专家，极大提升了模型的性能。训练时，首先在语音识别训练数据文本的头部插入音频对应的语种编码embedding，然后语言相关的标注文本和音频或特征帧作为混合专家模型的输入，训练模型，直到达到收敛，结束训练。本发明的解码使用transformer decoder来解码，因此训练和识别时一致的，并不需要额外的n-gram。
[0093]
在图6中，识别时，使用本发明训练得到的混合专家多语言模型，输入为k个语种的语音，得到识别结果和对应的语种信号，识别的结果第一个位置为语种编码；其他输出为混合专家多语言模型的语音识别结果。
[0094]
图7示意性示出了根据本发明实施例的适于实现
……
方法的电子设备的方框图。
[0095]
如图7所示，根据本发明实施例的电子设备700包括处理器701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0096]
在ram 703中，存储有电子设备700操作所需的各种程序和数据。处理器701、rom 702以及ram 703通过总线704彼此相连。处理器701通过执行rom 702和/或ram 703中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 702和ram 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
[0097]
根据本发明的实施例，电子设备700还可以包括输入/输出(i/o)接口705，输入/输出(i/o)接口705也连接至总线704。电子设备700还可以包括连接至i/o接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0098]
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
[0099]
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的rom 702和/或ram 703和/或rom 702和ram 703以外的一个或多个存储器。
[0100]
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
[0101]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于混合专家模型的端到端的多语言语音识别方法，包括：从用户端获取待识别的语音；利用训练完成的基于混合专家模型的多语言语音识别模型处理待识别的语音，输出语音识别结果和语种类别；将所述语音识别结果和所述语种类别反馈到用户端；其中，所述训练完成的基于混合专家模型的多语言语音识别模型通过以下训练过程得到：利用音频训练数据和语种编码，得到多语种音频训练数据，其中，所述多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据；从所述多语种音频训练数据中随机抽取多条数据作为批处理数据组；随机初始化基于混合专家模型的多语言语音识别模型的参数，并利用所述基于混合专家模型的多语言语音识别模型对所述批处理数据组进行语音处理，得到语音识别结果和语种识别结果；将所述批处理数据组的标注文本、所述批处理数据组的语种类别、所述语音识别结果以及所述语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值；根据所述交叉损失值，优化所述基于混合专家模型的多语言语音识别模型的参数；迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到所述交叉损失值满足预设条件，得到所述训练完成的基于混合专家模型的多语言语音识别模型。2.根据权利要求1所述的方法，其中，所述利用音频训练数据和语种编码，得到多语种音频训练数据包括：利用one-hot编码，在所述音频训练数据的标注文本的头部添加语种编码，所述语种编码用于表示所述音频训练数据的语种类别。3.根据权利要求1所述的方法，其中，所述混合专家模型包括编码器和解码器，其中，所述编码器包括共享嵌入网络和多层混合专家神经网络，所述共享嵌入网络被所有层的混合专家神经网络所共享，每层所述混合专家神经网络包括路由层、非专家组件和多个专家组件，所述非专家组件包括卷积神经网络和自注意力模块，每个所述专家组件包括前馈神经网络或全连接层。4.根据权利要求3所述的方法，其中，每层所述混合专家神经网络根据前一层的所述混合专家神经网络的路由层的输出值，从多个所述专家组件中确定要激活的专家组件；其中，所述共享嵌入网络和每层所述混合专家神经网络的路由层用于控制每层所述混合专家神经网络的路径选择策略。5.根据权利要求1所述的方法，其中，所述交叉损失函数包括共享嵌入损失函数、分类损失函数以及基于l1范式的稀疏损失函数。6.一种基于混合专家模型的端到端的多语言语音识别训练装置，包括：语种编码模块，用于利用音频训练数据和语种编码，得到多语种音频训练数据，其中，多语种音频训练数据包括具有标注文本和语种类别的音频数据和/或音频特征帧数据；数据抽取模块，用于从所述多语种音频训练数据中随机抽取多条数据作为批处理数据组；语音处理模块，用于随机初始化基于混合专家模型的多语言语音识别模型的参数，并
利用所述基于混合专家模型的多语言语音识别模型对所述批处理数据组进行语音处理，得到语音识别结果和语种识别结果；损失计算模块，用于将所述批处理数据组的标注文本、所述批处理数据组的语种类别、所述语音识别结果以及所述语种识别结果输入到交叉损失函数中进行计算，得到交叉损失值；参数优化模块，用于根据所述交叉损失值，优化所述基于混合专家模型的多语言语音识别模型的参数；迭代更新模块，用于迭代进行抽取操作、语音处理操作、计算操作以及优化操作，直到所述交叉损失值满足预设条件，得到所述训练完成的基于混合专家模型的多语言语音识别模型。7.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～5中任一项所述的方法。8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～5中任一项所述的方法。

技术总结

本发明公开了一种基于混合专家模型的端到端的多语言语音识别方法，包括：从用户端获取待识别的语音；利用训练完成的基于混合专家模型的多语言语音识别模型处理待识别的语音，输出语音识别结果和语种类别；将语音识别结果和语种类别反馈到用户端。本发明同时提供了一种基于混合专家模型的端到端的多语言语音识别训练装置、一种用于基于混合专家模型的端到端的多语言语音识别方法的电子设备以及存储介质。本发明提供的基于混合专家模型的端到端的多语言语音识别方法能够实现多语种的语音识别，支持端到端多语言模型，识别的效率和准确率较高。确率较高。确率较高。