一种语音数据分析方法及系统与流程

1.本发明涉及语音信号处理技术领域，具体涉及一种语音数据分析方法及系统。

背景技术：

2.在线教育渐渐取代传统的教育方式，目前越来越多的老师通过即时通讯软件对学生进行教学辅导，这使得智能化分析课堂情况具有更大的便捷性。在课堂上老师的有效说话时长能反映老师对于该课堂的参与度，而老师的参与度直接影响着学生的学习质量；另一方面，目前老师在讲课时并不一直都用同一种语言进行授课，比如英语课堂时偶尔会借助中文，或者有的老师有自己喜爱的教学方式：如通过切换语言调节课堂的氛围等。因此，如何对老师的有效说话时长分析对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。

技术实现要素：

3.有鉴于此，本发明实施例提供了一种语音数据分析方法及系统，以克服现有技术中缺乏对教学资源中的有效说话时长进行准确分析的问题。
4.本发明实施例提供了一种语音数据分析方法，包括：
5.获取待分析语音数据；
6.从所述待分析语音数据中提取出不同语言类型对应的音频片段；
7.基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。
8.可选地，所述从所述待分析语音数据中提取出不同语言类型对应的音频片段，包括：
9.获取所述待分析语音数据的总时长；
10.基于所述总时长及预设音频时长，将所述待分析语音数据划分为多个音频片段；
11.分别对各个音频片段中的语音数据进行语言类型分析，确定各音频片段对应的语言类型。
12.可选地，所述分别对各个音频片段中的语音数据进行语言类型分析，确定各音频片段对应的语言类型，包括：
13.将当前音频片段转换为幅度谱；
14.将所述幅度谱输入预设语音类型分类模型，得到所述当前音频片段属于各预设语言类型的概率；
15.基于预设概率阈值及所述当前音频片段属于各预设语言类型的概率，确定所述当前音频片段的语言类型。
16.可选地，所述基于不同语言类型对应的音频片段的时长，生成语音数据分析结果，包括：
17.分别计算各预设语言类型对应的音频片段的数量；
18.基于所述预设音频时长及各预设语言类型对应的音频片段的数量，确定各预设语
言类型对应的语音时长；
19.基于各预设语言类型对应的语音时长，确定所述待分析语音数据的有效说话时长。
20.可选地，所述方法还包括：
21.基于各预设语言类型对应的语音时长及所述有效说话时长，确定所述待分析语音数据中各预设语言类型的时长占比。
22.可选地，在从所述待分析语音数据中提取出不同语言类型对应的音频片段之前，所述方法还包括：
23.剔除所述待分析语音数据中包含的静音。
24.可选地，所述基于预设概率阈值及所述当前音频片段属于各预设语言类型的概率，确定所述当前音频片段的语言类型，包括：
25.判断所述当前音频片段属于当前预设语言类型的概率是否大于所述预设概率阈值；
26.当所述当前音频片段属于当前预设语言类型的概率大于所述预设概率阈值时，将所述当前预设语言类型确定为所述当前音频片段的语言类型。
27.本发明实施例还提供了一种语音数据分析系统，包括：
28.获取模块，用于获取待分析语音数据；
29.第一处理模块，从所述待分析语音数据中提取出不同语言类型对应的音频片段；
30.第二处理模块，基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。
31.本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例提供的语音数据分析方法。
32.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明实施例提供的语音数据分析方法。
33.本发明技术方案，具有如下优点：
34.本发明实施例提供了一种语音数据分析方法及系统，通过获取待分析语音数据；从待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。从而通过对待分析语音数据中各个音频片段中语音的语言类型进行分析，并按照不同语言类型的音频时长，得到语音数据分析结果，实现教学资源中说话时长的准确分析，从而可以对在线教学平台上中文、英文等教学场景中教师的说话时长进行分析，得到其有效说话时长的分析结果，为教学分析提供数据支撑，对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。
附图说明
35.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
36.图1为本发明实施例中的语音数据分析方法的流程图；
37.图2为本发明实施例中的将幅度谱输入预设语音类型分类模型，得到当前音频片段属于各预设语言类型的概率的过程示意图；
38.图3为本发明实施例中的语音数据分析系统的结构示意图；
39.图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
40.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
42.在线教育渐渐取代传统的教育方式，目前越来越多的老师通过即时通讯软件对学生进行教学辅导，这使得智能化分析课堂情况具有更大的便捷性。在课堂上老师的有效说话时长能反映老师对于该课堂的参与度，而老师的参与度直接影响着学生的学习质量；另一方面，目前老师在讲课时并不一直都用同一种语言进行授课，比如英语课堂时偶尔会借助中文，或者有的老师有自己喜爱的教学方式：如通过切换语言调节课堂的氛围等。因此，如何对老师的有效说话时长分析对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。
43.基于上述问题，本发明实施例提供了一种语音数据分析方法，可应用于在线教学平台中教学资源的说话时长分析，如图1所示，该语音数据分析方法主要包括如下步骤：
44.步骤s101：获取待分析语音数据。
45.具体地，该待分析语音数据为包含有静音、人声及噪声的音频数据，例如：在线教学平台上录制的教学音频或者是从包含有语音数据的教学视频提取相应的音频数据等。待分析语音数据的获取方式可以是直接下载音频数据或者从预设的待分析语音数据库中进行提取等，本发明并不以此为限。
46.步骤s102：从待分析语音数据中提取出不同语言类型对应的音频片段。
47.其中，以老师教学音频为待分析语音数据为例，由于音频中除了包括老师的说话声，还包括静音即老师未说话的状态以及由于环境及语音采集设备所造成的噪声和其他声音等，为了准确得到教师的有效说话时长，通常在教学过程中，教师说话时利用特定的语言进行教学，如中文、英文或者二者的混合等，通过提取老师说话时采用的语言类型来获取对应的音频片段以区别于其他声音如噪声等。需要说明的是，在本发明实施例中，是以语言类型包括：中文和英文为例进行的说明，在实际应用中，该语言类型可根据实际教学课程的设计及对应老师的语言特点习惯来进行灵活的设置，本发明并不以此为限。
48.步骤s103：基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。
49.其中，通过计算同一语言类型对应的音频片段的时长，再将不同语言类型独有的时长进行累加，即可得到教师的总有效说话时长，此外，还可根据不同语言类型对应的时长
确定其在总有效时长的时长占比，以进一步对老师的教学行为进行分析。
50.通过上述步骤s101至步骤s103，本发明实施例提供的语音数据分析方法及系统，通过获取待分析语音数据；从待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。从而通过对待分析语音数据中各个音频片段中语音的语言类型进行分析，并按照不同语言类型的音频时长，得到语音数据分析结果，实现教学资源中说话时长的准确分析，从而可以对在线教学平台上中文、英文等教学场景中教师的说话时长进行分析，得到其有效说话时长的分析结果，为教学分析提供数据支撑，对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。
51.具体地，在一实施例中，上述的步骤s102具体包括如下步骤：
52.步骤s201：获取待分析语音数据的总时长。
53.其中，该总时长为待分析语音数据如：教学音频的总时长，如：1小时、2小时等。
54.步骤s202：基于总时长及预设音频时长，将待分析语音数据划分为多个音频片段；
55.其中，该预设音频时长为实际分析精度及处理速度需要设置的时长，如1s、2是等。通过将总时长较长的待分析语音数据划分为若干个音频片段，再对各个音频片段进行并行处理，提高了整体语音数据的处理速度。
56.步骤s203：分别对各个音频片段中的语音数据进行语言类型分析，确定各音频片段对应的语言类型。
57.具体地，上述的步骤s203，具体包括如下步骤：
58.步骤s31：将当前音频片段转换为幅度谱。
59.具体地，主要步骤包括对音频片段进行短时傅里叶变换，求幅度谱并对其进行归一化等数据前处理操作，将音频信号转化为二维的归一化幅度谱。
60.步骤s32：将幅度谱输入预设语音类型分类模型，得到当前音频片段属于各预设语言类型的概率。
61.其中，该预设语音类型分类模型是通过事先建立的分类模型，该分类模型的输入为音频片段，输出为预测该音频片段属于不同类型语言的概率，并利用大量的已知音频片段对该分类模型进行训练后得到的。
62.在本发明实施例中，如图2所示，分类模型以mobilenet－v2为主干网络，进一步得到音频的若干个深度特征，然后将这些深度特征进行聚合得到音频的稠密特征最后送入分类器进行分类。其中主干网络mobilenet－v2采用深度可分离卷积代替传统的卷积，推理速度更快，其在业界已广泛使用，这里不再深入介绍；在特征聚合阶段，采用更有效的特征聚合方法netvlad pooling。假设主干网络得到的深度特征为{x1,x2,
…
,x
t
}，netvlad pooling的中间输出为一个k
×
d的矩阵v，k表示预先定义的聚类数，d表示每个聚类中心的维度大小，则矩阵v的每一个行通过下式得到：
[0063][0064]
其中{wk}，{bk}，{ck}为训练参数，跟随分类模型一起训练。将矩阵v进行l2正则化后拼接在一起即为netvlad pooling聚合的特征，之后送入全连接层进行分类。在本发明实
activity detection，vad)已广泛应用于剔除音频中静音的剔除，在此不再进行赘述。通过将待分析语音数据中包含的静音剔除，可大大缩短待分析语音数据的数据处理量，并且通过先排除静音的干扰，有利于提高最终分析时长的准确性，提高分析结果的准确性。
[0080]
类似地，在实际应用中，在上述步骤s102之前，上述的语音数据分析方法还可以将待分析语音数据中包含的噪音进行剔除，以进一步减少后续需要数据的数据处理端，提高分析结果的准确性。
[0081]
通过执行上述步骤，本发明实施例提供的语音数据分析方法，通过获取待分析语音数据；从待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。从而通过对待分析语音数据中各个音频片段中语音的语言类型进行分析，并按照不同语言类型的音频时长，得到语音数据分析结果，实现教学资源中说话时长的准确分析，从而可以对在线教学平台上中文、英文等教学场景中教师的说话时长进行分析，得到其有效说话时长的分析结果，为教学分析提供数据支撑，对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。
[0082]
本发明实施例还提供了一种语速分析系统，如图3所示，该语音数据分析系统包括：
[0083]
获取模块101，用于获取待分析语音数据。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。
[0084]
第一处理模块102，用于从待分析语音数据中提取出不同语言类型对应的音频片段。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。
[0085]
第二处理模块103，用于基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。
[0086]
通过上述各个组成部分的协同合作，本发明实施例提供的语音数据分析系统，通过获取待分析语音数据；从待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。从而通过对待分析语音数据中各个音频片段中语音的语言类型进行分析，并按照不同语言类型的音频时长，得到语音数据分析结果，实现教学资源中说话时长的准确分析，从而可以对在线教学平台上中文、英文等教学场景中教师的说话时长进行分析，得到其有效说话时长的分析结果，为教学分析提供数据支撑，对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。
[0087]
根据本发明实施例还提供了一种电子设备，如图4所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图4中以通过总线连接为例。
[0088]
处理器901可以为中央处理器(central processing unit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
[0089]
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。
处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
[0090]
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0091]
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
[0092]
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
[0093]
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read－only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid－state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
[0094]
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：

1.一种语音数据分析方法，其特征在于，包括：获取待分析语音数据；从所述待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。2.根据权利要求1所述的方法，其特征在于，所述从所述待分析语音数据中提取出不同语言类型对应的音频片段，包括：获取所述待分析语音数据的总时长；基于所述总时长及预设音频时长，将所述待分析语音数据划分为多个音频片段；分别对各个音频片段中的语音数据进行语言类型分析，确定各音频片段对应的语言类型。3.根据权利要求2所述的方法，其特征在于，所述分别对各个音频片段中的语音数据进行语言类型分析，确定各音频片段对应的语言类型，包括：将当前音频片段转换为幅度谱；将所述幅度谱输入预设语音类型分类模型，得到所述当前音频片段属于各预设语言类型的概率；基于预设概率阈值及所述当前音频片段属于各预设语言类型的概率，确定所述当前音频片段的语言类型。4.根据权利要求3所述的方法，其特征在于，所述基于不同语言类型对应的音频片段的时长，生成语音数据分析结果，包括：分别计算各预设语言类型对应的音频片段的数量；基于所述预设音频时长及各预设语言类型对应的音频片段的数量，确定各预设语言类型对应的语音时长；基于各预设语言类型对应的语音时长，确定所述待分析语音数据的有效说话时长。5.根据权利要求4所述的方法，其特征在于，还包括：基于各预设语言类型对应的语音时长及所述有效说话时长，确定所述待分析语音数据中各预设语言类型的时长占比。6.根据权利要求1所述的方法，其特征在于，在从所述待分析语音数据中提取出不同语言类型对应的音频片段之前，所述方法还包括：剔除所述待分析语音数据中包含的静音。7.根据权利要求3所述的方法，其特征在于，所述基于预设概率阈值及所述当前音频片段属于各预设语言类型的概率，确定所述当前音频片段的语言类型，包括：判断所述当前音频片段属于当前预设语言类型的概率是否大于所述预设概率阈值；当所述当前音频片段属于当前预设语言类型的概率大于所述预设概率阈值时，将所述当前预设语言类型确定为所述当前音频片段的语言类型。8.一种语音数据分析系统，其特征在于，包括：获取模块，用于获取待分析语音数据；第一处理模块，从所述待分析语音数据中提取出不同语言类型对应的音频片段；第二处理模块，基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1－7任一项所述的方法。

技术总结

本发明提供了一种语音数据分析方法及系统，其中，该方法包括：获取待分析语音数据；从待分析语音数据中提取出不同语言类型对应的音频片段；基于不同语言类型对应的音频片段的时长，生成语音数据分析结果。从而通过对待分析语音数据中各个音频片段中语音的语言类型进行分析，并按照不同语言类型的音频时长，得到语音数据分析结果，实现教学资源中说话时长的准确分析，从而可以对在线教学平台上中文、英文等教学场景中教师的说话时长进行分析，得到其有效说话时长的分析结果，为教学分析提供数据支撑，对于分析学生的上课质量有重要指导作用，对教师整体教学活动的评价具有重要意义。义。义。