基于线谱图模型的儿童数学教学投影演示模拟方法及系统

1.本公开属于教学教育技术领域，特别是涉及基于线谱图模型的儿童数学教学投影演示模拟方法及系统。

背景技术：

2.儿童是人生智力发展的基础阶段，又是发展最快的时期，适当、正确的教育对幼儿智力及其日后的发展有很大的作用，而对儿童教育过程中，尤其是在学前教育及小学低年级数学教学中，由于内容较为抽象乏味难以引起儿童的学习兴趣。
3.现有的算数教学大多采用演示教学手法，传统的演示教学手段简单，机械，虽然有直观的演示和教学方面的研究，但智能化程度低，仍难以诱发学前儿童及低年级小学生的学习兴趣，难以达到好的教学效果。
4.儿童对音乐尤其是欢快的音乐容易产生兴趣，通过音乐能够激发儿童对数学的学习兴趣，基于这样的考虑，本发明对现有的演示教学手段进行改进，期望能够提高儿童学习数学的兴趣，提高数学教学的效率。

技术实现要素：

5.本公开的目的在于提供一种基于线谱图模型的儿童数学教学投影演示模拟方法及系统，通过将数学教学内容进行音乐化处理，将数学算术题转化为容易被儿童理解和接纳的音乐，增加数学教学内容对儿童的吸引力，容易引起学生的学习兴趣，提升学习效果，具有良好的社会效益和经济效益，值得推广使用。
6.为解决上述技术问题，本公开是通过以下技术方案实现的：
7.本公开第一方面提供一种基于线谱图模型的儿童数学教学投影演示模拟方法，其包括：
8.将数学算术题的题干部分和答案部分分别转化为音乐语音；
9.播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图；
10.在接收教师发出的题干播放指令之后，发出所述数学算术题的题干部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分对应的音乐语音的线谱图；
11.采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分；
12.若是，则投影显示回答正确；
13.若否，则投影显示回答错误。
14.在本公开的一个实施例中，所述将数学算术题的题干部分和答案部分分别转化为音乐语音的步骤，包括，
15.将所述数学算术题的题干部分和答案部分的数学表达文本信息转化为语言表达文本信息；
16.将所述数学算术题的题干部分和答案部分对应的所述语言表达文本信息转化为
对应的语音信息；
17.根据所述数学算术题的题干部分和答案部分对应语音信息的频率和响度，为所述数学算术题的题干部分和答案部分进行谱曲；
18.将谱曲后的所述数学算术题的题干部分和答案部分转化为音乐语音。
19.在本公开的一个实施例中，所述根据所述数学算术题的题干部分和答案部分对应语音信息的频率和响度，为所述数学算术题的题干部分和答案部分进行谱曲的步骤，包括，
20.将所述数学算术题的题干部分和答案部分拆分为以单字发音为基础的发声单元；
21.搜集并建立音乐素材库，所述音乐素材库内包括若干个音乐素材单元；
22.比对所述发声单元和所述音乐素材库，筛选出所述发声单元对应的所述音乐素材单元；
23.将筛选出的与所述发声单元对应的所述音乐素材单元拼接得到谱曲后的所述数学算术题的题干部分和答案部分。
24.在本公开的一个实施例中，所述搜集并建立音乐素材库的步骤，包括，
25.搜集现有的乐曲谱；
26.将所述乐曲谱分切为以单字发音为基础的音乐素材单元；
27.将所述乐曲谱中的单字发音和所述素材单元进行收录，得到所述音乐素材库。
28.在本公开的一个实施例中，播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图，包括：
29.获取所述数学算术题的题干部分和答案部分对应的音乐语音以及所述题干部分和答案部分对应的音乐语音的线谱图，并对所述音乐语音以及所述线谱图进行数据解析，得到对应的语音数据以及图像数据；
30.分别提取所述语音数据以及图像数据对应的第一特征数据与第二特征数据，并基于所述第一特征数据以及第二特征数据确定所述语音数据与所述图像数据的时间戳信息；
31.基于所述时间戳信息确定所述语音数据与所述图像数据对应的起始时刻，并基于所述起始时刻将所述语音数据与所述图像数据进行同步关联；
32.基于同步关联结果设置所述音乐语音与所述线谱图的播放模式，其中，所述播放模式包括：将所述音乐语音单独播放和将所述音乐语音与线谱图同步播放；
33.当所述播放模式为将所述音乐语音与线谱图同步播放时，提取所述线谱图中的线谱内容，并确定所述线谱内容的结构属性；
34.基于所述结构属性将所述线谱内容进行分句，并对每句中包含的音符进行分类，且将不同种类音符采用目标标记方式进行标记；
35.基于标记结果确定每句包含的音符与所述音乐语音的关联关系，并基于所述关联关系设置所述每句包含的音符的目标显示格式，其中，所述目标显示格式为动态跳动显示；
36.基于设置结果将所述音乐语音与线谱图进行预播放，并基于播放结果确定所述语音信息与所述线谱图是否同步；
37.若所述语音信息与所述线谱图同步，则判定对所述语音信息与所述线谱图的同步关联合格，并分别将所述语音信息与所述线谱图根据预设压缩比例进行压缩封包，且将压缩封包后的语音信息与线谱图进行存储；
38.否则，确定所述语音信息与所述线谱图的协同差异，并基于所述协同差异确定所述语音信息对应的线谱图的理论播放位置与实际播放位置的目标差值；
39.基于所述目标差值对所述线谱图的实际播放位置进行调整，并基于调整结果对所述语音数据与所述图像数据的同步关联进行优化，直至所述语音信息与所述线谱图同步。
40.在本公开的一个实施例中，所述比对所述发声单元和所述音乐素材库，筛选出所述发声单元对应的所述音乐素材单元的步骤，包括，
41.将所述发声单元转化为频率图；
42.将所述音乐素材库中的所述音乐素材单元转化为频谱图；
43.将所述发声单元的频率图与所述音乐素材单元的频谱图进行图形比对，得到与所述发声单元最为接近的所述音乐素材单元，得到与所述发声单元对应的所述音乐素材单元。
44.在本公开的一个实施例中，所述将筛选出的与所述发声单元对应的所述音乐素材单元拼接得到谱曲后的所述数学算术题的题干部分和答案部分的步骤，包括，
45.按照所述数学算术题的题干部分和答案部分中所述单字发音的顺序，将所述与所述发声单元对应的所述音乐素材单元进行拼接；
46.检查所述发声单元对应的所述音乐素材单元在拼接之后是否出现音调和/或响度突变，
47.若是，则将出现音调和/或响度突变的音节部分进行平滑处理后输出得到谱曲后的所述数学算术题的题干部分和答案部分；
48.若否，则将拼接后的所述发声单元对应的所述音乐素材单元输出得到谱曲后的所述数学算术题的题干部分和答案部分。
49.在本公开的一个实施例中，所述采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分的步骤，包括，
50.剔除所述环境音中的高频和低频杂声，得到预筛选环境音；
51.获取儿童发声频率范围；
52.将所述预筛选环境音在所述儿童发声频率范围内进行筛选，得到童声筛选环境音；
53.对所述童声筛选环境音进行语义识别，得到环境音童声内容；
54.将所述环境音童声内容与所述数学算术题的答案部分进行比对，识别出学生回答的内容是否为所述数学算术题的答案部分；
55.优选的，所述对所述童声筛选环境音进行语义识别，得到环境音童声内容的步骤，包括，
56.获取语义对比数据库；
57.将所述童声筛选环境音以单字发音为基础进行分割，得到若干个童声筛选字词环境音；
58.将若干个所述童声筛选字词环境音与所述语义对比数据库进行比对筛选，得到每个所述童声筛选字词环境音对应的语义；
59.将所述童声筛选字词环境音对应的语义按照所述童声筛选环境音中单字发音的顺序进行拼接，得到环境音童声内容；
60.优选的，所述获取语义对比数据库的步骤，包括，
61.收集语音和对应的语义；
62.将收集到的语音和对应的语义进行关联，得到语义对比数据库。
63.在本公开的一个实施例中，采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分，包括：
64.获取采集到的环境音以及数学算术题对应的答案部分，同时构建语言模型；
65.将所述答案部分输入所述语言模型，得到所述答案部分对应的目标词汇集合，并确定所述目标词汇集合对应的声学特征k＝{k1，k2，
…kn
}；
66.同时，基于所述语言模型计算对环境音识别后得到的学生的回答词序列集合，并根据所述回答词序列集合计算学生正确回答数学算术题的目标概率，具体步骤包括：
67.根据如下公式计算对环境音识别后得到的学生的回答词序列集合：
[0068][0069]
其中，q表示对环境音识别后得到的学生的回答词序列集合；μ表示误差系数，取值范围为(0.02，0.05)；p(m)表示环境音出现所述答案部分对应的目标词汇出现的先验概率，取值范围为(0，1)；m表示所述答案部分对应的目标词汇序列；p(k|m)表示在答案部分对应的目标词汇序列下，所述环境音中包含声学特征k的概率，取值范围为(0，1)；p(k)表示所述环境音中包含声学特征的概率，取值范围为(0，1)；n表示所述答案部分对应的目标词汇集合中包含的声学特征的总个数；argmax(
·
)表示求集合的函数；
[0070]
基于所述回答词序列集合q确定对所述环境音进行识别后得到的回答词序列的总个数l；
[0071]
根据如下公式计算学生正确回答数学算术题的目标概率：
[0072][0073]
其中，η表示学生正确回答数学算术题的目标概率，取值范围为(0，1)；l表示所述回答词序列的总个数l；w表示回答词序列集合中与答案部分对应的目标词汇集合不相同的个数；α表示对环境音识别的误差因子，取值范围为(0.03，0.05)；
[0074]
将计算得到的目标概率与预设概率进行比较；
[0075]
若所述目标概率大于或等于所述预设概率，判定学生对所述数学算术题掌握程度达到预期要求；
[0076]
否则，判定学生对所述数学算术题的掌握程度未达到预期要求，并对所述数学算术题进行标记；
[0077]
基于标记结果将学生未掌握的数学算术题进行汇总，并基于汇总结果重新制定教学计划方案，直至所述目标概率大于或等于所述预设概率。
[0078]
本公开另一方面提供一种基于线谱图模型的儿童数学教学投影演示模拟系统，其特征在于，
[0079]
音乐转化单元，将数学算术题的题干部分和答案部分分别转化为音乐语音；
[0080]
演示单元，播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图；
[0081]
测试单元，在接收教师发出的题干播放指令之后，发出所述数学算术题的题干部
分对应的音乐语音，和/或投影显示所述数学算术题的题干部分对应的音乐语音的线谱图；
[0082]
识别单元，采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分；
[0083]
若是，则投影显示回答正确；
[0084]
若否，则投影显示回答错误。
[0085]
相比于现有技术，本发明的有益效果如下：本公开通过将数学教学内容进行音乐化处理，将数学算术题转化为容易被儿童理解和接纳的音乐，增加数学教学内容对儿童的吸引力，经过模型验证和试验测试，效果较好，容易引起学生的学习兴趣，提升学习效果，具有良好的社会效益和经济效益，值得推广使用。
[0086]
当然，实施本公开的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0087]
为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0088]
图1为本公开一种实施例的基于线谱图模型的儿童数学教学投影演示模拟方法的流程示意图；
[0089]
图2为本公开一种实施例的步骤s1将数学算术题的题干部分和答案部分分别转化为音乐语音的流程示意图；
[0090]
图3为本公开一种实施例的步骤s4至s5采集环境音识别出学生回答的内容是否为数学算术题的答案部分的流程示意图；
[0091]
图4为本公开一种实施例的基于线谱图模型的儿童数学教学投影演示模拟系统的结构框图。
[0092]
附图中，各标号所代表的部件列表如下：
[0093]
1-基于线谱图模型的儿童数学教学投影演示模拟系统，11-音乐转化单元，12-演示单元，13-测试单元，14-识别单元。
具体实施方式
[0094]
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
[0095]
为了提高数学教学内容对儿童的吸引力，请参阅图1所示，本公开提供了基于线谱图模型的儿童数学教学投影演示模拟方法。在实施过程中，可以首先执行步骤s1将数学算术题的题干部分和答案部分分别转化为音乐语音。接下来可以执行步骤s2播放数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示数学算术题的题干部分和答案部分对应的音乐语音的线谱图。接下来可以执行步骤s3在接收教师发出的题干播放指令之后，发出数学算术题的题干部分对应的音乐语音，和/或投影显示数学算术题的题干部分对
应的音乐语音的线谱图。接下来可以执行步骤s4采集环境音，最后执行步骤s5识别出学生回答的内容是否为数学算术题的答案部分。若是，则投影显示回答正确。若否，则投影显示回答错误。通过上述方式，将数学算术题转化为容易被儿童理解和接纳的音乐，增加数学教学内容对儿童的吸引力，提高了儿童的学习效率。
[0096]
请参阅图2所示，为了实现将教学内容转化为音乐，上述的步骤s1将数学算术题的题干部分和答案部分分别转化为音乐语音中可以首先执行步骤s11将数学算术题的题干部分和答案部分的数学表达文本信息转化为语言表达文本信息。接下来可以执行步骤s12将数学算术题的题干部分和答案部分对应的语言表达文本信息转化为对应的语音信息。再接下来可以执行步骤s13根据数学算术题的题干部分和答案部分对应语音信息的频率和响度，为数学算术题的题干部分和答案部分进行谱曲。最后可以执行步骤s14将谱曲后的数学算术题的题干部分和答案部分转化为音乐语音。通过上述方式能够快速准确实现将数学算术题的题干部分和答案部分分别转化为音乐语音。
[0097]
请参阅图1至2所示，上述的步骤根据数学算术题的题干部分和答案部分对应语音信息的频率和响度，为数学算术题的题干部分和答案部分进行谱曲中可以首先执行将数学算术题的题干部分和答案部分拆分为以单字发音为基础的发声单元。接下来可以执行搜集并建立音乐素材库，音乐素材库内包括若干个音乐素材单元。接下来可以执行比对发声单元和音乐素材库，筛选出发声单元对应的音乐素材单元。最后可以执行将筛选出的与发声单元对应的音乐素材单元拼接得到谱曲后的数学算术题的题干部分和答案部分。通过上述步骤，实现对数学算术题的题干部分和答案部分进行谱曲。
[0098]
请参阅图1至2所示，上述搜集并建立音乐素材库的步骤中可以首先执行搜集现有的乐曲谱。接下来可以执行将乐曲谱分切为以单字发音为基础的音乐素材单元。最后可以执行将乐曲谱中的单字发音和素材单元进行收录，得到音乐素材库。通过上述方式实现搜集建立音乐素材库。
[0099]
请参阅图1至2所示，上述步骤中比对发声单元和音乐素材库，筛选出发声单元对应的音乐素材单元可以首先执行将发声单元转化为频率图。接下来可以执行将音乐素材库中的音乐素材单元转化为频谱图。最后可以执行将发声单元的频率图与音乐素材单元的频谱图进行图形比对，得到与发声单元最为接近的音乐素材单元，得到与发声单元对应的音乐素材单元。通过上述方式能够快速筛选出发声单元对应的音乐素材单元。
[0100]
请参阅图1至2所示，上述步骤中将筛选出的与发声单元对应的音乐素材单元拼接得到谱曲后的数学算术题的题干部分和答案部分可以首先执行按照数学算术题的题干部分和答案部分中单字发音的顺序，将与发声单元对应的音乐素材单元进行拼接。接下来可以执行检查发声单元对应的音乐素材单元在拼接之后是否出现音调和/或响度突变。若是，则接下来可以执行将出现音调和/或响度突变的音节部分进行平滑处理后输出得到谱曲后的数学算术题的题干部分和答案部分。若否，则接下来可以执行将拼接后的发声单元对应的音乐素材单元输出得到谱曲后的数学算术题的题干部分和答案部分。通过上述方式能够得到连贯的谱曲后的数学算术题的题干部分和答案部分，避免对儿童学习造成不良影响。
[0101]
请参阅图3所示，上述步骤s4至s5可以首先执行步骤s41剔除环境音中的高频和低频杂声，得到预筛选环境音。接下来可以执行步骤s42获取儿童发声频率范围。接下来可以执行步骤s43将预筛选环境音在儿童发声频率范围内进行筛选，得到童声筛选环境音。接下
来可以执行步骤s44对童声筛选环境音进行语义识别，得到环境音童声内容。接下来可以执行步骤s45将环境音童声内容与数学算术题的答案部分进行比对，最后执行步骤s5识别出学生回答的内容是否为数学算术题的答案部分。
[0102]
请参阅图1和3所示，上述步骤对童声筛选环境音进行语义识别，得到环境音童声内容中可以首先执行获取语义对比数据库。接下来可以执行将童声筛选环境音以单字发音为基础进行分割，得到若干个童声筛选字词环境音。接下来可以执行将若干个童声筛选字词环境音与语义对比数据库进行比对筛选，得到每个童声筛选字词环境音对应的语义。最后可以执行步骤将童声筛选字词环境音对应的语义按照童声筛选环境音中单字发音的顺序进行拼接，得到环境音童声内容。通过上述方式能够准确识别出儿童的声音和回答内容。
[0103]
请参阅图1和3所示，上述步骤获取语义对比数据库中可以首先执行收集语音和对应的语义。接下来可以执行将收集到的语音和对应的语义进行关联，得到语义对比数据库。通过上述方式建立用于准确识别儿童回答内容的语义对比数据库。
[0104]
请参阅图4所示，本公开还提供基于线谱图模型的儿童数学教学投影演示模拟系统1，可以包括音乐转化单元11、演示单元12、测试单元13以及识别单元。其中，音乐转化单元11可以用于将数学算术题的题干部分和答案部分分别转化为音乐语音。演示单元12可以用于播放数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示数学算术题的题干部分和答案部分对应的音乐语音的线谱图。测试单元13可以用于在接收教师发出的题干播放指令之后，发出数学算术题的题干部分对应的音乐语音，和/或投影显示数学算术题的题干部分对应的音乐语音的线谱图。识别单元14可以用于采集环境音，识别出学生回答的内容是否为数学算术题的答案部分，若是，则投影显示回答正确，若否，则投影显示回答错误。通过将数学教学内容进行音乐化处理，更加容易引起学生的学习兴趣，提升学习效果。
[0105]
综上所述，本公开将原本抽象乏味的儿童数学教学内容转化为语音，播放数学算术题的题干部分和答案部分对应的音乐语音先对儿童进行教学，或者将音乐语音的线谱图投影由教师演唱教学。然后再播放题干部分的音乐语音或者投影题干部分对应的音乐语音的线谱图由教师演唱。最后通过采集环境音识别出学生回答的内容是否为数学算术题的答案部分。通过上述方式实现对儿童寓教于乐的数学教学，提高学习效率。
[0106]
本实施例还提供播放数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示数学算术题的题干部分和答案部分对应的音乐语音的线谱图，包括：
[0107]
获取数学算术题的题干部分和答案部分对应的音乐语音以及题干部分和答案部分对应的音乐语音的线谱图，并对音乐语音以及线谱图进行数据解析，得到对应的语音数据以及图像数据；
[0108]
分别提取语音数据以及图像数据对应的第一特征数据与第二特征数据，并基于第一特征数据以及第二特征数据确定语音数据与图像数据的时间戳信息；
[0109]
基于时间戳信息确定语音数据与图像数据对应的起始时刻，并基于起始时刻将语音数据与图像数据进行同步关联；
[0110]
基于同步关联结果设置音乐语音与线谱图的播放模式，其中，播放模式包括：将音乐语音单独播放和将音乐语音与线谱图同步播放；
[0111]
当播放模式为将音乐语音与线谱图同步播放时，提取线谱图中的线谱内容，并确
定线谱内容的结构属性；
[0112]
基于结构属性将线谱内容进行分句，并对每句中包含的音符进行分类，且将不同种类音符采用目标标记方式进行标记；
[0113]
基于标记结果确定每句包含的音符与音乐语音的关联关系，并基于关联关系设置每句包含的音符的目标显示格式，其中，目标显示格式为动态跳动显示；
[0114]
基于设置结果将音乐语音与线谱图进行预播放，并基于播放结果确定语音信息与线谱图是否同步；
[0115]
若语音信息与线谱图同步，则判定对语音信息与线谱图的同步关联合格，并分别将语音信息与线谱图根据预设压缩比例进行压缩封包，且将压缩封包后的语音信息与线谱图进行存储；
[0116]
否则，确定语音信息与线谱图的协同差异，并基于协同差异确定语音信息对应的线谱图的理论播放位置与实际播放位置的目标差值；
[0117]
基于目标差值对线谱图的实际播放位置进行调整，并基于调整结果对语音数据与图像数据的同步关联进行优化，直至语音信息与线谱图同步。
[0118]
该实施例中，语音数据可以是将题干部分和答案部分对应的音乐语音转换问对应的文本形式后得到的数据。
[0119]
该实施例中，图像数据可以是将线谱图转换为对应的二进制数据后得到的信息。
[0120]
该实施例中，第一特征数据可以是语音数据中表征语音播放顺序以及时长的关键数据。
[0121]
该实施例中，第二特征数据可以是用于表征线谱图中的起点位置以及终点位置和线谱图随语音信息变化的数据片段。
[0122]
该实施例中，时间戳信息可以是用来表征语音信息与线谱图的播放时间情况。
[0123]
该实施例中，同步关联可以是将语音信息与线谱图中同一内容保持一致，以便在播放时同步进行。
[0124]
该实施例中，结构属性可以是线谱图中包括的乐谱片段、调子以及每句之间的分割等。
[0125]
该实施例中，目标标记方式是提前设定好的，具体为将相同的音符采用同一种颜标记等。
[0126]
该实施例中，音符与音乐语音的关联关系可以是语音与音符之间的对应关系，用于表征该语音对应的具体音符情况。
[0127]
该实施例中，目标显示格式可以是当音乐语音播放到该音符时，该音符进行跳动显示，从而达到凸显的效果。
[0128]
该实施例中，预播放可以是对关联后的音乐语音与线谱图进行预演练，便于核验二者是否同步。
[0129]
该实施例中，预设压缩比例是提前设定好的，用于衡量对语音信号以及线谱图的压缩效果，便于进行存储。
[0130]
该实施例中，协同差异可以是用来表征二者在播放过程中存在的差异情况，包括任一个相对另一个的延时情况。
[0131]
该实施例中，理论播放位置可以是当音乐语音播放某一片段时，与其同步的音符
的理论位置。
[0132]
上述技术方案的有益效果是：通过对音乐语音与线谱图进行同步关联，从而确保在需要将音乐语音与线谱图同步播放时，二者达到一个同步的效果，同时对关联后的音乐语音以及线谱图的同步效果进行验证，且在不同步时，及时对二者之间的协同差异进行修正，保障了二者播放的效果，为学生提供了良好的教学指引，从而保障了学生的学习效率。
[0133]
本实施例还提供采集环境音，识别出学生回答的内容是否为数学算术题的答案部分，包括：
[0134]
获取采集到的环境音以及数学算术题对应的答案部分，同时构建语言模型；
[0135]
将答案部分输入语言模型，得到答案部分对应的目标词汇集合，并确定目标词汇集合对应的声学特征k＝{k1，k2，
…kn
}；
[0136]
同时，基于语言模型计算对环境音识别后得到的学生的回答词序列集合，并根据回答词序列集合计算学生正确回答数学算术题的目标概率，具体步骤包括：
[0137]
根据如下公式计算对环境音识别后得到的学生的回答词序列集合：
[0138][0139]
其中，q表示对环境音识别后得到的学生的回答词序列集合；μ表示误差系数，取值范围为(0.02，0.05)；p(m)表示环境音出现答案部分对应的目标词汇出现的先验概率，取值范围为(0，1)；m表示答案部分对应的目标词汇序列；p(k|m)表示在答案部分对应的目标词汇序列下，环境音中包含声学特征k的概率，取值范围为(0，1)；p(k)表示环境音中包含声学特征的概率，取值范围为(0，1)；n表示答案部分对应的目标词汇集合中包含的声学特征的总个数；argmax(
·
)表示求集合的函数；
[0140]
基于回答词序列集合q确定对环境音进行识别后得到的回答词序列的总个数l；
[0141]
根据如下公式计算学生正确回答数学算术题的目标概率：
[0142][0143]
其中，η表示学生正确回答数学算术题的目标概率，取值范围为(0，1)；l表示回答词序列的总个数l；w表示回答词序列集合中与答案部分对应的目标词汇集合不相同的个数；α表示对环境音识别的误差因子，取值范围为(0.03，0.05)；
[0144]
将计算得到的目标概率与预设概率进行比较；
[0145]
若目标概率大于或等于预设概率，判定学生对数学算术题掌握程度达到预期要求；
[0146]
否则，判定学生对数学算术题的掌握程度未达到预期要求，并对数学算术题进行标记；
[0147]
基于标记结果将学生未掌握的数学算术题进行汇总，并基于汇总结果重新制定教学计划方案，直至目标概率大于或等于预设概率。
[0148]
该实施例中，语言模型是用来将文本或语音转换为对应的词汇序列集合，时提前训练好的。
[0149]
该实施例中，声学特征可以是不同文本对应的声学特点或是发音特点等。
[0150]
该实施例中，回答词序列集合可以是对环境音识别后得到的关于学生的回答结果。
[0151]
该实施例中，目标概率可以是学生对一定量的数学算术题中，准确回答的数量占总数的百分比。
[0152]
该实施例中，argmax是一种函数，是对函数求参数(集合)的函数。当有另一个函数y＝f(x)时，若有结果x0＝argmax(f(x))，则表示当函数f(x)取x＝x0的时候，得到f(x)取值范围的最大值；若有多个点使得f(x)取得相同的最大值，那么argmax(f(x))的结果就是一个点集。
[0153]
该实施例中，预设概率是提前设定好的，用于衡量学生对数学算术题的掌握程度是否达到预期要求。
[0154]
上述技术方案的有益效果是：通过对学生的回答的语音信息进行有效识别，从而便于根据识别到的语音信息对学生的回答情况进行有效把握，提高了对学生的教学效率，保障了学生的学习效果。
[0155]
本公开所示实施例的上述描述(包括在说明书摘要中的内容)并非意在详尽列举或将本公开限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本公开的具体实施例和本公开的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本公开的精神和范围内的。如所指出的，可以按照本公开实施例的上述描述来对本公开进行这些修改，并且这些修改将在本公开的精神和范围内。
[0156]
本文已经在总体上将系统和方法描述为有助于理解本公开的细节。此外，已经给出了各种具体细节以提供本公开实施例的总体理解。然而，相关领域的技术人员将会认识到，本公开的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本公开实施例的各方面造成混淆。
[0157]
因而，尽管本公开在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换意在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本公开的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本公开的实质范围和精神。本公开并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本公开的最佳方式公开的具体实施例，但是本公开将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本公开的范围将只由所附的权利要求书进行确定。

技术特征：

1.基于线谱图模型的儿童数学教学投影演示模拟方法，其特征在于，包括：将数学算术题的题干部分和答案部分分别转化为音乐语音；播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图；在接收教师发出的题干播放指令之后，发出所述数学算术题的题干部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分对应的音乐语音的线谱图；采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分；若是，则投影显示回答正确；若否，则投影显示回答错误。2.根据权利要求1所述的方法，其特征在于，所述将数学算术题的题干部分和答案部分分别转化为音乐语音的步骤，包括，将所述数学算术题的题干部分和答案部分的数学表达文本信息转化为语言表达文本信息；将所述数学算术题的题干部分和答案部分对应的所述语言表达文本信息转化为对应的语音信息；根据所述数学算术题的题干部分和答案部分对应语音信息的频率和响度，为所述数学算术题的题干部分和答案部分进行谱曲；将谱曲后的所述数学算术题的题干部分和答案部分转化为音乐语音。3.根据权利要求2所述的方法，其特征在于，所述根据所述数学算术题的题干部分和答案部分对应语音信息的频率和响度，为所述数学算术题的题干部分和答案部分进行谱曲的步骤，包括，将所述数学算术题的题干部分和答案部分拆分为以单字发音为基础的发声单元；搜集并建立音乐素材库，所述音乐素材库内包括若干个音乐素材单元；比对所述发声单元和所述音乐素材库，筛选出所述发声单元对应的所述音乐素材单元；将筛选出的与所述发声单元对应的所述音乐素材单元拼接得到谱曲后的所述数学算术题的题干部分和答案部分。4.根据权利要求3所述的方法，其特征在于，所述搜集并建立音乐素材库的步骤，包括，搜集现有的乐曲谱；将所述乐曲谱分切为以单字发音为基础的音乐素材单元；将所述乐曲谱中的单字发音和所述素材单元进行收录，得到所述音乐素材库。5.根据权利要求1所述的方法，其特征在于，播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图，包括：获取所述数学算术题的题干部分和答案部分对应的音乐语音以及所述题干部分和答案部分对应的音乐语音的线谱图，并对所述音乐语音以及所述线谱图进行数据解析，得到对应的语音数据以及图像数据；分别提取所述语音数据以及图像数据对应的第一特征数据与第二特征数据，并基于所述第一特征数据以及第二特征数据确定所述语音数据与所述图像数据的时间戳信息；
基于所述时间戳信息确定所述语音数据与所述图像数据对应的起始时刻，并基于所述起始时刻将所述语音数据与所述图像数据进行同步关联；基于同步关联结果设置所述音乐语音与所述线谱图的播放模式，其中，所述播放模式包括：将所述音乐语音单独播放和将所述音乐语音与线谱图同步播放；当所述播放模式为将所述音乐语音与线谱图同步播放时，提取所述线谱图中的线谱内容，并确定所述线谱内容的结构属性；基于所述结构属性将所述线谱内容进行分句，并对每句中包含的音符进行分类，且将不同种类音符采用目标标记方式进行标记；基于标记结果确定每句包含的音符与所述音乐语音的关联关系，并基于所述关联关系设置所述每句包含的音符的目标显示格式，其中，所述目标显示格式为动态跳动显示；基于设置结果将所述音乐语音与线谱图进行预播放，并基于播放结果确定所述语音信息与所述线谱图是否同步；若所述语音信息与所述线谱图同步，则判定对所述语音信息与所述线谱图的同步关联合格，并分别将所述语音信息与所述线谱图根据预设压缩比例进行压缩封包，且将压缩封包后的语音信息与线谱图进行存储；否则，确定所述语音信息与所述线谱图的协同差异，并基于所述协同差异确定所述语音信息对应的线谱图的理论播放位置与实际播放位置的目标差值；基于所述目标差值对所述线谱图的实际播放位置进行调整，并基于调整结果对所述语音数据与所述图像数据的同步关联进行优化，直至所述语音信息与所述线谱图同步。6.根据权利要求3所述的方法，其特征在于，所述比对所述发声单元和所述音乐素材库，筛选出所述发声单元对应的所述音乐素材单元的步骤，包括，将所述发声单元转化为频率图；将所述音乐素材库中的所述音乐素材单元转化为频谱图；将所述发声单元的频率图与所述音乐素材单元的频谱图进行图形比对，得到与所述发声单元最为接近的所述音乐素材单元，得到与所述发声单元对应的所述音乐素材单元。7.根据权利要求3所述的方法，其特征在于，所述将筛选出的与所述发声单元对应的所述音乐素材单元拼接得到谱曲后的所述数学算术题的题干部分和答案部分的步骤，包括，按照所述数学算术题的题干部分和答案部分中所述单字发音的顺序，将所述与所述发声单元对应的所述音乐素材单元进行拼接；检查所述发声单元对应的所述音乐素材单元在拼接之后是否出现音调和/或响度突变，若是，则将出现音调和/或响度突变的音节部分进行平滑处理后输出得到谱曲后的所述数学算术题的题干部分和答案部分；若否，则将拼接后的所述发声单元对应的所述音乐素材单元输出得到谱曲后的所述数学算术题的题干部分和答案部分。8.根据权利要求1所述的方法，其特征在于，所述采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分的步骤，包括，剔除所述环境音中的高频和低频杂声，得到预筛选环境音；获取儿童发声频率范围；
将所述预筛选环境音在所述儿童发声频率范围内进行筛选，得到童声筛选环境音；对所述童声筛选环境音进行语义识别，得到环境音童声内容；将所述环境音童声内容与所述数学算术题的答案部分进行比对，识别出学生回答的内容是否为所述数学算术题的答案部分；优选的，所述对所述童声筛选环境音进行语义识别，得到环境音童声内容的步骤，包括，获取语义对比数据库；将所述童声筛选环境音以单字发音为基础进行分割，得到若干个童声筛选字词环境音；将若干个所述童声筛选字词环境音与所述语义对比数据库进行比对筛选，得到每个所述童声筛选字词环境音对应的语义；将所述童声筛选字词环境音对应的语义按照所述童声筛选环境音中单字发音的顺序进行拼接，得到环境音童声内容；优选的，所述获取语义对比数据库的步骤，包括，收集语音和对应的语义；将收集到的语音和对应的语义进行关联，得到语义对比数据库。9.根据权利要求1所述的方法，其特征在于，采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分，包括：获取采集到的环境音以及数学算术题对应的答案部分，同时构建语言模型；将所述答案部分输入所述语言模型，得到所述答案部分对应的目标词汇集合，并确定所述目标词汇集合对应的声学特征k＝{k1，k2，
…
k
n
}；同时，基于所述语言模型计算对环境音识别后得到的学生的回答词序列集合，并根据所述回答词序列集合计算学生正确回答数学算术题的目标概率，具体步骤包括：根据如下公式计算对环境音识别后得到的学生的回答词序列集合：其中，q表示对环境音识别后得到的学生的回答词序列集合；μ表示误差系数，取值范围为(0.02，0.05)；p(m)表示环境音出现所述答案部分对应的目标词汇出现的先验概率，取值范围为(0，1)；m表示所述答案部分对应的目标词汇序列；p(k|m)表示在答案部分对应的目标词汇序列下，所述环境音中包含声学特征k的概率，取值范围为(0，1)；p(k)表示所述环境音中包含声学特征的概率，取值范围为(0，1)；n表示所述答案部分对应的目标词汇集合中包含的声学特征的总个数；argmax(
·
)表示求集合的函数；基于所述回答词序列集合q确定对所述环境音进行识别后得到的回答词序列的总个数l；根据如下公式计算学生正确回答数学算术题的目标概率：其中，η表示学生正确回答数学算术题的目标概率，取值范围为(0，1)；l表示所述回答词序列的总个数l；w表示回答词序列集合中与答案部分对应的目标词汇集合不相同的个数；α表示对环境音识别的误差因子，取值范围为(0.03，0.05)；
将计算得到的目标概率与预设概率进行比较；若所述目标概率大于或等于所述预设概率，判定学生对所述数学算术题掌握程度达到预期要求；否则，判定学生对所述数学算术题的掌握程度未达到预期要求，并对所述数学算术题进行标记；基于标记结果将学生未掌握的数学算术题进行汇总，并基于汇总结果重新制定教学计划方案，直至所述目标概率大于或等于所述预设概率。10.基于线谱图模型的儿童数学教学投影演示模拟系统，其特征在于，音乐转化单元，将数学算术题的题干部分和答案部分分别转化为音乐语音；演示单元，播放所述数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分和答案部分对应的音乐语音的线谱图；测试单元，在接收教师发出的题干播放指令之后，发出所述数学算术题的题干部分对应的音乐语音，和/或投影显示所述数学算术题的题干部分对应的音乐语音的线谱图；识别单元，采集环境音，识别出学生回答的内容是否为所述数学算术题的答案部分；若是，则投影显示回答正确；若否，则投影显示回答错误。

技术总结

本公开涉及一种基于线谱图模型的儿童数学教学投影演示模拟方法及系统。模拟方法包括：将数学算术题的题干部分和答案部分分别转化为音乐语音；播放数学算术题的题干部分和答案部分对应的音乐语音，和/或投影显示数学算术题的题干部分和答案部分对应的音乐语音的线谱图；在接收教师发出的题干播放指令之后，发出数学算术题的题干部分对应的音乐语音，和/或投影显示数学算术题的题干部分对应的音乐语音的线谱图；采集环境音，识别出学生回答的内容是否为数学算术题的答案部分；若是，则投影显示回答正确；若否，则投影显示回答错误。本公开通过将数学教学内容进行音乐化处理，增加数学教学内容对儿童的吸引力，提升学习效果，值得推广使用。值得推广使用。值得推广使用。