一种耳鸣康复音乐合成方法及系统

1.本发明属于耳鸣的音乐声领域，涉及满足耳鸣需求的音乐生成方法，具体涉及一种耳鸣康复音乐合成方法及系统。

背景技术：

2.耳鸣是在没有外界声音刺激时的一种主观听觉感知。耳鸣可能会导致患者睡眠障碍、焦虑、注意力不集中，影响患者的生活质量。因为耳鸣的发病机制尚不确定，所以目前还没有耳鸣的固定手段。音乐疗法是一种无创伤性的方法，目前针对耳鸣的音乐疗法主要有：neuromonics耳鸣疗法(ntt)、切迹滤波音乐疗法(tmnm)、海德堡神经音乐疗法。音乐疗法由于没有副作用，因此深受广大患者欢迎。
3.但现有的耳鸣音乐疗法中使用的现有音乐持续时间有限，通常在期间重复播放，容易引起患者负面情绪，不利于患者放松，并且患者对音乐的个体化偏好大多数情况下被忽视，两者都可能阻碍耳鸣的康复。虽然现有的方法可以合成无限长、不重复播放的特定音乐，但由于算法以及技术问题，生成的音乐不悦耳，并且存在着听感不自然以及不能很好地满足患者偏好的缺陷。而且需要对每一首音乐单独训练一个生成模型，临床操作有难度。

技术实现要素：

4.为解决上述现有技术问题，本发明提供一种耳鸣康复音乐合成方法及系统。
5.为了实现上述目的，本发明采用的技术方案是：
6.提供一种耳鸣康复音乐合成方法，其特征在于，包括以下步骤：
7.s1、提取midi音乐中的主旋律声部；
8.s2、提取主旋律声部中的音符、和弦；
9.s3、对音符、和弦进行编号，得到数字化音乐；
10.s4、将数字化音乐切分成音乐块；
11.s5、构建生成音乐块的马尔科夫链；
12.s6、使用音乐块的马尔科夫链生成数字化音乐；
13.s7、将数字化音乐还原成midi格式，得到耳鸣康复音乐；
14.优选的，s1中，所述主旋律声部为音乐的第一声部；
15.优选的，s3中，根据音符、和弦的出场顺序对其进行编号；
16.优选的，s4中，使用字节对编码切分数字化音乐，设置切分停止条件；
17.优选的，所述切分停止条件为相邻子词最高出现次数不超过1；
18.优选的，s5中，构建马尔科夫转移矩阵表示马尔科夫链；
19.优选的，构建马尔科夫转移矩阵包括以下步骤：
20.s51、统计字节对编码后的音乐块种类n，并对音乐块按照出现顺序进行1至n编号，重复出现的音乐块的编号和第一次出现的该音乐块编号一样；
21.s52、统计n种音乐块之间的转移频数，得到n种音乐块之间的转移概率；
22.s53、构建一个n*n大小的矩阵，矩阵最左上角元素为(1,1),矩阵元素(i,j)表示编号为i的音乐块转移到编号为j的音乐块的概率；
23.s54、观察这个n*n大小的矩阵元素(n,n)的值是否为0，若为0，则使用马尔科夫链的更新规则添加新的状态转移，并以此更新状态转移矩阵；
24.优选的，所述马尔科夫链进行状态转移时，将最后一个音乐块前的任意一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵；
25.优选的，所述马尔科夫链进行状态转移时，将最后一个音乐块的前一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵；
26.优选的，所述马尔科夫链进行状态转移时，设置前一个音乐块能够被转移的转移状态数最小为2，若转移状态数大于等于2，则以此音乐块为下一个转移状态，更新状态转移矩阵；若转移状态数小于2，则向前追溯一个音乐块作为下一个转移状态，更新状态转移矩阵，直到向前追溯的音乐块转移状态数大于等于2为止；
27.优选的，s6中，生成的数字化音乐长度任意；
28.一种耳鸣康复音乐的合成系统，其特征在于，包括：
29.导入模块；
30.其中，所述导入模块用于导入原始音乐；
31.处理模块；
32.其中，所述处理模块使用权利要求1-10所述的音乐合成方法对原始音乐进行处理；
33.导出模块；
34.其中，所述导出模块用于导出耳鸣康复音乐。
35.本发明的有益效果体现在，提供一种耳鸣康复音乐合成方法，使用自更新马尔科夫链生成的音乐与原始音乐相似度较高，自然流畅，像人工创作的音乐一样相似且重复性低，可以更好地满足耳鸣患者对于音乐的偏好需求，且音乐时长不受限。同时，本发明操作简单，集成度高，即使是计算机相关知识欠缺的医务人员也能够快速使用，便于临床上的推广。
附图说明：
36.图1为本发明的耳鸣康复音乐合成流程示意图；
37.图2为本发明使用的bpe算法流程图；
38.图3为本发明使用的自更新马尔科夫链原理图；
39.图4为本发明音调值序列和音符时值序列1/f波动分析曲线；
40.图5为本发明的分析结构分析图；
41.图6为本发明生成的短时间音乐的旋律轮廓；
42.图7为本发明生成的长时间音乐的旋律轮廓。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.请参阅图1-7所示，本发明提供的具体实施例如下：
45.实施例1：
46.一种耳鸣康复音乐合成方法，其特征在于，包括以下步骤：
47.s1、提取midi音乐中的主旋律声部；
48.s2、提取主旋律声部中的音符、和弦；
49.s3、对音符、和弦进行编号，得到数字化音乐；
50.s4、将数字化音乐切分成音乐块；
51.s5、构建生成音乐块的马尔科夫链；
52.s6、使用音乐块的马尔科夫链生成数字化音乐；
53.s7、将数字化音乐还原成midi格式，得到耳鸣康复音乐。
54.患者在接受耳鸣音乐疗法时，现有音乐持续时间有限，通常在期间重复播放，如果音乐不是自己喜欢的，极有可能引起患者负面情绪，不利于患者放松，而且现有技术生成的音乐不悦耳，听感不自然，影响效果。
55.在本实施例中，本发明提供一种耳鸣康复音乐合成方法，提取格式为midi音乐中的主旋律声部的音符、和弦，然后将音符、和弦按照前后出现的顺序进行编号，并使用编号后的数字代替原音符、和弦，最后得到数字化后的音乐信息，将数字化音乐切分为音乐块，即使患者偏爱的同一小段音乐被切分成了不同的音乐块，使用马尔科夫链生成的数字化音乐生成时也会连在一起，能够生成悦耳的音乐，满足患者的个性化需求，后续将数字化音乐还原成原始的音符、和弦时，这些音符、和弦本身的音乐信息，即音、音符持续时间、音符速度等也会被赋予给耳鸣康复音乐。
56.由于人工创作的音乐具有自相似性，参看附图5，本方法合成音乐满足分形特性，具有自相似性，合成的音乐与人工创作出来的音乐高度相似，听感更好。生成的音乐是一种1/f波动，1/f波动是一种令人感到舒适的波动，参看附图4，因此，本方法合成的音乐是能够让人感到舒适的音乐。
57.如果合成音乐与原始音乐有高度的相似性，那么合成音乐就有与原始音乐一样的效果，对比附图6和附图7可以看出本方法合成的音乐与原始音乐的旋律轮廓相似度很高，没有出现音高突变，能够达到效果。
58.实施例2：
59.s1中，所述主旋律声部为音乐的第一声部。
60.音乐是由一个或者多个声部组成的，在独唱或者独奏中只有一个声部在发挥作用，而在合唱或者器乐合奏中乐曲由多个声部组成，但是在多个声部中，通常只有一个演奏主旋律的声部，而其他声部则起到伴奏作用，因此，需要确定主旋律声部。
61.在本实施例中，本发明提供一种耳鸣康复音乐合成方法，将音乐的第一声部作为主旋律声部，对于单声部音乐，直接选取整首音乐，即其第一个声部作为主旋律声部，对于多声部音乐，通常第一声部为主旋律声部，所以也选择其第一声部作为主旋律声部。
62.实施例3：
63.s3中，根据音符、和弦的出场顺序对其进行编号。
64.在本实施例中，本发明根据音符、和弦的出场顺序对其进行编号，由于前后音乐具有相似性，这样编号使得切分出的音乐块内部听感更加流畅，进而使得合成的音乐听感更好。
65.实施例4：
66.s4中，使用字节对编码切分数字化音乐，设置切分停止条件；
67.优选的，所述切分停止条件为相邻子词最高出现次数不超过1。
68.如果预先制定音乐块的切分方法，因为每首歌的音符、和弦是不一样的，相同的切分方法不一定适用于每首音乐，合成的音乐不够悦耳。
69.本实施例采用字节对编码(byte pair encoding，bpe)切分音乐，例如，将一小节音乐的音符、和弦按照前后出现顺序进行数字编号，并且编号后的音乐表示为：{3,3,3,28,16,3,3,3,28,3,10}，停止条件为最高频率不超过1。将单个数字作为子词，统计相邻子词出现次数，此时“3,3”出现频率最高，使用
“‑
1”来代替“3,3”，文本变为：{-1,3,28,16,-1,3,28,3,10}，此时“3,28”出现频率最高，使用
“‑
2”来代替“3,28”，文本变为：{-1,-2,16,-1,-2,3,10},此时
“‑
1，-2”出现频率最高，使用
“‑
3”来代替
“‑
1，-2”，文本变为：{-3,16,-3,3,10}。最后，所有相邻子词的出现次数都为1，得到最终的文本数据：{-3,16,-3,3,10}。字节对编码能够实现自动学习和发现音符、和弦间的最佳组合方式，使得切分后的音乐块中的音符、和弦之间存在更强的依存关系，合成的音乐更加悦耳，经过测试，切分停止条件这样设置得到的合成音乐听感更好。
70.实施例5：
71.s5中，构建马尔科夫转移矩阵表示自更新马尔科夫链；
72.优选的，构建马尔科夫转移矩阵包括以下步骤：
73.s51、统计bpe编码后的音乐块种类n，并对音乐块按照出现顺序进行1至n编号，重复出现的音乐块的编号和第一次出现的该音乐块编号一样；
74.s52、统计n种音乐块之间的转移频数，得到n种音乐块之间的转移概率；
75.s53、构建一个n*n大小的矩阵，矩阵最左上角元素为(1,1),矩阵元素(i,j)表示编号为i的音乐块转移到编号为j的音乐块的概率；
76.s54、观察这个n*n大小的矩阵元素(n,n)的值是否为0，若为0，则使用马尔科夫链的更新规则添加新的状态转移，并以此更新状态转移矩阵。
77.在本实施例中，使用马尔科夫转移矩阵描述马尔科夫链，在马尔科夫转移矩阵中，将每一个音乐块作为一个状态，用从一个状态转移到下一个状态表示从一个音乐块转移到下一个音乐块，并且下一个音乐块出现的概率只和前一个出现的音乐块有关，不仅能表示一个音乐块下一个状态可能出现的音乐块，还能给出每一个状态出现的概率。
78.实施例6：
79.所述马尔科夫链进行状态转移时，将最后一个音乐块前的任意一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵。
80.原始音乐中，音乐块是顺序出现的，所以在使用马尔科夫链进行状态转移的时候，最后一个音乐块会出现没有下一个转移状态的情况。
81.在本实施例中，将最后一个音乐块前的任意一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵，实现了马尔科夫链的自更新，能够连续进行状态转换，使得
生成音乐时长不受限。在原始音乐局部转移状态数较少时，本方法能够丰富局部音乐块转移状态以生成更好的音乐。
82.实施例7：
83.所述马尔科夫链进行状态转移时，将最后一个音乐块的前一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵。
84.本实施例将最后一个音乐块的前一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵，因为音乐前后的相似性，这样生成的音乐听感更好，不会产生高音突变，没有拼接痕迹，参看附图7。
85.如果前一个音乐块转移状态数为1，使得前一个音乐块的下一个状态只有最后一个音乐块，音乐合成陷入死循环。
86.优选的，所述马尔科夫链进行状态转移时，设置前一个音乐块能够被转移的转移状态数最小为2，若转移状态数大于等于2，则以此音乐块为下一个转移状态，更新状态转移矩阵；若转移状态数小于2，则向前追溯一个音乐块作为下一个转移状态，更新状态转移矩阵，直到向前追溯的音乐块转移状态数大于等于2为止。
87.本实施例设置了前一个音乐块可进行的状态转移数最小为2，如果状态转移数小于2，就向前追溯音乐块，避免因前一个音乐块转移状态数为1音乐陷入死循环。设置最小值为2后，如果转移状态数为2，则这个音乐块下一个状态有50％的可能性是最后一个音乐块；如果状态转移数为3，则这个音乐块下一个状态有33.3％的可能性是最后一个音乐块；以此下去，如果这个音乐块具有的转移状态数越大，则从这个音乐快转移到最后一个音乐块的可能性越低，陷入死循环的可能性越低，避免生成音乐时同一个音乐块不断被转移。
88.实施例8：
89.s6中，生成的数字化音乐长度任意。
90.耳鸣声不同的患者需要的时长不同，对音乐时长的需求也不同，本实施例生成的数字化音乐长度任意，临床中，根据患者的时间来生成相应时长的对应音乐。
91.实施例9：
92.一种耳鸣康复音乐的合成系统，其特征在于，包括：
93.导入模块；
94.其中，所述导入模块用于导入原始音乐；
95.处理模块；
96.其中，所述处理模块使用权利要求1-10所述的音乐合成方法对原始音乐进行处理；
97.导出模块；
98.其中，所述导出模块用于导出耳鸣康复音乐。
99.现有的生成音乐需要对每一首音乐单独训练生成模型，对于医生来说操作难度大，本实施例提供的一种耳鸣康复合成系统，包括导入模块、处理模块和导出模块，将代码高度集成化，适用于所有音乐，医生只需要将原始音乐放入导入模块，就能够从导出模块获得康复音乐，操作更加便捷，便于临床上的推广。
100.在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系。
101.在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
102.在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
103.在本发明的实施例的描述中，需要理解的是，
“‑”
和“～”表示的是两个数值之同的范围，并且该范围包括端点。例如:“a-b”表示大于或等于a，且小于或等于b的范围。“a～b”表示大于或等于a，且小于或等于b的范围。
104.在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
105.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

1.一种耳鸣康复音乐合成方法，其特征在于，包括以下步骤：s1、提取midi音乐中的主旋律声部；s2、提取主旋律声部中的音符、和弦；s3、对音符、和弦进行编号，得到数字化音乐；s4、将数字化音乐切分成音乐块；s5、构建生成音乐块的马尔科夫链；s6、使用音乐块的马尔科夫链生成数字化音乐；s7、将数字化音乐还原成midi格式，得到耳鸣康复音乐。2.根据权利要求1所述的一种耳鸣康复音乐合成方法，其特征在于，s1中，所述主旋律声部为音乐的第一声部。3.根据权利要求2所述的一种耳鸣康复音乐合成方法，其特征在于，s3中，根据音符、和弦的出场顺序对其进行编号。4.根据权利要求3所述的一种耳鸣康复音乐合成方法，其特征在于，s4中，使用字节对编码切分数字化音乐，设置切分停止条件。5.根据权利要求4所述的一种耳鸣康复音乐合成方法，其特征在于，所述切分停止条件为相邻子词最高出现次数不超过1。6.根据权利要求1所述的一种耳鸣康复音乐合成方法，其特征在于，s5中，构建马尔科夫转移矩阵表示马尔科夫链。7.根据权利要求6所述的一种耳鸣康复音乐合成方法，其特征在于，构建马尔科夫转移矩阵包括以下步骤：s51、统计字节对编码后的音乐块种类n，并对音乐块按照出现顺序进行1至n编号，重复出现的音乐块的编号和第一次出现的该音乐块编号一样；s52、统计n种音乐块之间的转移频数，得到n种音乐块之间的转移概率；s53、构建一个n*n大小的矩阵，矩阵最左上角元素为(1,1),矩阵元素(i,j)表示编号为i的音乐块转移到编号为j的音乐块的概率；s54、观察这个n*n大小的矩阵元素(n,n)的值是否为0，若为0，则使用马尔科夫链的更新规则添加新的状态转移，并以此更新状态转移矩阵。8.根据权利要求7所述的一种耳鸣康复音乐合成方法，其特征在于，所述马尔科夫链进行状态转移时，将最后一个音乐块前的任意一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵。9.根据权利要求8所述的一种耳鸣康复音乐合成方法，其特征在于，所述马尔科夫链进行状态转移时，将最后一个音乐块的前一个音乐块作为最后一个音乐块的下一个状态，更新状态转移矩阵。10.根据权利要求9所述的一种耳鸣康复音乐合成方法，其特征在于，所述马尔科夫链进行状态转移时，设置前一个音乐块能够被转移的转移状态数最小为2，若转移状态数大于等于2，则以此音乐块为下一个转移状态，更新状态转移矩阵；若转移状态数小于2，则向前追溯一个音乐块作为下一个转移状态，更新状态转移矩阵，直到向前追溯的音乐块转移状态数大于等于2为止。11.根据权利要求1所述的一种耳鸣康复音乐合成方法，其特征在于，
s6中，生成的数字化音乐长度任意。12.一种耳鸣康复音乐的合成系统，其特征在于，包括：导入模块；其中，所述导入模块用于导入原始音乐；处理模块；其中，所述处理模块使用权利要求1-11所述的音乐合成方法对原始音乐进行处理；导出模块；其中，所述导出模块用于导出耳鸣康复音乐。

技术总结

本发明的一种耳鸣康复音乐合成方法及系统，S1、提取MIDI音乐中的主旋律声部；S2、提取主旋律声部中的音符、和弦；S3、对音符、和弦进行编号，得到数字化音乐；S4、将数字化音乐切分成音乐块；S5、构建生成音乐块的马尔科夫链；S6、使用音乐块的马尔科夫链生成数字化音乐；S7、将数字化音乐还原成MIDI格式，得到耳鸣康复音乐。本发明的有益效果体现在，使用自更新马尔科夫链生成的音乐与原始音乐相似度较高，自然流畅，像人工创作的音乐一样相似且重复性低，可以更好地满足耳鸣患者对于音乐的偏好需求，且音乐时长不受限。同时，本发明操作简单，集成度高，即使是计算机相关知识欠缺的医务人员也能够快速使用，便于临床上的推广。便于临床上的推广。便于临床上的推广。