实时修音方法、装置以及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种实时修音方法、装置以及存储介质。

背景技术：

2.随着技术的发展，音乐功能已经成为计算机或手机等终端的一项必备应用，在手机上唱歌也变得越来越流行。在直播歌唱演出过程中，一些演出人员存在问题：正常的动态范围内，声存在缺陷；在较大的动态范围内，达不到应有的音高。由于演出人员的演唱能力不同，歌曲的高音部分唱不上去的情况时有发生，严重影响唱歌者的心情。

技术实现要素：

3.有鉴于此，本发明要解决的一个技术问题是提供一种实时修音方法、装置以及存储介质。
4.根据本公开的第一方面，提供一种实时修音方法，包括：采集与伴奏乐曲文件相对应的演唱实时音频；基于预设的修音判决策略在所述伴奏乐曲文件中确定需要进行修音的音符位置；在所述伴奏乐曲文件的播放过程中，根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理；将所述演唱实时音频和所述伴奏乐曲进行合成处理，生成演唱音频。
5.可选地，所述基于预设的修音判决策略在所述伴奏乐曲中确定需要进行修音的音符位置包括：对所述伴奏乐曲文件进行解析处理，获取所述伴奏乐曲文件中的音符信息；如果音符的音高高于预设的音高阈值，则确定此音符为需要进行修音的音符并获取此音符在所述伴奏乐曲文件中的位置信息。
6.可选地，根据所述位置信息以及对应的修音参数生成修音信息；将所述修音信息存储在所述伴奏乐曲文件中。
7.可选地，所述对所述伴奏乐曲文件进行解析处理包括：在客户端对所述伴奏乐曲文件进行解析处理；或者，将所述伴奏乐曲文件上传到云端音频服务器，在所述云端音频服务器对所述伴奏乐曲文件进行解析处理。
8.可选地，所述根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理包括：在所述伴奏乐曲文件中获取预设的修音参数；使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处，对所述演唱实时音频进行音高修正处理。
9.可选地，所述使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处进行音高修正处理包括：在客户端使用所述动态均衡器并基于所述修音参数进行所述音高修正处理；或者，在将所述演唱实时音频上传到云端音频服务器，在所述云端音频服务器使用所述动态均衡器并基于所述修音参数进行所述音高修正处理。
10.可选地，接收到新的修音参数；将所述新的修音参数存储在所述伴奏乐曲文件中，用以替换原有的修音参数。
11.可选地，使用多频带压扩器对所述演唱实时音频进行处理。
12.可选地，所述伴奏乐曲文件包括：midi文件。
13.根据本公开的第二方面，提供一种实时修音装置，包括：音频采集模块，用于采集与伴奏乐曲文件相对应的演唱实时音频；音符确定模块，用于基于预设的修音判决策略在所述伴奏乐曲文件中确定需要进行修音的音符位置；修音处理模块，用于在所述伴奏乐曲文件的播放过程中，根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理；音频合成模块，用于将所述演唱实时音频和所述伴奏乐曲进行合成处理，生成演唱音频。
14.可选地，所述音符确定模块，用于对所述伴奏乐曲文件进行解析处理，获取所述伴奏乐曲文件中的音符信息；如果音符的音高高于预设的音高阈值，则确定此音符为需要进行修音的音符并获取此音符在所述伴奏乐曲文件中的位置信息。
15.可选地，所述音符确定模块，还用于根据所述位置信息以及对应的修音参数生成修音信息；将所述修音信息存储在所述伴奏乐曲文件中。
16.可选地，所述音符确定模块，用于在客户端对所述伴奏乐曲文件进行解析处理；或者，将所述伴奏乐曲文件上传到云端音频服务器，在所述云端音频服务器对所述伴奏乐曲文件进行解析处理。
17.可选地，所述修音处理模块，用于在所述伴奏乐曲文件中获取预设的修音参数；使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处，对所述演唱实时音频进行音高修正处理。
18.可选地，所述修音处理模块，用于在客户端使用所述动态均衡器并基于所述修音参数进行所述音高修正处理；或者，在将所述演唱实时音频上传到云端音频服务器，在所述云端音频服务器使用所述动态均衡器并基于所述修音参数进行所述音高修正处理。
19.可选地，所述音符确定模块，还用于接收到新的修音参数；将所述新的修音参数存储在所述伴奏乐曲文件中，用以替换原有的修音参数。
20.可选地，所述音频采集模块，用于使用多频带压扩器对所述演唱实时音频进行处理。
21.根据本公开的第三方面，提供一种实时修音装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
22.根据本公开的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。
23.本公开的实时修音方法、装置以及存储介质，在伴奏乐曲文件中确定需要进行修音的音符位置，对演唱实时音频进行修音处理，将演唱实时音频和伴奏乐曲进行合成处理，生成演唱音频；能够根据伴奏乐曲文件的解析结果生成初始的动态均衡器的修音参数，在直播中帮助演唱者解决对于高音的发声缺陷，并不需要调音师人工干预动态均衡器的参数调整。
附图说明
24.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是
本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
25.图1为根据本公开的实时修音方法的一个实施例的流程示意图；
26.图2为根据本公开的实时修音方法的一个实施例中的客户端模式的修音处理示意图；
27.图3为根据本公开的实时修音方法的一个实施例中的轻客户端模式的修音处理示意图；
28.图4为根据本公开的实时修音装置的一个实施例的模块示意图；
29.图5为根据本公开的实时修音装置的另一个实施例的模块示意图。
具体实施方式
30.下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
31.下文中的“第一”、“第二”仅用于描述上相区别，并没有其他特殊的含义。
32.图1为根据本公开的实时修音方法的一个实施例的流程示意图，如图1所示：
33.步骤101，采集与伴奏乐曲文件相对应的演唱实时音频。
34.在一个实施例中，用户可以通过手机或pc播放伴奏乐曲文件并进行演唱，伴奏音乐文件包括midi(musical instrument digital interface，乐器数字接口)文件等。利用手机或pc的拾音设备，采集与伴奏乐曲文件相对应的用户的演唱实时音频。
35.步骤102，基于预设的修音判决策略在伴奏乐曲文件中确定需要进行修音的音符位置。
36.在一个实施例中，修音判断策略可以为多种。例如，对伴奏乐曲文件中进行解析，如果判断伴奏乐曲文件中的某个音符的音高高于预设的音高阈值，则确定此音符需要进行修音，并确定此音符在伴奏乐曲中的位置。音高阈值可以设置，例如音高阈值为c3、c4等音高。
37.步骤103，在伴奏乐曲文件的播放过程中，根据预设的修音模式在音符位置处，对演唱实时音频进行修音处理。
38.在一个实施例中，在伴奏乐曲文件的播放过程中，用户进行演唱，采集与伴奏乐曲文件相对应的演唱实时音频，演唱实时音频可以包括用户的声音以及伴奏乐的声音。监控当前播放的音符，如果确定此音符需要进行修音，则在此音符位置处，对演唱实时音频进行修音处理。
39.步骤104，将演唱实时音频和伴奏乐曲进行合成处理，生成演唱音频。例如，基于midi合成演唱音频，用户可以采用现有的技术自主进行声效和pitch bend调整。
40.在一个实施例中，使用多频带压扩器对演唱实时音频进行处理。使用多频带压扩器利用多子带压扩技术，实现类似多音轨调音台类似的能力，解决用户发声缺陷的问题。
41.对伴奏乐曲文件进行解析处理，获取伴奏乐曲文件中的音符信息。如果音符的音
高高于预设的音高阈值，则确定此音符为需要进行修音的音符并获取此音符在伴奏乐曲文件中的位置信息。根据位置信息以及对应的修音参数生成修音信息，将修音信息存储在伴奏乐曲文件中；修音参数可以为使用动态均衡器进行修音处理的多种参数。
42.在一个实施例中，本公开的实时修音方法为基于midi伴奏实时修音的实现方法，有两种运营模式，分别为客户端模式和轻客户端模式。轻客户端模式是指用户修音在服务器端完成，用户可以直接使用手机直播；客户端模式是指修音在客户侧pc完成，低延迟，同步较好，需要用户配置一台性能好的pc。
43.对伴奏乐曲文件进行解析处理，可以在客户端对伴奏乐曲文件进行解析处理，或者，将伴奏乐曲文件上传到云端音频服务器，在云端音频服务器对伴奏乐曲文件进行解析处理。例如，在客户端或服务器端解析midi文件，根据与midi文件对应的乐谱的音高，调整对应的动态均衡器dynamic eq的参数，生成修音参数，根据位置信息以及对应的修音参数生成修音信息，以midi meta event存储于midi文件中。接收到新的修音参数，将新的修音参数存储在伴奏乐曲文件中，用以替换原有的修音参数。
44.在一个实施例中，在伴奏乐曲文件中获取预设的修音参数，使用动态均衡器并基于修音参数在需要进行修音的音符位置处，对演唱实时音频进行音高修正处理。使用动态均衡器可以采用现有的方法基于修音参数在需要进行修音的音符位置处进行音高修正处理。
45.在前置多子带压扩的基础上，利用midi数据生成动态滤波器参数并使用动态均衡器实时修音，减少了对调音师的依赖，解决了在较大范围内演唱者的发生缺陷，是一个低成本的实时修音方案。
46.解析midi文件并生成初始的动态均衡器dynamic eq参数(修音参数)。在midi合成的过程中，存储于midi meta event的动态均衡器的数据发送到人声通道的动态均衡dynamic eq滤波器。
47.可以使用动态滤波的方式来控制不同频段的信号功率，一般支持6段动态eq。采样eq均衡器(滤波器)通过滤波的方式来改变信号不同频段的能量，该滤波器的系数是根据该频段能量以及设置的门限或增益来实时计算，称为动态滤波。每段动态滤波器除了和eq均衡器有相同的参数外，还包括一些drc里面的参数，例如attack time/release time/threshold/gain等，可以控制动态滤波启动和释放的快慢。
48.在客户端使用动态均衡器并基于修音参数进行音高修正处理；或者，在将演唱实时音频上传到云端音频服务器，在云端音频服务器使用动态均衡器并基于修音参数进行音高修正处理。
49.在一个实施例中，进行实时修音处理主要包括：多频带压扩、dynamic eq、midi伴奏合成、解析midi输入生成初始的dynamic eq参数、midi事件驱动dynamic eq参数更新等。
50.如图2所示，在本地录制用户的演唱实时音频本，对演唱实时音频进行全局的多频带压扩处理。在客户端进行下面操作：选择对应伴奏歌曲的midi，解析midi数据，根据音高生成预置的默认动态均衡器dynamic eq的参数曲线。用户在本地试唱并录制小样，存储在本地。根据小样，调整dynamic eq参数曲线。
51.如图3所示，在云端音频服务器上进行下面的操作：选择对应伴奏歌曲的midi，解析midi数据，根据音高生成预置的默认动态均衡器dynamic eq的参数曲线。用户在本地试
唱并录制小样，存储在本地。根据小样，调整dynamic eq参数曲线。
52.在一个实施例中，如图4所示，本公开提供一种实时修音装置40，包括：音频采集模块41、音符确定模块42、修音处理模块43和音频合成模块44。音频采集模块41采集与伴奏乐曲文件相对应的演唱实时音频。音频采集模块41使用多频带压扩器对演唱实时音频进行处理。
53.音符确定模块42基于预设的修音判决策略在伴奏乐曲文件中确定需要进行修音的音符位置。修音处理模块43在伴奏乐曲文件的播放过程中，根据预设的修音模式在音符位置处，对演唱实时音频进行修音处理。音频合成模块44将演唱实时音频和伴奏乐曲进行合成处理，生成演唱音频。
54.在一个实施例中，音符确定模块42对伴奏乐曲文件进行解析处理，获取伴奏乐曲文件中的音符信息。如果音符的音高高于预设的音高阈值，则音符确定模块42确定此音符为需要进行修音的音符并获取此音符在伴奏乐曲文件中的位置信息。
55.音符确定模块42根据位置信息以及对应的修音参数生成修音信息，将修音信息存储在伴奏乐曲文件中。音符确定模块42音符确定模块42在客户端对伴奏乐曲文件进行解析处理；或者，将伴奏乐曲文件上传到云端音频服务器，在云端音频服务器对伴奏乐曲文件进行解析处理。音符确定模块42接收到新的修音参数，将新的修音参数存储在伴奏乐曲文件中，用以替换原有的修音参数。
56.在一个实施例中，修音处理模块43在伴奏乐曲文件中获取预设的修音参数，使用动态均衡器并基于修音参数在需要进行修音的音符位置处，对演唱实时音频进行音高修正处理。
57.修音处理模块43在客户端使用动态均衡器并基于修音参数进行音高修正处理；或者，在将演唱实时音频上传到云端音频服务器，在云端音频服务器使用动态均衡器并基于修音参数进行音高修正处理。
58.在一个实施例中，如图5所示，本公开提供一种实时修音装置，包括存储器51、处理器52、通信接口53以及总线54。存储器51用于存储指令，处理器52耦合到存储器51，处理器52被配置为基于存储器51存储的指令执行实现上述的实时修音方法。
59.存储器51可以为高速ram存储器、非易失性存储器(non-volatile memory)等，存储器51也可以是存储器阵列。存储器51还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器52可以为中央处理器cpu，或专用集成电路asic(application specific integrated circuit)，或者是被配置成实施本公开的实时修音方法的一个或多个集成电路。
60.在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的方法。
61.上述实施例中的实时修音方法、装置以及存储介质，在伴奏乐曲文件中确定需要进行修音的音符位置，对演唱实时音频进行修音处理，将演唱实时音频和伴奏乐曲进行合成处理，生成演唱音频；能够根据伴奏乐曲文件的解析结果生成初始的动态均衡器的修音参数，在直播中帮助演唱者解决对于高音的发声缺陷；利用midi event更新动态均衡器的修音参数，不需要调音师人工干预动态均衡器的参数调整。
62.可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者
软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
63.本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

技术特征：

1.一种实时修音方法，包括：采集与伴奏乐曲文件相对应的演唱实时音频；基于预设的修音判决策略在伴奏乐曲文件中确定需要进行修音的音符位置；在所述伴奏乐曲文件的播放过程中，根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理；将所述演唱实时音频和所述伴奏乐曲进行合成处理，生成演唱音频。2.如权利要求1所述的方法，所述基于预设的修音判决策略在所述伴奏乐曲中确定需要进行修音的音符位置包括：对所述伴奏乐曲文件进行解析处理，获取所述伴奏乐曲文件中的音符信息；如果音符的音高高于预设的音高阈值，则确定此音符为需要进行修音的音符并获取此音符在所述伴奏乐曲文件中的位置信息。3.如权利要求2所述的方法，还包括：根据所述位置信息以及对应的修音参数生成修音信息；将所述修音信息存储在所述伴奏乐曲文件中。4.如权利要求2所述的方法，所述对所述伴奏乐曲文件进行解析处理包括：在客户端对所述伴奏乐曲文件进行解析处理；或者，将所述伴奏乐曲文件上传到云端音频服务器，在所述云端音频服务器对所述伴奏乐曲文件进行解析处理。5.如权利要求3所述的方法，所述根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理包括：在所述伴奏乐曲文件中获取预设的修音参数；使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处，对所述演唱实时音频进行音高修正处理。6.如权利要求5所述的方法，所述使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处进行音高修正处理包括：在客户端使用所述动态均衡器并基于所述修音参数进行所述音高修正处理；或者，在将所述演唱实时音频上传到云端音频服务器，在所述云端音频服务器使用所述动态均衡器并基于所述修音参数进行所述音高修正处理。7.如权利要求3所述的方法，包括：接收到新的修音参数；将所述新的修音参数存储在所述伴奏乐曲文件中，用以替换原有的修音参数。8.如权利要求1所述的方法，还包括：使用多频带压扩器对所述演唱实时音频进行处理。9.如权利要求1至8任一项所述的方法，其中，所述伴奏乐曲文件包括：midi文件。10.一种实时修音装置，包括：音频采集模块，用于采集与伴奏乐曲文件相对应的演唱实时音频；音符确定模块，用于基于预设的修音判决策略在所述伴奏乐曲文件中确定需要进行修音的音符位置；
修音处理模块，用于在所述伴奏乐曲文件的播放过程中，根据预设的修音模式在所述音符位置处，对所述演唱实时音频进行修音处理；音频合成模块，用于将所述演唱实时音频和所述伴奏乐曲进行合成处理，生成演唱音频。11.如权利要求10所述的装置，其中，所述音符确定模块，用于对所述伴奏乐曲文件进行解析处理，获取所述伴奏乐曲文件中的音符信息；如果音符的音高高于预设的音高阈值，则确定此音符为需要进行修音的音符并获取此音符在所述伴奏乐曲文件中的位置信息。12.如权利要求11所述的装置，其中，所述音符确定模块，还用于根据所述位置信息以及对应的修音参数生成修音信息；将所述修音信息存储在所述伴奏乐曲文件中。13.如权利要求11所述的装置，其中，所述音符确定模块，用于在客户端对所述伴奏乐曲文件进行解析处理；或者，将所述伴奏乐曲文件上传到云端音频服务器，在所述云端音频服务器对所述伴奏乐曲文件进行解析处理。14.如权利要求12所述的装置，其中，所述修音处理模块，用于在所述伴奏乐曲文件中获取预设的修音参数；使用动态均衡器并基于所述修音参数在需要进行修音的音符位置处，对所述演唱实时音频进行音高修正处理。15.如权利要求14所述的装置，其中，所述修音处理模块，用于在客户端使用所述动态均衡器并基于所述修音参数进行所述音高修正处理；或者，在将所述演唱实时音频上传到云端音频服务器，在所述云端音频服务器使用所述动态均衡器并基于所述修音参数进行所述音高修正处理。16.如权利要求12所述的装置，包括：所述音符确定模块，还用于接收到新的修音参数；将所述新的修音参数存储在所述伴奏乐曲文件中，用以替换原有的修音参数。17.如权利要求10所述的装置，还包括：所述音频采集模块，用于使用多频带压扩器对所述演唱实时音频进行处理。18.一种实时修音装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至9中任一项所述的方法。19.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至9中任一项所述的方法。

技术总结

本公开提供了一种实时修音方法、装置以及存储介质，其中的方法包括：采集与伴奏乐曲文件相对应的演唱实时音频；基于预设的修音判决策略在伴奏乐曲文件中确定需要进行修音的音符位置；在伴奏乐曲文件的播放过程中，根据预设的修音模式在音符位置处，对演唱实时音频进行修音处理；将演唱实时音频和伴奏乐曲进行合成处理，生成演唱音频。本公开的方法、装置以及存储介质，能够根据伴奏乐曲文件的解析结果生成初始的动态均衡器的修音参数，在直播中帮助演唱者解决对于高音的发声缺陷，并且不需要调音师人工干预动态均衡器的参数调整。音师人工干预动态均衡器的参数调整。音师人工干预动态均衡器的参数调整。