一种自动混音的方法、混音器、存储介质及电子设备与流程

1.本发明涉及混音技术领域，具体而言，涉及一种自动混音的方法、混音器、存储介质及电子设备。

背景技术：

2.实施自动增益补偿(也称为自动增益控制)的系统接收可变信号电平作为输入且提供经调整信号电平作为输出；通常，自动增益补偿具有降低强信号且增强弱信号的效应。
3.中国专利cn111541981b公开了音频处理方法、装置、存储介质及终端，通过声卡对音频信号进行a/d转换处理后获取音频信号的数字信号，再对数字信号进行循环采集，每次采集预设量的数字信号，采集后进行计算分析，该计算分析的方式多是先将预设量的各个数字信号进行平方，然后计算平方后的数字信号的平均值，最后对该平均值进行求根得到有效值进行输出；在对平方后的数字信号求平均值时，由于预设量数据庞大，求平均值时无疑会增加内存的消耗；在对信号电平的识别中，由于对上升信号电平的反应需要更快以避免错过信号的重要部分，而对下降的信号电平的反应可以更慢，因为这部分无论如何都会被听力的心理学模型所掩盖，因此需要在对数字信号的增益过程中加入激活时间和释放时间，以消除“clicks(点击声)”和“pops(爆破声)”的杂音干扰，而该方法中并未设定这两个时间参数，因此很难控制输出有效值的激活时间和释放时间，就容易产生杂音干扰。

技术实现要素：

4.为解决上述问题，本发明提供一种降低内存功耗且无杂音干扰的自动混音的方法。
5.一种自动混音的方法，混音器中预先配置有存储值和时间数据，所述时间数据包括激活时间和释放时间，包括如下步骤：
6.步骤1、控制所述混音器实时获取音频流中的第i个样本值；
7.步骤2、将所述第i个样本值进行平方得到对应的输入值；
8.步骤3、对比所述输入值和所述存储值，若所述输入值大于所述存储值，则进入步骤4；若所述输入值小于或等于所述存储值，则进入步骤5；
9.步骤4、根据所述激活时间计算得到所述第一时间系数，并根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值，并将所述第一输出值替换所述存储值，同时进入步骤6；
10.步骤5、根据所述释放时间计算得到所述第二时间系数，根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值，并将所述第二输出值替换所述存储值，同时进入步骤6；
11.步骤6、将所述第一输出值或所述第二输出值输出至外部音箱以使所述外部音箱输出声音，同时控制所述混音器获取下一时刻所述音频流中的第i+1个样本值，将所述第i+1个样本值替换所述第i个样本值，并返回所述步骤1。
12.优选地，在所述步骤1之前，获取预定时间范围内样本值的总数量，所述步骤4的具体过程包括以下步骤：
13.步骤41、根据所述总数量和所述激活时间计算得到所述第一时间系数；
14.步骤42、根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值；
15.步骤43、将所述第一输出值替换所述存储值，并进入所述步骤6。
16.优选地，所述步骤5的具体过程包括以下步骤：
17.步骤51、根据所述总数量和所述释放时间计算得到所述第二时间系数；
18.步骤52、根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值；
19.步骤53、将所述第二输出值替换所述存储值，并进入所述步骤6。
20.优选地，所述激活时间大于所述释放时间。
21.优选地，所述步骤6的具体过程包括以下步骤：
22.步骤61、对所述第一输出值进行开平方得到第一rms值，或对所述第二输出值进行开平方得到第二rms值；
23.步骤62、将所述第一rms值或所述第二rms值输出至所述外部音箱以使所述外部音箱输出声音，同时控制所述混音器获取下一时刻所述音频流中的所述第i+1个样本值，并将所述第i+1个样本值替换所述第i个样本值，并返回所述步骤1。
24.一种混音器，包括存储模块、采集模块、预处理模块、判断模块、第一处理模块、第二处理模块以及输出模块；
25.所述存储模块分别与所述第一处理模块、所述第二处理模块以及所述判断模块电连接，用于存储预先配置的存储值、激活时间以及释放时间，并将所述激活时间和所述存储值传输至所述第一处理模块，将所述释放时间和所述存储值传输至所述第二处理模块，将所述存储值传输至所述判断模块；
26.所述采集模块与外部麦克风和所述预处理模块电连接，所述采集模块用于控制混音器实时获取所述外部麦克风传输的音频流中的第i个样本值，将所述第i个样本值传输至所述预处理模块；
27.所述预处理模块与所述判断模块电连接，用于将所述第i个样本值进行平方得到对应的输入值，将所述输入值传输至所述判断模块；
28.所述判断模块分别与所述第一处理模块和所述第二处理模块电连接，用于对比所述输入值和所述存储值，若所述输入值大于所述存储值，则将所述输入值传输至所述第一处理模块；若所述输入值小于或等于所述存储值，则将所述输入值传输至所述第二处理模块；
29.所述第一处理模块与所述输出模块电连接，用于根据所述激活时间计算得到所述第一时间系数，并根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值，将所述第一输出值分别传输至所述存储模块和所述输出模块；
30.所述第一处理模块与所述输出模块电连接，用于根据所述释放时间计算得到所述第二时间系数，并根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值，将所述第二输出值分别传输至所述存储模块和所述输出模块；
31.所述输出模块分别与外部音箱和所述采集模块电连接，用于将所述第一输出值或所述第二输出值输出至所述外部音箱以使所述外部音箱输出声音，同时控制所述采集模块获取第i+1个样本值。
32.优选地，在所述存储模块中，预先设定所述激活时间以及所述释放时间，且所述激活时间大于所述存储时间。
33.一种存储介质，所述存储介质上存储有计算机程序，该程序被处理器执行时实现如上所述方法的步骤。
34.一种电子设备，包括：
35.存储器，其上存储有计算机程序；
36.处理器，用于执行所述存储器中的所述计算机程序，以实现如上所述方法。
37.本技术通过直接对单个样本值进行平方并得到增益后的第一输出值或第二输出值，并对第一输出值或第二输出值进行增益输出，相对于对预设量的数字信号先逐个平方，再求平均值，最后对该平均值进行增益处理的方式，减少了对内存的损耗；同时将得到的第一输出值或第二输出值替换存储值，然后在控制采集下一个样本值，在进行增益计算时调用该存储值，即在运行过程中反复调用自身，实现了一个反复递归的过程，而且在反复递归的过程中加入预设的激活时间和释放时间，并通过输入值对比存储值的方式对样本值进行激活或释放，消除了杂音干扰。
附图说明
38.图1为本发明方法的流程图；
39.图2为本发明方法步骤s4的详细流程图；
40.图3为本发明方法步骤s5的详细流程图；
41.图4为本发明方法步骤s6的详细流程图；
42.图5为本发明混音器的示意图。
具体实施方式
43.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
44.结合图1所示，一种自动混音的方法，混音器中预先配置有存储值和时间数据，时间数据包括激活时间和释放时间，包括如下步骤：
45.步骤1、控制混音器实时获取音频流中的第i个样本值；
46.步骤2、将第i个样本值进行平方得到对应的输入值；
47.步骤3、对比输入值和存储值，若输入值大于存储值，则进入步骤4；若输入值小于或等于存储值，则进入步骤5；
48.步骤4、根据激活时间计算得到第一时间系数，并根据输入值、第一时间系数以及存储值计算得到第一输出值，并将第一输出值替换存储值，同时进入步骤6；
49.步骤5、根据释放时间计算得到第二时间系数，根据输入值、第二时间系数以及存储值计算得到第二输出值，并将第二输出值替换存储值，同时进入步骤6；
50.步骤6、将第一输出值或第二输出值输出至外部音箱以使外部音箱输出声音，同时
控制混音器获取下一时刻音频流中的第i+1个样本值，并将第i+1个样本值替换第i个样本值，并返回步骤1。
51.结合图2所示，在步骤1之前，获取预定时间范围内样本值的总数量，步骤4的具体过程包括以下步骤：
52.步骤41、根据总数量和激活时间计算得到第一时间系数；
53.步骤42、根据输入值、第一时间系数以及存储值计算得到第一输出值；
54.步骤43、将第一输出值替换存储值，并进入步骤6。
55.具体的，将总数量和激活时间代入以下公式，计算得到第一时间系数：
[0056][0057]
其中，td为第一时间系数；
[0058]
ta为激活时间；
[0059]fs
为总数量。
[0060]
结合附图3所示，步骤5的具体过程包括以下步骤：
[0061]
步骤51、根据总数量和释放时间计算得到第二时间系数；
[0062]
步骤52、根据输入值、第二时间系数以及存储值计算得到第二输出值；
[0063]
步骤53、将第二输出值替换存储值，并进入步骤6。
[0064]
具体的，将总数量和释放时间代入以下公式，计算得到第二时间系数：
[0065][0066]
其中，te为第二时间系数；
[0067]
tb为释放时间；
[0068]fs
为总数量。
[0069]
本发明的较佳实施例中，所述激活时间大于所述释放时间
[0070]
具体的，将样本值进行平方运算：
[0071]
x2；
[0072]
x≥0；
[0073]
其中，x为样本值。
[0074]
具体的，将输入值、第一时间系数以及存储值代入以下公式，计算得到第一输出值；
[0075]
outd＝x2×
td+z
×
(1-td)；
[0076]
其中，outd为第一输出值；
[0077]
x为样本值；
[0078]
x2为输入值；
[0079]
td为第一时间系数；
[0080]
z为存储值。
[0081]
将输入值、第二时间系数以及存储值代入以下公式，计算得到第二输出值；oute＝x2×
te+z
×
(1-te)；
[0082]
其中，oute为第二输出值；
[0083]
x为样本值；
[0084]
x2为输入值；
[0085]
te为第二时间系数；
[0086]
z为存储值。
[0087]
具体的，可以将激活时间设定为0.01s，释放时间设定为0.1s。
[0088]
由于以上公式计算的td和te相当小，这就导致几乎是最后一个存储值加上一个新的样本值，新的输入值增益多少取决于是激活时间还是释放时间。在激活时间情况下，新的输入值增益的量是释放时间情况下的10倍，这导致释放时间更快地达到一个新的平衡值。这个输出值可以描述为输入信号在特定时间的平均能量，而平均时间对应于激活时间和释放时间时间常数。
[0089]
将激活时间和释放时间运用到本技术的方法中，其输出就可以对上升的信号电平(例如，一个人开始说话)和下降的信号电平(例如，一个人停止说话)做出不同的反应；一般来说，对上升信号电平(激活时间)的反应需要更快，以避免错过信号的重要部分(如第一个音节)，而对下降信号电平的反应可以更慢，因为这部分无论如何都会被听力的心理声学模型所掩盖，而激活时间设定为0.01s，释放时间设定为0.1s，其相差10倍，足够内存反应该信号电平是否需要增益(即加快反应)或是否需要消除(即放缓反应)。
[0090]
结合图4所示，本发明的较佳实施例中，步骤6的具体过程包括以下步骤：
[0091]
步骤61、对第一输出值进行开平方得到第一rms值，或对第二输出值进行开平方得到第二rms值；
[0092]
步骤62、将第一rms值或第二rms值输出至外部音箱以使外部音箱输出声音，同时控制混音器获取下一时刻音频流中的第i+1个样本值，并将第i+1个样本值替换第i个样本值，并返回步骤1。
[0093]
具体的，对第一输出值进行开平方得到第一rms值：
[0094][0095]
其中，为第一rms值；
[0096]
outd为第一输出值。
[0097]
具体的，对第一输出值进行开平方得到第一rms值：
[0098][0099]
其中，为第一rms值；
[0100]
oute为第一输出值。
[0101]
具体的，将激活时间设定为0.01s(即10ms)，释放时间设定为0.1s(即100ms)，存储值的初始值设定为0；采集的样本值为顺序采集的1，1.2，1.5。。。n，数量为48000；
[0102]
得到的第一时间系数为0.0046，第二时间系数为0.00046；
[0103]
1、第一个样本值为1，对样本值进行平方后得到输入值为1；
[0104]
由于输入值大于存储值，因此计算得到的第一输出值为0.0046，并将第一输出值替换存储值，第一rms值为0.068，并输出至外部音箱。
[0105]
2、存储值替换为最近一次的第一输出值，存储值为0.0046；
[0106]
第二个样本值为1.2，对样本值进行平方后得到输入值为1.44；
[0107]
由于输入值大于存储值，因此计算得到的第一输出值为0.0112，并将第一输出值替换存储值，第一rms值为0.11，并输出至外部音箱。
[0108]
3、存储值替换为最近一次的第一输出值，存储值为0.0112；
[0109]
第二个样本值为1.5，对样本值进行平方后得到输入值为2.25；
[0110]
由于输入值大于存储值，因此计算得到的第一输出值为0.0214，并将第一输出值替换存储值，第一rms值为0.15，并输出至外部音箱。
[0111]
由于往后的样本值也采用上述的方式循环计算输出，因此后续样本值的计算这里不再过多赘述。
[0112]
结合图5所示，一种混音器，包括存储模块、采集模块、预处理模块、判断模块、第一处理模块、第二处理模块以及输出模块；
[0113]
存储模块分别与第一处理模块、第二处理模块以及判断模块电连接，用于存储预先配置的存储值、激活时间以及释放时间，并将激活时间和存储值传输至第一处理模块，将释放时间和存储值传输至第二处理模块，将存储值传输至判断模块；
[0114]
采集模块与外部麦克风和预处理模块电连接，采集模块用于控制混音器实时获取外部麦克风传输的音频流中的第i个样本值，将第i个样本值传输至预处理模块；
[0115]
预处理模块与判断模块电连接，用于将第i个样本值进行平方得到对应的输入值，将输入值传输至判断模块；
[0116]
判断模块分别与第一处理模块和第二处理模块电连接，用于对比输入值和存储值，若输入值大于存储值，则将输入值传输至第一处理模块；若输入值小于或等于存储值，则将输入值传输至第二处理模块；
[0117]
第一处理模块与输出模块电连接，用于根据激活时间计算得到第一时间系数，并根据输入值、第一时间系数以及存储值计算得到第一输出值，将第一输出值分别传输至存储模块和输出模块；
[0118]
第一处理模块与输出模块电连接，用于根据释放时间计算得到第二时间系数，并根据输入值、第二时间系数以及存储值计算得到第二输出值，将第二输出值分别传输至存储模块和输出模块；
[0119]
输出模块分别与外部音箱和采集模块电连接，用于将第一输出值或第二输出值输出至外部音箱以使外部音箱输出声音，同时控制采集模块获取第i+1个样本值。
[0120]
本发明的较佳实施例中，在存储模块中，预先设定激活时间以及释放时间，且激活时间大于存储时间。
[0121]
一种存储介质，存储介质上存储有计算机程序，该程序被处理器执行时实现如上方法的步骤。
[0122]
一种电子设备，包括：
[0123]
存储器，其上存储有计算机程序；
[0124]
处理器，用于执行存储器中的计算机程序，以实现如上方法。
[0125]
本技术通过直接对单个样本值进行平方并得到增益后的第一输出值或第二输出值，并对第一输出值或第二输出值进行增益输出，相对于对预设量的数字信号先逐个平方，再求平均值，最后对该平均值进行增益处理的方式，减少了对内存的损耗；同时将得到的第一输出值或第二输出值替换存储值，然后在控制采集下一个样本值，在进行增益计算时调用该存储值，即在运行过程中反复调用自身，实现了一个反复递归的过程，而且在反复递归的过程中加入预设的激活时间和释放时间，并通过输入值对比存储值的方式对样本值进行
激活或释放，消除了杂音干扰。
[0126]
最后应说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：

1.一种自动混音的方法，其特征在于，混音器中预先配置有存储值和时间数据，所述时间数据包括激活时间和释放时间，包括如下步骤：步骤1、控制所述混音器实时获取音频流中的第i个样本值；步骤2、将所述第i个样本值进行平方得到对应的输入值；步骤3、对比所述输入值和所述存储值，若所述输入值大于所述存储值，则进入步骤4；若所述输入值小于或等于所述存储值，则进入步骤5；步骤4、根据所述激活时间计算得到所述第一时间系数，并根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值，并将所述第一输出值替换所述存储值，同时进入步骤6；步骤5、根据所述释放时间计算得到所述第二时间系数，根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值，并将所述第二输出值替换所述存储值，同时进入步骤6；步骤6、将所述第一输出值或所述第二输出值输出至外部音箱以使所述外部音箱输出声音，同时控制所述混音器获取下一时刻所述音频流中的第i+1个样本值，将所述第i+1个样本值替换所述第i个样本值，并返回所述步骤1。2.根据权利要求1所述的自动混音的方法，其特征在于，在所述步骤1之前，获取预定时间范围内样本值的总数量，所述步骤4的具体过程包括以下步骤：步骤41、根据所述总数量和所述激活时间计算得到所述第一时间系数；步骤42、根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值；步骤43、将所述第一输出值替换所述存储值，并进入所述步骤6。3.根据权利要求2所述的自动混音的方法，其特征在于，所述步骤5的具体过程包括以下步骤：步骤51、根据所述总数量和所述释放时间计算得到所述第二时间系数；步骤52、根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值；步骤53、将所述第二输出值替换所述存储值，并进入所述步骤6。4.根据权利要求1所述的自动混音的方法，其特征在于，所述激活时间大于所述释放时间。5.根据权利要求1所述的自动混音的方法，其特征在于，所述步骤6的具体过程包括以下步骤：步骤61、对所述第一输出值进行开平方得到第一rms值，或对所述第二输出值进行开平方得到第二rms值；步骤62、将所述第一rms值或所述第二rms值输出至所述外部音箱以使所述外部音箱输出声音，同时控制所述混音器获取下一时刻所述音频流中的所述第i+1个样本值，并将所述第i+1个样本值替换所述第i个样本值，并返回所述步骤1。6.一种混音器，其特征在于，包括存储模块、采集模块、预处理模块、判断模块、第一处理模块、第二处理模块以及输出模块；所述存储模块分别与所述第一处理模块、所述第二处理模块以及所述判断模块电连接，用于存储预先配置的存储值、激活时间以及释放时间，并将所述激活时间和所述存储值传输至所述第一处理模块，将所述释放时间和所述存储值传输至所述第二处理模块，将所
述存储值传输至所述判断模块；所述采集模块与外部麦克风和所述预处理模块电连接，所述采集模块用于控制混音器实时获取所述外部麦克风传输的音频流中的第i个样本值，将所述第i个样本值传输至所述预处理模块；所述预处理模块与所述判断模块电连接，用于将所述第i个样本值进行平方得到对应的输入值，将所述输入值传输至所述判断模块；所述判断模块分别与所述第一处理模块和所述第二处理模块电连接，用于对比所述输入值和所述存储值，若所述输入值大于所述存储值，则将所述输入值传输至所述第一处理模块；若所述输入值小于或等于所述存储值，则将所述输入值传输至所述第二处理模块；所述第一处理模块与所述输出模块电连接，用于根据所述激活时间计算得到所述第一时间系数，并根据所述输入值、所述第一时间系数以及所述存储值计算得到第一输出值，将所述第一输出值分别传输至所述存储模块和所述输出模块；所述第一处理模块与所述输出模块电连接，用于根据所述释放时间计算得到所述第二时间系数，并根据所述输入值、所述第二时间系数以及所述存储值计算得到第二输出值，将所述第二输出值分别传输至所述存储模块和所述输出模块；所述输出模块分别与外部音箱和所述采集模块电连接，用于将所述第一输出值或所述第二输出值输出至所述外部音箱以使所述外部音箱输出声音，同时控制所述采集模块获取第i+1个样本值。7.根据权利要求6所述的混音器，其特征在于，在所述存储模块中，预先设定所述激活时间以及所述释放时间，且所述激活时间大于所述存储时间。8.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。9.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-5中任一项所述方法的步骤。

技术总结

本发明涉及混音技术领域，具体而言，涉及一种自动混音的方法、混音器、存储介质及电子设备，包括如下步骤：步骤S1、获取第i个样本值；步骤S2、得到输入值；步骤S3、对比输入值和存储值，判断输入值与存储值的大小；步骤S4、得到第一输出值，并将第一输出值替换存储值；步骤S5、得到第二输出值，并将第二输出值替换存储值；步骤S6、将第一输出值或第二输出值输出至外部音箱以使外部音箱输出声音，控制采集模块采集下一时刻的第i+1个样本值；直接对单个样本值进行平方并输出，减少了对内存的损耗，在运行过程中反复调用输出值，使其作为下一个样本值计算中的存储值，实现了递归的过程，并通过控制样本值的激活和释放，消除了杂音干扰。消除了杂音干扰。消除了杂音干扰。