首页 > 专利学习

分组丢失隐藏的制作方法

分组丢失隐藏
1.相关申请案的交叉参考
2.本技术案主张以下优先权申请案的优先权：在2020年7月08日申请的美国临时申请案63/049,323(参考文献：d20068usp1)及在2021年6月09日申请的美国临时案63/208,896(参考文献：d20068usp2)，所述案特此以引用方式并入。
技术领域
3.本公开涉及处理音频信号的方法及设备。本公开进一步描述在分组(帧)丢失情况中例如沉浸式语音及音频系统(ivas)编码解码器的编码解码器中的解码器处理以便实现最佳可能音频体验。此原理被称为分组丢失隐藏(plc)。

背景技术：

4.用于编码空间音频的例如ivas的音频编码解码器涉及包含实现经编码音频的准确空间构造的重构参数(例如空间重构参数)的元数据。虽然可能会对实际音频信号进行分组丢失隐藏，但此元数据的丢失可导致音频空间重构明显不正确，且因此导致可听伪影。
5.因此，需要改进包含重构参数(例如空间重构参数)的元数据的分组丢失隐藏。

技术实现要素：

6.依据上述内容，本公开提供处理音频信号的方法、编码音频信号的方法以及对应设备、计算机程序及计算机可读存储媒体，具有相应独立权利要求的特征。
7.根据本公开的一方面，提供一种处理音频信号的方法。所述方法可在接收器/解码器处执行。所述音频信号可包含帧序列。每一帧可含有多个音频通道的表示及用于将所述多个音频通道上混到预定(或预定义)通道格式的重构参数。所述音频信号可为多通道音频信号。所述预定义通道格式可为一阶立体混响(first-order ambisonics，foa)，例如，具有w、x、y及z音频通道(分量)。在此情况中，所述音频信号可包含高达4个音频通道。音频信号的多个音频通道可与通过下混预定义通道格式的音频通道获得的下混通道相关。重构参数可为空间重构(spar)参数。所述方法可包含接收音频信号。所述方法可进一步包含基于接收到的音频信号以预定义通道格式产生经重构音频信号。其中，产生经重构音频信号可基于接收到的音频信号及重构参数(及/或重构参数的估计)。此外，产生经重构音频信号可涉及音频信号的(多个)音频通道的上混。多个音频通道到预定义通道格式的上混可涉及基于多个音频通道及其去相关版本进行的预定义通道格式的音频通道的重构。去相关版本可基于音频信号的多个音频通道(中的至少一些)及重构参数产生。为此，上混矩阵可基于重构参数确定。产生经重构音频信号还可包含确定音频信号的至少一个帧是否已经丢失。接着，如果连续丢失帧的数目超过第一阈值，那么所述产生可包含使经重构音频信号淡入淡出到预定(或预定义)空间配置。在一个实例中，预定义空间配置可与全向音频信号相关。针对经重构foa音频信号，这将意味着仅保留w音频通道。举例来说，第一阈值可为4或8个帧。举例来说，帧的持续时间可为20ms。
8.如上文定义般配置，所提出方法可在分组丢失的情况下缓解不一致音频，尤其是针对长持续时间的分组丢失，且提供一致的用户空间体验。这在增强型语音服务(evs)框架中可能特别重要，在所述框架中，在分组丢失的情况下，个别音频通道的evs隐藏信号可能彼此不一致。
9.在一些实施例中，预定义空间配置可对应于空间均匀音频信号。举例来说，针对foa，淡入淡出到预定义空间配置的经重构音频信号仅可包含w音频通道。替代地，预定义空间配置可对应于经重构音频信号的预定义方向。在此情况中，例如，针对foa，x、y、z分量中的一者可淡入淡出到w的按比例缩放版本，且x、y、z分量中的另两者可淡入淡出到零。
10.在一些实施例中，使经重构音频信号淡入淡出到预定义空间配置可涉及根据预定义淡出时间在指示预定义空间配置的单位矩阵与目标矩阵之间进行线性内插。在此情况中，用于音频重构的上混矩阵可基于突出上混矩阵与经内插矩阵的矩阵乘积来确定(例如，产生)。在此，突出上混矩阵可基于重构参数导出。
11.在一些实施例中，方法可进一步包含：如果连续丢失帧的数目超过大于或等于第一阈值的第二阈值，那么逐渐淡出经重构音频信号。逐渐淡出(即，静音)经重构音频信号可通过将逐渐衰减增益应用到经重构音频信号、音频信号的多个音频通道或用于产生经重构音频信号的任何上混系数来实现。逐渐淡出可根据(第二)预定淡出时间(时间常数)来执行。举例来说，经重构音频信号每(丢失)帧可被静音3db。举例来说，第二阈值可为8个帧。
12.此进一步增加了在分组丢失的情况下提供一致的用户体验，尤其是针对很长时间的分组丢失。
13.在一些实施例中，方法可进一步包含：如果音频信号的至少一个帧已经丢失，那么基于先前帧的一或多个重构参数产生至少一个丢失帧的重构参数的估计。方法可进一步包含使用至少一个丢失帧的重构参数的估计产生至少一个丢失帧的经重构音频信号。如果已经丢失的帧少于预定数目(例如，少于第一阈值)，那么此可适用。替代地，直到经重构音频信号已经完全空间淡入淡出及/或完全淡出(静音)，此才可适用。
14.在一些实施例中，每一重构参数可在帧序列中的每给定数目个帧被显式编码一次且在剩余帧的帧之间被(时间)差分编码。此外，估计丢失帧的给定重构参数可涉及基于给定重构参数的最近经确定值估计丢失帧的给定重构参数。替代地，所述估计可涉及基于除了给定重构参数外的两个或更多个重构参数的最近经确定值估计丢失帧的给定重构参数。在特殊情况下，所述估计可涉及基于除了给定重构参数外的一个重构参数的最近经确定值估计丢失帧的给定重构参数(例如，针对与仅具有一个相邻频带的频带相关的重构参数)。因此，给定重构参数可跨时间外插或跨重构参数内插，或在例如最低/最高频带的重构参数的情况下，从单个相邻频带外插。差分编码可遵循(交错)差分编码方案，根据所述方案，每一帧含有被显式编码的至少一个重构参数及参考先前帧被差分编码的至少一个重构参数，其中被显式编码及差分编码的重构参数的集因帧而异。这些集的内容可在预定帧周期之后重复。应理解，重构参数值可通过正确解码所述值来确定。
15.借此，可在分组丢失的情况下提供合理重构参数(例如spar参数)，以便基于例如evs隐藏信号提供一致的空间体验。此外，此使能在应用了时间差分编码的情况下在分组丢失之后提供最佳重构参数(例如spar参数)。
16.在一些实施例中，方法可进一步包含确定给定重构参数的最近经确定值的可靠性
度量。方法还可进一步包含基于可靠性度量决定是基于给定重构参数的最近经确定值还是基于除了给定重构参数外的两个或更多个重构参数(在特殊情况下，单个重构参数)的最近经确定值估计丢失帧的给定重构参数。可靠性度量可基于给定重构参数的最近经确定值的年限(例如，以帧为单位)及/或除了给定重构参数外的重构参数的最近经确定值的年限(例如，以帧为单位)来确定。
17.在一些实施例中，方法可进一步包含：如果给定重构参数的值无法被确定所针对的帧的数目超过第三阈值，那么基于除了给定重构参数外的重构参数的最近经确定值估计丢失帧的给定重构参数。方法可进一步包含：否则基于给定重构参数的最近经确定值估计丢失帧的给定重构参数。
18.在一些实施例中，每一帧可包含与相应频带相关的重构参数。丢失帧的给定重构参数可基于与和给定重构参数与其相关的频带不同的频带相关的(一或多个)重构参数来估计。
19.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带不同的频带相关的重构参数之间进行内插来估计。在特殊情况下，针对被覆盖频率范围的边界处的频带(即，最高或最低频带)，丢失帧的给定重构参数可通过从与和最高或最低频带相邻(或离最高或最低频带最近)的频带相关的重构参数进行外插来估计。
20.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带相邻的频带相关的重构参数之间进行内插来估计。替代地，如果给定重构参数与其相关的频带具有唯一一个相邻频带，那么重构参数可通过从与那个相邻频带相关的重构参数进行外插来估计。
21.根据本公开的另一方面，提供一种处理音频信号的方法。举例来说，所述方法可在接收器/解码器处执行。所述音频信号可包含帧序列。每一帧可包含多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。所述方法可包含接收音频信号。所述方法可进一步包含基于接收到的音频信号以预定义通道格式产生经重构音频信号。其中，产生经重构音频信号可包含确定音频信号的至少一个帧是否已经丢失。所述产生可进一步包含：如果音频信号的至少一个帧已经丢失，那么基于先前帧的重构参数产生至少一个丢失帧的重构参数的估计。此外，所述产生可包含使用至少一个丢失帧的重构参数的估计产生至少一个丢失帧的经重构音频信号。
22.在一些实施例中，每一重构参数可在帧序列中的每给定数目个帧被显式编码一次且在剩余帧的帧之间被(时间)差分编码。接着，估计丢失帧的给定重构参数可涉及基于给定重构参数的最近经确定值估计丢失帧的给定重构参数。替代地，所述估计可涉及基于除了给定重构参数外的两个或更多个重构参数的最近经确定值估计丢失帧的给定重构参数。在特殊情况下，所述估计可涉及基于除了给定重构参数外的一个重构参数的最近经确定值估计丢失帧的给定重构参数(例如，针对与仅具有一个相邻频带的频带相关的重构参数)。
23.在一些实施例中，方法可进一步包含确定给定重构参数的最近经确定值的可靠性度量。方法还可进一步包含基于可靠性度量决定是基于给定重构参数的最近经确定值还是基于除了给定重构参数外的两个或更多个重构参数(在特殊情况下，单个重构参数)的最近经确定值估计丢失帧的给定重构参数。
24.在一些实施例中，方法可进一步包含：如果给定重构参数的值无法被确定所针对
的帧的数目超过第三阈值，那么基于除了给定重构参数外的两个或更多个重构参数(在特殊情况下，单个重构参数)的最近经确定值估计丢失帧的给定重构参数。方法可进一步包含：否则基于给定重构参数的最近经确定值估计丢失帧的给定重构参数。
25.在一些实施例中，每一帧可含有与相应频带相关的重构参数。接着，丢失帧的给定重构参数可基于与和给定重构参数与其相关的频带不同的频带相关的(一或多个)重构参数来估计。
26.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带不同的频带相关的重构参数之间进行内插来估计。
27.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带相邻的频带相关的重构参数之间进行内插来估计。替代地，如果给定重构参数与其相关的频带具有唯一一个相邻频带，那么给定重构参数可通过从与那个相邻频带相关的重构参数进行外插来估计。
28.根据本公开的另一方面，提供一种处理音频信号的方法。举例来说，所述方法可在接收器/解码器处执行。所述音频信号可包含帧序列。每一帧可含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。每一重构参数可在帧序列中的每给定数目个帧被显式编码一次且在剩余帧的帧之间被差分编码。所述方法可包含接收音频信号。所述方法可进一步包含基于接收到的音频信号以预定义通道格式产生经重构音频信号。其中，产生经重构音频信号可包含：针对音频信号的给定帧，识别被正确解码的重构参数及由于缺少差分基数而无法被正确解码的重构参数。所述产生可进一步包含：针对给定帧，基于给定帧的被正确解码的重构参数及/或一或多个先前帧的被正确解码的重构参数估计无法被正确解码的重构参数。所述产生还可进一步包含：针对给定帧，使用被正确解码的重构参数及经估计重构参数产生给定帧的经重构音频信号。
29.在一些实施例中，估计给定帧的无法被正确解码的给定重构参数可涉及基于给定重构参数的最近被正确解码的值估计给定重构参数。替代地，所述估计可涉及基于除了给定重构参数外的两个或更多个重构参数的最近被正确解码的值估计给定重构参数。在特殊情况下，丢失帧的给定重构参数可基于除了给定重构参数外的一个重构参数的最近经确定值来估计(例如，针对与仅具有一个相邻频带的频带相关的重构参数)。
30.在一些实施例中，方法可进一步包含确定给定重构参数的最近被正确解码的值的可靠性度量。方法可进一步包含基于可靠性度量决定是基于给定重构参数的最近被正确解码的值还是基于除了给定重构参数外的两个或更多个重构参数(在特殊情况下，单个重构参数)的最近被正确解码的值估计给定重构参数。
31.在一些实施例中，方法可进一步包含：如果给定重构参数的最近被正确解码的值比以帧为单位的预定阈值旧，那么基于除了给定重构参数外的两个或更多个重构参数(在特殊情况下，单个重构参数)的最近被正确解码的值估计给定重构参数。方法可进一步包含：否则基于给定重构参数的最近被正确解码的值估计给定重构参数。
32.在一些实施例中，每一帧可含有与相应频带相关的重构参数。接着，给定帧的无法被正确解码的给定重构参数可基于与和给定重构参数与其相关的频带不同的频带相关的一或多个重构参数的最近被正确解码的值来估计。
33.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带不同
的频带相关的重构参数之间进行内插来估计。
34.在一些实施例中，给定重构参数可通过在与和给定重构参数与其相关的频带相邻的频带相关的重构参数之间进行内插来估计。替代地，如果给定重构参数与其相关的频带具有唯一一个相邻频带，那么给定重构参数可通过从与那个相邻频带相关的重构参数进行外插来估计。
35.根据本公开的另一方面，提供一种编码音频信号的方法。举例来说，所述方法可在编码器处执行。经编码音频信号可包含帧序列。每一帧可含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。方法可包含：针对每一重构参数，帧序列中的每给定数目个帧显式编码重构参数一次。方法可进一步包含在剩余帧的帧之间(时间)差分编码重构参数。其中，每一帧可含有被显式编码的至少一个重构参数及参考先前帧被差分编码的至少一个重构参数。被显式编码及差分编码的重构参数的集可因帧而异。此外，这些集的内容可在预定帧周期之后重复。
36.根据另一方面，提供一种计算机程序。计算机程序可包含当由处理器执行时致使处理器实行在整个本公开内描述的方法的所有步骤的指令。
37.根据另一方面，提供一种计算机可读存储媒体。计算机可读存储媒体可存储前述计算机程序。
38.根据又一方面，提供一种设备，其包含处理器及耦合到处理器的存储器。处理器可经调适以实行在整个本公开内描述的方法的所有步骤。此设备可与接收器/解码器(解码器设备)或编码器(编码器设备)相关。
39.应了解，设备特征及方法步骤可以许多方式互换。特定来说，如技术人员应了解，所公开方法的细节可由对应设备实现，且反之亦然。此外，应理解，上文关于方法(及例如其步骤)作出的陈述中的任何者同样应用到对应设备(及例如其块、级、单元)，且反之亦然。
附图说明
40.下文参考附图解释本公开的实例实施例，其中
41.图1是示出根据本公开的实施例的分组丢失及正确(good)帧的情况下的实例流的流程图，
42.图2是示出根据本公开的实施例的实例编码器及解码器的框图，
43.图3及图4是示出根据本公开的实施例的plc的实例过程的流程图，
44.图5示出用于实施图1到图4中描述的特征及过程的移动装置架构的实例，
45.图6到图9是示出根据本公开的实施例的处理(例如解码)音频信号的方法的额外实例的流程图，且
46.图10是示出根据本公开的实施例的编码音频信号的方法的实例的流程图。
具体实施方式
47.诸图(figures/figs.)及以下描述与仅作为说明的优选实施例相关。应注意，从以下论述，将容易地把本文中公开的结构及方法的替代实施例视为可在不背离所主张内容的原理的情况下采用的可行替代例。
48.现在将详细参考若干实施例，其实例在附图中示出。应注意，在可行情况下，类似
或相似参考数字可用于诸图中且可指示类似或相似功能性。诸图仅出于图示目的而描绘所公开系统(或方法)的实施例。所属领域的技术人员将容易从以下描述认识到，本文中说明的结构及方法的替代实施例可在不背离本文中描述的原理的情况下采用。
49.概述
50.从广义上讲，根据本公开的技术可包括：
51.1.在来自最后正确帧的分组丢失期间的重构参数(例如spar参数)的保持，
52.2.在长持续时间的分组丢失之后进行静音或空间图像操纵以缓解不一致的隐藏信号(例如evs隐藏信号)，及
53.3.在分组丢失之后在时间差分编码的情况下进行重构参数估计。
54.ivas系统
55.首先，将描述ivas系统的可能实施方案，作为本公开的技术可适用的系统的非限制性实例。
56.ivas为通信及娱乐应用程序提供空间音频体验。基本空间音频格式是一阶立体混响(foa)。举例来说，4个信号(w、y、z、x)被编码，其允许渲染到任何所期望输出格式，如沉浸式扬声器播放或通过耳机进行双耳再现。取决于总位率，1个、2个、3个或4个音频信号(下混通道)通过以低延时并行运行的evs(增强型语音服务)编码解码器传输。在解码器处，4个foa信号是通过使用所传输参数处理下混通道及其去相关版本来重构。此过程在本文还被称为上混且参数被称为空间重构(spar)参数。ivas解码过程由evs(核心)解码及spar上混组成。evs解码信号由复值低延时滤波器组转换。spar参数按感知激励频带编码且带数通常是12。除了w通道外，经编码下混通道是在使用spar参数进行(交叉通道)预测之后的残余信号。w通道在未修改或修改(有效w)情况下被传输，使得剩余通道的更佳预测是可能的。在频域中进行spar上混之后，foa时域信号通过滤波器组合成产生。一个音频帧通常具有20ms的持续时间。
57.总之，ivas解码过程由下混通道的evs核心解码、滤波器组分析、4个foa信号(上混)的参数重构及滤波器组合成组成。
58.尤其是在如32kb/s或64kb/s的低位率下，spar参数可例如取决于先前解码的帧被时间差分编码，以实现spar位率降低。
59.一般来说，根据本公开的实施例的技术(例如方法及设备)可适用于基于帧(或基于分组)的多通道音频信号，即包括帧(或分组)序列的(经编码)音频信号。每一帧含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式(例如，具有w、x、y及z音频通道(分量)的foa)的重构参数(例如spar参数)。(经编码)音频信号的多个音频通道可与通过下混预定义通道格式(例如w、x、y及z)的音频通道获得的下混通道相关。
60.ivas系统约束
61.evs-及spar-dtx
62.如果没有检测到语音活动(vad)且背景电平是低，那么evs编码器可切换到以很低位率运行的不连续传输(dtx)模式。通常，每8帧传输少量dtx参数(静音指示符帧sid)，其控制解码器处的舒适噪声产生(cng)。同样地，传输sid帧的专用spar参数，其允许原始空间环境特性的忠实空间重构。sid帧后接没有任何数据(no_data)的7个帧，且spar参数保持恒定直到下一sid帧或有效(active)音频帧被接收。
63.evs-plc
64.如果evs解码器检测到丢失帧，那么产生隐藏信号。隐藏信号的产生可被由编码器在先前正确帧(没有隐藏)中发送的信号分类参数导引，且取决于编码解码器模式(基于mdct的转换编码解码器或预测语音编码解码器)及其它参数使用各种技术。evs隐藏可导致无限的舒适噪声产生。由于针对ivas，evs的多个例子(每一下混通道一个)在不同配置中并行运行，因此evs隐藏可跨下混通道且针对不同内容是不一致的。
65.应注意，evs-plc不适用于元数据，例如spar参数。
66.重构参数的时间差分编码
67.根据本公开的实施例的技术可适用于采用包含重构参数(例如psar参数)的元数据的时间差分编码的编码解码器。除非另有指示，否则本公开的上下文中的差分编码应意味着时间差分编码。
68.举例来说，每一重构参数可在帧序列中的每给定数目个帧被显式(即非差分)编码一次且在剩余帧的帧之间被差分编码。其中，时间差分编码可遵循(交错)差分编码方案，根据所述方案，每一帧含有被显式编码的至少一个重构参数及参考先前帧被差分编码的至少一个重构参数。被显式编码及差分编码的重构参数的集可因帧而异。这些集的内容可在预定帧周期之后重复。例如，前述集的内容可由可按序列被循环通过的一组(交错)编码方案给出。可适用于例如ivas的上下文中的此类编码方案的非限制性实例在下文给出。
69.针对spar参数的有效编码，时间差分编码可例如根据以下方案来应用：
70.编码方案时间差分编码，带1到12基数0 0 0 0 0 0 0 0 0 0 0 04a0 1 1 1 0 1 1 1 0 1 1 14b1 0 1 1 1 0 1 1 1 0 1 14c1 1 0 1 1 1 0 1 1 1 0 14d1 1 1 0 1 1 1 0 1 1 1 0
71.表1关于指示为1的被时间差分编码的带的spar编码方案
72.先前帧的编码方案当前帧的时间差分编码方案基数4a4a4b4b4c4c4d4d4a
73.表2时间差分spar编码方案的应用顺序
74.在此，时间差分编码总是循环通过4a、4b、4c、4d且返回再次以4a重新开始。取决于基本方案的有效负载及总位率要求，可以应用或不应用时间差分编码。
75.此编码方法确保，在分组丢失之后，用于3个带(针对12个参数带配置，其它方案可以类似方式应用到其它参数)的参数总是可以被正确解码，而不是所有带的时间差分编码。改变如表2中展示的编码方案确保，所有带的参数都可以在4个连续(没有丢失)帧内被正确解码。然而，取决于分组丢失型式，用于一些带的参数在超过4个帧的情况下可能不能被正确解码。
76.实例技术
77.先决条件
78.1.解码器中的逻辑，其保持跟踪帧类型(例如no_data、sid及有效帧)，使得dtx及丢失/错误(bad)帧可被不同处置。
79.2.解码器中的逻辑，其用于保持跟踪连续数目个丢失分组。
80.3.逻辑，其用于在分组丢失(例如，没有经编码差分的基数)之后保持跟踪被时间差分编码的重构参数(例如spar参数)带及自最后基数以来的帧数。
81.上述逻辑的实例在下文以伪码说明，以解码具有覆盖12个频带的spar参数的一个帧。
82.[0083][0084]
列表1.围绕分组丢失的逻辑来控制ivas解码过程
[0085]
所提出处理
[0086]
一般来说，应理解，根据本公开的实施例的方法可适用于包括帧序列(分组)的(经编码)音频信号，每一帧含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。通常，此类方法包括接收所述音频信号及基于所述接收到的音频信号以预定义通道格式产生经重构音频信号。
[0087]
接着将描述在ivas的上下文中可用于产生经重构音频信号的处理步骤的实例。然而，应理解，这些处理步骤不限于ivas，且通常可适用于基于帧(基于分组)的音频编码解码器的重构参数的plc。
[0088]
1.静音：如果连续丢失帧的数目超过阈值(权利要求(例如)8中的第二阈值)，那么经解码输出(例如foa输出)被(逐渐)静音，例如每(丢失帧)被静音3db。否则，不应用静音。静音可通过相应地修改上混矩阵(例如spar上混矩阵)来完成。静音使plc针对长持续时间的分组丢失跨位率及内容更一致。由于上述逻辑，如果需要，还可以在具有dtx的cng的情况下应用静音。
[0089]
一般来说，如果连续丢失帧的数目超过阈值(权利要求书中的第二阈值)，那么经重构音频信号可被逐渐淡出(静音)。逐渐淡出(静音)经重构音频信号可通过将逐渐衰减增益应用到经重构音频信号、通过将逐渐衰减增益应用到音频信号的多个音频通道或通过将逐渐衰减增益应用到用于产生经重构音频信号的任何上混系数来实现。逐渐淡出可根据预定淡出时间(时间常数)来执行。举例来说，如上所述，经重构音频信号每(丢失)帧可被静音3db。举例来说，第二阈值可为8个帧。
[0090]
2.空间淡出：如果连续丢失帧的数目超过阈值(权利要求例如4或8中的第一阈值)，那么经解码输出(例如foa输出)朝向预定义数目个帧内的空间目标空间淡入淡出(即，淡入淡出到预定义空间配置)。否则，不应用空间淡入淡出。空间淡入淡出可通过根据设想的淡出时间在单位矩阵(例如4x4)与空间目标矩阵之间进行线性内插来完成。作为实例，方向独立空间图像(例如，将除了w外的所有通道都静音)可减少分组丢失之后(如果没有完全静音)的空间不连续性。即，针对foa，预定义空间配置仅可包含w音频通道。替代地，预定义空间配置可与预定义方向相关。举例来说，foa的另一有用空间目标是正面图像(x＝w sqrt(2)，y＝z＝0)。即，x、y、z分量中的一者(例如x)可淡入淡出到w的按比例缩放版本，且x、y、z分量中的另两者(例如y及z)可淡入淡出到零。在任何情况中，接着，所得矩阵被应用到所有带的spar上混矩阵。因此，用于音频重构的(spar)上混矩阵可基于静音上混矩阵与经内插矩阵的矩阵乘积来确定(例如产生)，其中静音上混矩阵可从重构参数导出。空间淡出使plc针对长持续时间的分组丢失跨位率及内容更一致。由于上述逻辑，如果需要，还可以在具有dtx的cng的情况下应用空间淡入淡出。foa格式用作非限制性实例。还可使用其它格式，例如包含立体声的基于通道的空间格式。应理解，特定格式可使用特定对应空间淡入淡出矩阵。
[0091]
一般来说，产生经重构音频信号可包括：如果连续丢失帧的数目超过阈值(权利要求书中的第一阈值)，那么将经重构音频信号淡入淡出到预定义空间配置。根据上文，此预定义空间配置可对应于空间均匀音频信号或预定义方向(例如，经重构音频信号被渲染到其的预定义方向)。应理解，用于空间淡入淡出的(第一)阈值可小于或等于用于淡出(静音)的(第二)阈值。因此，如果上述处理步骤被组合，那么经重构音频信号可首先被淡入淡出到预定义空间配置，接着是静音，或与静音相配合。
[0092]
3.使用时间差分编码进行参数的估计/从分组丢失恢复：由于上述逻辑，可识别由于缺少时间差分基数而尚未被正确解码的参数带。那些参数带可由先前帧数据分配，就像在分组丢失隐藏的情况下一样。作为替代策略，在最后接收的基数(或一般来说，特定参数的最后被正确解码的参数被视为太旧时的情况中提出跨频带进行线性(或最近邻)内插。针对被覆盖频率范围的边界处的频带，此可相当于从其相应相邻(或最近)频带进行外插。由于在被正确解码的带内进行内插很可能会给出比连同新的被正确解码的数据一起使用旧的先前帧数据更佳的参数估计，因此所提出方法是有益的。
[0093]
显而易见，所提出方法可用于针对很少丢失分组的plc的情况(例如，在空间淡出及/或静音之前，或在空间淡出及/或静音期间，直到经重构音频信号已经完全空间淡入淡出或完全淡出)及突发分组丢失之后恢复的情况两者中。
[0094]
一般来说，当音频信号的至少一个帧已经丢失时，至少一个丢失帧的重构参数的估计可基于先前帧的重构参数来估计。接着，这些估计可用于产生至少一个丢失帧的经重构音频信号。
[0095]
举例来说，丢失帧的给定重构参数可跨时间被外插或跨频率被内插/外插(一般来说，跨其它重构参数被内插/外插)。在前者情况中，丢失帧的给定重构参数可基于给定重构参数的最近经确定值来估计。在后者情况中，丢失帧的给定重构参数可基于除了给定重构参数外的一个(在被覆盖频率范围的边界处的频带的情况中)、两个或更多个重构参数的最近经确定值来估计。
[0096]
是使用跨时间的外插还是跨其它重构参数的内插/外插可基于给定重构参数的最近经确定值的可靠性度量来决定。即，可基于可靠性度量决定是基于给定重构参数的最近经确定值还是基于除了给定重构参数外的两个或更多个重构参数的最近经确定值估计丢失帧的给定重构参数。此可靠性度量可基于给定重构参数的最近经确定值的年限(例如，以帧为单位)及/或除了给定重构参数外的重构参数的最近经确定值的年限(例如，以帧为单位)来确定。在一个实施方案中，如果给定重构参数的值无法被确定所针对的帧的数目超过第三阈值，那么丢失帧的给定重构参数可基于除了给定重构参数外的一个、两个或更多个重构参数的最近经确定值来估计。否则，丢失帧的给定重构参数可基于给定重构参数的最近经确定值来估计。
[0097]
如上所述，每一帧可含有与相应频带相关的重构参数，且丢失帧的给定重构参数可基于与和给定重构参数与其相关的频带不同的频带相关的一或多个重构参数来估计。举例来说，给定重构参数可通过在与和给定重构参数与其相关的频带不同的频带相关的一或多个重构参数之间进行内插(或从所述一或多个重构参数进行外插)来估计。更明确来说，在一些实施方案中，给定重构参数可通过在与和给定重构参数与其相关的频带相邻的频带相关的重构参数之间进行内插来估计，或者，如果给定重构参数与其相关的频带具有唯一一个相邻(或最近)频带(其是针对最高及最低频带的情况)，那么通过从与那个相邻(或最近)频带相关的重构参数进行外插来估计。
[0098]
应理解，一般来说，上述处理步骤可单独或以组合方式使用。即，根据本公开的方法可涉及前述处理步骤1到3中的任一者、任两者或全部。
[0099]
本公开的重要方面的概要
[0100]-本公开提出plc及空间淡出的空间目标的概念，潜在地与静音相配合。
[0101]-本公开提出在时间差分编码恢复阶段具有具隐藏与常规解码的混合的帧的概念。
[0102]
此可涉及
[0103]
ο在时间差分编码的情况下在分组丢失之后基于先前正确帧数据及/或当前被正确解码的参数的内插确定参数，及
[0104]
ο基于先前正确帧数据有多新的度量在先前正确帧数据及/或当前经内插数据之间作出决定。
[0105]
实例过程及系统
[0106]
图1是示出分组丢失(左路径)及正确帧(右路径)的情况下的实例流的流程图。进入“产生上混矩阵”方框之前的流程图以列表1中的伪码形式进行详述且在上文章节所提出处理的第3项中进行描述。“修改上混矩阵”中的处理在上文章节所提出处理的第1项及第2项中进行描述。
[0107]
图2是示出实例ivas spar编码器及解码器的框图。ivas上混矩阵包括将经解码下混通道及具有参数c、p1、
…
、pd)的去相关版本、逆重混矩阵以及逆预测全都处理到一个上混矩阵中。上混矩阵可通过plc处理来修改。
[0108]
图3及图4是示出plc的实例过程的流程图。
[0109]
实例系统架构
[0110]
图5是根据实施例的用于实施参考图1到4描述的特征及过程的移动装置架构。架构800可经实施于任何电子装置中，包含(但不限于)：台式计算机、消费类音频/视频(av)装备、无线电广播装备、移动装置(例如智能手机、平板计算机、膝上型计算机、穿戴式装置)。在所展示的实例实施例中，架构800用于智能手机且包含处理器801、外围设备接口802、音频子系统803、扬声器804、麦克风805、传感器806(例如加速度计、陀螺仪、气压计、磁力计、相机)、定位处理器807(例如gnss接收器)、无线通信子系统808(例如wi-fi、蓝牙、蜂窝)及i/o子系统809，i/o子系统809包含触摸控制器810及其它输入控制器811、触摸表面812及其它输入/控制装置813。具有更多或更少组件的其它架构也可用于实施所公开实施例。
[0111]
存储器接口814耦合到处理器801、外围设备接口802及存储器815(例如快闪、ram、rom)。存储器815存储计算机程序指令及数据，包含(但不限于)：操作系统指令816、通信指令817、gui指令818、传感器处理指令819、电话指令820、电子消息传递指令821、网页浏览指令822、音频处理指令823、gnss/导航指令824及应用程序/数据825。音频处理指令823包含用于执行参考图1到2中描述的音频处理的指令。
[0112]
用于重构参数的音频处理及plc的技术
[0113]
ivas的上下文中的plc的实例已经在上文描述。应理解，那个上下文中提供的概念通常可适用于基于帧(基于分组)的音频信号的重构参数的plc。现将参考图6到10描述采用这些概念的方法的额外实例。
[0114]
处理音频信号的总体方法600的概述是在图6中给出。如上所述，(经编码)音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。方法600包括步骤s610及s620，步骤s610及s620可包括另外子步骤且将在下文参考图7到9进行详述。此外，例如，方法600可在接收器/解码器处执行。
[0115]
在步骤s610处，接收(经编码)音频信号。举例来说，音频信号可被接收为(经分组)位流。
[0116]
在步骤s620处，基于接收到的音频信号以预定义通道格式产生经重构音频信号。其中，经重构音频信号可基于接收到的音频信号及重构参数(及/或重构参数的估计，如下文详述)来产生。此外，产生经重构音频信号可涉及将音频信号的音频通道上混到预定义通道格式。音频通道到预定义通道格式的上混可涉及基于音频信号的音频通道及其去相关版本进行的预定义通道格式的音频通道的重构。去相关版本可基于音频信号的音频通道(中的至少一些)及重构参数产生。
[0117]
图7示出含有实例(子)步骤s710、s720及s730的在步骤s620处产生经重构音频信号的方法700。应理解，步骤s720及s730与可单独或以组合方式使用的步骤s620的可能实施方案相关。即，步骤s620可(除了步骤s710外)不包含步骤s720及s730、包含步骤s720及s730中的任何者或两者。
[0118]
在步骤s710处，确定音频信号的至少一个帧是否已经丢失。此可根据章节先决条件中的上述描述来完成。
[0119]
如果是，在步骤s720处，此外如果连续丢失帧的数目超过第一阈值，那么使经重构音频信号淡入淡出到预定义空间配置。此可根据上述章节所提出处理第2项/步骤2来完成。
[0120]
另外或替代地，在步骤s730处，如果连续丢失帧的数目超过大于或等于第一阈值的第二阈值，那么逐渐淡出(静音)经重构音频信号。此可根据上述章节所提出处理第1项/步骤1来完成。
[0121]
图8示出含有实例(子)步骤s810、s820及s830的在步骤s620处产生经重构音频信号的方法800。应理解，步骤s810到s830与可单独或以与图7的可能实施方案组合的方式使用的步骤s620的可能实施方案相关。
[0122]
在步骤s810处，确定音频信号的至少一个帧是否已经丢失。此可根据章节先决条件中的上述描述来完成。
[0123]
接着，在步骤s820处，如果音频信号的至少一个帧已经丢失，那么基于先前帧的一或多个重构参数产生至少一个丢失帧的重构参数的估计。此可根据上述章节所提出处理第3项/步骤3来完成。
[0124]
在步骤s830处，使用至少一个丢失帧的重构参数的估计产生至少一个丢失帧的经重构音频信号。此可如上文针对步骤s620论述般完成，例如经由上混。应理解，如果实际音频通道同样也已经丢失，那么可代替地使用其估计。evs隐藏信号是此类估计的实例。
[0125]
只要已经丢失的帧少于预定数目(例如，少于第一阈值或第二阈值)，就可应用方法800。替代地，直到经重构音频信号已经完全空间淡入淡出及/或完全淡出，才可应用方法800。因而，在持续分组丢失的情况下，方法800可用于在静音/空间淡入淡出生效之前或直到静音/空间淡入淡出完成才缓解分组丢失。然而，应注意，方法800的概念还可用于在重构参数的时间差分编码存在时从突发分组丢失恢复。
[0126]
现在将参考图9描述处理音频信号的用于从突发分组丢失恢复的此方法的实例，如例如可在接收器/解码器处执行。如之前，假定音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。此外，假定每一重构参数在帧序列中的每给定数目个帧被显式编码一次且在剩余帧的帧之间被差分编码。此可根据上述章节重构参数的时间差分编码完成。与方法600类似，处理音频信号的用于从突发分组丢失恢复的方法包括接收音频信号(与步骤s610类似)及基于接收到的音频信号以预定义通道格式产生经重构音频信号(与步骤s620类似)。如图9中示出的方法900包括步骤s910、s920及s930，其是基于针对给定帧接收到的音频信号以预定义通道格式产生经重构音频信号的子步骤。应理解，用于从突发分组丢失恢复的方法可被应用到后接数个丢失帧的被正确接收的帧(例如前几个帧)。
[0127]
在步骤s910处，识别被正确解码的重构参数及由于缺少差分基数而无法被正确解码的重构参数。如果数个帧(分组)在过去已经丢失，那么预期会导致缺少时间差分基数。
[0128]
在步骤s920处，基于给定帧的被正确解码的重构参数及/或一或多个先前帧的被正确解码的重构参数估计无法被正确解码的重构参数。此可根据上述章节所提出处理第3项来完成。
[0129]
举例来说，估计给定帧的无法被正确解码(由于缺少时间差分基数)的给定重构参数可涉及基于给定重构参数的最近被正确解码的值(例如，在(突发)分组丢失之前最后被正确解码的值)估计给定重构参数或基于除了给定重构参数外的一或多个重构参数的最近被正确解码的值估计给定重构参数。显而易见，除了给定重构参数外的一或多个重构参数的最近被正确解码的值可能已经经解码用于(当前)给定帧/已经从(当前)给定帧解码。应遵循两种方法中的哪一者可基于给定重构参数的最近被正确解码的值的可靠性度量来决定。举例来说，此度量可为给定重构参数的最近被正确解码的值的年限。例如，如果给定重构参数的最近被正确解码的值比预定阈值旧(例如，以帧为单位)，那么给定重构参数可基于除了给定重构参数外的一或多个重构参数的最近被正确解码的值来估计。否则，给定重构参数可基于给定重构参数的最近被正确解码的值来估计。然而，应理解，其它可靠性度量也是可行的。
[0130]
取决于可适用编码解码器(例如(举例来说)ivas)，每一帧可含有与多个频带中的相应者相关的重构参数。接着，给定帧的无法被正确解码的给定重构参数可基于与和给定重构参数与其相关的频带不同的频带相关的一或多个重构参数的最近被正确解码的值来估计。举例来说，给定重构参数可通过在与和给定重构参数与其相关的频带不同的频带相关的重构参数之间进行内插来估计。在一些情况中，给定重构参数可从与和给定重构参数与其相关的频带不同的频带相关的单个重构参数进行外插。明确来说，给定重构参数可通过在与和给定重构参数与其相关的频带相邻的频带相关的重构参数之间进行内插来估计。如果给定重构参数与其相关的频带具有唯一一个相邻(或最近)频带(其是例如针对最高及最低频带的情况)，那么给定重构参数可通过从与那个相邻(或最近)频带相关的重构参数进行外插来估计。
[0131]
在步骤s930处，使用被正确解码的重构参数及经估计重构参数产生给定帧的经重构音频信号。此可如上文针对步骤s620论述般完成，例如经由上混。
[0132]
用于重构参数的时间差分编码的方案已经在上文章节重构参数的时间差分编码中描述。应理解，本公开还涉及编码应用此时间差分编码的音频信号的方法。编码音频信号的此方法1000的实例在图10中示意性示出。假定经编码音频信号包括帧序列，其中每一帧含有多个音频通道的表示及用于将多个音频通道上混到预定通道格式的重构参数。因而，方法1000产生经编码音频信号，其可例如通过前述方法中的任何者解码。方法1000包括可针对将被编码的每一重构参数(例如spar参数)执行的步骤s1010及s1020。
[0133]
在步骤s1010处，帧序列中的每给定数目个帧显式编码(例如，非差分编码或明文编码)重构参数一次。
[0134]
在步骤s1020处，在剩余帧的帧之间(时间)差分编码重构参数。
[0135]
可作出是差分还是非差分编码给定帧的相应重构参数的选择，使得每一帧含有被显式编码的至少一个重构参数及参考先前帧被(时间)差分编码的至少一个重构参数。此外，为了确保分组丢失的情况下的可恢复性，被显式编码及差分编码的重构参数的集因帧而异。例如，被显式编码及差分编码的重构参数的集可根据一组方案来选择，其中所述方
案周期性地被循环通过。即，前述重构参数的集的内容可在预定帧周期之后重复。应理解，每一重构参数每给定数目个帧被显式编码一次。优选地，帧的此给定数目针对所有重构参数都相同。
[0136]
优点
[0137]
如上述章节中部分概述，可使用本公开中描述的技术为plc提供优于常规技术的以下技术优点。
[0138]
1.在分组丢失的情况下提供合理重构参数(例如spar参数)以便基于例如evs隐藏信号提供一致的空间体验。
[0139]
2.缓解长持续时间的丢失分组的丢失音频数据的不一致(例如evs隐藏)
[0140]
3.在应用了时间差分编码的情况下在分组丢失之后提供最佳重构参数(例如spar参数)。
[0141]
解释
[0142]
本文中描述的系统的方面可经实施于适当的基于计算机的声音处理网络环境中以处理数字或数字化音频文件。自适应音频系统的部分可包含一或多个网络，所述网络包括任何所期望数目个个别机器，包含用于缓冲及路由在计算机之间传输的数据的一或多个路由器(未展示)。此网络可建立于各种不同网络协议上，且可为因特网、广域网(wan)、局域网(lan)或其任何组合。
[0143]
组件、块、过程或其它功能组件中的一或多者可通过控制系统的基于处理器的计算装置的执行的计算机程序来实施。还应注意，本文中公开的各种功能可在其行为、寄存器传送、逻辑组件及/或其它特性方面使用硬件、固件的任何数目个组合来描述及/或被描述为体现于各种机器可读或计算机可读媒体中的数据及/或指令。其中可体现此类经格式化数据及/或指令的计算机可读媒体可包含(但不限于)呈各种形式的物理(非暂时性)非易失性存储媒体，例如光学、磁性或半导体存储媒体。
[0144]
虽然一或多个实施方案已作为实例且依据特定实施例来描述，但应理解，一或多个实施方案不限于所公开实施例。正相反，如所属领域的技术人员应明白，希望涵盖各种修改及类似布置。因此，所附权利要求书的范围应符合最广泛解释以便涵盖所有此类修改及类似布置。
[0145]
枚举的实例实施例
[0146]
也可从并非权利要求的下文枚举的实例实施例(eee)了解本公开的各个方面及实施方案。
[0147]
eee1.一种处理音频的方法，其包括：确定连续丢失帧的数目是否满足阈值；及响应于确定所述数目满足所述阈值，空间淡入淡出经解码一阶立体混响(foa)输出。
[0148]
eee2.根据eee1所述的方法，其中所述阈值是4或8。
[0149]
eee3.根据eee1或eee2所述的方法，其中空间淡入淡出所述经解码foa输出包含根据经设想淡出时间在单位矩阵与空间目标矩阵之间进行线性内插。
[0150]
eee4.根据eee1到eee3中任一者所述的方法，其中所述空间淡入淡出具有基于时间阈值的淡入淡出级别。
[0151]
eee5.一种处理音频的方法，其包括：识别被正确解码的参数；识别由于缺少时间差分基数而尚未被正确解码的参数带；及至少部分基于所述被正确解码的参数分配尚未被
正确解码的所述参数带。
[0152]
eee6.根据eee5所述的方法，其中分配尚未被正确解码的所述参数带是使用先前帧数据来执行。
[0153]
eee7.根据eee5或eee6所述的方法，其中分配尚未被正确解码的所述参数带是使用内插来执行。
[0154]
eee8.根据eee7所述的方法，其中所述内插包含响应于确定特定参数的最后被正确解码的值比阈值旧而跨频带进行线性内插。
[0155]
eee9.根据eee7或eee8所述的方法，其中所述内插包含在最近邻之间进行内插。
[0156]
eee10.根据eee5到eee9中任一者所述的方法，其中分配所述经识别参数带包含：确定被认为是正确的先前帧数据；确定当前经内插数据；及基于关于所述先前正确帧数据有多新的度量确定是使用所述先前正确帧数据还是所述当前经内插数据分配所述经识别参数带。
[0157]
eee11.一种系统，其包括：一或多个处理器；及非暂时性计算机可读媒体，其存储当由所述一或多个处理器执行时致使所述一或多个处理器执行根据eee1到eee10中任一者所述的操作的指令。
[0158]
eee12.一种非暂时性计算机可读媒体，其存储当由一或多个处理器执行时致使所述一或多个处理器执行根据eee1到eee10中任一者所述的操作的指令。

技术特征：

1.一种处理音频信号的方法，其中所述音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将所述多个音频通道上混到预定义通道格式的重构参数，所述方法包括：接收所述音频信号；及基于所述接收到的音频信号以所述预定义通道格式产生经重构音频信号，其中产生所述经重构音频信号包括：确定所述音频信号的至少一个帧是否已经丢失；及如果连续丢失帧的数目超过第一阈值，那么使所述经重构音频信号淡入淡出到预定义空间配置。2.根据权利要求1所述的方法，其中所述预定义空间配置对应于空间均匀音频信号；或其中所述预定义空间配置对应于预定义方向。3.根据权利要求1或2所述的方法，其中使所述经重构音频信号淡入淡出到所述预定义空间配置涉及根据预定义淡出时间在指示所述预定义空间配置的单位矩阵与目标矩阵之间进行线性内插。4.根据权利要求1到3中任一权利要求所述的方法，其进一步包括：如果连续丢失帧的所述数目超过大于或等于所述第一阈值的第二阈值，那么逐渐淡出所述经重构音频信号。5.根据权利要求1到4中任一权利要求所述的方法，其进一步包括：如果所述音频信号的至少一个帧已经丢失，那么基于先前帧的所述重构参数产生所述至少一个丢失帧的所述重构参数的估计；及使用所述至少一个丢失帧的所述重构参数的所述估计产生所述至少一个丢失帧的所述经重构音频信号。6.根据权利要求5所述的方法，其中每一重构参数在所述帧序列中的每给定数目个帧被显式编码一次且在所述剩余帧的帧之间被差分编码；且其中估计丢失帧的给定重构参数涉及：基于所述给定重构参数的最近经确定值估计所述丢失帧的所述给定重构参数；或基于除了所述给定重构参数外的一个、两个或更多个重构参数的最近经确定值估计所述丢失帧的所述给定重构参数。7.根据权利要求6所述的方法，其包括：确定所述给定重构参数的所述最近经确定值的可靠性度量；及基于所述可靠性度量决定是基于所述给定重构参数的所述最近经确定值还是基于除了所述给定重构参数外的所述一个、两个或更多个重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数。8.根据权利要求6或7所述的方法，其包括：如果所述给定重构参数的所述值无法被确定所针对的帧的所述数目超过第三阈值，那么基于除了所述给定重构参数外的所述一个、两个或更多个重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数；及否则，基于所述给定重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数。9.根据权利要求5到8中任一权利要求所述的方法，其中每一帧含有与相应频带相关的
重构参数，且其中所述丢失帧的给定重构参数是基于与和所述给定重构参数与其相关的频带不同的频带相关的一或多个重构参数来估计。10.根据权利要求9所述的方法，其中所述给定重构参数是通过在与和所述给定重构参数与其相关的所述频带不同的频带相关的重构参数之间进行内插来估计。11.根据权利要求9或10所述的方法，其中所述给定重构参数是通过在与和所述给定重构参数与其相关的所述频带相邻的频带相关的重构参数之间进行内插来估计，或者，如果所述给定重构参数与其相关的所述频带具有唯一一个相邻频带，那么通过从与那个相邻频带相关的所述重构参数进行外插来估计。12.一种处理音频信号的方法，其中所述音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将所述多个音频通道上混到预定义通道格式的重构参数，所述方法包括：接收所述音频信号；及基于所述接收到的音频信号以所述预定义通道格式产生经重构音频信号，其中产生所述经重构音频信号包括：确定所述音频信号的至少一个帧是否已经丢失；及如果所述音频信号的至少一个帧已经丢失，那么：基于先前帧的一或多个重构参数产生所述至少一个丢失帧的所述重构参数的估计；及使用所述至少一个丢失帧的所述重构参数的所述估计产生所述至少一个丢失帧的所述经重构音频信号。13.根据权利要求12所述的方法，其中每一重构参数在所述帧序列中的每给定数目个帧被显式编码一次且在所述剩余帧的帧之间被差分编码；且其中估计丢失帧的给定重构参数涉及：基于所述给定重构参数的最近经确定值估计所述丢失帧的所述给定重构参数；或基于除了所述给定重构参数外的一个、两个或更多个重构参数的最近经确定值估计所述丢失帧的所述给定重构参数。14.根据权利要求13所述的方法，其包括：确定所述给定重构参数的所述最近经确定值的可靠性度量；及基于所述可靠性度量决定是基于所述给定重构参数的所述最近经确定值还是基于除了所述给定重构参数外的所述一个、两个或更多个重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数。15.根据权利要求13或14所述的方法，其包括：如果所述给定重构参数的所述值无法被确定所针对的帧的所述数目超过第三阈值，那么基于除了所述给定重构参数外的所述一个、两个或更多个重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数；及否则，基于所述给定重构参数的所述最近经确定值估计所述丢失帧的所述给定重构参数。16.根据权利要求12到15中任一权利要求所述的方法，其中每一帧含有与相应频带相关的重构参数，且其中所述丢失帧的给定重构参数是基于与和所述给定重构参数与其相关的频带不同的频带相关的一或多个重构参数来估计。17.根据权利要求16所述的方法，其中所述给定重构参数是通过在与和所述给定重构
参数与其相关的所述频带不同的频带相关的重构参数之间进行内插来估计。18.根据权利要求16或17所述的方法，其中所述给定重构参数是通过在与和所述给定重构参数与其相关的所述频带相邻的频带相关的重构参数之间进行内插来估计，或者，如果所述给定重构参数与其相关的所述频带具有唯一一个相邻频带，那么通过从与那个相邻频带相关的所述重构参数进行外插来估计。19.一种处理音频信号的方法，其中所述音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将所述多个音频通道上混到预定通道格式的重构参数，且其中每一重构参数在所述帧序列中的每给定数目个帧被显式编码一次且在所述剩余帧的帧之间被差分编码，所述方法包括：接收所述音频信号；及基于所述接收到的音频信号以所述预定义通道格式产生经重构音频信号，其中产生所述经重构音频信号包括针对所述音频信号的给定帧进行以下操作：识别被正确解码的重构参数及由于缺少差分基数而无法被正确解码的重构参数；基于所述给定帧的被正确解码的重构参数及/或一或多个先前帧的被正确解码的重构参数估计无法被正确解码的所述重构参数；及使用所述被正确解码的重构参数及所述经估计重构参数产生所述给定帧的所述经重构音频信号。20.根据权利要求19所述的方法，其中估计所述给定帧的无法被正确解码的给定重构参数涉及：基于所述给定重构参数的最近被正确解码的值估计所述给定重构参数；或基于除了所述给定重构参数外的一个、两个或更多个重构参数的最近被正确解码的值估计所述给定重构参数。21.根据权利要求20所述的方法，其包括：确定所述给定重构参数的所述最近被正确解码的值的可靠性度量；及基于所述可靠性度量决定是基于所述给定重构参数的所述最近被正确解码的值还是基于除了所述给定重构参数外的一个、两个或更多个重构参数的所述最近被正确解码的值估计所述给定重构参数。22.根据权利要求20或21所述的方法，其包括：如果所述给定重构参数的所述最近被正确解码的值比以帧为单位的预定阈值旧，那么基于除了所述给定重构参数外的所述一个、两个或更多个重构参数的所述最近被正确解码的值估计所述给定重构参数；及否则，基于所述给定重构参数的所述最近被正确解码的值估计所述给定重构参数。23.根据权利要求19到23中任一权利要求所述的方法，其中每一帧含有与相应频带相关的重构参数，且其中所述给定帧的无法被正确解码的给定重构参数是基于与和所述给定重构参数与其相关的频带不同的频带相关的一或多个重构参数的所述最近被正确解码的值来估计。24.根据权利要求23所述的方法，其中所述给定重构参数是通过在与和所述给定重构参数与其相关的所述频带不同的频带相关的重构参数之间进行内插来估计。25.根据权利要求23或24所述的方法，其中所述给定重构参数是通过在与和所述给定
重构参数与其相关的所述频带相邻的频带相关的重构参数之间进行内插来估计，或者，如果所述给定重构参数与其相关的所述频带具有唯一一个相邻频带，那么通过从与那个相邻频带相关的所述重构参数进行外插来估计。26.一种编码音频信号的方法，其中所述经编码音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将所述多个音频通道上混到预定通道格式的重构参数，所述方法包括针对每一重构参数进行以下操作：所述帧序列中的每给定数目个帧显式编码所述重构参数一次；及在所述剩余帧的帧之间差分编码所述重构参数，其中每一帧含有被显式编码的至少一个重构参数及参考先前帧被差分编码的至少一个重构参数，且其中被显式编码及差分编码的重构参数的集因帧而异。27.一种设备，其包括处理器及耦合到所述处理器且存储用于所述处理器的指令的存储器，其中所述处理器经配置以执行根据权利要求1到25中任一权利要求所述的方法的所有步骤。28.一种设备，其包括处理器及耦合到所述处理器且存储用于所述处理器的指令的存储器，其中所述处理器经配置以执行根据权利要求26所述的方法的所有步骤。29.一种计算机程序，其包括指令，所述指令在由计算装置执行时致使所述计算装置执行根据权利要求1到25中任一权利要求所述的方法的所有步骤。30.一种计算机程序，其包括指令，所述指令在由计算装置执行时致使所述计算装置执行根据权利要求26所述的方法的所有步骤。31.一种计算机可读存储媒体，其存储根据权利要求28或29所述的计算机程序。

技术总结

本发明描述处理用于分组丢失隐藏的音频信号的方法。所述音频信号包括帧序列，每一帧含有多个音频通道的表示及用于将所述多个音频通道上混到预定通道格式的重构参数。一种方法包含：接收所述音频信号；及基于所述接收到的音频信号以所述预定义通道格式产生经重构音频信号。产生所述经重构音频信号包括：确定所述音频信号的至少一个帧是否已经丢失；及如果连续丢失帧的数目超过第一阈值，那么使所述经重构音频信号淡入淡出到预定义空间配置。还描述一种编码音频信号的方法。还进一步描述用于实行所述方法的设备以及对应程序及计算机可读存储媒体。可读存储媒体。可读存储媒体。