声音信号缩混方法、声音信号编码方法、声音信号缩混装置、声音信号编码装置、程序及记录介质与流程

1.本发明涉及为了以单声道对声音信号进行编码、或者并用单声道编码和立体声编码对声音信号进行编码、或者以单声道对声音信号进行信号处理、或者对立体声的声音信号进行使用单声道的声音信号的信号处理，而从二声道的声音信号获得单声道的声音信号的技术。

背景技术：

2.作为从二声道的声音信号得到单声道的声音信号，将二声道的声音信号和单声道的声音信号进行嵌入式(embedded)编码/解码的技术，存在专利文献1的技术。在专利文献1中公开了如下技术：针对对应的每个采样对所输入的左声道的声音信号和所输入的右声道的声音信号进行平均，从而得到单声道信号，对单声道信号进行编码(单声道编码)而得到单声道编码，对单声道编码进行解码(单声道解码)而得到单声道局部解码信号，针对左声道和右声道的每一个，对所输入的声音信号和从单声道局部解码信号得到的预测信号的差分(预测残差信号)进行编码。在专利文献1的技术中，针对各个声道，将对单声道局部解码信号赋予延迟并赋予了振幅比的信号作为预测信号，选择具有所输入的声音信号与预测信号的误差成为最小的延迟与振幅比的预测信号、或者使用具有使所输入的声音信号与单声道局部解码信号之间的相互相关成为最大的延迟差与振幅比的预测信号，从所输入的声音信号中减去预测信号并得到预测残差信号，将预测残差信号设为编码/解码的对象，从而抑制各声道的解码声音信号的声质劣化。
3.现有技术文献
4.专利文献
5.专利文献1：wo2006-070751号公报

技术实现要素：

6.发明要解决的课题
7.在专利文献1的技术中，通过将在得到预测信号时赋予给单声道局部解码信号的延迟和振幅比最优化，从而能够提高各声道的编码效率。但是，在专利文献1的技术中，单声道局部解码信号是将对左声道的声音信号和右声道的声音信号进行平均而得到的单声道信号进行编码/解码而得到的。也就是说，在专利文献1的技术中存在没有研究从二声道的声音信号得到对于编码处理等信号处理有用的单声道信号的课题。
8.在本发明中，其目的在于提供从二声道的声音信号得到对编码处理等信号处理有用的单声道信号的技术。
9.用于解决课题的手段
10.本发明的一方式的声音信号缩混方法得到将左声道输入声音信号和右声道输入声音信号混合而成的信号即缩混信号，其特征在于包括：左右关系信息取得步骤，得到先行
声道信息和左右相关系数，先行声道信息是表示左声道输入声音信号和右声道输入声音信号中的哪一个先行的信息，左右相关系数是左声道输入声音信号和右声道输入声音信号的相关系数；以及缩混步骤，根据先行声道信息和左右相关系数，对左声道输入声音信号和右声道输入声音信号进行加权平均而得到缩混信号，以使左右相关系数γ越大则越大地包含左声道输入声音信号和右声道输入声音信号中先行的声道的输入声音信号。
11.在本发明的一方式的声音信号缩混方法中，其特征在于，设采样编号为t，左声道输入声音信号为x
l
(t)，右声道输入声音信号为xr(t)，缩混信号为xm(t)，左右相关系数为γ，在缩混步骤中，在先行声道信息表示左声道先行的情况下，对各采样编号t，通过xm(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示右声道先行的情况下，对各采样编号t，通过xm(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示任一声道均不先行的情况下，对各采样编号t，通过xm(t)＝(x
l
(t)+xr(t))/2得到缩混信号。
12.本发明的一方式的声音信号缩混方法的特征在于，作为声音信号缩混步骤而包括上述的声音信号缩混方法，还包括：单声道编码步骤，对缩混步骤得到的缩混信号进行编码而得到单声道编码；以及立体声编码步骤，对左声道输入声音信号和右声道输入声音信号进行编码而得到立体声编码。
13.发明效果
14.根据本发明，能够从二声道的声音信号得到对编码处理等信号处理有用的单声道信号。
附图说明
15.图1是表示第一参考方式和第二实施方式的编码装置的例子的框图。
16.图2是表示第一参考方式的编码装置的处理的例子的流程图。
17.图3是表示第一参考方式的解码装置的例子的框图。
18.图4是表示第一参考方式的解码装置的处理的例子的流程图。
19.图5是表示第一参考方式的左声道减法增益估计部和右声道减法增益估计部的处理的例子的流程图。
20.图6是表示第一参考方式的左声道减法增益估计部和右声道减法增益估计部的处理的例子的流程图。
21.图7是表示第一参考方式的左声道减法增益解码部和右声道减法增益解码部的处理的例子的流程图。
22.图8是表示第一参考方式的左声道减法增益估计部和右声道减法增益估计部的处理的例子的流程图。
23.图9是表示第一参考方式的左声道减法增益估计部和右声道减法增益估计部的处理的例子的流程图。
24.图10是表示第二参考方式和第一实施方式的编码装置的例子的框图。
25.图11是表示第二参考方式的编码装置的处理的例子的流程图。
26.图12是表示第二参考方式的解码装置的例子的框图。
27.图13是表示第二参考方式的解码装置的处理的例子的流程图。
28.图14是表示第一实施方式的编码装置的处理的例子的流程图。
29.图15是表示第二实施方式的编码装置的处理的例子的流程图。
30.图16是表示第三实施方式的编码装置的例子的框图。
31.图17是表示第三实施方式的编码装置的处理的例子的流程图。
32.图18是表示第四实施方式的声音信号编码装置的例子的框图。
33.图19是表示第四实施方式的声音信号编码装置的处理的例子的流程图。
34.图20是表示第四实施方式的声音信号处理装置的例子的框图。
35.图21是表示第四实施方式的声音信号处理装置的处理的例子的流程图。
36.图22是表示第四实施方式的声音信号缩混装置的例子的框图。
37.图23是表示第四实施方式的声音信号缩混装置的处理的例子的流程图。
38.图24是表示实现本发明的实施方式中的各装置的计算机的功能结构的一例的图。
具体实施方式
39.《第一实施方式》
40.首先，对说明书的记载方法进行说明，对于某文字x的^x那样的上标的“^”本来应记载在“x”的正上。但是，由于说明书的记载表述的限制方面，也有时记载为^x。
41.《第一参考方式》
42.在说明发明的实施方式之前，作为第一参考方式和第二参考方式，对成为用于实施第二实施方式的发明和第一实施方式的发明的基础的形态的编码装置和解码装置进行说明。另外，在说明书和权利要求书中，有时也将编码装置称为声音信号编码装置，将编码方法称为声音信号编码方法，将解码装置称为声音信号解码装置，将解码方法称为声音信号解码方法。
43.《《编码装置100》》
44.如图1所示，第一参考方式的编码装置100包括：缩混部(down mix)110、左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140、右声道信号减法部150、单声道编码部160和立体声编码部170。编码装置100例如以20ms的规定时间长度的帧为单位，对所输入的双声道立体声时域的声音信号进行编码，以得到并输出后述的单声道编码cm、左声道减法增益编码cα、右声道减法增益编码cβ和立体声编码cs。被输入到编码装置的双声道立体声音时域的声音信号例如是用两个麦克风分别拾取音声、音乐等声音并进行ad转换而得到的数字的声音信号或者声音信号，由左声道的输入声音信号和右声道的输入声音信号构成。编码装置输出的编码即单声道编码cm、左声道减法增益编码cα、右声道减法增益编码cβ和立体声编码cs被输入到解码装置。编码装置100针对各帧，进行如图2所例示的步骤s110至步骤s170的处理。
45.[缩混部110]
[0046]
向缩混部110输入被输入到编码装置100的左声道的输入声音信号和被输入到编码装置100的右声道的输入声音信号。缩混部110从所输入的左声道的输入声音信号和右声道的输入声音信号中得到将左声道的输入声音信号和右声道的输入声音信号混合而成的信号即缩混信号并输出(步骤s110)。
[0047]
例如，当将每个帧的采样数设为t时，向缩混部110输入以帧为单位被输入到编码
装置100的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和右声道的输入声音信号xr(1),xr(2),...,xr(t)。在此，t是正的整数，例如，帧长为20ms，采样频率为32khz时，t为640。缩混单元110将基于所输入的左声道的输入声音信号和右声道的输入声音信号的对应的每个采样的采样值的平均值的序列作为缩混信号xm(1),xm(2),...,xm(t)取得并输出。即，如果设各样品编号为t，则是xm(t)＝(x
l
(t)+xr(t))/2。
[0048]
[左声道减法增益估计部120]
[0049]
向左声道减法增益估计单元120输入被输入到编码装置100的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混单元110输出的缩混信号xm(1),xm(2),...,xm(t)。左声道减法增益估计部120根据所输入的左声道的输入声音信号和缩混信号，得到左声道减法增益α、和表示左声道减法增益α的编码即左声道减法增益编码cα并输出(步骤s120)。左声道减法增益估计部120通过如专利文献1中求出振幅比g的方法、对该振幅比g进行编码的方法所例示的公知方法、或基于使新提出的量化误差最小化的原理的方法，求得左声道减法增益α和左声道减法增益编码cα。关于使量化误差最小化的原理和基于该原理的方法，将在后面进行说明。
[0050]
[左声道信号减法部130]
[0051]
向左声道信号减法部130输入被输入到编码装置100的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)、缩混部110输出的缩混信号xm(1),xm(2),...,xm(t)、左声道减法增益估计部120输出的左声道减法增益α。左声道信号减法部130按对应的每个采样t，将从左声道的输入声音信号的采样值x
l
(t)减去将缩混信号的采样值xm(t)和左声道减法增益α相乘后的值α
×
xm(t)而得到的值x
l
(t)-α
×
xm(t)的序列作为左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)取得并输出(步骤s130)。即，是y
l
(t)＝x
l
(t)-α
×
xm(t)。在编码装置100中，为了不需要用于得到局部解码信号的延迟或运算处理量，在左声道信号减法部130中，不是单声道编码的局部解码信号即已量化缩混信号，而使用缩混部110得到的未量化缩混信号xm(t)即可。但是，在左声道减法增益估计部120不是基于使量化误差最小化的原理的方法，而是通过专利文献1所例示那样的公知的方法来得到左声道减法增益α的情况下，在编码装置100的单声道编码部160的后级或者单声道编码部160内具备得到与单声道编码cm对应的局部解码信号的单元，在左声道信号减法部130中，代替缩混信号xm(1),xm(2),...,xm(t)，也可以与专利文献1等现有的编码装置同样地，使用作为单声道编码的局部解码信号的已量化缩混信号^xm(1),^xm(2),...,^xm(t)来得到左声道差分信号。
[0052]
[右声道减法增益估计部140]
[0053]
向右声道减法增益估计单元140输入被输入到编码装置100的右声道的输入声音信号xr(1),xr(2),...,xr(t)和从缩混单元110输出的缩混信号xm(1),xm(2),...,xm(t)。右声道减法增益估计部140根据所输入的右声道的输入声音信号和缩混信号，得到右声道减法增益β和表示右声道减法增益β的编码即右声道减法增益编码cβ并进行输出(步骤s140)。右声道减法增益估计部140通过如专利文献1中求得振幅比g的方法、对该振幅比g进行编码的方法所例示的公知方法、或基于使新提出的量化误差最小化的原理的方法，求得右声道减法增益β和右声道减法增益编码cβ。关于使量化误差最小化的原理和基于该原理的方法，将在后面进行说明。
[0054]
[右声道信号减法部150]
[0055]
向右声道信号减法部150输入被输入到编码装置100的右声道的输入声音信号xr(1),xr(2),...,xr(t)、缩混部110输出的缩混信号xm(1),xm(2),...,xm(t)和右声道减法增益估计部140输出的右声道减法增益β。右声道信号减法部150按对应的每个采样t，将从右声道的输入声音信号的采样值xr(t)减去将缩混信号的采样值xm(t)和右声道减法增益β相乘后的值β
×
xm(t)而得到的值xr(t)-β
×
xm(t)的序列作为右声道差分信号yr(1),yr(2),...,yr(t)取得并输出(步骤s150)。即，是yr(t)＝xr(t)-β
×
xm(t)。在右声道信号减法部150中，与左声道信号减法部130同样地，为了无需编码装置100中得到局部解码信号的延迟、运算处理量，不是使用作为单声道编码的局部解码信号的已量化的缩混信号，而使用缩混部110得到的未量化的缩混信号xm(t)即可。但是，在右声道减法增益估计部140不是基于使量化误差最小化的原理的方法，而是通过专利文献1所例示那样的公知的方法得到右声道减法增益β的情况下，在编码装置100的单声道编码部160的后级或者单声道编码部160内具备得到与单声道编码cm对应的局部解码信号的单元，与左声道信号减法部130同样地，在右声道信号减法部150中，代替缩混信号xm(1),xm(2),...,xm(t)，与专利文献1等现有的编码装置同样地，也可以使用作为单声道编码的局部解码信号的已量化缩混信号^xm(1),^xm(2),...,^xm(t)来得到右声道差分信号。
[0056]
[单声道编码部160]
[0057]
向单声道编码部160输入缩混部110输出的缩混信号xm(1),xm(2),...,xm(t)。单声道编码部160以规定的编码方式以bm比特对所输入的缩混信号进行编码，得到单声道编码cm并输出(步骤s160)。即，从所输入的t采样的缩混信号xm(1),xm(2),...,xm(t)得到bm比特的单声道编码cm并输出。作为编码方式，可以使用任何方式，也可以使用例如3gpp evs标准这样的编码方式。
[0058]
[立体声编码部170]
[0059]
向立体声编码部170输入左声道信号减法部130输出的左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)、和右声道信号减法部150输出的右声道差分信号yr(1),yr(2),...,yr(t)。立体声编码部170以规定的编码方式以合计bs比特对所输入的左声道差分信号和右声道差分信号进行编码而得到立体声编码cs并输出(步骤s170)。即，从所输入的t采样的左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)和所输入的t采样的右声道差分信号yr(1),yr(2),...,yr(t)得到合计bs比特的立体声编码cs并输出。作为编码方式，可以使用任何方式，例如也可以使用与mpeg-4aac标准的立体声解码方式对应的立体声编码方式，也可以使用将所输入的左声道差分信号和右声道差分信号分别独立进行编码的方式，也可以将通过编码得到的所有编码合并后的编码作为立体声编码cs。
[0060]
在对所输入的左声道差分信号和右声道差分信号分别独立地进行编码的情况下，立体声编码部170以b
l
比特对左声道差分信号进行编码，以br比特对右声道差分信号进行编码。即，立体声编码部170从所输入的t采样的左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)得到b
l
比特的左声道差分编码cl，从所输入的t采样的右声道差分信号yr(1),yr(2),...,yr(t)得到br比特的右声道差分编码cr，将合并左声道差分编码cl和右声道差分编码cr后的编码作为立体声编码cs输出。在此，b
l
比特和br比特的合计为bs比特。
[0061]
在将所输入的左声道差分信号和右声道差分信号在1个编码方式中合并进行编码的情况下，立体声编码部170以合计bs比特对左声道差分信号和右声道差分信号进行编码。
即，立体声编码部170从所输入的t采样的左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)和所输入的t采样的右声道差分信号yr(1),yr(2),...,yr(t)得到bs比特的立体声编码cs并输出。
[0062]
《《解码装置200》》
[0063]
如图3所示，第一参考方式的解码装置200包括：单声道解码部210、立体声解码部220、左声道减法增益解码部230、左声道信号加法部240、右声道减法增益解码部250和右声道信号加法部260。解码装置200以与对应的编码装置100相同的时间长度的帧单位，对所输入的单声道编码cm和左声道减法增益编码cα、右声道减法增益编码cβ和立体声编码cs进行解码，得到帧单位的二声道立体声的时域的解码声音信号(后述的左声道解码声音信号和右声道解码声音信号)并输出。解码装置200也可以如图3中虚线所示，输出单声道的时域的解码声音信号(后述的单声道解码声音信号)。例如，通过执行da转换并且由扬声器再生由解码装置200输出的解码声音信号，从而使得解码声音信号能够被接收。解码装置200对各帧进行图4中例示的步骤s210至步骤s260的处理。
[0064]
[单声道解码部210]
[0065]
向单声道解码部210输入被输入解码装置200的单声道编码cm。单声道解码单元210以规定的解码方式对所输入的单声道编码cm进行解码，得到单声道解码声音信号^xm(1),^xm(2),...,^xm(t)并输出(步骤s210)。作为规定的解码方式，使用与对应的编码装置100的单声道编码单元160中使用的编码方式对应的解码方式。单声道编码cm的比特数为bm。
[0066]
[立体声解码部220]
[0067]
向立体声解码部220输入被输入解码装置200的立体声编码cs。立体声解码部220以规定的解码方式对所输入的立体声编码cs进行解码，得到左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)、右声道解码差分信号^yr(1),^yr(2),...,^yr(t)并进行输出(步骤s220)。作为规定的解码方式，使用与在对应的编码装置100的立体声编码部170中使用的编码方式对应的解码方式。立体声编码cs的合计比特数为bs。
[0068]
[左声道减法增益解码部230]
[0069]
向左声道减法增益解码部230输入被输入解码装置200的左声道减法增益编码cα。左声道减法增益解码部230对左声道减法增益编码cα进行解码并得到左声道减法增益α进行输出(步骤s230)。左声道减法增益解码部230通过与对应的编码装置100的左声道减法增益估计单元120中使用的方法对应的解码方法，对左声道减法增益码cα进行解码，获得左声道减法增益α。关于对应的编码装置100的左声道减法增益估计部120通过使量化误差最小化的原理的方法得到左声道减法增益α和左声道减法增益编码cα时的、左声道减法增益解码部230对左声道减法增益编码cα进行解码并得到左声道减法增益α的方法，将在后面进行说明。
[0070]
[左声道信号加法部240]
[0071]
向左声道信号加法部240输入单声道解码部210输出的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)、立体声解码部220输出的左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)、左声道减法增益解码部230输出的左声道减法增益α。左声道信号加法部240按对应的每个采样t，将左声道解码差分信号的采样值^y
l
(t)、以及将单声道解码声音信号的采样值^xm(t)和左声道减法增益α相乘后的值α
×
^xm(t)相加后的值^y
l
(t)+α
×
^xm(t)的序列作为左声道解码声音信号^x
l
(1),^x
l
(2),...,^x
l
(t)得到并输出(步骤s240)。即，是^x
l
(t)＝^y
l
(t)+α
×
^xm(t)。
[0072]
[右声道减法增益解码部250]
[0073]
向右声道减法增益解码部250输入被输入解码装置200的右声道减法增益编码cβ。右声道减法增益解码部250对右声道减法增益编码cβ进行解码并得到右声道减法增益β进行输出(步骤s250)。右声道减法增益解码部250通过与对应的编码装置100的右声道减法增益估计单元140中使用的方法对应的解码方法，对右声道减法增益码cβ进行解码，获得右声道减法增益β。关于对应的编码装置100的右声道减法增益估计部140通过使量化误差最小化的原理的方法得到右声道减法增益β和右声道减法增益编码cβ时的、右声道减法增益解码部250对右声道减法增益编码cβ进行解码并得到右声道减法增益β的方法，将在后面进行说明。
[0074]
[右声道信号加法部260]
[0075]
向右声道信号加法部260输入单声道解码部210输出的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)、立体声解码部220输出的右声道解码差分信号^yr(1),^yr(2),...,^yr(t)、右声道减法增益解码部250输出的右声道减法增益β。右声道信号相加部260按对应的每个采样t，将右声道解码差分信号的采样值^yr(t)、以及将单声道解码声音信号的采样值^xm(t)和右声道减法增益β相乘后的值β
×
^xm(t)相加而得到的值^yr(t)+β
×
^xm(t)的序列作为右声道解码声音信号^xr(1),^xr(2),...,^xr(t)得到进行并输出(步骤s260)。即，是^xr(t)＝^yr(t)+β
×
^xm(t)。
[0076]
〔使量化误差最小化的原理〕
[0077]
以下，说明使量化误差最小化的原理。在将立体声编码部170中被输入的左声道差分信号和右声道差分信号在1个编码方式中合并进行编码的情况下，左声道差分信号的编码中使用的比特数b
l
和右声道差分信号的编码中使用的比特数br也有可能未被明确地确定，但以下说明左声道差分信号的编码中使用的比特数为b
l
，右声道差分信号的编码中使用的比特数为br。另外，以下主要对左声道进行说明，但对于右声道也是同样的。
[0078]
上述的编码装置100用b
l
比特对从左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)的各采样值减去对缩混信号xm(1),xm(2),...,xm(t)的各采样值乘以左声道减法增益α后的值而得的值所构成的左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)进行编码，用bm比特对缩混信号xm(1),xm(2),...,xm(t)进行编码。此外，上述解码装置200根据b
l
比特的编码对左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(以下，也称为“已量化左声道差分信号”)进行解码，根据bm比特的编码对单声道解码声音信号^xm(1),^xm(2),...,^xm(t)(以下，也称为“已量化缩混信号”)进行解码后，将通过解码得到的已量化缩混信号^xm(1),^xm(2),...,^xm(t)的各采样值乘以左声道增益α而得到的值加到通过解码得到的已量化左声道差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)的各采样值，从而得到作为左声道的解码声音信号的左声道解码声音信号^x
l
(1),^x
l
(2),...,^x
l
(t)。编码装置100和解码装置200应该被设计成减小在上述处理中得到的左声道的解码声音信号所具有的量化误差的能量。
[0079]
在对输入信号进行编码/解码而得到的解码信号所具有的量化误差(以下，为了方便起见，称为“由于编码而产生的量化误差”)的能量在多数情况下与输入信号的能量大致成比例，倾向于相对于在编码中使用的每个采样的比特数的值呈指数变小。因此，通过左声
道差分信号的编码而产生的量化误差的每个采样的平均能量使用正数σ
l2
能够如下式(1-0-1)那样进行估计，通过缩混信号的编码而产生的量化误差的每个采样的平均能量使用正数σ
m2
能够如下式(1-0-2)那样进行估计。
[0080]
[数学式1]
[0081][0082]
[数学式2]
[0083][0084]
这里，设左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)近似被视为相同序列那样的各个采样值的值。例如，左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和右声道的输入信号xr(1),xr(2),...,xr(t)相当于在背景噪声或混响较多的环境下，对处于距离两个麦克风等距离的声源发出的声音进行收音而得到的情况等。在该条件下，左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的各个采样值与对缩混信号xm(1),xm(2),...,xm(t)的各个采样值乘以(1-α)得到的值等价。因此，左声道差分信号的能量以缩混信号的能量的(1-α)2倍表示，所以上述的σ
l2
能够使用上述的σ
m2
置换为(1-α)2×
σ
m2
，所以通过左声道差分信号的编码而产生的量化误差的每个采样的平均能量能够如下述的式(1-1)那样进行估计。
[0085]
[数学式3]
[0086][0087]
此外，在解码装置中对已量化左声道差分信号相加的信号所具有的量化误差的每个采样的平均能量、即将通过解码得到的已量化缩混信号的各采样值和左声道减法增益α相乘而得到的值的序列所具有的量化误差的每个采样的平均能量能够如下述式(1-2)那样进行估计。
[0088]
[数学式4]
[0089][0090]
如果设想由于左声道差分信号的编码而产生的量化误差、与通过对解码得到的已量化缩混信号的各个采样值乘以左声道减法增益α而得到的值的序列所具有的量化误差彼此不具有相关性，则左声道的解码声音信号所具有的量化误差的每个采样的平均能量由式(1-1)与式(1-2)之和进行估计。如下式(1-3)那样求得使左声道的解码声音信号所具有的量化误差的能量最小化的左声道减法增益α。
[0091]
[数学式5]
[0092][0093]
也就是说，在左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xxm(1),xm(2),...,xm(t)近似被视为相同序列那样的各个采样值的值的条件下，为了使左声道的解码声音信号具有的量化误差最小化，左声道减法增益估计部120通过式(1-3)求得左声道减法增益α即可。由式(1-3)得到的左声道减法增益α为大于0小于1的值，在用于2个编码的比
特数即b
l
与bm相等时为0.5，用于对左声道差分信号进行编码的比特数b
l
越大于用于对缩混信号进行编码的比特数bm则越接近于0.5的值，用于对缩混信号进行编码的比特数bm越大于用于对左声道差分信号进行编码的比特数b
l
则越接近于0.5的值。
[0094]
对于右声道也是同样的，在右声道的输入声音信号xr(1),xr(2),...,xr(t)、缩混信号xm(1),xm(2),...,xm(t)近似被视为相同序列那样的各个采样值的值的条件下，为了使右声道的解码声音信号具有的量化误差最小化，右声道减法增益估计部140可以通过下式(1-3-2)求得右声道减法增益β。
[0095]
[数学式6]
[0096][0097]
通过式(1-3-2)得到的右声道减法增益β是大于0小于1的值，在2个编码中使用的比特数即br与bm相等时为0.5，用于对右声道差分信号进行编码的比特数br越比用于对缩混信号进行编码的比特数bm多则越接近于0.5的值，用于对缩混信号进行编码的比特数bm越比用于对右声道差分信号进行编码的比特数br多则越接近于0.5的值。
[0098]
接下来，对包括左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)不能被视为相同序列的情况在内的左声道的解码声音信号具有的量化误差的能量最小化的原理进行说明。
[0099]
左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)的归一化的内积值r
l
用下式(1-4)表示。
[0100]
[数学式7]
[0101][0102]
通过式(1-4)得到的归一化的内积值r
l
是实数值，其是与在对缩混信号xm(1),xm(2),...,xm(t)的各采样值乘以实数值r
l
'而得到采样值的序列r
l
'
×
xm(1),r
l
'
×
xm(2),...,r
l
'
×
xm(t)时通过所得到的采样值的序列与左声道的输入声音信号的各采样值的差分而得到的序列x
l
(1)-r
l
'
×
xm(1),x
l
(2)-r
l
'
×
xm(2),...,x
l
(t)-r
l
'
×
xm(t)的能量成为最小的实数值r
l
相同的值。
[0103]
左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)针对对各采样编号t可以分解为x
l
(t)＝r
l
×
xm(t)+(x
l
(t)-r
l
×
xm(t))。在此，当将由x
l
(t)-r
l
×
xm(t)的各值构成的序列设为正交信号x
l’(1),x
l’(2),...,x
l’(t)时，根据该分解，左声道差分信号的各采样值y
l
(t)＝x
l
(t)-αxm(t)与将缩混信号xm(1),xm(2),...,xm(t)的各采样值xm(t)乘以使用了归一化的内积值r
l
和使用左声道减法增益α的(r
l-α)而得到的值(r
l-α)
×
xm(t)和正交信号的各采样值x
l’(t)之和(r
l-α)
×
xm(t)+x
l’(t)等价。正交信号x
l’(1),x
l’(2),...,x
l’(t)表示相对于缩混信号xm(1),xm(2),...,xm(t)为正交性、即内积为0的性质，所以左声道差分信号的能量以将缩混信号的能量乘以(r
l-α)2倍的能量与正交信号的能量之和来表示。因此，使用以b
l
比特对左声道差分信号进行编码而产生的量化误差的每个采样的平均能量为正数σ2，能够如下式(1-5)那样进行估计。
[0104]
[数学式8]
[0105][0106]
如果设想通过左声道差分信号的编码而产生的量化误差、与通过对解码得到的已量化缩混信号的各个采样值乘以左声道减法增益α而得到的值的序列所具有的量化误差彼此不具有相关性，则左声道的解码声音信号所具有的量化误差的每个采样的平均能量由式(1-5)与式(1-2)之和进行估计。如下式(1-6)那样求得使左声道的解码声音信号所具有的量化误差的能量最小化的左声道减法增益α。
[0107]
[数学式9]
[0108][0109]
也就是说，为了使左声道的解码声音信号所具有的量化误差最小化，左声道减法增益估计部120只要通过式(1-6)求得左声道减法增益α即可。也就是说，如果考虑使该量化误差的能量最小化的原理，则左声道减法增益α应该使用将归一化的内积值r
l
与校正系数相乘而得到的值，该校正系数是由用于编码的比特数即b
l
和bm决定的值。该校正系数是大于0小于1的值，在用于对左声道差分信号进行编码的比特数b
l
和用于对缩混信号进行编码的比特数bm相同时为0.5，用于对左声道差分信号进行编码的比特数b
l
比用于对缩混信号进行编码的比特数bm越多则越接近于0.5，用于对左声道差分信号进行编码的比特数b
l
比用于对缩混信号进行编码的比特数bm越少则越接近于0.5。
[0110]
对于右声道也是同样的，为了使右声道的解码声音信号所具有的量化误差最小化，右声道减法增益估计部140通过下述式(1-6-2)求得右声道减法增益β即可。
[0111]
[数学式10]
[0112][0113]
这里，rr是右声道的输入声音信号xr(1),xr(2),...,xr(t)和缩混信号xm(1),xm(2),...,xm(t)的归一化的内积值，由下述的式(1-4-2)表示。
[0114]
[数学式11]
[0115][0116]
即，如果考虑使该量化误差的能量最小化的原理，则右声道减法增益β应该使用将归一化的内积值rr与校正系数相乘而得到的值，该校正系数是由用于编码的比特数即br和bm决定的值。该校正系数是大于0小于1的值，用于对右声道差分信号进行编码的比特数br比用于对缩混信号进行编码的比特数bm越多则越接近于0.5，用于对右声道差分信号进行编码的比特数比用于对缩混信号进行编码的比特数越少则越接近于0.5。
[0117]
〔基于使量化误差最小化的原理的减法增益的估计和解码〕
[0118]
对基于使上述的量化误差最小化的原理的减法增益的估计和解码的具体例进行说明。在各例中，对在编码装置100中进行减法增益的估计的左声道减法增益估计部120和右声道减法增益估计部140、在解码装置200中进行减法增益的解码的左声道减法增益解码部230和右声道减法增益解码部250进行说明。
[0119]
〔〔例1〕〕
[0120]
例1基于以下原理：包括将左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)不视为相同系列的情况在内的、使左声道的解码声音信号具有的量化误差的能量最小化的原理；以及包括将右声道的输入声音信号xr(1),xr(2),...,xr(t)和缩混信号xm(1),xm(2),...,xm(t)不视为相同系列的情况在内的、右声道的解码声音信号具有的量化误差的能量最小化的原理。
[0121]
〔〔左声道减法增益估计部120〕〕
[0122]
在左声道减法增益估计部120中，左声道减法增益的候补α
cand
(a)和与该候补对应的编码cα
cand
(a)的组被预先存储有多组(a组,a＝1,
…
,a)。左声道减法增益估计部120进行如图5所示的以下的步骤s120-11到步骤s120-14。
[0123]
左声道减法增益估计部120首先根据所输入的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)，通过式(1-4)得到针对缩混信号的左声道的输入声音信号的归一化的内积值r
l
(步骤s120-11)。然后，左声道减法增益估计部120使用在立体声编码部170中用于左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的编码的比特数b
l
、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的采样数t，通过下述的式(1-7)得到左声道校正系数c
l
(步骤s120-12)。
[0124]
[数学式12]
[0125][0126]
接着，左声道减法增益估计部120得到将在步骤s120-11中得到的归一化的内积值r
l
与在步骤s120-12中得到的左声道校正系数c
l
相乘而得到的值(步骤s120-13)。然后，左声道减法增益估计部120得到所存储的左声道减法增益的候选α
cand
(1),...,α
cand
(a)中的最接近在步骤s120-13中得到的乘法值c
l
×rl
的候选(乘法值c
l
×rl
的量化值)作为左声道减法增益α，得到所存储的编码cα
cand
(1),...,cα
cand
(a)中的与左声道减法增益α对应的编码作为左声道减法增益编码cα(步骤s120-14)。
[0127]
另外，在立体声编码部170中左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的编码中使用的比特数b
l
不未被明确地确定的情况下，将立体声编码部170输出的立体声编码cs的比特数bs的二分之一(即，bs/2)用作比特数b
l
即可。另外，左声道校正系数c
l
也可以不是由式(1-7)本身得到的值，而是大于0小于1的值，且是如下的值：在用于左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的编码的比特数b
l
与用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm相同时为0.5，比特数b
l
比比特数bm越多则比0.5越接近0，比特数b
l
比比特数bm越少则比0.5越接近1。这些在后述的各例中也是同样的。
[0128]
〔〔右声道减法增益估计部140〕〕
[0129]
在右声道减法增益估计部140中，被预先存储有多组(b组,b＝1,
…
,b)的右声道减法增益的候选β
cand
(b)和与该候选对应的编码cβ
cand
(b)的组。右声道减法增益估计部140进行如图5所示的以下的步骤s140-11到步骤s140-14。
[0130]
右声道减法增益估计部140首先根据所输入的右声道的输入声音信号xr(1),xr(2),...,xr(t)和缩混信号xm(1),xm(2),...,xm(t)，通过式(1-4-2)得到针对缩混信号的右
声道的输入声音信号的归一化的内积值rr(步骤s140-11)。然后，右声道减法增益估计部140使用在立体声编码部170中用于右声道差分信号yr(1),yr(2),...,yr(t)的编码的比特数br、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的采样数t，通过下述的式(1-7-2)得到右声道校正系数cr(步骤s140-12)。
[0131]
[数学式13]
[0132][0133]
接着，右声道减法增益估计部140得到将在步骤s140-11中得到的归一化的内积值rr与在步骤s140-12中得到的右声道校正系数cr相乘而得到的值(步骤s140-13)。接着，右声道减法增益估计部140得到最接近于所存储的右声道减法增益的候选β
cand
(1),...,β
cand
(b)中的在步骤s140-13中得到的乘法值cr×rr
的候选(乘法值cr×rr
的量化值)作为右声道减法增益β，得到与所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的右声道减法增益β对应的编码作为右声道减法增益cβ(步骤s140-14)。
[0134]
另外，在立体声编码部170中右声道差分信号yr(1),yr(2),...,yr(t)的编码中使用的比特数br未被明确地确定的情况下，将立体声编码部170输出的立体声编码cs的比特数bs的二分之一(即，bs/2)用作比特数br即可。另外，右声道校正系数cr也可以不是由式(1-7-2)本身得到的值，而是大于0小于1的值，且是如下的值：在用于右声道差分信号yr(1),yr(2),...,yr(t)的编码的比特数br与用于缩混信号xm(1),xm(2),...,xm(t)(t)的编码的比特数bm相同时为0.5，比特数br比比特数bm越多则比0.5越接近0，比特数br比比特数bm越少则比0.5越接近1。这些在后述的各例中也是同样的。
[0135]
〔〔左声道减法增益解码部230〕〕
[0136]
在左声道减法增益解码部230中，与存储在对应的编码装置100的左声道减法增益估计部120中的部分相同地，被预先存储有多组(a组,a＝1,
…
,a)的左声道减法增益的候选α
cand
(a)和与该候选对应的编码cα
cand
(a)的组。左声道减法增益解码部230将与所存储的编码cα
cand
(1),...,cα
cand
(a)中的所输入的左声道减法增益编码cα对应的左声道减法增益的候选得到作为左声道减法增益α(步骤s230-11)。
[0137]
〔〔右声道减法增益解码部250〕〕
[0138]
在右声道减法增益解码部250中，与存储在对应的编码装置100的右声道减法增益估计部140中的部分相同地，被预先存储有多组(b组,b＝1,
…
,b)的右声道减法增益的候选β
cand
(b)和与该候选对应的编码cβ
cand
(b)的组。右声道减法增益解码部250将与所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的被输入的右声道减法增益编码cβ对应的右声道减法增益的候选得到作为右声道减法增益β(步骤s250-11)。
[0139]
另外，在左声道和右声道中使用相同的减法增益的候选、编码即可，设上述的a和b为相同的值，也可以使在左声道减法增益估计部120和左声道减法增益解码部230中存储的左声道减法增益的候选α
cand
(a)和与该候选对应的编码cα
cand
(a)的组、在右声道减法增益估计部140和右声道减法增益解码部250中存储的右声道减法增益的候选β
cand
(b)和与该候选对应的编码cβ
cand
(b)的组相同。
[0140]
〔〔例1的变形例〕〕
[0141]
在编码装置100中用于左声道差分信号的编码的比特数b
l
是在解码装置200中用于左声道差分信号的解码的比特数，在编码装置100中用于缩混信号的编码的比特数bm的值是在解码装置200中用于缩混信号的解码的比特数，所以校正系数c
l
即使在编码装置100和解码装置200中也能够计算相同的值。因此，也可以将归一化的内积值r
l
作为编码和解码的对象，在编码装置100和解码装置200中对归一化的内积值的量化值^r
l
乘以校正系数c
l
，得到左声道减法增益α。对于右声道也同样的。将该方式作为例1的变形例进行说明。
[0142]
〔〔左声道减法增益估计部120〕〕
[0143]
在左声道减法增益估计部120中，被预先存储有多组(a组,a＝1,
…
,a)的左声道的归一化的内积值的候选r
lcand
(a)和与该候选对应的编码cα
cand
(a)的组。如图6所示，左声道减法增益估计部120进行例1中已说明的步骤s120-11和步骤s120-12、下述的步骤s120-15和步骤s120-16。
[0144]
左声道减法增益估计部120首先与例1的左声道减法增益估计部120的步骤s120-11同样地，根据所输入的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和缩混信号xm(1),xm(2),...,xm(t)，通过式(1-4)得到针对缩混信号的左声道的输入声音信号的归一化的内积值r
l
(步骤s120-11)。接着，左声道减法增益估计部120得到与所存储的左声道的归一化的内积值的候选r
lcand
(1),...,r
lcand
(a)中的通过步骤s120-11得到的归一化的内积值r
l
最接近的候选(归一化的内积值r
l
的量化值)^r
l
，得到与所存储的编码cα
cand
(1),...,cα
cand
(a)中的该最接近的候选^r
l
对应的编码作为左声道减法增益编码cα(步骤s120-15)。另外，左声道减法增益估计部120与例1的左声道减法增益估计部120的步骤s120-12同样地，使用在立体声编码部170中用于左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的编码的比特数b
l
、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的采样数t，通过式(1-7)得到左声道校正系数c
l
(步骤s120-12)。接着，左声道减法增益估计部120得到将在步骤s120-15中得到的归一化的内积值的量化值^r
l
与在步骤s120-12中得到的左声道校正系数c
l
相乘而得到的值作为左声道减法增益α(步骤s120-16)。
[0145]
〔〔右声道减法增益估计部140〕〕
[0146]
在右声道减法增益估计部140中，被预先存储有多组(b组,b＝1,
…
,b)的右声道的归一化的内积值的候选r
rcand
(b)和与该候选对应的编码cβ
cand
(b)的组。如图6所示，右声道减法增益估计部140进行在例1中说明过的步骤s140-11和步骤s140-12、下述的步骤s140-15和步骤s140-16。
[0147]
右声道减法增益估计部140首先与例1的右声道减法增益估计部140的步骤s140-11同样地，根据所输入的右声道的输入声音信号xr(1),xr(2),...,xr(t)和缩混信号xm(1),xm(2),...,xm(t)，通过式(1-4-2)得到针对缩混信号的右声道的输入声音信号的归一化的内积值rr(步骤s140-11)。接着，右声道减法增益估计部140得到与所存储的右声道的归一化的内积值的候选r
rcand
(1),...,r
rcand
(b)中的通过步骤s140-11得到的归一化的内积值rr最接近的候选(归一化的内积值rr的量化值)^rr，得到与所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的该最接近的候选rr对应的编码作为右声道减法增益编码cβ(步骤s140-15)。然后，右声道减法增益估计部140与例1的右声道减法增益估计部140的步骤s140-12同样地，使用在立体声编码部170中用于右声道差分信号yr(1),yr(2),...,yr(t)的编码的比特数br、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的
采样数t，通过式(1-7-2)得到右声道校正系数cr(步骤s140-12)。接着，右声道减法增益估计部140得到将在步骤s140-15中得到的归一化的内积值的量化值^rr与在步骤s140-12中得到的右声道校正系数cr相乘后的值作为右声道减法增益β(步骤s140-16)。
[0148]
〔〔左声道减法增益解码部230〕〕
[0149]
在左声道减法增益解码部230中，与存储在对应的编码装置100的左声道减法增益估计部120中的部分相同地，被预先存储有多组(a组,a＝1,
…
,a)的左声道的归一化的内积值的候选r
lcand
(a)和与该候选对应的编码cα
cand
(a)的组。左声道减法增益解码部230进行如图7所示的以下的步骤s230-12至步骤s230-14。
[0150]
左声道减法增益解码部230将与所存储的编码cα
cand
(1),...,cα
cand
(a)中的所输入的左声道减法增益编码cα对应的左声道的归一化的内积值的候选得到作为左声道的归一化的内积值的解码值^r
l
(步骤s230-12)。此外，左声道减法增益解码部230使用在立体声解码部220中用于左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)的解码的比特数b
l
、在单声道解码部210中用于单声道解码声音信号^xm(1),^xm(2),...,^xm(t)的解码的比特数bm、以及每帧的采样数t，通过式(1-7)得到左声道校正系数c
l
(步骤s230-13)。接着，左声道减法增益解码部230得到将在步骤s230-12中得到的归一化的内积值的解码值^r
l
与在步骤s230-13中得到的左声道校正系数c
l
相乘而得到的值作为左声道减法增益α(步骤s230-14)。
[0151]
另外，在立体声编码cs是将左声道差分编码cl和右声道差分编码cr合并后的编码的情况下，在立体声解码部220中用于左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)的解码的比特数b
l
是左声道差分编码cl的比特数。在立体声解码部220中用于左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)的解码的比特数b
l
未被明确地确定的情况下，将输入立体声解码部220的立体声编码cs的比特数bs的二分之一(即，bs/2)用作比特数b
l
即可。在单声道解码单元210中用于单声道解码音频信号^xm(1),^xm(2),...,^xm(t)的解码的比特数bm是单声道编码cm的比特数。左声道校正系数c
l
不是由式(1-7)本身得到的值，而是大于0小于1的值，且是如下的值：在用于左声道解码差分信号^y
l
(1),^y
l
(2),...,^y
l
(t)的解码的比特数b
l
和用于单声道解码声音信号^xm(1),^xm(2),...,^xm(t)的解码的比特数bm相同时为0.5，比特数b
l
比比特数bm越多则比0.5越接近0，比特数b
l
比比特数bm越少则比0.5越接近1。
[0152]
〔〔右声道减法增益解码部250〕〕
[0153]
在右声道减法增益解码部250中，与存储在对应的编码装置100的右声道减法增益估计部140中的部分相同地，被预先存储有多组(b组,b＝1,
…
,b)的右声道的归一化的内积值的候选r
rcand
(b)和与该候选对应的编码cβ
cand
(b)的组。右声道减法增益解码部250进行如图7所示的以下的步骤s250-12至步骤s250-14。
[0154]
右声道减法增益解码部250将与所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的被输入的右声道减法增益编码cβ对应的右声道的归一化的内积值的候选得到作为右声道的归一化的内积值的解码值^rr(步骤s250-12)。此外，右声道减法增益解码单元250使用在立体声解码单元220中用于右声道解码差分信号^yr(1),^yr(2),...,^yr(t)的解码的比特数br、在单声道解码单元210中用于单声道解码声音信号^xm(1),^xm(2),...,^xm(t)的解码的比特数bm、以及每帧的采样数t，通过式(1-7-2)得到右声道校正系数cr(步骤s250-13)。接着，右
声道减法增益解码部250得到将在步骤s250-12中得到的归一化的内积值的解码值^rr与在步骤s250-13中得到的右声道校正系数crr相乘而得到的值作为右声道减法增益β(步骤s250-14)。
[0155]
另外，在立体声编码cs是将左声道差分编码cl和右声道差分编码cr合并后的编码的情况下，在立体声解码部220中用于右声道解码差分信号^yr(1),^yr(2),...,^yr(t)的解码的比特数br是右声道差分编码cr的比特数。在立体声解码部220中用于右声道解码差分信号^yr(1),^yr(2),...,^yr(t)的解码的比特数br未被明确地确定的情况下，将输入立体声解码部220的立体声编码cs的比特数bs的二分之一(即，bs/2)用作比特数br即可。在单声道解码单元210中用于单声道解码音频信号xm(1),^xm(2),...,^xm(t)的解码的比特数bm是单声道编码cm的比特数。右声道校正系数cr不是由式(1-7-2)本身得到的值，而是大于0小于1的值，当且是如下的值：在用于右声道解码差分信号^yr(1),^yr(2),...,^yr(t)的解码的比特数br和用于单声道解码声音信号^xm(1),^xm(2),...,^xm(t)的解码的比特数bm相同时为0.5，比特数br比比特数bm越多则比0.5越接近0，比特数br比比特数bm越少则比0.5越接近1。
[0156]
另外，在左声道和右声道中使用相同的归一化的内积值的候选、编码即可，设上述的a和b为相同值，也可以使在左声道减法增益估计部120和左声道减法增益解码部230中存储的左声道的归一化的内积值的候选r
lcand
(a)和与该候选对应的编码cα
cand
(a)的组、在右声道减法增益估计部140和右声道减法增益解码部250中存储的右声道的归一化的内积值的候选r
rcand
(b)和与该候选对应的编码cβ
cand
(b)的组相同。
[0157]
另外，编码cα实质上是与左声道减法增益α对应的编码，根据在编码装置100和解码装置200的说明中使语句匹配的目的等而称为左声道减法增益编码，但从表示归一化的内积值的编码来看，也可以称为左声道内积编码等。编码cβ也同样地，也可以称为右声道内积编码等。
[0158]
〔〔例2〕〕
[0159]
将使用还考虑了过去的帧的输入值而得到的值作为归一化的内积值的例子作为例2进行说明。例2不严格地保证帧内的最佳性、即左声道的解码声音信号具有的量化误差的能量的最小化和右声道的解码声音信号具有的量化误差的能量的最小化，而减少左声道减法增益α的帧间的急剧的变动和右声道减法增益β的帧间的急剧的变动，降低由于该变动而在解码声音信号中产生的噪声。即，例2除了减小解码声音信号具有的量化误差的能量之外，还考虑解码声音信号的听觉质量。
[0160]
例2在编码侧、即左声道减法增益估计部120和右声道减法增益估计部140与例1不同，但在解码侧、即左声道减法增益解码部230和右声道减法增益解码部250与例1相同。以下，以例2与例1不同的点为中心进行说明。
[0161]
〔〔左声道减法增益估计部120〕〕
[0162]
如图8所示，左声道减法增益估计部120进行下述的步骤s120-111至步骤ss120-113、以及例1中说明过的步骤s120-12至步骤ss120-14。
[0163]
左声道减法增益估计部120首先使用所输入的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)、所输入的缩混信号xm(1),xm(2),...,xm(t)、以及在之前的帧中使用的内积值e
l
(-1)，通过下述的式(1-8)得到在当前的帧中使用的内积值e
l
(0)(步骤s120-111)。
[0164]
[数学式14]
[0165][0166]
在此，ε
l
是大于0小于1的预先决定的值，被预先存储在左声道减法增益估计部120中。另外，左声道减法增益估计部120为了将得到的内积值e
l
(0)作为“之前的帧中使用的内积值e
l
(-1)”而在下一帧中使用，而存储在左声道减法增益估计部120中。
[0167]
左声道减法增益估计部120还使用所输入的缩混信号xm(1),xm(2),...,xm(t)和之前的帧中使用的缩混信号的能量em(-1)，通过下述的式(1-9)得到在当前帧中使用的缩混信号的能量em(0)(步骤s120-112)。
[0168]
[数学式15]
[0169][0170]
在此，εm是大于0小于1的预先确定的值，被预先存储在左声道减法增益估计部120中。另外，左声道减法增益估计部120为了将得到的缩混信号的能量em(0)作为“之前的帧中使用的缩混信号的能量em(-1)”而在下一帧中使用，而存储在左声道减法增益估计部120中。
[0171]
接着，左声道减法增益估计部120使用在步骤s120-111中得到的当前帧中使用的内积值e
l
(0)和在步骤s120-112中得到的当前帧中使用的缩混信号的能量em(0)，通过下述式(1-10)得到归一化的内积值r
l
(步骤s120-113)。
[0172]
[数学式16]
[0173]rl
＝e
l
(0)/em(0)
…
(1-10)
[0174]
左声道减法增益估计部120还进行步骤s120-12，接着，代替在步骤s120-11中得到的归一化的内积值r
l
，而使用在上述的步骤s120-113中得到的归一化的内积值r
l
来进行步骤s120-13，进而进行步骤s120-14。
[0175]
另外，上述的ε
l
以及εm越接近1，则在归一化的内积值r
l
中越容易包含过去的帧的左声道的输入声音信号和缩混信号的影响，归一化的内积值r
l
、通过归一化的内积值r
l
得到的左声道减法增益α的帧间的变动变小。
[0176]
〔〔右声道减法增益估计部140〕〕
[0177]
如图8所示，右声道减法增益估计部140进行以下的步骤s140-111到步骤s140-113、在例1中说明过的步骤s140-12到步骤s140-14。
[0178]
右声道减法增益估计部140首先使用所输入的右声道的输入声音信号xr(1),xr(2),...,xr(t)、所输入的缩混信号xm(1),xm(2),...,xm(t)、以及在之前的帧中使用的内积值er(-1)，通过下述的式(1-8-2)得到在当前的帧中使用的内积值er(0)(步骤s140-111)。
[0179]
[数学式17]
[0180][0181]
在此，εr是大于0小于1的预先决定的值，被预先存储在右声道减法增益估计部140中。另外，右声道减法增益估计部140为了将得到的内积值er(0)作为在“之前的帧中使用的内积值er(-1)”而在下一帧中使用，而存储在右声道减法增益估计部140中。
[0182]
右声道减法增益估计部140还使用所输入的缩混信号xm(1),xm(2),...,xm(t)和之前的帧中使用的缩混信号的能量em(-1)，通过式(1-9)得到在当前帧中使用的缩混信号的能量em(0)(步骤s140-112)。右声道减法增益估计部140为了使所得到的缩混信号的能量em(0)作为“在之前的帧中使用的缩混信号的能量em(-1)”而在下一帧中使用，而存储在右声道减法增益估计部140中。另外，在左声道减法增益估计部120中也通过式(1-9)得到在当前的帧中使用的缩混信号的能量em(0)，所以左声道减法增益估计部120进行的步骤s120-112和右声道减法增益估计部140进行的步骤s140-112也可以仅进行任一方。
[0183]
接着，右声道减法增益估计部140使用在步骤s140-111中得到的当前帧中使用的内积值er(0)和在步骤s140-112中得到的当前帧中使用的缩混信号的能量em(0)，通过下述式(1-10-2)得到归一化的内积值rr(步骤s140-113)。
[0184]
[数学式18]
[0185]rr
＝er(0)/em(0)
…
(1-10-2)
[0186]
右声道减法增益估计部140还进行步骤s140-12，接着，代替在步骤s140-11中得到的归一化的内积值rr，而使用在上述的步骤s140-113中得到的归一化的内积值rr来进行步骤s140-13，进而进行步骤s140-14。
[0187]
另外，上述的εr以及εm越接近1，则在归一化的内积值rr中越容易包含过去的帧的右声道的输入声音信号和缩混信号的影响，归一化的内积值rr、通过归一化的内积值rr得到的右声道减法增益β的帧间的变动越小。
[0188]
〔〔例2的变形例〕〕
[0189]
关于例2，也能够进行与相对于例1的例1的变形例同样的变形。将该方式作为例2的变形例进行说明。例2的变形例在编码侧、即左声道减法增益估计部120和右声道减法增益估计部140与例1的变形例不同，但解码侧、即左声道减法增益解码部230和右声道减法增益解码部250与例1的变形例相同。与例2的变形例的例1的变形例不同的点与例2相同，因此，以下，适当参照例1的变形例和例2对例2的变形例进行说明。
[0190]
〔〔左声道减法增益估计部120〕〕
[0191]
在左声道减法增益估计部120中，与例1的变形例的左声道减法增益估计部120同样地，被预先存储有多组(a组,a＝1,
…
,a)的左声道的归一化的内积值的候选r
lcand
(a)和与该候选对应的编码cα
cand
(a)的组。如图9所示，左声道减法增益估计部120进行与例2相同的步骤s120-111至步骤s120-113、与例1的变形例相同的步骤s120-12、步骤s120-15以及步骤s120-16。具体而言，如下所述。
[0192]
左声道减法增益估计部120首先使用所输入的左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)、所输入的缩混信号xm(1),xm(2),...,xm(t)、以及在之前的帧中使用的内积
值e
l
(-1)，通过式(1-8)得到在当前的帧中使用的内积值e
l
(0)(步骤s120-111)。左声道减法增益估计部120还使用所输入的缩混信号xm(1),xm(2),...,xm(t)和之前的帧中使用的缩混信号的能量em(-1)，通过式(1-9)得到在当前帧中使用的缩混信号的能量em(0)(步骤s120-112)。接着，左声道减法增益估计部120使用在步骤s120-111中得到的当前帧中使用的内积值e
l
(0)和在步骤s120-112中得到的当前帧中使用的缩混信号的能量em(0)，通过式(1-10)得到归一化的内积值r
l
(步骤s120-113)。接着，左声道减法增益估计部120得到与所存储的左声道的归一化的内积值的候选r
lcand
(1),...,r
lcand
(a)中的在步骤s120-113中得到的归一化的内积值r
l
最接近的候选(归一化的内积值r
l
的量化值)^r
l
，得到与所存储的编码cα
cand
(1),...,cα
cand
(a)中的该最接近的候选r
l
对应的编码作为左声道减法增益编码cα(步骤s120-15)。此外，左声道减法增益估计部120使用在立体声编码部170中用于左声道差分信号y
l
(1),y
l
(2),...,y
l
(t)的编码的比特数b
l
、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的采样数t，通过式(1-7)得到左声道校正系数c
l
(步骤s120-12)。接着，左声道减法增益估计部120得到将在步骤s120-15中得到的归一化的内积值的量化值^r
l
和在步骤s120-12中得到的左声道校正系数c
l
相乘而得到的值作为左声道减法增益α(步骤s120-16)。
[0193]
〔〔右声道减法增益估计部140〕〕
[0194]
在右声道减法增益估计部140中，与例1的变形例的右声道减法增益估计部140同样地，被预先存储有多组(b组,b＝1,
…
,b)的右声道的归一化的内积值的候选r
rcand
(b)和与该候选对应的编码cβ
cand
(b)的组。如图9所示，右声道减法增益估计部140进行与例2相同的步骤s140-111至步骤s140-113、与例1的变形例相同的步骤s140-12、步骤s140-15以及步骤s140-16。具体而言，如下所述。
[0195]
右声道减法增益估计部140首先使用所输入的右声道的输入声音信号xr(1),xr(2),...,xr(t)、所输入的缩混信号xm(1),xm(2),...,xm(t)、以及在之前的帧中使用的内积值er(-1)，通过式(1-8-2)，得到在当前的帧中使用的内积值er(0)(步骤s140-111)。右声道减法增益估计部140还使用所输入的缩混信号xm(1),xm(2),...,xm(t)和之前的帧中使用的缩混信号的能量em(-1)，通过式(1-9)得到在当前帧中使用的缩混信号的能量em(0)(步骤s140-112)。接着，右声道减法增益估计部140使用在步骤s140-111中得到的当前帧中使用的内积值er(0)和在步骤s140-112中得到的当前帧中使用的缩混信号的能量em(0)，通过式(1-10-2)得到归一化的内积值rr(步骤s140-113)。接着，右声道减法增益估计部140得到与所存储的右声道的归一化的内积值的候选r
rcand
(1),...,r
rcand
(b)中的在步骤s140-113中得到的归一化的内积值rr最接近的候选(归一化的内积值rr的量化值)^rr，得到所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的与该最接近的候选rr对应的编码作为右声道减法增益编码cβ(步骤s140-15)。此外，右声道减法增益估计部140使用在立体声编码部170中用于右声道差分信号yr(1),yr(2),...,yr(t)的编码的比特数br、在单声道编码部160中用于缩混信号xm(1),xm(2),...,xm(t)的编码的比特数bm、以及每帧的采样数t，通过式(1-7-2)得到右声道校正系数cr(步骤s140-12)。接着，右声道减法增益估计部140得到将在步骤s140-15中得到的归一化的内积值的量化值^rr与在步骤s140-12中得到的右声道校正系数cr相乘而得的值作为右声道减法增益β(步骤s140-16)。
[0196]
〔〔例3〕〕
[0197]
例如，在左声道的输入声音信号中包含的音声、音乐等声音与右声道的输入声音信号中包含的音声、音乐等声音不同的情况下，由于在缩混信号中左声道的输入声音信号的成分也能够包含右声道的输入声音信号的成分，所以存在如下课题：作为左声道减法增益α而越使用较大的值，则越听成左声道解码声音信号中包含来自原本不应该听见的右声道的输入声音信号的声音，作为右声道减法增益β而越使用较大的值，则越听成右声道解码声音信号中包含来自原本不应该听见的左声道的输入声音信号的声音。因此，虽然没有严格保证解码声音信号具有的量化误差的能量的最小化，但是考虑到听觉质量，也可以将左声道减法增益α和右声道减法增益β设为比通过例1求得的值小的值。另外，同样地，也可以将左声道减法增益α和右声道减法增益β设为比通过例2求得的值小的值。
[0198]
具体而言，关于左声道，在例1以及例2中，将归一化的内积值r
l
与左声道校正系数c
l
的乘法值c
l
×rl
的量化值设为左声道减法增益α，在例3中，将归一化的内积值r
l
、左声道校正系数c
l
和作为大于0小于1的预先决定的值的λ
l
的乘法值λ
l
×cl
×rl
的量化值设为左声道减法增益α。因此，也可以与例1、例2同样，将乘法值c
l
×rl
作为左声道减法增益估计部120中的编码和左声道减法增益解码部230中的解码的对象，如左声道减法增益编码cα表示乘法值c
l
×rl
的量化值那样，左声道减法增益估计部120和左声道减法增益解码部230将乘法值c
l
×rl
的量化值与λ
l
相乘并得到左声道减法增益α。或者，也可以将归一化的内积值r
l
、左声道校正系数c
l
和预先设定的值λ
l
的乘法值λ
l
×cl
×rl
作为左声道减法增益估计部120中的编码和左声道减法增益解码部230中的解码的对象，左声道减法增益编码cα表示乘法值λ
l
×cl
×rl
的量化值。
[0199]
同样地，关于右声道，在例1以及例2中，将归一化的内积值rr与右声道校正系数cr的乘法值cr×rr
的量化值设为右声道减法增益β，与此相对，在例3中，将归一化的内积值rr、右声道校正系数cr和作为大于0小于1的预先决定的值的λr的乘法值λr×cr
×rr
的量化值设为右声道减法增益β。因此，也可以与例1、例2同样，将乘法值cr×rr
作为右声道减法增益估计部140中的编码和右声道减法增益解码部250中的解码的对象，如右声道减法增益编码cβ表示乘法值cr×rr
的量化值那样，右声道减法增益估计部140和右声道减法增益解码部250将乘法值cr×rr
的量化值和λr相乘而得到右声道减法增益β。或者，也可以将归一化的内积值rr、左声道校正系数cr以及预定的值λr的乘法值λr×cr
×rr
作为右声道减法增益估计部140的编码和右声道减法增益解码部250的解码的对象，右声道减法增益编码cβ表示乘法值λr×cr
×rr
的量化值。此外，设λr为与λ
l
相同的值即可。
[0200]
〔〔例3的变形例〕〕
[0201]
如上所述，无论编码装置100还是解码装置200，都能够计算相同的值。因此，也可以与例1的变形例、例2的变形例同样地，使归一化的内积值r
l
表示在左声道减法增益估计部120中的编码和左声道减法增益解码部230中的解码的对象，左声道减法增益编码cα表示归一化的内积值r
l
的量化值，左声道减法增益估计部120和左声道减法增益解码部230将归一化的内积值r
l
的量化值、左声道校正系数c
l
和作为大于0小于1的预先确定的值的λ
l
相乘而得到左声道减法增益α。或者，也可以将归一化的内积值r
l
和作为大于0小于1的预先决定的值的λ
l
的乘法值λ
l
×rl
作为左声道减法增益估计部120中的编码和左声道减法增益解码部230中的解码的对象，如左声道减法增益编码cα表示乘法值λ
l
×rl
的量化值那样，左声道减法增益估计部120和左声道减法增益解码部230将乘法值λ
l
×rl
的量化值与左声道校正系
数c
l
相乘而得到左声道减法增益α。
[0202]
对于右声道也是同样地，校正系数cr在编码装置100和解码装置200中也能够计算相同的值。因此，也可以与例1的变形例、例2的变形例同样地将归一化的内积值rr作为右声道减法增益估计部140的编码和右声道减法增益解码部250的解码的对象，如右声道减法增益编码cβ表示归一化的内积值rr的量化值那样，右声道减法增益估计部140和右声道减法增益解码部250将归一化的内积值rr的量化值、右声道校正系数cr和大于0小于1的预先确定的值即λr相乘而得到右声道减法增益β。或者，也可以将归一化的内积值rr与大于0小于1的预先确定的值即λr的乘法值λr×rr
作为右声道减法增益估计部140中的编码和右声道减法增益解码部250中的解码的对象，右声道减法增益编码cβ表示乘法值λr×rr
的量化值，右声道减法增益估计部140和右声道减法增益解码部250将乘法值λr×rr
的量化值与右声道校正系数cr相乘而得到右声道减法增益β。
[0203]
〔〔例4〕〕
[0204]
产生例3的开头中说明的听觉质量的问题的是，左声道的输入声音信号与右声道的输入声音信号的相关性较小时，该课题在左声道的输入声音信号与右声道的输入声音信号的相关性较大时几乎不产生。因此，在例4中，代替例3的预先确定的值，而使用左声道的输入声音信号和右声道的输入声音信号的相关系数即左右相关系数γ，从而左声道的输入声音信号和右声道的输入声音信号的相关越大，则越优先使解码声音信号所具有的量化误差的能量变小，左声道的输入声音信号和右声道的输入声音信号的相关越小，则越优先抑制听觉质量的劣化。
[0205]
例4的编码侧与例1以及例2不同，但解码侧即左声道减法增益解码部230和右声道减法增益解码部250与例1以及例2相同。以下，对例4与例1及例2不同的点进行说明。
[0206]
〔〔左右关系信息估计部180〕〕
[0207]
如图1中虚线所示，例4的编码装置100还包括左右关系信息估计部180。向左右关系信息估计部180输入被输入编码装置100的左声道的输入声音信号和被输入编码装置100的右声道的输入声音信号。左右关系信息估计部180根据所输入的左声道的输入声音信号和右声道的输入声音信号得到左右相关系数γ并输出(步骤s180)。
[0208]
左右相关系数γ是左声道的输入声音信号和右声道的输入声音信号的相关系数，也可以是左声道的输入声音信号的采样列x
l
(1),x
l
(2),...,x
l
(t)和右声道的输入声音信号的采样列xr(1),xr(2),...,xr(t)的相关系数γ0，也可以是考虑了时间差的相关系数、例如左声道的输入声音信号的采样列与位于比该采样列靠后偏离τ采样的位置处的右声道的输入声音信号的采样列的相关系数γ
τ
。
[0209]
设该τ为将由配置于某空间的左声道用的麦克风收集的声音进行ad转换ad转换而得到的声音信号为左声道的输入声音信号、将由配置于该空间的右声道用的麦克风收集的声音进行ad转换ad转换而得到的声音信号为右声道的输入声音信号时的、相当于从在该空间中主要发出声音的声源到左声道用的麦克风的到达时间和从该声源到右声道用的麦克风的到达时间之差(所谓的到达时间差)的信息，下面称为左右时间差。左右时间差τ可以通过公知的任一方法来求得，也可以通过第二参考方式的左右关系信息估计部181说明的方法等来求得。即，上述的相关系数γ
τ
是相当于从声源到左声道用麦克风而收集的声音信号和从该声源到达右声道用麦克风而收集的声音信号的相关系数的信息。
[0210]
〔〔左声道减法增益估计部120〕〕
[0211]
左声道减法增益估计部120将步骤s120-13取而代之，而得到将在步骤s120-11或者步骤s120-113中得到的归一化的内积值r
l
、在步骤s120-12中得到的左声道校正系数c
l
、以及在步骤s180中得到的左右相关系数γ相乘而得到的值(步骤s120-13”)。接着，左声道减法增益估计部120将步骤s120-14取而代之，得到与所存储的左声道减法增益的候补α
cand
(1),...,α
cand
(a)中的步骤s120-13”中得到的乘法值γ
×cl
×rl
最接近的候补(乘法值γ
×cl
×rl
的量化值)作为左声道减法增益α，得到所存储的编码cα
cand
(1),...,cα
cand
(a)中的与左声道减法增益α对应的编码作为左声道减法增益cα(步骤s120-14”)。
[0212]
〔〔右声道减法增益估计部140〕〕
[0213]
右声道减法增益估计部140将步骤s140-13取而代之，得到将在步骤s140-11或者步骤s140-113中得到的归一化的内积值rr、在步骤s140-12中得到的右声道校正系数cr、以及在步骤s180中得到的左右相关系数γ相乘而得到的值(步骤s140-13”)。接着，右声道减法增益估计部140将步骤s140-14取而代之，将与所存储的右声道减法增益的候选β
cand
(1),...,β
cand
(b)中的步骤s140-13”中得到的乘法值γ
×cr
×rr
最接近的候选(乘法值γ
×cr
×rr
的量化值)得到作为右声道减法增益β，得到与所存储的编码cβ
cand
(1),...,cβ
cand
(b)中的右声道减法增益β对应的编码作为右声道减法增益cβ(步骤s140-14”)。
[0214]
〔〔例4的变形例〕〕
[0215]
如上所述，无论编码装置100还是解码装置200，都能够计算相同的值。因此，也可以将归一化的内积值r
l
与左右相关系数γ的乘法值γ
×rl
作为左声道减法增益估计部120中的编码与左声道减法增益解码部230中的解码的对象，如左声道减法增益编码cα表示乘法值γ
×rl
的量化值那样，左声道减法增益估计部120和左声道减法增益解码部230将乘法值γ
×rl
的量化值与左声道校正系数c
l
相乘而得到左声道减法增益α。
[0216]
对于右声道也是同样的，校正系数cr在编码装置100和解码装置200中也能够计算相同的值。因此，也可以将归一化的内积值rr与左右相关系数γ的乘法值γ
×rr
作为右声道减法增益估计部140的编码与右声道减法增益解码部250的解码的对象，如右声道减法增益编码cβ表示乘法值γ
×rr
的量化值那样，右声道减法增益估计部140和右声道减法增益解码部250将乘法值γ
×rr
的量化值和右声道校正系数cr相乘而得到右声道减法增益β。
[0217]
《第二参考方式》
[0218]
对第二参考方式的编码装置和解码装置进行说明。
[0219]
《《编码装置101》》
[0220]
如图10所示，第二参考方式的编码装置101包括：缩混部110、左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140、右声道信号减法部150、单声道编码部160、立体声编码部170、左右关系信息估计部181、以及时移部191。第二参考方式的编码装置101与第一参考方式的编码装置100的不同之处在于：包括左右关系信息估计部181和时移部191；左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140和右声道信号减法部150使用时移部191输出的信号来代替缩混部110输出的信号；以及除了上述各码之外还输出后述的左右时间差编码cτ。第二参考方式的编码装置101的其他结构以及动作与第一参考方式的编码装置100相同。第二参考方式的编码装置101对各帧进行如图11例示的步骤s110至步骤s191的处理。以下，对第二参考方式的编码装置101与第
一参考方式的编码装置100不同的点进行说明。
[0221]
[左右关系信息估计部181]
[0222]
向左右关系信息估计部181输入被输入编码装置101的左声道的输入声音信号和被输入编码装置101的右声道的输入声音信号。左右关系信息估计部181从所输入的左声道的输入声音信号和右声道的输入声音信号，得到左右时间差τ和作为表示左右时间差τ的编码的左右时间差编码cτ并输出(步骤s181)。
[0223]
左右时间差τ是如下信息：在设想为将由配置于某空间的左声道用的麦克风收集到的声音进行ad转换而得到的声音信号是左声道的输入声音信号、将由配置于该空间的右声道用的麦克风收集的声音进行ad转换而得到的声音信号是右声道的输入声音信号时的、相当于从在该空间主要发出声音的声源向左声道用的麦克风的到达时间与从该声源向右声道用的麦克风的到达时间之差(所谓的到达时间差)的信息。另外，不仅到达时间差，为了哪个麦克风早到达的信息也包含在左右时间差τ中，而设左右时间差τ以任一方的输入声音信号为基准能够取正值和负值。也就是说，左右时间差τ是表示相同声音信号包含于左声道的输入声音信号和右声道的输入声音信号中的哪一个的信息。以下，在相同的声音信号比右声道的输入声音信号先包含于左声道的输入声音信号的情况下，也称为左声道先行，在相同的声音信号比左声道的输入声音信号先包含于右声道的输入声音信号的情况下，也称为右声道先行。
[0224]
左右时间差τ也可以通过公知的任一方法来求得。例如，左右关系信息估计部181针对预先决定的τ
max
到τ
min
(例如，τ
max
为正数，τ
min
为负数)的各候补采样数τ
cand
，计算表示左声道的输入声音信号的采样列与比该采样列向后偏离了候补采样数τ
cand
的位置处的右声道的输入声音信号的采样列的相关大小的值(以下，称为相关值)γ
cand
，将相关值γ
cand
成为最大的候补采样数τ
cand
得到作为左右时间差τ。即，在该例子中，在左声道先行的情况下，左右时间差τ为正值，在右声道先行的情况下，左右时间差τ为负值，左右时间差τ的绝对值是表示先行的声道相对于另一个声道大概怎样先行的值(先行的采样数)。例如，在仅使用帧内的采样来计算相关值γ
cand
的情况下，在τ
cand
为正值的情况下，计算右声道的输入声音信号的部分采样列xr(1+τ
cand
),xr(2+τ
cand
),...,xr(t)、和比该部分采样列向前偏离候选采样数τ
cand
的位置处的左声道的输入声音信号的部分采样列x
l
(1),x
l
(2),...,x
l
(t-τ
cand
)的相关系数的绝对值作为相关值γ
cand
，在τ
cand
为负值时，计算左声道的输入声音信号的部分采样列x
l
(1-τ
cand
),x
l
(2-τ
cand
),...,x
l
(t)、和比该部分采样列向前偏离候选采样数-τ
cand
的位置处的右声道的输入声音信号的部分采样列xr(1),xr(2),...,xr(t+τ
cand
)的相关系数的绝对值作为相关值γ
cand
即可。当然，为了计算相关值γ
cand
，也可以使用与当前的帧的输入声音信号的采样列连续的过去的输入声音信号的1个以上的采样，在该情况下，只要将过去的帧的输入声音信号的采样列以预先决定的帧数的量存储于左右关系信息估计部181内的未图示的存储部即可。
[0225]
另外，例如也可以代替相关系数的绝对值，如以下那样使用信号的相位的信息来计算相关值γ
cand
。在该例子中，左右关系信息估计部181首先按照下述的式(3-1)和式(3-2)分别对左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)和右声道的输入声音信号xr(1),xr(2),...,xr(t)进行傅里叶变换，由此得到从0到t-1的各频率k中的频谱x
l
(k)和xr(k)。
[0226]
[数学式19]
[0227][0228]
[数学式20]
[0229][0230]
左右关系信息估计部181使用得到的频谱x
l
(k)以及xr(k)，通过下述的式(3-3)，得到各频率k中的相位差的频谱
[0231]
[数学式21]
[0232][0233]
通过对得到的相位差的光谱进行傅里叶逆变换，如下述的式(3-4)那样，针对从τ
max
到τ
min
的各候补采样数τ
cand
，得到相位差信号ψ(τ
cand
)。
[0234]
[数学式22]
[0235][0236]
得到的相位差信号ψ(τ
cand
)的绝对值表示与左声道的输入声音信号x
l
(1),x
l
(2),...,x
l
(t)以及右声道的输入声音信号xr(1),xr(2),...,xr(t)的时间差的合理性对应的某种相关性，因此将相对于各候补采样数τ
cand
的该相位差信号ψ(τ
cand
)的绝对值作为相关值γ
cand
使用。左右关系信息估计部181得到该相位差信号ψ(τ
cand
)的绝对值即相关值γ
cand
成为最大的候选采样数τ
cand
作为左右时间差τ。另外，也可以代替直接使用相位差信号ψ(τ
cand
)的绝对值作为相关值γ
cand
，而使用例如相对于各τ
cand
位于相对于相位差信号ψ(τ
cand
)的绝对值的τ
cand
前后的多个候补采样数的每一个候补采样数所得到的与相位差信号的绝对值的平均的相对差那样的、被归一化的值。即，关于各τ
cand
，也可以使用预先确定的正数τ
range
，通过下述的式(3-5)得到平均值，使用得到的平均值ψc(τ
cand
)和相位差信号ψ(τ
cand
)，将通过下述的式(3-6)得到的归一化的相关值作为γ
cand
使用。
[0237]
[数学式23]
[0238][0239]
[数学式24]
[0240][0241]
另外，通过式(3-6)得到的归一化的相关值是0以上1以下的值，其是表示τ
cand
作为左右时间差而越合理越接近1、τ
cand
作为左右时间差而越不合理越接近0的性质的值。
[0242]
另外，左右关系信息估计部181用规定的编码方式对左右时间差τ进行编码，得到能够唯一确定左右时间差τ的编码即左右时间差编码cτ即可。作为规定的编码方式，使用标量量化(scalar quantization)等公知的编码方式即可。另外，预先确定的各候补采样数既可以是从τ
max
到τ
min
的各整数值，也可以包含处于从τ
max
到τ
min
之间的分数值、小数值，也可以
不包含处于从τ
max
到τ
min
之间的任一整数值。另外，可以是τ
max
＝-τ
min
，也可以不是。另外，在以某个声道必须在先的特殊的输入声音信号为对象的情况下，也可以是τ
max
和τ
min
均为正数，或者τ
max
和τ
min
均为负数。
[0243]
另外，在编码装置101进行基于使在第一参考方式中说明的例4或者例4的变形例的量化误差最小化的原理的减法增益的估计的情况下，左右关系信息估计部181还输出左声道的输入声音信号的采样列与比该采样列向后偏离了左右时间差τ的位置处的右声道的输入声音信号的采样列的相关值、即针对从τ
max
到τ
min
的各候补采样数τ
cand
计算出的相关值γ
cand
中的最大值作为左右相关系数γ(步骤s180)。
[0244]
[时移部191]
[0245]
向时移部191输入缩混部110输出的缩混信号xm(1),xm(2),...,xm(t)和左右关系信息估计部181输出的左右时间差τ。时移部191在左右时间差τ为正值的情况下(即，左右时间差τ表示左声道先行的情况)，将缩混信号xm(1),xm(2),...,xm(t)直接输出到左声道减法增益估计部120和左声道信号减法部130(即，决定在左声道减法增益估计部120和左声道信号减法部130中使用)，将使缩混信号延迟|τ|采样(左右时间差τ的绝对值的量的采样数，左右时间差τ表示的大小的采样数)而得到的信号xm(1-|τ|),xm(2-|τ|),...,xm(t-|τ|)即延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)输出到右声道减法增益估计部140和右声道信号减法部150(即，决定在右声道减法增益估计部140和右声道信号减法部150中使用)，在左右时间差τ为负值的情况下(即，左右时间差τ表示右声道先行的情况)，将使缩混信号延迟|τ|采样而得的信号xm(1-|τ|),xm(2-|τ|),...,xm(t-|τ|)即延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)输出到左声道减法运算部120和左声道信号减法部130(即，决定在左声道减法运算部120和左声道信号减法部130中使用)，将缩混信号xm(1),xm(2),...,xm(t)直接输出到右声道减法增益估计部140和右声道信号减法部150(即，决定在右声道减法增益估计部140和右声道信号减法部150中使用)，在左右时间差τ为0的情况(即，左右时间差τ表示任一个声道都未先行的情况)下，将缩混信号xm(1),xm(2),...,xm(t)直接输出到左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140和右声道信号减法部150(即，决定在左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140和右声道信号减法部150中使用)(步骤s191)。即，对于左声道和右声道中的上述到达时间较短的声道，将输入的缩混信号直接输出到该声道的减法增益估计部和该声道的信号减法部，对于左声道和右声道中的上述到达时间较长的声道，将使所输入的缩混信号延迟了左右时间差τ的绝对值|τ|而得到的信号输出到该声道的减法增益估计部和该声道的信号减法部。另外，由于在时移部191中为了得到延迟缩混信号而使用过去的帧的缩混信号，因此在时移部191内的未图示的存储部中，将在过去的帧中输入的缩混信号存储预先决定的帧数的量。另外，在左声道减法增益估计部120和右声道减法增益估计部140不是基于使量化误差最小化的原理的方法，而利用如专利文献1所例示那样的公知的方法来得到左声道减法增益α和右声道减法增益β的情况下，在编码装置101的单声道编码部160的后级或单声道编码部160内具备得到与单声道编码cm对应的局部解码信号的单元，在时移部191中，也可以代替缩混信号xm(1),xm(2),...,xm(t)，使用作为单声道编码的局部解码信号的已量化缩混信号^xm(1),^xm(2),...,^xm(t)来进行上述处理。在这种情况下，时移部191输出已量化的缩混信号^xm(1),^xm(2),...,^xm(t)来代替缩混信号xm(1),xm(2),...,xm(t)，输出延迟已量化的缩
混信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)来代替延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)。
[0246]
[左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140、右声道信号减法部150]
[0247]
左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140和右声道信号减法部150使用从时移部191输入的缩混信号xm(1),xm(2),...,xm(t)或延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)来进行与在第一参考方式中说明的相同的动作，而代替缩混部110输出的缩混信号xm(1),xm(2),...,xm(t)(步骤s120、s130、s140、s150、s150)。即，左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140和右声道信号减法部150使用由时移部191决定的缩混信号xm(1),xm(2),...,xm(t)或延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)，进行与第一参考方式中说明的动作相同的动作。另外，时移部191输出已量化缩混信号^xm(1),^xm(2),...,^xm(t)而代替缩混信号xm(1),xm(2),...,xm(t)，输出延迟已量化缩混信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)而代替延迟缩混信号x
m'
(1),x
m'
(2),...,x
m'
(t)的情况下，左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140以及右声道信号减法部150使用从时移部191被输入的已量化缩混信号^xm(1),^xm(2),...,^xm(t)或延迟已量化缩混信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)来进行上述的处理。
[0248]
《《解码装置201》》
[0249]
如图12所示，第二参考方式的解码装置201包括：单声道解码部210、立体声解码部220、左声道减法增益解码部230、左声道信号加法部240、右声道信号减法增益解码部250、右声道信号加法部260、左右时间差解码部271、以及时移部281。第二参考方式的解码装置201与第一参考方式的解码装置200的不同之处在于：除了输入上述的各码以外，还被输入后述的左右时间差编码cτ；包括左右时间差解码部271和时移部281；以及左声道信号加法部240和右声道信号加法部260使用时移部281输出的信号来代替单声道解码部210输出的信号。第二参考方式的解码装置201的其他结构以及动作与第一参考方式的解码装置200相同。第二参考方式的解码装置201对各帧进行如图13例示的步骤s210到步骤s281的处理。以下，对第二参考方式的解码装置201与第一参考方式的解码装置200不同的点进行说明。
[0250]
[左右时间差解码部271]
[0251]
向左右时间差解码部271输入被输入解码装置201的左右时间差编码cτ。左右时间差解码部271以规定的解码方式对左右时间差编码cτ进行解码，得到左右时间差τ并进行输出(步骤s271)。作为规定的解码方式，使用与对应的编码装置101的左右关系信息估计部181中使用的编码方式对应的解码方式。左右时间差解码部271得到的左右时间差τ是与对应的编码装置101的左右关系信息估计部181得到的左右时间差τ相同的值，其是从τ
max
到τ
min
的范围内的任一值。
[0252]
[时移部281]
[0253]
向时移部281输入单声道解码部210输出的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)和左右时间差解码部271输出的左右时间差τ。时移部281在左右时间差τ为正值的情况(即，左右时间差τ表示左声道先行的情况)下，将单声道解码声音信号^xm(1),^xm(2),...,^xm(t)直接输出到左声道信号加法部240(即，决定在左声道信号加法部240中使用)，将使单声道解码声音信号延迟|τ|采样而得的信号^xm(1-|τ|),^xm(2-|τ|),...,^xm(t-|τ|)即延迟单声道解码声音信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)输出到右声道信号加法部260(即，决定在右声道信号加法部260中使用)，在左右时间差τ为负值的情况(即，左右时间差τ表示右声道先行的情况)下，将使单声道解码声音信号延迟|τ|采样而得的信号^xm(1-|τ|),^xm(2-|τ|),...,^xm(t-|τ|)即延迟单声道解码声音信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)输出到左声道信号加法部240(即，决定在左声道信号加法部240中使用)，将单声道解码声音信号^xm(1),^xm(2),...,^xm(t)直接输出到右声道信号加法部260(即，决定在右声道信号加法部260中使用)，在左右时间差τ为0的情况(即，左右时间差τ表示任一个声道都未先行的情况)下，将单声道解码声音信号^xm(1),^xm(2),...,^xm(t)直接输出到左声道信号加法部240和右声道信号加法部260(即，决定在左声道信号加法部240和右声道信号加法部260中使用)(步骤s281)。另外，由于在时移部281中为了得到延迟单声道解码声音信号而使用过去的帧的单声道解码声音信号，因此在时移部281内的未图示的存储部中，将在过去的帧中输入的单声道解码声音信号存储预先决定的帧数的量。
[0254]
[左声道信号加法部240、右声道信号加法部260]
[0255]
左声道信号加法部240和右声道信号加法部260使用从时移部281输入的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)或延迟单声道解码声音信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)来进行与在第一参考方式中说明的相同的动作，而取代由单声道解码部210输出的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)(步骤s240、s260)。即，左声道信号加法部240和右声道信号加法部260使用由时移部281决定的单声道解码声音信号^xm(1),^xm(2),...,^xm(t)或延迟单声道解码声音信号^x
m'
(1),^x
m'
(2),...,^x
m'
(t)，进行与第一参考方式中说明的相同的动作。
[0256]
《第一实施方式》
[0257]
对于第二参考方式的编码装置101进行了考虑左声道的输入声音信号与右声道的输入声音信号的关系而进行生成缩混信号的变形是第一实施方式。以下，对第一实施方式的编码装置进行说明。此外，第一实施方式的编码装置得到的编码能够由第二参考方式的解码装置201解码，所以省略解码装置的说明。
[0258]
《《编码装置102》》
[0259]
如图10所示，第一实施方式的编码装置102包括：缩混部112、左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140、右声道信号减法部150、单声道编码部160、立体声编码部170、左右关系信息估计部182、以及时移部191。第三实施方式的编码装置102与第二参考方式的编码装置101的不同之处在于：包括左右关系信息估计部182来代替左右关系信息估计部181，包括缩混部112来代替缩混部110，如图10中虚线所示，左右关系信息估计部182得到左右相关系数γ和先行声道信息并输出，所输出的左右相关系数γ和先行声道信息被输入缩混部112而使用。第一实施方式的编码装置102的其他结构以及动作与第二参考方式的编码装置101相同。第一实施方式的编码装置102对各帧进行如图14例示的步骤s112至步骤s191的处理。以下，对第一实施方式的编码装置102与第二参考方式的编码装置101的不同点进行说明。
[0260]
[左右关系信息估计部182]
[0261]
向左右关系信息估计部182输入被输入编码装置102的左声道的输入声音信号和被输入编码装置102的右声道的输入声音信号。左右关系信息估计部182根据所输入的左声
道的输入声音信号和右声道的输入声音信号，得到左右时间差τ、作为表示左右时间差τ的编码的左右时间差编码cτ、左右相关系数γ、先行声道信息并输出(步骤s182)。左右关系信息估计部182得到左右时间差τ和左右时间差编码cτ的处理与第二参考方式的左右关系信息估计部181相同。
[0262]
左右相关系数γ是相当于在第二参考方式的左右关系信息估计部181的说明部分上述设想中的、从声源到达左声道用的麦克风而收集的声音信号与从该声源到达右声道用的麦克风而收集的声音信号的相关系数的信息。先行声道信息是相当于声源发出的声音早到达哪个麦克风的信息，是表示相同的声音信号先包含于左声道的输入声音信号和右声道的输入声音信号中的哪一个的信息，是表示左声道和右声道的哪一个声道先行的信息。
[0263]
根据在第二参考方式的左右关系信息估计部181的说明部分上述的例子，左右关系信息估计部182将左声道的输入声音信号的采样列与比该采样列向后偏离左右时间差τ的位置处的右声道的输入声音信号的采样列的相关值、即针对从τ
max
到τ
min
的各候补采样数τ
cand
计算出的相关值γ
cand
中的最大值作为左右相关系数γ而输出。另外，左右关系信息估计部182在左右时间差τ为正值的情况下，将表示左声道先行的信息作为先行声道信息得到并输出，在左右时间差τ为负值的情况下，将表示右声道先行的信息作为先行声道信息得到并输出。当左右时间差τ为0时，左右关系信息估计部182可以将表示左声道先行的信息作为先行声道信息得到并输出，也可以将表示右声道先行的信息作为先行声道信息得到并输出，也可以将表示任一个声道均不先行的信息作为先行声道信息得到并输出。
[0264]
[缩混部112]
[0265]
向缩混部112输入被输入至编码装置102的左声道的输入声音信号、被输入编码装置102的右声道的输入声音信号、左右关系信息估计部182输出的左右相关系数γ、以及左右关系信息估计部182输出的先行声道信息。缩混部112对左声道的输入声音信号和右声道的输入声音信号进行加权平均而得到缩混信号并输出，以使缩混信号中包含左右相关系数γ越大则左声道的输入声音信号和右声道的输入声音信号中先行的声道的输入声音信号越大(步骤s112)。
[0266]
例如，若如在第二参考方式的左右关系信息估计部181的说明部分上述例子那样对相关值使用相关系数的绝对值或归一化的值，则得到的左右相关系数γ为0以上1以下的值，因此，缩混部112将对对应的各采样编号t使用由左右相关系数γ决定的权重将左声道的输入声音信号x
l
(t)和右声道的输入声音信号xr(t)进行加权相加而得的值作为缩混信号xm(t)即可。具体而言，缩混部112在先行声道信息是表示左声道先行的信息的情况下，即在左声道先行的情况下，设为xm(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
xr(t)，在先行声道信息是表示右声道先行的信息的情况下，即在右声道先行的情况下，设为xm(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
xr(t)，得到缩混信号xm(t)即可。通过缩混部112这样得到缩混信号，从而左右相关系数γ越小，即左声道的输入声音信号与右声道的输入声音信号的相关越小，则该缩混信号越接近通过左声道的输入声音信号与右声道的输入声音信号的平均而得到的信号，若左右相关系数γ越大，即左声道的输入声音信号与右声道的输入声音信号的相关越大，则该缩混信号越接近左声道的输入声音信号与右声道的输入声音信号中的先行的声道的输入声音信号。
[0267]
另外，缩混部112在任一个声道均不先行的情况下，以使左声道的输入声音信号和
右声道的输入声音信号以相同的权重包含于缩混信号的方式，对左声道的输入声音信号和右声道的输入声音信号进行平均并得到缩混信号加以输出即可。因此，缩混部112在先行声道信息表示任一声道均不先行的情况下，对于各采样编号t，将左声道的输入声音信号x
l
(t)和右声道的输入声音信号xr(t)取平均后的xm(t)＝(x
l
(t)+xr(t))/2设为缩混信号xm(t)。
[0268]
《第二实施方式》
[0269]
对于第一参考方式的编码装置100，也可以进行考虑左声道的输入声音信号与右声道的输入声音信号的关系而生成缩混信号的变形，将该方式作为第二实施方式进行说明。另外，因为第二实施方式的编码装置得到的编码能够由第一参考方式的解码装置200解码，所以省略解码装置的说明。
[0270]
《《编码装置103》》
[0271]
如图1所示，第二实施方式的编码装置103包括：缩混部112、左声道减法增益估计部120、左声道信号减法部130、右声道减法增益估计部140、右声道信号减法部150、单声道编码部160、立体声编码部170和左右关系信息估计部183。第二实施方式的编码装置103与第一参考方式的编码装置100的不同之处在于：包括缩混部112来代替缩混部110，如图1中虚线所示包括左右关系信息估计部183，左右关系信息估计部183得到左右相关系数γ和先行声道信息并输出，所输出的左右相关系数γ和先行声道信息被输入缩混部112被使用。第二实施方式的编码装置103的其他的结构和动作与第一参考方式的编码装置100相同。此外，第二实施方式的编码装置103的缩混部112的动作与第一实施方式的编码装置102的缩混部112的动作相同。第二实施方式的编码装置103对各帧进行图15所例示的步骤s112至步骤s183的处理。以下，对第二实施方式的编码装置103与第一参考方式的编码装置100和第一实施方式的编码装置102都不同的点进行说明。
[0272]
[左右关系信息估计部183]
[0273]
向左右关系信息估计部183输入被输入编码装置103的左声道的输入声音信号和被输入编码装置103的右声道的输入声音信号。左右关系信息估计部183根据所输入的左声道的输入声音信号和右声道的输入声音信号，得到左右相关系数γ和先行声道信息并输出(步骤s183)。
[0274]
左右关系信息估计部183得到并输出的左右相关系数γ和先行声道信息与第一实施方式中所说明的信息相同。即，除了左右关系信息估计部183可以不得到左右时间差τ和左右时间差编码cτ而不进行输出以外，均与左右关系信息估计部182相同即可。
[0275]
例如，关于从τ
max
到τ
min
的各候补采样数τ
cand
，左右关系信息估计部183将左声道的输入声音信号的采样列与比该采样列向后偏移各候补采样数τ
cand
的位置处的右声道的输入声音信号的采样列的相关值γ
cand
中的最大值作为左右相关系数γ得到并输出，在相关值为最大值时的τ
cand
为正值的情况下，将表示左声道先行的信息得到作为先行声道信息并输出，在相关值为最大值时的τ
cand
为负值的情况下，将表示右声道先行的信息作为先行声道信息得到并输出。当相关值为最大值时的τ
cand
是0时，左右关系信息估计部183可以将表示左声道先行的信息作为先行声道信息得到并输出，也可以将表示右声道先行的信息作为先行声道信息得到并输出，也可以将表示任一个声道都未先行的信息作为先行声道信息得到并输出。
[0276]
《第三实施方式》
[0277]
对于不是对各声道的差分信号而是对各声道的输入声音信号进行立体声编码的编码装置，也可以采用考虑左声道的输入声音信号与右声道的输入声音信号的关系而得到缩混信号的结构，将该方式作为第三实施方式进行说明。
[0278]
《《编码装置104》》
[0279]
如图16所示，第三实施方式的编码装置104包括：左右关系信息估计部183、缩混部112、单声道编码部160和立体声编码部174。第三实施方式的编码装置104针对各帧，进行如图17例示的步骤s183、步骤s112、步骤s160和步骤s174的处理。以下，适当参照第二实施方式的说明，对第三实施方式的编码装置104进行说明。
[0280]
[左右关系信息估计部183]
[0281]
左右关系信息估计部183与第二实施方式的左右关系信息估计部183相同。向左右关系信息估计部183输入被输入编码装置104的左声道的输入声音信号和被输入编码装置104的右声道的输入声音信号。左右关系信息估计部183根据所输入的左声道的输入声音信号和右声道的输入声音信号，得到左声道的输入声音信号和右声道的输入声音信号的相关系数即左右相关系数γ、和表示左声道的输入声音信号和右声道的输入声音信号中的哪一方先行的信息的先行声道信息并输出(步骤s183)。
[0282]
[缩混部112]
[0283]
缩混部112与第二实施方式的缩混部112相同。向缩混部112输入被输入编码装置104的左声道的输入声音信号、被输入编码装置104的右声道的输入声音信号、左右关系信息估计部183所输出的左右相关系数γ、以及左右关系信息估计部183所输出的先行声道信息。缩混部112对左声道的输入声音信号和右声道的输入声音信号进行加权平均而得到缩混信号并输出，以使缩混信号中包含左右相关系数γ越大则左声道的输入声音信号和右声道的输入声音信号中先行的声道的输入声音信号越大(步骤s112)。
[0284]
例如，在将采样编号设为t、将左声道的输入声音信号设为x
l
(t)、将右声道的输入声音信号设为xr(t)、将缩混信号设为xm(t)时，缩混部112在先行声道信息表示左声道先行的情况下，对于各采样编号t，通过xm(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示右声道先行的情况下，对于各采样编号t，通过xm(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示任一声道均不先行的情况下，对于各采样编号t，通过xm(t)＝(x
l
(t)+xr(t))/2得到缩混信号。
[0285]
[单声道编码部160]
[0286]
单声道编码部160与第二实施方式的单声道编码部160相同。向单声道编码部160输入缩混部112输出的缩混信号。单声道编码部160对所输入的缩混信号进行编码而得到单声道码cm并输出(步骤s160)。单声道编码部160也可以使用任意的编码方式，例如可以使用3gpp evs标准那样的编码方式。编码方式可以是与后述的立体声编码部174独立地进行编码处理的编码方式，即不使用由立体声编码部174得到的立体声编码cs’或立体声编码部174进行的编码处理中得到的信息而进行编码处理的编码方式，也可以是使用在由立体声编码部174得到的立体声编码cs’或立体声编码部174进行的编码处理中得到的信息进行编码处理的编码方式。
[0287]
[立体声编码部174]
[0288]
向立体声编码部174输入被输入编码装置104的左声道的输入声音信号和被输入编码装置104的右声道的输入声音信号。立体声编码部174对所输入的左声道的输入声音信号和右声道的输入声音信号进行编码，得到立体声编码cs’并输出(步骤s174)。立体声编码部174可以使用任何编码方式，例如可以使用与mpeg-4aac标准的立体解码方式对应的立体声编码方式，也可以使用对所输入的左声道的输入声音信号和右声道的输入声音信号分别独立地进行编码的编码方式，也可以将通过编码而得到的所有编码合并后的编码作为立体编码cs’即可。编码方式可以是与单声道编码部160独立地进行编码处理的编码方式，即不使用在单声道编码部160中得到的单声道码cm、单声道编码部160进行的编码处理中得到的信息而进行编码处理的编码方式，也可以是使用在单声道编码部160中得到的单声道码cm、单声道编码部160进行的编码处理中得到的信息而进行编码处理的编码方式。
[0289]
《第四实施方式》
[0290]
根据以上的实施方式中的说明可知，如果编码装置至少编码根据左声道的输入声音信号和右声道的输入声音信号得到的缩混信号来得到编码，则无论是什么样的编码装置，都可以采用考虑左声道的输入声音信号和右声道的输入声音信号的关系而得到缩混信号的结构。另外，不限于编码装置，如果信号处理装置至少对根据左声道的输入声音信号和右声道的输入声音信号得到的缩混信号进行信号处理来得到信号处理结果，则无论其怎样的信号处理装置，都可以采用考虑左声道的输入声音信号和右声道的输入声音信号的关系而得到缩混信号的结构。而且，作为在这些编码装置、信号处理装置的前级使用的缩混装置，也可以采用考虑左声道的输入声音信号与右声道的输入声音信号的关系而得到缩混信号的结构。将这些方式作为第四实施方式进行说明。
[0291]
《《声音信号编码装置105》》
[0292]
如图18所示，第四实施例的音频信号编码装置105包括：左右关系信息估计部183、缩混部112和编码部195。第四实施方式的声音信号编码装置105针对各帧，进行如图19例示的步骤s183、步骤s112和步骤s195的处理。以下，适当参照第二实施方式的说明，对第四实施方式的声音信号编码装置105进行说明。
[0293]
[左右关系信息估计部183]
[0294]
左右关系信息估计部183与第二实施方式的左右关系信息估计部183相同，根据所输入的左声道的输入声音信号和右声道的输入声音信号，得到左声道的输入声音信号和右声道的输入声音信号的相关系数即左右相关系数γ、和表示左声道的输入声音信号和右声道的输入声音信号中的哪一方先行的信息即先行声道信息并输出(步骤s183)。
[0295]
[缩混部112]
[0296]
缩混部112与第二实施方式的缩混部112相同，对左声道的输入声音信号和右声道的输入声音信号进行加权平均而得到缩混信号并输出，以使左右相关系数γ越大则在缩混信号中越大地包含左声道的输入声音信号和右声道的输入声音信号中先行的声道的输入声音信号(步骤s112)。
[0297]
[编码部195]
[0298]
向编码部195至少输入缩混部112输出的缩混信号。编码部195对所输入的缩混信号至少进行编码而得到声音信号码并输出(步骤s195)。编码部195可以对左声道的输入声音信号和右声道的输入声音信号也进行编码，也可以将通过该编码得到的编码也包含在声
音信号编码中而输出。在这种情况下，如图18中虚线所示，左声道的输入声音信号和右声道的输入声音信号也被输入编码部195。
[0299]
《《声音信号处理装置305》》
[0300]
如图20所示，第四实施例的音频信号处理装置305包括：左右关系信息估计部183、缩混部112和信号处理部315。第四实施例的音频信号处理装置305针对各帧，进行如图21例示的步骤s183、步骤s112和步骤s315的处理。以下，对第四实施方式的声音信号处理装置305与第四实施方式的声音信号编码装置105不同的点进行说明。
[0301]
[信号处理部315]
[0302]
向信号处理部315至少输入缩混部112输出的缩混信号。信号处理部315至少对输入的缩混信号进行信号处理，得到信号处理结果并进行输出(步骤s315)。信号处理部315也可以对左声道的输入声音信号和右声道的输入声音信号进行信号处理而得到信号处理结果，在该情况下，如图20中虚线所示，向信号处理部315也输入左声道的输入声音信号和右声道的输入声音信号。信号处理部315例如可以对各声道的输入声音信号进行使用了缩混信号的信号处理，作为信号处理结果而得到各声道的输出声音信号，也可以对通过具有与立体声编码部174对应的解码部的解码装置对由第三实施方式的立体声编码部174得到的编码cs’进行解码而得到的左声道的解码声音信号和右声道的解码声音信号进行该信号处理。即，被输入声音信号处理装置305的左声道的输入声音信号和右声道的输入声音信号分别用两个麦克风进行收集并进行ad转换而得到的数字的声音信号或者声音信号并不是必须的，被输入声音信号处理装置305的左声道的输入声音信号和右声道的输入声音信号可以是对编码进行解码而得到的左声道的解码声音信号和右声道的解码声音信号，只要是立体声的二声道的声音信号，则可以是任意得到的声音信号。
[0303]
在被输入声音信号处理装置305的左声道的输入声音信号和右声道的输入声音信号是通过其他装置对编码进行解码而得到的左声道的解码声音信号和右声道的解码声音信号的情况等下，有时通过其他装置得到与左右关系信息估计部183所获得的相同的左右相关系数γ和先行声道信息中的任一方或双方。在通过其他装置得到左右相关系数γ和先行声道信息中的任一方或双方的情况下，如图20中点划线所示，向声音信号处理装置305输入通过其他装置得到的左右相关系数γ和先行声道信息中的任一方或双方即可。在这种情况下，左右关系信息估计部183只要获得未输入声音信号处理装置305的左右相关系数γ或先行声道信息即可，在左右相关系数γ和先行声道信息双方被输入声音信号处理装置305的情况下，声音信号处理装置305可以不具备左右关系信息估计部183而不进行步骤s183。即，如图20中双点划线所示，声音信号处理装置305具备左右关系信息取得部185，左右关系信息取得部185得到左声道的输入声音信号与右声道的输入声音信号的相关系数即左右相关系数γ、和表示左声道的输入声音信号和右声道的输入声音信号中的哪一个先行的信息即先行声道信息并输出即可(步骤s185)。另外，上述的各装置的左右关系信息估计部183和步骤s183也可以说是左右关系信息取得部185和步骤s185的范畴。
[0304]
《《声音信号缩混装置405》》
[0305]
如图22所示，第四实施方式的声音信号缩混装置405包括：左右关系信息取得部185和缩混部112。声音信号缩混装置405针对各帧，进行如图23例示的步骤s185和步骤s112的处理。以下，适当参照第二实施方式的说明对声音信号缩混装置405进行说明。此外，与声
音信号处理装置305同样地，被输入声音信号缩混装置405的左声道的输入声音信号和右声道的输入声音信号可以是由两个麦克风分别收集并进行ad转换而得到的数字的声音信号或者声音信号，也可以是对编码进行解码而得到的左声道的解码声音信号和右声道的解码声音信号，只要是立体声的二声道的声音信号，则可以是任意得到的声音信号。
[0306]
[左右关系信息取得部185]
[0307]
左右关系信息取得部185得到左右相关系数γ和先行声道信息并输出，该左右相关系数γ是左声道的输入声音信号和右声道的输入声音信号的相关系数，该先行声道信息是表示左声道的输入声音信号和右声道的输入声音信号中的哪一方先行的信息(步骤s185)。
[0308]
在通过其他装置得到左右相关系数γ和先行声道信息这两者的情况下，如图22中点划线所示，左右关系信息取得部185从其他装置得到被输入声音信号缩混装置405的左右相关系数γ和先行声道信息，对缩混部112输出。
[0309]
在左右相关系数γ和先行声道信息双方均通过其他装置未得到的情况下，如图22中虚线所示，左右关系信息取得部185具备左右关系信息估计部183。左右关系信息估计部183与第二实施方式的左右关系信息估计部183同样地，从左声道的输入声音信号和右声道的输入声音信号得到左右相关系数γ和先行声道信息，并对缩混部112输出。
[0310]
在左右相关系数γ和先行声道信息中的任一个通过其他装置未获得的情况下，如图22中虚线所示，左右关系信息取得部185具备左右关系信息估计部183。左右关系信息取得部185的左右关系信息估计部183与第二实施方式的左右关系信息估计部183同样地，从左声道的输入声音信号和右声道的输入声音信号得到通过其他装置未得到的左右相关系数γ或通过其他装置未得到的先行声道信息，并对缩混部112输出。关于通过其他装置得到的左右相关系数γ或通过其他装置得到的先行声道信息，如图22中以点划线所示，左右关系信息取得部185将从其他装置输入声音信号缩混装置405的左右相关系数γ或先行声道信息输出到缩混部112。
[0311]
[缩混部112]
[0312]
缩混部112与第二实施方式的缩混部112相同，基于左右关系信息取得部185取得的先行声道信息和左右相关系数，对左声道的输入声音信号和右声道的输入声音信号进行加权平均而得到缩混信号并输出，以使左右相关系数γ越大则在缩混信号中越大地包含左声道的输入声音信号和右声道的输入声音信号中先行的声道的输入声音信号(步骤s112)。
[0313]
例如，在将采样编号设为t、将左声道的输入声音信号设为x
l
(t)、将右声道的输入声音信号设为xr(t)、将缩混信号设为xm(t)时，缩混部112在先行声道信息表示左声道先行的情况下，对于各采样编号t，通过xm(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示右声道先行的情况下，对于各采样编号t，通过xm(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
xr(t)得到缩混信号，在先行声道信息表示任一声道均不先行的情况下，对于各采样编号t，通过xm(t)＝(x
l
(t)+xr(t))/2而得到缩混信号。
[0314]
《程序以及记录介质》
[0315]
也可以通过计算机来实现上述各编码装置、各解码装置、声音信号编码装置、声音信号处理装置以及声音信号缩混装置的各部分的处理，在该情况下，通过程序记述各装置应具有的功能的处理内容。然后，使如图24所示的计算机1000的存储部1020读入该程序，使
运算处理部1010、输入部1030、输出部1040等动作，从而在计算机上实现上述各装置中的各种处理功能。
[0316]
记述了该处理内容的程序能够记录于能够通过计算机读取的记录介质。计算机可读取的记录介质例如是非暂时性的记录介质，具体而言，是磁记录装置、光盘等。
[0317]
而且，该程序的流通例如通过销售、转让、租借等记录了该程序的dvd、cd-rom等可拆装型记录介质来进行。进而，也可以设为将该程序存储在服务器计算机的存储装置中，经由网络，通过将该程序从服务器计算机转发到其它计算机，使该程序流通的结构。
[0318]
执行这样的程序的计算机例如首先将可运输型记录介质中记录的程序或者从服务器计算机转发的程序暂时存储在自己的非临时的存储装置即辅助记录部1050中。然后，在执行处理时，使存储部1020读入自己的非临时的存储装置即辅助记录部1050中存储的程序，执行按照读入的程序的处理。而且，作为该程序的其它执行方式，计算机也可以从可运输型记录介质直接将程序读入到存储部1020，执行按照该程序的处理，进而，也可以在每次从服务器计算机对该计算机转发程序时，逐次执行按照接受的程序的处理。而且，也可以设为通过不进行从服务器计算机向该计算机的程序的转发，仅通过该执行指令和结果取得来实现处理功能的、所谓asp(application service provider，应用服务提供商)型的服务，执行上述的处理的结构。而且，本方式中的程序中，包含供电子计算机的处理用的信息即基于程序的信息(虽然不是对于计算机的直接的指令，但是具有规定计算机的处理的性质的数据等)。
[0319]
而且，在本方式中，设为通过在计算机上执行规定的程序来构成本装置，但是也可以硬件性地实现这些处理内容的至少一部分。
[0320]
此外，当然能够在不脱离本发明的主旨的范围内适当变更。

技术特征：

1.一种声音信号缩混方法，其得到将左声道输入声音信号和右声道输入声音信号混合而成的信号即缩混信号，其特征在于，包括：左右关系信息取得步骤，得到先行声道信息和左右相关系数，所述先行声道信息是表示所述左声道输入声音信号和所述右声道输入声音信号中的哪一个先行的信息，所述左右相关系数是所述左声道输入声音信号和所述右声道输入声音信号的相关系数；以及缩混步骤，根据所述先行声道信息和所述左右相关系数，对所述左声道输入声音信号和所述右声道输入声音信号进行加权平均而得到缩混信号，以使所述左右相关系数越大则越大地包含所述左声道输入声音信号和所述右声道输入声音信号中先行的声道的输入声音信号。2.根据权利要求1所述的声音信号缩混方法，其特征在于，设采样编号为t，所述左声道输入声音信号为x
l
(t)，所述右声道输入声音信号为x
r
(t)，所述缩混信号为x
m
(t)，所述左右相关系数为γ，在所述缩混步骤中，在所述先行声道信息表示左声道先行的情况下，对各采样编号t，通过x
m
(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
x
r
(t)得到所述缩混信号，在所述先行声道信息表示右声道先行的情况下，对各采样编号t，通过x
m
(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
x
r
(t)得到所述缩混信号，在所述先行声道信息表示任一声道均不先行的情况下，对各采样编号t，通过x
m
(t)＝(x
l
(t)+x
r
(t))/2得到所述缩混信号。3.一种声音信号缩混方法，其特征在于，作为声音信号缩混步骤而包括权利要求1或2所述的声音信号缩混方法，还包括：单声道编码步骤，对所述缩混步骤得到的所述缩混信号进行编码而得到单声道编码；以及立体声编码步骤，对所述左声道输入声音信号和所述右声道输入声音信号进行编码而得到立体声编码。4.一种声音信号缩混装置，其获得将左声道输入声音信号和右声道输入声音信号混合而成的信号即缩混信号，其特征在于，包括：左右关系信息取得部，得到先行声道信息和左右相关系数，所述先行声道信息是表示所述左声道输入声音信号和所述右声道输入声音信号中的哪一个先行的信息，所述左右相关系数是所述左声道输入声音信号和所述右声道输入声音信号的相关系数；以及缩混部，根据所述先行声道信息和所述左右相关系数，对所述左声道输入声音信号和所述右声道输入声音信号进行加权平均而得到缩混信号，以使所述左右相关系数越大则越大地包含所述左声道输入声音信号和所述右声道输入声音信号中先行的声道的输入声音信号。5.根据权利要求4所述的声音信号降低混合装置，其特征在于，设采样编号为t，所述左声道输入声音信号为x
l
(t)，所述右声道输入声音信号为x
r
(t)，所述缩混信号为x
m
(t)，所述左右相关系数为γ，所述缩混部执行：
在所述先行声道信息表示左声道先行的情况下，对各采样编号t，通过x
m
(t)＝((1+γ)/2)
×
x
l
(t)+((1-γ)/2)
×
x
r
(t)得到所述缩混信号，在所述先行声道信息表示右声道先行的情况下，对各采样编号t，通过x
m
(t)＝((1-γ)/2)
×
x
l
(t)+((1+γ)/2)
×
x
r
(t)得到所述缩混信号，在所述先行声道信息表示任一声道均不先行的情况下，对各采样编号t，通过x
m
(t)＝(x
l
(t)+x
r
(t))/2得到所述缩混信号。6.一种声音信号编码装置，其特征在于，作为声音信号缩混部而包括权利要求4或5所述的声音信号缩混装置，还包括：单声道编码部，对所述缩混部得到的所述缩混信号进行编码而得到单声道编码；以及立体声编码部，对所述左声道输入声音信号和所述右声道输入声音信号进行编码而得到立体声编码。7.一种程序，用于使计算机执行权利要求1或2所述的声音信号缩混方法的各步骤的处理。8.一种程序，用于使计算机执行权利要求3所述的声音信号编码方法的各步骤的处理。9.一种计算机可读取的记录介质，其记录了用于使计算机执行权利要求1或2所述的声音信号缩混方法的各步骤的处理的程序。10.一种计算机可读取的记录介质，其记录了用于使计算机执行权利要求3所述的声音信号编码方法的各步骤的处理的程序。

技术总结

声音信号缩混装置是得到将左声道输入声音信号和右声道输入声音信号混合而成的信号即缩混信号的声音信号缩混装置，其具备：左右关系信息取得部185，得到先行声道信息和左右相关系数，该先行声道信息是表示左声道输入声音信号和右声道输入声音信号中的哪一个先行的信息，该左右相关系数是左声道输入声音信号和右声道输入声音信号的相关系数；以及缩混部112，根据先行声道信息和左右相关系数，对左声道输入声音信号和右声道输入声音信号进行加权平均而得到缩混信号，以使左右相关系数越大则越大地包含左声道输入声音信号和右声道输入声音信号中先行的声道的输入声音信号。入声音信号中先行的声道的输入声音信号。入声音信号中先行的声道的输入声音信号。