这里,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义,就是在固定信道的条件下,对所有可能的输入概率分布求平均互信息的极大值。前面已知爬墙党
是输入概率分布的上凸函数,所以极大值一定存在。而是个变量的多元函数。并且满足。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数:解方程组 (4.2.1)
可以先解出达到极值的概率分布和拉格朗日乘子的值,然后在解出信道容量。因为
而,所以
。
解(4.2.1)式有
(对都成立)
又因为
所以(4.2.1)式方程组可以转化为
假设使得平均互信息达到极值的输入概率分布这样有
从而上式左边即为信道容量,得
sony rolly
现在令
式中,是输出端接收到Y后获得关于的信息量,即是信源符号对输出端Y平均提供的互信息。
一般来讲,值与有关。根据(4.2.2)式和(4.2.3)式,
所以对于一般离散信道有如下定理。
定理4.2.1 一般离散信道的平均互信息达到极大值(即等于信道容量)的充要条件是输入概率分布满足
对所有的
对所有的
这时C就是所求的信道容量。
对于离散信道来说,其实信道容量还有一个解法:迭代解法。
定理4.2.2 设信道的向前转移概率矩阵为,是任给的输入字母的一个初始概率分布,其所有分量。按照下式不断地对概率分布进行迭代,更新:
其中
由此所得的序列收敛于信道容量C。
我们还可以将上述过程写成算法以便编制程序实现(如图4.2.1)
图4.2.1 信道容量的迭代算法
对于一些特殊的离散信道,我们有方便的方法计算其信道容量。三洋手机
定义4.2.1 设X和Y分别表示输入信源与输出信源,则我们称为损失熵,为信道噪声熵。
如果信道的损失熵,则次信道容量为
(bit/符号)这里输入信源X的信源符号个数为。
如果信道的噪声熵,则此信道容量为
(bit/符号)
这里输出信源符Y的符号个数为s.
定义4.2.2 一个信道Q称为对称离散信道,如果它满足下面的性质:
(1)信道Q矩阵中每一行是另一行的置换;
(2)每一列式另一列的置换。
例如,信道矩阵
和
满足对称性,所以对应信道是对称离散信道。
定义4.2.3 对称离散信道的信道容量为
(bit/符号)
上式只与対称信道矩阵中行矢量和输出符号集的个数s有关。
证明
而
由于信道的对称性,所以与无关,为一常熟,即
接着举一个例子加以说明。
例4.2.1 某对称离散信倒的信道矩阵为
用公式计算信道容量和平县福和高级中学
(bit/符号)
定义4.2.3 若信道矩阵Q的列可以划分成若干互不相交的子集矩阵,即且。由为列组成的矩阵是对称矩阵,则称信道矩阵Q所对应的信道为准对称信道。
例如,信道矩阵
都是准对称信道,在信道矩阵中,Y可以划分为三个子集,由子集的列组成的矩阵为
, ,
它们满足对称性,所以对应的信道是准对称信道。同理可划分为
,
这两个矩阵也满足对称性。
下面,我们给出准对称离散信道的信道容量计算公式
其中,是输入符号集的个数,为准对称信道矩阵中的行矢量。设矩阵可划分为个互不相交的子集。是第个子矩阵中行元素之和,是第个子矩阵中列元素之和,即
并且可以证明达到准对称离散信道容量的输入分布式等概分布,我们将推导作为习题留给读者。
例4.2.2 设信道传递矩阵为
可表示成如图4.2.2所示,计算其信道容量
根据上面计算公式可得
则有
图4.2.2
下面我们举一些其他信道容量的例子
例4.2.3 设离散信道如图4.2.3所示,输入符号集为,输出符号集为,信道矩阵为
图4.2.3
由于输入符号传递到和是等概率的,所以可以省去。而且与,都分别传递到和,因此可只取和,所以设输入概率分布,,可以计算得,由定理4.2.1得
可见,此假设分布满足定理4.2.1,因此,信道容量
(bit/符号)
最佳分布是
若设输入分布为。同理可得,根据定理4.2.1有
从而,输入分布也是最佳分布,可见,信道最佳输入分布不是唯一的。
对于一般的离散信道,我们很难利用特殊计算方法,因此只能采用解方程组式(4.2.2)的方法。
我们将(4.2.2)式的前r个方程组改写成
江西财经大学学报
移项后得
令,代入上式得
化为矩阵形式为
这是含有个未知数个方程的非齐次线性方程组。
如果设,信道矩阵为非奇异矩阵,则此方程组有解,并且可以求出的数值,然后根据求得信道容量
(bit/符号)
由这个值可解得对应的输出概论分布。
再根据即可解出达到信道容量的最佳输入分布。
下面给出一例。
例4.2.4 设离散无记忆信道输入的符号集为,输出的符号集为,如图4.2.4所示。其信道矩阵为
1/2
1/4 1/4
1
1
1/4 1/4
1/2
我们才用上面所讲的方法来计算信道容量:
解方程组得
信道容量 (bit/符号)
又求得输出分布
因此可以求得最佳输入分布为
例4.2.5 设有两个独立并联信道如图4.2.5,计算它的信道容量。
解 根据定理4.1.1有
即联合平均互信息不大于各自信道的平均互信息之和,因此得到独立并联信道的信道容量为
,是个独立信道的信道容量。
只有当输入符号互相独立,且输入符号的概率分布达到各子信道容量的概率分布时,独立并联信道的信道容量才等于各信道容量之和,即
这个方法推广到N个独立并联信道容量的计算,即有