3.1 设信源⎭⎬⎫⎩⎨⎧=⎥⎦⎤⎢⎣⎡4.06.0)(21x x X P X 通过一干扰信道,接收符号为Y = { y1, y2 },信道转移矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡43416165,求:(1) 信源X 中事件x 1和事件x 2分别包含的自信息量;粟裕战争回忆录(2) 收到消息y j (j=1,2)后,获得的关于x i (i=1,2)的信息量; (3) 信源X 和信宿Y 的信息熵;
互信息的深度理解(总结的不错值得⼀看)1.互信息的定义 正式地,两个离散随机变量 X 和 Y 的互信息可以定义为: 其中 p(x,y) 是 X 和 Y 的,⽽p(x)和p(y)分别是 X 和 Y 的分布函数。 在的情形下,求和被替换成了: 其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,⽽p(x)和p(y)分别是 X 和 Y 的边缘概率密