习题
3.1 设信源
1
234567
()0.20.190.180.170.150.10.01X a a a a a a a P X
(1) 求信源熵H (X )； (2) 编二进制香农码；
()()log ()
(.log ..log ..log ..log ..log ..log ..log .).7
21
2222222=-020201901901801801701701501501010010012609 i i i H X p a p a bit symbol
(2)
a i p (a i ) p a (a i ) k i 码字 a 1 0.2 0 3 000 a 2 0.19 0.2 3 001 a 3 0.18 0.39 3 011 a 4 0.17 0.57 3 100 a 5 0.15 0.74 3 101 a 6 0.1 0.89 4 1110 a 7
0.01
0.99
7
1111110
(3)
()3(0.2+0.19+0.18+0.17+0.15)+40.1+70.01=3.14
7
1
i i i K k p a
()() 2.609
=83.1%3.14H X H X R K
3.2 对习题3.1的信源编二进制费诺码，计算其编码效率。国民教育委员会
环氧环己烷解：
a i p (a i ) 编 码 码字 k i a 1 0.2 0
00 2 a 2 0.19 1 0 010 3 a 3 0.18 1 011 3 a 4 0.17 1
10 2 a 5 0.15 1
0 110 3 a 6 0.1 1
0 1110 4 a 7
0.01电子束加工
1 1111
4
()2(0.2+0.17)+3(0.19+0.18+0.15)+4(0.1+0.01)=2.74
7
1
i i i K k p a
()() 2.609
=95.2%2.74H X H X R K
3.3 对习题3.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
二进制赫夫曼码：
a i
p (a i ) 编 码
码字 k i S 1
S 2
新疆15个地州市
S 3
S 4
S 5
S 6
1.0
0.61 0 0.39
1 0.35
0.26
1 a 1 0.
2 0 10
2 a 2 0.19
1 11
2 a
3 0.18 0 000 3 a
4 0.17 1
001 3 a 5 0.15
0 010 3 0.11 1
a 6 0.1 0 0110 4 a 7
0.01 1
0111 4
()2(0.2+0.19)+3(0.18+0.17+0.15)+4(0.1+0.01)=2.72
7
1
i i i K k p a
()() 2.609
=95.9%2.72H X H X R K
三进制赫夫曼码：
a i
p (a i ) 编 码 码字 k i S 1 S 2 S 3
1.0
0.54 0
0.26
1 2
a 1 0.2
2 1 a 2 0.19 0
00 2 a 3 0.18 1 01 2 a 4 0.17 2
02 2 a 5 0.15 0
10 2 a 6 0.1 1 11 2 a 7
0.01
2
12 2
()0.2+2(0.19+0.18+0.17+0.15+0.1+0.01)=1.8
7
1
1i i i K k p a
()() 2.609
=91.4%1.8log log 223H X H X K R m L
3.4 设信源
1
2345678()1/21/41/81/161/321/641/1281/128X a a a a a a a a P X
厦门px事件
(1) 计算信源熵；
(2 )编二进制香农码和二进制费诺码；
(3) 计算二进制香农码和费诺码的平均码长和编码效率； (4) 编三进制费诺码；
(5) 计算三进制费诺码的平均码长和编码效率。 解：
(1) 信源熵
8
1
2222222()()log ()
1111111log 2log 4log 8log 16log 32log 642log 1282481632641281.984 ()
i i i H X p a p a bit symbol (2) 二进制香农码：
a i p (a i ) p a (a i ) k i 码字 a 1 0.5 0 1 0 a 2 0.25 0.5 2 10 a 3 0.125 0.75 3 110 a 4 0.0625 0.875 4 1110 a 5 0,03125 0.9375 5 11110 a 6 0.015625 0.96875 6 111110 a 7 0.0078125 0.984375 7 1111110 a 8
0.0078125 0.9921875
7
1111111
二进制费诺码： a i p (a i ) 编 码
码字 k i a 1 0.5 0
0 1 a 2 0.25 1
10 2 a 3 0.125 1
110 3 a 4 0.0625 1
1110 4 a 5 0,03125 1
11110 5 a 6 0.015625 1
111110 6 a 7 0.0078125 1
0 1111110 7 a 8
0.0078125
1
1111111
7
(3) 香农编码效率：
().()().%
.8
1
1111111
123456721984
24816326412819841001984i i i K k p a H X H X R K
费诺编码效率：
().()().%
.8
1
1111111
123456721984
24816326412819841001984i i i K k p a H X H X R K
(4)三进制费诺码
a i p (a i ) 编 码
码字
k i a 1 0.5 0 0 1 a 2 0.25 1
1 1 a 3 0.125
2 0 20 2 a 4 0.0625 1
21 2 a 5 0,03125 2
220 3 a 6 0.015625 1 221 3 a 7 0.0078125 2
0 2220 4 a 8
0.0078125
1
2221
4
(5)
8
1
221111111
()(2()3(42) 1.328
248163264128()() 1.98494.3%
1.328log 3log i i i K k p a H X H X R K m
3.5 设无记忆二进制信源01()090.1X P X .
，先把信源序列编成矢量符号αi ，i =0,1，…，8，再替换成二进制变长码字，如题3.5表所示。 (1) 验证码字的可分离性；
(2) 求对应于一个矢量符号的信源序列的平均长度1K ； (3) 求对应于一个码字的平均长度2K ；
(4) 计算21/K K ，并计算编码效率；
(5) 若用4位信源符号合起来编成二进制赫夫曼码，求它的平均码长K ，并计算编码效率。 解：
题3.5表
信源序列
矢量符号
二 元 码 字 1 α0 1000 01 α1 1001 001 α2 1010 0001 α3 1011 00001 α4 1100 000001 α5 1101 0000001 α6 1110 00000001 α7 1111 00000000
α8
(1) 该码的任何一个码字都不构成另外码字的码头，故该码为异前置码。异前置码为可分离码。容易看出题
3.5表中的码字为游程编码。 (2)
12,0,1,,8,18;1,2,0,1i i i in a a a i n i i in
由于是二元无记忆信源，所以
1212()()()()(),0,1,,8,18;1,2,0,1i i i in i i in p p a a a p a p a p a i n i i in
计算出信源序列的概率如表3.5-2。
表3.5-2
矢量符号i
对应的信源序列
信源序列的概率
()i p
序列长度 二元码长
α0
1 0.1 1 4 α1
01 0.09 2 4 α2
001 0.081 3 4 α3
0001 0.0729 4 4 α4
00001 0.06561 5 4 α5
000001 0.059049 6 4 α6
0000001 0.0531441 7 4 α7
00000001 0.04782969 8 4 α8
00000000 0.43046721
8
1
信源序列的平均长度：
8
10
()0.10.0920.08130.072940.065615
0.05904960.053144170.0478296980.4304672185.6953
i i i K k p
(3) 根据表3.5-2计算
妹网上卖空气8
20
()(0.10.090.0810.07290.06561
0.0590490.05314410.04782969)40.430467212.7086
i i i K k p
(4)
21 2.70860.47565.6953K K
平均码长占平均信源序列长度的比例，代表无记忆二元信源采用游程编码后每个二元信源符号所需的平均码长。
由题目已知条件计算无记忆二元信源的熵： ()()log ().log ..log ..()
2
2221
010*********i i i H X p a p a bit symbol
该游程编码的编码效率：
21()0.469
0.98698.6%0.4756H X K K
(5) 先构造无记忆二元信源的4次扩展信源，再计算扩展信源符号的概率并按从大到小的顺序排列，然后按
照赫夫曼编码规则编码，得到表3.5-3。
X 4 p (αi ) 码字 码长k αi X 4 p (αi ) 码字 码长k αi 0000 0.6561 0 1 1001 0.0081 1001010 7 0001 0.0729 101 3 1010 0.0081 1001011 7 0010 0.0729 110 3 1100 0.0081 1001100 7 0100
0.0729 111 3
0111 0.0009 100110101 9
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议