信息论与编码理论1B卷答案

1、B LZ编码是异字头码D 典型序列的数目不一定比非典型的多Kraft不等式。5.(1,1,D1) B (2,2,2,2) C (3,3,3)是只对输出对称的。D (4, 4,广12111、z0.20.40.4X33ao210.20.20.4362B0.40.20.4CD11133040.40.2 ;63040.4o2丿12/<33A、填空题（每空 2分，总计20 分）100比特的信源序列，其中1.若二元离散无记忆中p(0) = 0.25 ,p（1） =0.75，则当给出有5个1,则其自信息为200 _5log23比特,整个序列的熵为100(2 -三log 2 3)比特/符号42.若某离散

2、信道信道转移概率矩阵为0.50.25 0.250.25 0.50.25，则其信道容量为log231.5比.0.25 0.250.5 _特/符号；转移概率矩阵为0.50.250.250.250.250.5，则其信道容量为log231.5比特/符号。'0.250.50.25一3.两个相同的BSC做级联信道，其信道转移矩阵分别为1pp1 - plp 一则级联信道的信道转移矩阵为1 -2p 2p2IL 2p -2p22p-2p21 2p+2p2，无穷多个级联后的矩阵为0.5 0.5o.5 0.5-B卷答案2011-2012信息论与编码理论1单项选择题（每题 3分，总计15分）1.当底为e时，熵

3、的单位为（C）。A 奈特B 哈特C奈特/符号D哈特/符2.下列关系式中（B ）正确。A l(X；Y)_l(X)BH(X,Y)_I(X;Y)C H(X |Y) _ H (Y | X)D1 (X;Y)乞 H (X;Y)3. 下列（D ）陈述是正确的。A Shannon编码是最优码C Huffman编码可以不需要知道信源的分布4. 下列数组中（ A ）不满足二个字母上的4 .若一个信道的输入熵为H （X） =2.6比特/符号，输出熵为 H （Y） =2.3比特/符号 l（X;Y） =1.7比特/符号，则H（X,Y） =3.2比特/符号，散布度为 0.6比特/符号5 在二元LZ编码中，若信源有 K个，

4、某段信源序列共有 M个字典，则码长log 2 M -阿2 K |6 .存在D元唯一可译码，其平均码长必小于H(U)iolog D三、判断题（每题 2分，总计10分）1概率小的事件自信息大（V ）2. 若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。（）3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（V ）4. 平均互信息是下凸函数。（）5. 算数编码需要知道信源的分布。（V）四、计算题（55分）1）（15分）设随机变量 X,Y的联合概率分布如下:101011441012Z 二XY。分别求 H(X), H(Y), H(X |Y), I (X;Z)。解：X的分布率为

5、X01P1122则H（X） =1比特/符号Y的分布率为Y01P13443则 H(Y)-；lOg23 比特 / 符号.010102p(X =0| Y =0)二p(X =0,Y =0)P(Y =0)= 1,p(X-0|Y -1)二p(X =0,Y =1)_ 1P(Y=1)3p(X=1 |Y =0)P(X =1,Y =0)P(Y =0)=0, p(X= 1|Y =1)=P(X =1,Y =1)P(Y =1)1012H(X |Y) - -p(0,0)log2 p(0|0) -p(0,1)log2 p(0 |1) - p(1,0) log 2 p(1|0) - p(1,1) log 2 p(1 |1)1

6、1112 31= log21 log2 0log2 0 log2= log2 3 比特/符号.Z01p1122p(X 75)=0P(Z =1)p(X =0,Z =0)p(X0|0p(P(z0) )=1，p(X-0|Z-1)-p(X 75)=1P(Z =1)p(X =1 |Z =0)=曲集 °=0, p(X =1|Z =1)=P(Z =0)l(X;Z)二 p(0,0)log2p(0|0).p(X =0)p(0,1) log2p(0|1)p(X =0)p(1,0)log2p(1 | 0)p(X =1)p(1,1)log2P(1|1)p(X =1)=0比特/符号.2）（ 20分）若离散无记

7、忆信源的概率分布为（a b c dU =<0.1 0.2 0.3 0.4 丿 分别构造二元，三元 Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano 编码，Shannon-Fano-Elias 编码。并求中二元Huffman编码的编码效率。（只列出式子即可）信源码长累加概率码字d2000c20.401b30.7101a40.91110Fa no编码如下：信源概率第1次分组第2次分组第3次分组码字d0.400c0.31010b0.110110a0.11111 Shannon-Fano-Elias 编码信源概率F(x)F(x)l(x)二元 F (x)码字a0.1

8、0.10.0550.0000100001b0.20.30.240.0001000001c0.30.60.4530.011011d0.410.830.110110二元Huffman编码的平均码长为1 = 3 0.1 3 0.2 2 0.3 1 0.4=1.9解:对信源按概率从大到小排序，U =广dCba,建立码树则有二兀 Huffman编1°40.30.201码：aT 000, bT 001, CT 01, dT 1'd c b a e"要进行三元Huffman编码，则需要添加一个空信源咸为U =5卫.4 0.3 0.2 0.10,建立码树则有三元 Huffman编码

9、：a； 00, b 01, c； 1, d_. 2Shannon编码如下：编码效率为_H(U) _H(U) _H(0.1,020.3,0.4)R l log 21.951、3) ( 20分)若离散无记忆信道的信道转移矩阵为2 2，用两种方法求该信道容量。<4 4方法一：0.50.5-00.5log0.5 0.5log0.5-11(0.25 0.75 + 一 0.25log0.25 0.75log0.75 一 0.8112810.50.5 11 -1 32丨-1-1.3774381护一也.25 0.75_-0.811281 _-1 20.811281 _-0.622562一C 二 log(2 02 J = log(0.384763 0.649773)=log 1.034536 二 0.0345(w(0),w(1) =(2 e_C,2 2) =(0.371918,0.628082)0.657020®(q(0),q(1) =3(0)桃1