信息论与编码理论1(B卷答案)

1、2011-2012信息论与编码理论1B卷答案单项选择题(每题3分，总计15分)1 .当底为e时，嫡的单位为(C)。D哈特/符号A奈特B哈特C奈特/符号2 .下列关系式中(B)正确。第6页共5页AI(X；Y)I(X)BH(X,Y)I(X;Y)0.2B 0.40.4总计20分)0.4 0.40.2 0.4 C0.4 0.2CH(X|Y)H(Y|X)DI(X;Y)3 .下列(D)陈述是正确的。AShannon编码是最优码CHuffman编码可以不需要知道信源的分布4 .下列数组中(A)不满足二个字母上的A(1,1,1)B(2,2,2,2)C(3,3,3)5 .下列(D)是只对输出对称的。111A36

2、2111263二、填空题(每空2分，H(X;Y)BLZ编码是异字头码D典型序列的数目不一定比非典型的多Kraft不等式。D(4,4,4)12332 10.20.20.4D3 30.40.40.212331.若二元离散无记忆中p(0)0.25,p(1)0.75,则当给出100比特的信源序列，其中有5个1,则其自信息为200510g23比特.整个序列的嫡为100(2-log23)比特/符号.40.50.250.252.若某离散信道信道转移概率矩阵为0.250.50.25，则其信道容量为log231.5比0.250.250.50.50.250.250.250.250.50.250.50.25特/符号

3、；转移概率矩阵为,则其信道容量为log231.5比特/符号。p1p3.两个相同的BSC做级联信道，其信道转移矩阵分别为HH,则级联信道的1PP信道转移矩阵为1 2p 2p22p 2p22p 2p21 2p 2p2无穷多个级联后的矩阵为0.5 0.50.5 0.54.若一个信道的输入嫡为H(X)2.6比特/符号，输出嫡为H(Y)2.3比特/符号I(X;Y)1.7比特/符号，则H(X,Y)3.2比特/符号,散布度为0.6比特/符号,5 .在二元LZ编码中，若信源有K个，某段信源序列共有M个字典，则码长log2Mlog2Ko6 .存在D元唯一可译码，其平均码长必小于HIU21。logD三、判断题（每

4、题2分，总计10分）1 .概率小的事件自信息大（V）2 .若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。（）3 .若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（V）4 .平均互信息是下凸函数。（）5 .算数编码需要知道信源的分布。（，）四、计算题（55分）1）（15分）设随机变量X,Y的联合概率分布如下：、Y01X011441012ZXY。分别求H(X),H(Y),H(X|Y),I(X;Z)。解：X的分布率为X01P1122则H（X）1比特/符号.Y的分布率为Y01P1344101i2p(X 0|Y 0)P(X 0，Y 叽irx 0|Y 1) P(X 0，Y 1)

5、 = 1P(Y 0)P(Y 1)3p(X 1,Y 0)p(X 1 |Y 0) 上(,)=0, p(X 1|Y 1)P(Y 0)p(X 1,Y 1)2= 一P(Y 1)3H(X |Y)p(0,0) log 2 p(0|0) p(0,1) log 2 p(0|1)p(1,0) log 2 p(1|0)11112 31=-log21 110g2g0log2 0 - log2- =log2 3 万比特/符号.P(1 ,1) log 2 p(1 |1)Z01P1122p(X 01Z 0)p(Xp(z0，Z0) 0)=1，p(X 01Z 1)P(X0，Z 1)=0P(Z 1)p(X1|Z 0)p(X 1,

6、Z 0)P(Z 0)=0, p(X1|Z 1)p(X 1,z 1)=1P(Z 1)I(X;Z) p(0,0) log2 p(0|0)p(0,1) log2 p(0|1)p(X 0)p(X 0)p(1,0)log2p(1 | 0)p(X 1)P(1,1)log2p(1|1)p(X 1)=0比特/符号.2） （20分）若离散无记忆信源的概率分布为abcdU0.10.20.30.4分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias编码。并求中二元Huffman编码的编码效率。（只列出式子即可）解:对信源按概率从

7、大到小排序d c b0.4 0.3 0.2a0.1，建立码树则有二元Huffman 编d c b a e0.4 0.3 0.2 0.10码：a000,b001,c01,d1要进行三元Huffman编码，则需要添加一个空信源，成为U建立码树则有三元Huffman编码：a00,b01,c1,d2Shannon编码如下：信源码长累加概率码字d2000c20.401b30.7101a40.91110Fano编码如下信源概率第1次分组第2次分组第3次分组码字d0.400c0.31010b0.110110a0.11111Shannon-Fano-Elias编码信源概率F(x)F(x)l(x)二元F(x)码

8、字a0.10.10.0550.0000100001b0.20.30.240.0001000001c0.30.60.4530.011011d0.410.830.110110二元Huffman编码的平均码长为l=30.130.220.310.4=1.9编码效率为H(U)H(U)H(0.1,0.2,0.3,0.4)R110g21.9113） （20分）若离散无记忆信道的信道转移矩阵为22,用两种方法求该信道容量。1344方法一：0.50.500.5log0.5 0.5log 0.50.25 0.7510.25log 0.25 0.75log0.7510.811281321120.8112811.3774380.6225620.50.510.250.750.811281Clog(2021)log(0.3847630.649773)log1.0345360.0345(w(0),w(1)(20C,21C)(0.371918,0.628082)(q(0),q(1) (w(0),w(1)0.50.50.25 0.7