信息论与编码试题集与答案(新)

1、 ) CE/N为 b0 7gh(x)= x3x142。 ， = D 0，1 0D p(y/xD ，。 A的e,n，p 5,q11则(n)d,n B A 8。 R Ci-可编辑修改-654321032102102310c13210201 0 0 0 1 1 00 1 0 0 0 1 1H 1 1 1 0 0 1 00 0 0 1 1 0 1 d SE RH R+E=C=)Y01 , p x yXX Y H Y求，01 H X H Y H(1/3,2 /3)H X,Y H(1/3,1/ 3,1/ 3)-可编辑修改-I X;Y H(X)HY)H(X,Y) XS ,S ,S ，123SS a i ,1

2、23iiP(a /S ) 1 3 1 3 1 3jiw1231 w w12321w w ww1232w w w 13123H(X|S)123 3H w H X |S 0.41.50.31.5850.30.9181.351iii1X xx 12 2） x112） (0.8,0.2) =K。 错KK1j-可编辑修改-33、率失真函数对允许的平均失真度具有上凸性。对34、率失真函数没有最大值。 错35、率失真函数的最小值是 0 。对大；如X 的均值为 ，方差受限为 2，则X 服从 高斯 分布时，其熵达到最大。2信息论不等式：对于任意实数 z 0，有lnz z1，当且仅当z 1时等式成3设信源为X=0

3、（0，则信源的熵为 1/8log 87/8log (7/8)比2222-可编辑修改-4离散对称信道输入等概率时，输出为 等概Uuuuuu6设 DMS 为234560.37 0.25 0.18 0.10 0.07 0.03X x x 000001010011100，1212 Xx2 1/4 3/4X222（2）二次扩展信源的概率空间为：x2x22222答：将 H（X|Y）称为信道X,P ,Y的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为 logr。将 H（Y|X）称为信道X,P ,Y的噪声熵，噪声熵为零的信道就是确定信道，信源编码的和信道编码的目的是什么？答：信源编码的作用：-可编辑

4、修改-121211122122P 1/8XY定义一个新的随机变量 (普通乘积)Z X Y计算熵 H（XH（YH（ZH（XZH（YZ H（XYZ计算条件熵 （X|Y（Y|X（X|Z（Y|Z（Z|Y（X|YZH（Y|XZ）以及 H（Z|XY以及 I（XZ|Y1）22HY) 1/2log 21/2log 2 12217/8 1/8H(Z) 7/8log (8/7)1/8log 8221/2 0 3/8 1/8222-可编辑修改- 1/2 0 3/8 1/8H) 1/2 23/8log (8/1/8log 8222222222221/23/ 1/ 1/8 8 27/ 1/222222221/23/ 1/ 1/8 8 27/ 1/22222222H(X |) 1/4 43/4 (4/3/ 10 1/ 10 222222222222-可编辑修改-I(X;Z) H(X)H(X |Z)IY;Z) HY)HY |Z)X1/3 2/3221/2 1/4P 7/12 5/12Y22HY | X) 3/4H/4)1/4H/6)I(X;Y) HY)HY | X)X1/2 1/3 1/6 1/6 1/2 1/3 ，若信道输入概率为X应的平均差错率。11解： 1/24 1