信息论与编码理论1B卷答案

1、2011-2012信息论与编码理论1B卷答案一、单项选择题(每题3分，总计15分)1.当底为”时，爛的单位为(C)。A奈特B哈特C奈特/符号D哈特/符号2.下列关系式中(B)正确。A /(X; Y) I(X)BH(X.Y) /(X；y)CH(XY)H(YX)DIXY)H(XY)3.下列(D )陈述是正确的。A Shannon编码是最优码B LZ编码是异字头码C Huffman编码可以不需要知道信源的分布D典型序列的数目不一泄比非典型的多4下列数组中(A)不满足二个字母上的Kraft不等式。A (1, 1, 1) B (2,2,2,21 C (3,3,3) D (4, 4, 4) 5 下列(D)

2、是只对输岀对称的。2、，1 1 1、f0.2 0.4 0.413 3A3 6 2B0.4 0.2 0.4C2 1D02 0.2 0.41 1 13 30 4 0.4 0.2,、0.4 0.4 0.2?1 2J 3;二、填空题(每空2分，总计20分)1.若二元离散无记忆中(0) = 0 25,以1)= 0.75,则当给出100比特的信源序列，其中3有5个1,则其自信息为2005Iog，3比特,整个序列的嫡为100(2-log,3)比特/符号.-4-4.若一个信道的输入爛为H(X) = 2.6比特/符号，输出爛为/(/) =2.3比特/符号,2.若某离散信道信道转移概率矩阵为1-0.50.250.

3、250.250.250.50.250.50.250.50.250.250.250.50.250.250.250.5，则其信道容量为log23-1.5比,则其信道容量为log23-1.5比特/符号。3 两个相同的BSC做级联信道,英信道转移矩阵分别为,则级联信道的信道转移矩阵为1_2卩+2/异2p 2p?2p-2,l-2/? + 2/r，无穷多个级联后的矩阵为0.5 0.50.5 0.5特/符号；转移槪率矩阵为/（X；y）= 1.7比特/符号，则H（X#） =比特/符号,散布度为比特/符号。5.在二元LZ编码中，若信源有K个，某段信源序列共有M个字典，则码长Alog?M： +jogK。6.存在D

4、元唯一可译码，其平均码长必小于空？ + logQ三、判断题（每题2分，总计10分）1.概率小的事件自信息大（J ）2.若一个码字集合中的码字长度满足Kraft不等式，则其必为逗点码。（X ）3.若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（J ）4.平均互信息是下凸函数。（x）5.算数编码需要知道信源的分布。（J ）四.计算题（55分）1）（15分）设随机变Mx.r的联合概率分布如下:0101144101,/Tld c b a要进行三元Huffman编码，则需要添加一个空信源，成为U =,（0.4 0.3 0.2 0.10J建立码树则有三元Huffman编码：a00. DTOI,C

5、TI、J2Shannon编码如卜：信源）码长累加概率码字d2000C201b3101a41110Fano编码如下:信源槪率笫1次分组笫2次分组笫 M 次分组d00C1010b10110a1111: Shannon-Fano-Elias编码信源F(x)F(x)心）二元尸（兀）码字a500001b40001c3011cl131106二元Huffman编码的平均码长为7 = 3x0.1 + 3x0.2 + 2x0.3 + 1x0.4二7编码效率为 =H(U) = H(U)= H(0.1,020.3,0.4)一-/log 2L93) (20分)若离散无记忆信道的信道转移矩阵为方法一：0.50.5-i

6、j 13-2-1.377438-L0.250.75-0.81128112 .-0.811281-0.622562C= Iog(2A+ 2妨)=log(0 384763+ 0.649773)=log 1.034536= 0.0345(vv(0X w(l) = (2妇=2)=(0.371918 ,0.628082 )方法二：令输入概率为(pj-p)时达到了信道容虽则代入l(X.Y)中，得到关于的1-23-41-21-4,用两种方法求该信道容量。0.50.250.50.75_H0.5 log 0.5 + 0.5 log 0.50.25 log 0.25+ 0.75 log 0.75=-0.811281_T 0.50.5L0.25 0.75