信息论与编码习题答案

1、) H) W SNR)C E 为 b0 小 ； 大 。(x) x x x17gk为 3 42x x13=。， = = =D 0 D )1 0 )；D ，D )0 11 00 。1 0 A 的 ， p5,q11(n) BA8 。二、判断题 ） ） L ） ）C R i ）三、计算题c (c c c c c c c ) (m m m m c c c )其三位65432103210210c m m m2310c m m m1321c m m m02101 0 0 0 1 1 01 0 1 1 1 0 00 1 0 0 0 1 1GH1 1 1 0 0 1 00 0 1 0 1 1 10 1 1 1

2、0 0 10 0 0 1 1 0 1 d SE T=)四、计算题Y01X0 10 , X Y p x y, 求，H X,Y H XS ,S ,S ，123, S a i 123ii1 4 1 4 1 2jiw w w w1132341231w w w w141313w 12321w w ww ）12131232w w w w 13123 )H1 H2 3 3i1H w H X |S 0.41.50.31.5850.30.9181.351ii六、计算题Xxx 12 P0.8 0.2 2） x 112） ） ） ，） 1* (0.8,0.2) =H00.640.20.640.640.161xx1

3、100.36111xx1 201000.161xx 0.162 101101 xx0.042 24K pK iii1 200111七、计算题01111 ）1 1 (1 ) ) 22P PP 1 1(1 ) 2 21 2log2H(1) )）C2211.从大量统计中知道，男性红绿色盲的发病率为，女性发病率为161644,6,11/322. 地区的女孩中有 25是大学生，在女大学生中有 75是身高以上的，而女孩中身高以上的占半数一半。假如我们得知“身高以上的某8女孩是大学生”的消息，问获得多少信息量？log23 , 0 12bxx3.设有一连续随机变量，其概率密度函数为： p(x)，0 , oth

4、ers试求这随机变量的熵。又若Y X K (K 0)Y 2X ，试分别求出12Y 和Y 的熵H Y )和H Y )。12C1C24. 设随机变量X 取值于X k P(X k) P k ,已知Xk0k的数学期望熵. 0,求使H(X)达到最大的概率分布和该分布的EX A5.设 Markov 信源的状态空间为：S ,S ，其一步转移概率如12下:S |S)0.25,S |S)0.75,1121S |S )0.6, S |S )0.4.12221) 画出状态转移图？2) 求该信源的平稳分布.4/9,5/93)求该信源的极限分布.6. 一信源产生概率为P , P(0) 的统计独立二进制数符。这些数符组成

5、长度为100的数符组。我们为每一个含有3个或少于3个“1”的源数符组提供一个二进制码字，所有码字的长度相等。 求出为所规定的所有源符组都提供码字所需的最小码长。18 求信源发出一数符组，而编码器无相应码字的概率。7.设有一MarkovS s ,s ,s x ,x ,x ，123123在某状态下发出符号的概率如图所示。 10/9x ,x ,x 的概率分布。12315/27,5/27,7/27b b b b31240 1 0 0a1a1 1108. 离散无记忆信道的转移概率矩阵为 P 2 362a 0 0 1 03a 11 1043 26道的信道容量，及其最佳输入分布。1 00 9.设离散无记忆信

6、道的转移概率矩阵为 ，求出信Q 0 110道容量及其达到信道容量的最佳输入概率分布。并求当 1 2时的信道容量。10. 已知一个信源包含八个符号消息,它们的概率分布如下表,G 求该信源的熵。 对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。 对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。11. 有一个含有 8 成两种三元非延长码，使它们的平均码长相同，但具有不同的码长的方差。并计算其平均码长和方差，说明哪一种码更实用些。12. 求下图中 DMC 的信道容量。如果输入分布为 p(x=0)=1/2，输出间的平均互信息量。00121 2313. 设二元对称信道的

7、传递矩阵为2 13 31 23 31) 若P 4,P(1)4 H(XH(X |YHY | X)和I(X;Y)；2) 求该信道的信道容量及其达到信道容量时的输入概率分布。1 1 12 3 61 1 114. 设有一离散信道，其信道转移概率矩阵为 ，并设Q6 2 31 1 13 6 211P(x ) ，P(x ) P(x ) ，试分别按最小错误概率准则和极大似12234然译码准则确定译码规则，并计算相应的平均错误概率。1 215. 令X Y ( , )d x y3 2入的随机变量，求率失真函数R(D)对应的定义域D 和D 。minmax16. 证明：XY) + H(YZ) H(Z)17. 证明离散

8、平稳信源有：H(X | X X ) H(X | X )31221r(rNr118. 试证明长度为 N 的 r 元不等长编码至多有个码字。简答题1、信息通讯系统模型答：信源，编码器，信道，译码器，信宿2、平均互信息是什么？写出常用的三种表达式，并用语言描述。答：平均互信息是信源与信宿间平均传递（或接收）信息量大小的度量 I X;Y H X H X Y H Y H Y X H X H Y H X,Y3、信源冗余度（剩余度）是什么？其有何应用？赖程度的量。从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。冗余度大的消息具有强的抗干扰能力。答：香农第一定理：变长信源编码定理香农第二定理：有噪信道

9、编码定理香农第三定理：保真度准则下的信源编码定理香农第一定理：离散无记忆信源 X 的 N 次扩展信源X (X ,X ,., X ) ，其熵为H(X ) ，并有码符号集 ANNN12qa1,ar 。使信源 X 中每个信源符号所需的平均码长满足H(X) 1 nH(X)1 n，或者H (X) N N H (X)NNr N N rrr5、你是如何理解信源编码的？答：信源编码的主要任务（1）符号变换：使信源输出符号与信道的输入符号相匹配。（2）减少冗余，具体的说，就是针对信源输出符号序列的统的方法。6、信道的组合有哪些？并分别写出由两个信道构成的组合信道的信道容量。积信道，信道容量为 C=C1+C2。和信道，信道容量为C log(2 2 )。级联信道，信道容量为CminC1, C2。CC12道容量的计算公式？输入对称转移概率矩阵P的每一行都是第一行的重新排列(包P输出对称。对称的DMC信道输入、输出都对称。如果转移矩阵 P 的列可以划分成若干个互不相交的子集 B ，k（即 B B B B B B = P都是输入输出对称矩阵，则称该信道是准对称 DMC 信道12k12k sC=s p b p b ， p(b ) p(a )p(b /