信息论基础考试期末A卷

1、 信息论基础考试(期末A卷 1 / 9 作者： 日期： 2 / 9 2学期重庆邮电大学2007/2008学年 （半开卷）信息论基础试卷（期末）（A卷） 10 一、填空题（本大题共小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 符号2.一个八进制信源的最大熵为3bit/ xxx?X312?111?；若对该信源进行十次扩展，则，其概率分布为，其信源剩余度为94.64%3.有一信源X?P?442? 15bit每十个符号的平均信息量是。若消息从放大器中输出，则该4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为

2、ab，最小瞬时电压为?，则单位时间内；其能在每个自由度熵的最大熵是自由度；若放大器的最高频率为F（b-a信源的绝对熵是）bit/logbit/s. b-a）输出的最大信息量是 2Flog（1?elog32；与其，其概率密度函数是高斯分布时，差熵的最大值为5. 若某一 信源X，其平均功率受限为16w216w? 熵相等的非高斯分布信源的功率为 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 。7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H(S)）r ）时，信源与信道达到匹配。8、当R=C或（信道剩余度为0 、根据是否允许失真，信源编码可分为无失

3、真信源编码和限失真信源编码。9?,?,?,? ”或“10、在下面空格中选择填入数学符号“” XY）=H(X)+H(X/Y)。HX（1）当和Y相互独立时，（H(X/Y) 0, H(Y/X)=0,I(X;Y)H(X)。 表示，信道输出用（2）假设信道输入用XY表示。在无噪有损信道中， 二、掷两粒骰子，各面出现的概率都是1/6，计算信息量： 1.当点数和为3时，该消息包含的信息量是多少？ 2.当点数和为7是，该消息包含的信息量是多少？ 3 / 9 的自信息是多少？3.两个点数中没有一个是1=1/36+1/36=1/18 ）（1,2=P（1,2）+ P）解：1.P（“点数和为3”=log18=4.17

4、bit ”）“点数和为3 则该消息包含的信息量是：I=-logP（?6=1/6 =1/36 + P（4,3）+ P1,6）+ P（6,1）（5,2）+ P（2,5）+ P（3,4）=P 2.P（“点数和为7”）（=log6=2.585bit ”）I=-logP（“点数和为7 则该消息包含的信息量是： “两个点数中至少有一个是1”） 3.P（“两个点数没有一个是1”=1-P（ =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36 =log25/36=0.53bit （“两个点数中没有一个是1”） 则该消息包含的信息量是：I=-logP （一般Z=YXZ，取三、

5、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量 。试计算：乘积） ）；1.H（Y）、H（Z ；）2.H（XY、H（YZ） ）3.I（X;Y）、I（Y;Z；21111?log?（y）logP（H（Y）=-y）?logP 1. 解：=1bit/符号?ii2222?1i? 相互独立Z=YX而且X和Y111P?1)1)?P(X=P(Y=1)?YP?(X?1)?P(?=1（Z）?2?2? = 1222?P(X?1)?P(Y?1)=-1P（Z）=P(Y=1)?P(X?1)= 2111?2?2? 2222?)(z(z)logP?P 故H(Z)= 符号=1bit/ii

6、1i? 2.从上式可以看出:Y与X的联合概率分布为: 4 / 9 个人收集整理，勿做商业用途Y=-1Y=1P(Y,Z) H(YZ)=H(X)+H(Y)=1+1=2bit/符0.25Z=10.25 故立，Y相互独3.X与 0.25 Z=-1 0.25 符号H(X|Y)=H(X)=1bit/? X;Y（）=H(X)-H(X|Y)=1-1=0bit/ 符号I I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符号 四、如图所示为一个三状态马尔科夫信源的转移概率矩阵11?0?22?11?0 P=?22?111?424? 绘制状态转移图；1. 求该马尔科夫信源的稳态分布；

7、2. 3. 求极限熵； 解：1.状态转移图如右图3?)|(EEP(E)Pp(E)? 2.,可得其三个状态的稳态概率为：由公式ijji1i?111?)EP(P(E)?(E)?EP()?P3?2113?E)P(422?1?711?)EE)?P(PP(E)?(2?322?P(E)22? 27?11)E)P(E?P(?(PE)2?331?P(E)42?37?1)(?)(?)(PEPEPE?321 5 / 9 个人收集整理，勿做商业用途: 3.其极限熵 31121121131，）?H，H+?，0）+?H= -）P（EH（X|E）=H（，）i?i47422722721i? 8322符号1.5=bit/?=

8、1+?1+?7777 试求：P（0）=1/4,P(1)=3/4,0五、在干扰离散对称信道上传输符号1和，已00000110 P 该信道的转移概率矩阵1. 2. ）信道疑义度H（X|Y该信道的信道容量以及其输入概率分布 3. 解：1.该转移概率矩阵为 0.90.1? P=0.10.9?P（X）Y|X）=P（），可得联合概率 XYP 2.根据（ XYY1/40X=09/40 6 / 9 个人收集整理，勿做商业用27/403/40X=128/4012/40P(Y=i) 可得）=P(X|Y)/P(Y)由P（X|Y=1P(X|Y)Y=01/283/4X=027/28X=11/4 ?Plog(xyx|y）

9、=0.09+0.12+0.15+0.035=0.4bit/符号)P（ H(X|Y)=- jiijji， 3.该信道是对称信道，其容量为： ）=1-0.469=0.531bit/符号 C=logs-H=log2-H（0.9,0.110?X?11?这时，输入符号服从等概率分布，即 ?)XP(?22?0.160.300.?P? 六、某信道的转移矩阵1.06000.3? 试求：该信道的信道容量及其最佳输入概率分布。 解：该信道是准对称信道，分解为两个互不相交的子信道矩阵 0.1?0.9 N?N0.100.60.3?21? 这里 0.10.9M00.1?M0.30.6?21?) 的行矢量C=logr-H

10、(P2?0.1loglog0.9-0.1?.1).3，0?0.9?0?MNlog?1H(0.6， -KK1k? 符号 =0.174bit/10?X?11? = 这时，输入端符号服从等概率分布，即?)P(X?2?2。用赫夫曼编码法编成二进制变长码，有六种字母，概率为七、信源符号X0.32,0.22,0.18,0.16,0.08,0.047 / 9 个人收集整理，勿做商业用途 写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。 解0000000111100001000001 该信源在编码之前的信源熵为：6?）xlog)P)H(S?（P(x=0.526+0.481+0.445+0.423+0.292+0.186 ii1?i =2.353bit/符号 编码后的平均码长：4?0.04)2?0.16?3?(0.08?0.22L?(0.32?0.18) 信源符号=2.4码元/ 编码后的信息传输率为：2.353)(HS0.98?R? 码元bit/2.4L)SRH(?0.98? 编码效率为：RrLlogmax 10 3KHz八、设在平均功率受限的高斯可加波形信道中，信道带宽为，又设信噪比为 试计算该信道传达的最大信息率（单位时间）1.；8 / 9 个人收集整理，勿做商业用途 ，要达到相同的最大信息传输率，信道带宽是多少？若功率信噪