信息论基础B卷及答案

1、试卷评分标准及标准答案:号座 ：fe教te考（2013 2014学年度第1学期）信息论基础课程（A 口 /B直|卷）:课程代码：0410712501考核形式闭卷考试考核日期2 0年月日考核时长1 2 0 分钟命题教师签名教研室主任签名主管系领导签名.级班、业专、级年订题号*二四五总分分0 0鬼导分统分人核分人得分评卷人一、选择题（本大题共6小题，每小题3分，共18分）.却家 .名姓 ：号学1.有一信源X,其概率分布为X x x1231/4 1/8 1/841/2J,若对该信源进行二次扩展，则每二个符号的平均信息量是（A ）A. 3.5bit B. 1-5bit c.

2、1.75bit D. 3bit12.信源的概率密度为03 x B. C. = D,不确定马氏源的转移概率如图所示，则其所对应的概率转移矩阵为（C ）1/31/3 2/30、C. 01/2 1/2J/ 201/ 2?1/ 201/2、A. 01/21/2J/302/3/1/ 201/2、D. 01/21/2J/3 2/30/1/ 2 11/2、B. 1/2 1/2 1/2J/302/3/得分 评卷人二、填空题（本大题共5小题，每小题3分，共15分）信源编码的主要目的是提高有效性 ，信道编码的主要目的是提高可靠性。无失真信源编码定理（香农第一定理），可以简述为：存在无失真信源编码的充分必要 条件是

3、R2H（X）（或信源编码码率R不小于信源的嫡H （X）。二进制信源的最小嫡为0,最大嫡为Ibit/符号（或log2bit/符号）。1一维高斯随机变量集的嫡为log（2兀22）。得分评卷人一个线性分组码C =0000000,1111111,该分绢.码的纠错个数为3三、判断题（本大题共5小题，每小题2分，共10分）对定长码而言，只要非奇异，就唯一可译。(V )与离散信源一样，连续信源的差嫡具有非负性。(X )对于离散无记忆对称信道达到容量时，输入概率与输出概率唯一。(V )MAP准则是使译码平均错误率最小的准则。(V )转移概率矩阵不随时间变化的马氏链是平稳马氏链。(X得分评卷人四、计算题(本大题

4、共5小题,每小题9分，共45分)p(OIOO)=p(llll)=O.8,1. 一个二阶马氏链，符号集A=0, 1,转移概率 p(ll00)=p(0lll)=0.2, p(0l01)=p(0ll0)=p(ll01)=p(lll0)=0.5,确定所对应的马氏源的状态集，写出状态转移矩阵；求出该信源的平稳分布。解：(1)马氏源的状态集为A2=co =00,co =01,co =10,co =11, 01状态转移矩阵为户=(2)假设平稳分布为兀 ro.8 o0.50(71 K K 71 )12340.8 00.50二(K10.200.500.200.5000.500.2200.500.2K300.50

5、0.870、0.50 0.饥兀)r,4、=(兀1且71 + 71 +7l + 71 =1,解得平稳分布为(兀1234则根据RtP=Rt ,得71 71 71 ),23471 7123/。/ o414 7 7 14a a a a a a aap(x)012345670.1 0.1 0.1 0.1 0.1 0.4 0.05 0.052.已知信源共8个符号消息，其概率空间为试用Huffman编码法编成二进制变长码，并计算平均码长。要求写出详细的编码过程。:号座 ：fe教te考解：（1）编码过程如下图码字： 001,。： 010,。2： 011，“3： 100, “4： 10b “5： 110000,

6、 %： 0001 o 67(2)平均码长= 5x0.1x3 + 0.4x2 + 2x0.05 x 4 = 2.7 码兀 / 信源符号3.某信道的转移矩阵尸=1/3 1/3 1/6 1/6J/6 1/3 1/6 1/3/.级班试求：该信道的信道容量及达到容量时的输出概率。业专、级年.却家： .名姓:号学解：设输出概率为，%，4, %。该信道是准对称信道，当输入等概率时达到信道容 TOC o 1-5 h z 量，可计算相应的输出概率为0 =湛1/3 + 1/6) = 1/4, q = (1/3 + 1/ 3) = 1/ 3, 122 2q = (1/ 6 + 1/ 6) = 1/ 6, (1/ 6

7、 +1/ 3) = 1/ 4 o 所以信道容量为C = H(y)-H(l/3,1/ 3,1/ 6,1/ 6)二H(l/4,l/3,l/6,l/4) H(l/3,l/3,l/6,l/6)线=2x(-l/41ogl/4)-l/31ogl/3-l/61ogl/6+2xl/31ogl/3+2xl/61ogl/6:=1+l/31og 1/3+ l/61og 1/6(比特 / 符号).4.设一离散无记忆信道的转移概率矩阵为0.5 0.3 0.2、P= 0.2 0.3 0.5洪.2 0.4 0勺其中输入符号集A = a , a , a ）,输出符号集B = b , b , b,且P（a ） = 1/2,12

8、31231P（。）=尸（。）=1/ 4,利用MAP准则求最佳判决函数和平均错误率。 23解：由）可得联合概率矩阵:号座 ：fe教te考.级班、业专、级年.却家 .名姓 ：号学0.25 0.150.10、0.05 0.075 0.125R.05 0.100.10 ?根据MAP准则，最佳判决函数为：g(y = b) = a, 1 1- g(y = b ) = a ,1g(y = b ) = a2.平均错误率：p =1-p (a ,b) p (a ,b )- p (a ,b )EXY 11 XY 12 XY 23二1-0.25-0.15-0.125=0.475.fx） f 01 ）0 3）5.二元对

9、称信源=,失真矩阵=3,求信源的R（o）函数。、JL* / X /乙 JL/乙/E 丁 u ,解：根据对称性，设信道转移概率矩阵为区.史12 Q令D = Ed(x,y) =p p d =3(1。)=。，可得o = D13 ,i ij iji j由于输入是等概率，且信道是强对称信道，所以输出也等概率，即0 = q=i/2,所 以可得R(D) = H(Y)-H(YX)二H(l/2,l/2) 2x1/ 2H(o,l o)=log2H(l0/3 刀/3).得分评卷人五、综合应用题（本大题共1小题，共12分）1.在某城市，下雨和晴天的时间各占一半，而天气预报无论在雨天还是在晴天都有 2/3的准确率。甲先

10、生每天上班这样处理带伞问题：如果预报有雨，他就带伞上班; 如果预报无雨，他也有1/ 3的时间带伞上班。（1）求事件“在雨天条件下甲先生未带伞”所含的信息量;（2）求“甲先生带伞条件下没有下雨”的信息量；（3）求天气预报所得到的关于天气情况的信息量；（4）求通过观察甲先生是否带伞所得到的关于天气情况的信息量。解：设天气情况：X=0（有雨）,1（无雨）；天气预报：丫 = 。（有雨），1（无雨）； 带伞情况：Z = 0（带伞）,1（未带伞）。根据题意有X-Y的条件概率矩阵为X-z的条件概率矩阵为。/3J/362/3J/31/32/3/,丫Z的条件概率矩阵为1/3) ( 1X2/3J 1/30 )7/

11、9 2/3厂5/9/ 10、J/3 2/3/2/9、4/9/（1）由于，（z = lx = 0） = 2/9,所以事件“在雨天条件下甲先生未带伞”所含的信息量为/(z = 1 X = 0) = -log2/ 9 bit.(2)由于(X = k = 0)=，3 = l)，(z = ok = l)p(x = l)p(z = o|x = l)p(z = 0)p(x = 0)p(z = 0|x = 0) + p(x = l)p(z = 0|x = 1)0.5x5/95-0.5x7/9 + 0.5x5/9-12,所以“甲先生带伞条件下没有下雨”的信息量为/(4 = l|z = 0) = Tog5/12 bit.2/3 1/3、(3)g =。) P(y = l)=(0.5 0.5)x=(0.5 0.5),JL /V7所以天气预报所得到的关于天气情况的信息量为I(X;Y) = H(Y)-H(Yx) = H(Q.5 ,0.5)-2xO.5H(2/3