《信息论》试题及答案

1、信息论试题及答案 期终练习 一、某地区得人群中,1就是胖子,80不胖不瘦,就是瘦子。已知胖子得高血压得概率就是 15，不胖不瘦者得高血压得概率就是 10,瘦子得高血压得概率就是 5，则该地区得某一位高血压者就是胖子这句话包含了多少信息量。 解：设事件 a:某人就是胖子; b：某人就是不胖不瘦 c:某人就是瘦子 d：某人就是高血压者 根据题意,可知：（）=、1 p（b)=0、8 （c）=0、1 p(da)=、15 p(db)0、1 p(d|)=0、05 而该地区得某一位高血压者就是胖子 这一消息表明在 d 事件发生得条件下,a 事件得发生,故其概率为 p（ad) 根据贝叶斯定律，可得： p（d）

2、=（） p（a）p（b) p（d|b)（c）* （dc)=0、1 (d)p（d）/p(d)(d|）*（a)/ p(d)0、15、1/0、1、15 故得知该地区得某一位高血压者就是胖子这一消息获得得多少信息量为： i（ad） = - ogp(a）log(0、15)2、3 (bi) 二、设有一个马尔可夫信源,它得状态集为 ， ，s ,符号集为a 1 ,a 2 ,a 3 ，以及在某状态下发出符号集得概率就是(i,k=,2，3），如图所示 （1）求图中马尔可夫信源得状态极限概率并找出符号得极限概率 （2）计算信源处在某一状态下输出符号得条件熵 h（xs=j） (j=s 1 ，s 2 ，s ） (3)求

3、出马尔可夫信源熵 解:（1)该信源达到平稳后，有以下关系成立: 可得 (） （）31( ) ( | ) 2/7*3/2 3/7*1 2/7*0 6/7i iih q e h x e= = + + =(比特/符号） 三、二元对称信道得传递矩阵为 （1）若 p（0）3/4,p（1）=1/，求(x)，h（x）与 i(x；) （)求该信道得信道容量及其最大信道容量对应得最佳输入分布 解:=、811（比特/符号） =、7*0、6+0、50、4=、5 0、50、4+0、50、=0、45 、2(比特符号) 1 2 2( | ) ( ) ( | ) ( ) ( | ) 0.75 (0.6,0.4) 0.25

4、(0.4,0.6)(0.6log0.6 0.4log0.4)0.971 /h y x p x h y x p x h y x h h = + = + = - + （比特 符号） 0、81+、9710、992=0、79 (比特/符号） 0、110、9=、01（比特/符号) (2）此信道为二元对称信道，所以信道容量为 c=(p)=1h（、）=-0、97=、029（比特/符号) 当输入等概分布时达到信道容量 四、求信道得信道容量,其中. 解:这就是一个准对称信道，可把信道矩阵分为：， ， 故21log ( 2 , 2 ,0,4 ) loglog2 ( 2 , 2 ,0,4 ) (1 4 )log(1

5、 4 ) 4 log41 ( 2 , 2 ,4 ) (1 4 )log(1 4 ) 4 log4 ( /k kkc r h p p n mh p ph p pe e ee e e e e e ee e e e e e e= - - - -= - - - - - - -= - - - - - - -比特 符号） 当输入等概分布时达到信道容量。 1 五、信源 (1）利用霍夫曼码编成二元变长得惟一可译码，并求其 (2）利用费诺码编成二元变长得惟一可译码,并求其 (3）利用香农码编成二元变长得惟一可译码,并求其 （）香农编码: 信源符号 概率 p(x i ） 码长 l 累积概率 p 码字 x 1 0、

6、4 2 0 x 2 、 3 0、4 01 x 3 0、2 3 0、6 10 4 、1 0、8 110 0、05 5 、9 11100 0、5 5 0、95 11110 =0、42、3+0、23、14、05+0、055、9（码元/信源符号） h（x)/（ o）=2、222、=、7662(2)霍夫曼编码： =0、4+0、222+0、13+0、42=2、3(码元/信源符号) h(x）/（ logr）=、9964 (3）费诺编码: =、42+0、2+0、1+0、422、（码元/信源符号) =（)( logr)= 0、9964 六、设有一离散信道，传递矩阵为 设 p(x 1 ）= p(x ）14，p(x

7、 3 ）=1/2,试分别按最小错误概率准则与最大似然译码准则确定译码规则,并相应得计算机平均错误概率得大小. 解:（1）按最大似然译码准则 f（y)x1 （y）=x2 f（y3）=x3 p（e)=12（/3+1/6）1/42(1/316)1/2 (2) 联合概率矩阵为,则按最小错误概率准 f（y)=x f(y2）=x2 f(y3）=x3 p（e）= 1/8+1/24+2 +1241/2=11/2 八、一个三元对称信源 接收符号为 v0,，2,其失真矩阵为 （)求 max 与 d min 及信源得 r（d）函数。 （2）求出达到得正向试验信道得传递概率 解：(） 因为就是三元对称信源，又就是等概分布，所以根据 r 元离散对称信源可得 r(d）log3dlo2h（d)=log3dh（） 0=d=2/ 0 23 (2)满足 r（d）函数得信道其反向传递概率为 根据根据贝叶斯定律,可得该信道得正向传递概率为: 九、设二元码为 c=110,0101，101,0011 (1）求此码得最小距离； （2）采用最小距离译码准则，试问接收序列0000,1100 与 001