信息论与编码答案.doc

1、.信息论与编码（第二版） 曹雪虹答案第二章2.1 一个马尔可夫信源有3 个符号 uu ,u3，转移概率为： p u |u11/ 2， p u| u1/2，1,2121p u3 |u1 0 ， p u1 | u 21/ 3 ， p u2 | u20 ， p u3 | u22/3 ， p u1 |u31/ 3 ， p u2 | u32/3 ，p u3 |u3 0 ，画出状态图并求出各符号稳态概率。解：状态图如下1/21/2u1u21/31/32/3状态转移矩阵为：2/31/ 21/ 20p 1/ 302 / 3u31/ 32 / 30设状态 u 1， u2，u 3稳定后的概率分别为W1，W2、W3

2、1 W11W 21W 3W110233W1WP W12W 225得W1W 3计算可得9由23W 2W1 W2 W312 W 2W 32563W 3W1 W2 W31252.2 由符号集 0，1组成的二阶马尔可夫链，其转移概率为：p(0 |00) =0.8 ， p(0 |11) =0.2 ，p(1| 00) =0.2 ， p(1|11) =0.8 ， p(0 | 01) =0.5 ， p(0 |10) =0.5 ， p(1| 01) =0.5 ， p(1|10) =0.5 。画出状态图，并计算各状态的稳态概率。解： p(0 |00)p(00 | 00)0.8p(0 | 01)p(10 | 01)

3、 0.5p(0 |11)p(10 |11)0.2p(0 |10)p(00 |10)0.5p(1| 00)p(01| 00)0.2p(1| 01)p(11| 01)0.5Word 文档.p(1|11)p(11|11)0.8p(1|10)p(01|10)0.50.80.200于是可以列出转移概率矩阵：p000.50.50.50.500000.20.8状态图为：0.8000.2010.50.50.50.5100.2110.8设各状态 00 ，01，10 ，11 的稳态分布概率为 W1,W2,W3,W4有W150.8W 10.5W 3W 114WPW0.2W 10.5W 3W 2W 2174得0.5W

4、 20.2W 4W 3计算得到Wi110.5W 20.8W 4W 4W 3i 17W1 W2 W3W 41W 45142.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6 ，求：(1) “3 和 5 同时出现”这事件的自信息；(2) “两个1 同时出现”这事件的自信息；(3) 两个点数的各种组合（无序）对的熵和平均信息量；(4) 两个点数之和（即 2, 3, 12 构成的子集）的熵；(5) 两个点数中至少有一个是 1 的自信息量。p( xi )11111p( xi )1116666186636解： (1)(2)log 1log 1I ( xi )log p( xi)4.170 bit

5、I ( xi )log p(xi )5.170 bit1836Word 文档.(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有 21种组合：其中 11 ，22，33，44 ，55，66的概率是 111其他 15 个组合的概率是 2 11166366618H(X)p( xi ) log p( xi )61 log1151 log 14.337 bit / symboli36361818(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：XP(X)H(X)2

6、3456789101112111151511113618129366369121836p( xi ) log p( xi)(5)i21 log121 log 121 log 12 1 log 125log 51 log 1363618181212993636663.274bit / symbolp(xi )1111116636I ( xi )log p( xi )log 111.710 bit362-4Word 文档.2.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。 假如我们得知“身高 160 厘米

7、以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历X x1（是大学生） x2（不是大学生）P(X)0.250.75设随机变量 Y 代表女孩子身高Yy1（身y2（身高高160cm ）160cm ）P(Y)0.50.5已知：在女大学生中有75%是身高 160 厘米以上的即： p( y1 / x1)0.75 bit求：身高 160 厘米以上的某女孩是大学生的信息量即： I ( x1 / y1 )log p( x1 / y1 )log p( x1 ) p( y1 / x1 )log 0.25 0.751.415 bitp( y1 )0.5Word 文档.2.6 掷两颗骰

8、子，当其向上的面的小圆点之和是3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1）因圆点之和为 3的概率 p( x)p(1,2)p(2,1)118该消息自信息量 I ( x)log p(x)log184.170bit2）因圆点之和为 7的概率p(x)p(1,6)p(6,1)p(2,5)p(5,2)p(3,4)p(4,3)16该消息自信息量 I ( x)log p(x)log6 2.585bit2.7设有一离散无记忆信源，其概率空间为Xx10 x21 x32 x4 3P3/81/ 41/ 41/8（1）求每个符号的自信息量（ 2 ）信源发出一消息符号序

9、列为202120130213001203210110321010021032011223210 ，求该序列的自信息量和平均每个符号携带的信息量18解： I ( x1)log 2log 21.415bitp( x1)3同理可以求得 I ( x2)2bit , I ( x3)2bit , I (x3)3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有： I14I ( x1)13I (x2 )12I ( x3)6I ( x4)87.81bit平均每个符号携带的信息量为87.811.95bit/ 符号452.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解

10、：四进制脉冲可以表示4 个不同的消息，例如： 0, 1, 2, 3八进制脉冲可以表示8 个不同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7Word 文档.二进制脉冲可以表示2 个不同的消息，例如： 0, 1假设每个消息的发出都是等概率的，则：四进制 脉冲的 平均 信息 量 H ( X1 ) log n log 42 bit / symbol八进 制脉 冲的 平均信 息量H(X2)log n log 8 3 bit / symbol二进制脉冲的平均信息量 H ( X 0 ) log nlog 2 1 bit / symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量

11、的2倍和 3倍。2-9“”用三个脉冲“”用一个脉冲(1)I( )= Log (4) 2I( ) Log 40.415(2) H=1 Log (4)3 Log40.81134432-10(2) P(黑/ 黑)=P(白/ 黑)=H(Y/ 黑)=(3)P(黑/ 白)=P(白/ 白)=H(Y/ 白 )=(4) P(黑 )=P(白 )=H(Y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1， ，38 的数字标示，其中有两份涂绿色， 18 份涂红色， 18 份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣

12、，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解：令 X 表示指针指向某一数字，则X=1,2,.,38Y 表示指针指向某一种颜色，则Y=l 绿色，红色，黑色 Y 是 X 的函数，由题意可知p( xiyj )p( xi )Word 文档.312381838（1） H (Y)1.24 bit/ 符号p( yj ) loglog2logj 1p( yj ) 3823818（2） H (X ,Y)H ( X ) log 2385.25bit/符号（3） H (X |Y)H (X,Y) H (Y)H(X)H (Y)5.251.24 4.01 bit/ 符号2.12 两个实验 X 和 Y，X=x1

13、 x2x3,Y=y 1 y2y3,l 联合概率 r xi, yjr ij 为r11r12r137/241/ 240r21r22r231/ 241/ 41/ 24r31r32r3301/ 247/ 24（1）如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？（3）在已知 Y 实验结果的情况下， 告诉你 X 的实验结果， 你得到的平均信息量是多少？解：联合概率 p( xi, yj ) 为y1y2y3H(X,Y)1p( xi , yj )log 2ijp(xi , yj )=2.3bit/符号Y724112log 24l

14、og 224log 24X247244x17/241/240x21/241/41/24x301/247/24X 概率分布XxxH(Y) 311.58 bit/ 符号123log 23x3P8/248/248/24H (X |Y)H (X,Y)H(Y) 2.3 1.58 Y 概率分布是=0.72bit/ 符号Yy1y2y3P8/248/248/24Word 文档.2.13 有两个二元随机变量X 和 Y，它们的联合概率为YXx1 =0x2=1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算：(1) H(X), H(Y), H(Z), H(XZ), H(YZ

15、)和 H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ) 和 H(Z/XY)；(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。解：(1)p(x1 )p(x1 y1 ) p( x1 y2 )131882p(x2 )p( x2 y1 ) p( x2 y2 )311882H(X)p(xi ) log p( xi)1 bit / symbolip( y1 )p( x1 y1 ) p( x2 y1 )131882p( y2 )p( x1 y

16、2 ) p(x2 y2 )311882H (Y)p( y j ) log p( y j)1 bit / symboljZ = XY 的概率分布如下：Zz1 0z2 171P(Z)8827 log 71 log 1H (Z)p( zk )0.544 bit / symbolk8888Word 文档p(x1 ) p(x1 z1 ) p( x1z2 )p(x1 z2 )0p(x1 z1 ) p(x1 ) 0.5p(z1)p(x1z1 ) p(x2 z1 )73p(x2 z1 ) p(z1 ) p( x1z1 )0.588p(z2 )p(x1z2 ) p( x2 z2 )1p(x2 z2 ) p( z

17、2 )8.H (XZ)ikp( y1 )p( y1 z1 )p( y1z2 )0p( y1z1)p( y1 )p(z1) p( y1z1)p( y2 z1)p(z1 )p(z2 )p(y1z2 )p( y2 z2 )p(z2 )p(xi zk ) log p( xi zk )p(y1z2 )0.5p( y2 z1)73p(y1z1 )0.588p( y2 z2 )18113311log2log8log1.406 bit / symbol2888H (YZ)p( yj zk ) log p( y j zk )jk113311logloglog1.406 bit / symbolp(x1 y1z2

18、 ) 0p(x1 y2 z2 ) 0p(x2 y1z2 )0p(x1 y1z1 )p(x1 y1 z2 )p( x1 y1 )p(x1 y1z1 )p(x1 y1 )1/ 8p(x1 y2 z1 )p(x1 y1 z1 )p( x1 z1 )p(x1 y2 z1 )p(x1 z1 )113p(x1 y1 z1 )882p(x2 y1z1 )p(x2 y1 z2 )p( x2 y1 )p(x2 y1z1 )p(x2 y1 )38p(x2 y2 z1 )0p(x2 y2 z1 )p(x2 y2 z2 )p(x2 y2 )p(x2 y2 z2 )p( x2 y2 )18H ( XYZ)ijkp(xi

19、 y j zk) log 2p( xi y j zk)1 log 13 log 33 log 31 log 11.811 bit / symbol88888888Word 文档.(2)H(XY)p(xi y j ) log 2 p( xi y j )11333311loglog88loglog1.811 bit / symbolij888888H(X /Y)H(XY) H(Y)1.81110.811 bit / symbolH(Y/X)H(XY) H(X)1.81110.811 bit / symbolH(X /Z)H(XZ) H(Z)1.4060.5440.862 bit / symbolH

20、(Z/X)H(XZ) H(X)1.40610.406 bit / symbolH(Y/Z)H (YZ)H (Z)1.4060.5440.862 bit / symbolH (Z /Y)H (YZ)H (Y)1.4061 0.406 bit / symbolH(X /YZ)H (XYZ)H (YZ)1.8111.4060.405 bit / symbolH(Y/XZ)H (XYZ) H ( XZ)1.8111.4060.405 bit / symbolH(Z/XY)H (XYZ)H(XY)1.8111.8110 bit / symbol(3)I(X;Y)H(X)H(X /Y)10.8110.18

21、9 bit / symbolI(X;Z)H(X)H(X /Z)10.8620.138 bit / symbolI (Y;Z )H (Y)H(Y/Z)10.8620.138 bit / symbolI(X;Y/Z)H(X /Z)H (X /YZ)0.8620.4050.457 bit / symbolI(Y;Z / X)H(Y/X)H(Y/ XZ)0.8620.4050.457 bit / symbolI(X;Z/Y)H (X /Y)H (X /YZ)0.8110.4050.406 bit / symbol2-14(1)P(ij)=P(i/j)=(2) 方法 1:=方法 2:2-15P(j/i)

22、=Word 文档.2.16 黑白传真机的消息元只有黑色和白色两种，即X= 黑，白 ，一般气象图上，黑色的出现概率 p( 黑)0.3，白色出现的概率p(白)0.7。（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白 |白)0.9143 ，P(黑|白)0.0857 ，P(白|黑)0.2，P(黑|黑)0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解：（1）H ( X ) 0.3log 2100.7log 2100.881337bit/ 符号P(黑|白)=P( 黑)0

23、.7P(白|白)P(白)P(黑|黑)P(黑)0.3黑白0.70.3P(白|黑)P(白)（2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7 不随时间变化， P(黑)0.3 不随时间变化）Word 文档.H (X)H (X 2| X1)1p( xi , yj )log 2ijp( xi, yj)0.91430.7log10.0857 0.7log10.2 0.3log12220.91430.08570.210.8 0.3log 20.8 0.512bit/ 符号2.17 每帧电视图像可以认为是由310 5 个像素组成的，所有像素均是独立变化，且每像素又取 128 个不同的亮度电平， 并设亮度

24、电平是等概出现， 问每帧图像含有多少信息量？若有一个广播员，在约10000 个汉字中选出1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解： 1)H(X)log 2 n log 2 1287bit / symbolH(XN)NH(X)310572.1 106 bit / symbolH(X)log 2 nlog 2 1000013.288 bit / symbol2)N )NH(X)1000 13.288 13288 bit / symbolH ( X3) NH(X N)

25、2.1106158037H(X)13.2882.20 给定语音信号样值 X 的概率密度为 p( x)1ex ,x,求 Hc(X)，并证明它小于2同样方差的正态变量的连续熵。解Word 文档.Hc( X )px (x)log px( x)dxpx( x)log 1e x dx2p (x)log1dxp(x)( x )log edxx2xlog 1log e1ex (x )dx22log1log e01e x(x)dxlog1ex (x)dx2202log12log e12 xex dx202log1log e(1x)ex02log 1log elog 2e2E(X )0,D( X )22H (

26、X,)1log 2e214 e2 elog2 e eH(X)22log2log22.24连续随机变量X和Y的联合概率密度为：p(x, y)12x 2y 2r 2，求,rH(X) H(Y),0其他H(XYZ)和 I(X;Y)。（提示：解：2 log 2 sin xdxlog 2 2 ）02Word 文档.p(x)H c ( X )r 2x2r 2x212r2x2r 2x2p( xy)dyr 2x22dy2( r x r )rrrp(x) log p( x)dxrr22p(x) log 2rxdxr2rr2rr 2x2 dxrp(x) log2 dxp( x) logrrr2rr 2x 2 dxl

27、ogp( x) logr2logr 2log r11 log 2 e22log 2r1 log2 ebit / symbol2其中：rr 2x2 dxp( x) logrr2 r 2x2r2x2dxrr2log4rr2x2logr 2x 2 dx20r4令 xr cos0log r sind ( r cos )r 2r sin2402 sin 2log r sindrr 2242 sin 2log r sind042 sin 2log rd42 sin 2log sind004 log r2 1cos2d4 2 1cos2log sin d0202Word 文档.2 log r2 d2 log

28、 r2 cos2 d22 log sin d2 2 cos2 log sin d0000log r1 log r2 d sin 22 (log22)2 2 cos2log sin d020log r122 cos2log sin d0log r11 log 2 e2其中：22 cos2log sind012 log sind sin 201sin 2log sin020sin 2 d log sin212 2 sincoscoslog 2 esind02 log 2e 2 cos2d02 log 2e 2 1cos2d021e 2 d12 cos2 dlog 2log 2 e001 log 2

29、e1log 2 esin 202221 log 2 e2Word 文档.p( y)r 2y 2p( xy)dxr 2y212 dx2 r 2y2r2y2r2y22( r y r )rrp( y) p(x)HC (Y)HC(X)log2 r1 log2 e bit/symbol2H c( XY)p( xy) log p( xy)dxdyRp(xy) log 12 dxdyRrlogr 2p(xy) dxdyRlog 2r 2bit/symbolI c ( X ; Y)H c ( X )H c (Y)H c ( XY)2 log 2 rlog2 elogr 2log 2log 2 e bit/symbol2.25 某一无记忆信源的符号集为0, 1，已知 P(0) = 1/4 ，P(1) = 3/4