信息论与编码(第二版)曹雪虹(最全版本)答案

1、最新 料推荐信息论与编码（第二版） 曹雪虹答案第二章2.1 一个马尔可夫信源有3 个符号 uu ,u3，转移概率为： p u |u11/ 2， p u| u1/ 2 ，1,2121p u3 |u1 0 ， p u1 | u 21/ 3 ， p u2 | u20 ， p u3 | u22/3 ， p u1 |u31/ 3 ， p u2 | u32/3 ，p u3 |u3 0 ，画出状态图并求出各符号稳态概率。解：状态图如下1/21/2u1u21/31/32/3状态转移矩阵为：2/31/ 21/ 20p 1/ 302 / 3u31/ 32 / 30设状态 u1， u2，u3 稳定后的概率分别为W

2、1，W2、W 311110W1W 2W3 W1233W1WP W1 W12W 3W25由2计算可得9W1 W 2 W 31得 23W 22 W 2W 32563W3W1 W 2 W 31252.2 由符号集 0，1组成的二阶马尔可夫链，其转移概率为：p(0 | 00) =0.8， p(0 |11) =0.2，p(1| 00) =0.2， p(1|11) =0.8， p(0 | 01) =0.5， p(0 |10) =0.5， p(1| 01) =0.5， p(1|10) =0.5。画出状态图，并计算各状态的稳态概率。解： p(0 | 00)p(00 | 00)0.8p(0 | 01)p(10

3、| 01) 0.5p(0 |11)p(10 |11)0.2p(0 |10)p(00 |10)0.5p(1| 00)p(01| 00)0.2p(1| 01)p(11| 01)0.51最新 料推荐p(1|11)p(11|11) 0.8p(1|10) p(01|10)0.50.80.200于是可以列出 移概率矩 ：000.50.5p0.5000.5000.20.8状 ：0.80.201000.50.50.50.50.210110.8 各状 00，01，10，11 的 分布概率 W1,W 2,W 3,W 4 有5W10.8W 10.5W 3W 114WPW0.2W 10.5W 3W 21W 24得0.

4、5W 20.2W 4W3 算得到7i1W10.5W 20.8W 4W 4i 1W 3W1 W 2 W 3W 4175W 4142.3 同 出两个正常的骰子，也就是各面呈 的概率都 1/6 ，求：(1) “3 和 5 同 出 ” 事件的自信息；(2) “两个 1 同 出 ” 事件的自信息；(3) 两个点数的各种 合（无序） 的 和平均信息量；(4) 两个点数之和（即 2, 3, , 12 构成的子集）的 ；(5) 两个点数中至少有一个是 1 的自信息量。p( xi )11111p( xi )1116666186636解： (1)(2)log 1log 1I ( xi )log p( xi)4.1

5、70 bitI (xi )log p(xi )5.170 bit1836(3)2最新 料推荐两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有 21 种组合：其中 11，22，33，44，55，66 的概率是 111其他 15 个组合的概率是 2 11166366618H ( X )p( xi ) log p( xi )61 log1151 log 14.337 bit / symboli36361818(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：XP(

6、 X )H ( X )23456789101112111151511113618129366369121836p( xi ) log p( xi)(5)i21 log121 log 121 log 12 1 log 125log 51 log 1363618181212993636663.274bit / symbolp(xi )1111116636I ( xi )log p( xi )log 111.710 bit362-43最新 料推荐2.5 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高 160 厘米以上的，而女孩子中身高160 厘米以上的占总数的一半。假如我们得知“身高

7、160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 X 代表女孩子学历X x1（是大学生） x2（不是大学生）P(X)0.250.75设随机变量 Y 代表女孩子身高Yy1（身高 160cm）y2（身高 160cm）P(Y)0.50.5已知：在女大学生中有75% 是身高 160 厘米以上的即： p( y1 / x1)0.75 bit求：身高 160 厘米以上的某女孩是大学生的信息量即： I ( x1 / y1 )log p( x1/ y1 )log p( x1 ) p( y1 / x1)log 0.25 0.751.415 bitp( y1 )0.52.6 掷两颗骰子，当

8、其向上的面的小圆点之和是3 时，该消息包含的信息量是多少？当4最新 料推荐小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1）因圆点之和为3 的概率 p( x)p(1,2)p(2,1)118该消息自信息量 I ( x)log p( x)log184.170bit2）因圆点之和为7 的概率p(x) p(1,6) p(6,1)p(2,5) p(5,2)p(3,4) p(4,3)16该消息自信息量 I ( x)log p(x)log6 2.585bitXx10 x2 1 x32 x4 32.7 设有一离散无记忆信源，其概率空间为3/81/ 41/ 41/8P（1）求每个符号的自信息量（2）信

9、源发出一消息符号序列为202120130213001203210110321010021032011223210，求该序列的自信息量和平均每个符号携带的信息量解： I ( x1) log 21log 281.415bitp( x )31同理可以求得I (x2)2bit , I ( x3)2bit , I (x3)3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：I 14 I ( x )13I ( x)12I ( x )6I ( x ) 87.81bit123487.81平均每个符号携带的信息量为1.95 bit/符号452.8 试问四进制、八进制脉冲所含信息

10、量是二进制脉冲的多少倍？解：四进制脉冲可以表示4 个不同的消息，例如： 0, 1, 2, 3八进制脉冲可以表示8 个不同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7二进制脉冲可以表示2 个不同的消息，例如： 0, 1假设每个消息的发出都是等概率的，则：5最新 料推荐四 制 脉冲的 平均 信息 量 H ( X1 ) log nlog 42 bit / symbol八 制脉 冲的 平均信 息量H ( X2 )log n log 8 3 bit / symbol二 制脉冲的平均信息量H ( X 0 ) log nlog 2 1 bit / symbol所以：四 制、八 制脉冲所含信息

11、量分 是二 制脉冲信息量的2 倍和 3 倍。2-9“” 用三个脉冲“”用一个脉冲(1) I( )= Log (4) 2I( ) Log40.415(2) H=1 Log (4)3 Log40.81134432-10(2)P(黑/黑)=P(白 /黑 )=H(Y/ 黑)=(3) P(黑/白)=P(白 /白)=H(Y/ 白 )=(4)P(黑 )=P(白 )=H(Y)=2.11 有一个可以旋 的 ， 面上被均匀的分成38 份，用 1，38 的数字 示，其中有两份涂 色， 18 份涂 色， 18 份涂黑色， 停 后， 面上的指 指向某一数字和 色。（1）如果 色感 趣， 算平均不确定度（2）如果 色和数

12、字感 趣， 算平均不确定度（3）如果 色已知 ， 算条件 解：令 X 表示指 指向某一数字， X=1,2, .,38Y 表示指 指向某一种 色， Y=l 色， 色，黑色 Y 是 X 的函数，由 意可知 p(xiyj )p( xi)312 log 3818 log 381.24 bit/符号（1） H (Y)p( yj ) log2j 1p( yj ) 3823818（2） H (X , Y)H ( X )log 2385.25bit/符号6最新 料推荐（3） H (X |Y ) H ( X ,Y ) H (Y)H ( X )H (Y)5.251.24 4.01 bit/ 符号2.12 两个实验

13、 X 和 Y，X=x 1x2x3,Y=y 1y2 y3,l 联合概率 r xi , yjrij 为r 11r12r137 / 241/ 240r21r22r231/ 241/ 41/ 24r31r32r3301/ 247/ 24（1）如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？（2）如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？（3）在已知 Y 实验结果的情况下， 告诉你 X 的实验结果，你得到的平均信息量是多少？解：联合概率p(xi, yj ) 为y1y2y3H ( X ,Y )p( x , y)log21ijijp(xi , yj )=2.3bit/符号Y

14、7 log 2241 log 224 1 log 2424X247244x17/241/240x21/241/41/24x301/247/24X 概率分布Xx1x2x3H (Y) 31 log 231.58 bit/符号3P8/248/248/24H ( X |Y )H ( X ,Y )H (Y) 2.3 1.58 Y 概 率 分 布 是=0.72bit/符号Yy1y2y3P8/248/248/242.13 有两个二元随机变量X 和 Y，它们的联合概率为7最新 料推荐YX1=02xx =1y1=01/83/8y2=13/81/8并定义另一随机变量Z = XY（一般乘积），试计算：(1)H(X)

15、, H(Y), H(Z), H(XZ), H(YZ)和 H(XYZ)；(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)；(3)I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y) 。解：(1)p(x1 )p(x1 y1 ) p( x1 y2 )131882p(x2 )p( x2 y1 ) p( x2 y2 )311882H ( X )p(xi ) log p( xi)1 bit / symbolip( y1 )p( x1 y1 ) p(

16、x2 y1 )131882p( y2 )p( x1 y2 ) p(x2 y2 )311882H (Y )p( y j ) log p( y j)1 bit / symboljZ = XY 的概率分布如下：Zz1 0z2 171P( Z )8827711H (Z )p( zk )8loglog0.544 bit / symbolk8888最新 料推荐p(x1 ) p(x1 z1 ) p( x1z2 )p(x1 z2 )0p(x1 z1 ) p(x1 ) 0.5p(z1)p(x1z1 ) p(x2 z1 )73p(x2 z1 ) p(z1 ) p( x1z1 )0.588p(z2 )p(x1z2

17、) p( x2 z2 )1p(x2 z2 ) p( z2 )8H ( XZ )ikp( y1 )p( y1 z1 )p( y1z2 )0p( y1z1)p( y1 )p(z1) p( y1z1)p( y2 z1)p(z1 )p(z2 )p(y1z2 )p( y2 z2 )p(z2 )p(xi zk ) log p( xi zk )p(y1z2 )0.5p( y2 z1)73p(y1z1 )0.588p( y2 z2 )18113311logloglog1.406 bit / symbolH (YZ)p( yj zk ) log p( y j zk )jk113311logloglog1.406

18、 bit / symbolp(x1 y1z2 ) 0p(x1 y2 z2 ) 0p(x2 y1z2 )0p(x1 y1z1 )p(x1 y1 z2 )p( x1 y1 )p(x1 y1z1 )p(x1 y1 )1/ 8p(x1 y2 z1 )p(x1 y1 z1 )p( x1 z1 )p(x1 y2 z1 )p(x1 z1 )113p(x1 y1 z1 )882p(x2 y1z1 )p(x2 y1 z2 )p( x2 y1 )p(x2 y1z1 )p(x2 y1 )38p(x2 y2 z1 )0p(x2 y2 z1 )p(x2 y2 z2 )p(x2 y2 )p(x2 y2 z2 )p( x2

19、 y2 )18H ( XYZ)ijkp(xi y j zk) log 2p( xi y j zk)1 log 13 log 33 log 31 log 11.811 bit / symbol888888889最新 料推荐(2)H ( XY)p(xiy j ) log 2 p( xi y j)1 log 13 log 33 log 31 log 11.811 bit / symbolij888 88 88 8H ( X / Y)H ( XY)H (Y)1.81110.811 bit / symbolH (Y / X )H ( XY)H ( X )1.81110.811 bit / symbolH

20、 ( X / Z )H ( XZ)H ( Z)1.4060.5440.862bit / symbolH (Z / X )H ( XZ)H ( X ) 1.406 10.406 bit / symbolH (Y / Z )H (YZ)H ( Z )1.4060.5440.862 bit / symbolH (Z / Y )H (YZ)H (Y )1.40610.406 bit / symbolH ( X / YZ)H ( XYZ)H (YZ)1.8111.4060.405 bit / symbolH (Y / XZ )H ( XYZ) H ( XZ )1.8111.4060.405 bit /

21、symbolH (Z / XY)H ( XYZ)H ( XY)1.8111.8110 bit / symbol(3)I ( X ;Y )H ( X )H ( X / Y)10.8110.189 bit / symbolI ( X ; Z )H ( X )H ( X / Z )10.8620.138 bit / symbolI (Y;Z )H (Y)H (Y / Z )10.8620.138 bit / symbolI ( X ;Y / Z )H ( X / Z )H ( X /YZ)0.8620.4050.457 bit / symbolI (Y;Z / X )H (Y / X )H (Y /

22、 XZ)0.8620.4050.457 bit / symbolI ( X ; Z / Y )H ( X /Y )H ( X / YZ)0.8110.4050.406 bit / symbol2-14(1)P(ij)=P(i/j)=(2) 方法 1:=方法 2:2-15P(j/i)=10最新 料推荐2.16 黑白传真机的消息元只有黑色和白色两种，即X= 黑，白 ，一般气象图上，黑色的出现概率 p(黑 ) 0.3，白色出现的概率p(白 )0.7。（1）假设黑白消息视为前后无关，求信源熵H(X) ，并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)0.9143，P

23、(黑|白)0.0857，P(白|黑)0.2，P(黑|黑 )0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。1010bit/符号解：（1） H ( X ) 0.3log 20.7log 20.881337P(黑|白)=P(黑 )0.7P(白|白)P(白)P(黑|黑)P(黑)P(白|黑)P(白)0.3黑白0.70.3（2）根据题意，此一阶马尔可夫链是平稳的（P(白)0.7 不随时间变化， P(黑)0.3 不随时间变化）11最新 料推荐H (X )H ( X 2 | X 1)1p( xi , yj )log 2ijp( xi, yj)0.914

24、31110.7log 20.0857 0.7log 20.2 0.3log 20.91430.08570.20.8 0.3log120.8 0.512bit/符号2.17 每帧电视图像可以认为是由3105 个像素组成的，所有像素均是独立变化，且每像素又取 128 个不同的亮度电平， 并设亮度电平是等概出现， 问每帧图像含有多少信息量？若有一个广播员，在约10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解： 1)H ( X )log 2 n log

25、 2 128 7bit / symbolH ( X N )NH ( X )310572.1 106bit / symbol2)H ( X )log 2 nlog 2 1000013.288bit / symbolH ( X N )NH ( X )100013.288 13288 bit / symbol3)NH ( X N )2.110 6158037H ( X )13.2882.20 给定语音信号样值 X 的概率密度为 p( x)1 e x ,x,求 Hc(X) ，并证明它小于2同样方差的正态变量的连续熵。解12最新 料推荐H( X )p (x)log p ( x)dx1exdxp ( x)

26、logcxxx21dxpx(x)(x )log edxpx(x)log2log 1log e1ex (x )dx22log 1log e01e x(x)dxlog1 ex (x)dx2202log 12log e12 xex dx202log 1log e(1x)ex02log 1log elog 2e2E( X )0, D ( X )22,1log 2e214 e2 elog2 e eH ( X )22log2logH ( X )2连续随机变量 X 和 Y 的联合概率密度为： p( x, y)1x2y2r22.24r 2，求 H(X), H(Y),0其他H(XYZ)和 I(X;Y) 。（提示

27、： 2 log 2 sin xdxlog 2 2 ）02解：13最新 料推荐r 2x2r 2x212 r2x2p(x)2x2 p( xy)dyr2x22dy( r x r )rrr2rH c ( X )rrrrrlogloglog 2其中：p(x) log p( x)dxp(x) log 2r 2x2dxr 2p(x) log2dxrp( x) log r2x2 dx2rrr2rr 2x 2 dxp( x) logr2r 2log r112log 2 e21r log 2 e bit / symbol2rr 2x2 dxp( x) logrr2r 2x2r2x2dxrr2log4rr2x2lo

28、gr 2x 2 dx20r令 xr cos40log r sind ( r cos )r 2r sin2402 sin 2log r sindrr 2242 sin 2log r sind042 sin 2log rd42 sin 2log sind004log r2 1cos2d4 2 1cos2log sin d020214最新 料推荐2log r2 d2log r2 cos2 d22 log sin d2 2 cos2 log sin d0000log r1 log r2 d sin 22 (log22)2 2 cos2log sin d020log r122 cos2log sin d

29、0log r11log 2 e2其中：22 cos2log sind012 log sind sin 201sin 2log sin22sin 2 d log sin0012 2 sincoscos log 2 e d0sin2 log 2e 2 cos2d02 log 2e 2 1cos2d021 log 2e 2 d1 log 2e 2 cos2 d001 log 2e1log 2 esin 2 02221 log 2 e215最新 料推荐r 2y 2r2y212r2y2p( y)r2y2p( xy)dxr2y2r2 dxr2( r y r )p( y) p(x)H C (Y )H C ( X )log21log2 ebit/symbolr2H c( XY)p( xy) log p( xy