信息论与编码课后习题答案(整合版)00000

信息论与编 码 曹雪虹 （第二版）课后习题答案 1 第二章 信源与信息熵 个马尔可夫信源有 3 个符号 1, 2 3,u u u ，转移概率为： 11| 1/ 2p u u ， 21| 1/ 2p u u ， 31|0p u u ， 12| 1/ 3p u u ， 22|0p u u ， 32| 2 / 3p u u ， 13| 1/ 3p u u ， 23| 2 / 3p u u ， 33|0p u u ，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1 / 2 1 / 2 01 / 3 0 2 / 31 / 3 2 / 3 0p设状态 定后的概率分别为 1 2 3 1W W W 得1 2 3 11 3 2231 2 31 1 12 3 31223231W W W W 计算可得1231025925625 符号集 0， 1组成的二阶马尔可夫链，其转移概率为： (0|00)p =0|11)p =(1|00)p =(1|11)p =(0|01)p =(0|10)p =(1|01)p=(1|10)p =出状态图，并计算各状态的稳态概率。 解： ( 0 | 0 0 ) ( 0 0 | 0 0 ) 0 ( 0 | 0 1) (1 0 | 0 1) 0 ( 0 | 1 1) (1 0 | 1 1) 0 ( 0 | 1 0 ) ( 0 0 | 1 0 ) 0 (1 | 0 0 ) ( 0 1 | 0 0 ) 0 (1 | 0 1) (1 1 | 0 1) 0 (1 | 1 1) (1 1 | 1 1) 0 (1 | 1 0 ) ( 0 1 | 1 0 ) 0 u 1 u 2u 31 / 21 / 21 / 32 / 32 / 31 / 3 信息论与编 码 曹雪虹 （第二版）课后习题答案 2 于是可以列出转移概率矩阵：0 00 0 0 5 0 00 0 0 状态图为： 0 0 0 11 0 1 10 . 80 . 20 . 50 . 50 . 50 . 50 . 20 . 8设各状态 00， 01， 10， 11 的稳态分布概率为 2,4 有 411W 得 1 3 11 3 22 4 32 4 41 2 3 40. 8 0. 50. 2 0. 50. 5 0. 20. 5 0. 81W W W W 计算得到12345141717514 时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “ 3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即 2, 3, , 12 构成的子集）的熵； (5) 两个点数中至少有一个是 1 的自信息量。 解： (1) b o g)(l o g)(2)b o g)(l o g)(3616161)(3)两个点数的排列如下： 信息论与编 码 曹雪虹 （第二版）课后习题答案 3 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有 21 种组合：其中 11， 22， 33， 44， 55， 66 的概率是 3616161 其他 15 个组合的概率是 18161612 s y m b o lb i o o l o g)()( (4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： s y m bo 61l )(l )(36112181111211091936586173656915121418133612)(5) b o g)(l o g)(3611116161)(2 ： (1) 红球，白球的个数均为 50 个，则随意取球得到的颜色的球是等概率事件： p = , 信息量为： I( )= )= )=1 2) 取红球所需的信息量为： I( )=p( )= =白球所需的信息量为： I( )=p( )= = 信息量为： H(x)= = =(3) 每个球取出的概率均为： p= 所需的信息量： I( )= p( )=2 住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米 信息论与编 码 曹雪虹 （第二版）课后习题答案 4 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高160 厘米以上的某女孩是大学生”的消息，求： 获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X 大学生） 是大学生） P(X) 随机变量 Y 代表女孩子身高 Y 高 160 高 160 P(Y) 知：在女大学生中有 75%是身高 160 厘米以上的 即： ( 11 求：身高 160 厘米以上的某女孩是大学生的信息量 即： b o g)( )/()(l o g)/(l o g)/( 1 1111111 2两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？ 解： 1）因圆点之和为 3 的概率 1( ) (1 , 2 ) ( 2 , 1 ) 18p x p p 该消息自信息量 ( ) l o g ( ) l o g 1 8 4 . 1 7 0I x p x b 2）因圆点之和为 7 的概率 1( ) ( 1 , 6 ) (6 , 1 ) ( 2 , 5 ) ( 5 , 2 ) ( 3 , 4 ) ( 4 , 3 ) 6p x p p p p p p 该消息自信息量 ( ) l o g ( ) l o g 6 2 . 5 8 5I x p x b 有一离散无记忆信源，其概率空间为 1 2 3 40 1 2 33 / 8 1 / 4 1 / 4 1 / 8X x x x （ 1）求每个符号的自信息量 （ 2）信源发出一消息符号序列为 202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求该序列的自信息量和平均每个符号携带的信息量 解：1 2 2118( ) l o g l o g 1 . 4 1 5( ) 3I x b 同理可以求得 2 3 3( ) 2 , ( ) 2 , ( ) 3I x b x b x b 因为信源无记忆，所以 消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 1 2 3 41 4 ( ) 1 3 ( ) 1 2 ( ) 6 ( ) 8 7 . 8 1I I x I x I x I x b 信息论与编 码 曹雪虹 （第二版）课后习题答案 5 平均每个符号携带的信息量为 问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如： 0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息，例如： 0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示 2 个不同的消息，例如： 0, 1 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量 s y m b o lb 24l o gl o g)( 1 八进制脉冲的平均信息量 s y m b o lb 38l o gl o g)( 2 二进制脉冲的平均信息量 s y m b o lb 12l o gl o g)( 0 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2： (1)划出现的概率为： p( )= ，则点出现的概率 p( )= 。 所以，划出现的信息量 :I( )= =2 点出现的信息量 :I( )= =(2) 平均信息量： H(X)= = =1)一次实验抽出白球的概率： p( )= = , 抽出黑球的概率 : p( )= 信息熵为 :H(X)= = =2) P(黑 /黑 )= P(白 /黑 )= 不确定度： H(Y/黑 )= + =3) P(黑 /白 )= P(白 /白 )= 不确定度： H(Y/白 )= + =4) 第一次取出的为白球的概率 :P(黑 )= ,第一次取出的为白球的概率 :P(白 )= 不确定度： H(Y)= + = 信息论与编 码 曹雪虹 （第二版）课后习题答案 6 一个可以旋转的圆盘 ,盘面上被均匀的分成 38份 ,用 1, ,38的数字标示，其中有两份涂绿色 ,18 份涂红色 ,18 份涂黑色 ,圆盘停转后 ,盘面上的指针指向某一数字和颜色。 （ 1）如果仅对颜色感兴趣，则计算平均不确定度 （ 2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （ 3）如果颜色已知时，则计算条件熵 解：令 X 表示指针指向某一数字，则 X=1,2, ,38 Y 表示指针指向某一种颜色，则 Y=绿色 ,红色 ,黑色 Y 是 X 的函数，由题意可知 ( ) ( )i j ip xy p x （ 1） 311 2 3 8 1 8 3 8( ) ( ) l o g l o g 2 l o g 1 . 2 4( ) 3 8 2 3 8 1 8 p y 2） 2( , ) ( ) l o g 3 8 5 . 2 5H X Y H X 3） ( | ) ( , ) ( ) ( ) ( ) 5 . 2 5 1 . 2 4 4 . 0 1H X Y H X Y H Y H X H Y 个实验 X 和 Y， X=x2 Y=y1 y2 l 联合概率 ,i j x y r 为 : 11 1 2 1 32 1 2 2 2 33 1 3 2 3 37 / 2 4 1 / 2 4 01 / 2 4 1 / 4 1 / 2 40 1 / 2 4 7 / 2 4r r rr r rr r r (1)如果有人告诉你 X 和 Y 的实验结果，你得到的平均信息量是多少？ (2)如果有人告诉你 Y 的实验结果，你得到的平均信息量是多少？ (3)在已知 Y 实验结果的情况下，告诉你 X 的实验结果，你得到的平均信息量是多少？ 解：联合概率 ( , )y 为 22 2 21( , ) ( , ) l o g( , )7 2 4 1 12 l o g 4 l o g 2 4 l o g 42 4 7 2 4 4 Y p x y p x y = Y 的概率分布： X x1 x2 8/24 8/24 8/24 Y 8/24 8/24 8/24 P 8/24 8/24 8/24 两个二元随机变量 X 和 Y，它们的联合概率为 ： Y X y1 y2 y3 (X|Y)=H(X,Y)=1( ) 3 lo g 3 1 3 信息论与编 码 曹雪虹 （第二版）课后习题答案 7 并定义另一随机变量 Z = 般乘积），试计算： (1) H(X), H(Y), H(Z), H( H( H( (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/ H(Y/ H(Z/ (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和 I(X;Z/Y)。 解： (1) s y m bo y m bo 1)(l )(218183)()()(218381)()()(/ 1)(l )(218183)()()(218381)()()(22212121112212221111Z = 概率分布如下： s y m b o lb o o )(818710)(221 s y m l )(81)()()()()()()()()()()(0)()()()(2222221211112121111112121111 =0 1/8 3/8 =1 3/8 1/8 Y X 信息论与编 码 曹雪虹 （第二版）课后习题答案 8 s y m l )(81)()()()()()()()()()()(0)()()()(2222221211112121111112121111 s y m j l )(81)()()()()(0)(83)()()()()(838121)()()()()()(8/1)()()()()(0)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211 (2) s y m y m y m y m y m y m y m y m y m y m )()/(/ )()/(/ )()/(/ )()/(/ )()/(/ )()/(/ )()/(/ )()/(/ )()/(/ l )( 2 (3) 信息论与编 码 曹雪虹 （第二版）课后习题答案 9 s y m b o lb y m b o lb y m b o lb y m b o lb y m b o lb y m b o lb ()/()/;(/ ()/()/;(/ ()/()/;(/ ()();(/ ()();(/ ()();(21)p(j/i)= p(i,j)= p(i/j)= p( )= + = p( )= + = (2) 方法 1:I(X;Y)= p( )|I(X; )+ p( ) |I(X; ) = 法 2: I(X;Y)= )+ )+ )+ )=题意可得： p(j/i)= p( )=p( )= p( )= =1- I( )= )= )=(1- ) p( )= = 信息量为： I( )= )= )= ) 白传真机的消息元只有黑色和白色两种，即 X=黑，白 ，一般气象图上，黑色的出现概率 p(黑 ) 色出现的概率 p(白 ) （ 1）假设黑白消息视为前后无关，求信源熵 H(X)，并画出该信源的香农线图 （ 2）实际上各个元素之间是有关联的，其转移概率为： P(白 |白 ) P(黑|白 ) P(白 |黑 ) P(黑 |黑 ) 这个一阶马尔可夫信源 的信源熵，并画出该信源的香农线图。 （ 3）比较两种信源熵的大小，并说明原因。 解：（ 1） 221 0 1 0( ) 0 . 3 l o g 0 . 7 l o g 0 . 8 8 1 337 (黑 |白 )=P(黑 ) 黑 白0 . 70 . 30 . 70 . 3 信息论与编 码 曹雪虹 （第二版）课后习题答案 10 P(白 |白 ) P(白 ) P(黑 |黑 ) P(黑 ) P(白 |黑 ) P(白 ) （ 2） 根据题意，此一阶马尔可夫链是平稳的（ P(白 ) 随时间变化， P(黑 ) 随时 间变化） 2 1 22 2 221( ) ( | ) ( , ) l o g( , )1 1 10 4 3 0 .7 l o g 0 5 7 0 .7 l o g 0 .3 l o 9 1 4 3 0 5 7 0 8 0 .3 l o H X X p x yp x y 帧电视图像可以认为是由 3105个像素组成的，所有像素均 是独立变化，且每像素又取 128 个不同的亮度电平，并设亮度电平是等概 率 出现，问每帧图像含有多少信息量？若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？ 解： (1) s y m b o lb s y m b o lb / )( / 7128l o gl o g)( 6522 (2) s y m b o lb s y m b o lb / )( / o gl o g)( 22 (3) )( 6 ：由 =1 得 k=1/2 所以 (X)= = 信息论与编 码 曹雪虹 （第二版）课后习题答案 11 定语音信号样值 X 的概率密度为 1()2 xp x e , x ,求)，并证明它小于同样方差的正态变量的连续熵。 解： 00201( ) ( ) l ) ( ) l ) l ) ( ) l og l )221 1 1l og l ) l )2 2 211l l x x p x p x dx p x e x dx p x x e e x e x dx e x x e 01l og l 1 )212l og l og l x 22( ) 0 , ( )E X D X , 221 2 1 4 2 2( ) l o g 2 l o g l o g l o g ( )22 e e e e H X 续 随 机 变 量 X 和 Y 的 联 合 概 率 密 度 为 ： 其他01),( 2222 ， 求 H(X), H(Y), H( I(X;Y)。 （提示： 20 22 2lo g xd x ） 解： 信息论与编 码 曹雪虹 （第二版）课后习题答案 12 202020220220202222022022222222222222222222222222222s i nl i nl i i i nl i i nl i n4)c os(s i nl i )(2l l 2l 2l )(l )()( 21)()(22222222y m 信息论与编 码 曹雪虹 （第二版）课后习题答案 13 i nl i nl i i nl i ns i nl i i ns i nl i nl i nl i nl l 2s i nl i nl i nl 其中：bi t/s y m t/s y m t/s y m l )()()();(l )(l 1l )(l )(l )()()()( 21)()(22222222222222222222222一无记忆信源的符号集为 0, 1，已知 P(0) = 1/4， P(1) = 3/4。 (1) 求符号的平均熵； (2) 有 100 个符号构成的序列，求某一特定序列（例如有 m 个“ 0”和（ 100 - m）个“ 1”）的自信息量的表达式； (3) 计算 (2)中序列的熵。 信息论与编 码 曹雪虹 （第二版）课后习题答案 14 解： (1)符号的平均熵： s y m b o lb i o o l o g)()( (2) 自信息量的表达式为： b o g)(l o g)(434341)(100100100100100(3) 序列的熵： s y m b o lb 100)( 100 2 ： p(j/i)= p(i)=p(i,j)= H(I,J)=4 )+2 0)+2 5+3 )6)+ 2) = 一个一阶平 稳马尔可夫 链 1, 2, , , X ,各 值于集合 1, 2, 3A a a a ,已知起始概率 P( 1 2 31 / 2 , 1 / 4p p p ，转移概率如下图所示 j i 1 2 3 1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 (1)求 1 2 3( , , )X X X 的联合熵和平均符号熵 (2)求这个链的极限平均符号熵 (3)求 0 1 2,H H H 和它们说对应的冗余度 解： （ 1） 1 2 3 1 2 1 3 2 , 11 2 1 3 2( , , ) ( ) ( | ) ( | )( ) ( | ) ( | )H X X X H X H X X H X X H X X H X X 信息论与编 码 曹雪虹 （第二版）课后习题答案 15 1 1 1 1 1 1 1( ) l o g l o g l o g 1 . 5 /2 2 4 4 4 4H X b 1， 2 12( ) ( )j x p x x 21 1 1 1 1 3 1 1 3 1( | ) l o g 4 l o g 4 l o g 4 l o g l o g 3 l o g l o g 34 8 8 6 2 1 2 6 2 1 2H X X =2,23()x 1 2 3 1 7/24 7/48 7/48 2 5/36 0 5/12 3 5/36 5/12 0 32 7 7 1 5 3 5 5 3 5( | ) l o g 2 l o g 4 l o g 4 l o g l o g 3 l o g l o g 32 4 4 8 8 3 6 2 7 2 3 6 2 7 2H X X = 2 3( , , ) 1 . 5 1 . 2 0 9 1 . 2 6 3 . 9 6 9H X X X b /符号 所以平均符号熵3 1 2 3 3 . 9 6 9( , , ) 1 . 3 2 33H X X X b 符号 （ 2）设 a1,a2,1,3,转移概率距阵为1112442103321 033P由1W 得到 1 2 31 3 21 2 31 2 2 12 3 311431W W W 计算得到12347314314 又满足不可约性和非周期性 314 1 1 1 3 2 1( ) ( | ) ( , , ) 2 ( , , 0 ) 1 . 2 57 2 4 4 1 4 3 3 W H X W H H b i t /3) 0 / 2()x 1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3 14/24 5/24 5/24 信息论与编 码 曹雪虹 （第二版）课后习题答案 16 2 1 9 1 52H b / 0 1 1 1 0 1 11 1 1 1 0 71 22 1 1 1 0 81 5 22 / 31 / 41 / 31 / 32 / 31 / 4 2： (1) 求平稳概率 P(j/i)= 解方程组 = + =1 得到 = (2) H(S/ )= )+ )= H(S/ )=0 信源熵为 : H(S)= H(S/ )+ H(S/ ) = 0= 2： 转移矩阵 P(j/i)=解方程组 得到 = , = , = H( )=)=H( )=)= 信息论与编 码 曹雪虹 （第二版）课后习题答案 17 H( )=)=1 X)= H( )+ H( )+ H( )= 阶马尔可夫信源的状态图如图所示，信源 X 的符号集 为： （ 0， 1， 2）。 （ 1）求信源平稳后的概率分布 P(0),P(1),P(2) （ 2）求此信源的熵 （ 3）近似认为此信源为无记忆时 ，符号的概率分布为平稳分布。 求 :近似信源的熵 H(X)并与 H 进行比较 0 121 - 21 - 2p / 2p / 2p / 2p / 21 - - 1 3解 :根据香农线图 ,列出转移概率距阵 1 / 2 / 2/ 2 1 / 2/ 2 / 2 1p p pP p p pp p p令状态 0,1,2 平稳后的概率分布分别为 311W 得到 1 2 3 11 2 3 21 2 3(1 )22(1 )221 W W p W W W 计算得到131313 由齐次 遍历可得 : 1 1 2( ) ( | ) 3 ( 1 , , ) ( 1 ) l o g l o 2 1 W H X W H p p ,( ) lo g 3 1 /H X 符号 由最大熵定理可知 ()存在极大值 或者也可以通过下面的方法得出存在极大值 : ( ) 1 2 1l o g ( 1 ) ( 1 ) l o g l o 2 2 ( 1 )H X p p p p p 信息论与编 码 曹雪虹 （第二版）课后习题答案 18 112 (1 ) 2 2 (1 )p 又 01p所以 0,2(1 )p p 当 p=2/3时 12(1 )p p 0p2/3 时 () lo g 02 (1 )H X 2/3p1 时 () lo g 02 (1 )H X 所以当 p=2/3 时 ()存在极大值 ,且 m ) 1 /H X 符号 所以 ,( ) ( )H X H X 2 (1)由转移 概率 矩阵： p(j/i)= 解方程组 又 =1 得 p(0)=p(1)=p(2)= (2)H(X|0)=H(X|1)=H(X|2)=-(1-P)p) (X)= H(X|0)+ H(X|1)+ H(X|2) =-(1 p p) (3) 当 p=0 或 p=1 时 信源熵为 H(X)=0 第三章 信道与信道容量 信息论与编 码 曹雪虹 （第二版）课后习题答案 19 二元对称信道的传递矩阵为 p(j/i)= (1) 若 P(0) = 3/4, P(1) = 1/4，求 H(X), H(X/Y), H(Y/X)和 I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) (2) 信道容量为2 2 21 1 2 2m a x ( ; ) l o g l o g 2 ( l g l g ) l o g 1 0 0 . 0 8 2 /3 3 3 3 X Y m H b i t s y m b o l 其最佳输入分布为 1()2信源发送端有 2 个符号， i 1， 2； ()a ，每秒发出一个符号。接受端有 3 种符号 j 1， 2， 3，转移概率矩阵为 1 / 2 1 / 2 01 / 2 1 / 4 1 / 4P 。 （ 1） 计算接受端的平均不确定度； （ 2） 计算由于噪声产生的不确定度 ( | ) ； （ 3） 计算信道容量。 解： 转移概率矩阵为 1 / 2 1 / 2 01 / 2 1 / 4 1 / 4P 联合概率 ( , )y s y m y m y m y m y m ()();(/ ()()()/()/()()/()();(/ ()()()/()()()()()()/()()()()(/ 10l 2 )/(l ()()/(/ 1l ()(222221212221221211112111222 信息论与编 码 曹雪虹 （第二版）课后习题答案 20 X Y 1y 2y 3y 1x /2a/2a 0 2x (1 )/2a(1 )/4a (1 )/4a 则 Y 的概率分布为 Y 1y 2y 3y 1/2 (1 )/4a (1 )/4a （ 1） 1 1 + 4 1 4( ) l o g 2 l o g l o 1 4 1 21 1 1 6 1l o g 2 l o g l o 1 4 1 21 1 1 1 1l o g 2 l o g 1 6 l o g l o 4 1 4 1 23 1 1 1l o g 2 l o g l o 1 4 1 取 2 为底 2223 1 1 1( ) ( l o g l o g )2 4 1 4 1 b （ 2） 1 1 1 1 1 1 1 1( | ) l o g l o g l