信息论与编码曹雪虹张宗橙(第二版)课后习题答案

1、设状态ui, u2, u3稳定后的概率分别为wiw2、w3wi -w2 -w3 = wi,wp =w由wi w2 w3 = 112wiw3 =w2计算可得w 2 =w33wi w2 w3 =110 wi =25w2 =-25w3 = .25信息论与编码-曹雪虹张宗橙(第二版)课后习题答案第二章2.1 一个马尔可夫信源有3个符号ui,u?u3,转移概率为：p(ui|ui )=1/2 , p(u2| ui ) = 1/2 , p(u3|ui) = 0, p(ui |u2 )=1/3 , p(u2|u2)=0, p(u3|u2 )=2/3 ,p(ul|u3 )=1/3 , p(u2|u3 ) = 2

2、/3 , p(u3|u3)=0,画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：t/2 1/20p= 1/302/3j/3 2/302.2 由符号集0 , 1组成的二阶马尔可夫链，其转移概率为：p(0|00) =0.8, p(0|11)=0.2,p(1| 00) =0.2, p(1|11)=0.8, p(0|01)=0.5, p(0|10)=0.5, p(1|01)=0.5, p(1|10)=0.5。画出状态图,算各状态的稳态概率。解：p(0|00) =p(00 |00) =0.8p(0 | 0 1)p(1 0 |=0 1)p(0|11) = p(10|11) =0.2p(0 |

3、10)p(00 fi 0)p(1|00)二 p(01| 00) =0.2p(1 | 0 i)p(1 1 f0 1)p(1|11) =p(11|11) =0.8p(1|10)二 p(01|10) =0.50、0.5 00.8,设各状态00, 01, 10, 11的稳态分布概率为wi,w2,w3,w4有wp =w42 w =1i m、一 5wi =o.8w1 +0.5w3 =wi140.2w1 +0.5w3=w21w2 二 0.5w2+0.2w4 =w3计算得到710.5w2+0.8w4 =w4w3 = 一7w1+w2+w3 +w4=15w4 =l14得2.3 同时掷出两个正常的骰子，也就是各面呈

4、现的概率都为1/6,求:(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；(3)两个点数的各种组合(无序)对的嫡和平均信息量；(4)两个点数之和(即2, 3,，12构成的子集)的嫡；(5)两个点数中至少有一个是1的自信息量。解： 118,、1p(xi)=一61,i (xi) = -log p(xi) = -log - =4.170 bit18(2)36p(xi)=1_ ,.i (xi) = -log p(xi) = -log 5.170 bit36两个点数的排列如下:11121314151621222324252631323334353641424344454

5、6515253545556616263646566共有21种组合：1 11其中11, 22, 33, 44, 55, 66的概率是 一m= 6 6 361 11其他15个组合的概率是 2mlm 1 6 6 18h(x) z. f1 .1,1 .1 1p(xi)log p(xi) = 6mlog +15 m log i = 4.337 bit/symbol36361818)(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：x 23 4 5 6 7 8 9 10 11 1211115 15 1111-p(x)1.36 18 12 9 366 36 91218 36h(x)p(xi

6、)log p(xi)11 .1 . _ 1.1 . _1 .1.1.1 . _ 5 .5,1.1 )=-2mlog +2父log +2父log +2父一log +2mlog +log i160cm)0.5v2(身高 p(i/j尸179-+ 一81616.二 i 二/.，）=方法2:1 f 219+ - log e1p(bl) = p(b?i = !俄bl)219750/03 + 0.236 = 0 3111616+ log 161 10.311p(al-bl)p以尸迎空出=三限勾i(a1；b2 log心1 励p3)2.16 黑白传真机的消息元只有黑色和白色两种，即x=黑，白, 一般气象图上，黑

7、色的出现概率p（黑）=0.3,白色出现的概率 p（白）= 0.7。（1）假设黑白消息视为前后无关，求信源嫡h（x）,并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：p（白|白）=0.9143, p（黑|白）=0.0857,p（白黑）= 0.2, p（黑|黑）=0.8,求这个一阶马尔可夫信源的信源嫡，并画出该信源的香农线 图。（3）比较两种信源嫡的大小，并说明原因。.1010解：（1） h（x） =0.3log 2g + 0.7log 2彳=0.8813 bit/符号 p（黑|白尸p（黑）0.7p(白i白)=p(白)p(黑|黑)=p(黑)p(白|黑)=p(白)-/ x0.

8、3 黑：白0.30.7(2)根据题意，此一阶马尔可夫链是平稳的(p(白)=0.7不随时间变化，p(黑)=0.3不随时1h “x) =h(x2|x。/p(xi, yj)log2jp(xi, yj)11间变化)= 0.9143 0.7 log 2 0.0857 0.7 log 2 0.2 0.3log 2 一0.91430.08570.2cc c 10.8 0.3log 2 = 0.512bit/ 符号2.17 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有 一个广播员，在约 1000

9、0个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此 图像所广播的信息量是多少 (假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)h (x) = log 2 n = log2128 = 7 bit / symbolh(xn) = nh(x) =3 1 05 7 = 2.1 106 bit/symbol2)h(x) =log2 n =log210000 =13.288 bit/symbolh(xn) =nh(x)=1000 13.288 = 13288 bit/symbol3)h(xn)h(x)2.1 10613.288=1580

10、37. 1x -2.20给定语首信号样值 x的概率密度为 p(x) = e-e, - x +8，求hc(x),并证明它2小于同样方差的正态变量的连续嫡。解:be-beai , x hc(x) - - px(x)log px(x)dx - -px(x)log - e- dx2二 , 、ii,-px(x)log-dx-.：2-bepx(x)(- x)log edx.joo,1-log 2*1-loge f 一九el(九 x)dx 201.v1.x . loge e(-x)dx log e_ ( x)dx一二 20 2-x二 1 2 x ：: 2log e 一 xe- dx0 21vlog 2 人一

11、loge (1 + kx)ef 1012e=-log - loge = log 2e(x) =0,d(x)a1214二 e2、72,e-eh(x,) =-log2-e- =-loge =log log =h(x)2,2/././.2.24连续随机变量x和y的联合概率密度为：p(x,y) =nr2、0求 h(x), h(y), h(xyz)和 i(x;y)。一31冗(提示：0210g2 sin xdx = -log 2 2)22 .2x y - r其他解:2222 12 r2 -x2p(x) =2 2 p(xy)dy =_2 dy =2(-r x w! h(s/s1 )+w2 h(s/s2)=二

12、 091& + - 0 = 0.683442-31t l 1、3 3 31 1 1p(j/i)= 3 3 3 解方程组13i3；13331得到 w1= - , w2= 一，w3= 一 香？5/w1 + w2 + w3 = 1h(x2/a)= logfj) - 1.5b5h(x2/b)= logcj) = l5g5h(x3/c)= lop5 = 1hgo区=wh(x2%)钟/h(x2佝+w3h铝化尸 三log +三反反3) +1logf=1 439 8s42.32 一阶马尔可夫信源的状态图如图213所示，信源x的符号集为(0, 1, 2)。(1)求信源平稳后的概率分布p(0),p(1),p(2)

13、(2)求此信源的嫡(3)近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的嫡h(x)并与h年进行比较1-p1-p1-p图 2-13-1-p p/2p/2l解:根据香农线图，列出转移概率距阵 p= p/2 1-p p/2 :p/2p/2 1-p_令状态0,1,2平稳后的概率分布分别为 w1,w2,w31plp1(1 p)w1 +w2 +-pw3 =w1w =-wp =w3z wi =1j 3223pp1得到上w1+(1 p)w2+上w3=w2计算得至u w=一223w1+w2+w3=11w =-31.2-p log 一1- p p由齐次遍历可得h 二(x)二，wih (x |wi)

14、 =3 1h (1- p,e,e)=(1 一 p)iog i32 2h(xj=log3 =1.58bit/符号 由最大嫡定理可知 h气x)存在极大值或者也可以通过下面的方法得出存在极大值h ：(x)1 - pplogp2(1 - p)p2(1-p)11+又 0 w p2 2(1-p)hw1所以p2(1 - p)w i。,当 p=2/3 时 p =1 2(1-p)0p2/3 时i：h 二(x)plog-p2(1-p)2/3p1 时i- h ： (x):p- log2(1 - p)：0_log(1_p) ._(_1) log. .p所以当p=2/3时h式x)存在极大值，且h x) max = 1.

15、58bit /符号所以 h 二(x)工 h(x,)2-33(1)1- p0p、p(j/i)=p1-p0lup1-pj解方程组：(1 - p) w1 +p w2 = w1(1 -p) vz2 + p w3 = w2p w1 + (1 -程 w3 = w3w1 + w2 + w3 z i1得 p(0)=p(1)=p(2)= -(2)h(x/d)=h(x/1 )=h(x/2)= -(1 - p) log(l - p) p-log(p)1*h(xz2)= -(1 - p) lol - p) - p logfp)(3)当p=0或p=1时信源为0练习题：有一离散无记忆信源，其输出为xw 0,1,2,相应的

16、概率为p0 =1/4, pi =1/4, p2 =1/2 ,设计两个独立的实验去观察它，其结果分别为p(y1|x)0101110121/21/2yi 9,1),丫2. s,1),已知条件概率p(y2|x)01010110201(1)求i(x;y1)和i(x;y2),并判断哪一个实验好些(2)求i (x；y1y2),并计算做丫1和丫2两个实验比做 丫1和丫2中的一个实验可多得多少关于x的信息 求i(x;y1|y2)和i(x;y2|y1),并解释它们的含义70101/40101/421/41/4解:(1)由题意可知70101/4011/40201/2p(y1=0)=p(y 1=1)=1/2p(y2

17、=1)=p(y 2=1)=1/211111.i(x;y1) =h(y1)-h(y1|x) rog 2 log log 2 log 2=0.5bit/符号 42 424111i(x;y2) =h (y2) h(y2|x) =log 2 log1 -log1 log1 = 1bit / 符号 i (x;y1)442所以第二个实验比第一个实验好(2)因为 y1 和 y2 相互独立，所以 p(y1y2| x) = p(y11 x) p(y2| x)p(yy2x)0001101101/40001001/40201/401/4p(yy2|x)00011011yy20001101101000p1/41/41

18、/41/410010201/201/2111.i(x;yiy2)=h (yi,y2)h(yiy2|x) =log4 logl - logl -210g 2 bit/符号444=1.5bit/符号由此可见，做两个实验比单独做 yi可多得1bit的关于x的信息量，比单独做 丫2多得0.5bit 的关于x的信息量。(3)i(x;yi|y2)uh(x |yi) -h(x |丫1,丫2)= h(x,y2)-h(x) 一 h (x) -i(x;y1,y2)h(x)-i(x;y2)-h(x)-i(x;y1,y2)= i(x;y1,y2)-i(x;y2)=1.5-1=0.5bit/ 符号表示在已做y2的情况下

19、，再做 y1而多得到的关于 x的信息量 同理可得i(x;y2|y1)=1 (x;y1,y2)-| (x;y1)=1.5-0.5=1bit/符号表示在已做y1的情况下，再做 y2而多得到的关于 x的信息量欢迎下载！第三章2 113 31 23.1 设二元对称信道的传递矩阵为-3 3 一(1) 若 p(0) = 3/4,p(1) = 1/4 ,求 h(x), h(x/y), h(y/x) 和 i(x;y);(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)33 11h (x) - -% p(x) - -(- log2log2 -) u0.811 bit / symboli44 44

20、h (y/x) - -% % p(xi) p(yj /xi)log p(yj /xi)/321231|111|11212、=_( lg , lglglg ) 10g2 1043343343343321 -3x1 一 4 十2 1 3m3 一 4=0.5833= 0.918 bit / symbolp(yi) = p(xiyi) p(x2yi)二 p(x1)p(y/x1) pm) p(y1/x2)3 112p(y2) = p(xiy2) p(x2y2) = p(xi)p(y2/xi) p(x2)p(y2/x2)- - 4 =0.41674 3 4 3h(y)_ p(yj) - -(0.5833

21、log2 0.5833 0.4167 log2 0.4167) = 0.980 bit/symboli(x;y) =h(x)-h(x/y) =h(y)-h(y/x)h (x/y) = h(x) - h(y) h(y/x) =0.811- 0.980 0.918 = 0.749 bit/symboli (x;y) =h(x) - h (x /y) = 0.811 -0.749 = 0.062 bit / symbol2)一 , c ,1, 12. 2、 .c = max i (x; y) = log 2 m - h mi = log 2 2 (tglg ) log210 = 0.082 bit

22、/ symbol3 3 33.，-,一、,，1其取佳输入分布为 p(xi ):23-2某信源发送端有 2个符号，xi, i = 1, 2; p(xi)种符号1/2y, j = i, 2, 3,转移概率矩阵为 p= i1/2=a ,1/21/4每秒发出一个符号。接受端有0 1o 1/41(1) 计算接受端的平均不确定度；(2) 计算由于噪声产生的不确定度 h (y | x);(3) 计算信道容量。1/2 1/2 0解：p =|1/2 1/4 1/4联合概率p(x, yj)x jyyiy2y3xia/2a/20x2(1 - a)/2(1-a)/4(1-a)/4则y的概率分布为yyiy2y31/ 2

23、(i+a)/4(1-a)/41- 1+a41-a4(1) h(y)=log2+log+log24 1a 41 -alog 2 110g 工 alog 匕241。a 41 a111 1 a,1 -a=log 2 10g16loglog2441 -a2 4 1a3111al 1-a=log 2 log2 log241 -a 41 a取2为底3 11 a 1-ah(y)=( log22 log 2 )bit2 41-a 41 a一a 1a 1 1 -a(2) h (y | x) = - i log - + log - +log22 2223(1 - a)a log 2 1log 23 - a=log

24、 2取2为底3-ah (y | x) = bit,c = max i (x ;y) = max h (y) - h (y | x) ,1 - max p(xi)p(xi)p(xi)1 - a ,1 1 - a ,1log - log 一4444a 1 .1 a.1 -alog 2 - log2 - log 241 -a 41 aa 11 a 1 -a.:(-ln2 -ln 2 -ln )取e为底一24la4一让ajn2 2jn2 2jn2 2=01 - a.a1 2a 11 -a a2 ln -(41-a 4 1 a 4a1 .2一 ln2(1 -a2)411 -a-ln4 1 a士七)21a 4 1 -a251 -19513,1log 4 541 3.- 1