信息论第二章答案

1、2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0. 1,2,3八进制脉冲可以表示8个不同的消息,例如:(0, 1,2,3,4, 5, 6, 7)二进制脉冲可以表示2个不同的消息，例如：0,1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量”(xj = log/? = log4 = 2 bit/symbol八进制脉冲的平均信息量”(x j = log/? = log8 = 3 bit/symbol二进制脉冲的平均信息量”(x0) = log/? = log2 = l bit/symbol所以：四进制、八进制脉冲所含信息量分别是

2、二进制脉冲信息量的2倍和3倍。2.2 一副充分洗乱了的牌(含52张牌)，试问(1)任一特定排列所给出的信息量是多少？(2)若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：(1)52张牌共有52!种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是:/(占)=-log p(x) = log 52!= 225.581 bit2.3 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下:(a)p(x)=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12

3、/42 * 8/41 * 4/40=1.0568el(b)总样本：其中13点数不同的数量为4*4*4*_*4=4巴 所以，抽取13张点数不同的牌的概率：= 13.208 bitp()=/(x/) = -log/;(x/) = -log2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女 孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大 学生”的消息，问获得多少信息量？解：设随机变量x代表女孩子学历x xt (是大学生)p(x)0.25x2 (不是大学生)0.75 3 yi (身高 i og6不满足信源烯的极值性。 解：

4、”(x)= -p(z)iogp(x) i= -(0.21og 0.2 +0.191og 0.19+0.181og 0.18 +0.171og0.17 + 0.161og 0.16 +0.171og0.17)=2.657 bit/symbol“(x)log? 6 = 2.5856不满足极值性的原因是p(w)= 1.07 lo i2.7同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6,求：“3和5同时出现”这事件的自信息；“两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的燃和平均信息量；两个点数之和(即2, 3,，12构成的子集)的炳；两个点数中至少有一个是1的自信息量。7 7

5、 7 7 7 a(2(3a(5解p(z)=1111x +x =6 6 6 6118/(xj = -logp(x.) = -log- = 4.170 bit1 o(2)z 1 1 1/?(x.) = -x- =“6 6 36/(x,) = -log p() = -log = 5.170 bit两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11, 22, 33, 44, 55, 66的概率是6 6 36其他15个组合的概率是2x4xl = -l6 6 18/11

6、11 ah(x) = -p(w)log p(xj = - 6x log + 15x log =4.337 bit/symbol36361818 7参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下: 7 7 8 9 10 11 12115 11 116 36 9 12 18 36)=(科3)叫 i2 j3(/)(/)rl i2 /3-1 log2e= 11 i i j1p(x)w r ii 5 数(x)=p(w ) log p(x,)1 .11.1.1,1 9 1. 1 9 5 .511=一 2x log + 2x-log一 +2x-log一 + 2x-log-+ 2x log +

7、-log-i 363618181212993636 66)=3.274 bit/symbol(5)z 1 111p(x. ) = x x 11 =16 636i(%,.) = -logp(x-) = -log= 1,710 bit302.8 证明：h(x* v w h(x,) + h(x2) + + h(x) q证明：h(xlx2.xll) = hxl) + h( h(xjxj/(x3;x1x2)0= ”(xj h(xjxlx2)/(x；x)20=(xn)2h(xn/x/.x,i):.h(xlx2.xlt)h(xl)+h(x2)+h(x5) + .+ h(xjl)2.9 证明：h(xvxix2

8、) p(/)=2(/)= (/)2(/) = p(/= p(%)p(%2 /x“)p(/) = p(zrh,3)= (/)(/)=(/).等式成立的条件息1,x?,x3是马氏链2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态, 调查结果得联合出现的相对频度如下：f冷 12 晴f冷8 晴i暖8 忙|冷 27 雨i暖 15 闲冷5 雨若把这些频度看作概率测度，求：(1)忙闲的无条件埼；(2)天气状态和气温状态已知时忙闲的条件燃；(3)从天气状态和气温状态获得的关于忙闲的信息。解：根据忙闲的频率，得到忙闲的概率分布如下： x 1 .忙闲=8 8 .h(z) = y

9、)=-信log: + glog= 0.544 bit/symbolp(%)=p(xizj+p(/j)p(xr)= op*r)=p(xj = 0.5。(1)=/&)+/(&) 73p(%4)= p(a) - p(r&) = -0.5 = - oopu2) = pz2)+ p(x2z2)p()=p(z?) = j o/1 i 33 i i a(xz) = p(x,)logp(x4) = - -log-+-log- + -log- =1.406 bit/symbol，(凡)=(见4)+，()2)p(yr) = op(x4)=() = 0.5p(zi) = p()3+pg)73p(%&) = p(zj

10、 - p(y】zj = c - 0.5 = w oop(z2) = p(ytz2)+ p(y2z2)p(y2) = pa2) = o1133 11 (yz) = -22p(ya)logp(%&) = - -log- + -log- + -log- =1.406 bit/symbolp(%y心)=op区 y/l = op(x2 ylz2)=。p(用 % z j + cg 兑 z?) = (* y j(占九号)=(占%)=1/8p(x%zj+ p(mxzj= p(%zj1 1 3p(x】%4)= p(xlzl)-p(xlylz1) = - = - zoop(z % zj+ p(x2y1z2) =

11、p(x2y1)3p2yzj = p(x2y) = -op(&rzj = 0p(x2y2zl) + p(x2y2z2) = p(x2y2)p(x2y2z2)= p(x2y2) = o”(xyz) =zpc，匕z*)log2 p(wyjzk)f 1i 33 33 11 =log- + -log- + -log- + -log- =1.811 bit/symbol18(88888888)q) # 3, 3 3. 3“(xy)= _p(w %)k)g2 p(七力)=-log- + -log- + -log- + -log- =1.811 bit/symbol i jo oo oo oo/(x/y)=

12、/7(xr)-/(y)= 1.811-1 = 0.811 bit/symbol/(y/x)= /7(xr)-/(x)= 1.811-1 = 0.811 bit/symbolh(xiz) = h(xz) - /(z) = 1.406-0.544 = 0.862 bit/symbol”(z/x) = (xz)- ”(x) = 1.406-1 = 0.406 bit/symbolh(y/z) = h(yz)= .406-0.544 = 0.862 bit/symbolh(z/y) = h(yz)-/f(y)= 1.406-1 = 0.406 bit/symbolh(x/yz) = h(xyz)-h(

13、kz) = 1.811-1.406 = 0.405 bit/symbolh(y/xz) = h(xyz)- h(xz) = 1.811-1.406 = 0.405 bit/symbol/(z/xr)= /(xrz)-/(xy)= 1.811-1.811 = 0 bit/symbol(3)z(x；r)= z7(x)-/(x/r)= 1-0.811=0.189 bit/symbol/(x;z) = (x)- ”(x /z) = 1-0.862 = 0.138 bit/symboli(y;z) = h(y)-h(y/z) = 1-0.862 = 0.138 bit/symboli(x;y/z) =

14、h(x/z)-h(x/yz) = 0.862-0.405 = 0.457 bit/symbol1(y,z/x) = h(y / x)-h(y / xz) = 0.862-0.405 = 0.457 bit/symbol/(x;z/y) = h(x/y)-h(xj-/z(x4) = 4/(x) = -4x(0.41og0.4 + 0.61og0.6) = 3.884 bit/symbolx的所有符号:0000 00010100 01011000 10011100 11010010011010101110001101111011mi.# .2.14 设x = x1x?xy是平稳离散有记忆信源，试证

15、明：/(x1x2.xv) = /7(x1) + /7(x2/x1) + /(x3/x1x2) + . + /(x/v/x1x2.xv_1)o证明：hx,x2.xn)=- p(%z % )叫 p(,二一%)g j 5)iog p(z)p(% /)(/ /%_)g j 5=-x x-sp(%) log()-p(% %)log，(%/%)g l 口 5jg j l 5_-ss-s (/% %)/ %. ) 425=一 p(/)log，(%)- ( %)log p(z / /) gg j一 (/马4) igp(%,/)= h(xl) + h(x2/xl) + h(x5/xlx2) + .+ h(xn/

16、xlx2.n_l)2.15 某一无记忆信源的符号集为0, 1,已知户=1/4, p(1)=3/4o(1)求符号的平均燧；(2)有100个符号构成的序列，求某一特定序列(例如有勿个“0”和(100 -加个 t) 的自信息量的表达式；(3)计算中序列的熔。解：ri/11 33、h(x) = _ p(x.)log /7(xj = - - log + log-j = 0.811 bit/ symbolq)100-/n43100-1/(z) = - log，( ) = 一 log /=41.5 + 1.585/ bit(3)= 100”(x) = 100x 0.811 =81.1 bit/symbol2

17、. 16 一阶马尔可夫信源的状态图如下图所示。信源才的符号集为0, 1, 2)o (1)求平稳后信源的概率分布；解：(1)p(ej = p(ejp(c /)+ ()(/&) = p(e2)pe2 /e2)+ p(e5)p(e2 /e3)/(a) = p(elp(q /q)+ p(ejp(q /ejp(ei)=p-p(e】)+p-p(e2) p(%)= pp(%)+p, p(%) p(q) = p-p(g) + p,p(g)p(ej=p(g)=p(q)p(6)+p(4)+p(e3)= lp(ej = l/3p(ej = 1/3p(q) = l/3p8) = p(ejp&)+ p(e2)p(z /

18、0) = p , p) + p - p(&) = (p + p)/3 = 1 /3 p(&) = p(e2)p(x2/e2)+ p(q)p(& /q) = p, pg) + p p(s) = (p + p)/3 = 1 /3(/)= p(q)p(/ /q)+ /ej = p - p(q) + p- p(ej = (p+ p)/3 = 1/3p(x)012(2)(2)求信源的炳区。33“8 = p(e,)p(e, / ) log p(e j，)=一 g p(6 / 4) log p(6 / /) + ； pg ej log p(e e j + g p(q / e j log pg 6)+1 p(

19、6 / e j log p(6 / 6) + g p(6 / 6)log (&/&) + pg &) bg p(g / e2)+ p(6 / g ) log p(6 / s ) + p(g / q ) log p(6 / q ) + p(q / q ) log pg/ e3)-1 - - 1 1 1 - - 1 1 - -=-p-logp + -plogp + -p-logp + -p-logp + -p-logp + -p logp=-(p- log p+ p- log p) bit/symbol2. 17黑白气象传真图的消息只有黑色和白色两种，即信源后黑，白。设黑色出现的概率为 p(黑)=

20、0.3,白色出现的概率为zy初二0.7o(1)假设图上黑白消息出现前后没有关联，求埼，；(2)假设消息前后有关联，其依赖关系为夕俗囱=0.9, p (黑/白)= 0.p(白/黑) = 0.2, p(黑/黑)=0.8,求此一阶马尔可夫信源的燧是；(3)分别求上述两种信源的剩余度，比较，和耳的大小，并说明其物理含义。解：h(x ) = 一 p(x.)log p(xj = -(0.3 log 0.3 + 0.7 log 0.7) = 0.881 bit / symbol(2)p(sk/.w)=o.spcs-。-tj0 泊/白)=0.9p(ej= p(el)p(el/el)+ p(0)p(，/e?)p

21、) = p(0 ) p& / 6)+ p(g) p(e? / e jp(ej = 0.8p(6)+ 0.1p(r)p(& ) = 0.9 p(& ) + 0.2 p(ejpe)= 2p(ej h2(x)表示的物理含义是：无记忆信源的不确定度大于有记忆信源的不确定度，有记忆信源的结构化信息较多， 能够进行较大程度的压缩。2.18每帧电视图像可以认为是由3x105个像素组成的，所有像素均是独立变化，且每像素又 取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一 个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像 所广播的信息量是

22、多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此 图像，广播员在口述中至少需要多少汉字？解：1)”(x) = log = log 12 8 = 7 bit/symbolh(x) = nh(x) = 3x105x7 = 2.1x106 bit/symbol2)h(x) = logw = logl0000= 13.288 bit/symbolhxn) = nh(x) = looox 13.288= 13288 bit/symbol 3)=158037a, ”(x)2.1x106n =”(x)13.288 17 2.19给定声音样值x的概率密度为拉普拉斯分布p(x) = gq-烟,-

23、go x ”,(乂) = 1。且主2xx 厂+ v- 厂2. 20连续随机变量才和丫的联合概率密度为：p(x,y)t加，求h(x), h(y),0 其他，夕和i (x;y)。(提示：2 logt smxjx = -log2 2)解:.n 产1 . 2yjr2 x2p(x)= rp(今)dy= rrdy=； (-rx r)j-v/-.v-j-7厂-jc 勿一勿一(x) = -1, p(x)log p(x)dx2y1r2 -x2 ,=-p(x)log；-dx 用=-fp(初og-dx- p(初og j，-x2dxjr勿jr= log= log2加二-j p(初og y/r2 - x2 dx11 -

24、log r +1 log2 e2=log；勿，一 ；log2 e bit/symbol其中：j p(x)log yjr2 - x2dx=2；，log ylr2-x2dx 正=lr2 -x2 log 7r2 -x2 dx加jo/4 ro 八令1=rcqso- l r sui log r sui oclr c os)4 r0=-l r2 sin, dlog rsina/84 二,=f2 sui 81og rsma/e乃jo44 ri= 2 sui 81og rdo+ sin- eiogsin 田 8乃jo7jo：l-cos2 夕de +，e 1-c；s2d bg sm al0=log z*2 do

25、log z*2 c os2al 8 + log sin 田 6g c os28 log s in 6d 0=log /*-log /*2 i/sni2 + (-ylog2 2)-2c os28 log sin 6d 6=log r-l2 cos2eiogsina/e1 111=logr-l + - log2 e其中：2 22 cos2eiogsina/ei c-=12 log sm 6d sin 20乃jo=sin 28 log sm 需 一 g sin 26d log sui 01 zf2 2smecos。 乃jocoslog. eciusin。2 -l=log, e2 cos2 6d0 乃-j。3 i样 l + cos2 j八=log、e id6冗 j。 21rzir三=log. e2 d6log, e2 cqsiocio乃 -jo 乃 -j。11 = -log2e- -log2sm 2 碟= -log2ep(y) = p*y)dx = dx = 2“ ： (-r yr)j-q-一厂%-kp(y) = p(x)hc(y) = hc(x) = log2 -ilog2 e bit/sytnbolhxy) = -jj p(xy)log p(xy)dxdy r=-jj p(肛)logdxdyr m=log m 二 jj p(xy)dxdy r=log2 m二 bit/s