信息论与编码陈运主编答案完整版

1、信息论与编码课后习题答案详解2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：0,1,2,3八进制脉冲可以表示8个不同的消息，例如：0,1,2,3,4,5,6,7二进制脉冲可以表示2个不同的消息，例如：0,1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息量hx(1)=logn=log4=2bitsymbol/八进制脉冲的平均信息量hx(2)=logn=log8=3bitsymbol/二进制脉冲的平均信息量hx(0)=logn=log2=1bitsymbol/所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2.

2、2居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量x代表女孩子学历xp(x)x1（是大学生）x2（不是大学生）0.250.75设随机变量y代表女孩子身高yp(y)y1（身高160cm）0.5y2（身高log6不满足信源熵的极值性。解：hxpxpxi=?(0.2log0.2+=2.657bitsymbol/hx()log62=2.585不满足极值性的原因是。i2.7证明：h(x/xx)h(x/x)，并说明当x,x,x是马氏链时等式成

3、立。证明：31231123hx(3/xx12)?hx(3/x1)=?pxxx(i1i2i3)logpx(i3/xxi1i2)+pxx(i1i3)logpx(i3/xi1)i1i2i3i1i3=?pxxx(i1i2i3)logpx(i3/xxi1i2)+pxxx(i1i2i3)logpx(i3/xi1)i1i2i3i1i2i3px(i3/xi1)=i1i2i3pxxx(i1i2i3)logpx(i3/xxi1i2)?px(i3/xi1)1?log2ei1i2i3pxxx(i1i2i3)?px(i3/xxi1i2)?=?pxx(i1i2)(pxi3/xi1)?pxxx(i1i2i3)?log2e?

4、i1i2i3i1i2i3?=?pxx(i1i2)?px(i3/xi1)?1?log2e?i1i2?i3?=0hx(3/xx12)hx(3/x1)px(i3/xi1)10时等式等等当?=px(i3/xxi12i)?px(i3/xi1)=px(i3/xxi12i)?pxx(i12i)(pxi3/xi1)=px(i3/xxi12i)(pxxi12i)?px(i1)(pxi2/xi1)(pxi3/xi1)=pxxx(i123ii)?px(i2/xi1)(pxi3/xi1)=pxx(i23i/xi1)等式等等的等等是x1,x2,x3是马氏链_2.8证明：h(xx12。x)h(x)+h(x)+h(x)。证

5、明：n12nhxx(12.xn)=hx(1)+hx(2/x1)+hx(3/xx12)+.+hx(n/xx12.xn?1)ix(2;x1)0?hx(2)hx(2/x1)ix(3;xx12)0?hx(3)hx(3/xx12).ix(n;xx12.xn?1)0?hx(n)hx(n/xx12.xn?1)hxx(12.xn)hx(1)+hx(2)+hx(3)+.hx(n)2.9设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按p(0)=0.4，p(1)=0.6的概率发出符号。(1)试问这个信源是否是平稳的？(2)试计算h(x2),h(x/xx)及h；312(3)试计算h(

6、x4)并写出x4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号”(2)hx(2)=2hx()=?2(0.4log0.4+=1.942bitsymbol/hx(3/xx12)=hx(3)=?px(i)logpx(i)=?(0.4log0.4+=0.971bitsymbol/ih=limhx(n/xx12.xn?1)=hx(n)=0.971bitsymbol/n?(3)hx(4)=4hx()=?4(0.4log0.4+=3.884bitsymbol/x4的所有符号：00000001010001011000100100100011

7、011001111010101111001101111011112.10一阶马尔可夫信源的状态图如下图所示。信源x的符号集为0,1,2。(1)求平稳后信源的概率分布；(2)求信源的熵h。解：(1)?pe(1)=pepe(1)(1/e1)+pe(2)(pe1/e2)?pe(2)=pe(2)(pe2/e2)+pe(3)(pe2/e3)?pe(3)=pe(3)(pe3/e3)+pepe(1)(3/e1)?pe(1)=ppe?(1)+ppe?(2)?pe(2)=ppe?(2)+ppe?(3)?pe(3)=ppe?(3)+ppe?(1)?pe(1)=pe(2)=pe(3)?pe(1)+pe(2)+pe(

8、3)=1?pe(1)=1/3?pe(2)?=1/3?pe(3)=1/3?px(1)=pe(1)(px1/e1)+pe(2)(px1/e2)=ppe?(1)+ppe?(2)=(p+p)/3=1/3?px(2)=pe(2)(px2/e2)+pe(3)(px2/e3)=ppe?(2)+ppe?(3)=(p+p)/3=1/3?px(3)=pe(3)(px3/e3)+pepx(1)(3/e1)=ppe?x?012?px()?=?1/31/31/3?(2)hpepe()(3)+ppe?(1)=(p+p)/3=1/3/e)logpe(j/ei)ij?111=?3pe(1/e1)logpe(1/e1)+3pe

9、(2/e1)logpe(2/e1)+3pe(3/e1)logpe(3/e1)?111?1plogp+3pe(/e)logpe(1/e3)+3pe(2/e3)logpe(2/e3)+3pe(3/e3)logpe(3/e3)?1311111?=?+?log+?log+?p?logp+?log+?p?logp33pp3pp33pp3?=?(p?logp+p?logpbitsymbol)/2.11黑白气象传真图的消息只有黑色和白色两种，即信源x=黑，白。设黑色出现的概率为p(黑)=0.3，白色出现的概率为p(白)=0.7。(1)假设图上黑白消息出现前后没有关联，求熵h(x)；(2)假设消息前后有关联，

10、其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/黑)=0.8，求此一阶马尔可夫信源的熵h(x);2(3)分别求上述两种信源的剩余度，比较h(x)和h(x)的大小，并说明其物理含义。解：2(1)hx()=?px(i)logpx(i)=?(0.3log0.3+=0.881bitsymbol/i(2)?pe(1)=pepe(1)(1/e1)+pe(2)(pe1/e2)?pe(2)=pe(2)(pe2/e2)+pepe(1)(2/e1)?pe(1)=0.8(pe1)+0.1(pe2)?pe(2)=0.9(pe2)+0.2(pe1)?pe(2)=2(pe1)?pe(

11、1)+pe(2)=1?pe(1)=1/3?pe(2)=2/3h=?pepe(i)(j/ei)logpe(j/ei)ij?1122?=?0.8log0.8+0.2log0.2+0.1log0.1+0.9log0.9?3333?0.553=bitsymbol/(3)1=h0?h=log2?0.881=11.9%h0log244.7%h(x)h2(x)表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。2.12同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；(2)“两个1同时出现”这事

12、件的自信息；(3)两个点数的各种组合（无序）对的熵和平均信息量；(4)两个点数之和（即2,3,12构成的子集）的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)px(i)=+=ix(i)=?logpx(i)=?log(2)=4.170bitpx(i)=ix(i)=?logpx(i)=?log(3)两个点数的排列如下：=5.170bit111213142122232415251626314151613242526233435363344454643545556536465666共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是hx()=?1111?px(

13、i)logpx(i)=?636log36+1518log18?=4.337bitsymbol/i?(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：?px()?x?=?18131214195365617636853612919101211811112361?hx()=?ipx(i)logpx(i)=?21log1+21log1+21log1+21log1+25log5+1log1?36361818121299363666?3.274=bitsymbol/(5)px(i)=11=ix(i)=?logpx(i)=?log=1.710bit2.13某一无记忆信源的符号集为0,1，已

14、知p(0)=1/4，p(1)=3/4。(1)求符号的平均熵；(2)有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100-m）个“1”）的自信息量的表达式；(3)计算(2)中序列的熵。解：(1)hx()=?1133?px(i)logpx(i)=?4log4+4log4?=0.811bitsymbol/i?(2)px(i)=?14?m?34?100?m=?3100?m34100100?mix(i)=?logpx(i)=?log(3)4100=41.5+1.585mbithx(100)=100hx()=1000.811=81.1bitsymbol/2.14对某城市进行交通忙闲的调查，

15、并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：若把这些频度看作概率测度，求：(1)忙闲的无条件熵；(2)天气状态和气温状态已知时忙闲的条件熵；(3)从天气状态和气温状态获得的关于忙闲的信息。解：(1)根据忙闲的频率，得到忙闲的概率分布如下：?x?x1忙闲x2?px()?=?10363?10340?hx()=?2px(i)logpx(i)=?10363log10363+10340log10340?=0.964bitsymbol/i?(2)设忙闲为随机变量x，天气状态为随机变量y，气温状态为随机变量zhxyz()=?pxyz(ijk)logpxyz(ijk)ij

16、k=?12log12+8log8+27log27+16log16?103103103103103103103103+8log8+15log15+log5+12log12?103103103103103103103103?=2.836bitsymbol/?5hyz()=?pyz(jk)logpyz(jk)jk=?20log20+23log23+32log32+28log28?103103103103103103103103?1.977=bitsymbol/hxyz(/)=hxyz()?hyz()=2.836?1.977=0.859bitsymbol/(3)ixyz(;)=hx()?hxyz(/)

17、=0.964?0.859=0.159bitsymbol/2.15有两个二元随机变量x和y，它们的联合概率为yxx1=0x2=1y1=0y2=11/83/83/81/8并定义另一随机变量z=xy（一般乘积），试计算：(1)h(x),h(y),h(z),h(xz),h(yz)和h(xyz)；(2)h(x/y),h(y/x),h(x/z),h(z/x),h(y/z),h(z/y),h(x/yz),h(y/xz)和h(z/xy)；(3)i(x;y),i(x;z),i(y;z),i(x;y/z),i(y;z/x)和i(x;z/y)。解：(1)pxpxypxypxpxypxyhx()=?px(i)logp

18、x(i)=1bitsymbol/pyipxypxypypxypxyhz()=?k2pz(k)=?8log8+8log8?=0.544bitsymbol/hy()=?py(j)logpy(j)=1bitsymbol/jz=xy的概率分布如下：?z?z1=0z2=1?pz()?=?7818?7711?px(1)=pxz(11)+pxz(12)pxz(12)=0pxz(11)=px(1)=0.5pz(1)=pxz(11)+pxz(21)pxz(22)hxz()=?ikpz(2)=pxz(12)+?113311?pxz(ik)logpxz(ik)=?2log2+8log8+8log8?=1.406bi

19、tsymbol/?pyz(jk)logpyz(jk)=?2log2+8log8+hyz()=?py(1)=pyz(11)+pyz(12)pyz(12)=0pyz(11)=py(1)=0.5pz(1)=pyz(11)+pyz(21)pz(2)=pyz(12)+pyz(22)?1133k1?8log18?=1.406bitsymbol/j?pxyz(112)=0pxyz(122)=0pxyz(212)=0pxyz(111)+pxyz(112)=pxy(11)pxyz(111)=pxy(11)=1/8pxyz(121)+pxyz(111)=pxz(11)pxyz(211)+pxyz(212)=pxy

20、(21)pxyz(221)=0pxyz(221)+pxyz(222)=pxy(22)hxyz()=?pxyz(ijk)log2pxyz(ijk)ijk?11333311?=?log+log+log+log?=1.811bitsymbol/?88888888?(2)hxy()=?ij?11333311?pxy(ij)log2pxy(ij)=?8log8+8log8+8log8+8log8?=1.811bitsymbol/?hxy(hyx(hxz(hzx(hyz(hzy(hxyz(/)=hxy()?hy()=1.8111?=0.811bitsymbol/)=hxy()?hx()=1.8111?=0

21、.811bitsymbol/)=hxz()?hz()=1.406?0.544=0.862bitsymbol/)=hxz()?hx()=1.406?=10.406bitsymbol/)=hyz()?hz()=1.406?0.544=0.862bitsymbol/)=hyz()?hy()=1.406?=10.406bitsymbol/)=hxyz()?hyz()=1.8111.406?=0.405bitsymbol/hyxz(/)=hxyz()?hxz()=1.8111.406?=0.405bitsymbol/hzxy(/)=hxyz()?hxy()=1.8111.811?=0bitsymbol/

22、(3)ixy(;)=hx(symbol/)?hxy(/)=?10.811=0.189bitixz(;)=hx()?hxz(/)=?10.862=0.138bitsymbol/iyz(;)=hy()?hyz(/)=?10.862=0.138bitsymbol/ixyz(0.457bitsymbol/;/)=hxz(/)?hxyz(/)=0.862?0.405=iyzx(;/)=hyx(/)?hyxz(/)=0.862?0.405=0.457bitsymbol/ixzy(;/)=hxy(/)?hxyz(/)=0.811?0.405=0.406bitsymbol/2.16有两个随机变量x和y，其和为

23、z=x+y（一般加法），若x和y相互独立，求证：h(x)h(z),h(y)h(z)。证明：?z=x+ypz(k/xi)=pz(k?xi)=?py(j)(zk?xi)y?0(zk?xi)?y)logpz(k/xi)=?ipx(i)?khzx(/)=?ikpxz(ik?pz(k/xi)logpz(k/xi)?=?px(i)?py(j)log2py(j)?=hy()i?j?hz()hzx(/)hz()hy()同理可得hz()hx()。1?x2.17给定声音样值x的概率密度为拉普拉斯分布px()=e,?xhc(x)=log22e?12x2+y2r2，求h(x),h(y),2.18连续随机变量x和y的联

24、合概率密度为：pxy(,)=?r?0h(xyz)和i(x;y)。其他（提示：解：xdx）r2?x2r2?x212r2?x2px()=?r2?x2pxydy(hc)xpxpxdx=?r2?x2r2dy=r2(?rxr)=?pxr?r2r2?x2r2()logdx=?()logdxpxr2xdx2rlogpxr2xdx2logelogrlogebitsymbol/其中：pxr2xdx2令x=rcosrsinlogsindr(cos)40=?r2r2sin2logsind402rxr2xdxrrr22r2sinlogsindsin2logrd+sin221?cos2d+0221?cos2logsin

25、dr2xdx2=444442000logr220r2logsind2e其中：=1?sin2logsin02?02sin2dlogsin?2sincos=?1202coslogesind22cos2d=?log2e0=?=?2log2e021+cos22d1loge2d?1log2e02cos2d2011=?2log2e?2log2esin2e02?r?ypy()r2?y222r2?y212r2?y2=pxydx()=?r2?y2r2dx=r2(?ryr)py()=px()hc()yh(x)logrlogebit/symbolhc(xy)=?pxy()logpxydxdy(r1)=?rpxy()

26、logr2dxdy=logr2pxydxdy()r=log2r2bit/symbolic(xy;)=hc(x)+hyc()?hc(xy)=2log2r?log2e?logr2=log2?log2ebit/symbol2.19每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)h

27、x()=logn=log128=7bitsymbol/hx(n)=nhx()=31057=2.1106bitsymbol/2)hx()=logn=log10000=13.288bitsymbol/hnx()=nhx()=100013.288=13288bitsymbol/3)n=hx(n)=2.1106=158037hx()13.2882.20设x=xx12.xn是平稳离散有记忆信源，试证明：hxx(12.xn)=hx(1)+hx(2/x1)+hx(3/xx12)+.+hx(n/xx12.xn?1)。证明：hxx(12.xn)=?.pxx(i1i2.xin)logpxx(i1i2.xin)i1i2in=?.pxx(i1i2.xin)logpx(i1)(pxi2/xi1).(pxin/xi1.xin?1)i1i2in?=?.pxx(i1i2.xin)?logpx(i1)?.pxx(i1i2.xin)?logpx(i2/xi1)in?i1?i2i1i2in.?.pxx(i1i2.xin)logpx