信息论与编码_陈运主编_无水印完整版答案

1、2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?解:四进制脉冲可以表示4个不同的消息,例如:0, 1, 2, 3八进制脉冲可以表示8个不同的消息,例如:0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示2个不同的消息,例如:0, 1 假设每个消息的发出都是等概率的,则:四进制脉冲的平均信息量symbol bit n X H / 24log log (1= 八进制脉冲的平均信息量symbol bit n X H / 38log log (2= 二进制脉冲的平均信息量symbol bit n X H / 12log log (0= 所以:四进制、八进制脉冲所含信息量分别

2、是二进制脉冲信息量的2倍和3倍。2.2 居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量?解:设随机变量X 代表女孩子学历X x 1(是大学生x 2(不是大学生 P(X 0.25 0.75设随机变量Y 代表女孩子身高Y y 1(身高>160cm y 2(身高<160cm P(Y 0.5 0.5已知:在女大学生中有75%是身高160厘米以上的 即:bit x y p 75.0/(11=求:身高160厘米以上的某女孩是大学生的信息量 即:

3、bit y p x y p x p y x p y x I 415.15.075.025.0log (/(log /(log /(11111111=×=2.3 一副充分洗乱了的牌(含52张牌,试问(1 任一特定排列所给出的信息量是多少?(2 若从中抽取13张牌,所给出的点数都不相同能得到多少信息量?解:(1 52张牌共有52!种排列方式,假设每种排列方式出现是等概率的则所给出的信息量是:!521(=i x p bit x p x I i i 581.225!52log (log (=(2 52张牌共有4种花色、13种点数,抽取13张点数不同的牌的概率如下:bit C x p x I

4、C x p i i i 208.134log(log (4(135213135213=2.4 设离散无记忆信源,其发出的信息为(202120130213001203210110321010021032011223210,求 =8/14/1324/18/310(4321x x x x X P X (1 此消息的自信息量是多少?(2 此消息中平均每符号携带的信息量是多少?解:(1 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概率是:62514814183××=p此消息的信息量是:bit p I 811.87log =(2 此消息中平均每符号携带的信息量是:

5、bit n I 951.145/811.87/=2.5 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%,如果你问一位男士:“你是否是色盲?”他的回答可能是“是”,可能是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量?如果问一位女士,则答案中含有的平均自信息量是多少?解: 男士:symbolbit x p x p X H bitx p x I x p bit x p x I x p i i i N N N Y Y Y / 366.093.0log 93.007.0log 07.0(log ( 105.093.0log (log (%93( 837.30

6、7.0log (log (%7(2=+=女士:symbol bit x p x p X H ii i / 045.0995.0log 995.0005.0log 005.0(log (2=+=2.6 设信源,求这个信源的熵,并解释为什么H(X > log6不满足信源熵的极值性。=17.016.017.018.019.02.0(654321x x x x x x X P X 解:585.26log (/ 657.2 17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( (log (26=>=+=

7、X H symbol bit x p x p X H ii i 不满足极值性的原因是。107.1(6>=iix p2.7 证明:H(X 3/X 1X 2 H(X 3/X 1,并说明当X 1, X 2, X 3是马氏链时等式成立。证明:log 1/(log (/(log 1/(/(/(/(log(/(log (/(log (/(log (/(log (/(/(2123132121233211231321123221313321123213133211231332112321332113133112321332113213=+=+=e x x p x x p ex x x p x x p x

8、 x p ex x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i氏链是马等式等等的等等是时等式等等当_,/(/(/(/(/(/

9、(/(/(/(01/(/(/(/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i =2.8证明:H(X 1X 2 。 X n H(X 1 + H(X 2 + + H(X n 。证明:./( 0

10、;(/( 0;(./(./(/(.(21332131221212121312121X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H n n n +=(.(.(./( 0.;(32121121121n n n N N n N X H X H X H X H X X X H X X X X H X H X X X X I +2.9 设有一个信源,它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号,均按P(0 = 0.4,P(1 = 0.6的概率发出符号。 (1 试问这个信源是否是平稳的? (2

11、 试计算H(X 2, H(X 3/X 1X 2及H ;(3 试计算H(X 4并写出X 4信源中可能有的所有符号。解: (1这个信源是平稳无记忆信源。因为有这些词语:“它在任意时间.而且不论以前发生过什么符号.” (2symbolbit X H X X X X H H symbol bit x p x p X H X X X H symbolbit X H X H N N N N ii i / 971.0(./(lim / 971.06.0log 6.04.0log 4.0(log (/(/ 942.16.0log 6.04.0log 4.0(2(2(12132132=+=+×=>

12、;(31111111011011100101110101001100001110110010101000011001000010000的所有符号:/ 884.36.0log 6.04.0log 4.0(4(4(44X symbol bit X H X H =+×=2.10 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为0, 1, 2。 (1 求平稳后信源的概率分布; (2 求信源的熵H 。解: (1=+=+=+=+=+=+=+=3/1(3/1(3/1(1(/(/(/(/(/(/(321321321133322211131333332322222121111e p e p e

13、p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p=+=+=+=+=+=+=+=+=+=3/123/113/10(3/13/(/(/(3/13/(/(/(3/13/(/(/(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x

14、p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2(symbolbit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H iji j i j i / log log log 31log 31log 31log 31log 31log 31 /(log /(31

15、/(log /(31/(log /(31 /(log /(31/(log /(31/(log /(31 /(log /(31/(log /(31/(log /(31/(log /(33333232313123232222212113131212111133+=+=+=2.11黑白气象传真图的消息只有黑色和白色两种,即信源X =黑,白。设黑色出现的概率为P(黑 = 0.3,白色出现的概率为P(白 = 0.7。(1 假设图上黑白消息出现前后没有关联,求熵H(X;(2 假设消息前后有关联,其依赖关系为P(白/白= 0.9,P(黑/白 = 0.1,P(白/黑 = 0.2,P(黑/黑 = 0.8,求此一

16、阶马尔可夫信源的熵H 2(X;(3 分别求上述两种信源的剩余度,比较H(X和H 2(X的大小,并说明其物理含义。解: (1symbol bit x p x p X H ii i / 881.07.0log 7.03.0log 3.0(log (=+=(2symbolbit e e p e e p e p H e p e p e p e p e p e p e p e p e p e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p iji j i j i / 553.0 9.0log 9.0321.0log 1.0322.0lo

17、g 2.0318.0log 8.031 /(log /(3/2(3/1(1(2(2.0(9.0(1.0(8.0(/(/(/(/(21211212221112122222121111=×+×+×+×=+=+=+=+=+= (3%7.442log 553.02log %9.112log 881.02log 001001=H H H H H H H(X > H 2(X表示的物理含义是:无记忆信源的不确定度大与有记忆信源的不确定度,有记忆信源的结构化信息较多,能够进行较大程度的压缩。2.12 同时掷出两个正常的骰子,也就是各面呈现的概率都为1/6,求: (

18、1 “3和5同时出现”这事件的自信息; (2 “两个1同时出现”这事件的自信息;(3 两个点数的各种组合(无序对的熵和平均信息量; (4 两个点数之和(即2, 3, , 12构成的子集的熵; (5 两个点数中至少有一个是1的自信息量。解: (1bit x p x I x p i i i 170.4181log(log =×+×=(2bit x p x I x p i i i 170.5361log(log (3616161(=×=(3两个点数的排列如下:11 12 13 14 15 16 · 6 ·21 22 23 2

19、425 26 31 32 33 3435 36 41 42 43 4445 46 51 52 53 5455 56 61 62 63 6465 66共有21种组合:其中11,22,33,44,55,66的概率是3616161=× 其他15个组合的概率是18161612=××symbol bit x p x p X H ii i / 337.4181log 18115361log 3616(log (=×+×=(4参考上面的两个点数的排列,可以得出两个点数求和的概率分布如下:symbolbit x p x p X H X P X ii i / 2

20、74.3 61log 61365log 365291log 912121log 1212181log 1812361log 3612 (log (36112181111211091936586173656915121418133612(=+×+×+×+×+×=(5bit x p x I x p i i i 710.13611log(log (3611116161(=××=2.13 某一无记忆信源的符号集为0, 1,已知P(0 = 1/4,P(1 = 3/4。 (1 求符号的平均熵;(2 有100个符号构成的序列,求某一特定序

21、列(例如有m 个“0”和(100 - m 个“1”的自信息量的表达式; (3 计算(2中序列的熵。解: (1symbol bit x p x p X H ii i / 811.043log 4341log 41(log (=+=(2bit m x p x I x p mi i m mmi 585.15.4143log(log (434341(100100100100100+=×=· 7 ·(3symbolbitXHXH/1.81811.0100(100(100=×=2.14 对某城市进行交通忙闲的调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态, 调

22、查结果得联合出现的相对频度如下:若把这些频度看作概率测度,求:(1 忙闲的无条件熵;(2 天气状态和气温状态已知时忙闲的条件熵;(3 从天气状态和气温状态获得的关于忙闲的信息。解:(1根据忙闲的频率,得到忙闲的概率分布如下:symbolbitxpxpXHxxXPXiii/964.010340log1034010363log10363(log(1034010363闲忙(221=+=(2设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量ZsymbolbitYZHXYZHYZXHsymbolbitzypzypYZHsymbolbitzyxpzyxpXYZHj kkjkji j kkjikj

23、i/859.0977.1836.2(/(/977.110328log1032810332log1033210323log1032310320log10320(log(/836.210312log103121035log103510315log103151038log103810316log1031610327log103271038log103810312log10312(log(=+=+=(3symbolbitYZXHXHYZXI/159.0859.0964.0/(;(=· 8 ·2.15 有两个二元随机变量X 和Y ,它们的联合概率为 并定义另一随机变量Z = XY (

24、一般乘积,试计算: (1 H(X, H(Y, H(Z, H(XZ, H(YZ和H(XYZ;(2 H(X/Y, H(Y/X, H(X/Z, H(Z/X, H(Y/Z, H(Z/Y, H(X/YZ, H(Y/XZ和H(Z/XY; (3 I(X;Y, I(X;Z, I(Y;Z, I(X;Y/Z, I(Y;Z/X和I(X;Z/Y。解: (1symbolbit y p y p Y H y x p y x p y p y x p y x p y p symbolbit x p x p X H y x p y x p x p y x p y x p x p jj j ii i / 1(log (218183

25、(218381(/ 1(log (218183(218381(22212121112212221111=+=+=+=+=+=+=+=+=Z = XY 的概率分布如下:symbolbit z p Z H z z Z P Z k k / 544.081log 8187log 87(818710(221=+=symbolbit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i kk i k i / 406.181log 8183log

26、 8321log 21(log (81(835.087(5.0(0(2222221211112121111112121111=+=+=+=+=· 9 ·symbolbit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j kk j k j / 406.181log 8183log 8321log 21(log (81(835.087(5.0(0(2222221211112121111112121111=+=+

27、=+=+=symbolbit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p ijkk j i k j i / 811.181log 8183log 8383log 8381log 81(log (81(0(83(838121(8/1(

28、0(0(0(22222222222122122121121221211211111121111111211111111211111212221211=+=+=+=+=+=(2symbolbit XY H XYZ H XY Z H symbol bit XZ H XYZ H XZ Y H symbol bit YZ H XYZ H YZ X H symbolbit Y H YZ H Y Z H symbol bit Z H YZ H Z Y H symbolbit X H XZ H X Z H symbolbit Z H XZ H Z X H symbol bit X H XY H X Y H

29、symbol bit Y H XY H Y X H symbolbit y x p y x p XY H i jj i j i / 0811.1811.1(/(/ 405.0406.1811.1(/(/ 405.0406.1811.1(/(/ 406.01406.1(/(/ 862.0544.0406.1(/(/ 406.01406.1(/(/ 862.0544.0406.1(/(/ 811.01811.1(/(/ 811.01811.1(/(/ 811.181log 8183log 8383log 8381log 81(log (2=+= (3 · 10 ·symbolb

30、it YZ X H Y X H Y Z X I symbol bit XZ Y H X Y H X Z Y I symbol bit YZ X H Z X H Z Y X I symbolbit Z Y H Y H Z Y I symbol bit Z X H X H Z X I symbol bit Y X H X H Y X I / 406.0405.0811.0/(/(/;(/ 457.0405.0862.0/(/(/;(/ 457.0405.0862.0/(/(/;(/ 138.0862.01/(;(/ 138.0862.01/(;(/ 189.0811.01/(;(=2.16 有两个

31、随机变量X 和Y ,其和为Z = X + Y (一般加法,若X 和Y 相互独立,求证:H(X H(Z, H(Y H(Z。证明:(/(log ( /(log /(/(log (/( 0( (/(2Y H Z H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Yx z Yx z y p x z p x z p YX Z i j j j i i k i k i k i i k i k k i i k i k j i k i k =+=Q Q 同理可得。 (X H Z H 2.17 给定声音样值X的概率密度为拉普拉斯分布+<

32、;<=x e x p x,21(,求H c (X,并证明它小于同样方差的正态变量的连续熵。解:(e X H e e X H dx e x e xde xdx e dx e dx e x e de x dxx e dx x e dx x x p x E m x E xdx e xdx e m ydye ydy e y d y e xdx e xdx e xdx e xdx e xdx x p X E m symbolbit ee X H e e e e d e e e e d e dxe e dxe e dx e e dxe x p dx x p dxe x p dx x p x p X

33、H c c x x x x x x x x x x x xy y y x x xx c x x x xx xx x x x x x x x x c 2log (2log 2log 21(222 2 21(021212121(2121212121(/ 2log log 2log (log log log log log log 其中:log 2log log 212log log (2log 21log (log (2正态2000002020202022|222200000(000|22200020|=>=+=+=+=+Q2.18 连续随机变量X 和Y 的联合概率密度为:+=其他1,(22

34、22r y x r y x p ,求H(X, H(Y,H(XYZ和I(X;Y。(提示:=20222log 2sin log xdx 解:+=+=+=202020220220202222022022222222222222222222222222222sin log 22cos 1422cos 1log 4sin log sin 4log sin 4sin log sin 4sin log sin 4cos (sin log sin 4cos log 4log 2log (/ log 21log log 211log 2loglog (2loglog (2log ( 2log ( (log (

35、21(22222222d d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r x r dxx r x p symbolbit e r e r r dx x r x p r dxx r x p dx rx p dx rx r x p dxx p x p X H r x r rx r dy r dy xy p x p r rr rrr r r r r r rr rr c x r x r x r x r 令其中:ee e d e d e d e d e d ed d d er d r d d r r d d d r d r 2202220

36、22022022022202202020202202022020202020log 212sin log 21log 212cos log 1log 122cos 1log 2cos log 2sin log cos cos sin 21sin log 2sin sin log 2sin 12sin sin log 1sin log 2cos 2log 211log sin log 2cos 21log sin log 2cos 22log 2(22sin log 1log sin log 2cos 2sin log 22cos log 2log 2=+=+=+=+=其中:bit/symbol

37、e r e r XY H Y H X H Y X I bit/symbol r dxdy xy p r dxdy rxy p dxdyxy p xy p XY H bit/symbole r X H Y H x p y p r y r r y r dx r dx xy p y p c c c c RRRc C C y r y r y r y r log log log log log 2 (;( log (log 1log( (log ( log 21log ( 21(22222222222222222222222=+=2.19 每帧电视图像可以认为是由3¯105个像素组成的,所有像

38、素均是独立变化,且每像素又取128个不同的亮度电平,并设亮度电平是等概出现,问每帧图像含有多少信息量?若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖?若要恰当的描述此图像,广播员在口述中至少需要多少汉字?解: 1symbol bit X NH X H symbolbit n X H N/ 101.27103(/ 7128log log (65×=××=2symbol bit X NH X H symbol bit n X H N / 13288288.131

39、000(/ 288.1310000log log (=×=3158037288.13101.2(6=×=X H X H N N2.20 设是平稳离散有记忆信源,试证明:N X X X X .21=./(./(/(.(12121312121+=N N N X X X X H X X X H X X H X H X X X H 。证明:./(./(/(./(log .(. /(log (log (./(log .(. /(log .(.(log .(./(./(log .(.(log .(.(1212131212111122112122111111122112122111221

40、121112121122121+=N N i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i N X X X X H X X X H X X H X H x x x p x x x p x x p x x p x p x p x x x p x x x p x x p x x x p x p x x x p x x x p x x p x p x x x p x x x p x x x p X X

41、 X H N N NN N N NN N N N N NN N N NN N2.21 设是N 维高斯分布的连续信源,且X N X X X X .21=1, X 2, , X N 的方差分别是,它们之间的相关系数22221,.,N,.,2,1,(0(j i N j i X X j i =。试证明:N 维高斯分布的连续信源熵=Nii N c c e X X X H X H 2212log 21.(证明:相关系数(j i N j i x x j i = ,.,2,1, 0,说明是相互独等的。N X X X .21=+=+=+=Ni i N N c c c c i i c N c c c N c c

42、e e e e X H X H X H X H e X H X H X H X H X X X H X H 122222121221212log 21 2log 21.2log 212log 21 (.(2log 21(.(.(Q2.22 设有一连续随机变量,其概率密度函数=其他00(2a x bx x p (1 试求信源X 的熵H c (X;(2 试求Y = X + A (A > 0的熵H c (Y; (3 试求Y = 2X 的熵H c (Y。解: 1symbolbit ea b X H ba a F bx x F ea bab xdxx b b dxx x f dx x f b dx

43、bx x f dx x f x f X H c X X RRRRRc / log 32log (13(,3(log92log log 2log log (log log (log (33333222=Q2=+=+RRRRRc A y A Y A yd A y A y b b dyA y y f dy y f b dy A y b y f dy y f y f Y H A y b y F y f A y bdx bx A y X P y A X P y Y P y F Aa y A aA y a x (log(2log log(log (log (log (3(00222232Q· 1

44、6 ·symbolbit ea b Y H ba A a F A y b y F symbol bit ea babc Y Y / log 32log (13(,(3(/ log 92log 33333=+=Q3symbolbit ea b Y H ba a F y b y F ba e a ba b e a ba b ydyy bb dyy y f dy y f bdyy by f dy y f y f Y H y by F y f y b dx bx yX P y X P y Y P y F ay a y a x c Y Y R R RR R c yY / 1log 32log

45、(132(,24(329log 92log 8log928log log 48log log (8log 8log (log (8(242(2(202003333333322223202+=+=Q Q· 17 ·· 17 · 3.1 设信源=4.06.0(21x x X P X 通过一干扰信道,接收符号为Y = y1, y2 ,信道转移矩阵为43416165,求:(1 信源X 中事件x 1和事件x 2分别包含的自信息量;(2 收到消息y j (j=1,2后,获得的关于x i (i=1,2的信息量; (3 信源X 和信宿Y 的信息熵;(4 信道疑义度H(X

46、/Y和噪声熵H(Y/X; (5 接收到信息Y 后获得的平均互信息量。解: 1bitx p x I bit x p x I 322.14.0log (log ( 737.06.0log (log (22222121=2bity p x y p y x I bity p x y p y x I bit y p x y p y x I bity p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04.04/3log (/(log ;( 263.16.04/1log (/(log ;( 263.14.06/1log (/

47、(log ;( 474.06.06/5log (/(log ;(4.0434.0616.0/(/(6.0414.0656.0/(/(222222221212122212221211121122212122121111=×+×=+=×+×=+=3symbolbit y p y p Y H symbolbit x p x p X H jj j ii i / 971.010log 4.0log 4.06.0log 6.0(log (/ 971.010log 4.0log 4.06.0log 6.0(log (22=+=+=4symbolbit Y H X Y

48、H X H Y X H Y X H Y H X Y H X H symbolbit x y p x y p x p X Y H iji j i j i / 715.0971.0715.0971.0 (/(/(/(/(/ 715.0 10log 43log 434.041log 414.061log 616.065log 656.0( /(log /(/(2=+=+=+=+=××+×+×+×=Q· 18 ·5symbol bit Y X H X H Y X I / 256.0715.0971.0/(;(=3.2 设二元对称信道的传递矩阵