信息论与编码姜丹第三版答案精编版

1、最新资料推荐信息论与编码习题参考答案第一章单符号离散信源信息论与编码作业是 74页，1.1的(1) (5), 1.3,1.4,1.6,1.13,1.14 还有证明熵函数的 连续性、扩展性、可加性1.1同时掷一对均匀的子，试求：(1) “2和6同时出现”这一事件的自信息量；(2) “两个5同时出现”这一事件的自信息量；(3) 两个点数的各种组合的熵；两个点数之和的熵；(5) “两个点数中至少有一个是1”的自信息量。样本空间:解：(OR忙 门2N =C6C6 =6x6 =36I (a) =_log Pi =log18 = 4.17bit 36.21(2)F2I (a) = log F2 =log3

2、6 =5.17bitN 36(3)信源空间:X(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)P(X)1/362/362/362/362/362/36X(2,2)(2,3)(2,4)(2,5)(2,6)P(x)1/362/362/362/362/36X(3,3)(3,4)(3,5)(3,6)P(x)1/362/362/362/36X(4,4)(4,5)(4,6)P(x)1/362/362/36X(5,5)(5,6)(6,6)P(x)1/362/361/36.H(x)=15症沁孚如护 log 36=4.32bit(4)信源空间：X23456789101112P(x)1/362/363

3、/364/365/366/365/364/363/362/361/362436636836/. H(x) = xiog 36+ x|og + x |og +x |og 36362363364,10 36. 6 36 -+ X log1X log = 3.71bit365366(5) R =皿二11.1(a) = log R Tog36 =1.17bit N 3611若仅有质点A，求A落入任一方格的平均信息量; 若已知A已落入，求 若A，B是可辨认的，B落入的平均信息量； 求A，B落入的平均信息量。1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为(

4、Xa，Ya), (Xb，Yb),但A，B不能同时落入同一方格内。(1)(2)(3)(1)7 A落入任一格的概率1:P佝一.tJog PQgog4848H(a) = 2： P(ai)logP(ai) =log 48 =5.58biti 二1(2)打在已知A落入任一格的情况下,B落入任一格的概率是：P(bi)= 47/. I (bi-log P(bi) =log4748”H(b) = P(bi) log P(bi) =log47 =5.55biti仝(3)AB同时落入某两格的概率 是卩(ABi) 右l(ABi) = log P(ABi)48独7H (ABi)=-送 P(ABi)log P(ABJ

5、=log(48X47) =11.14biti 11.3从大量统计资料知道，男性中红绿色盲的发病率为7%,女性发病率为男士： “你是否是红绿色盲？ ”他的回答可能是：“是”，也可能“不是”含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士， 有多少平均信息量？解：对于男士 ：回答“是”的信息量：I (my) =log P(my) =-log 7% =3.84bit回答“不是”的信息量 平均每个回答信息量：:l(mn) =log P(mn) =-log 93% =0.105bitH(m) =-P(my)x|og P(my) P(mjlog P(mn)= -7% X log7% - 9

6、3% X Iog93% =0.366bit0.5%.如果你问一位 。问这两个回答中各则她的答案中含对于女：回答“是”的信息量： 回答“不是”的信息量 平均每个回答信息量：I (wy) = -log P(wy) = -log 0.5%:l(mn)=log P(mn) = Tog 99.5%H(m) =-P(Wy)X|og P (Wy)- P( Wn)xiog P(Wn)= -0.5% xiog0.5% -99.5% X|og99.5% =0.0454bit解：1.4某一无记忆信源的符号集为120, 1,已知 P0 = , P1 = 33(1)(2)(3)解：求符号的平均信息量；由1000个符号构

7、成的序列, 的自信量的表达式； 计算(2)中序列的熵。求某一特定序列(例如有m个“ 0” , (1000-m)个“ 1 ”)(1)(3)11 22H(X)= -p0 log p0 - p1 log p 1x logx log =0.918 bit /symble33 3312I ( A) = -m log Po -(1000 - m) log p = -m log (1000 - m) log -33H (A) =1000H (X) =1000 X0.918 =918 bit/sequeneem1000m.12(1000 -m)bith(A2 三 p0log po-z p1log P1 亍叫一

8、1.5设信源X的信源空间为：l0glXP ：X(X) 0.17a2a30.190.18a40.16a50.18a60.3求信源熵，并解释为什么H(X)log6解：，不满足信源熵的极值性。6H (X) = -Z p)log p(ai)i zt= -0.17log0.17 -0.19log 0.19 -2 X0.18 log 0.18 -0.16 log 0.16 -0.3log 0.3 = 2.725 bit/symble可见H(X) =2.725 A Iog6 =2.585不满足信源熵的极值性，r这是因为信源熵的最大 值是在送Pi =1的约束条件下求得的,6送Pi =1.18不满足信源熵最大值

9、成立的约束条件，所以H(X)i壬1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用 的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的, 求传输此图象所需要的信息率(bit/s)解：但是本题中 Iog6。5 X 105个像素和10个不同 且所有亮度电平等概出现。由于亮度电平等概出现，由熵的极值性：10bit/p els每个像素的熵是：H(X0)=Z： p(ai)log pgj = log 10 =3.322每帧图像的熵是：H(X) =5咒105 xH(X0)=5X105x3.322 =1.661咒106 bit/frame所需信息速率为：R =r(frame/s)xH(X)(bi

10、t/frame) =30心.66仔106 = 4.983X107 bit/s1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。2.5倍左右。试证明传输这种彩电系统的信息率要比黑白系统的信息率大证：增加30个不同色彩度,在满足黑白电视系统要 求下，每个色彩度需要10个亮度, 所以每个像素需要用30x10 =300bit量化300每个像素的熵是：=送 P(bjlog p(bi) =log 300bit / pels.H2X沁=2.477 .2.5i 二H(X0)log 10二彩色电视系统每个像素 信息量比黑白电视系统 大2.5倍作用,所以传输相同的 图形,彩色电

11、视系统信息率要 比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由3X 105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有 一个广播员，在约 10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述 此图像，广播员在口述中至少需要多少汉字？解：每帧图象所含信息量：H (X) =3X105xh(x) =3X105x|og128 =2.1X106bit/symble每个汉字所出现概率p=卫00 =0.110000二每个汉字所包含信息量：H(c) =-log p描述一帧图像需要汉字 数n,H(

12、X) nH(c)沦迪=2_1=6.322沢105/frameH(c) -log 0.1”.最少需要6.322X105个汉字m1.9给定一个概率分布(P1, p2,., Pn)和一个整数 m, 0m n。定义qm=12 p ,证明:iz1H (Pi, P2,，Pn) 0)为凸函数，如下：寫 f (X)=( x log X) = -loge 又X 0 X”f (x) =( Yog X)v0 即f(X)= -X log x(x :0)为凸函数。 Xmn又丁 H(p 1, P2,., Pn)=艺 Pi log Pi -S Pi log Pii =1i zm +由凸函数的性质，变量 函数的平均值小于变量

13、 的算术平均值的函数，可得：nnnnnZ f( Pi)S Pi2 Pi 送 Pi-Z Pi log Pi (n_m),n _m)f(-( n-m) logqm log 王iM+n-mn_mn-m n_mn-mn即一S Pi log Pi -qm log qqm log(n m)当且仅当p m = Pm卡= = Pn时等式成立。mnm” H (Pi, P2,., p n)=送 Pi log Pi - S Pi log Pi 2； Pi log Pi -qm log qqmlog (n m)i 2i =m+i=1mT H(P1, p2,., pm,qm)= -送 Pi log Pi -qm log

14、 qmi 2丁 H (Pi, p2,., pn) P2 P3Pn, Pl P2 P3P m,使 H( pi, P2, P3,P n)=H(p 1, P2, P3,Pm)。nm解：H(P1, p2,., pn)Pi log Pi =H(qi,q2,.,qm)q logqii i二411.15两个离散随机变量 X和丫，其和为Z = X + 丫 ,(1) H(X) H(Z)证明：设X、Y的信源空间为：XdX 护:P(X) P lP(X) P1又X,丫统计独立ta? .P2.arPrY .P: 丫tP(Y)若X和丫统计独立，求证:b1b2.bsq1q2. qs”H(Z) =送 pzklog pzk -

15、(ES Piqj)log任S Piqj)+k.yjfyj 土r sr s=(Pilog( Pi +qj) 22 qj log(p +qj)i 土 j土yj土r ssqjlog(p + qj)X-2；qjlog(qj)i j土第二章单符号离散信道2.1 设信源X 2：jXaip(x)0.7a2通过一信道，信道的输出随机变量丫的符号集0.3Y :bi,b2，信道的矩阵：a1P=bl5/6a2 11/4b21/61I3/4试求：信源X中的符号ai和口2分别含有的自信息量; 收到消息丫 = bi, Y = b2后，获得关于I(a2；b2);信源X和信宿丫的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/

16、X);接收到消息丫后获得的平均互交信息量(1)8、ot2的互交信息量：l(ai；bi)、I(ai；b2)、I(a2；bi)、l(X；Y)。(1)1(3)=log p(a1)=log0.7 =0.5415 bit 12)= -log p(a? =-log0.3 =1.737 bitP (bjaj ,5/6pg)p dk).一I(a1；b2)=log=log=1.036 bitp(b2)0.7x1/6+0.3x3/4P(h a2)1/42 =log=-0.766 bit0.75/6+0.3咒1/4(2) l(ai；bi)=log12力)=log=log 0.7X5/6 +0.3x1/4 = 0.3

17、4 上1/61/4P (b1)P did)八2 =log=1.134 bitp (b2)0.7X1/6+0.3X3/4279由上:p(b)=2：p(aj p(bjai-y120241p(b2)=2；p(ai)pZi)話y1202/. H(X)=-送 p(ajiog p(冃)=-(0.7log0.7+ 0.3log0.3) =0.881 bit/symbley279794141H(Y)=-送 p(bj)log p(bj)=-(亠log+log)=0.926 bit/symble j J 小120 120 120 9120，y2 2 2 2(4) H (Y|X) =2 S p(ajbjog p(b

18、j ajS p)p(bj ai)log p(bj ai) = 0.698bit/symblej ij id：又 l(X;Y) =H(Y)-H(Y|X) =H(X)-H(X|Y)二 H (X|Y) = H (X) + H (Y|X ) -H (Y) =0.881 +0.698 -0.926 = 0.653 bit /symble(5) . I(X;Y) =H (Y) -H (Y X) =0.926 -0.698 = 0.228 bit/symbleI(a2；b2)=log3/42.2某二进制对称信道，其信道矩阵是:000.98 P= I1 L0.0210.0210.98J设该信道以1500个二进

19、制符号/秒的速度传输输入符号。 现有一消息序列共有14000个二进 制符号，并设在这消息中 p(0)= P(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。解：由于二进制对称信道输入等概信源/. I(X;Y) =C =1 H(E) =1 +Slog S +(1 E)log(1 -E)=1 +0.02log 0.02 +0.98log 0.98 =0.859 bit/symble”.信道在10秒钟内传送14000个二进制符号最大码率 为:G =C X14000symble/10s =1201.98 bit/s而输入信源码率为1500bit/s,超过了信道所能提供

20、的最大码率，故不可能无失真传输.2.3有两个二元随机变量X和丫，它们的联合概率为PX=0,Y=0=1/8 , PX=0,Y=1=3/8 ,H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); l(X;Y),l(X;Z),l(Y;Z),l(X;Y/Z),l(Y;Z/X),l(X;Z/Y)Px=1,Y=1=1/8，PX=1,Y=0=3/8。定义另一随机变量Z=XY，试计算：(1)解：13 113 1(1)由题意:X的分布：p(X =0) = + ：=

21、;p(X =1)= +：=.8 8 28 8 2Y的分布:p(Y = 0) =1+3 =!;p(Y =1) =1+3 二1.8 8 2 8 8 21 3 3 71Z =X丫的分布为:X的分布:P(Z =0) =- +- +- =一； p(Z =1)=-.8 8 8 881 31且 p(X =0, Z =0) = p(X =0) =;p(X =0,Z =1)=0; p(X =1,Z =0) = ; p(X =1,Z=1) = ;2 881 31p(Y =0,Z =0) = p(Y =0) =；; p(Y =0,Z =1) =0; p(Y =1,Z =0) =-; p(Y =1,Z =1)=-;2

22、 88”H(X) =-(log +log) =1 bit/symble;2 2 2 21111H(Y) =-(-log- + -log-) =1 bit /symble2 2 2 27 7 11H(Z)=-(丄log 丄+丄log丄)=0.544 bit/symble8 8 882 2H(XZ)=-送送 p(XiZ)log p(XiZ)y k =Ypxz(00)log Pxz(00) + pxz(10)log Pxz(10) +pxz(01)log Pxz(01) + Pxz(11)log Pxz(11) r 13133311 1= -(一+ -)log(- +-) + -log -+0+ -

23、log- =1.406bit/symble_88888888由上面 X、Y、Z的概率分布：H(YZ) =H(XZ) =1.406bit/symblePxy (00)1/81 .(2)p (X =0丫 =0) = Pxy(0O)=八TPy(0)1/2Pxy(11)一;p xy(l|0)=注=34 八Py(0)1/2 41/8 _ 1= 12 = 4,p xy(01) 3/835(01)二而厂UH；Pxy(11)h2 2二 H(X 丫)= 2 送 P(yj)log p(Xi| yj)y j4=-Py(00)log Pxy(0|0)+ Pxy(01)log Pxy(q1) + Pxy(10)log

24、Pxy(1|0) + Pxy(11)log Pxy(1|1)1 1333311.=(g X log -X log a + X log NX log -) = 0S11 bit/symbleT (X;Y) =H (X)-H(X|Y) =H(Y) -H(Y|X)且H (X) =H(Y)二 H(Y|X) =H(X|Y) =0.811bit/symble同理：2 22 2p(xizk)H(X|Z)=-送送 p(NZk)log p(Xi|Zk) = -送送 p(xZk)log iA kii= k4P(Zk)一bxz(00)log Pxz(O0)+ Pxz(01)log Pxz) + Pxz(10)log

25、 Pxz(1|0)+ Pxz(11)log p/】 =-(llog12 +0 xlog3 +- x|og=0862 bit/symble27/887/8 81/82 22 2( )H(Z|X)=-送送 p(ZkXi)log p(Zk|N)= -送壬 P(ZkN)log 弩丫krn i ikrn i三P(Xi)一)(00)log pZx(00) + pZx(01)log Pzx(01) + PZx(10)log pzx(1|0) + pZx(11)log pzx(1|1)1 1/233/811/8=-(Xlog +0 + -Xlog注 + xiog ) = 0.406 bit/symble2 1

26、/281/281/2由X、丫、Z的概率：H(Y|Z) =H(X|Z) =0862 bit/symbleH (Z|Y) = H (Z| X) = 0406 bit/symble Pxyz(001) = Pxyz(101) = Pxyz(011) = Pxyz (110) = 02 2 22 2 2p(y.z )p(yjZk)H(xYz)=F22 p(xyjZk)log卩闵沪小=一艺 2 2 pdiyjZQIogj ki zi j zi k=iizi j=1 k=i/,CCCX.Pxyz(000)丄 mPxyz(010)丄“Pxyz(100)丄 cPxyz(111)=-(pxyz(000)log

27、+pxyz(010)log +pxyz(100)log +pxyz(111)log )Pyz(00)P yz(10)Pyz(00)Pyz(11)1 1/833/833/811/8=-(log+-log+-log+-log) = 0.406 bit/symble81/283/881/281/8H (Y|XZ) = H (X |YZ) =0.406 bit/symble2 2 22 2 2P(xyz)二 H(Z|XY)=送送 S p(XiyjZk)log p(Zk x 比)=一无送艺 p(XiyjZk)logj、i z! j kz!i# j # k#卩(为 yj )/ mnnv P xyz(000

28、),Pxyz(010)Pxyz(100)+小P xyz(111),=-(pxyz(000)log +pxyz(010)log +pxyz(100)log +pxyz(111)log )Pxy (00)Pxy(01)Pxy(10)Pxy(11)J.1/8 丄 3,3/8 丄 3,3/8 丄 1,1/8、门.=一(一 log + log+ log+ log ) = 0 bit/symble81/8 83/883/881/8(3)由上:I (X;Y)=H(X)-H(X Y) =1-0.811 =0.189 bit/symbleI (X;Z) =H (X) -H(X Z) =1 -0.862 =0.1

29、38 bit /symbleI (Y;Z) = H(Y) H (Y Z) =1 0.862 =0.138 bit /symbleI (X;Y Z) =H(X Z) -H(X YZ) = 0.862-0.406 =0.456bit / symbleI (Y;Z X) = H (Y X ) H (Y XZ) = 0.811 -0.406 = 0.405bit /symbleI (X;Z Y) = H (XY) -H(X YZ) =0.811 -0.406 =0.405bit /symble2.4已知信源X的信源空间为X .P：jX- a ip(x)： 0.1a?a3a40.30.20.4某信道的信

30、道矩阵为:a1a2a3a4b2b3b40.30.10.40.20.10.10.20.10.20.30.40.20.1b10.20.60.5试求:(1)解：输入g 输出b2的概率”；“输出b4的概率”；收到b3条件下推测输入皿的概率。(Op (a3；b2)= P (a3 )p(b2a3)=0.2咒0.2 = O.。444(2) p(b4)=5： p(ajb4)=送 p(aj)p(b4|aj)= 0.1 咒0.4+0.3咒0.1+0.20.2+0.4天0.2 = 0.19i =1i zt44(3) p(b3) =2 p(ajbjp(ai)p(b3 aj =0.1咒0.1 +0.3咒0.1 +0.0

31、.1 +0.4咒 0.4 = 0.22i =1i =1p 6 )p (b3a2)0.3X0.1P(a2 b3)=P(b3)0.22 =0.1362.5已知从符号B中获取关于符号各值时，分别计算收到B后测A的后验概率应是多少。(1)A的信息量是1比特，当符号 A的先验概率P(A)为下列-2P(A)=10 ；P(A)=1/32 ；P(A)=0.5。解:P(AB)P(A)/. p3)=10时，p(AB)=2x10/ p(A) =1/32时，p(AB)=1/16 p(A) =0.5时，p(AB) =1由题意 V I( A； B) =logP(AB)=2 p(A)消息a1a2a3a4a5a6a7a8概率

32、1/41/41/81/81/161/161/161/16码字0000010100111001011101112.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求:(1)解:在W4= 011中，接到第一个码字0”后获得关于a4的信息量I(a4；0)；在收到“ 0”的前提下，从第二个码字符号“1”中获取关于a4的信息量1但4；1/0);在收到“ 01”的前提下，从第三个码字符号“1 ”中获取关于a4的信息量1但4；1/01);从码字 W4= 011中获取关于a4的信息量I(a4；011)。(1)1心4；0) =logP(a4 0)P (aj= log (1/8)心/4

33、+1M+1/8+1/8)=log4=0.415 bit1/8(2)14；10) =log(3)l(a4；101)=logP(a4 01)P(aj0)P(a4|011)P(a4 01)(1/8)/(1/8 + 1/8)_log (1/8)/(1/4+1/4+1/8+1/8) Sg31.585 bit= log= log 2 = 1 bit(1/8)/(1/8 +1/8) I(a4；011)=logP(a4 011)P (aj1=log = log 8 = 3 bit1/82.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0p1),试证明：整个串接信道的错误传输概率Pn=

34、0.51-(1-2 P)。再证明：nfs时，|iml(X 0；Xn)=0。信道串接如下图所示:BSCX1BSCX2BSCIrIIN卩-p p .1r2p2p21-2 p+2p2-.L P 1-P.1-2 p + 2p22p-2p2/. P2 =2p-2p2 =21-(1-2P)2假设n=k时公式成立,则占1(12 p)k21+(12 p)5占1一(1一2 p)5+ (1-2 p)kPk亠1 k 尹-(1-2p)k 11+(1-2 p)k11(12 p严 *1+(12 p)k3n-ppP1P解：用数学归纳法证明：当n =2时由：1 PPP2=,L P 1 -p二 P+=21-(1-2p严1故Pn

35、 石1一(1一2P)n1 1寫 1-2p1. lim P =lim 1-(1-2p)n=Ln2设输入信源空间 X0: p(X0 =0) =a, p(X0 =1)=1-a(其中0vac1)1 贝U输出信源 Xg p(x比= 0) = p(Xo =0) p(XK = qXo =0)+ p(Xo =0)* p(X0=0Xo =1)=21pg=1)=2/. p(XX0)= p(Xc)(X0、取0或 1)任2 p(X0iX/og先乍i rn j mp(X旳)J P(XX0i).inml(X0；Xn) =2 2 p(X0iXogf ： / yjmP (X 旳)2 2-zz p(X0iXj)log1=0y

36、jT2.18试求下列各信道矩阵代表的信道的信道容量:a1P3 = a?b10.10b20.212 3a a aDoa2a3 P2Ha4b30.3a5a61000L00110000011b40.4b50b60by0b80b900.30.7b10010a3 L00.40.20.10.3解:(1) 信道为一一对应确定关”C =log r =log 4 =2 bit/symble(2) 信道为归并性无噪信道”C = log S = log 3 = 1.585bit/symble(3) 信道为扩张性无噪信道:寫 C =log r =log 3 =1.585bit/symble系的无噪信道2.19设二进制

37、对称信道的信道矩阵为:00f3/4 P = IL1 1/41/43/4(1) 若 p(0)=2/3 , p(1)=1/3，求 H(X) , H(X/Y) , H(Y/X)和 l(X;Y);(2) 求该信道的信道容量及其达到的输入概率分布。解：2 22 11(1) H(X) = 2： p(Xi)log p(Xi) =-(xlog + xlog) = 0.9183 bit/symble y33 332 23117py(0)=2 p(x)p(y = 0x)=- +-X-=石y3434122 2 1135Py(1)=S p(Xi)p(y =1Xi) =-x-+-X-=石y3 4 3 41227755H

38、 (Y)=艺 p (yjog p( yj)=(咒 log +x log)= 0.9799 bit/symbleyj1212 12122 22 2H (Y|X)=-送送 p(Xiyjlog p(yj|xi) = - 送 p(Xi)pxjlog p(yj|xi)i 4 j 1y j233111211133.=(X log + X log + 叉log + x log )=0.8113 bit/symble 3 44 3 44 3 44 3 44I(X;Y) =H(Y) +H (Y X) =0.9799-0.8113 =0.1686 bit/symbleH (X Y) = H(X) -l(X;Y)

39、=0.9183 -0.1686 =0.7497 bit/symble(2) 本信道为强对称信道/. C = log r - H ( s) - s log( r 1) = log 2 - H (0.25) 0.25 log 1 = 0.1887 bit /symble信源输入为等概分布，即p(X =0) ：= p(X =1)= 时达到信道容量C.22.20设某信道的信道矩阵为a1 f0.6 0.1 0.1 0.1 0.1a20.1 0.6 0.1 0.1 0.1P =a30.1 0.1 0.6 0.1 0.1a40.1 0.1 0.1 0.6 0.1a5 0.1 0.1 0.1 0.1 0.2

40、_b2b4b5b1b3试求：（1）该信道的信道容量C;1（3 3；丫）； l（a2；Y）。解：(1) 本信道为强对称离散信道二 C =logr - H(E) - s|og(r -1) =log5-H(0.4)-0.4log4 = 0.551bit/symble 、I 3；丫)= 15；丫)=C = 0.551bit/symble2.21设某信道的信道矩阵为bib2P /1/3 1/3 a2 1/6 1/6ba1/61/3b41/6t1/3试求：(1) 该信道的信道容量 C；(2) I(a1；Y)； l(a2；Y)。解：(1)本信道为对称离散信道1 1”C = log s H( p；, p2,

41、p3, P4) = log 4 H3 3 6 6(2) 、(3)l (a1；Y) = I 2；丫)=C =0.0817bit /bymble= 0.0817bit /symble2.22设某信道的信道矩阵为f1/2P%/41/4 1/81/2 1/81/811/8试该信道的信道容量 C ；解：此信道为准对称离散信11P (b11)= P (b21)=-r211.P(b12)= P (b22)=- - +- r88道，且S1_丄2-241 2, S23414=2388P(bl ) l =23 3111111二 C =送 SlP (bl )log p(bl) - H( p： p2, p；, P 4

42、) = -2x-log- + - log- - H (-,：,：,;) y88882488=0.0612bit/symble2.23求下列二个信道的信道容量，并加以比较(其中0p,q1,p+q=1)p_6 q-625(1)R 氨鼠q-o p-o 2020 p-6 q-6冋025 qp-j(1) 此信道为准对称离散信 道,且S1=2,S2=11 1p(bi)i4 =r (p +q5)=_ (p +q26)11p(bl)l*-焰)-*26 =6-r22二 G =-送 s p(bl) log p(b) H (p；, p2, p3)l A1 1= _2x- ( p +q -25)log2 ( p +q

43、 -26)+ 6 log 6 -H (p -6,q -6,26)p +q -25= -(p +q -26) log_ +(p -6) log(p-6) + (q-6)log(q _6)+26 + 6 log 62(2) 此信道为准对称离散信 道，且si =2, S2 =211p(bl)l4 *(26 +0)=丄 *26 =6r211P(bl)l/ = HP- 5+q 6) =-( p+q25)一 r22g T SlP(b)log p(bl) -H (p；, p2, p3,p；)l 41 1=-26log 5 +2X- .(P +q -25)log? .(p +q -26) - H(p-6,q -6,25,0)p +q -262由上面G、C2表达式可知：G H(X) H(X2/ Xi) H(X3/ Xi X2)H(X n / Xi X2 Xn-i)。证明：由离散平稳有记忆信源 条件概率的平稳性有：P何/厲2厲3aik J = P何二厲忌耳2)r rr二 H (X k / X1X2Xk)H(X2/X1)H(X3/X1X2)3H(Xn/X1X2Xn)又仅当输入均匀分布时，H(X)达到最大logr，即logNH(X)logr H(X) H(X2/X1)H(X3/X1X2)3 H (Xn /X1X2 Xn_1)3.3试证明离散平稳信源的极限熵:HTmH(XN/X1X2XN_J(证明详见p