信息论与编码-曹雪虹-课后习题答案

《信息论与编码》-曹雪虹-课后习题答案第二章1一个马尔可夫信源有3个符号｛“⑷,呵，转移概率为：〃（曲）=1/2,p（）=\//l，/?（M3lW1）=O,/2（MllW2）=l/3,P（U2\U2）=Oyp（m\U2）=2/3y〃（"llU3丨心）=2/3,/?）=l/3,”（“2M3lM3）=Oy画出状态图并求出各符号稳态概率。解：状态图以下状态转移矩阵为：设状态5,%比牢固后的概率分别为、W”W2Ws10-Wi+-W2+-Wi=WiW\=一WP=w彳曰233Wl+W2+W3=l'寸v12_Wl+_W3=W2计算可得VV2=23259256-W2=VV3一vv?=3252.2由符号集｛0,1｝组成的二阶马尔可夫链，其转移槪￡率为：p（oioo）=0?89p（oiii）=0?2,/?（iIoo）=0.2,p（i111=0.8,5〃（oiio）=0?5,piioi）=0.5,p）P（OIOI）=0.9（（iiio）=0.5。iffll出状态图，并计算各状态的稳态概率。解:

p（0100）=/?（00100）=0.8/XOIOl)=p(lOIOl)=O.5080.200于是可以列出转移概率矩阵：厂000.5、0.50.50.50000.20.8.状态图为:设各状态00,01，10,11的稳态分布概率为叽w2>w3,w4有[WP=WO?8WI+O?5W3=14WIWi=-计算获得;O.2Wi+O.5Wi=W2得用3=-OIA7.5W+O.2W=Wi+Wi+Wi+W4=l142.3同时掷岀两个正常的骰子,也就是各面表现的概率都为1/6,求：“3和5同时出现”这事件的自信息；“两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的爛和平均信息量；两个点数之和(即2,3,???,12组成的子集)的嫡；两个点数中最少有一个是1的自信息量。??\17\17\17解d两个点数的排列以下:111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：其中11,22,33,其他15个组合44,55,66的概率是殳丄=丄6636的概率是2x-x-=—66181111A//(X)=-Vp(xi)logp(xl)=-6x—log---------------15x—log—=4.337bit/symboliI36?361818；(4)参照上面的两个点数的排列,可以得出两个点数求和一101112p213651-971-691-91丄165-36360051836J12的概率分布以下：H(X)=-工”(兀)log〃(兀)iC1,1c1I1^1,1c-1c5511'(=一2x——log2x—log—+2x—log—+2x—los—+2x—log—+—log—36"3618^1812129"936366=3.274bit!symbolpU)=lxlxll=Al/(兀)=-logp(兀)=—log￥=l?710bit362-42.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。若是我们得知“身高160厘米以上的某女孩是大学生”的信息，问获得多少信息量？解：设随机变量X代表女孩子学历尤/（是大学生）抢（不是大学生）P（X）0.250.75设随机变量Y代表女孩子身高Y戸（身力（身高高>160cm）<160cm）已知：在女大学生中有75%是身高160厘米以上的即?P(yi/“I)=0.75bit求：身高160厘米以上的某女孩是大学生的信息量艮卩：I(xJX)=—logp(x}/y))=-log律,75=1=_log0.415bjf0.56掷两颗骰子，当其向上的面的小圆点之和是3时,该信息包含的信息量是多少？当小圆点之和是7时，该信息所包含的信息量又是多少？解：因圆点之和为3的概率朋)=卩(1⑵+陀1)=丄18该信息自信息車/(x)=-logp(x)=log18=4.1JOhit因圆点之和为7的概率p(x)=“(1,6)+p(6,1)+p(2,5)+p(5,2)+“(3,4)+“：(4,3)=该信息自宿息量/(x)=-logp(x)=log6=2.585肋P(Y)0.50.52.7设有一失散无记忆信源，其概率空间为'山X2=1xi=2X4=3](丿>3/81/41/41/8)求每个符号的自信息量信源发出一信息符号序列为{202120130213001203210110321010021032223210},求该序列的自信息量和平均每个符号携带的信息量仰军:/(xi)=log2―!—=log?—=1.415bit"(xi)3同理可以求得

1(X2)=2bitJ(X3)=2bityI(X3)=3bit由于信源无记忆，所以此信息序列的信息量就等于该序列中各个符号的信息量之和就有:

I=14Z(xi)+13/(x2)+12/(x3)+67(X4)=87.8\bit平均每个符号携带的信息量为^=1.95bit/符号452.8试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同样的信息，比方：{0,1,2,3}八进制脉冲可以表示8个不同样的信息，比方:{0,1,2,3,4,5,6,7}二进制脉冲可以表示2个不同样的信息，比方：{0,1}假设每个信息的发出都是等概率的，贝I」：四进制脉冲的平均信息量H(XJ=logn=log4=2hit/symbol八进制脉冲的平均S息量H(X2)=logn=log8=3hit/symbol二进制脉冲的平均信息量H(X。)=log”=log2=1bit!symbol所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9“一”用三个脉冲“用一个脉冲2.11有一个可以旋转的圆盘，盘面上被平均的分成38份，用1,，38的数字标示，其中有两份涂绿色,18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。若是仅对颜色感兴趣，则计算平均不确定度(2)若是仅对颜色和数字感兴趣，则计算平均不确定度若是颜色已知时，则计算条件燔解：令X表示指针指向某一数字，则X二{1,2,.,38}Y表示指针指向某一种颜色，则Y二{1绿色，红色，黑色}Y是X的函数，由题意口丁知p(xiyj)=p(xt)(1)/7(丫)=力(另)1隅亠=舟log孝+2x磐log誥=1.24bit/符号(2)H(X,Y)=H(X)=Iog238=5.25bit/符号(3)/7(Xiy)=H(X,y)-H(r)=H(X)-H(y)=5.25-1.24=4.01bit/符号2.12两个实验X和Y,X={X1x2x3},Y={yiy2y3},l联合概率心,?)=rtj为'mg"7/241/240'r2\r1/41/24、23=1/24rr33<°1/247/24<丿(1)倘如有人告诉你X和Y的实验结果，你获得的平均信息量是多少？倘如有人告诉你Y的实验结果，你获得的平均信息量是多少？在已知Y实验结果的情况下，告诉你X的实验结果，你获得的平均信息量是多少？解：联合概率爪丿)为=0.72bit/符号Yyiy2y3P8/248/248/24yiY2ysX2X17/241/241/241/41/240

H(X,丫)=工pgyj)“3」)log211724=2x——log2—+4x——1OS224+—log24???=2.3bit/符号概率分布X301/247/24H(y)=3x^log23=1.58bit/符XXiX2X3P8/248/248/24分Y概率布是2.13有两个二元随机变量X和K它们的联合概率为y2=l3/81/8并定义另一随机变量Z二府(一般乘积)，试计算：H(X),H(Y),H(Z)fH(XZ),H(YZ)^WH(XYZ)^H(X/Y)fH(Y/X),H(X⑵,H(Z/X),H(Y/Z)fH(Z/Y),H(X/YZ),H(Y/XZ)^\H(Z/XY)^(3)I(X;Y)fI(X;Z),I(Y;Z)fI(X;Y/Z),I(Y;Z/X)和I(X;Z/Y)Q解：(1)131yJ+p(^y2)=-+-=7311=p(x2y})+p(x2y2)=-+-=-H(X)=一》/?(%,)log=1hit/symboliP(x)=p(xy)+p(x2^)=|+|=|P『2=讥利2)+P%2力)=|+￡=￡()(H(Y)=一工〃(儿)log〃(儿)=1bit!symboliZ=AY的概率分布以下：■Z■=0G=I=-71>P(Z)..88.H(Z)=-》“(ZA)=-—log-+-log-=0.544bit!symbolP(E)=P(Xi3)+P(X忆2)卩(和2)=。〃g)=P(xJ=0?5P(Z})=p(xizl)+p(X2Zx)73〃(今)=P(zJ一〃(X]Z])=&-0.5=§oop(z2)=p(v2)+p(x2z2)p(x2z2)=p(Z2)=^o(i1331iAH(XZ)=_工工〃(兀zjlogp(x忆Q=_-loS-+^log-+-log-=1406hit/symbolP(y\)=P(>\^)+p(y}z2)p(y1z2)=°P(ViZi)=P(Vi)=0.5p(Z])=p(y】Z])+p(y2Z])Pv2z=73)))-p(y}z})=--0.5=-(oop(z2)=p(ylz2)+p(y2z2)=1.406bit/symbol/心)辰)=0卩(坷也)=°p(兀忆2)=°心NZ|)+]心y忆2)=/心X)P(xlyizi)=p(xly[)=l/SP(x{儿勺)+PUIJIZI)=PgZ])113〃(X|『2Zi)=〃(兀忆1)一/Xx.y.z,)=---=-pgy^l)+I心2〉'忆2)=I心2Jl)3P^2ylzl)=p(x2yl)=-P(x2y2zl)=oP(x2y2Zl)+p(x2y2z2)=p(x2y2)Pxyz)=p(xy)=^(22222H(XYZ)=-mPg儿.Z女)logMx*jz)ijk(k11333311飞888^888丿*=一-log-+-log-+-log-+-log-=1.811bit!symbol(8H(XX)=一弓工p(Xi力)log2P(E^)==-^-log-+-log-4--log-+-fog-J=1.811bit!symbolH(x/y)=//(xy)-/7(r)=1.811-1=0.811bit/symbolH(y/X)=H(XY)-H(X)=1.811-1=0.811bit/symbolH(X/Z)=H(XZ)一H(Z)=1.406-0.544=0.862bit/symbol.406-1=0.406bit/symbolH(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bit/symbolH{Z/Y)=H(YZ)_H(Y)=1.406-1=0.406hit/symbolH(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbolH(Y/XZ)=H(XYZ)-H(XZ)=1.81l-l.406=0.405bit/symbolH(z/xy)=//(xrz)-/7(xr)=1.811-1.811=0bit/symbol2<11过(2)屮1ZI316J+1

—14?110.862HA—、0138z)HH(x?7(x;k)hh(x)ih(x、-s16—7、138bik71io—YKZ)H0.862、z)二二?ll—bi811hoPM)一symbol?Wsymbo189+、—7(y;z)bip、二(二HHp(ijYiH(x—ex7H(K)ssymbol5、^、0.405H0.二457、H(Ki、+)Z)bHTZ)H1IO.8623三6np笆(IAp

p

笆Q巨||L

P^W

2—1516黑白传真机的信息元只有黑色和白色两种，即X=｛黑，白｝,一般气象图上，黑色的出现概率p（黑）=0.3,白色出现的概率p（白）=0.7。1）假设黑白信息视为前后没关，求信源爛H（X）,并画出该信源的香农线图2）实质上各个元素之间是有关系的，其转移概率为:P（白丨白）=0.9143,P（黑丨白）=0.0857,P（白丨黑）=0.2,P（黑|黑）=0.8,求这个一阶马尔可夫信源的信源嫡，并画出该信源的香农线图。3）比较两种信源炳的大小，并说明原因。解：（1）H（X）=0.31og2y+0.71og2y=O.8813bit/符号P（黑|白）二P（黑）P（白丨白）=P（白）P（黑|黑）=P（黑）p（白|黑）=p（白）2）依照题意，此一阶马尔可夫链是平稳的（P（白）0.7不随时间变化，P（黑）=0.3不随时间变化）3X105个H*(X)

=H(X2IXl)=V/J

(Xr,>7)log2------------Vpgyj)=0.9143X0.7log2

—!—

+0.0857X0.7log2

―!—

+0.2x0.3log2

—

J0.9143

0.0857

?

0.2+0.8x0.31022—!—0.8=0.512bit/符号2.17每帧电视图像可以认为是由像素组成的，所有像素均是独立变化，且每像素又取128个不同样的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？如有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并相互无依赖)？若要合适的描述此图像，广播员在口述中最少需要多少汉字？解：1)H(X)=log2/?=log2128=7bit/symbolH(X“)=NH(X)=3x10’x7=2.1x1()6bit!symbol2)H(X)=log2n=log210000=13.288bit/symbolH(XN)=NH(X)=1000x13.288=13288bit(symbol3)20给定语音信号样值X的概率密度为/心)詁加呦，求Hc(X),并证明它小于同样方差的正态变量的连续炳。解:■KC+XHc(X)=一Jpx(x)logp.x(x)dx=一Jpx(x)log—Ae^^dxYY2-KC|+0C卜|)logedx=_J/?.t(x)log—Adx_j/?A(X)(-2Y2y1Y1=-log—+logej—2^~z^(A|x|)tZv2y21o]w1=_log—A+log^j—2ezv?A(-x)dx+logJ—Ae~AX(Ax)dx2y2o2=-log-2+21og^j-^xe~Axdx=-log￡2-loge[(1+Ax)e~/X[1a】、2e-+X=_log_几+loge=log—-02AE(X)=O,D(X)=*、1i21.^7te,2\/^7,2\le-e”小八H(X)=-log2^—y=-log=log―-—>log—-—=H(X)2人2ATAA24连续随机变量X和卩的联合概率密度为:心刃=去宀yf,求H(X),H(Y)fH(XYZ)和o其他I(X;Y)o（提示：0Og2解:2PW==IrrJ~\T-X；"HC(X)=-[p(x)logp(x)dx=-fp(x)log^~^—厶—KT=-￡p(x)log十dx_[p(x)logVr722___________-xdx=log_Pp(x)log7/*2-x1dx?2—岔2|=log--------logr+1——log2e22=log2加一丄log2ebitIsymbol2其中：J/?(x)log-Jr1-x1dx=J~~~logJ/2一dx=戈[Jr1-x2log7r2-x2dx岔-Josin2&logrsinOdOnrJ2—f2siirlogrsinOclO兀Jo220logrd0+20logsin3tl0￡sin—J；sin41(41-cos2&4(41-COS2&,.门皿=—log小----(10+—]----------logsin0(10令x=rcosO-ij-Lrsin0logrsinOcl(rcosO)X/>￡=-logdo--logrpCOS2&/&+-22￡logsinOclO￡cos2^1ogsinOclO=logr-丄logr2￡dsin2^+—(-ylog,2)-—J：cos2&logsinOil02\=logr-1-—|2cos2^logsinOclO=log厂一1+glog,e其中：2—￡cos2^1ogsinOdO1c-2=—￡logsinOclsin2&1(￡、=—sin20logsinOp-f2sin26cllogsin0兀J<)j丄7tHcos2aio=-—log,e1()n-=--log,^b21?￡]￡=-—log,e2(￡10log2cos2&/&11￡=--log2^-—log2esin2踊=-^\og2e=2ryp?=『器卩(Q)必匸总存=^(—「＜y?『)“(y)=pWHC(Y)=HC(X)=log2nr——log2ebit/symbolH((XY)=-jj/?(xy)logp(xy)dxdyK=_JJ”5)log—dxdyR加=log^r2jjp(xy)clxdyK=log270」bit/symbolZr(Xr=H(X)+H(Y)-H(XY)=21og2zzr_log2e_log岔？=log^-loge；)eCC22bit/symbol2.25某一无记忆信源的符号集为{0,1},已知P(0)=1/4,P(l)=3/4o求符号的平均爛；有100个符号组成的序列，求某一特定序列(比如有加个“0和”(100-加)个“1)”的自信息量的表达式；⑶计算⑵中序列的嫡。解：zI133\H(X)=-^/7(xr.)log/9(xJ.)=^-log-+-log-J=0.811bit/symbol*31(Xi4^3】00T”/(召)=-log/?(x()=-log——-=41.5+1.585加bitH(XIW))=100//(X)=100x0.811=81.1bit/symbol2-261￡1]MAp1丄44442888、PQ/i)=21丄3_￡1丄110510P(i)=3P(ij)=To151581丄111￡1163E><361236To1H(IJ)二4--Los(8)+2

—

Losf10)

+2■—Loafli)+

3?—

Loe/36)4-

—

Lofi/12)=3.415g

10

15

36

122.29有一个一阶平稳马尔可夫链Xi.X2,,Xr,，各Xr取值于会集A={cn.(i2.(n},已知初步概率P(Xr)为11/21/41/422/301/332/31/301）求（X】,X2,X3）的联合嫡和平均符号炳2）求这个链的极限平均符号嫡（3）求Ho,Hi,Hi和它们说对应的冗余度解：（1）H(Xi,X2,X3)=H(Xi)+H(X2lXJ+H(X3lX2,Xi)=H(Xi)+H(X2lXi)+H(X3lX2)X】，X?的联合概率分布为3P（X2J）=工p（X］宀/心宀）12丿）1/41/81/81X221/601/1212331/61/12014/245/245/24率分布为那么

的概H(X2lXi)=llog4+hog4+llog4+llog|+^log3+llog|+^log3=1.209bit/符号良见的联合概率分布为P123（X2iX7/247/487/48125/3605/1235/365/120那么/7（X3lX2）=—log2+—Iog4+hog4+—log-+—loe3+—loe-+—log324J48836°272?36?272°=1.26bit/符号H（X】,X2,X3）=1.5+1.209+1.26=3.969b〃/符号所以平均符号爛H3（XI,X2,X3）=竽^=1.323M/符号（2）设ab23牢固后的概率分布分别为W1,W2,W3,a,a乜丄丄转移概率距阵为"获得

24420￡332￡0<331222337<-Wi+-Wi=W2计算获得<VV2=-431414又满足不可以约性和非周期性H^（X）=^WiH（X|附）=》//（*,*,符XH号（3）H（）=log3=1.58/?z7/符号H\=\.5bit/符号1.5+1.2092=1?355仞//符号21.25=0.211,25=0.617L58TT1,25=0.0781.3552-30r21、求平稳概率P(j7i)=55uo丿解方程组吋1+W2=1<3>4获得1&丿2/3\i(2)H(S/s1)=-Log-+-Log(3)=0.9183x2/3H(S/s2)=0信源爛为:31HfS)^H(S/s1)+W2H(S/S2)=-0.918+-0=0.6222-31<iin333P(j/i)=H7解方程组110<22丿331GW2=qW3=匸H(X2/a)=Log<3)=1.525H(X2/b)=Log3)=1.525H(X3/c)=S&2)=1He凶二WqH阳闸+VV2H(X2/b)+W3H(X3/c)=

11332ZW1>丄12332W2二W2丄i0VW3>W丿获得Wl=J3W1+W2+W3=1丄Log(耳十-Log(3)十丄Log(2)=1-439gg、4一32一阶马尔可夫信源的状态图如图2-13所示，信源的符号集为(0,1,2)o求信源平稳后的概率分布P(0),P(l),P(2)求此信源的爛近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的炳H(X)并与弘进行比较解:依照香农线图,列出转移概率距阵"爲p/2pHl_p卩〃/2p/2/2令状态0,1,2平稳后的概率分布分别为W1,W2,W3（1-p）+￡必+￡必=w=-vvi322获得彳从+（1-/训2+上必=必计算得W=-3到＜22VV=-3由齐次遍历可得+/?log—PH(X)=log3=1.58^7/符号由最大嫡定理可知弘(戸)存在极大值也许也可以经过下面的方法得出存在极大值：6H；(X)=__log(1_/7)+lz(￡i)+iog￡+p.^-l=_log/op1_p2pl」2(1-/?)命T+荷up+oo］当p=2/3时0<p<2/3时业凶=即2(1-/;)2/3<p<l时^(T)=-iog—^<oop2(1-p)所以当P=2/3时弘(文)存在极大值，且77x(X)max=1.58^7/符号所以H.(X)<H(X)2-33(1)‘-1p0pP(?i)=P1-P0XoP1-F丿解方程组：(1-F)W1+p-W2=W1(1-p)W2+p-W3=W2p-Wl十(1-p)W3=W3W1+W2+W3=1得p(o)=p⑴二p(2)W(2)H(X/U)=H(J{/1)=H(X/2)=-0-p)?Log(l■p)■p*Log(p)Hoo(X)=1"H^)4|*H(X/1)+|wH(X/2)=-(1-p)Log(l-p)-pLog(p)(3)当p=0或p=l时信源爛为0(3)练习题：有一失散无记忆信源，其输出为Xe{0,l,2},相应的概率为呼1/4,门=设计两个独立的实验去观察它，其结果分“1/4,1/2,别为rie{O,l},r2e{O,l},已知条件概率:P(yilx)01011101P(y21x)0121/21/2010110(1)求/(X;Yi)和/(X;Y2),并判断哪一个实验好201(2)求心展)，并计看作￡和Y2两个实验比做￡和Y?中的一个实验可多得多少关于X的信息(3)求“X；匕IYi)和力)，并讲解它们的含义“X；“I解：(1)由题意可知0101/40X101/421/41/4X\P(yi=0)=p(yi=l)=l/20p(y2=l)=p(y2=l)=l/21?Z(X;/1)=1X)=log2--112i??----Tog-loo4242=0.5bit/符号/（X；r2）=/7（r2）-/7（r2lX）=log2-llogl-llogl-llogl=lZ?z7/号>/（x；r.）所以第二个实验比第一个实验好

011/401/401/2符(2)由于Yi和丫2相互独山，所以p(y\ytIIx)p(yiIx)bit/符号=1.5bit/符号因此可知，做两个实验比单独做￡可多得lbit的关于X的信息量，比单独做仏多得0.5bit的关于X的信息量。3）Z（X；rilYi）

=H（XI

I

YI,Y2）=[/z（x）-z（x；y2）]-[w（x）-z（x；rI,y2）]=/（x；ri,r2）-z（x；y2）=1.5-1=0.5bit/符号表示在已做Y2的情况下，再做Y1而多获得的关于X的信息量同理可得i{X\YiIKi）=/（x；ri,y2）-/（x；ri）=l.5-0?5Tbit/符号表示在已做Y1的情况下，再做Y2而多获得的关于X的信息量!第三章2￡33￡21设二元对称信道的传达矩阵为三引若尸。=3/4,P⑴二求H(X),H(X/Y)fH(Y/X)和I(X;Y),求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)3311H(X)=一》p(xt)=-(]xlog?—xlog2—)=0.811bitIsymbolH(Y/X)=一》工"a)〃(儿./A；)logp(y}/“)z32.231.111.112.2、.=-(—X—12-+—X-12-+—X-12-+—X—12—)X102.10-43343343^3433=0.918bitIsymbol3211P(X)=Pgi)+PxJ,)=p(x)p(y/x)+p(x2)p(yI/x2)=-x-+-x-=0.5833(2ill43433112P(y2)=P(x{y2)+p(x2y2)=p(xi)p(y2/xl)+/x.)=-x-+-x-=0.41674343H(Y)=-工p(yj)=-(0.5833xlog20.5833+0.4167xlog20.4167)=0.980bit/symbolj/(X；y)=H(X)—H(X/Y)=H(Y)—H(Y/X)/7(X/y)=H(X)-H(y)+H(r/X)=0.811-0.980+0.918=0.749bit/symbol/(X;Y)=H(X)-H(X/Y)==0.811—0.749=0.062hit!symbol2)C=max/(X；y)=log,m-Hmi=log22+(-lg-+-lg-)xlog210=0.082bit/symbol其最正确输入分布为心)=+3-2某信源发送端有2个符号，形，,=1,2；心)=每秒发出一个符号。接受端有3种符号片，J=l,2,3,1/21/20转移概率矩阵为?1/21/41/4J°(1)计算接受端的平均不确定度；(2)计算由于噪声产生的不确定度/7（yix）；(3)计算信道容量。解:1/21/20_1/21/41/4联合概率“3,儿）--I>*1y2a/2a/20V2(l—a)/2(1—G)/4(l—a)/4则Y的概率分布为Y

>'iy2儿1/2(l+a)/4(l—a)/4(1)丹(丫)=丄1跆2+匕log丄+巳log丄1■1■16a,l-a24i+a4l-d=-log2+-log-一+-log-一24\-cr4\+a1,c11让L1匕1-6/=—log2+—log16+—log-7+—log------2?4J44?1+d3.1.1a.l-a=_log2+_log___+_log___取2为底Q[11H(K)=G+-log2-__7+7log?1+a24l-a~4(2)■八I"at1af11-6/,11-6/,1l-Q.13(1~<Z)log2H(YIX)=—-log-+-log-+—log-+—log-+—log-=-6/log2+2=￥吨2取2为底H(Y\X)=^~bit??1.1a.1-Gj------+-log---------pg)"(?*)V2f%?4「一“24+?吟"2+抽占+汕罟)取e为底da1.小12a1,1-6/a=—ln2+---------+—In-------+—-------一/—I—1—da2；\+a41-a2Inl-d=—In2+—InT+a24l-?_1T+U~43/.a=-513,小1(113(1?.c=—x—loe2+—log--+—x-log—25°445312531=—Iog2+-Iog—+—log-10J41620?43153=—log2+—log---------log210J2410?3.3在有扰失散信道上传输符号0和1,在传输过程中每100个符号发生一个错误，已知P(0)=P=1/2,信源每秒⑴内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为:0.990.01为一个BSC信道0.010.99所以由BSC信道的信道容量计算公式获得:21sign伺PiC=logs-H(P)=log2-工Pilog—=0?92〃〃/C,=yC=l000C=920bit/sec3.4求图中信道的信道容量及其最正确的输入概率分布.并求当尸0和1/2时的信道容量C的大小。XY0------------------1-------------------?0100解：信道矩阵P=o1-ee,此信道为非奇异矩0e1—e阵，又严S,可利用方程组求解(巧iq)0厂(巧|勺)10訂(巧|勺)(i=l,2,3)JI>i=A=o(1一可02+03￡=(1-可log(l-)+￡￡log￡￡02+(1—￡)03=log￡+￡(1—￡log(l-c))解得01=002=03=(1一￡)log(l—￡)+flog￡所以C=log￡2^=log[20+2X2(1_e)log(1_e)log5]^i二1og[1+2TO]=1og[1+2(1Y)gr]P(bJ=20_c=2“=11+2(1—1+2P(b2)=2;f2(1—g)8'c=l+2(l_e)z)hpg=k=Pd)而p(bj)=±pgp(bjg(j=l,2,3)1=1zP(bj=p(5)得P(?)=P(d2)(lY)+P(“3)￡P(b3)=P(a2)e+P(a3)(l-?)所以PQJ=P(bJpa)=p(g=p(bj=p(bj=当尸0时，此信道为一一对应信道，得C=10g3,叫)=P(a2)=P(6)=|J当￡=1/2时,得C=log2,P("l)=+，卩(。2)=P(6)=扌3.5求以下二个信道的信道容量，并加以比较(1)/、(2)卩一P7;2s0、匕—\P_￡I—;02s}p￡2G其中P+F=1卩-￡)I。1￡)解：1）此信道是准对称信道，信道矩阵中Y可划分成三个互不订交的子集由于集列所组成的矩阵卩7丁打，仔]而这两个子矩阵满足对称性，因￡￡0丿P~)此可直接利用准对称信道的信道容量公式进行计算。Cl=logr-H(pl?p2')-乞NkbgMkp3'其中r=29Nl=Ml=l-2^N2=2￡M2=4所以Cl=log2~H(~p-￡y_e_e)-2wlog4gp￡,2)￡-(1~2)log(12=log2+(p-￡)log(Qy)+(p-)log(p￡-e)+2一log2￡￡(1_2￡)log(1_2￡一2￡log4￡)=log2~2￡log2~(1_2E)log(1_2￡)+(~p-s)log(QY)+(p-￡)log(p-)￡=(1—2￡)log2/(1—2￡)+(p-e)log(/?-￡■)+(p-g)10血-￡)输入等概率分布时达到信道容量。(2)此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中丫可划分成两个互不订交的子集，由子集列所组成的矩阵为片￡L],仔和这两矩阵为对称矩阵其中

r=2,Nl=Ml=l-2.N2

二

M2

二

2厂所以=——ClogrH(

—,p

￡,2

￡—,0)

log

Mk=log2+(p-^)log(「-￡)+(p-E)log(p-E)+2log2E￡(1_2￡)log(1_￡_￡一2E=log2-(1-2)￡log(1~2))+￡(~P~￡log(p-f)+(p-e)log(p-)￡=(1_2)￡log2/(1-2)+2￡log2+(万-￡)log(EQ-￡+(p-)￡log(p-)￡)=Cl+2￡log2二时达到此信道容输入等概率分布(P(al)P(a2)=1/2)量。比较此两