(完整word版)信息论与编码-曹雪虹-课后习题答案

信息论与编码》-曹雪虹-课后习题答案第二章2.1—个马尔可夫信源有3个符号』，转移概率为|:/\・p(气丨讣二1/2，p(u21uj=1/2，p(u3IU])=0，p(uju2)=1/3，p(u2lu2)=0，p(u3lu2)=2/3，p(uju3)=1/3，p(u2lu3)=2/3，p(uju3)=0，画出状态图并求出各符号稳态概率。解：状态图如下1/2状态转移矩阵为：1/2状态转移矩阵为：2W1+2W1+1W2+1W3=W1计算可得10W1=1259W2=225W3=25‘1/21/20、p=1/302/3J/32/30丿设状态u1，u2，u3稳定后的概率分别为W1，W2W3WP=W得1W,+-W3=W2{21332W1+W2+W3=123W2=W3童搠卅JIIIP8、言二110.2、乞。。||0・2、p(三l)H0・8、0(1)"0・5、0(1)"0・5、0(=01)"0・5、£三。)"0.5。画圧并鈿圈、3占・0(0一00)"0(00一00)^000p(o-ll)=p(lo-ll)"0.2p(l-001(01一00)"0.20(三1)H0(1三dho.oo7(0-01)H7(10-01)H0.5po-lo)nxoo-lo)"0.50(1-01)"p(ll-01T0.5xl-10)n0(01-10)no.5需并斜00、01、10、11a.血POO0.200>000.50.50.50.500<000.200(2)11x66(2)11x66(2)11x66(2)11x66WP=W为w.=1iIi=1'0.8W1+0.5W3=W10.2W1+0.5W3=W2<0.5W2+0.2W4=W30.5W2+0.8W4=W4W1+W2+W3+W4=1计算得到W,=—14W2=-7W3=-7W4=—14同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1)“3和5同时出现”这事件的自信息；“两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的熵和平均信息量；(4)两个点数之和(即2,3,…,12构成的子集)的熵；(5)两个点数中至少有一个是1的自信息量。解：(1)11111-)=x—+—X—=-i666618I(x)=-logp(x)=-log=4.170bitii18p(p(x)=i136I(x)=-logp(x)=-log=5.170bitii36(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566共有21种组合：111—x—=——6636其中11，22，33，44，55，66的概率是111—x—=——6636其他15个组合的概率是2i112x—x—=—6618(一11.(一11.11\H(X)=一丫p(x)logp(x)二一6x二logp+15x石log^T；=4.337bit/symbol(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：iii363618=8丿23456789101112=V11115151111}〔36181293663691836JXP(X)H(X)=一p(x)logp(x)iii匚1i1丄21i1丄21i1丄2J1丄25]5丄J1)=-2x——log—丄2x—log—丄2x—log—丄2x—log—丄2x—log—丄一log—(36361818121299363666丿=3.274bit/symbol

p(x)=—x—x11=11i6636I(x)=-logp(x)=-log11=1.710biti3641)-Log-=1\2;-Log=0.014-Log=0.014<100；-Log二-Lng二■二-Lng二■+-^-LogflOO)=0.031100I99丿10099100ion2.5居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的而女孩子中身高160厘米以上的占总数的一半。假如我们得知"身高160厘米以上的某女孩是大学生"的消息，问获得多少信息量？解：设随机变量X代表女孩子学历XX］（是大学x2（不是大学生）生）P（X）0.250.75设随机变量Y代表女孩子身高Yy】(身y2(身高高>160cm)<160cm)P(Y)0.50.5已知：在女大学生中有75%是身高160厘米以上的艮卩：P(y/x)=0.75bit11求：身高11160厘米以上的某女孩是大学生的信息量艮卩*p(x)p(y/x)[0.25x0.75I(x/y)=-logp(x/y)=-log—=—log———-——=1.415bit1111p(y)0.51掷两颗骰子，当其向上的面的小圆点之和是3时，该消息包含的信息量是多少？当小圆点之和是7时，该消息所包含的信息量又是多少？解：「因圆点之和为3的概率P(x)=p(1,2)+p(2,1)=118该消息自信息量I(x)=-logp(x)=log18=4.170bit2)因圆点之和为7的概率P(x)=p(1,6)+p(6,1)+p(2,5)+p(5,2)+p(3,4)+p(4,3)=16该消息自信息量I(x)=-logp(x)=log6=2.585bit设有一离散无记忆信源，其概率空间为rx「rx1_0x2_1x_2x_3'_1234<p丿、3/81/41/41/8丿1)求每个符号的自信息量2)信源发出一消息符号序列为｛202120130213001203210110321010021032011223210｝，求该序列的自信息量和平均每个符号携带的信息量解：18应即=叫=「415bit同理可以求得I(x2)=2bit,I(x3)=2bit,I(x3)=3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有："儿F-i=141(xi)+13I(x2)+121(x3)+61(x4)=87.81bit平均每个符号携带的信息量为87.81_195bit/符号45—*试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：四进制脉冲可以表示4个不同的消息，例如：｛0,1,2,3｝八进制脉冲可以表示8个不同的消息，例如：｛0,1,2,3,4,5,6,7｝二进制脉冲可以表示2个不同的消息，例如：｛0,1｝假设每个消息的发出都是等概率的，贝,四进制脉冲的平均信息量h(X)=logn=log4=2bit/symbol1八进制脉冲的平均信息量h(X)=logn=log8=3bit/symbol2二进制脉冲的平均信息量h(X)=logn=log2=1bit/symbol0所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。2-9用三个脉冲"•”用一个脉冲I(-)=(4]飞3丿⑴【（•）=⑵H=2-10①（2）=0.415Log（4）=213._Log（4）+_Log_44丄Lo或3）+-Log-=0.91SP（黑/黑）-空14H（Y/黑）-lLogP（黑/白）-:14H（Y/白）-2朗四「呦二=0.9414I5丿14J9丿P（黑）-2P（白）-23（3\一=0.811P（白/黑）-!£140.3S1/14A10（14\—十一Log—voj14血丿P（白/白）-戈1414^nH（Y）-1L□能）+-Log-I=0P1S33辽丿2.11有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1,..,38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。（1）如果仅对颜色感兴趣，则计算平均不确定度（2）如果仅对颜色和数字感兴趣，则计算平均不确定度（3）如果颜色已知时，则计算条件熵解令X表示指针指向某一数字则x={1238}Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色}Y是X的函数，由题意可知p(兀器)=p(x)p1238-1838bit/符号H(Y)仝卩(“吨耐二宛吨T+22宛吨茂二1.24j=1jH(X,Y)=H(X)=log238=5.25bit/付号注t/付号H(XIY)=H(X,Y)-H(Y)=H(X)-H(Y)=5.25-1.24=4.012.12两个实验X和Y，X={x1x2x3},Y={y1y2y?},I联合概率r(x,y)=r为ijij厂r“rr、'7/241/240'111213rrr=1/241/41/24212223.rrr.、01/247/24丿1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？3）在已知Y实验结果的情况下，告诉你X的实H（y）=3xIlog23=1.58bit/付cupx"寸CNX寸rxi00寸rxi00xd00窝00窝00Ad螫>佥卜.OH8ql—E.eH(X)H—CTX)HH(X-X)HWZI启(X、NA)I'(AI、(NA)I、(ZIux)I二AX、Z)HDizA)H、(ZA/X)H、iH、(a)h、(x、z)h、(x)h、(a)h、1hs二ZAX)H目)H、(ZX)H、(Z)H、(A)H、(X)H-酬杰坦、(if)ax"z啣劄尼n—汉隕肚00m00二00二00m/oII^rHI-1IIaLOH2(z)d-K-呂股0勵塞呂»<nNloqul/s-*q-H(ixMOI.XMlHsxesszzz-z——H—+—H(iK)d+(ix」dH(L+r(Tx+J/(kxloqlu^-Eq-H(xx501(YxMlH(X)He88ZZTZZ—H—+—H(i3d+(ix〉dH(3dIa+aI(zdxx+(k-YxI(才Xp(x)=p(xz)+p(xz)11112p(xz)=012p(xz)=p(x)=0.5111p(z)=p(xz)+p(xz)1112173p(xz)=p(z)-p(xz)=-0.5=-2111188p(z)=p(xz)+p(xz)21222p(xz)=p(z)=2228H(XZ)=-MikH(XZ)=-Mikp(xz)logp(xz)=ikik(1]13]31]1)—log—+—log—+—log—(228888丿=1.406bit/symbolp(y)=p(yz)+p(yz)11112p(yz)=012p(yz)=p(y)=0.5111p(z)=p(yz)+p(yz)TOC\o"1-5"\h\z1112173p(y2z1)=p(z1)-p(y1z1)=8-0.5=8p(z)=p(yz)+p(yz)21222p(yz)=p(z)=-2228H(YZ)=-Mjk(1.13.31.1)p(yz)logp(yz)=-—log—+—log-+—log—=1.406bit/symboljkjk<228888丿(3)(3)(3)(3)p(Xyz)=0112p(xyz)=0122p(xyz)=0212p(xyz)+p(xyz)=p(xy)11111211p(xyz)=p(xy)=1/811111p(xiy2G+p(xiyiG=p(xiGp(xiy2G=p(xiG-p(WG=2p(xyz)+p(xyz)=p(xy)211212213p(xyz)=p(xy)=211218p(xyz)=0221p(xyz)+p(xyz)=p(xy)22122222p(xyz)=p(xy)=222228H(XYZ)=_mp(xyz)logp(xyz)ijk2ijkijk(11333311\=-—log—+—log—+—log—+—log—=1.811bit/symbol(88888888丿(2)(113.33.31.1\H(XY)二一Hp(xy)logp(xy)二二一一log—+—log—+—log—+—log—二1.811bit/symbol18ijH(X/Y)二H(XY)-H(Y)二1.811-1二0.811bit/symbolH(Y/X)二H(XY)-H(X)二1.811-1二0.811bit/symbolH(X/Z)二H(XZ)-H(Z)二1.406-0.544二0.862bit/symbolH(Z/X)二H(XZ)-H(X)二1.406-1二0.406bit/symbol8888888丿H(Y/Z)二H(YZ)-H(Z)二1.406-0.544二0.862bit/symbolH(Z/Y)二H(YZ)-H(Y)二1.406-1二0.406bit/symbolH(X/YZ)二H(XYZ)-H(YZ)二1.811-1.406二0.405bit/symbolH(Y/XZ)二H(XYZ)-H(XZ)二1.811-1.406二0.405bit/symbolH(Z/XY)二H(XYZ)-H(XY)二1.811-1.811二0bit/symbolI(X;Y)=H(X)-H(X/Y)=1-0.811=0.189bit/symbolI(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bit/symbolI(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bit/symbolI(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbolI(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bit/symbolI(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol2-14方法2:2-15f?「2'*1、「方法2:2-15f?「2'*1、「7'7+Log9+7；Log791S11611\2」J」2」J」0.311扣gp(aVb1)=p(*l)=p(b^=|p(al)pCbl-al)\rOD丿广3i><31144P(ij)=S3P(i/j)=79171711J3;<166Jdp(yQj=317179-+一316刁忆卩(曲=—s■i——T—16—7gIKYhp(yO)IKyO)+p(y1)l(X;y1)=-0.40S+—0.236=0.311161首艸2)=辿空空’f㈣I(a1；b2>Logf理匹■]=logf旦]=Log(2E)\、F(乩)J12.16黑白传真机的消息元只有黑色和白色两种，即X=｛黑，白｝，一般气象图上，黑色的出现概率P（黑）=0.3，白色出现的概率p（白）=0.7。（1）假设黑白消息视为前后无关，求信源熵H（X），并画出该信源的香农线图（2）实际上各个元素之间是有关联的，其转移概率为：P（白|白）=0.9143,P（黑|白）=0.0857,P（白嘿）=0.2,P（黑|黑）=0.8,求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。（3）比较两种信源熵的大小，并说明原因。解H（X）=0.3log210+0.7log210=0.8813bit/符号P（黑|白）=P（黑）-0.7•■■-'xp（白I白）=p（白）皿乙町---vL07p（黑I黑）=p（黑）p（白I黑）=p（白）（2）根据题意，此一阶马尔可夫链是平稳的（P（白）=0.7不随时间变化，P（黑）=0.3不随时间变化）Hg(X)=H(X21X1)眾p(Xi，y.)log2ijlij=0.9143x0.7log2-+0.0857x0.71og2-+0.2x0.31og2±20.914320.085720.2+0.8x0.31og2^—20.8二0.512bit/符号2.17每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：1)H(X)二logn二log128二7bit/symbol22bit/symbolH(Xn)二NH(X)二3x105x7二2.1xbit/symbol2)H(X)二logn二log10000二13.288bit/symbol22H(Xn)二NH(X)二1000x13.288二13288bit/symbol3)H(X3)H(Xn)

H(X)2.1X10613.288二1580372.20给定语音信号样值X的概率密度为求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：Hc(X)求Hc(X)，并证明它小于同样方差的正态变量的连续熵。解：Hc(X)=-于px(x)logpx(x)dx=-fpx(x)log*九e-九Ldx-ax-a」px(x)log扣X-fpx(X)(-小)logedX-a-a=-log—+logef丄九e-入xl(X|x|)dx-a=-log1X+logef^Xexx•九(-x)dx+logf丄九丘-九x(Xx)dx222-a0=-log2X+2log2xe-xxdx01=-log—九一loge(1+九x)e-九x2=-log2x+loge=log2eE(X)=0,D(X)=—X2+a0H(XJ二］log2兀e?二|log竽二陀2^>二H(X)2九22九2九九2.24连续随机变量X和Y的联合概率密度为：P(x,y)=其他提示：2.24连续随机变量X和Y的联合概率密度为：P(x,y)=其他提示：解：求H(X),H(Y),H(XYZ和I(X;Y)。J2logsinxdx=-—log2)022*2*4*&2p(xy)dy=Jn^dy=2、r口一wr2一x2nr2p(x)=J三_*r2一x2H(X)=-Jrp(x)logp(x)dxc-r=-Jrp(x)log^；r2-x2dx-rnr2I*2(*,■=-Jrp(x)logdx-Jrp(x)log、r2-x2dx-rnr2-rnr2(-r<x<r)nr2nr2f■=log-Jrp(x)logr2-x2dx2-rnr21=log一logr+1-—loge222=lognr-—logebit/symbol222其中：Jrp(x)log\r2-x2dx一r=Jr辽三logR頁dx-rnr24f.，-=ri；r2-x2log、r2-x2dxnr2040令x=rcos0J0rsin9logrsin9d(rcos0)

2x2兀2血2血=logrJ2d9-logrJ2cos29d9+J2logsin9d9-J2cos29logsin9d929logsin9d92COS2兀0x0x0x0x0=logr-logrJ29logsin9d92COS2兀0x0x22fx=logr-1-J2cos29logsin9d9x0=logr-1+2loge其中：2fxJ2cos29logsin9d9x01fx=J2logsin9dsin29x0in29dlogsin9丿TOC\o"1-5"\h\z=丄|sin29logsin9-J2sin兀(in29dlogsin9丿=-丄J：2sin9cos9竺岂客d9x0sin92x=-—logeJ2cos29d9x202Jx1+cos29=一一logej2d9兀202eJ2cos20dO20工20=-—logeeJ2cos20dO20工20=-^loge-丄logesin29222兀2=-—loge22Qvlivl」—)loqulywq9MOI—irMOII—9MOIllrWOIeH000u

(XX)XISH+(x)hh(a.x)、

loqulE七qMOIIApxp(£d=Z」1£WOIHz」l£ypxpMOI3XJJ—Hyoypxp(£dWOI(ox=—H(XX)Hmoih(x)ohhg{)oh。摆呂屁址廿(0)恥七(m)(=J(E「001)启0E皿呂凰二尽址骰期—姝联'Ign^001皿S-3。寸、mHd'寸二丄0)di二i.OSM^SfBzbit/symbolH(X)=-工p(x)logp(x)=-_log—+—log—bit/symboli’i(1、m(3、—x14丿14丿P(x)二i100-m3100-m41003100-mI(x)二—logp(x)二—log=41.5+1.585mbitii4100⑶H(X100=100H(X)=100x0.811=81.1bit/symbol2-26fiiii]rqri1ii「4444288E3PQ/i)=3113P(i)=1P(ij)二1111105510310L5T7To111111111<d3S><363636丿H(IJ)=4—4-2■—LosfllJ)-4-2■—Loaf'll-+-3■—-Lo4-—LoaflZ)=3.415S101536122.29有一个一阶平稳马尔可夫链xxx，各Xr取X1,X2’•…X/…r值于集合A兀…｝，已知起始概率P(Xr)为1,2,311/21/41/422/301/332/31/30⑴求(X,X2,X3)的联合熵和平均符号熵求这个链的极限平均符号熵求HHH和它们说对应的冗余度H0H1H2解：(1)H(X1,X2，X3)二H(X1)+H(X2IX1)+H(XJX2,X1)二H(X1)+H(X2IX1)+H(X3IX2)H(x1)=-無2-沁卜4^4=/符号X1,X2的联合概率分布为p(x1xp(x1x2)ij12311/41/81/821/601/1231/6T7120\的概率分布为那么1214/2457245/24Yp(xx)1i2ji=1.209bit/符号H(X21X1)=4log4+拯4+|log4+6log|+台博+6log|+#og=1.209bit/符号x2x3的联合概率分布为rn/v\7/WI:/v\£np0股0勵塞§胆骰軀W2異0)696-fE696.EK+6061+『匚(xqxwhnln遅nln^>q9cxl」H^oh+ro融+益012+^0融+寸兰a+寸营i^+^oiish(zx「x)hm00£二<—1Lnorxi00orxi—iLOc—17/249s9mLOZX■X—irximnln毎_nln遅寸i--I;寸Iz-l;vL一MH寸^oihoh1AAi一X)辽At饲丄nH±HS盟sffi耳丘心四擬[><F7TIHA1+A1+AlzeE-寸At"A17+AifVmezeteIHA1Z+A1Z+AideeiEm亠aihcmjfflElc3ie0—Nd-只世s勵塞挫擦寸zH2=出+⑷9=1.355bit/符号TOC\o"1-5"\h\z..1.250=1一耳0=1-=0.21001.581252=1-n2=1-=0.078221.355125Y1=1-n1=1-TT=06171/32-30(1)求平稳概率P(j/i)=[|<1解方程组得到H(S/s1)=-Log-3U+|Log(3r)=0.91gH(S/s2)=0信源熵为：1H(S)=W1H(S/s1)+W2H(S/s2)=-0.91S+-0=0.63S42-31r11%r11%332111———=33211H2--0U3；科1十師十W3三1得到P(j/i)=333111333--0匕2)W1=三,W2二

解方程组生W3=134Hp2/a)=Log](3)=1.5S5H(>2/b>Log(①=1.5S5H(X3/c>L□或刁=1331HH(X2/a)+W2Hp<2/b)+W3H(X3/c)=--L^3)十-Lcg(J)十-L^2)=1.4392.32一阶马尔可夫信源的状态图如图2-13所示，信源X的符号集为(0,1,2)(1)求信源平稳后的概率分布P(0),P(1),P(2)(2)求此信源的熵(3)近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H进行比较A!”A17+Al(d—I)+iEezel'l丿MHMZ+MZ+M(d—I)丿(d丄)Z畀d泅1。「彳m艮补交MOI——HNaZ7NI・d+7*+(Ed——Idp€8hq轻股曲©)88屋冋圏骰集玄喘压血紇二厠了兰丄从了1dd—1ZZEmMOId+Inmo-(a—一!><)HMWh(^h时亠=1

2(1-p)0vpv2/3时阳/X)一log>°dp2(1-p)2/3<p<1时dH丿X2—吨p<°2(1-p)H(X)存在极大值,且h(X)二1.58bit/付所以当p=2/3号所以H“(X)<H(X,)2-33(1)dp时maxzl-pp\00-pp解方程组：(1-p)Wl+p-W2=W1(1-p)W2十買弼二购p-WL+(1-p)W3=W3W1+W2+W3=1得p(0)=p(1)=p(2)=13⑵H(X/0)=H(X/1)=H(X/2)=-[1_p)'Log(l-p)-p'L-og^p)H«(X)=-*HCW)4(X/1)+i*H(X2)=-(1-p)Log(l-p)-卩“如(3)33当p=0或p=1时信源熵为0练习题：有一离散无记忆信源，其输出为X肮丄2},相应的概率为p0应的概率为p0=1/4,pi=I/4,P2=1/2设计两个独立的实验去观察它，其结果分别为y九,]},笃九‘J，已知条件概率:p(y」x)0p(y」x)0101110121/21/2⑴求I（x；y1）和I（x；y2），并判断哪一个实验好P(y2|x)01010110201些⑵求/（X;⑴，并计算做丫1和丫?两个实验比做Y1和丫2中的一个实验可多得多少关于X的信息⑶求I（x；y1iy2）和I（x；y2iy1），并解释它们的含义解:（1）由题意可知-0101/40101/421/41/4P(y1=0)=p(y1=1)=1/2p(y2=1)=p(y2=1)=1/2・•・I(X;Y丿=H(Y1)-H(Y1IX)=log2-4log=0.5bit/符号0亠01/4011/402-晶2-102x—log2「4——1/2I(X;Y2)=H(Y2)-H(Y2IX)=log2-4log1-4log1-2log1=1bit/号＞I(X;Y1)所以第二个实验比第一个实验好(2)因为Y］和Y2相互独立，所以

p(yyx)~0000110p(yxy2Ix)=p(yjx)p(y2Ix)111/4Q—1/4p(yy|x)000110110100010010201/201/2yy00011011p1/41/41/41/41/40—1/4・•・I(X;Y・•・I(X;Y1Y2)=H(Y],Y2)-H(Y1Y2IX)=log4-4log1-4log1-4x2log2bit/符・•・I(X;Y・•・I(X;Y1Y2)=H(Y],Y2)-H(Y1Y2IX)=log4-4log1-4log1-4x2log2bit/符=1.5bit/符号由此可见，做两个实验比单独做Y］可多得1bit的关于X的信息量，比单独做Y2多得0.5bit的关于X的3)I(X;Y1IY2)=H(XIY1)-H(XIYY2)=H(X,Y2)-H(X)-[H(X)-1(X;YY2)]=[H(X)-1(X;YJ]-[H(X)-1(X;Y],Y2)]=I(X;Y],Y2)-1(X;Y2)=1・5-1=0・5bit/符号表示在已做Y2的情况下，再做Y1而多得到的关于X的信息量同理可得I(X;I(X;Y2IY1)=I(X;Y],Y2)-1(X;Y1)=1.5-0.5=1bit/符号表示在已做Y1的情况下，再做Y2而多得到的关于X的信息量欢迎下载！(I二ItwA)H、(A/X)H、(H空寸、I"d丈：(0)dw市土只世衆wb运卿睡友H強IzXXXXz■£*zzoqlwGvxqEOOHOI501x(11日1I+门日门)+eWOOIHH—E"01H(rx)、xeulHo(CXIoqula-七qC90.0H6寸卜.0—118.0(X、X)H—(X)HH(rX)、一oqEQ_二q6寸卜.0H816.0+086.0—二8.0H(Xr)H+(X)H—(X)HH(X、X)H一oquiB二一q086.0HQ9I寸d"01X卜91寸d+ysqowolXEssqo)—H(ixM—H(X)HE寸E寸ZZZTZTZZZTZ卜91寸oI—xl+lx—Ix_(x〉d+(K、(KxH((x〉d+(ix〉dI(EE8Q.0Hgxp+"XPH(ZY、kx(ZYx+(\vkx(-YxH(kzxx+(k-YxH(kxoqtuawq816.0HOIfxrrrJrrrrrrrrrH(X_ix"01(X、ix(Yxmm—h(xr)H寸Z寸寸Z寸7oqula三q二"01X7+""01XD)—H(乂xd—H(X)HLL""丁I/其最佳输入分布为p其最佳输入分布为p(x)=ai1，2，p（x）=1i23-2某信源发送端有2个符号，，i=1,2;每秒发出一个符号。接受端有3种符号,j3，转移概率矩阵为Pri/21/2o］。’P=1/21/41/4（1）计算接受端的平均不确定度;（2）计算由于噪声产生的不确定度H（Y|X）（3）计算信道容量。解：_「1/21/20_P=1/21/41/4「X--YT：,Xy1y2y3x1a/2a/20x(1—a)/2(1—a)/4(1—a)/4联合概率()p(x,y)____1j则Y的概率分布为Yy1y2y31/2(1+a)/4(1—a)/41+a41—a4H(Y)=2log2+tlog^+tlog1—a11=—log2+—log24161—a2a1—a+4loglog2+丁log16+丁log2441—a2a1—a+4log^取2芬底在a1—a+4log^H(Y)=(3+4log亠+4log工)bit2421—a2421+a00(2)H(YIX)二—-log1+-log二+a1a11—a11—a11—a1log—+log—+log—2^22^2224444=一-log2+-(1一-)log22-2-12pl°g2取2为底3—aH(Y1x)=-2-bit'-1_1[=max—log2+—logp(x.)\24取e为底a(2ln2+4lni—1-2+4ln1+-)c二maxI(X;Y)二max[h(Y)—H(YIX)]p(xi)p(xi)1-、1一-'4r2-+4log^Jd-112-11一--11_—ln2++—ln+—(—一)241一-241+-41一-1+-1-11一--2_一ln2++—ln一22(1一-2)41+-41一-2111一-_—ln2+—ln241+-=01一-_11+—4--_—51-111-1c_x—log2+—log+—x—log—2541—今45425125-1_log2+—log+log—1041620415-_log2+—log——log2102410-5243.3在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误已知P(0)=P1)=1/2,信源每秒内发出1000个符号，求此信道的信道容量。解：由题意可知该二元信道的转移概率矩阵为：0.990.01为一个BSC信道0.010.99所以由BSC信道的信道容量计算公式得到:C=logs-H(P)=log2plog一=0.92bit/sign.,°P=1iC=-C=1000C=920bit/sectt求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C的大小。£X0112解:信道矩阵P=01X0112解:信道矩阵P=01-e

e0e1－e,此信道为非奇异矩(i=1,2,3)阵，又r=s,可利用方程组求解(i=1,2,3)P(bIa)0P(bIa)logP(bIa)TOC\o"1-5"\h\zjijjiji厂1厂10i(1—g)(1—e)log(1—8)+£log823(1—g)logg+(1—g)log(1—g)23解得=01(1—£)l0g(l—£)+£log£所以3C=log”=log[2o+2x2(i-)log(1-)+£log訂j=log[l+2i-h()]=log[1+2(1”JP(b)=201—c—2—c二112(1)(厂)12厂hC)TOC\o"1-5"\h\zP(b)=2}~c亡2丿212(1)(1-yP(b)=2丁C=P(b)32而P(b)&P(a)P(bIa)(j=1/2/3)jijiP(P(b)=P(a)11P(b)=P(a)(1—g)P(a上23P(b)=P(a)&+P(a)(1)23所以P(a1)=P(b1)=1+2(1—8)(厂)于p(十p(犷p忙p(皆1+；y当=0时，此信道为一一对应信道，得C=log3,当P(a)=P(a)=P(a)=1C=log3,当P(a)=P(a)=P(a)=1233=1/2时,得C=log2,p（巴）=2'P（孝=P（气）=4求下列二个信道的信道容量，并加以比较1)1)p—8p—828、(2)z—P—8P—8280]:p-8p-828J:P-8P-8028JJ其中p+-=1解：（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组成的矩阵仔-s匕一打,俨］而这两个子矩阵满足对称性，因<PP-J128J此可直接利用准对称信道的信道容量公式进行计算。CBIogr-H®1'p2'p3')-丘以吨Mkk=1其中「=2皿M1=1-28N2=28M2=48所以C1=log2-H(-£,p-E,2£)-(1-2e)Iog(1-2e)-2£Iog48=log2+(_8)log(-8)+(p-s)Iog(p-s)+2sIog2s-(1-2s)log(f-2s)-2slog4s=Iog2-2Elog2-(1-2E)Iog(1-2s)+(-_£)log(万-8)+(p=%。翱。?2/(1-2£)+(-_£)log(-_8)+(p-e)log(p-8)8输入等概率分布时达到信道容量。2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为(p-sp-打Ip-sp-s>f2s0］这两矩阵为对称矩阵其、02s丿中r=2,N1=M1=1-2N2二M2=2，所以££C=log「-H(--s,P-&2&0)-£NklogMk=log2+(-Jog(-J+(p-w)log(p-w)+2wlog2E-(1-2E)log(1-2E)-2elog2E=log2-(1-2E)log(1-2e)+(--s)log(--J+(p-E)log(p-e)=(1-2E)log2/(1-2E)+2elog2+(--s)log(--s)+(p-E)log(p-e)=C1+2elog2输入等概率分布(P(al)=P(a2)=1/2)时达到此信道容量。比较此两信道容量，可得C2=C1+2elog23-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。X丄1/21/21/2'1/21/21/2图3-17解：+2001解：+200121200+2十20对称信道1212」C=logm一H(YIa)i=log4-—x2log2C=1bit/符号取2为底C=1bit/符号7£丄］.0口L丄，后验概.0£丄］.0口L丄，后验概.010<1条件概率J鳥鑒]，联合概率吸1TOC\o"1-5"\h\z<0.10.90)[1p53率巴i/j)=-i-5551亠0V0丿P(yo)：=「P(yi)：=25y2)二6H(Y)=-Lo痰耳4--Log(3)+-Log(6)=1.4J9TOC\o"1-5"\h\z26(2)H(Y/X)二£l曲十丄扁吗十丄t十z闆2]610\3J15152丿11皿伴二丄扁吗亠丄Log+IW吗・■10\3J10\3J3010\9J(3)当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=i，P(x2/y2)=丄，P(x3/y2)=丄TOC\o"1-5"\h\z555其中错误概率为：Pe二P(x1/y2)+P(x3/y2)=丄+3_55平均错误概率为—+—+—+—+—+—=0.733153010101510仍为0.733此信道不好原因是信源等概率分布，从转移信道来看正确发送的概率x1-y1的概率0.5有一半失真x2-y2的概率0.3有失真严重x3-y3的概率0完全失真(7)H(X)=Log(S)=l.:5SJH(X/Y)=

iiir5)2iiir5)26Log⑵+1BLog(5)+=Logl2丿+云Log101515+店⑸+1oLog13“+一Log(10)+一Log-3010=1.3013.8设加性高斯白噪声信道中，信道带宽3kHz，又设｛（信号功率+噪声功率）/噪声功率｝=10dB。试计算该信道的最大信息传输速率ct。解：3.9在图片传输中，每帧约有2.25仕06个像素，为了能很好地重现图像，能分16个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB）解：H=logn=log16=4bit/symbol22I二NH二2.25x106x4二9x106bit二10I9x106CI9x106C=—==1.5x105bit/stt60P)C=Wlog1+tCrtplog1+-^Ap丿NPN丿1.5x105==15049log(1+1000)2Hz3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1）'‘C=Wlog（1+SNR）2=1X106log(1+10)2=3.159Mbps(2)'7C二Wlog(1+5)二3.459Mbps2223.159M.•.W二丄二1.338MHZ2log6TOC\o"1-5"\h\z(3)2log(1)3.459'7C=Wlog(1+SNR')二3.459Mbps3323.459log(1+SNR')=20.5.SNR=120欢迎下载！第四章4.2某二元信源_p(X)_=｛u21/2｝其失真矩阵为D=_0a求这信源的Dmax和Dmin和R(D)函数。解：in工d(x,y)=二Xain工d(x,y)=二Xa+=X°=—2丄'/'「丿./r\r\maxjjiij22ji11D=p(x)mind(x,y)二x°+_x°二°minijij22因为二元等概信源率失真函数:R(D)二Inn-H[—j其中n二2,所以率失真函数为:DDR(D)二ln2-lnR(D)二ln2-ln4.3一个四元对称信源P(X)[=[1/41/41/41/4｝，接收符「°11「1011号Y=｛0,1,2,3｝，其失真矩阵为]；；°°_|，求Dmax和Dmin及信源的R(D)函数，并画出其曲线(取4至5个点)。解:TOC\o"1-5"\h\z11113D二minD二minp(x)d(x,y)二x1+—xl+—xl+—x0二一maxjjiij44444ji1111D二乙p(x)mind(x,y)二x0+—x0+—x0+—x0二0minijij4444因为n元等概信源率失真函数：DDDDR(D)=lnn+Dln—+|1-D|ln|1-D|an一1va丿(a丿其中a=1,n二4,所以率失真函数为:R(D)二ln4+DIn—+G-D)lnG-D)函数曲线:3R(D)其中:1/41/2D3/4R(D)其中:1/41/2D3/4D=0,R(0)=ln4nat/symbolD=4,R(D)=ln4一ilnl^nat/symbolD=R(D)=ln4一^ln12nat/symbol223D=4,R(D)=0nat/symbol3‘0111、10111101v1110丿信源熵为H(x)=Log(4)=2Dmax=min{3,3,3,3}R(Dmax)=O4444♦-H-满Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2♦-H-满p(yl),p(y2),p(y3),p(y4)p(y1)+p(y2)+p(y3)+p(y4)=1在［0,1］区间可以任意取值。欢迎下载！第五章5-1将下表所列的某六进制信源进行二进制编码，试问：■消息概率CiC2C3C4C5C6u11/2~000~000101U21/4001011010000001U31/160100111101101001100U41/16011011111101100010101U51/1610001111111101001110110U61/161010111111111101111110111这些码中哪些是唯一可译码？哪些码是非延长码？对所有唯一可译码求出其平均码长和编译效率。解：首先，根据克劳夫特不等式，找出非唯一可译码C:6X2-3<1163C:2-i+2-2+2-3+2-4+2-5+2-6=<1264C3：6t<iC:2-i+2-2+4x2-4=14C:2-1+5x2-3>15C:2-2+5x2-3<1...C不是唯一可译码，而C:54又根据码树构造码字的方法C,C，C的码字均处于终端节点136...他们是即时码⑴C1.C2.C3.CS(7)ClrC3rC6(为Hp)=|Lcig(石+jLog(4)4-4116Log(10=2K1=3K3K2=—1-1-—:+—34-—4+'154-—■6=2.125R2=H(旳百=2-0.94124161616162.125—1十—-2H:J十—4十1J十—■6=2.125R3=H㈤=—^―=0.P4124161616162.1351r1o1-■2十一己十一•3十—-3十1己十—■3=2.5RG==—=0.824161首1616Kj62.52(1)因为A,B,C,D四个字母，每个字母用两个码，每个码为0.5ms,所以每个字母用10ms当信源等概率分布时，信源熵为H(X)=log(4)=2

平均信息传递速率为^=02bit/ms=200bit/s10(2)信源熵为H(X)—£Lag(y)+-L-qg(4)+-Lag(4)+—Log544LQ空=0・198bit/ms=198bit/s105-5(1)111