曹雪虹 信息论与编码答案

求此信道的信道容量。3.3在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误，已知P（0）=P（1）=1/2，信源每秒内发出1000个符号，解：求此信道的信道容量。由题意可知该二元信道的转移概率矩阵为：0.99 0.010.01 0.99为一个0.99 0.010.01 0.99为一个BSC信道所以由BSC信道的信道容量计算公式得到:C=logs一H(P)=log2-Xplog—=0.92bit/signPiC=-C=1000C=920bit/sectt3.5求下列二个信道的信道容量，并加以比较(1)p—£p—£2£'(2)p—£p—£2£0][p—£p—£2七、p—£p—£02七其中p+P=1解：（1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组成的矩阵]P-£P一°]j2']而这两个子矩阵满足对称性，因此可直接利用准对[pYp-8）〔2㈡称信道的信道容量公式进行计算。C1=logr-H(p1’p2’p3’)-XNklogMkk=1其中r=2,Ni=mi=?i-2N2=2£ M2=4e所以C1=log2-H(P-£,p-£,2s)-(1-2£)log(1-2£)-2£log4£=log2+(p-£)log(p-£)+(p-£)log(p-£)+2£log2£-(1-2£)log(1-2£)-2£log4£=log2-2£log2-(1-2£)log(1-2£)+(p-£)log(p-£)+(p-£)log(p-£)=(1-2£)log2/(1-2£)+(p-£)log(p-£)+(p-£)log(p-£)输入等概率分布时达到信道容量。（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为f集列所组成的矩阵为fp-£[p-£2：]这两矩阵为对称矩阵其中r=2,N1=M1=1-2£N2=M2=2£，所以C=logr-H(p-£C=logr-H(p-£,p-£,2£,0)-XNklogMkk=11/21/2 1/2二1/21/2图3-17「110220111/21/2 1/2二1/21/2图3-17「110220112200121002解：对称信道00:T2」C=logm-H(YIa.) =log取2为底C=1bit/符号4.2某二元信源%和D和R(D)函数。解；minDmax-X-=V〔0nD=a0P(X)、1/21/2J其失真矩阵为0a求这信源的=minD.=min£p(x)d(x,y=2p(x)mind(x,y)=^x0+^x0=0.j" 2 2Dmin因为二元等概信源率失真函数:(D\R(D)=lnn-H—"a)其中n=2,所以率失真函数为:=log2+(p-£)log(p-£)+(p-£)log(p-£)+2slog2£-(1-2£)log(1-2s)-2£log2s=log2-(1-2s)log(1-2£)+(p-£)log(p-£)+(p-£)log(p-£)=(1-2£)log2/(1-2£)+2slog2+(p-£)log(p-£)+(p-£)log(p-£)=C1+2slog2输入等概率分布(P(a1)=P(a2)=1/2)时达到此信道容量。比较此两信道容量，可得C2=C1+2elog23-6设有扰离散信道的传输情况分别如图3—17所示。求出该信道的信道容量。1/2-D—InD+r1—Dlnr1—D_aaiaJIaJJR(D)=In2-3},其失真矩阵为-X-P(X)=101/44.3一个四元对称信源01113},其失真矩阵为-X-P(X)=101/44.3一个四元对称信源0111101111011110其曲线(取4至5个点)。1/41/4max1/4〕，接收符号Y={0,1,2,L及信源的R(D)函数，并画出解：Dmax=minD.=minZp(x,)d(x,y—X1+-^X1+-^X1+-^X0=■—4 4 4 4Dmin=Zp(x)mind(x,y)=—x0+—x0+i.ij4 41 1—X0+—X0=044因为n元等概信源率失真函数:h-D:lnr1—D]IaJiaJ,、、DaR(D)=Inn+—In +an—1其中a=1,n=4,所以率失真函数为:R(D)=In4+DIn—+G—D)lnG—D)函数曲线:1R(D)ln4i —i————i *0 1/4 1/2 3/4D其中:0,R(0)=ln4nat/symbol1 16In4——In—nat/symbol231In4——In12nat/symbol20nat/symbol4-3"0111:10111101<1110)信源熵为H(x)=Log(4)=2Dmax=min(3,3,3，旦｝R(Dmax)=04444Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2p(yi),p(y2),p(y3),p(y4)只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在［0,1］区间可以任意取值。5-7(1)符号X1xlx2x3x4x5x6x7概率J/21/41/8J/161/321/641/1281/256*»'■家加概率00.50.750.8750.9380.9690.9840.992■*fr码长1234567元码010110mo11110lilllO111宿。11111110---|〔2)信源的佶息量为H(X)=-Log(Z)+-Log(今4--Log(8)+—Log(16)+ +—Log's1'+ 2 4 8 16 项亍均码般为：K=+1-2+-3+—44- +-14- 2 4 S16 ¥码字的平均信息传输率为只=咛=顷码编码效率瑚为-.R=^~-100%5-10

rI)H(X)r-037Log<037>-0.25Logt025)+0.l8Log(0.18)-0.1L3g(01)-0.07Log(0.07)-0.03Lag(0.03)1.33S:©■信源符号si符号概率PiX10.37信源符号si符号概率PiX10.37x20.25x30J8x40J0x5CL07x60.030□编码过程*0.37♦0.37\时％-*0.25-*0.25r037-►0.18nv°-2G0>f25-►O.iOJfP*0J8J—O.IO'u\0.62u1§志0.38U编码码长002012112100310104101141.338rt士 0J822.3K=0.37-2+0.25-2+0.13-2+0,1531.338rt士 0J822.3H(为..n=■~~—K⑴HM=-OIL做1)-C楸岫啤-G4"*-。心*睇助-0O6LU敏晚」01 共舟她顺-OUMLegf^-1J52信息传输速率2552b就©⑵K=0.41+018-3+0.13+0.14+顺4+0«4+0055+0M5^=2.61喝婆=竺.岫K拘⑶杏农编岭怡源荷号xi辞司癖率piM依喂睾xl也40i20.18V.4Nv.t也5占也1临N也0707Sx6岫也85汀0.050.9)也04U.96-Luyptxi)册&Kj明字1.322—2.4743oil&4IWI3,3224ioid混374HLX14.0595nun屯3羽5mot*445iiiiuK=0.42+O.1S3+0.14-k0.1^3+0