(完整word版)信息论与编码习题与答案第四章

1、其失真函数dj与信道转移概率Pij分别定义为dj0, F，Pii j P I = j j U - g, Ig.试求失真矩阵d和平均失真D 。解：由题意得,0 11失真矩阵为dd= ” o,信道转移概率矩阵为P(ji)= 1 - s zs 1-z平均失真为i, jp(i)p(j i)d(i, j)=丄(1 E)x0+ - ©x1 十丄" +丄(1 E)x02 2 2 24-3设输入符号与输出符号X和丫P(X=i)=1/4,i=0,1,2,3,设失真矩阵为01均取值于0,123,且输入符号的概率分布为L1求Dmin , Dmax，R(Dmin), R(Dmax)以及相应的编码器

2、转移概率矩阵。解：由题意，得Dmin = 0则 R(Dmin) =R(0) = H(X) =109 24 = 2bit/symbol这时信源无失真，0 0,1 71,2 72,3 7 3,相应的编码器转移概率矩阵为P(ji)=10L03Dmax min送 P(i)d(i, j)11111111=mi n -x0 +-x1 + x1 +x1, X1 + x0 + x1 + -x1,44444444则 R(Dmax)=0此时输出概率分布可有多种，其中一种为:p(0)=1, P(1)=P(2)=P(3)=0则相应的编码器转移概率矩阵为P(ji)11L1 * * 44-5 具有符号集U =uo,U1的

3、二元信源，信源发生概率为p(U0)= p, p(Ui) =1 - p,0 c p <1/2。 Z信道如下图所示，接收符号集V =Vo,Vi,移概率为：q(v0 u0) =1,q(v1山)=1一4。发出符号与接收符号的失d(Uo,Vo) =d(Ui,Vi) =O,d(Ui,Vo) =d(Uo,Vi) =1。(1)计算平均失真 D；(2) 率失真函数R(D)的最大值是什么？当 是多大？(3) 率失真函数R(D)的最小值是什么？当 是多大？(4) 画出R(D)-D的曲线。q为什么值时可达到该最大值？此时平均失真q为什么值时可达到该最小值？此时平均失真VoV1解：由题意，知失真矩阵为d =,转移

4、概率矩阵为Q-10 11 0q 1-qJP(U0)= p, p(Ui) =1 pDp(Ui)q(Vj Ui)d(Ui,Vj)i, j(1)平均失真=p x1x0 + px0x1+(1 - p)xqx1+(1 _p )x(1_q)x0二 q(1- P)ma)R(D)=R(Dmin=R(0)=H(U) =pl og p (1 p)l og(1 p)此时的平均失真 D =Dmin =0，贝U q=0minR(D)=0 此时 Dmax1=mjn£ p(ui)d(ui,Vj)-min P咒 0 + (1 p )x1, pxi +(1 p)x 0 =min1 p, p = p此时输出符号概率p(

5、Vo)=0, p(vj =1，相应的的转移概率矩阵为而在给定的信道下，Q =0Lq 1-q令 R(D) =minl(U;V) = minH (U ) - H(U V) =01 1= min plog p-(1 p)log(1 p)+2 2 p(Ui,Vj )logq(Ui|vj)iz0 j z0=min -p log p -(1 - p) l0g(1 - p) +plog p +q(1 p) log q(1 p) ( p + q pq) log( p + q - pq) =min (1 - p)log(1 - p) +q(1 - p)logq(1 - p) - (p + q - pq) log( p + q - pq)=0容易看出当q =1时，R(D)=0此时的平均失真 D=q(1- p)=1- p>p(0 < p <1/2)(4)D