第7章 信息率失真理论

1、信息率失真理论信息论导论通信与信息工程学院杨海芬信息率失真理论第7章 信息率失真理论o 理解单符号离散信源信息率失真函数的定义和性质，掌握失真度取值范围和实验信道的计算；o 了解信息率失真函数计算的参量表达式的推导，计算步骤的整理；o 掌握二元信源和等概率信源信息率失真函数的的导出和计算；o 掌握高斯信源信息率失真函数的导出和计算；o 理解保真度准则下信源编码定理；了解连续信源编码。 信息率失真理论 通信的实质是传输信息，要求传输的有效性和可靠性。有效性在不失真或允许失真的条件下，用尽可能少的符号传送信源信息。信源编码分为无失真和限失真。（1）无失真编码，又名冗余度压缩编码：仅对信源的冗余度进

2、行压缩，不改变信源的熵；（2）限失真编码，又名熵压缩编码：在失真受限的情况下进行限失真编码。信源编码的分类信息率失真理论引入限失真的必要性 o 失真在传输中是不可避免的;o 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的;o 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真；信息率失真理论o 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D).o 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U).o

3、 显然 H(U)R(D).o 当且仅当 D=0时，等号成立；o 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系；o R(D)函数是限失真信源信息处理的理论基础；信息率失真理论信息率失真理论一、单符号离散信源的信息率失真函数失真度1、平均失真度和保真度准则对应于离散消息xi与yj或连续消息x与y的非负函数d(xi,yj)或d(x,y)为失真度。定义信息率失真理论jiji0)y,x(dji常用的失真度：2)xy() y, x(d汉明失真度平方误差失真度对于单符号离散信源，全部nn个失真度组成的矩阵称为失真矩阵信息率失真理论)y,x( d.)y,x( d)y,x( d.)y,x( d

4、.)y,x( d)y,x( d)y,x( d.)y,x( d)y,x( dDnn2n1nn22212n12111平均失真度各失真度的数学期望为平均失真度。定义信息率失真理论n1in1jjiiiiji)y,x( d)x/y(P)x(P)y,x( dED保真度准则为保真度准则称DD 如果给定的允许失真为D，表示表示 dcbadxdy)y, x(d)xy(pD信息率失真理论DD: )x/y(PPijDDD 单符号离散信源概率分布P(X)不变时调整信道，满足保真度准则 的信道P(yj/xi)，称为D失真许可的实验信道。实验信道的集合2、信息率失真函数 实验信道定义表示表示信息率失真理论信源概率分布P(

5、X)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。信息率失真函数定义信源固定时，平均互信息量是信道转移概率分布P(Y/X)的严格下凸函数，在实验信道的集合中找到一种信道转移概率分布P(Y/X) ，使通过信道的平均互信息量在保真度准则下达到最小。信息率失真理论)Y;X( Imin)D(RDijP)x/y(P表示表示3、信息率失真函数的D定义域允许失真D是平均失真度 的上界，允许失真D的给定范围受限于平均失真度 的可能取值。DDn, 2 , 1j)y,x(dmin)x(P)y,x(d)x/y(P)x(PDjin1ijin1in1jjiiji信息率失真理论n, 2

6、 , 1j)y,x(dmin)x(PDjin1ijiminminDDDn, 2 , 1j)y,x(dmin)x(PDDjin1ijiminmin当D =Dmin=0，即不允许任何失真时R(D)=H(X)信息率失真理论根据R(D)的意义，当maxDD即出现最大失真时R(D) =0n, 2 , 1i)y(P)x/y(P0)D(Rjij同样也是R(D) =0n1in1jjiji)y(Pmax)y,x(d)y(P)x(PminDjmaxDD，n1jjj)y(Pn1ijiin1jj)y(PD)y(Pmin)y,x( d )x(P)y(Pminjj1( ) ( ,)1,2,njiijiDP x d x y

7、jn如果其中信息率失真理论n, 2 , 1jDminD)y(Pjjn1jjjn, 2 , 1jDminD)y(PminDjjn1jjj)y(pmaxj例例1二元等概率信源的失真矩阵 ，求允许0440D失真D的取值范围和 时的所有实验信道P(Y/X)。2DDDminmax信息率失真理论2 , 1j0021021)y,x(dmin)x(PDji21ijimin2421021)y,x(d)x(PD1i21ii12021421)y,x(d)x(PD2i21ii22 , 1j2DminDjjmax2D0信息率失真理论q1qp1p)X/Y(P设)y,x(d)x/y(P)x(PDji21iij21ji) q

8、p ( 220) q1 (214q214) p1 (210p2112022DDDminmax21qpDD，解得取信息率失真理论1p21p2321pp1p)X/Y(P，实验信道4、信息率失真函数的性质对D具有非负性对D具有严格下凸性由I(X;Y)的非负性即可说明)D(R)1 ()D(RD)1 (DR2121信息率失真理论设第1个试验信道满足D1条件下R(D)的定义DD: )x/y(PP)x/y(P1ijDij11)Y;X(I)Y;X( Imin)D(R1P)x/y(P11Dij第2个试验信道满足D2条件下R(D)的定义DD: )x/y(PP)x/y(P2ijDij22)Y;X(I)Y;X( Im

9、in)D(R2P)x/y(P22Dij信息率失真理论取一个新的试验信道D)1 (DD: )x/y(PP)x/y(P)1 ()x/y(P21ijD)1 (Dij2ij121该试验信道可能满足也可能不满足D1+(1-)D2条件下R(D)的定义D)1 (DR)Y;X( I21另一方面，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数信息率失真理论)D(R)1 ()D(R)Y;X(I )1 ()Y;X(I)Y;X( I2121)D(R)1 ()D(RD)1 (DR2121对D具有单调递减性由R(D)对D具有的非负性、严格下凸性及R(Dmax) =0即可说明信息率失真理论当Dmin=0时，信息率

10、失真函数R(D)的大致曲线为DR(D)maxDminDH(X)信息率失真理论单符号离散信源的信息率失真函数可以通过平均互信息量在满足保真度准则前提下信源固定时对信道转移概率分布的条件极值来求取。信道转移概率分布的n个约束条件n, 2 , 1i1)x/y(Pn1jij平均失真度的约束条件5、信息率失真函数的参量表达式D)y,x(d)x/y(P)x(PDn1in1jjiiii信息率失真理论根据拉格朗日乘子法，设D)y,x(d)x/y(P)x(P S)Y;X( In1kn1llkklkin, 2 , 1i 1)x/y(Pn1lilin, 2 , 1jn, 2 , 1i0)x/y(Piji令)x(P

11、)x/y(P)x(P)x/y(P)y(P)x/y(Pin1kkjkijjij信息率失真理论)x(P)y(Pln)x(P)y(Pln)y(P)x/y(Pijiln1llij)x(P)x/y(Pln)x(P )x/y(Pln)x/y(P)x(P)x/y(Piijin1kkln1lklkij)y,x(d)x(SPD)y,x(d)x/y(P)x(P S)x/y(Pjiin1kn1llkklkijin1liliij1)x/y(P)x/y(P信息率失真理论n, 2 , 1jn, 2 , 1i0)y,x(d)x(SP)y(P)x/y(Pln)x(P)x/y(Pijiijijiijin, 2 , 1jn, 2

12、 , 1i0)x(P)y,x(Sd)y(P)x/y(Plniijijij)x(Plniii令n, 2 , 1jn, 2 , 1ieln)y(P)x/y(Pln)y ,x(Sdijijji信息率失真理论n, 2 , 1jn, 2 , 1ie )y(P)x/y(P)y ,x(Sdjiijji对j求和n, 2 , 1ie )y(P1n1j)y ,x(Sdjiji乘P(xi)，对i求和n, 2 , 1je )x(P1n1i)y ,x(Sdiiji信息率失真理论信息率失真函数的计算步骤n, 2 , 1j ,S1e )x(P) 1 (in1i)y,x(Sdiiji的求含由n, 2 , 1i),y(PS1e

13、 )y(P)2(jn1j)y,x(Sdjiji的求含由n, 2 , 1jn, 2 , 1ie )y(P)x/y(PS) 3()y,x(Sdjiijji的求含n1in1jjiiii)y,x(d)x/y(P)x(PDDS) 4(的求含信息率失真理论n1ijijn1jiji)y(P)x/y(Pln)x/y(P)x(P)D(RS) 5(的求含)y(Pe )y(Pln)x/y(P)x(Pj)y ,x(Sdjin1in1jijijin1iiiln)x(PSD信息率失真理论dDd)D(RdDdSS)D(RD)D(RdD)D(dRin1iidDd)x(PdDdSDSin1iiidDdSdSd)x(PDSin1

14、iii参量S与R(D)的关系信息率失真理论n, 2 , 1j0e )y,x(d)x(PdSde )x(P)y ,x(Sdjiiii)y ,x(Sdin1ijijin1i)y ,x(Sdiijie )x(PdSd乘P(yj)，对j求和n1in1j)y ,x(Sdijijin1in1ji)y ,x(Sdjijijie)y,x(d)y(P)x(PdSde )y(P)x(P信息率失真理论 n1in1ijiijin1in1jiii)y ,x(Sdji)y,x(d)x/y(P)x(PdSd)x(Pe )y(Pji0DdSd)x(Pn1iiiiSdD)D(dR信息率失真理论0dDdS由R(D)对D的严格下凸

15、性和单调递减性，有S 0及6、二元信源的信息率失真函数21pp1pxx)X(PX21其中二元信源设失真矩阵00D参量S的取值范围信息率失真理论2 , 1j00)p1 (0p)y,x(dmin)x(PDji21ijimin2 , 1jpDDminD2jjmax)p1 ()p1 (0pD1p0)p1 (pD2pD0信息率失真理论1e ) p1 (pS211) p1 (pe2S1)e1 (p1S1)e1)(p1 (1S22 , 1j ,S1e )x(P) 1 (i21i)y,x(Sdiiji的求含由信息率失真理论)e1 (pe )y(P)y(PSS21)e1)(p1 ()y(Pe )y(PSS21S

16、S1e1e )p1 (p)y(PSS2e1pe)p1 ()y(P2(,)1(2)()1(),1,2ijSd x yijjjP y eSP yi由求含 的信息率失真理论)e1 ( pe ) p1 (p)x/y(PS2S11SS2S21e)e1)(p1 (e ) p1 (p)x/y(PSS2S12e)e1 (ppe)p1 ()x/y(P)e1)(p1 (pe) p1 ()x/y(PS2S222 , 1j2 , 1i ,e )y(P)x/y(PS) 3()y ,x(Sdjiijji的求含信息率失真理论SSe1e21i21jjiiii)y,x(d)x/y(P)x(PDDS)4(的求含21ijij21j

17、iji)y(P)x/y(Pln)x/y(P)x(P)D(RS) 5(的求含21iiiln)x(PSD)e1)(p1ln() p1 ()e1 ( plnpe1eSSSSS信息率失真理论)e1ln() p1ln() p1 (plnpe1eSSSSD1Dln1S注意到D1DeSD11e1S) p1ln() p1 (plnp)D1ln(D1DlnD)D(R) p1ln() p1 (plnp)D1ln()D1 (DlnD信息率失真理论)D(H)p(H当=1时，)D(H) p(H)D(RD1DlnS) p(H) 0(R)D(Rmin)0(S)D(Smin0)D(Rmaxp1pln)D(Smax信息率失真理

18、论R(D)SD0.50.25p=0.25p=0.500.6930.562-1.099信息率失真理论二元信源求允许失真D的取值范围，并求D=1/8时该信源的信息率失真函数R(D) 。取汉明失真矩阵4/ 34/ 110)X(PX0110D2 , 1j0043041)y,x(dmin)x(PDji21ijimin例例2信息率失真理论41D087ln8781ln8143ln4341ln4141043141)y,x(d)x(PD2i21ii22 , 1j4141,43minDminDjjmax)D(H) p(H)D(R当D=1/8时，)symbol/nat(185. 0367. 0562. 043143

19、041)y,x(d)x(PD1i21ii1信息率失真理论7、等概率信源的信息率失真函数n元等概率信源设失真矩阵000Dn, 2 , 1j00n1)y,x(dmin)x(PDn1ijin1ijiminn , 2 , 1jn) 1n ()y,x( dn1)y,x( d )x(PDn1ijin1ijiij信息率失真理论n, 2 , 1jn) 1n(DminDjjmaxn) 1n(D01en1en1n1SnS21n, 2 , 1j ,S1e )x(P) 1 (in1i)y,x(Sdiiji的求含由1n1en1en1nS2S1n, 2 , 1ie ) 1n(1nSi信息率失真理论n, 2 , 1i),y

20、(PS1e )y(P) 2(jn1j)y ,x(Sdjiji的求含由iSnS211e )y(Pe )y(P)y(PinS2S11)y(Pe )y(Pe )y(Pn, 2 , 1jn1e ) 1n(1 1)y(PiSj信息率失真理论n, 2 , 1jn, 2 , 1ie )y(P)x/y(PS) 3()y,x(Sdjiijji的求含项，共njie ) 1n(11)x/y(PSij项，共) 1n(njie ) 1n(1e)x/y(PSSijn1in1jjiiii)y,x(d)x/y(P)x(PDDS)4(的求含信息率失真理论) 1n(ne ) 1n(1en1n0e ) 1n(11n1SSSSSe

21、) 1n(1e ) 1n(n1ijijn1jiji)y(P)x/y(Pln)x/y(P)x(P)D(RS) 5(的求含n1iiiln)x(PSDSSSe ) 1n(1nlnSe ) 1n(1e ) 1n(信息率失真理论D1De ) 1n(S注意到D1D1n1lnS)D1 ( nlnD1D1n1lnD)D(R)D1ln()D1 (DlnD) 1nln(Dnln)D(H) 1nln(Dnln信息率失真理论当p=0.5时，二元信源的信息率失真函数)D(H2ln)D(H1lnD2ln)D(R当n=2时，等概率信源的信息率失真函数)D(H2ln)D(H) 5 . 0 (H)D(R信息率失真理论当=1时，

22、)D(H) 1nln(Dnln)D(RD1D1n1lnSnln) 0(R)D(RminS0)n1n(R)D(Rmax0S 信息率失真理论三元等概率信源，取汉明失真矩阵 011101110D求允许失真D的取值范围，并求D =1/3时该信源的信息率失真函数R(D) 。3 , 2 , 1j0)y,x(dmin31)y,x(dmin)x(PDji31ijji31ijimin例例3信息率失真理论3 , 2 , 1j32DminDjjmax32D03 , 2 , 1j32)y,x( d31)y,x( d )x(PDji31iji31iij当D=1/3时，)D(H) 1nln(Dnln)D(R32ln323

23、1ln312ln313ln)symbol/nat(232. 0270. 0366. 0231. 0099. 1信息率失真理论二、平稳无记忆信源的信息率失真函数NNn1in1jjiiiiji)b,a ( d)a/b(P)a (P)b,a ( dE)N(DDDNDDN)N(D如果给定的允许失真为ND平均失真度DN保真度准则信息率失真理论DD: )X/Y(P)X/Y(PND)N(D: )X/Y(P)X/Y(PDNNNND实验信道信息率失真函数)D(NR)Y;X(NImin)Y;X( Imin)ND(RDDNNP)X/Y(PNNP)X/Y(P信息率失真理论三、时不变连续信源的信息率失真函数信源概率密度

24、函数p(x)不变时，保真度准则下平均互信息量的最小值为该信源的信息率失真函数，用R(D)表示。定义)Y;X( Imin)D(RDp)x/y(p表示表示信息率失真理论与单符号离散信源类似，导出信息率失真函数的计算步骤1、信息率失真函数的参量表达式)x(S1dxe )x(p)x() 1 ()y,x(Sd的求含由( , )(2)( )( )1( )Sd x yxp y edySp y由求含 的)y,x(Sde )y(p)x()x/y(pS) 3(的求含 dxdy)y, x(d)x/y(p)x(pDDS) 4(的求含信息率失真理论dx)x(ln)x(pSD)D(RS) 5 (的求含2)yx()y, x(d 设失真度平均失真度2、高斯信源的信息率失真函数 dxdy)y, x(d)x/y(p)x(pD dx)yx)(y/x(pdy)y(pdxdy)yx)(y/x(p)y(p22信息率失真理论dx)yx)(y/x(p)y(D