工学信息率失真函数PPT学习教案

1、会计学1 工学信息率失真函数工学信息率失真函数 5.1 引言引言 5.3 信息率失真函数的性质信息率失真函数的性质 5.4 信息率失真函数的计算信息率失真函数的计算 5.2平均失真和信息率失真函数平均失真和信息率失真函数 第1页/共74页 第2页/共74页 真度越大，则信息率真度越大，则信息率(最小值最小值)允允 许减小的程度就越大。许减小的程度就越大。 第3页/共74页 实际问题中，信号有一定的失真可以容忍。当失真实际问题中，信号有一定的失真可以容忍。当失真 大于某一限度后，信息质量将被严重损伤，丧失其实用大于某一限度后，信息质量将被严重损伤，丧失其实用 价值。因此要规定失真限度，有一个定量

2、的失真测度价值。因此要规定失真限度，有一个定量的失真测度 失真函数失真函数。 第4页/共74页 失真函数失真函数 设信源发出符号设信源发出符号xi ：xia1,an, 信宿端接收到的的符号为信宿端接收到的的符号为yj, yjb1,bm. 如果如果xi=yj，没有失真；，没有失真； 如果如果xiyj，产生失真。，产生失真。 第5页/共74页 失真大小用失真大小用失真函数失真函数d(xi,yj)表示表示 失真函数又称为失真度。为简化起见，失真函数又称为失真度。为简化起见，d(xi,yj)简写成简写成dij， d(xi,yj)= 0 xi=yj xiyj 一般一般dij值的大小表示失真的程度，值的大

3、小表示失真的程度， 表征了接收消息表征了接收消息yj与发送消息与发送消息xi之间的定量失真度。之间的定量失真度。 第6页/共74页 失真函数类型失真函数类型 均方失真均方失真 d(xi,yj)=(xi-yj)2 绝对失真绝对失真 d(xi,yj)=|xi-yj| 相对失真相对失真d(xi,yj)=|xi-yj|/|xi| 误码失真误码失真 d(xi,yj)= 0 1 xi=yj 其他其他 用于连续信源用于连续信源 第7页/共74页 , (,)0; min(,)0 0(,) j jj j X yY j ydy dy dy i ii i x i （1）当x时，x （2）x （3）x 第8页/共74

4、页 若若X X和和Y Y集合都由集合都由N N个不同符号构成的，那么可组成个不同符号构成的，那么可组成N N2 2 个不同的个不同的(i,j)(i,j)对，相对应的失真函数也有对，相对应的失真函数也有N N2 2个个 若若X X和和Y Y集合分别由集合分别由N N个和个和M M个不同符号构成的，那么可个不同符号构成的，那么可 组成组成N N* *M M个不同的个不同的(i,j)(i,j)对，相对应的失真函数也有对，相对应的失真函数也有N N* *M M 个个 d dij ij有两种表示方法，有两种表示方法，一是失真矩阵一是失真矩阵D D，二是消息传输图二是消息传输图 。 第9页/共74页 将所

5、有失真函数排列起来，得到将所有失真函数排列起来，得到失真矩阵失真矩阵D D d(a1,b1)d(a1,b2)d(a1,bm) d(a2,b1) d(an,b1) d(an,b2) d(a2,b2)d(a2,bm) d(an,bm) 失真矩阵失真矩阵 第10页/共74页 XY x1 x2 xi xN y1 y2 yj yM d11 d12 d1j d1M dN1 dNM dNj dN2 第11页/共74页 例：已知例：已知X XY Yaa1 1， a a2 2 ，且有，且有d d1111d d22220 0，d d1212d d21211 1，用两种方法表示失真函数，用两种方法表示失真函数 解：

6、失真矩阵解：失真矩阵D D为：为： 消息传输图为：消息传输图为： 1112 2122 01 10 dd D dd a1 a2 xy b1=a1 b2=a2 0 0 1 1 第12页/共74页 0 1 3 4 2 5 131 113 311 022 202 220 525150 424140 323130 222120 121110 020100 ddd ddd ddd ddd ddd ddd D 第13页/共74页 XY 0 2 0 1 2 3 4 5 0 0 0 1 3 2 2 2 2 2 2 11 1 1 1 1 3 3 第14页/共74页 为了估计全体信源发出的消息符号与接收符号之间的失

7、真程度为了估计全体信源发出的消息符号与接收符号之间的失真程度, ,需要计算各个失真函数的统计平均值需要计算各个失真函数的统计平均值( (数学期望数学期望) )。平均失真函数定义为：。平均失真函数定义为： 若若X X和和Y Y都是都是n n维矢量消息的集合，也可以定义两个矢量消息之维矢量消息的集合，也可以定义两个矢量消息之 间的失真函数为：间的失真函数为： 其平均失真函数为：其平均失真函数为： 该式中该式中 是是n n维矢量的第维矢量的第r r个分量上的平均失真函数个分量上的平均失真函数 (,)()()(|) ijijijijiij XYXY dE d xyP x ydP x P yx d 1

8、1 ( ,)(,) n nrr r dx yd xy n 11 11 ( ,) (,) nn nnrrr rr dE dx yE d xyd nn r d 平均失真函数平均失真函数 d 第15页/共74页 )()( )( 维矢量信源 单符号信源 NNDNd Dd 第16页/共74页 当给定信源的各符号概率分布时，若要求平均失真函数不超过某个给定的值当给定信源的各符号概率分布时，若要求平均失真函数不超过某个给定的值D(DD(D为允许失真度为允许失真度) )，需要对假想的试验信道的传输概率，需要对假想的试验信道的传输概率P(P(y yj j|x |xi i) )施加一定的限制。施加一定的限制。 先

9、把先把P(P(y yj j|x |xi i)集合的各种可能值代入式集合的各种可能值代入式 11 11 (,) (,) () (|) (,) nm ijij ij nm ijiij ij dp xyd xy p xp yx d xy 信源概率信源概率 转移概率转移概率失真函数失真函数 第17页/共74页 求出各个求出各个 ，再根据，再根据 ，把，把P(P(y yj j|x xi i)分成两类分成两类: : 的一类用的一类用P PD D表示，表示，P PD D是能使实际失真在允许失真度范围内的那些假想试验信道的集合是能使实际失真在允许失真度范围内的那些假想试验信道的集合P(P(y yj j|x x

10、i i)。 的一类称为禁用集合。的一类称为禁用集合。 dDd Dd Dd 第18页/共74页 信息率失真函数信息率失真函数R(D) 把有失真的信源编码器看作有干扰的假想信道，用分析信道传输的方法研究限失真信源编码问题。把有失真的信源编码器看作有干扰的假想信道，用分析信道传输的方法研究限失真信源编码问题。 第19页/共74页 11 () (|) ( ,) nm ijiij ij dp x p yx d x y 平均失真由信源分布，转移概率，失真函数决定，如果信源分布和失真函数一定，则满足失真条件的所有转移概率分布构成一个信道集合：平均失真由信源分布，转移概率，失真函数决定，如果信源分布和失真函数

11、一定，则满足失真条件的所有转移概率分布构成一个信道集合： PD为假想信道，允许试验信道为假想信道，允许试验信道 p|: Dji PyxdD 第20页/共74页 信息率失真函数信息率失真函数R(D)R(D)定义：定义： 在给定信源消息的概率分布在给定信源消息的概率分布P(P(x xi i)及平均失真函数允许值及平均失真函数允许值D D的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值，其定义式为：，其定义式为： R(D)R(D)又称作率失真函数又称作率失真函数 );(min);(min)(

12、)|( YXIYXIDR DdPxyP Dij PD满足保真度准则的试验信道的集合。满足保真度准则的试验信道的集合。 第21页/共74页 第22页/共74页 0 0.5 1 q I(X;Y) 1-H(q) 0 0.5 1 p I(X;Y) q q 1 0 q q 1( )p 0( ) p Y X 回顾：回顾： ( /)( )loglogH YXH qqqqq ()( )loglogH XH ppppp ( )()H YH pqpq (; )( )( /) ()( ) I X YH YH YX H pqpqH q 第23页/共74页 由于平均互信息量由于平均互信息量I(X;Y)是是p(yj|xi

13、)的下凸函数，所以的下凸函数，所以 在在PD集合内（满足保真度准则的集合），极小值存在。集合内（满足保真度准则的集合），极小值存在。 该极小值就是在保真度准则条件下，信源必须传输的该极小值就是在保真度准则条件下，信源必须传输的 最小平均互信息量。率失真函数最小平均互信息量。率失真函数R(D)的单位是的单位是bit/符号。符号。 );(min);(min)( )|( YXIYXIDR DdPxyP Dij 第24页/共74页 uN维信源矢量的信息率失真函数维信源矢量的信息率失真函数RN(D)为为 X信源的一个输出序列；信源的一个输出序列； Y信宿的一个接收序列；信宿的一个接收序列； N维信源矢量

14、的平均失真度。维信源矢量的平均失真度。 )(Nd );(min);(min)( )(: )/()( YXIYXIDR NDNdxypNDNd N 第25页/共74页 D R(D ) H(U)=R(0) 0 R(D)函数是在限定失真为最大允许失真函数是在限定失真为最大允许失真D时信源的最小信息传输速率，它是通过改变试验信道特性来达到的。所以时信源的最小信息传输速率，它是通过改变试验信道特性来达到的。所以R(D)是表示不同失真度是表示不同失真度D条件下对应的理论上最小信息速率值。条件下对应的理论上最小信息速率值。 R(D)曲线的一般形状曲线的一般形状 第26页/共74页 第27页/共74页 第28

15、页/共74页 （4）信息率失真函数的物理意义：）信息率失真函数的物理意义： 对于给定信源，在平均失真不超过失真限度对于给定信源，在平均失真不超过失真限度D的条件下，信息容许压缩的最小值为的条件下，信息容许压缩的最小值为R(D)。 第29页/共74页 第30页/共74页 2 1 10 )()(xpxp ji ji ij xx xx d 当 当 , , 1 0 例：若有一个离散、等概率单消息（或无记忆）二元信源：例：若有一个离散、等概率单消息（或无记忆）二元信源： ,且采用汉明距离作为失真度量标准：即且采用汉明距离作为失真度量标准：即 有一具体信源编码方案为：有一具体信源编码方案为：N个码元中允许

16、错一个码元，实现时，个码元中允许错一个码元，实现时，N个码元个码元 仅送仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式） 。求此情况下的信息率失真函数。求此情况下的信息率失真函数。 第31页/共74页 1 ()( )() 2 R DHH D 二元信源的理论信息率失真函数二元信源的理论信息率失真函数 ()1 2R DD 二元信源的实际信息率失真函数二元信源的实际信息率失真函数 第32页/共74页 例：设信源有一百个以等概率出现的符号例：设信源有一百个以等概率出现的符号a a1 1， a a2 2， a a99 99， ，a

17、 a100 100，并以每秒 ，并以每秒 发出一个符号的速率从信源输出。试求在允许失真度发出一个符号的速率从信源输出。试求在允许失真度D D0.10.1条件下，传输这条件下，传输这 些消息所需要的最小信息率。些消息所需要的最小信息率。 信源 a1, a2,., a99, a100 试验信道 p(yj|xi) 无扰离散 信道 失真信源 a1a100a1a90 (a) XY a1 a2 a9 0 a9 1 a100 a9 0 a2 a1 (b )第33页/共74页 解：在不失真传输条件下的信息率解：在不失真传输条件下的信息率R R为：为： 因为允许失真度因为允许失真度D D0.10.1，可设想信源

18、，可设想信源100100个符号经过假想的试验信道只输出个符号经过假想的试验信道只输出a a1 1， a a2 2， a a8989，a a9090，即输出，即输出9090个符号，而余下的个符号，而余下的a a9191， a a100 100 都用都用a a9090代替代替 sbitXHR/644.6100log)( 第34页/共74页 除除a a1 1， a a2 2， a a8989，a a9090对应位置上的元素为对应位置上的元素为0 0外，其余元素为外，其余元素为1 1或或（假想试验信道传输概率假想试验信道传输概率P(P(y yj j|x xi i) )为零时，所对应的为零时，所对应的d

19、 dij ij为无限大为无限大） 12909192100 1 2 90 91 92 100 0 0 0 1 1 1 aaaaaa a a aD a a a 失真矩阵： 第35页/共74页 该失真信源的平均失真函数为：该失真信源的平均失真函数为： 2211 )|()()|()( )|()( YX ijiji YX ijiji XY ijiji dxyPxPdxyPxP dxyPxPd 上式中：上式中： X1Y1a1， a2， a89，a90，属于不失真的符号集合，对应，属于不失真的符号集合，对应dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，属于失真集合，对应，属于失

20、真集合，对应dij1，其中，其中i91，91，100，j90 第36页/共74页 据题意，据题意，P(P(x xi i) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函数：所以得平均失真函数： 可见，这样设想的失真信源的组合方案能满足对失真度的要求。可见，这样设想的失真信源的组合方案能满足对失真度的要求。 22 ()(|) 1 101 10.1 100 ijiij X Y dP xP yx d 第37页/共74页 该试验信道为无噪有损信道，即该试验信道为无噪有损信道，即H(Y|X)=0,H(Y|X)=0,所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y

21、)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在试验信道的输出端在试验信道的输出端Y Y，a a1 1， a a2 2， a a8989的出现概率仍为的出现概率仍为1/1001/100, ,而而a a9090的出现概率的出现概率P(aP(a9090) )11/10011/100，可知相应的信息传输速率为：，可知相应的信息传输速率为： 89 90 1 90 11 ()log()log ()() 111100 89log100log 10010011 log1000.11log11 6.264 (/ ) i i i RP aP a P aP a bits 第38页/共74页 比较比较 R与

22、无失真传输条件下的信息率与无失真传输条件下的信息率R ,R ,可知在可知在D D0.10.1的条件下，所需信息率减小了的条件下，所需信息率减小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的条件下的条件下( (假定后假定后5050个符号均产生失真，这后个符号均产生失真，这后5050个符号均用个符号均用a a5050来代替来代替) )信息率信息率R”为：为： 49 50 1 50 11 ()log()log ()() 151100 49log100log 10010051 log1000.51log51 3.751(/ )

23、 i i i RP aP a P aP a bit s 与无失真传输条件下的信息率与无失真传输条件下的信息率R R相比较，减小相比较，减小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。 第39页/共74页 (1) 求极值问题求极值问题 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率密度函数或概率密度函数p(x)的上凸函数。根据上凸函数定义，如果的上凸函数。根据上凸函数定义，如果I(X;Y)在定义域内对在定义域内对p(xi)或或p(x)的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互

24、信息极大值的问题，即的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即 I(X;Y)又是信道转移概率分布又是信道转移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或条件概率密度函数或条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下，的下凸函数，因此在满足保真度准则条件下，I(X;Y)对对p(yj/xi)或或p(y/x)的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻

25、找平均互信息极小值的问题，即 (|) ()min(; ) jiD P y xP R DI X Y () max (; ) i p x CI X Y 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较 第40页/共74页 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较 (2)特性特性 信道容量信道容量C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度或条件概率密度p(y/x)有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大

26、的信源为参考，从而使信道容量仅与信道特性有关，信道不同，有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，C亦不同。亦不同。 信息率失真函数信息率失真函数R(D)一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布p(xi)或概率密度函数或概率密度函数p(x)有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道

27、为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，R(D)亦不同。亦不同。 第41页/共74页 (3) 解决的问题解决的问题 信道容量是为了解决通信的可可性问题，是信息传输的理论论基，通过信道编码码加信息的的余度来实现；信道容量是为了解决通信的可可性问题，是信息传输的理论论基，通过信道编码码加信息的的余度来实现； 信息率失真函数是为了解决通信的有有性问题，是信源压

28、缩的理论论基，通过信源编码减减信息的的余度来实现。信息率失真函数是为了解决通信的有有性问题，是信源压缩的理论论基，通过信源编码减减信息的的余度来实现。 第42页/共74页 5.3 信息率失真函数的性质信息率失真函数的性质 1.R(D)函数的定义域函数的定义域 (1) Dmin和和R(Dmin) R(Dmin)R(0)=H(X) 通常最小允许失真度通常最小允许失真度Dmin为零，在为零，在D0条件下，因为不允许失真，所以条件下，因为不允许失真，所以X和和Y集合的各个消息符号都一一对应，这相当于假想的试验信道是无扰离散信道的情况。在这种信道上，有：集合的各个消息符号都一一对应，这相当于假想的试验信

29、道是无扰离散信道的情况。在这种信道上，有： I(X;Y) H(X) H(Y) 所以，所以，R(0)=H(X)，且，且R(0)是是R(D)的上限值的上限值. 第43页/共74页 当给定信源，以及失真矩阵当给定信源，以及失真矩阵D，信源的最小平均失真度，信源的最小平均失真度 min 11 min( ) (|) ( ,) ( )min(|) ( ,) ijiij ij nm ijiij ij Dp x p yx d x y p xp yx d x y 由上式可以知道，若选择试验信道由上式可以知道，若选择试验信道 ，使对每一个，使对每一个 的求和式的求和式 为最小，则总和值达到最小。当为最小，则总和值

30、达到最小。当 固定某个固定某个 ，那么对于不同的，那么对于不同的 其其 不同（即在不同（即在 失真矩阵失真矩阵D中第中第i行的元素不同），其中必有最小值行的元素不同），其中必有最小值 也可能有若干个相同的最小值。于是，可以选择这样的试验也可能有若干个相同的最小值。于是，可以选择这样的试验 信道，它满足信道，它满足 (|) ji p yx( ) i p x (|) ( ,) jiij p yx d x y ( ) i p xj y ( ,) ij d x y (|)1 (|)0 j ji y ji p yx p yx 所有所有 ( ,) ij d x y 最小值的最小值的yj ( ,) ij d

31、 x y 所有所有 最小值的最小值的yj 第44页/共74页 可见，允许失真度可见，允许失真度D是否能为零，这与单个符号的失真函数有关，是否能为零，这与单个符号的失真函数有关， 只有当失真矩阵中每行至减有一个零元素时，信源的平均失真度只有当失真矩阵中每行至减有一个零元素时，信源的平均失真度 才能达到零值，否则，最小平均失真度不等于零。才能达到零值，否则，最小平均失真度不等于零。 可见，只有当失真矩阵中每行至减有一个零，并且每一列最多只有可见，只有当失真矩阵中每行至减有一个零，并且每一列最多只有 一个零时，一个零时， 才等于才等于 ；否则小于；否则小于 。这时表示信源符号集。这时表示信源符号集

32、中有些符号可以压缩、合并，但是没有任何失真。中有些符号可以压缩、合并，但是没有任何失真。 则可以得信源的最小平均失真度为则可以得信源的最小平均失真度为 min 1 ( )min ( ,) n iij j i Dp xd x y (0)R()H X()H X 第45页/共74页 例：删除信源例：删除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩阵为。而失真矩阵为 求求Dmin。 min 1 ( )min ( ,)( ) 00 nn iiji j ii Dp xd x yp x 满足最小失真度的试验信道是个无噪无损信道，转移矩阵为满足最小失真度的试验信道是个无噪无损信道，转移矩阵为 100 010 Q 在这个无噪无损信道