第3章信息率失真函数

1、 限失真编码限失真编码：信源编码经过译码后能保留应用要求的：信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。信息，允许信源有一定的失真。 为什么要进行限失真信源编码？为什么要进行限失真信源编码？ 1 1连续信源的绝对熵为无限大，由于信道的带宽有限，连续信源的绝对熵为无限大，由于信道的带宽有限，受信道容量的限制。受信道容量的限制。不可能实现完全无失真的信源信息的不可能实现完全无失真的信源信息的传输传输。(必要性必要性)2 2实际应用不必要无失真地恢复信源消息实际应用不必要无失真地恢复信源消息, 不必要完全不必要完全无失真的信源信息的传输无失真的信源信息的传输. . (可能性可能性)

2、第第3章限失真信源与信息率失真函数章限失真信源与信息率失真函数语音信号传输语音信号传输 语音（音频）信号的带宽语音（音频）信号的带宽 ：2020 KHZ 实际应用音频范围实际应用音频范围:电话质量电话质量: 3003.4KHZ 电话公用网电话公用网调幅广播质量调幅广播质量: 50 7 KHZ 有现场感的语音传输有现场感的语音传输高保真音频信号高保真音频信号: 20 20 KHZ 高保真音响高保真音响图像信号传输图像信号传输 一路一路6MHz的普通电视信号数字化后，其数码率将的普通电视信号数字化后，其数码率将高达高达167Mbps，对储存器容量要求很大，占有的带宽将，对储存器容量要求很大，占有的

3、带宽将达达80MHz左右左右表表3 31 1 各种各种图像信号图像信号应用的码率应用的码率应用种类应用种类 象素数象素数 /行行 行行 数数/帧帧 码率码率bps压缩前压缩前压缩后压缩后HDTV19201080 1.18G2025M普通电视普通电视 720480167M 48M会议电视会议电视 352288 36.5M 1.52M电视电话电视电话128112 5.2M 56k 本章主要讨论在信源允许一定失真情况本章主要讨论在信源允许一定失真情况下所需的最小信息率，从分析失真函数、平下所需的最小信息率，从分析失真函数、平均失真出发，求出信息率失真函数均失真出发，求出信息率失真函数R（D）。香农定

4、义了信息率失真函数R(D)，论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。 3.1 平均失真和信息率失真函数平均失真和信息率失真函数v3.1.1 失真函数失真函数v3.1.2 平均失真平均失真v3.1.3 信息率失真函数信息率失真函数R(D)v3.1.4 信息率失真函数的性质信息率失真函数的性质3.1 平均失真和信息率失真函数平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以容忍在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质

5、量将被严的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函必须先有一个定量的失真测度。为此可引入失真函数。数。3.1.1 失真函数失真函数 假如某一信源假如某一信源X，输出样值为，输出样值为xi，xi x1,xn，经过，经过有失真的信源编码器，输出有失真的信源编码器，输出Y，样值为，样值为yj，yj y1,ym。如果如果xiyj，则认为没有失真；如果，则认为没有失真；如果xi yj，那么就产生，那么就产生了失真。失真的大小，用一个量来表示，即失真函数了失真。失真的大小，

6、用一个量来表示，即失真函数d(xi，yj)，以衡量用，以衡量用yj代替代替xi所引起的失真程度。一般失真函数所引起的失真程度。一般失真函数定义为定义为 jijijiyxyx),yd(x00失真矩阵失真矩阵 单个符号的失真度的全体构成的矩单个符号的失真度的全体构成的矩阵阵 ，称为失真矩阵，称为失真矩阵),(jiyxd111212122212( ,)( ,)( ,)( ,)( ,)( ,)( ,)( ,)( ,)mmnnnmd x yd x yd x yd x yd x yd x yd x yd x yd x yd失真矩阵失真矩阵失真矩阵v例：设信源符号为X=0,1,接收端收到符号为Y= 0,1,

7、2,规定失真函数为 d(0,0)d(1,1)= 0 d(0,1)d(1,0)= 1 d(0,2)d(1,2)= 0.55 . 0015 . 010d失真矩阵均方失真：均方失真：ijijixyxyxd/),(2),(jijiyxyxdjijiyxyxd),(其它，1, 0),(),(jijijiyxyxyxd相对失真：相对失真：误码失真：误码失真：绝对失真：绝对失真：前三种失真函数适用于连续信源，后一种适前三种失真函数适用于连续信源，后一种适用于离散信源。用于离散信源。 最常用的失真函数最常用的失真函数 适于连续信源适于离散信源 失真函数的定义可以推广到序列编码情况，如果假失真函数的定义可以推广

8、到序列编码情况，如果假定离散信源输出符号序列定离散信源输出符号序列X=(X1X2XlXL)，其中，其中L长符长符号序列样值号序列样值xi(xi1xi2xilxiL)，经信源编码后，输出符，经信源编码后，输出符号序列号序列Y=(Y 1Y 2Y lY L)，其中，其中L长符号序列样值长符号序列样值yj(yj1yj2yjlyjL)，则失真函数定义为：，则失真函数定义为： 其中其中d(xil，yjl)是信源输出是信源输出L长符号样值长符号样值xi中的第中的第l个符号个符号xil时，时，编码输出编码输出L长符号样值长符号样值yj中的第中的第l个符号个符号yjl的失真函数。的失真函数。 LljliljiL

9、yxdLd1),(1),(yx3.1.2 平均失真平均失真 由于由于xi和和yj都是随机变量，所以失真函数都是随机变量，所以失真函数d(xi，yj)也是随机变量，限失真时的失真值，只能用它的数也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望学期望或统计平均值，因此将失真函数的数学期望称为称为平均失真平均失真，记为，记为 1111(,) (,)()(/) (,)nmijijijnmijiijijDp xyd xyp xp yx d xyix信源编码器信源编码器jy)(ijxyp 对于连续随机变量同样可以定义平均失真对于连续随机变量同样可以定义平均失真 dx

10、dyyxdyxpDxy),(),(LllLljlilLDLyxdELD111),(1对于对于L长序列编码情况，平均失真为长序列编码情况，平均失真为 3.1.3 信息率失真函数信息率失真函数R(D)12,nXx xx信源编码器信源编码器12,mYy yyXY假想信道假想信道将信源编码器看作信道将信源编码器看作信道3.1.3 信息率失真函数信息率失真函数R(D) 信源编码器的目的是使编码后所需的信息传输信源编码器的目的是使编码后所需的信息传输率率R尽量小，然而尽量小，然而R越小，引起的平均失真就越大。越小，引起的平均失真就越大。给出一个失真的限制值给出一个失真的限制值D，在满足平均失真，在满足平均

11、失真 D的条件下，选择一种编码方法使信息率的条件下，选择一种编码方法使信息率R尽可能小。尽可能小。信息率信息率R就是所需输出的有关信源就是所需输出的有关信源X的信息量。将此的信息量。将此问题对应到信道，即为接收端问题对应到信道，即为接收端Y需要获得的有关需要获得的有关X的的信息量，也就是互信息信息量，也就是互信息I(X;Y)。这样，选择信源编。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号码方法的问题就变成了选择假想信道的问题，符号转移概率转移概率p(yj/xi)就对应信道转移概率。就对应信道转移概率。 D1、D允许试验信道允许试验信道 平均失真由信源分布平均失真由信源分布p(x

12、i)、假想信道的转移概率、假想信道的转移概率p(yj/xi)和失和失真函数真函数d(xi，yj)决定，若决定，若p(xi)和和d(xi，yj)已定，则可给出满足下已定，则可给出满足下式条件的所有转移概率分布式条件的所有转移概率分布pij，它们构成了一个信道集合，它们构成了一个信道集合PD称为称为D允许试验信道允许试验信道。 (/):1,2, ;1,2,DjiPp yxDDin jm实际上这些信道反应的仅是不同的有失真信源编码，或称实际上这些信道反应的仅是不同的有失真信源编码，或称信源压缩。信源压缩。2、信息率失真函数信息率失真函数R(D) 假定信源给定的情况下假定信源给定的情况下,用户可以容忍

13、的失用户可以容忍的失真度内再现信源消息所必须获得的最小平真度内再现信源消息所必须获得的最小平均信息量。均信息量。它反映的是信源可以压缩的程度它反映的是信源可以压缩的程度,是在满足是在满足一定失真度要求下信源可压缩的最低值。一定失真度要求下信源可压缩的最低值。v率失真函数一旦找到率失真函数一旦找到,就与求极值过程中就与求极值过程中选择的试验信道不再有关选择的试验信道不再有关,而只是信源特而只是信源特性的参量性的参量v不同的信源其不同的信源其R(D)不同。不同。2、信息率失真函数信息率失真函数R(D) 由于互信息取决于信源分布和信道转移概率分布，当p(xi)一定时，互信息I是关于p(yj/xi)

14、的U型凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X;Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即 );(min)(YXIDRDP对于离散无记忆信源，对于离散无记忆信源，R(D)函数可写成函数可写成 p(xi)，i1，2，n 是信源符号概率分布；是信源符号概率分布； p(yj/xi)，i1，2，n，j1，2，m 是转移概率分布；是转移概率分布； p(yj)，j1，2，m 是接收端收到符号概率分布。是接收端收到符号概率分布。 11(/ )( ) min( ) (/ )log( )ijDnmjiijiP P

15、ijjp yxR Dp x p yxp y v例已知编码器输入的概率例已知编码器输入的概率分布为分布为p(x)=0.5 ,0.5v信道矩阵信道矩阵v求互信息求互信息)|()()(ijijixypxpyxp11122122()0.3()0.2()0.1()0.4p x yp x yp x yp x y6 . 0)(4 . 0)(21ypyp111221223112(|)(|)(|)()4343p xyp xyp xyp x y符号/125. 0)()|(log)();(bitypyxpyxpYXIijijiji0.60.40.20.8ijPv编码器输入的概率分布为编码器输入的概率分布为p(x)=

16、0.5 ,0.5v信道矩阵信道矩阵v求互信息求互信息符号/397. 0)()|(log)();(bitypyxpyxpYXIijijijiv可见当可见当p(x)一定时一定时,I (X,Y)随随p(yj|xi)而变。而变。v因为因为p(x)分布一定时分布一定时,信道受干扰不同所能传递信道受干扰不同所能传递的信息量是不同的。的信息量是不同的。v当当p(x)一定时一定时,I (X,Y)是关于是关于p(yj|xi)的下凸函数。的下凸函数。v因此当改变因此当改变p(yj|xi)时时,I (X,Y)有一极小值。有一极小值。0.90.10.20.8ijP 例例 设信源的符号表为设信源的符号表为Aa1，a2，

17、a2n，概率分布为，概率分布为p(ai)1/2n，i1，2，2n，失真函数规定为，失真函数规定为 即符号不发生差错时失真为即符号不发生差错时失真为0，一旦出错，失真为，一旦出错，失真为1，试，试研究在一定编码条件下信息压缩的程度。研究在一定编码条件下信息压缩的程度。jijiaadji01),(v信源熵信源熵 nnnnH2log)2121,21(v如果对信源进行不失真编码如果对信源进行不失真编码,平均每个符号至少需平均每个符号至少需要要log2n个二进制码元。个二进制码元。v现在假定允许有一定失真现在假定允许有一定失真,假设失真限度为假设失真限度为D=1/2设想采用下面的编码方案：设想采用下面的

18、编码方案： a1a1， a2a2， anan an+1an ,an+2 an ,a2n anv平均失真平均失真 21),()|()(ijjiijiaadaapapDv则输出熵则输出熵H(Y) 1log(212log)21,2121,21()(nnnnnnnnnHYHv由该信道模型图由该信道模型图4-1-1看出看出,它是一个确定信道它是一个确定信道v pij=1(或或0)，H(Y|X)=0 )()|()(),(YHXYHYHYXI压缩v信源压缩了信源压缩了 ,付出的代价付出的代价:允许允许1/2的失真的失真1log(1)2nnn3.1.4 信息率失真函数的性质信息率失真函数的性质1.R(D)函数

19、的定义域函数的定义域 v率失真的定义域问题就是在信源和失真函数已率失真的定义域问题就是在信源和失真函数已知的情况下知的情况下,讨论允许讨论允许平均失真度平均失真度D的的最小最小和和最最大大取值问题。取值问题。v由于平均失真度是非负实数由于平均失真度是非负实数d(xi,yj)的数学期望的数学期望,因此也是非负的实数因此也是非负的实数,即即 的的下界是下界是0。DD, 0v允许平均失真度能否达到其下限值允许平均失真度能否达到其下限值0,与单个符号与单个符号的失真函数有关。的失真函数有关。3.1.4 信息率失真函数的性质信息率失真函数的性质 Dmin和和R(Dmin) Dmin0 对于连续信源对于连

20、续信源 )() 0 ()(minXHRDR )()0()(minxHRDRc (2) Dmax和和R(Dmax)niijimjdpD1, 2, 1maxmin选择所有满足选择所有满足R(D)0中中D的最小值，定义为的最小值，定义为R(D)定义定义域的上限域的上限Dmax，即，即DDDR0)(maxmin因此可以得到因此可以得到R(D)的定义域为的定义域为max,0 DD Dmax是这样来计算的。是这样来计算的。R(D)0就是就是I(X;Y)0，这时试验信道这时试验信道输入与输出是互相独立输入与输出是互相独立的，所以条的，所以条件概率件概率p(yj/xi)与与xi无关。即无关。即jjijijpy

21、pxypp)()/(求出满足条件求出满足条件 的的D中的最小值中的最小值 ，即mjniijijdppD11maxmin11mjjp nimjijjidppD11此时平均失真为此时平均失真为从上式观察可得：在从上式观察可得：在j=1，m中，可找中，可找到到 值最小的值最小的j，当该，当该j对应的对应的pj1，而，而其余其余pj为零时，上式右边达到最小，这时为零时，上式右边达到最小，这时上式可简化成上式可简化成niijidp1niijimjdpD1, 2 , 1maxmin例例 设输入输出符号表为设输入输出符号表为XY 0，1，输入概率，输入概率分布分布p(x)=1/3，2/3，失真矩阵为，失真矩

22、阵为0110),(),(),(),(22122111badbadbadbadd解：解：当当Dmin0时，时，R(Dmin)H(X)H(1/3，2/3)0.91比特比特/符号，这时信源编码器无失真，符号，这时信源编码器无失真，所以该编码器的转移概率为所以该编码器的转移概率为 0110P3131,32min032131, 132031min,minmin2, 12, 12221212121112, 1212, 1maxjjjiijijdpdpdpdpdpD当当R(Dmax)0时时 此时输出符号概率此时输出符号概率p(b1)0，p(b2)1， 所以这时的编码器的转移概率为所以这时的编码器的转移概率为

23、 2221,baba1010PR(D)的定义域vR(D)的定义域为Dmin，Dmax 。v通常Dmin = 0， R(Dmin) = H(X)v当 DDmax时, R(D) = 0v当 0 DDmax时, 0R(D) H(X)2、R(D)函数的下凸性和连续性函数的下凸性和连续性 3、R(D)函数的单调递减性函数的单调递减性 容许的失真度越大，所要求的信息率越小。容许的失真度越大，所要求的信息率越小。反之亦然。反之亦然。 综上所述，可以得出如下结论：综上所述，可以得出如下结论：R(D)是非负的实数，即是非负的实数，即R(D) 0。其定义域。其定义域为为0Dmax，其值为，其值为0H(X)。当。当

24、DDmax时时, R(D) 0。R(D)是关于是关于D的下凸函数，因而也是关于的下凸函数，因而也是关于D的的连续函数。连续函数。R(D)是关于是关于D的严格递减函数。的严格递减函数。由以上三点结论，对一般由以上三点结论，对一般R(D)曲线的形态可以画曲线的形态可以画出来：出来： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 信息率失真曲线信息率失真曲线3.2 离散信源和连续信源的离散信源和连续信源的R（D）计算）计算v给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。v它是在保真度准则下求极小值的问题。v但要得到它的显式表达式,一般比较困难通常用参量

25、表达式。v即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。 3.2 离散信源和连续信源的离散信源和连续信源的R（D）计算）计算 某些特殊情况下某些特殊情况下R（D）的表示式为：）的表示式为： （1）当）当d(x,y)=(x-y)2， 时时，22221)(xexpDDRlog)(2)当当d(x,y)=|x-y|， 时时，xexp2)(DDR1log)(3)当当d(x,y)= (x,y)，p(x=0)=p，p(x=1)=1-p时，时，R(D)=H(p)H(D) 这些这些R（D）可画成三条曲线）可画成三条曲线 0 Dmax D R(D) H(3)(1)(2)图图4-2-1 信息

26、率失真函数信息率失真函数R(D)例例 设输入输出符号表为设输入输出符号表为XY 0，1，输入概率分布，输入概率分布p(x)=(p，1-p)，0p 1/2，失真矩阵为，失真矩阵为 求信息率失真函数求信息率失真函数R(D)。0110),(),(),(),(22122111badbadbadbadd Dmin=0。pppdpdpdpdpdpDjijiij),1(min)1 , 1 () 1 () 1 , 0()0(),0 , 1 () 1 ()0 , 0()0(minmin101 ,0max 0.1 0.2 0.3 0.4 0.5 D1.00.80.60.40.20.0R(D)/bitp=0.5p=

27、0.3p=0.2p=0.1图图 R(D)=H(p)H(D)，p为参数为参数v连续信源比离散信源更需要连续信源比离散信源更需要R(D)函数。因函数。因 为连续信源信息量为无限大（取值无限），为连续信源信息量为无限大（取值无限），传送信息量既无必要，也不可能。所以连续传送信息量既无必要，也不可能。所以连续信源都是属于限失真范畴；信源都是属于限失真范畴；v连续信源连续信源R(D)与离散信源与离散信源R(D)类似：类似：3.3 连续信源的连续信源的R（D）计算）计算( )ipp xidx ( ; )ijdd x ymininf只需将概率换为概率密度只需将概率换为概率密度 求和换为积分求和换为积分 (

28、)p x()yPx( , )d x y( ) () ( , )yDp x Pd x y dxdyx ():DyPPDDx()()inf(; )DyPPxR DI X Y则当已知信源概率分布密度为则当已知信源概率分布密度为 、条件密度为条件密度为、失真函数为失真函数为信源平均失真信源平均失真而而 则有：则有： 同样，可以求出类似于离散的参量表达式：同样，可以求出类似于离散的参量表达式：即在下述限制条件下：即在下述限制条件下： ( ) () ( , )()1yDp x Pd x y dxdyxyPdxx（对所有x值）3.3 连续信源的连续信源的R（D）计算）计算v求互信息求互信息v引用变分，并引入

29、待定常数引用变分，并引入待定常数 和任意函数和任意函数 ，再，再对对 取变分，并置之为取变分，并置之为0。v所谓变分是指求泛函的极值。即所谓变分是指求泛函的极值。即3.3 连续信源的连续信源的R（D）计算）计算(; )( ) ()log()( )log ( )yyI X Yp x PPdxdyxxq yq y dv的下确界。的下确界。S( )x()yPx (; )( )()0yI X YSDx dxPdyxv其求解顺序完全类似于离散情况，但需求解一个积其求解顺序完全类似于离散情况，但需求解一个积分方程。最后结果为：分方程。最后结果为：v连续信源能否有类似于离散信源的一些特殊情况，连续信源能否有

30、类似于离散信源的一些特殊情况，不需求解繁琐的积分方程呢？的确存在，在某些情不需求解繁琐的积分方程呢？的确存在，在某些情况下，比如时况下，比如时 ，求解可大大减化。，求解可大大减化。即即3.3 连续信源的连续信源的R（D）计算）计算( , )( )( ) ( )( ) ( , )( )( )( )log ( )Sd x yD Sp x q y ex d x y dxdyR SSD Sp xx dx( , )()d x yd xyv若二元函数若二元函数 仅与仅与 与与 差值有关，比如差值有关，比如v这时令参量这时令参量 ，设，设 ，其中，其中 且，且，这时可求得：这时可求得： v可见，由上述卷积表

31、达式，无需求解积分方程就可可见，由上述卷积表达式，无需求解积分方程就可以求得分布密度以求得分布密度 。3.3 连续信源的连续信源的R（D）计算）计算( , )d x yxy22()( , )xyd x yxy( )( )( )k Sxp x( )0p x ( )( )( )SdSk S eg0( )( )( )Sp xq xgx0( )qxv进一步，若令进一步，若令 、 和和 分别表示分别表示 、 和和 的特征函数，则由以上时域的卷积关的特征函数，则由以上时域的卷积关系，求得下列特征函数间的关系如下：系，求得下列特征函数间的关系如下： 3.3 连续信源的连续信源的R（D）计算）计算( )pz(

32、 )Sgz0( )qz( )p x( )Sgx0( )qx0( )( )( )Spgqzzz 0( )( )( )Spqgzzz则则 001( )( )2izxqqxz e dz 再由类似于离散信源的下列求解顺序：再由类似于离散信源的下列求解顺序：0( )( )( )( )q xxD SR S3.3 连续信源的连续信源的R（D）计算）计算例：若例：若 22()2221( )2( , )()x mp xed x yxy正态均方准则当当 0S 时，求时，求 21( )SSk Sed则则 2( )( )( )SdSSSgk S ee211221122SeS即即 1( )(0,)2SgNS 22221

33、11()2 242( )gsSzzzSSgzeee3.3 连续信源的连续信源的R（D）计算）计算而信源而信源p(x)的特征函数为的特征函数为2 2122 212211224204( )()( )2104( )( ),imzzpszgssimzzpzimzzeqzeszezeqN m再由再由00( )( )qD sR s最后求得：最后求得：3.3 连续信源的连续信源的R（D）计算）计算22()2221( )2( , )()x mp xed x yxy正态均方准则1121()logDR D当时3.3 连续信源的连续信源的R（D）计算）计算2()cHX2( , )()d x yxy定理定理3-3-1

34、：对任一连续非正态信源，若已知其方差为：对任一连续非正态信源，若已知其方差为，熵为，熵为，并规定失真函数为，并规定失真函数为，则其，则其R(D)满足下列不等式：满足下列不等式： 21122()log2( )logDH XeDR D（正态）（正态） （上限）（上限） 可见，在平均功率可见，在平均功率2受限条件下，正态分布受限条件下，正态分布R(D)函数值最大，函数值最大，它是其他一切分布的上限值，也是信源压缩它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。源压缩比中最保守的估计值。3.3 连续信源的连续信

35、源的R（D）计算）计算例：对连续有记忆信源例：对连续有记忆信源R(D)函数计算相当复杂，函数计算相当复杂， 下面考虑一个简单的特例：对一个广义平稳遍历下面考虑一个简单的特例：对一个广义平稳遍历 马氏链信源，且有马氏链信源，且有 ，其中，其中 2( )R 01。现求其。现求其R(D)函数。函数。 下面我们仅给出结果：下面我们仅给出结果： 22(1)12()logDR D而而 2(1)1Dv结论：1） （越大）， （越小）,压缩比 2） ， ,压缩比KR(D)2D03121213113.3 连续信源的连续信源的R（D）计算）计算()R D 2D()R D v下面利用连续信源的下面利用连续信源的R(D)函数，进一步分析语音的函数，进一步分析语音的波形编码：波形编