第4章信息率失真函数

1、普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著1第第4章信息率失真函数章信息率失真函数n问题问题 信源熵信源熵H(X)的物理含义是什么？的物理含义是什么？ 为什么要研究信源熵？为什么要研究信源熵？n信源无失真传输所需的最小信息率信源无失真传输所需的最小信息率nR H(X)n在信源允许一定失真情况下所需的最在信源允许一定失真情况下所需的最小信息率小信息率nDR(D)普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著24.1 平均失真和信息率失真函数平均失真和信息率失真函数n4.1.1 失真函数失真函数n4.1.2 平均失真平均失真n4.1.3 信息率失真函数信息率失真函数R(

2、D)n4.1.4 信息率失真函数的性质信息率失真函数的性质普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著34.1 平均失真和信息率失真函数平均失真和信息率失真函数 在实际问题中，信号有一定的失真是可以在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。为此可引入失真函数。普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著44.1.1

3、失真函数失真函数X=xi，xi a1,anjijijiyxyx),yd(x00 信源编码器 Y=yj，yj b1,bm失真函数失真函数d(xi，yj)普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著5失真矩阵失真矩阵 单个符号的失真度的全体构成的矩单个符号的失真度的全体构成的矩阵阵 ，称为失真矩阵，称为失真矩阵),(jiyxd),(),(),(),(),(),(),(),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadd普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著6均方失真：均方失真：ijijixyxyxd/),(2),

4、(jijiyxyxdjijiyxyxd),(其它，1, 0),(),(jijijiyxyxyxd相对失真：相对失真：误码失真：误码失真：绝对失真：绝对失真：前三种失真函数适用于连续信源，后一种适前三种失真函数适用于连续信源，后一种适用于离散信源。用于离散信源。 最常用的失真函数最常用的失真函数 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著7序列编码情况失真函数定义为：序列编码情况失真函数定义为： 其中其中d(xil，yjl)是信源输出是信源输出L长符号样值长符号样值xi中的第中的第l个符号个符号xil时，编码输出时，编码输出L长符号样值长符号样值yj中的第中的第l个符号个符号yj

5、l的失真函数。的失真函数。 LljliljiLyxdLd1),(1),(yx普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著84.1.2 平均失真平均失真 失真函数的数学期望称为失真函数的数学期望称为平均失真平均失真，记为，记为,(,) (,)()/(,)ijijijiiji ji jDp xyd xyp xpyx d xy 已知p(xi)和d(xi，yj)，平均失真只是符号转移概率p(yj/xi)的函数。 p(yj/xi )在此实质上代表编码方式。ix信源编码器信源编码器jy)(ijxyp 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著91001P1010P如：x1y1

6、x2 y2x1y1x2 y1普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著10 对于连续随机变量同样可以定义平均失真对于连续随机变量同样可以定义平均失真 dxdyyxdyxpDxy),(),(LllLljlilLDLyxdELD111),(1对于对于L长序列编码情况，平均失真为长序列编码情况，平均失真为 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著114.1.3 信息率失真函数信息率失真函数R(D) 信源编码器的目的是使编码后所需的信信源编码器的目的是使编码后所需的信息传输率息传输率R尽量小尽量小，DDR 给定失真的限制值给定失真的限制值D，使，使 D，找最小，找最小

7、R， R(D)，定义为信息率失真函数。，定义为信息率失真函数。普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著124.1.3 信息率失真函数信息率失真函数R(D)naaax,21信源编码器信源编码器mbbby,21XY假想信道假想信道 将信源编码器看作信道，将信源编码器看作信道，信源编码器输出的信息率信源编码器输出的信息率R对应到信道，即为接收端对应到信道，即为接收端Y需要获得的有关需要获得的有关X的信息的信息量，也就是互信息量，也就是互信息I(X;Y)。p(yj/xi) 信源符号编码概率信源符号编码概率 信道转移概率信道转移概率普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹

8、编著13D允许试验信道允许试验信道 若若p(xi)和和d(xi，yj)已定，则可给出满足已定，则可给出满足条件的所有转移概率分布条件的所有转移概率分布pij，它们构成了一个，它们构成了一个信道集合信道集合PD称为称为D允许试验信道允许试验信道。 ,( )/( ,)ijiiji jDp x p yx d x y (/):DjiPp yxDDDD普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著14信息率失真函数信息率失真函数R(D) n当当p(xi)一定时，互信息一定时，互信息I是关于是关于p(yj/xi) 的的U型凸函数，存在极小值型凸函数，存在极小值(2.2(2.2节）。节）。n在上

9、述允许信道在上述允许信道PD中，可以寻找一种信道中，可以寻找一种信道pij，使给定的信源，使给定的信源p(xi)经过此信道传输后，经过此信道传输后，互信息互信息I(X；Y)达到最小。达到最小。nD=? p(yj/xi)=pij? R(D)=?);(min)(YXIDRDPI p(xi)， p(yj/xi)普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著15对于离散无记忆信源，对于离散无记忆信源，R(D)函数可写成函数可写成 p(ai)，i1，2，n 是信源符号概率分布；是信源符号概率分布； p(bj/ai)，i1，2，n，j1，2，m 是转移概率分布；是转移概率分布； p(bj)，j

10、1，2，m 是接收端收到符号概率分布。是接收端收到符号概率分布。 nimjjijijiPPbpabpabpapDRDij11)()/(log)/()(min)( 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著16R(D)的物理意义n无失真时：R=H(X)n有失真时：R=R(D)=H(X)H(X/Y)H(X)nH(X/Y)：由于压缩编码损失的信息n对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值R(D) 信源编码器信源编码器H(X)R普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著17 例例 设信源的符号表为设信源的符号表为Aa1，a2，a2n，概率

11、分布为，概率分布为p(ai)1/2n，i1，2，2n，失真函数规定为，失真函数规定为 即符号不发生差错时失真为即符号不发生差错时失真为0，一旦出错，失真为，一旦出错，失真为1，试，试研究在一定编码条件下信息压缩的程度。研究在一定编码条件下信息压缩的程度。jijiaadji01),(111 11(1/2)( )(,)log2log(1)2222nnnRH YHnnnnnn H(X)H(X/Y)可压缩的信息量普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著184.1.4 信息率失真函数的性质信息率失真函数的性质R(D)函数的定义域函数的定义域 Dmin和和R(Dmin) Dmin0 对于

12、连续信源对于连续信源 )() 0 ()(minXHRDR )()0()(minxHRDRc普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著19讨论n何时Dmin=0? 只有当失真矩阵中每行至少有一个零元素。n何时R(0)=H(X)? 只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零。 否则R(0)可以小于H(X)，表示这时信源符号集中有些符号可以压缩、合并而不带来任何失真。普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著20 (2) Dmax和和R(Dmax) R(Dmax)=0 选择所有满足选择所有满足R(D)0中中D的最小值，定的最小值，定义为义为R(D)定义域

13、的上限定义域的上限Dmax，即，即DDDR0)(maxmin因此可以得到因此可以得到R(D)的定义域为的定义域为max,0 DD 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著21Dmax=?nR(D)0就是就是I(X;Y)0，这时试验信道，这时试验信道输入输入与输出是互相独立与输出是互相独立的，所以条件概率的，所以条件概率p(yj/xi)与与xi无关。即无关。即jjijijpypxypp)()/(max111111minminminminijijjjnmiijijppijnmmnijijjiijppijjiDDp p dp p dppd需满足条件需满足条件11mjjp普通高等教育

14、“十一五”国家级规划教材信息论基础 曹雪虹编著22从上式观察可得：在从上式观察可得：在j=1，m中，可找中，可找到到 值最小的值最小的j，当该，当该j对应的对应的pj1，而，而其余其余pj为零时，上式右边达到最小，这时为零时，上式右边达到最小，这时上式可简化成上式可简化成niijidp1niijimjdpD1, 2 , 1maxmin普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著23例例4-3 设输入输出符号表为设输入输出符号表为XY 0，1，输入概率，输入概率分布分布p(x)=1/3，2/3，失真矩阵为，失真矩阵为0110),(),(),(),(22122111badbadbad

15、badd普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著24解：解：当当Dmin0时，时，R(Dmin)H(X)H(1/3，2/3)0.91比特比特/符号，这时信源编码器无失真，符号，这时信源编码器无失真，所以该编码器的转移概率为所以该编码器的转移概率为 1001P普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著253131,32min032131, 132031min,minmin2, 12, 12221212121112, 1212, 1maxjjjiijijdpdpdpdpdpD当当R(Dmax)0时时 此时输出符号概率此时输出符号概率p(b1)0，p(b2)1， 所

16、以这时的编码器的转移概率为所以这时的编码器的转移概率为 2221,baba1010P普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著262、R(D)函数的下凸性和连续性函数的下凸性和连续性 3、R(D)函数的单调递减性函数的单调递减性 容许的失真度越大，所要求的信息率越小。容许的失真度越大，所要求的信息率越小。反之亦然。反之亦然。 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著27综上所述，可以得出如下结论：综上所述，可以得出如下结论：nR(D)是非负的实数，即R(D) 0。其定义域为0Dmax，其值为0H(X)。当DDmax时， R(D) 0。nR(D)是关于D的下凸函

17、数，因而也是关于D的连续函数。nR(D)是关于D的严格递减函数。容许的D越大，所要求的R越小。反之亦然。普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著28由以上三点结论，对一般由以上三点结论，对一般信息率失真信息率失真R(D)曲线的曲线的形态可以画出来：形态可以画出来： R(D)H(X)R(D) 0 D Dmax DR(D) 0 Dmax D 离散系统连续系统普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著29信道容量信道容量C率失真函数率失真函数R(D)R(D)与C的比较 ()max (; )ip xCI X Y(/)( )min( ; )jip yxR DI X Y研

18、究对象研究对象信道信源给定条件给定条件信道转移概率p(yj/xi)信源分布p(xi)选择参数选择参数信源分布p(xi)信源编码器编码方法p(yj/xi)限制条件限制条件( )1iip x(/ ):DjiPp y xD D结论结论I(X;Y)=H(X)-H(X/Y)噪声干扰消失的信息量H(X/Y)压缩损失的信息量H(X/Y)普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著304.2 离散信源和连续信源的离散信源和连续信源的R(D)计算计算 某些特殊情况下某些特殊情况下R（D）的表示式为：）的表示式为： （1）当）当d(x,y)=(x-y)2， 时时，22221)(xexpDDRlog)(普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著31(2)当当d(x,y)=|x-y|， 时时，xexp2)(DDR1log)(3)当当d(x,y)= (x,y)，p(x=0)=p，p(x=1)=1-p时，时，R(D)=H(p)H(D) 普通高等教育“十一五”国家级规划教材信息论基础 曹雪虹编著32这些这些R（D）可画成三条曲线）可画成三条曲线 0 Dmax D R(D) H(3)(1)(2)图图4-5 信息率失真函数信息率失真函