第五章信息率失真函数

1、第五章第五章离散信源的限失真信源编码离散信源的限失真信源编码5.1 引言引言5.3 信息率失真函数的性质信息率失真函数的性质5.4 信息率失真函数的计算信息率失真函数的计算5.2平均失真和信息率失真函数平均失真和信息率失真函数5.1引言引言无失真信源编码无失真信源编码针对无失真情况；针对无失真情况；限失真信源编码限失真信源编码允许有一定的失真情况；允许有一定的失真情况；实际信息处理过程允许有一定的失真：实际信息处理过程允许有一定的失真：u A/D变换变换u 电影电视利用视觉残留，没有发觉影片是有一张张画电影电视利用视觉残留，没有发觉影片是有一张张画面面 快速连结起来快速连结起来u 语音信号传送

2、耳朵带宽和分辨率有限，将语音信号传送耳朵带宽和分辨率有限，将20Hz8KHz语音信号去掉低端和高端看成语音信号去掉低端和高端看成300Hz3.4KHz带宽信号，带宽信号，即使有失真，耳朵还是可以分辨出原来的语音。即使有失真，耳朵还是可以分辨出原来的语音。本章讨论主要问题：本章讨论主要问题： 在允许一定失真存在的条件下，能够将信源在允许一定失真存在的条件下，能够将信源信息压缩到什么程度，即最少需要多少比特信息信息压缩到什么程度，即最少需要多少比特信息才能够描述信源，如何能够快速的传输信息。才能够描述信源，如何能够快速的传输信息。 信息率失真理论的基本概念：信息率失真理论的基本概念： 在允许传输消

3、息出现一定的失真条件下，传在允许传输消息出现一定的失真条件下，传输该消息所需的信息率输该消息所需的信息率(最小值最小值)将会比不允许失将会比不允许失真时小，并且允许的失真度越大，则信息率真时小，并且允许的失真度越大，则信息率(最小最小值值)允许减小的程度就越大。允许减小的程度就越大。 5.2平均失真和信息率失真函数平均失真和信息率失真函数 实际问题中，信号有一定的失真可以容忍。当失真实际问题中，信号有一定的失真可以容忍。当失真大于某一限度后，信息质量将被严重损伤，丧失其实用大于某一限度后，信息质量将被严重损伤，丧失其实用价值。因此要规定失真限度，有一个定量的失真测度价值。因此要规定失真限度，有

4、一个定量的失真测度失真函数失真函数。失真函数失真函数 设信源输出样值：设信源输出样值：xi, xia1,aN,经过信源编码器，输出经过信源编码器，输出样值样值yj, yjb1,bM. 如果如果xi=yj，没有失真；，没有失真； 如果如果xiyj，产生失真。，产生失真。失真大小用失真大小用失真函数失真函数d(xi,yj)表示表示失真函数又称为失真度。为简化起见，失真函数又称为失真度。为简化起见，d(xi,yj)简写成简写成dij，d(xi,yj)=0 xi=yjxiyjij时，时，x和和y的消息符号都是的消息符号都是ai，收发之间没有失真，收发之间没有失真，dij 0 ij时，发出符号时，发出符

5、号ai，收到，收到aj，传输时出现失真，传输时出现失真，dij 0 失真函数类型均方失真d(xi,yj)=(xi-yj)2绝对失真d(xi,yj)=|xi-yj|相对失真d(xi,yj)=|xi-yj|/|xi|误码失真d(xi,yj)=(xi-yj)=01xi=yj其他其他用于连续信源用于连续信源 一般一般dij值的大小表示失真的程度，表征了接收消息值的大小表示失真的程度，表征了接收消息yj与发与发送消息送消息xi之间的定量失真度。之间的定量失真度。 若若X X和和Y Y集合都由集合都由N N个不同符号构成的，那么可组成个不同符号构成的，那么可组成N N2 2个不同的个不同的(i,j)(i,

6、j)对，相对应的失真函数也有对，相对应的失真函数也有N N2 2个个,d,dij表示方法有两种：表示方法有两种：n失真矩阵失真矩阵D Dn消息传输图消息传输图将所有失真函数排列起来，得到将所有失真函数排列起来，得到失真矩阵失真矩阵DDd(x1,y1)d(x1,y2)d(x1,yM)d(x2,y1)d(xN,y1)d(xN,y2)d(x2,y2)d(x2,yM)d(xN,yM)失真矩阵失真矩阵消息传输图消息传输图XYx1x2xixNy1y2yjyMd11d12d1jd1MdN1dNMdNjdN2失真函数性质：失真函数性质：,(,)0;min(,)00(,)jjjjX yYjydydydy iii

7、ixi（1）当x时，x（2）x（3）x例例1：已知已知X XY Yaa1 1， a a2 2 ，且有，且有d d11d d220 0，d d12d d211 1，用两种方法表，用两种方法表示失真函数示失真函数 解：失真矩阵解：失真矩阵D D为：为： 消息传输图为：消息传输图为：111221220110ddDdda1a2xyb1=a1b2=a20011例例2：已知X=0,1,2,3,4,5，Y=0,1,2，X和Y集合符号之间的失真函数值分别为d00=d11=d22=0，d30=d31=d41=d42=d50=d52=1，d01= d02 = d10=d12=d20=d21=2，d32=d40=d

8、51=3。这些失真函数值的由来可形象化地用正六角形表示，其中每条条边相当于失真函数值为1。013425131113311022202220525150424140323130222120121110020100ddddddddddddddddddDXY020123450001322222211111133平均失真函数：平均失真函数： 由于失真函数由于失真函数d(xi,yj)是随机变量，是随机变量，为了估计全为了估计全体信源发出的消息符号与接收符号之间的失真程度体信源发出的消息符号与接收符号之间的失真程度, ,需要计算各个失真函数的统计平均值需要计算各个失真函数的统计平均值( (数学期望数学期望

9、) )。平均失真函数定义为：平均失真函数定义为： 11 (,)(,)() (|)ijijijXYNMijiijijdE d xyP xydP x P yx d【注注】平均失真函数与平均失真函数与单符号失真函数单符号失真函数、信源统计特性信源统计特性（信源概率）、信道统计特性（转移概率）（信源概率）、信道统计特性（转移概率）有关。当有关。当信源和失真函数给定时，选择不同信道相当于选择不信源和失真函数给定时，选择不同信道相当于选择不同编码方法，所得到的平均失真函数也不同。同编码方法，所得到的平均失真函数也不同。1111(,) (,)() (|) (,)NMijijijNMijiijijdp xyd

10、 xyp xp yx d xy信源概率信源概率转移概率转移概率单符号失真函数单符号失真函数 若若X X和和Y Y都是都是K K维矢量消息的集合，也可以定义两个矢量消维矢量消息的集合，也可以定义两个矢量消息之间的失真函数为息之间的失真函数为： 11( ,)(,)KKrrrdx yd xyK11( ,)( ,)1 (,)1KKKrrrKrrdx yE dx yE d xyKdKrd 其平均失真函数为：其平均失真函数为： 该式中该式中 是是K维矢量的第维矢量的第r个分量上的平均失真函数。个分量上的平均失真函数。保真度准则：保真度准则： 若平均失真函数不大于所允许的失真度若平均失真函数不大于所允许的失

11、真度D，即，即称为保真度准则。称为保真度准则。(K)KdDdKD维信源矢量信息率失真函数信息率失真函数l 如果信源输出的信息率大于信道的传输能力，须对信源进行压如果信源输出的信息率大于信道的传输能力，须对信源进行压缩，使其压缩后的信息传输速率小于信道的传输能力，同时要保缩，使其压缩后的信息传输速率小于信道的传输能力，同时要保证压缩所引入的失真不超过预先规定的限度证压缩所引入的失真不超过预先规定的限度 D D（满足保真度准（满足保真度准则）。则）。l 信源压缩问题就是对于给定的信源（给定信源概率分布），又信源压缩问题就是对于给定的信源（给定信源概率分布），又定义了失真函数后，总希望在满足保真度准

12、则条件下，使编码后定义了失真函数后，总希望在满足保真度准则条件下，使编码后的信息率尽可能小，寻找信息率的信息率尽可能小，寻找信息率R R的下限。的下限。 把有失真的信源编码器看作有干扰的假想信道，把有失真的信源编码器看作有干扰的假想信道，用分析信道传输的方法研究限失真信源编码问题。用分析信道传输的方法研究限失真信源编码问题。【说明说明】u 信息传输速率在数值上等于平均互信息I(X; Y) I(X;Y)=H(X)-H(X/Y) 可理解为信源发出的信息量H(X)与在噪声干扰条件下的信息量差。u 这里仅仅考虑信源压缩问题，不考虑噪声的影响，只考虑由于信息的存储和传输时需要去掉的冗余，即对信源的原始信

13、息在允许的失真限度内进行了压缩，把这种失真等效成由噪声而造成的信息损失，看成一个等效噪声信道（又称试验信道）。此时的信道转移矩阵实际上指的是一种限失真信此时的信道转移矩阵实际上指的是一种限失真信源编码方法。源编码方法。平均失真函数由由信源分布、转移概率、失真函数信源分布、转移概率、失真函数决定决定当给定信源的各符号概率分布时，若要求平均失真函数不超过某个给定的值D(允许失真度)，需对试验信道传输概率P(yj|xi)施加一定的限制，把P(yj|xi)集合的各种可能值代入上式求出各个平均失真函数，并分为两类： 11() (|) ( ,)NMijiijijdp x p yx d x yTp|:p|:

14、DjijiPyxdDPyxdD允许试验信道集合禁用试验信道集合信息率失真函数信息率失真函数R(D)R(D)定义：定义： 在给定信源消息的概率分布在给定信源消息的概率分布P(P(xi)及平均失真函及平均失真函数允许值数允许值D D的条件下，传输这些信源消息，并使失真的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息传输率的最小值程度在允许范围内时，所需要的信息传输率的最小值：单位为单位为bit/符号。符号。);(min);(min)()|(YXIYXIDRDdPxyPDij 平均互信息量的凸函数性平均互信息量的凸函数性 (1) I(X;Y) 是是信源概率分布信源概率分布P(X)

15、 的的上凸上凸函数函数 （最大值）（最大值）信道容量信道容量 (2) I(X;Y) 是是信道转移概率信道转移概率P(Y/X) 的的下凸下凸函数函数 （最小值）（最小值）率失真函数率失真函数回顾：回顾：二进制对称信道二进制对称信道q不变时不变时, I(X;Y)为上凸曲线。为上凸曲线。p=0.5时有最大值时有最大值p不变时不变时, I(X;Y)为下凸曲线。为下凸曲线。q=0.5时有最小值时有最小值()( )loglogH XH ppppp (/)( )loglogH YXH qpppp ( )()H YH pqpq(; )( )(/)I X YH YH YX0 0.5 1 qH(p)I(X;Y)1

16、-H(q)0 0.5 1 pI(X;Y)qq10qq1( )p0( )pYX回顾：回顾： jijijnimjiPpypxypxypxpDRDij|log|min11【注注】l 由于平均互信息量由于平均互信息量I(X;Y)是是p(yj|xi)的下凸函数，的下凸函数，所以在所以在PD集合（满足保真度准则的试验信道的集集合（满足保真度准则的试验信道的集合）内，极小值存在。该极小值就是在失真度准合）内，极小值存在。该极小值就是在失真度准则的条件下，信源必须传输的最小平均互信息量。则的条件下，信源必须传输的最小平均互信息量。l 对于离散无记忆信源对于离散无记忆信源K维信源矢量的信息率失真函数维信源矢量的

17、信息率失真函数RK(D) x信源的一个输出序列；信源的一个输出序列；y信宿的一个接收序列；信宿的一个接收序列； N维信源矢量的平均失真度。维信源矢量的平均失真度。( | ):( | ):( )min(; )min(; )min(;)KKKKijidKDp y x dKDp y x dKDRDI X YI X YI p PKd信息率失真函数信息率失真函数R(D) 的等效定义的等效定义 称称D(R)为为失真信息率函数失真信息率函数，是，是R(D)的逆函的逆函数，它是求在允许最大速率情况下的最小失真数，它是求在允许最大速率情况下的最小失真D 。()m in:(;)()jiRijiijPPijRjiD

18、 Rdp P dPPIX YR 给 定 速 率【总结总结】（1）由定义，由定义，R(D)函数是在限定失真为最大允许失真函数是在限定失真为最大允许失真D时信时信源最小信息传输速率，它是通过改变试验信道特性来达到的。源最小信息传输速率，它是通过改变试验信道特性来达到的。所以所以R(D)是表示不同是表示不同D值时对应的理论上最小信息速率值。值时对应的理论上最小信息速率值。（2）在研究信息率失真函数在研究信息率失真函数R(D)时，引用的的信道传输概时，引用的的信道传输概率率 p(yj|xi)并没有实际信道的含义，是为了求平均互信息量极并没有实际信道的含义，是为了求平均互信息量极小值而引用的假想可变试验

19、信道。即不同的试验信道特性小值而引用的假想可变试验信道。即不同的试验信道特性Pij求解出不同的信息率失真求解出不同的信息率失真R(D)函数，它与理论上最佳的函数，它与理论上最佳的R(D)之间存在着差异，它反映了不同方式信源编码性能的优劣，之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是这也正是R(D)函数的理论价值所在。函数的理论价值所在。（3）研究信息率失真函数是为了解决在已知信源和允许失真研究信息率失真函数是为了解决在已知信源和允许失真度的条件下，如何使信源传送给信宿的信息量最小的问题，度的条件下，如何使信源传送给信宿的信息量最小的问题，也就是说在一定失真度也就是说在一定失真度

20、D条件下，尽可能用最少的码符号来条件下，尽可能用最少的码符号来传送信源消息，使信源消息尽快地传送出去，以提高通信的传送信源消息，使信源消息尽快地传送出去，以提高通信的有效性。有效性。（4）信息率失真函数的物理意义：对于给定信源，在平均失对于给定信源，在平均失真不超过失真限度真不超过失真限度D的条件下，信息率容许压缩的最小值为的条件下，信息率容许压缩的最小值为R(D)。限失真信源编码定理限失真信源编码定理( (香农第三定理香农第三定理) )12,.,0RRR(D)时，只要信源序列长度N足够长，一定存在一种编码方法，使译码后的平均失真度D+ ；反之，若R(D)，则无论用什么编码方法，必有 D，即译

21、码平均失真必大于允许失真。信源编码器的目的：信源编码器的目的： 使编码后所需的信息传输率使编码后所需的信息传输率R尽量小尽量小,给出一个失真的限给出一个失真的限制值制值D，在满足保真度准则条件下，选择一种编码方法，在满足保真度准则条件下，选择一种编码方法，使信息率使信息率R尽可能小。尽可能小。例例1： 阴影范围表示实际信源编阴影范围表示实际信源编码方案与理论值间的差距，码方案与理论值间的差距，我们完全可以找到更好，我们完全可以找到更好，即更靠近理论值，缩小阴即更靠近理论值，缩小阴影范围的信源编码，这就影范围的信源编码，这就是工程界寻找好的信源编是工程界寻找好的信源编码的方向和任务。码的方向和任

22、务。12()R D若已知这一类信源理论上的R(D)=H()-H(D),则可画出理论与实际曲线图：例例2：设信源具有设信源具有100个以等概率出现的符号个以等概率出现的符号a a1 1， a a2 2， a a9999，a a100100，并以每秒发出一个符号的速率，并以每秒发出一个符号的速率从信源输出。试求在允许失真度从信源输出。试求在允许失真度D D0.10.1条件下，传条件下，传输这些消息所需要的最小信息率？输这些消息所需要的最小信息率？ 解：解：在不失真传输条件下的信息率在不失真传输条件下的信息率R R为：为： 因为允许失真度因为允许失真度D D0.10.1，可设想信源，可设想信源100

23、100个符号经过个符号经过假想的试验信道只输出假想的试验信道只输出a a1 1， a a2 2， a a8989，a a9090，即输出，即输出9090个符号，而余下的个符号，而余下的a a9191， a a100 100 都用都用a a9090代替代替()log1006.6441H XRb（bit/s）该试验信道及信道传输速率示意图如下：该试验信道及信道传输速率示意图如下： 信源a1, a2,., a99, a100试验信道p(yj|xi)无扰离散信道失真信源a1a100a1a90(a)XYa1a2a90a91a100a90a2a1(b) 除除a a1 1， a a2 2， a a8989，

24、a a9090对应位置上的元素为对应位置上的元素为0 0外，外，其余元素为其余元素为1 1或或（假想试验信道传输概率假想试验信道传输概率P(P(yj|xi) )为为零时，所对应的零时，所对应的d dij为无限大）为无限大） 1290919210012909192100000111aaaaaaaaaDaaa失真矩阵：该失真信源的组合方案的平均失真函数为：该失真信源的组合方案的平均失真函数为： 2211)|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中：上式中： X1Y1a1， a2， a89，a90，属于不失真的符号集合，属于不失

25、真的符号集合，对应对应dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，属于失真集合，对应，属于失真集合，对应dij1，其中其中i91，91，100，j90 据题意，据题意，P(P(xi) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函数：所以得平均失真函数： 可见，这样设想的失真信源的组合方案能满足对失可见，这样设想的失真信源的组合方案能满足对失真度的要求。真度的要求。 22()(|)1101 10.1100ijiijX YdP xP yxd 该试验信道为无噪有损信道，即该试验信道为无噪有损信道，即H(Y|X)=0,H(Y|X)=0,

26、所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在试验信道的输出端在试验信道的输出端Y Y，a a1 1， a a2 2， a a8989的出现概的出现概率仍为率仍为1/1001/100, ,而而a a9090的出现概率的出现概率P(aP(a9090) )11/10011/100，可知相，可知相应的信息传输速率为：应的信息传输速率为： 899019011()log()log()()11110089log100log10010011log1000.11log116.264 (/ )iiiRP aP aP aP abits 比较比较

27、R R与无失真传输条件下的信息率与无失真传输条件下的信息率R ,R ,可知在可知在D D0.10.1的的条件下，所需信息率减小了条件下，所需信息率减小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的条件下的条件下( (假定后假定后5050个符号均产生失真，这后个符号均产生失真，这后5050个符号均用个符号均用a a5050来代替来代替) )信息率信息率R”R”为：为： 495015011()log()log()()15110049log100log10010051log1000.51log513.751(/ )iiiRP

28、 aP aP aP abit s 与无失真传输条件下的信息率与无失真传输条件下的信息率R R想比较减小想比较减小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(1) 求极值问题求极值问题l 平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率密度或概率密度函数函数p(x)的上凸函数。根据上凸函数定义，如果的上凸函数。根据上凸函数定义，如果I(X;Y)在定义域在定义域内对内对p(xi)或或p(x)的极值存在，则该极值一定是极大值。信道容的极值存在，则该极

29、值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即量就是在固定信道情况下，求平均互信息极大值的问题，即 l I(X;Y)又是信道转移概率分布又是信道转移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或或条件概率密度函数条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则的下凸函数，因此在满足保真度准则条件下，条件下，I(X;Y)对对p(yj/xi)或或p(y/x)的条件极值若存在，则一定是的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的

30、问题，即信道）中寻找平均互信息极小值的问题，即 (|)()min(; )jiDP y xPR DI X Y()max (; )ip xCI X Y信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(2) 特性特性l 信道容量信道容量C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p(yj/xi)或条件或条件概率密度概率密度p(y/x)有关，反映信道特性，与信源特性无关；由于平有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均

31、互信息影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，信道不同，C亦不同。亦不同。l 信息率失真函数信息率失真函数R(D)一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布p(xi)或概率密度函数或概率密度函数p(x)有关，反映信源特性，与信道特性无关。有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使率失真函数的影

32、响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，仅与信源特性有关，信源不同，R(D)亦不同。亦不同。(3) 解决的问题解决的问题l 信道容量是为了解决通信的可靠性问题，是信息传输的理论信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；基础，通过信道编码增加信息的冗余度来实现；l 信息率失真函数是为了解决通信的有效性问题，是信源压缩信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实

33、现。的理论基础，通过信源编码减少信息的冗余度来实现。 5.3 信息率失真函数的性质信息率失真函数的性质1.R(D)函数的定义域函数的定义域(1) Dmin和和R(Dmin)R(Dmin)R(0)=H(X) 通常最小允许失真度通常最小允许失真度Dmin为零，在为零，在D0条件下，因为不允条件下，因为不允许失真，所以许失真，所以X和和Y集合的各个消息符号都一一对应，这相当于集合的各个消息符号都一一对应，这相当于假想的试验信道是无扰离散信道的情况。在这种信道上，有：假想的试验信道是无扰离散信道的情况。在这种信道上，有： I(X;Y) H(X) H(Y) 所以，所以，R(0)=H(X)，且，且R(0)

34、是是R(D)的上限值的上限值当给定信源以及失真矩阵当给定信源以及失真矩阵D，信源的最小平均失真度，信源的最小平均失真度min11min( ) (|) ( ,)( )min(|) ( ,)ijiijijnmijiijijDp x p yx d x yp xp yx d x y由上式可以知道，若选择试验信道由上式可以知道，若选择试验信道 ，使对每一个，使对每一个的求和式的求和式 为最小，则总和值达到最小。当为最小，则总和值达到最小。当固定某个固定某个 ，那么对于不同的，那么对于不同的 其其 不同（即在不同（即在失真矩阵失真矩阵D中第中第i行的元素不同），其中必有最小值，行的元素不同），其中必有最小

35、值，也可能有若干个相同的最小值。于是，可以选择这样的试验也可能有若干个相同的最小值。于是，可以选择这样的试验信道，它满足信道，它满足(|)jip yx( )ip x(|) ( ,)jiijp yx d x y( )ip xjy( ,)ijd x y(|)1(|)0jjiyjip yxp yx所有所有( ,)ijd x y最小值的最小值的yj( ,)ijd x y所有所有最小值的最小值的yj可见，允许失真度可见，允许失真度D是否能为零，这与单个符号的失真函数是否能为零，这与单个符号的失真函数有关，只有当失真矩阵中每行至少有一个零元素时，信源的有关，只有当失真矩阵中每行至少有一个零元素时，信源的平

36、均失真度才能达到零值，否则，最小平均失真度不等于零。平均失真度才能达到零值，否则，最小平均失真度不等于零。如果如果Dmin0，可以适当改变单个符号的失真度，令，可以适当改变单个符号的失真度，令使使Dmin=0。而对信息率失真函数来说，它只是起了坐标平移。而对信息率失真函数来说，它只是起了坐标平移作用。所以可以假设作用。所以可以假设Dmin=0而不失其普遍性。而不失其普遍性。可见，只有当失真矩阵中每行至少有一个零，可见，只有当失真矩阵中每行至少有一个零， 才等才等于于 ；否则小于；否则小于 。这时表示信源符号集中有些符号可。这时表示信源符号集中有些符号可以压缩、合并，但是没有任何失真。以压缩、合

37、并，但是没有任何失真。则可以得信源的最小平均失真度为则可以得信源的最小平均失真度为min1( )min ( ,)niijjiDp xd x y( ,)( ,)min ( ,)ijijijjd x yd x yd x y(0)R()H X()H X例：删除信源例：删除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩阵为。而失真矩阵为求求Dmin。min1( )min ( ,)( ) 00nniijijiiDp xd x yp x满足最小失真度的试验信道是个无噪无损信道，转移矩阵为满足最小失真度的试验信道是个无噪无损信道，转移矩阵为100010Q在这个无噪无损信道中，可得在这个无噪无损

38、信道中，可得(; )()I X YH X( / )(0)min (; )()Dp y xPRI X YH X例：例：(2) Dmax和和R(Dmax)最大允许失真度最大允许失真度Dmax的含义是使平均互信息量等于零时所允许的的含义是使平均互信息量等于零时所允许的失真度，即失真度，即R(Dmax)0 在在Dmax条件下，条件下，R(Dmax)I(X;Y)0，这意味着，这意味着X和和Y集合之间没集合之间没有任何信息量的关连，有任何信息量的关连，X和和Y相互独立相互独立 当当D Dmax 也有也有R(D)0 X X和和Y Y相互独立的条件下，对各个相互独立的条件下，对各个xi，有，有P(P(yj|xi) ) P(P(yj) )