第四章信息率失真函数

第4章：信息率失真函数总结

失真函数用来表征信源发出一个符号ai，而在接收端再现成符号bj所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式：我们称它为失真矩阵。1常用失真函数汉明失真称为2称平方误差失真函数.如:【例】

绝对值误差失真测度信源输出符号X={0,1,2}，信道输出符号Y={0,1,2}

，给出失真测度dij=︱xi-yj︱

i,j=0,1,2则失真测度矩阵为

由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为

平均失真度

若平均失真度不大于我们所允许的失真D(预先给定的某一限定值)，我们称此为保真度准则。凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示。N次扩展信道的平均失真度：由信源和信道的无记忆性2、信息率失真函数R(D)

由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p(bj/ai)使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即

R(D)的物理意义：对于给定的信源，在满足保真度准则下，必须传送的最小信息量,它既反映了用户容忍程度,也反映了信息率允许压缩的最小值,R(D)越大,越难压缩,反之可压缩率就大.对于固定的信源分布，平均互信息量I(X;Y)是信道转移概率p(bj/ai)的下凸函数。也就是说:存在一个信道使某一特定信源经过此信道传输时，信道的平均互信息达到极小值.

N次无记忆扩展信源和信道：DH(X)R(D)离散连续§4.1.3率失真函数性质定义域：1D=0R(D)=H(X)连续：不允许失真,此时H(X/Y)=0;也可理解为不允许压缩信源.连续信源的信息量为无穷大,信道容量有限,要无失真传送是不可能的.此时可理解为信道完全中断（信源与信宿无关），那么有：Dmax如何求?当D>=Dmax

时，对应的失真最大，已没有意义，时这种情况下D对应着R

(D)也为0，所以定义域的上界值Dmax定义为： =min{D:I(X;Y)=0}

可以得到计算Dmax的公式:

j=1,2,…,m

下凸性2DH(X)R(D)离散连续连续和单调递减性3DH(X)R(D)离散连续定义连续信源的信息率失真函数下确界定义PD为满足保真度准则:设平均互信息:的试验信道集合.则连续信源的信息失真函数定义为:CR(D)的上凸函数

的下凸函数的极大值

的条件极小值

的函数的函数仅与信道特性有关仅与信源特性有关解决可靠性问题解决有效性问题信息传输的基础信源压缩的基础信道容量与率失真函数比较

对偶问题：信道容量和信息率失真函数的问题，都是求平均互信息极值问题。分三个方面说明：求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)的上凸函数，信道容量就是在固定信道情况下，求平均互信息极大值的问题，即I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)的下凸函数，信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)有关，反映信道特性，与信源特性无关；信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)有关，反映信源特性，与信道特性无关。解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。香农第三定理

设R(D)是离散无记忆信源的信息率失真函数并且失真函数为有限值．对于任意的允许失真度D≥0和任意小的正数ε>0，当信息率R满足:R>R(D)时,只要信源序列长度L足够长时，一定存在一种编码C，使编码后的平均失真度反之,若R<R(D),则无论用什么编队码方式,必有即译码失真度必大于允许失真度.限失真信源编码定理也是一个极限存在定理，不能像无失真信源编码定理那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码，至今尚无合适的可实现的编码方法来接近R(D)这个极限。常用的限失真信源编码有量化编码、预测编码、变换编码。香农三大定理的共同点:H(X)、C、R(D)分别为临界值，衡量通信能否满住要求的重要界限。则研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概