第四章信息率失真函数改

第四章信息率失真函数改第一页，共三十六页，编辑于2023年，星期五前一章介绍的信道容量告诉我们：只要信道的信息传输速率小于信道容量，则总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小；反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。第二页，共三十六页，编辑于2023年，星期五实际通信系统允许一定的失真存在,有时也没必要要求完全无失真传输。1打电话；2放电影，视觉暂留性。每秒传送25帧图,可以满足人类视觉要求;几千HZ到十几千HZ可以满足人类听觉要求.第三页，共三十六页，编辑于2023年，星期五香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。本章主要介绍信息率失真理论的基本内容，侧重讨论离散无记忆信源。首先给出信源的失真度和信息率失真函数的定义与性质；然后讨论离散信源和连续信源的信息率失真函数计算；在这基础上论述保真度准则下的信源编码定理。第四页，共三十六页，编辑于2023年，星期五§4.1信息率失真函数第五页，共三十六页，编辑于2023年，星期五

1、失真函数信源信源编码信道编码信道信道译码信源译码信宿干扰根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。我们称此信道为试验信道。§4.1.1失真函数和平均失真度

第六页，共三十六页，编辑于2023年，星期五信源信宿试验信道现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。设离散信源概率分布为称为单个符号的失真度（或称失真函数）.经信道传输后输出序列为:对任一指定一个非负数第七页，共三十六页，编辑于2023年，星期五

失真函数用来表征信源发出一个符号ai，而在接收端再现成符号bj所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式：我们称它为失真矩阵。第八页，共三十六页，编辑于2023年，星期五

[例]删除信源。信源变量U＝{u1,u2,…ur}，接收变量V＝{v1,v2,…vs}(s=r+1)。定义其单个符号失真度为：其中接收符号vs作为一个删除符号。在这种情况下，意味着若把信源符号再现为删除符号vs时，其失真程度要比再现为其他接收符号的失真程度少一半。若二元删除信源s＝2，r＝3，U＝{0,1}，V＝{0,1,2}。失真度为：则d(0,0)=d(1,2)=0d(0,2)=d(1,0)=1d(0,1)=d(1,1)=1/2除j=s以外所有的j和i所有i第九页，共三十六页，编辑于2023年，星期五1常用失真函数汉明失真称为第十页，共三十六页，编辑于2023年，星期五2称平方误差失真函数.如:第十一页，共三十六页，编辑于2023年，星期五绝对值误差失真测度信源输出符号X={0,1,2}，信道输出符号Y={0,1,2}

，给出失真测度dij=︱xi-yj︱

i,j=0,1,2则失真测度矩阵为

第十二页，共三十六页，编辑于2023年，星期五由于ai和bj都是随机变量，所以失真函数d(ai，bj)也是随机变量，限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为平均失真度，记为

平均失真度平均失真是对在给定信源分布p(x)条件下，通过有扰信道传输而引起失真的统计平均度量。

第十三页，共三十六页，编辑于2023年，星期五

若平均失真度不大于我们所允许的失真D(预先给定的某一限定值)，我们称此为保真度准则。凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示。第十四页，共三十六页，编辑于2023年，星期五N次扩展信道的平均失真度：输入第十五页，共三十六页，编辑于2023年，星期五输出第十六页，共三十六页，编辑于2023年，星期五第十七页，共三十六页，编辑于2023年，星期五由信源和信道的无记忆性第十八页，共三十六页，编辑于2023年，星期五第十九页，共三十六页，编辑于2023年，星期五例:设信源X取值于{0,1},失真函数数分别为d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1.其N=3次扩展信源的输入X=X1X2X3,经信道传导输后,输出为Y=Y1Y2Y3,求失真矩阵[D(N)].第二十页，共三十六页，编辑于2023年，星期五信源编码器XY假想信道将信源编码器看作信道§4.1.2信息率失真函数定义第二十一页，共三十六页，编辑于2023年，星期五

信源编码器的目的是使编码后所需的信息传输率R尽量小，然而R越小，引起的平均失真就越大。给出一个失真的限制值D，在满足平均失真

D的条件下，选择一种编码方法使信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。将此问题对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率p(bj/ai)就对应信道转移概率。

第二十二页，共三十六页，编辑于2023年，星期五D失真许可的试验信道平均失真由信源分布p(ai)、假想信道的转移概率p(bj/ai)和失真函数d(ai,bj)决定，若p(ai)和d(ai,bj)已定，则调整使1、D允许试验信道

第二十三页，共三十六页，编辑于2023年，星期五2、信息率失真函数R(D)

由于互信息取决于信源分布和信道转移概率分布，当p(ai)一定时，互信息I是关于p(bj/ai)的下凸函数，存在极小值。因而在上述允许信道PD中，可以寻找一种信道p(bj/ai)使给定的信源p(ai)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即

第二十四页，共三十六页，编辑于2023年，星期五R(D)的物理意义：对于给定的信源，在满足保真度准则下，必须传送的最小信息量，它既反映了用户容忍程度,也反映了信息率允许压缩的最小值，R(D)越大,越难压缩，反之可压缩率就大.对于固定的信源分布，平均互信息量I(X;Y)是信道转移概率p(bj/ai)

的下凸函数。也就是说:存在一个信道使某一特定信源经过此信道传输时，信道的平均互信息达到极小值.

第二十五页，共三十六页，编辑于2023年，星期五N次无记忆扩展信源和信道：第二十六页，共三十六页，编辑于2023年，星期五允许失真度D的下限可以是零，即不允许任何失真的情况。

1、R(D)的定义域R(D)的定义域为且：§4.1.3率失真函数性质不允许失真,此时H(X/Y)=0;也可理解为不允许压缩信源.R(D)的定义域为[Dmin，Dmax]。通常Dmin=0，R(Dmin)=H(X)当D≥Dmax时,R(D)=0当0≤D≤Dmax时,0＜R(D)＜H(X)第二十七页，共三十六页，编辑于2023年，星期五解：[例]设试验信道输入符号集，各符号对应概率分别为p={1/3,1/3,1/3}，失真矩阵如下所示，求和以及相应的试验信道的转移概率矩阵。

令对应最小失真度的，其它为“0”，可得对应的试验信道转移概率矩阵为

第二十八页，共三十六页，编辑于2023年，星期五上式中第二项最小，所以令，，可得对应的试验信道转移概率矩阵为第二十九页，共三十六页，编辑于2023年，星期五

2、R(D)是关于平均失真度D的下凸函数设为任意两个平均失真，，则有：3、R(D)

是区间上的连续和严格单调递减函数。由信息率失真函数的下凸性可知，R(D)在上连续。又由R(D)函数的非增性且不为常数知，R(D)是区间上的严格单调递减函数。第三十页，共三十六页，编辑于2023年，星期五信息率失真函数的一般形状第三十一页，共三十六页，编辑于2023年，星期五§4.2离散信源的信息率失真函数求解只提供思路第三十二页，共三十六页，编辑于2023年，星期五离散信源R(D)计算给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式,一般比较困难。通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。第三十三页，共三十六页，编辑于2023年，星期五二元对称信源的R(D)函数设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},汉明失真矩阵因而最小允许失真度Dmin=0。并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为第三十四页，共三十六页，编辑于2023年，星期五计算得：R(