第四章信息率失真函数

第四章信息率失真函数胡君红jhhu@信息率失真理论连续信源的信息量无限大，不可能无失真地传送连续信源的信息。现实生活中允许一定的失真存在。信息率失真理论主要研究信息率与允许失真之间的关系。连续信源的率失真理论是连续信源量化、压缩的理论基础。I(X;Y)性质回顾I(X;Y)是p(x)和p(y/x)的二元函数I(X;Y)是p(x)的上凸函数I(X;Y)是p(y/x)的下凸函数信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理4.1基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数失真函数与平均失真度基本概念失真函数常用的失真函数平均失真度离散无记忆信道的N次扩展信道的平均失真失真函数基本概念对任一指定一个非负数称为单个符号的失真度或失真函数。常用的失真函数常用的失真函数汉明失真函数平方误差失真函数基本概念平均失真度平均失真度基本概念———保真度准则N次扩展信道的平均失真基本概念N次扩展信道的平均失真N次扩展信道的平均失真基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数信息率失真函数的定义试验信道信息率失真函数信息率失真函数和信道容量的区别试验信道当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则。凡满足要求的信道称为D失真许可的试验信道，简称试验信道。试验信道对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道，其试验信道为：信息率失真函数对于离散无记忆信源的N次扩展信源和离散无记忆信道的N次扩展信道：信息率失真函数在研究R(D)时，引用的条件概率p(y/x)并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。信道容量和信息率失真函数R(D)是在允许失真D和信源概率分布已给定的条件下，求平均互信息的极小值问题；Ｃ是在信道特性已知的条件下求平均互信息的极大值问题。Ｃ是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；R(D)是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。基本概念失真函数与平均失真度信息率失真函数的定义信息率失真函数的性质信息率失真函数信息率失真函数的性质定义域：R(D)是D的下凸函数R(D)的单调递减性和连续性R(D)的定义域Dmin和R(Dmin)Dmax和R(Dmax)Dmin和R(Dmin)Dmax和R(Dmax)Dmax和R(Dmax)假定所有Dj中，Ds最小，令R(D)的定义域R(D)的定义域为(Dmin，Dmax)Dmin=0时，R(Dmin)=H(X)D≥Dmax时，R(D)=0Dmin<D<Dmax时，H(X)>R(D)>0R(D)对允许平均失真度的下凸性R(D)是允许平均失真度D的下凸函数R(D)对允许平均失真度的下凸性R(D)对允许平均失真度的下凸性R(D)对允许平均失真度的下凸性定义新试验信道：R(D)对允许平均失真度的下凸性由I(X;Y)对p(yj/xi)的下凸性：率失真函数的单调递减和连续性DH(x)R(D)信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数二元信源的R(D)函数二元信源信宿。失真矩阵为：二元信源的R(D)函数(1)求，：满足该最小失真的试验信道的信道矩阵为：二元信源的R(D)函数(2)求，：达到最大允许失真度的试验信道为：二元信源的R(D)函数选取任一信道使(3)求一般情况下时的，平均互信息为：二元信源的R(D)函数为此，必须找到一个试验信道，使根据费诺不等式，当n=2时有：所以：且二元信源的R(D)函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。二元信源的R(D)函数在所设试验信道的条件下：二元信源的R(D)函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下二元信源的R(D)为：离散信源的信息率失真函数二元信源的R(D)函数等概率离散信源的R(D)函数等概率离散信源的R(D)函数信源，信宿失真函数为汉明失真函数，即：等概率离散信源的R(D)函数经过计算，可以得到：R(D)的定义域为：等概率离散信源的R(D)函数选取任一信道使，平均互信息为：为此，必须找到一个试验信道，使根据费诺不等式有：所以：且等概率离散信源的R(D)函数引进一个“反向”的试验信道：计算可以得到：即所设的反向试验信道是存在的。等概率离散信源的R(D)函数在所设试验信道的条件下：等概率离散信源的R(D)函数在该试验信道中：即所选择的试验信道正是满足，而平均互信息达到最小值的信道。综上所述，在汉明失真测度下n元对称信源的R(D)为：信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理连续信源的信息率失真函数连续信源信息率失真函数的参量表达式高斯信源的信息率失真函数信息率失真函数与信息价值连续信源信息率失真函数的参量表达式定义：定义PD为满足保真度准则的试验信道集合Inf:下确界连续信源信息率失真函数的参量表达式高斯信源的信息率失真函数高斯信源的信息率失真函数(条件方差)高斯信源的信息率失真函数根据詹森不等式：高斯信源的信息率失真函数高斯信源的信息率失真函数0.00.81.0D/σ2R(D)当D＝σ2时，R(D)＝0。即：如果允许失真等于信源的方差，则只需用均值m来表示信源输出，而不需要传送信源的任何实际输出。当D＝0时，R(D)∞。即：在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。当D＝0.25σ2时,R(D)=1。即：允许均方误差小于或等于σ2/4时，连续信号的每个样本值最少需要用一个二元符号来传输。1.01.2高斯信源在均方误差准则下的R(D)函数信息率失真函数与信息价值平均损失例：合格品x1，废品x2，生产过程抽象成信源把检验过程看作信道，检验结果即为信道输出。信息率失真函数与信息价值y1：检验合格y2：检验不合格合格品报废：废品出厂：信息率失真函数与信息价值1、不经检验全部出厂：2、不经检验全部报废：信息率失真函数与信息价值3、检验完全正确：信息率失真函数与信息价值4、检验不十分可靠：比最大损失减少了：0.99-0.199=0.791元信息率失真函数与信息价值信息率失真函数与信息价值定义：信息率R的价值为：价值率：信息率失真函数4.1基本概念4.2离散信源的信息率失真函数4.3连续信源的信息率失真函数4.4保真度准则下的信源编码定理保真度准则下的信源编码定理

——香农第三定理设一离散平稳无记忆信源X=(X1X2…XL)，若该信源的信息率失真函数为R(D)，并选定有限的失真函数。对于任意允许平均失真度D≥0和任意小的ε>0，当信息率R>R(D)，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度反之，若R<R(D)，则无论用什么编码方式，必有保真度准则下的信源编码定理

——香农第三定理是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题：符合实际信源的R(D)函数的计算相当困难。需要对实际信源的统计特性有确切的数学描述需要对符合主客观实际的失真给予正确的度量即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数R(D)的计算也较困难即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。定理说明，在允许失真D的条件下，信源最小的、可达的信息传输率失信源的R(D)。当信源给定后，无失真信源压缩的极限值是信源熵H(X)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般有R(D)<H(X)。香农三大定理的关系和比较无失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信源熵H(S)信源压缩的极限值：率失真函数R(D)存在性存在性定理香农三大定理的关系和比较信道编码定理限失真信源编码定理给定信道特性p(y|x)给定信源p(x)及失真测度d(x,y)对于假设的信源p(x)对于假设的试验信道p(y|x)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真D信道编码存在的条件R≤C限失真信源编码存在的条件R≥R(D)信道容量公式率失真函数公式存在符合条件的C2,使pe0存在符合条件的C3，使D’≤

D思考题某信源X的熵为H(X)，规定失真函数，选定允许失真度D，求得信息率失真函数R(D)。根据限失真信源编码定理，总可以找到