信息论与编码信息率失真函数与限失真编码市公开课一等奖百校联赛特等奖课件

1第5章信息率失真函数

与限失真编码信道编码定理即使告诉我们，有噪声信道无失真编码似乎是可能，不过，这里无失真只能无限迫近于0，而无法到达0，除非编码分组长度是无穷大，所以从这个角度，有噪声信道无失真要求也是不可能。然而在实际生活中，人们普通并不要求完全无失真恢复信息，通常要求在确保一定质量(一定确保度)条件下再现原来消息，也就是说允许失真存在。学习得来终觉浅，绝知此事要自悟第1页2

第5章信息率失真函数

与限失真编码

不一样要求允许不一样大小失真存在，完全无失真通信既不可能也无必要，有必要进行将失真控制在一定程度内压缩编码，我们称为限失真编码。

信息率失真理论是进行量化、数模转换、频带压缩和数据压缩理论基础。本章主要介绍信息率失真理论基本内容及相关编码方法。第2页第5章信息率失真函数

与限失真编码怎样进行这种限失真编码呢？考虑我们前面提出问题，假如要将有10万位小数1-100之间数字进行压缩，我们能够采取四舍五入方法，将这个数转换为只有10位小数数值，因为小数点10位之后数值都是微不足道，所以这种压缩带来失真并不大。我们能够了解为将一个集合中元素映射为另外一个集合中压缩，或者是映射为原集合中一部分元素。第3页5.1失真测度5.1.1系统模型5.1.2失真度与平均失真度第4页5.1.1系统模型经过前面例子和讨论，我们能够建立研究限失真信源编码（有损压缩）系统模型：信源发出消息X经过有失真信源编码输出为Y，因为是有失真编码，所以X和Y元素不存在一一对应关系，我们能够假设X经过一个信道输出Y，这种假想信道我们称为试验信道。这么，我们就能够经过研究信道互信息来研究限失真编码，而X和Y关系也能够用转移概率矩阵（信道矩阵）来表示。第5页5.1.1系统模型图5-1限失真编码模型除了描述输入输出关系外，我们还关心怎样才能限制失真问题，因为这一切都是建立在限失真要求之上，既然要限制失真，就需要相关于失真度量。第6页5.1.2失真度与平均失真度怎样来度量失真呢？我们先从最为简单单个符号信源失真度量（distortionmeasure）开始，然后以此为基础来建立更多符号失真度量。1.单个符号失真度设有离散无记忆信源信源符号经过信道传送到接收端Y，信道转移概率矩阵第7页对于每一对(xi，yj)，指定一个非负函数d(xi，yj)为单个符号失真度或失真函数（distortion-function）。用它来表示信源发出一个符号xi，而在接收端再现yj所引发误差或失真。失真函数是依据人们实际需要和失真引发损失、风险、主观感觉上差异大小等原因人为要求。有时候未必能够证实为何采取这个函数是合理，其它函数没有它好。我们假设发出一个符号，假如收到也是它，则失真为0，假如收到不是它，而是其它符号，则存在失真，失真函数大于0，即有：失真度还可表示成矩阵形式：[D]称为失真矩阵。它是n×m阶矩阵。（5-1）第8页9均方失真：

相对失真：误码失真：绝对失真：前三种失真函数适合用于连续信源，后一个适合用于离散信源。最惯用失真函数

第9页5.2信息率失真函数及其性质 前面我们经过简单分析指出，要进行最大程度压缩，依据香农第一定理，压缩极限为H(Y)=I(X;Y)。不过，我们必须考虑信息压缩造成失真是在一定程度内，所以，这个平均互信息量应该在我们允许失真范围内尽可能小。从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引发失真(或误差)是相关，对信息进行压缩效果与失真也是相关。第10页5.2信息率失真函数及其性质5.2.1信息率失真函数定义5.2.2信息率失真函数性质第11页125.2.1

信息率失真函数定义

为了讨论在允许一定失真D情况下，信源能够压缩极限应该是一个与失真相关函数，我们能够定义信息率失真函数（informationratedistortionfunction）为这一极限，简称率失真函数，记为R(D)。第12页5.2.1

信息率失真函数定义在信源概率分布（P(X)给定）和失真度D给定以后，PD是满足保真度准则试验信道集合，即我们把X和Y当做信道输入输出话，这个信道集合中信道决定性参数就是信道传递（转移）概率p(yj|xi)。第13页5.2.1

信息率失真函数定义在信源和失真度给定以后，信道输入和输出平均互信息I(X;Y)是信道传递概率p(yj|xi)下凸函数，所以在这些满足保真度准则PD集合中一定能够找到某个试验信道，使I(X;Y)到达最小，而这个最小值能够从直观上了解为，而且能够被证实为在保真度准则下信源压缩极限，即信息率失真函数R(D)，所以（5-12）第14页5.2.1

信息率失真函数定义或者能够直接地表述为：其中，R(D)单位是奈特/信源符号或比特/信源符号。关于上面定义式子为限失真编码压缩极限证实，能够利用渐进等分性来证实，本章后面部分会给出证实。信息率失真函数这一命名也表达了信息压缩极限是与允许失真D相对应一个函数，所以下面我们将会讨论这个函数性质。假如说试验信道说法可能会难于了解话，我们能够将试验信道了解为限失真信源编码器输入X和输出Y之间一个概率上映射关系，或者直接了解为概率p(yj|xi)。第15页5.2.1

信息率失真函数定义 在离散无记忆平稳信源情况下，可证得序列信源信息率失真函数：（5-13）从数学上来看，平均互信息是输入信源概率分布∩型上凸函数，而平均互信息是信道传递概率p(yj|xi)U型下凸函数。所以，能够认为信道容量C和信息率失真函数含有对偶性。第16页5.2.1

信息率失真函数定义 研究信道容量C是为了处理在已知信道中传送最大信息量。为了充分利用已给信道，使传输信息量最大而错误概率任意小，就是普通信道编码问题。研究信息率失真函数是为了处理在已知信源和允许失真度D条件下，使信源必须传送给用户信息量最小。这个问题就是在能够接收失真度D条件下，尽可能用最少码符号来传送信源消息，是信源信息尽快地传送出去来提升通信有效性。这是信源编码问题。第17页它们之间对应关系下表5-1所表示：表5-1信道容量C和R(D)比较

信道容量C率失真函数R(D)研究对象信道信源给定条件信道转移概率p(yj|xi)信源分布p(x)选择参数（变动参数）

信源分布p(x)试验信道转移概率或者信源编码器映射关系p(yj|xi)结论求I(X;Y)最大值求I(X;Y)最小值概念上固定信道，改变信源，使信息率最大固定信源，改变信道，使信息率最小(反应)（信道传输能力）（信源可压缩程度）通信上当使得错误概率Pe→0限制下，使传输信息量最大——信道编码在给定D限制下，用尽可能少码符号传送——信源编码对应定理有噪信道编码定理限失真信源编码定理第18页5.2.2

信息率失真函数性质

下面我们来讨论函数R(D)性质，作为一个函数，其函数值处决于自变量，所以我们首先讨论关于它自变量取值范围，即定义域。1.信息率失真函数定义域R(D)自变量是允许平均失真度D，它是人们要求平均失真度上限值。这个值是否能够任意选取呢？其实不然。因为平均失真度值是受制约，而且失真度与平均失真度均为非负值，显然满足下式：（5-14）（5-15）以上最小值计算方法都是直接求各个失真度最小值，然后按照概率加权平均，是否正确，为何？第19页1）最小值对于离散信源，在普通情况下能够采取我们前面定义，当X和Y一一对应时候，此时平均失真度为0，而平均失真度显然不可能小于0，所以Dmin为0，此时，R(Dmin)=R(0)=H(X)。对于连续信源，Dmin趋向于0时，R(Dmin)=R(0)=Hc(X)=∞。连续信源无失真时候，传输信息量是无穷大，实际信道容量总是有限，无失真传送这种连续信息是不可能。只有当允许失真(R(D)为有限值)，传送才是可能。第20页2）最大值信源最大平均失真度Dmax：必须信息率越小，容忍失真就越大。当R(D)等于0时，对应平均失真最大，也就是函数R(D)定义域上界值Dmax最大。因为信息率失真函数是平均互信息极小值，平均互信息量大于等于0，当R(D)=0时，即平均互信息极小值等于0。满足信息率为0D值可能存在多个，不过鉴于我们总是希望失真度最小，存在各种选择时候，总是选择最小值，所以这里定义当R(D)=0时，D最小值为R(D)定义域上限，即Dmax是使R(D)=0最小平均失真度。第21页R(D)=0时，X和Y相互独立，所以，满足X和Y相互独立试验信道有许多，对应地可求出许多平均失真值，这类平均失真值下界就是Dmax。（5-16）令则（5-17）第22页 上式是用不一样概率分布{p(yj)}对Dj求数学期望，取数学期望当中最小一个，作为Dmax。实际上是用p(yj)对Dj进行线性分配，使线性分配结果最小。当p(xi)和失真矩阵已给定时，必可计算出Dj。Dj随j改变而改变。p(yj)是任选，只需满足非负性和归一性。若Ds是全部Dj当中最小一个，我们可取p(ys)=1，其它p(yj)为零，此时Dj线性分配值（或数学期望）必定最小，即有（5-18）第23页 通俗地说，当我们要进行最大程度压缩时候，极端情况就是将输出端符号压缩为一个，我们能够将任意信源符号xi都转换为一个相同符号ys，因为对方接收到符号是确定，所以，能够无需传递任何信息，或者说传递信息量为0。对于不一样ys，会带来不一样失真度，我们当然会选择失真度最小一个。实际上，不是有意去进行理性选择，平均失真度值是能够超出这一值。因为R(D)是非负函数，因为R(D)是用从中选出求得最小平均互信息，所以当D增大时，范围增大，所求最小值小于范围扩大前最小值，所以R(D)为D非增函数。当D增大时，R(D)可能减小，直到减小到R(D)=0，此时对应着。假如当D>Dmax时，依然为零。第24页我们有下面结论：当且仅当失真矩阵每一行最少有一个零元素时，，普通情况下失真矩阵均满足此条件；可适当修改失真函数使得；和仅与和相关。第25页例5-1设试验信道输入符号集，各符号对应概率分别为1/3,1/3,1/3，失真矩阵以下所表示，求和以及对应试验信道转移概率矩阵。解：第26页令对应最小失真度，其它为“0”，可得对应试验信道转移概率矩阵为上式中第二项最小，所以令，，可得对应试验信道转移概率矩阵为第27页5.3离散无记忆信源信息率失真函数5.3.1*离散无记忆信源信息率失真函数5.3.2*连续无记忆信源信息率失真函数第28页5.3.1*离散无记忆信源信息率失真函数 已知信源概率分布P(X)和失真函数d(x，y)，就可求得信源R(D)函数；标准上它与信道容量一样，即在有约束条件下求极小值问题。也就是适当选取试验信道P(y|x)使平均互信息最小化：（5-20）第29页

其约束条件除了保真度准则外，还包含转移概率必定满足一些基本条件，比如非负性、归一化条件：第30页 求解这类极值有好几个方法：如变分法、拉氏乘子（拉格朗日乘子，Lagrangemultiplier）法、凸规划方法等等。应用上述方法，严格地说能够求出解来，不过，假如要求得到显著解析表示式，则比较困难，通常只能用参量形式来表示。这种非显式表示式依然不能直接求解信息率失真函数，必须采取收敛迭代算法求解信息率失真函数。 假如信源和失真矩阵存在某种对称性，则能够大大简化信息率失真函数计算。这里我们先讨论一些简单情形下信息率失真函数计算。 以上求解思绪是否能够处理全部问题？得到解就是进行限失真编码时，某一失真度限制下最合理解吗？第31页 对于等概、对称失真信源，存在一个与失真矩阵含有相同对称性转移概率矩阵分布到达信息率失真函数值。对于n元等概率信源，各个信源符号概率均为1/n，当失真函数对称时，即第32页

定理5-1设信源概率分布为P={p(a1),p(a2),…,p(ar)}，失真矩阵为{d(ai,bj)}r×s。π为{1,2,…,r}上一个置换，使得p(ai)=pπ(ai),i=1,2,…,r，ρ为{1,2,…,s}上一个置换，使得d(ai,bj)=d(π(ai),ρ(bj))，i=1,2,…,r,j=1,2,…,s，则存在一个到达信息率失真函数信道转移概率分布Q={q(bj|ai)含有与{d(ai,bj)}r×s相同对称性，即q(bj|ai)=q(ρ(bj)|π(ai))。该定理证实略。第33页 利用这种性质我们能够降低信道转移概率矩阵未知参数，便于求解。当然，以上定理依然显得复杂，为了确保信源概率分布重排后一定能够与原排列一一对应相等，我们能够直接要求信源等概率分布。此时假如失真矩阵对称，则满足上述定理条件。 我们还能够发觉，汉明失真含有对称性，当信源等概率分布，且失真矩阵为汉明失真矩阵时，即： 显然满足上述条件，能够利用以上定理来简化问题。第34页例5-5有一个二元等概率平稳无记忆信源U={0,1}，接收符号集V={0,1，3}，失真矩阵为

试求其信息率失真函数R(D)。解：求定义域因为信源等概率分布，失真矩阵含有对称性，所以存在着与失真矩阵含有一样对称性转移概率分布到达信息率失真函数。由为了运算方便，取上式中，因为信源等概率，所以（允许失真）给定。第35页则一一对应，要失真为有限值，两个无穷∞对应概率必定为0，转移概率矩阵与失真矩阵对应关系为0对应A，1对应B，考虑归一性，B=1-A，∞对应0，所以依据对应关系，可得代入上述公式，有再将它代入转移概率公式中：第36页由：接收端概率分布，得：三个概率则:平均失真度D一定时候，第37页

图5-4信息率失真函数曲线第38页5.3.2*连续无记忆信源信息率失真函数补充知识：设为实数有界集合。若:(1)每一个满足不等式;(2)对于任何，存在有，使，则数称为集合X下确界。通俗地了解：假如有最小值m，则其最小值就是其下确界，假如其集合中较小值大于m，且无限地趋向于m，则m也是其下确界。与这类似，有上确界概念。第39页连续信源信息量为无限大（取值无限），假如要进行无失真信源编码，编码长度为无穷大，所以连续信源无法进行无失真编码，而必定采取限失真编码。连续信源信息率失真函数定义与离散信源信息率失真函数相类似，不过需要对应地将只需将概率换为概率密度,因为连续性，需要将求和换为积分（本质上是一个求和形式），而失真表示也表示为连续形式,离散信源下最小值替换为下确界。假设连续信源为X，试验信道输出为连续随机变量Y，连续信源平均失真度定义为：(5-21)经过试验信道取得平均互信息为：一样，确定一允许失真度D，凡满足平均失真小于D全部试验信道集合记为PD，则连续信源信息率失真函数定义为：(5-22)第40页严格地说，连续信源情况下，可能不存在极小值，不过下确界是存在，如我们上面讨论无限趋向于下确界。连续信源信息率失真函数依然满足前面信息率失真函数性质（针对于离散信源讨论）。对于N维连续随机序列平均失真度和信息率失真函数也能够类似进行定义。连续信源信息率失真函数计算依然是求极值问题，一样能够采取拉格朗日乘子法进行，较为复杂。这里讨论较为简单高斯信源情形，对高斯信源，在普通失真函数下，其率失真函数是极难求得，但在平方误差失真度量下，其率失真函数有简单封闭表示式。对平方误差失真，试验信道输入符号和输出符号之间失真为：对应平均失真度为：第41页在平方误差失真下，设允许失真为D，则高斯信源率失真函数为：(5-23)其曲线以下列图5-6所表示。图5-6高斯信源在均方误差准则下R(D)函数第42页实际上，我们还能够证实在平均功率受限条件下，正态分布R(D)函数值最大，它是其它一切分布上限值，也是信源压缩比中最小，所以人们往往将它作为连续信源压缩比中最保守预计值。详细见下面定理。第43页定理5-2:对任一连续非正态信源，若已知其方差为,熵为,并要求失真函数为,则其R(D)满足以下不等式：（正态是上限）（5-24）第44页5.4保真度准则下信源编码定理5.4.1*失真ε经典序列5.4.2*保真度准则下信源编码定理证实5.4.3*保真度准则下信源编码逆定理证实第45页5.4保真度准则下信源编码定理 信息率失真函数R(D)是满足保真度准则（D）时所必须含有最小信息率，在进行信源压缩之类处理时，R(D)就成为一个界限，不能让实际信息率低于R(D)。把相关结论用定理形式给出，即限失真信源编码定理，又称为保真度准则下信源编码定理，也就是通常所说香农第三编码定理。 本节中，我们将阐述相关定理，而且从数学上严格证实。为了简化问题，这里我们讨论限于离散无记忆平稳信源，不过所述定理能够推广到连续信源，有记忆信源等普通情况。定理通俗形式以下：第46页

定理5-3：设离散无记忆平稳信源信息率失真函数为R(D)，只要满足R<R(D)，而且失真度是有限，当信源系列长度L足够长时，一定存在一个编码方法，其译码失真小于或等于D+ε，其中ε是任意小正数；反过来，若R<R(D)，则不论采取什么样编码方法，其译码失真必大于D。第47页 该定理包含两部分：R>R(D)情形称为正定理，R<R(D)情形称为逆定理。经过正逆定理说明这个R(D)不大不小，恰好是限失真信源编码界。 另外，该定理与香农第二编码定理（即信道编码定理）一样，只是码存在性定理。正定理告诉我们，R>R(D)时，译码失真小于或等于D+ε码必定存在，但定理本身并未通知码详细结构方法。普通来说，要找到满足条件码，只能用优化思绪去寻求，迄今为止，尚无适当系统编码方法来靠近香农给出界R(D)。反定理告诉我们，R<R(D)时，译码失真必大于D，必定找不到满足条件码，所以用不着浪费时间和精力。第48页 总结起来，香农信息论三个基本概念——信源熵、信道容量和信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求主要极限。对应这三个基本概念是香农三个基本编码定理——无失真信源编码定理、信道编码定理和限失真信源编码定理，分别又称为香农第一、第二和第三编码定理，或第一、第二、第三极限定理。这是三个理想编码存在性定理，它们并不能直接得出对应编码方法，不过对编码含有指导意义。第49页为便于后续证实，将正定理和逆定理分别转换为严格数学形式：定理5-4保真度准则下（限失真）信源编码正定理：设R(D)为一离散无记忆信源信息率失真函数，而且有有限失真测度。对于任意以及任意足够长码长n，则一定存在一个信源编码C，其码字个数为：（5-25）而编码后平均失真度，其中R(D)以h为底，h为编码进制数。假如用二元编码，且R(D)计算以二为底，即以bit为单位，则：。它告诉我们，对于任何失真度，只要码长n足够长，总能够找到一个编码C，使编码后每个信源符号信息传输率，即。而码平均失真度。定理说明在允许失真D条件下，信源最小、可到达信息传输率是信源。第50页定理5-5保真度准则下（限失真）信源编码逆定理：不存在平均失真度为D，而平均信息传输率，任何信源码。即对任意码长为n信源码C，若码字个数，一定有:逆定理告诉我们：假如编码后平均每个信源符号信息传输率小于信息率失真函数,就不能在保真度准则下再现信源消息，即失真必定超出D。第51页5.4.1*失真ε经典序列 正定理证实也可采取联合经典序列及联合渐近等分割性。利用当序列长度趋向于无穷大时候表达出来大数定律性质。当序列长度趋向于无穷长时候，有些序列表达出均等化性质，而且这些序列概率和趋向于1，我们称为经典序列，而其它序列概率则趋向于0，能够忽略，限失真编码压缩就表达在对这些非经典序列忽略上。在对于限失真编码讨论中新增了失真测度条件。所以，在证实定理前，我们先给出失真经典序列和证实定理所需用到定义、结论。第52页定义:设单符号空间联合概率分布为P(x,y)。其失真度为d（x，y）。若任意>0，有n长序列对满足：（5-26）（5-27）（5-28）（5-29）则称为失真ε经典序列或简称失真经典序列。第53页序列信源单个符号失真度：（5-30）序列联合概率等于单个符号联合概率累积结果=（5-31）所以，依据大数定律，以概率（也称为依概率）收敛于单个随机变量均值第54页引理5-1:设随机序列和，它们各分量之间都是相互统计独立且同分布，而且满足=当，则（5-32）引理5-2：对全部，有（5-33）香农第三定理证实中要用到下面一个有趣不等式。引理5-3：对于，有（5-34）说明：其中e为自然常数e=2.71828……。第55页5.4.2*保真度准则下信源编码定理证实 定义了失真经典序列后，我们能够来证实信源编码定理，证实R(D)是在允许失真D条件下信源最大信息传输率。第56页证实：设信源序列是统计独立等同分布随机序列，其概率分布为。又设此单个符号信源失真测度为，信源率失真函数为。设到达试验信道为，在这试验信道中。现需证实，对于任意时，存在一个信源符号信息传输率为信源编码。其平均失真度小于或等于。第57页对于某固定码书C和>0，我们将信源序列空间中信源序列分成两大类型：（1）信源序列：在码书中存在一个码字，使其。这是因为，与是组成失真经典序列对，所以它们是亲密相关，而且满足<则得又因这些失真经典序列总体出现概率靠近等于1，所以这些失真经典序列对平均失真度贡献最多等于（2）另一类信源序列：在码书中不存在一个码字，使与组成失真经典序列对。即，。设这些序列总体出现概率为。因为每个信源序列最大失真为，所以这类信源序列对平均失真贡献最多是。所以，由得（5-37）以上提到，为了让失真满足保真度准则，就需要趋向于0。第58页计算：为了计算，我们设为码中最少有一个码字与信源序列组成失真经典序列正确全部信源序列集合，即（5-38）所以，是因为引发，则（5-39）上式表示，全部不能用码字来描述那些信源序列概率对全部可能产生随机码书进行统计平均，对上式（5-39）交换求和号。这么能够解释为，选择没有码字能描述信源序列随机码书出现概率对全部信源序列进行统计平均。则（5-40）定义函数（5-41）第59页码书C中码字是在空间中依据概率来随即地选取。对于在中随机选取某个码字不与信源序列组成失真经典序列正确概率应等于=（5-42）码书C中共有个码字，而且是独立地、随机地选择。所以，码书中没有码字能描述信源序列随机码书出现概率为（5-43）将上式代入式（5-40）得（5-44）利用引理5-2得（5-45）代入式（5-44）得（5-46）第60页又依据引理5-3，将中n用代替，x用代替，y用代替，得（5-47）代入式（5-46）得（5-48）观察上式（5-48）中最终一项，当选择另若我们选取试验信道恰好是使平均互信息到达试验信道，所以，。所以，当，足够小时，时，最终一项趋于零。第61页式（5-48）中前两项是联合概率分布为序列对不是失真经典序列正确概率。由引理5-1得，当n足够大时（5-49）所以，适当地选择和可使尽可能地小。总而言之，对全部随机编码码书C当，任意选取，只要选择足够大，及适当小，可使（5-50）所以，最少存在一个码书C，其码字个数，即信源符号信息传输率，而码平均失真度。第62页5.4.3*保真度准则下信源编码逆定理证实逆定理是一个不可能形式，显然我们直接去证实极难着手，对于这种结论，普通用反证法先假设其成立，然后得出矛盾来证实。第63页证实：假设存在一个信源编码C，有M个码字，，而且M个码字是从空间中选取序列，它能使得。编码方法仍采取前面所述方法，将全部信源序列映射成码字，而使。依据失真经典序列定义，与是组成失真经典序列，所以她们是彼此经常联合出现序列对。而且又满足<，所以它们之间失真。这种编码方法可看成一个特殊试验信道：（5-51）依据假设则在这个试验信道中，可得又因在这信道中=0，所以平均互信息（5-52）上式（5-52）中不等式是因为在编码范围内，最多只有M个，所以空间最大熵值为。又因为信源是离散无记忆信源，所以有（5-53）第64页设以平均失真再现，则必有又依据信息率失真函数U型凸状性和单调递减性得（5-54）上式最终一项是依据离散无记忆平稳信源求得。所以得或者这个结果与定理假设相矛盾，所以逆定理成立。（5-55）第65页正如前面所述，保真度准则下信源编码定理及其逆定理是有失真信源压缩理论基础。这两个定理证实了允许失真D确定后，总存在一个编码方法，使编码信息传输率，那么编码平均失真度将大于D。假如用二元码符号来进行编码话，在允许一定量失真D情况下，平均每个信源符号所需二元码符号下限值就是R(D)。可见，从香农第三定理可知，R(D)确实是允许失真度为D情况下信源信息压缩下限值。比较香农第一定理和第三定理可知，当信源给定后，无失真信源压缩极限值是信源熵H(S)；而有失真信源压缩极限值是信息率失真函数R(D)。在给定某D后，普通R(D)<H(S)。无失真信源编码能够看成是限失真编码一个特例，依据我们对失真正常定义，普通当输入和输出符号一一对应时，失真才为0，此时，R(0)=H(S)，能够经过限失真信源编码定理来证实无失真信源编码定理。5.5限失真信源编码定理实用意义第66页5.5限失真信源编码定理实用意义类似于无失真信源编码利用信源熵来衡量编码效率一样，信息率失真函数能够用来度量限失真编码在某一失真下编码效率。信源R(D)函数能够作为衡量各种压缩编码方法性能优劣一个尺度。但香农第三定理一样只给出了一个存在定理。至于怎样寻找这种最正确压缩编码方法，定理中并没有给出。在实际应用中，该理论主要存在着几类问题。在实际应用中，该定理主要存在以下两大类问题：第一类问题是符合实际信源R(D)函数计算相当困难。（1）需要对实际信源统计特征有确切数学描述，即概率分布明确；（2）需要对符合主客观实际失真给与正确度量，不然不能求得符号主客观实际R(D)函数。比如，通常采取均方误差来表示信源平均失真度。但对于图像信源来说，均方误差较小编码方法，而人们视觉感到失真较大。所以，人们仍采取主观观察来评价编码方法好坏。所以，怎样定义符合主观和客观实际情况失真测度就是件较困难事。（3）即便对实际信源有了确切数学描述，又有符合主客观实际情况失真测度，而失真率函数R(D)计算也还较困难。第67页 第二类问题是即便求得了符合实际信息率失真函数，还需研究采取何种实用最正确编码方法才能到达极限值R(D)。当前，这两方面工作都有进展。尤其是对实际信源各种压缩方法，如对语音信号、电视信号和遥感图像等信源各种压缩方法有了较大进展。 第三类问题是信息率失真函数求解是在给定试用信道输入输出及其失真矩阵情况下计算，当输出符号集未定时候，我们不能确定到底怎么样符号集才是最优，即使得信息率失真函数值最低。5.5限失真信源编码定理实用意义第68页在信息论中，尤其是信息熵中，许多时候将各个信源符号一视同仁地对待，不过实际上，各个符号有它们语义和语用，在数值上是不一样。这当然带来对应不足，信息率失真函数中失真度量，实际上能够认为是一个很好补充，用于填补对于语义和语用度量缺失，比如，阴天、晴天、大雨、中雨、小雨所代表降雨量、阳光强弱是不一样，且是有不一样幅度差异。现在信息率失真函数也用于度量损失和信息价值，实际上还能够做深入推广。5.5限失真信源编码定理实用意义第69页5.6限失真信源编码限失真信源编码定理指出：在允许一定失真度D情况下，信源输出信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间关系，奠定了信息率失真理论基础。不过它并没有告诉我们怎样进行编码能够到达这一极限值。普通情况下信源编码可分为离散信源编码，连续信源编码和相关信源编码三类。前两类编码方法主要讨论独立信源编码问题，后一类编码方法讨论非独立信源编码问题。离散信源可做到无失真编码，而连续信源则只能做到限失真信源编码，通常我们将限失真信源编码简称限失真编码。无失真编码和限失真编码本身也含有相通之处，有些方法和思想本质上能够同时用于限失真编码和无失真编码。采取限失真编码采取方法主要有矢量量化、预测编码和变换编码。第70页5.6限失真信源编码5.6.1矢量量化编码5.6.2预测编码5.6.3变换编码第71页5.6.1矢量量化编码 量化(Quantization)就是把经过抽样得到瞬时值将其幅度离散，即用一组要求电平，把瞬时抽样值用最靠近电平值来表示。量化普通用于连续信源编码，不过它也能够用于离散信源编码。对小数、实数进行四舍五入，就是一个最为简单通俗例子，比如经过四舍五入取整，会将区间[1.5,2.5)数值都量化为2。 按照量化级划分方式分，有均匀量化（uniformquantization）和非均匀量化。其中最为简单是均匀量化，也称为线性量化，它将输入信号取值域等间隔分割量化。反之，则称为非均匀量化，其范围划分不均匀，普通用类似指数曲线进行量化。非均匀量化是针对均匀量化提出，为了适应幅度大输人信号，同时又要满足精度要求，就需要增加样本位数。不过，对话音信号来说，大信号出现机会并不多，增加样本位数没有充分利用。为了克服这个不足，出现了非均匀量化方法，这种方法也叫做非线性量化。非均匀量化基本想法是，对输人信号进行量化时，大输入信号（概率小）采取大量化间隔，小输入信号采取小量化间隔。这么就能够在满足精度要求情况下，用较少位数来表示。声音数据还原时，采取相同规则。常见非均匀量化有A律和μ率等，它们区分在于量化曲线不一样。均匀量化好处就是编解码很轻易，但要到达相同信噪比占用带宽要大。当代通讯系统中都用非均匀量化。第72页5.6.1矢量量化编码 按照量化维数分，量化分为标量量化(scalarquantization,SQ)和矢量量化(vectorquantization,VQ)...。标量量化是一维量化，一个幅度值对应一个量化结果。而矢量量化是二维甚至多维量化，两个或两个以上幅度值作为一个整体决定一个量化结果。以二维情况为例，两个幅度决定了平面上一点。而这个平面事先按照概率已经划分为N个小区域，每个区域对应着一个输出结果。由输入确定那一点落在了哪个区域内，矢量量化器就会输出那个区域对应码字。无失真信源编码中我们能够看到，对单个符号进行对应信源编码压缩效果比对序列进行信源编码效果要差，类似地，矢量量化因为考虑将一个序列当做整体来对待，能够消除序列内部相关性影响，普通会比标量量化效率更高。 矢量量化中码书码字越多，维数越大，失真就越小。只要适当地选择码字数量，就能控制失真量不超出某一给定值，所以码书控制着矢量大小。第73页5.6.1矢量量化编码 试验证实，即使各信源符号相互独立，多维量化通常也可压缩信息率。因而矢量量化引发人们兴趣而成为当前连续信源编码一个热点。可是当维数较大时，矢量量化尚无解析方法，只能求援于数值计算；而且联合概率密度也不易测定，还需采取诸如训练序列方法。普通来说，高维矢量联合是很复杂，虽已经有不少方法，但其实现还有不少困难，有待深入研究。第74页5.6.2预测编码惯用解除相关性办法是预测和变换，其实质都是进行序列一个映射。普通来说，预测编码有可能完全解除序列相关性，但必需确知序列概率特征；变换编码普通只解除矢量内部相关性，但它可有许多可供选择变换方法，以适应不一样信源特征。下面介绍预测编码普通理论与方法。第75页5.6.2预测编码预测编码（predictioncoding）是数据压缩三大经典技术(统计编码，预测编码，变换编码)之一，它是建立在信源数据相关性之上，由信息理论可知，对于相关性很强信源，条件熵可远小于无条件熵，所以人们常采取尽可能解除相关性方法，使信源输出转化为独立序列，以利于深入压缩码率。我们能够从预测这个名字上来了解预测编码，假如一个序列后面符号由前面若干个符号决定，我们能够认为前面符号能够预测后面符号，这么，我们只需要发送前面符号，后面符号完全能够预测出来。显而易见，这种可预测性是因为符号之间含有相关性。这是一个极端情况，实际上，序列之间相关性可能存在，不过它不足以完全决定后面符号，可能只是能够降低后面符号不确定性，此时从信息论角度来说，前面符号提供了后面符号信息，利用这种相关性也能够进行预测。再举一个例子，一个单一正弦波形，一旦知道了一个周期之内波形，就能够依据周期性重复这个波形来预测后面波形。一样是这个例子，经过波形中若干点能够确定整个波形，所以，我们能够利用这些点完全地预测后面各个位置波形。第76页5.6.2预测编码预测编码基本思想是经过提取与每个信源符号相关新信息，并对这些新信息进行编码来消除信源符号之间相关性。实际中惯用新信息为信源符号当前值与预测值差值，这里正是因为信源符号间存在相关性，所以才使预测成为可能，对于独立信源，预测就没有可能。预测理论基础主要是预计理论。所谓预计就是用试验数据组成一个统计量作为某一物理量估值或预测值，若估值数学期望等于原来物理量，就称这种预计为无偏预计；若估值与原物理量之间均方误差最小，就称之为最正确预计，基于这种方法进行预测，就称为最小均方误差预测，所以也就认为这种预测是最正确。第77页5.6.2预测编码在详细预测编码实现过程中，编码器和译码器都存贮有过去信号值，并以此来预测或预计未来信号值。在编码器发出不是信源信号本身，而是信源信号与预测值之差；在译码端，译码器将接收到这一差值与译码器预测值相加，从而恢复信号。要实现最正确预测就是要找到计算预测值预测函数。这个函数依据数据相关性来决定。第78页5.6.2预测编码设有信源序列，k阶预测就是由前k个数据来预测。可令预测值为：式中函数是待定预测函数。要使预测值含有最小均方误差，必须确知k个变量联合概率密度函数，这在普通情况下较难得到，因而惯用比较简单线性预测方法。线性预测（linearprediction）是取预测函数为各已知信源符号线性函数，即取预测值为：（5-56）其中为预测系数。最简单预测是令 ，称为前值预测，惯用差值预测就属于这类。第79页5.6.2预测编码 利用预测值来编码方法可分为两类：一类是对实际值与预测值之差进行编码，也叫差值预测编码；另一类方法是依据差值大小，决定是否需传送该信源符号。比如，可要求某一阈值T，当差值小于T时可不传送，对于相关性很强信源序列，常有很长一串符号差值能够不传送，此时只需传送这串符号个数，这么能大量压缩码率。这类方法普通是按信宿要求来设计，也就是压缩码率引发失真应能满足信宿需求。 实现预测编码要深入考虑3个方面问题： ⑴预测误差准则选取，比如采取使预测误差均方值到达最小作为准则，或者绝对误差均值最小等。 ⑵预测函数选取； ⑶预测器输入数据选取。第80页5.6.3变换编码预测编码认为冗余度是数据固有，经过对信源建模来尽可能准确地预测源数据，去除数据时间冗余度。不过冗余度有时与不一样表示方法也有很大关系，变换编码是将原始数据“变换”到另一个更为紧凑表示空间，去除数据空间冗余度，可得到比预测编码更高数据压缩。能量集中是指对N维矢量信号进行变换后，最大方差见集中在前M个低次分量之中（M<N）。第81页5.6.3变换编码变换编码（transformcoding）基本原理是将原来在空间(时间)域上描述信号，经过一个数学变换(比如傅里叶变换等)，将信号变到变换域(比如频域等)中进行描述，在变换域中，变换系数之间相关性经常显著下降，并常有能量集中于低频或低序系数区域特点，这么就轻易实现码率压缩，并还可大大降低数据压缩难度。第82页5.6.3变换编码高性能变换编码方法不但能使输出压缩信源矢量中各分量之间相关性大大减弱，而且使能量集中到少数几个分量上，在其它分量上数值很小，甚至为"0"。所以在对变换后分量(系数)进行量化再编码时，因为在量化后等于"0"系数能够不传送，所以在一定保真度准则下可到达压缩数据率目标，量化参数选取主要依据保真度要求或恢复信号主观评价效果来确定。第83页5.6.3变换编码 下面我们首先介绍变换编码基本原理，然后介绍变换编码中惯用几个变换。 1.正交变换编码基本原理 设信源连续发出两个信源符号s1与s2之间存在相关性，假如均为3比特量化，即它们各有八种可能取值，那么s1与s2之间相关特征可用图5-7表示。第84页图5-7s1与s2之间相关特征图图5-7中椭圆区域表示s1与s2相关程度较高区域，此相关区关于s1轴和s2轴对称。显然假如s1与s2相关性越强，则椭圆形状越扁长，而且变量s1与s2幅度取值相等可能性也越大，二者方差近似相等，即 。第85页假如我们将s1与s2坐标轴逆时针旋转45°，变成平面，则椭圆区域长轴落在 轴上，此时当 取值变动较大时，所受影响很小，说明 与之间相关性大大减弱。同时由图5-7能够看出：随机变量与能量分布也发生了很大改变，在相关区域内大部分点上方差均大于方差，即 。另外，因为点与坐标原点o距离不变，所以坐标变换不会使总能量发生改变，所以有：=（5-57）由此可见，经过上述坐标变换，使变换后得到新变量，展现两个主要特点：（1）变量间相关性大大减弱，如其中一个改变时，另外一个几乎不变;（2）能量更集中，即 ，且小到几乎可忽略。这两个特点正是变换编码能够实现数据压缩主要依据，即数据能够忽略。第86页上述坐标旋转对应变换方程为：因为所以，坐标旋转变换矩阵是一个正交矩阵，由正交矩阵决定变换称为正交变换。进行正交变换目标是使得变换后各个分量相互独立。按照均方误差最小准则来计算相关参数，如θ，得到一个正交变换叫做K-L变换，不过使用KL变换需要知道信源协方差矩阵，再求出协方差矩阵特征值和特征矢量，然后据此结构正交变换矩阵；但求特征值和特征矢量是相当困难，尤其是在高维信源情况下，甚至求不出来。即使借助于计算机求解，也难于满足实时处理要求。第87页

K-L变换含有以下特征：（1）去相关特征。K-L变换是变换后矢量信号Y分量互不相关。（2）使得能量集中于个别分量中。（3）最正确特征。K-L变换是在均方误差测度下，失真最小一个变换，其失真为被略去各分量之和。因为这一特征，K-L变换被称为最正确变换。许多其它变换都将K-L变换作为性能上比较参考标准。除了用于数据压缩，利用K-L变换还能够进行人脸图象识别和人脸图象合成。这些功效与K-L变换冗余控制能力和提取关键信息能力显然是相关。人脸图象识别步骤简述为：首先搜集要识别人人脸图像，建立人脸图像库，然后利用K-L变换确定对应人脸基图像，再反过来用这些基图像对人脸图像库中有些人脸图像进行K-L变换，从而得到每幅图像参数向量并将每幅图参数向量存起来。在识别时，先对一张所输入脸图像进行必要规范化，再进行K-L变换分析，得到其参数向量。将这个参数向量与库中