信息率失真函数的基本概念.ppt

第4章 信息率失真函数 我们总喜欢去验证别人对我们许下的 诺言，却很少去验证自己给自己许下的诺 言。 *1 信息率失真函数 n主要内容： n限失真信源编码定理 n信息率失真函数 n保真度准则下的信源编码定理 n教学基本要求： n掌握率失真函数的定义、性质、计算 n掌握保真度准则下的信源编码定理 n重点和难点： n率失真函数(离散信源，连续信源)的计算 n保真度准则下的信源编码定理 Date2 本章主要内容 n4.1 基本概念 n4.2 离散无记忆信源R(D)的计算 n4.3 连续无记忆信源的R(D)的计算 n4.4 信道容量和信息率失真函数的比 较 n4.5 保真度准则下的信源编码定理 Date3 n理论上“消息完全无失真传送”的可实现性 n信道编码定理：无论何种信道，只要 H(X)=C 则传输必失真。 n实际上“消息完全无失真传送”的不可实现性 n要做到无失真信源编码，要求H(X)RC；实际的 信源常常是连续信源，连续信源的绝对熵无穷大,要 无失真传送，则信息率R也需无限大，信道容量C也 必须为无穷大。 n而实际信道带宽是有限的，所以信道容量受限制。 因此无法满足无失真传输的条件，因此传输质量必 然受影响。 Date4 n有些失真没有必要完全消除（限失真信源编码） n实际生活中，人们一般并不要求获得完全无失真的消息 ，通常只要求近似地再现原始消息，即允许一定的失真 存在。 n打电话，即使语音信号有一些失真，接电话的人 也能听懂。 n放电影：理论上需要无穷多幅静态画面，由于人 眼的视觉暂留性，实际上只需要每秒放映24幅 静态画面，视觉上就会感觉是连续的。 n信息率失真理论信息率失真函数 n香农定义了信息率失真函数R(D) n定理指出： 在允许一定失真度D的情况下，信源输出的信息率可以 压缩到R(D). Date5 信息率失真函数极小值问题 nI(X;Y)是P(X)和P(Y/X)二元函数。 n在讨论信道容量时： n固定P(Y/X), I(X;Y)是P(X)的函数。离散 情况下， I(X;Y)是 的上凸函数，因此 必有I(X;Y)的极大值。 n在讨论信息速率时： n固定 ,I(X;Y)是 的下凸函数， 因此必有I(X;Y)的极小值。 n但是若X和Y统计独立，即这样极小值就变 成0，此时极小值就没有意义了。 n引入一个失真函数R(D)，计算在失真度D一 定的情况下，可求得信息率R的极小值。 Date6 信息率与失真的关系 n信源压缩后相比原始信源，误差或失真越大，说 明压缩掉的信息量就越多。 n描述失真度大小和信息速率关系的定理称为：保 真度准则下的信源编码定理，也叫信息率失真理 论。 n信息率失真理论的应用： n信息率失真理论是量化、数模转换、频带压缩和数 据压缩的理论基础。 Date7 4.1 主要内容 n失真函数 n平均失真 n信息率失真函数 n信息率失真函数的基本性质 Date8 失真函数 n由于信息率的大小与失真的程度有关，为了定量地 描述信息率和失真的关系，必须先规定失真的测度 标准，即失真函数： n它用来表示信源压缩后的消息和原始发送的消息 之间的误差。 n具体地：每一对 ，指定一个非负函数 称为单个符号的失真度（失真函数），它表示信源 发出一个符号 ，压缩后在接收端收到 ，二者之 间的误差或失真。 distortion Date9 失真函数 n失真函数 n其它表示收发之间误差的失真函数： n平方误差失真函数或均方失真函数 n绝对失真函数 n相对失真函数 Date10 单符号离散信源的失真函数 n设离散无记忆信源为 n信源通过矩阵P(Y/X)压缩 n压缩后，接收端Y Date11 失真矩阵 n要描述离散信源的所有失真情况，必须用矩阵来表 示：即失真矩阵，记作D n若一个信源的所有符号压缩前后的失真大小都为， 则可写作对角线上为0，其余为。则该单符号离散 信源进行压缩传输的失真矩阵可以写作。 Date12 失真矩阵 n若=1，则失真函数称为汉明失真函数，失真矩阵称 为汉明失真矩阵，变为 Date13 n例：已知单符号离散无记忆信源X=0,1，Y=0,1， 2，将其进行压缩的失真函数为 d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1； d(0,2)= d(1,2)=0.5， 求失真矩阵： n解： Date14 n以上离散无记忆信源的N次扩展信源的失真函数： 若发送和压缩传输后接收的消息分别为： n则N次扩展信源的失真函数可定义为 Date15 连续信源的失真函数 记作：d(x,y) n例：某一连续信源进行压缩传输时，采用的失真压缩的函数 为均方式真，则其失真函数可写作： nd(x,y)=(y-x)2 Date16 平均失真 n 只能表示两个特定的具体符号 之间 的失真，而对于信源整体压缩时，引起的失真测 度需要求平均失真。 n平均失真：平均失真为失真函数的数学期望。可 以表示信源压缩传输时平均每个符号所引起的失 真的大小，是从总体上对整个信源压缩失真情况 的描述。 n平均失真的特性： n它是信源统计特性，信道统计特性和失真度 的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了 ，而变成一个确定的量。 n人们所允许的压缩失真都是平均意义上的失 真。 Date17 平均失真 n单符号离散无记忆信源进行压缩传输时的平均失 真 nN次扩展信源（无记忆）的平均失真 Date18 n所以，N次扩展信源的平均失真为（注意前提为 ：无记忆信源） n当 对于定义域内的i,j,k,则 Date19 连续信源的平均失真 n连续信源的平均失真 因为离散信源的平均失真为： Date20 信息率失真函数 n定义：给定信源和失真函数，要使信源压缩后的平均 失真 (D为给定的失真上限)， n则需找到某种压缩方法，使其经过压缩后可以达到一 个允许的最小信息速率，即R(D)。 n不妨将该压缩过程假设成让信源通过一个有失真的传 输信道（满足一定的信道转移概率分布或转移概率密 度函数），使在该信道（称为试验信道）上传输的信 息速率达到最小，这个最小的信息速率称为信息率失 真函数，记作R(D)。 n信息率失真函数示意图 Date21 信息率失真函数 n单符号离散无记忆信源的信息率失真函数 其中 Date22 信息率失真函数 n单符号离散无记忆信源的N次扩展信源的信息率 失真函数 Date23 信息率失真函数的基本性质 n率失真函数的定义域(0,Dmax) 1、当平均失真D=0时，率失真函数R(D)=R(0)=H(X) 证明： (1)对于离散信源 当D=0时，说明信源压缩后无失真，即没有进行任何 压缩，因此压缩后的信息速率R(D)等于压缩前的（即 信源熵）： R(D)=R(0)=I(X;Y) =H(X)-H(X/Y) =H(X) Date24 信息率失真函数的基本性质 n率失真函数的定义域(0,Dmax) (2)对于连续信源，所以当D=0时， R(0)=H(X)= 因为绝对熵为无穷大 因此，连续信源要进行无失真地压缩传输，需 要传递的信息量是无穷大，这就需要一个具有无 穷大信道容量的信道才能完成，而实际信道传输 容量有限，所以要实现连续信源的无失真传送是 不可能的，必须允许一定的失真，使R(D)变为有 限值，传送才有可能。 Date25 n2、当D=Dmax时，R(Dmax)=0。 分析：失真值D越大，R(D)越小 ，D大到一定程度 ，R(D)=0，即压缩后的信源没有任何信息量。 现在将所有满足R(D)=0的D的最小值，定义为R(D) 定义域的上限Dmax。 Dmax的计算式： 信息率失真函数的基本性质 Date26 信息率失真函数的基本性质 n二、R(D)是定义域(0,Dmax)上的严格单调递减连 续下凸函数 允许的最大失真D 允许的最小信息率R(D) 0 Dmax Date27 该式相当于求Dj的最小数学期望 若Ds是所有Dj中最小的一个，则取p(ys)=1，其它 p(yj)=0,此时Dj的数学期望必然最小 Dmax的简化计算式的推导： Date28 n例4.1.1：P110已知二元信源 n解：（1）求Dmax Date29 D1 D2 Date30 n（1） n. Date31 n例4.1.1：P110已知二元信源 n解：（2）求Dmin