信息率失真函数的基本概念ppt课件

1、第第4 4章章 信息率失真函数信息率失真函数 我们总喜欢去验证别人对我们许下的我们总喜欢去验证别人对我们许下的诺言，却很少去验证自己给自己许下的诺诺言，却很少去验证自己给自己许下的诺言。言。信息率失真函数n主要内容：主要内容：n限失真信源编码定理限失真信源编码定理n信息率失真函数信息率失真函数n保真度准则下的信源编码定理保真度准则下的信源编码定理n教学基本要求：教学基本要求：n掌握率失真函数的定义、性质、计算掌握率失真函数的定义、性质、计算n掌握保真度准则下的信源编码定理掌握保真度准则下的信源编码定理n重点和难点：重点和难点：n率失真函数率失真函数(离散信源，连续信源离散信源，连续信源)的计算

2、的计算n保真度准则下的信源编码定理保真度准则下的信源编码定理本章主要内容n4.1 基本概念基本概念 n4.2 离散无记忆信源离散无记忆信源R(D)的计算的计算 n4.3 连续无记忆信源的连续无记忆信源的R(D)的计算的计算n4.4 信道容量和信息率失真函数的比信道容量和信息率失真函数的比较较n4.5 保真度准则下的信源编码定理保真度准则下的信源编码定理 n理论上理论上“消息完全无失真传送的可实现性消息完全无失真传送的可实现性n信道编码定理：无论何种信道，只需信道编码定理：无论何种信道，只需n H(X)=信息速率信息速率R=Cn 则传输必失真。则传输必失真。n实际上实际上“消息完全无失真传送的不

3、可实现性消息完全无失真传送的不可实现性n要做到无失真信源编码，要求要做到无失真信源编码，要求H(X)RC；实际的信；实际的信源常常是连续信源，连续信源的绝对熵无穷大源常常是连续信源，连续信源的绝对熵无穷大,要无失要无失真传送，则信息率真传送，则信息率R也需无限大，信道容量也需无限大，信道容量C也必须为也必须为无穷大。无穷大。n而实际信道带宽是有限的，所以信道容量受限制。因而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受此无法满足无失真传输的条件，因此传输质量必然受影响。影响。n有些失真没有必要完全消除限失真信源编码）有些失真没有必要完全消除限失真信源

4、编码）n实际生活中，人们一般并不要求获得完全无失真的消实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的息，通常只要求近似地再现原始消息，即允许一定的失真存在。失真存在。n打电话，即使语音信号有一些失真，接电话的人也能打电话，即使语音信号有一些失真，接电话的人也能听懂。听懂。n放电影：理论上需要无穷多幅静态画面，由于人眼的放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映视觉暂留性，实际上只需要每秒放映24幅静态画面，幅静态画面，视觉上就会感觉是连续的。视觉上就会感觉是连续的。n信息率失真理论信息率失真理论信息率失真函数信息

5、率失真函数n香农定义了信息率失真函数香农定义了信息率失真函数R(D)n定理指出：定理指出：n 在允许一定失真度在允许一定失真度D的情况下，信源输出的信息率可的情况下，信源输出的信息率可以压缩到以压缩到R(D).信息率失真函数极小值问题nI(X;Y)是P(X)和P(Y/X)二元函数。n在讨论信道容量时：n固定P(Y/X), I(X;Y)是P(X)的函数。离散情况下， I(X;Y)是 的上凸函数，因此必有I(X;Y)的极大值。n在讨论信息速率时：n固定 ,I(X;Y)是 的下凸函数，因此必有I(X;Y)的极小值。n但是若X和Y统计独立，即这样极小值就变成0，此时极小值就没有意义了。n引入一个失真函

6、数R(D)，计算在失真度D一定的情况下，可求得信息率R的极小值。)(ixp)/(ijxyp)(ixp信息率与失真的关系n信源压缩后相比原始信源，误差或失真越大，说信源压缩后相比原始信源，误差或失真越大，说明压缩掉的信息量就越多。明压缩掉的信息量就越多。n描述失真度大小和信息速率关系的定理称为：保描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理真度准则下的信源编码定理，也叫信息率失真理论。论。n信息率失真理论的应用：信息率失真理论的应用：n信息率失真理论是量化、数模转换、频带压缩和信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。数据压缩的理论基础

7、。4.1 主要内容n失真函数失真函数 n平均失真平均失真 n信息率失真函数信息率失真函数 n信息率失真函数的基本性质信息率失真函数的基本性质 失真函数n由于信息率的大小与失真的程度有关，为了定量地描述信息率和失真的关系，必须先规定失真的测度标准，即失真函数：n它用来表示信源压缩后的消息和原始发送的消息之间的误差。n具体地：每一对 ，指定一个非负函数 n 称为单个符号的失真度失真函数），它表示信源发出一个符号 ，压缩后在接收端收到 ，二者之间的误差或失真。),(jiyxdjiyx ,distortionixjy失真函数n失真函数n其它表示收发之间误差的失真函数：n平方误差失真函数或均方失真函数n

8、绝对失真函数n相对失真函数,)(),(2ijjixyyxdjijiijjiyxyxdyxd, 0, 0),(时当|,|),(ijjixyyxd,|),(iijjixxyyxd单符号离散信源的失真函数n设离散无记忆信源为n信源通过矩阵P(Y/X)紧缩n压缩后，接收端Y)()()()()(2121ninixp，xp，xp，xpx，x，x，xXPXmnnmnmmxypxypxypxypxypxypxypxypxypP)/()/()/()/()/()/()/()/()/(1212222111211)()()()()(2121mjmjyp，yp，xp，ypy，y，y，yYPY失真矩阵n要描述离散信源的所

9、有失真情况，必须用矩阵来表要描述离散信源的所有失真情况，必须用矩阵来表示：即失真矩阵，记作示：即失真矩阵，记作D Dn若一个信源的所有符号压缩前后的失真大小都为若一个信源的所有符号压缩前后的失真大小都为，则可写作对角线上为则可写作对角线上为0 0，其余为，其余为。则该单符号离散。则该单符号离散信源进行压缩传输的失真矩阵可以写作。信源进行压缩传输的失真矩阵可以写作。mnmnnnmmnnnmddddddyxdyxdyxdyxdyxdyxdD21121112112111),(),(),(),(),(),(mnD00失真矩阵n若=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为 mnD0

10、11110n例：已知单符号离散无记忆信源X=0,1，Y=0,1，2，将其进行压缩的失真函数为n d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1；n d(0,2)= d(1,2)=0.5，n 求失真矩阵：n解： 5 . 0015 . 010)2 , 1 () 1 , 1 ()0 , 1 ()2 , 0() 1 , 0()0 , 0(DddddddDn以上离散无记忆信源的N次扩展信源的失真函数：若发送和压缩传输后接收的消息分别为：n则N次扩展信源的失真函数可定义为),(),(),(),(121121mjkjNjkjjjnikiNikiiiyyyyyyybxxxxxxxa接收：发

11、送：NkjkikjNiNjijijNjjiNiiNjiNyxdyxdyxdyxdyyyxxxdbad122112121)()()()()(),(),(，无记忆连续信源的失真函数n 记作：d(x,y)n例：某一连续信源进行压缩传输时，采用的失真压缩的函数为均方式真，则其失真函数可写作：nd(x,y)=(y-x)2平均失真平均失真n 只能表示两个特定的具体符号 之间的失真，而对于信源整体压缩时，引起的失真测度需要求平均失真。n平均失真：平均失真为失真函数的数学期望。可以表示信源压缩传输时平均每个符号所引起的失真的大小，是从总体上对整个信源压缩失真情况的描述。n平均失真的特性：n它是信源统计特性，信

12、道统计特性和失真度的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了，而变成一个确定的量。n人们所允许的压缩失真都是平均意义上的失真。),(jiyxdjiyx和),()/(),(jiijiyxdxypxp和平均失真平均失真n单符号离散无记忆信源进行压缩传输时的平均失真nN次扩展信源无记忆的平均失真 nimjijijinimjijjiijdxypxpdyxpdED1111)/()()(个符号的平均失真：每条消息的第，kDDyxdyxdEyxdEbadENDKNkKNkjkikNkjkikNkjkikjiN1111)( ),( ),(),()(n所以，N次扩展信源的平均失真为注意前提为：

13、无记忆信源）n当 对于定义域内的i,j,k,那么NDDNDNk1)(无记忆信源时：，DDk个符号的平均失真：每条消息的第kDDNDKNkK1)(连续信源的平均失真n连续信源的平均失真连续信源的平均失真度函数为连续信道转移概率密其中：)/(),()/()(),()(),(xypdxdyyxdxypxpdxdyyxdxypyxdEDnimjijijinimjijjiijdxypxpdyxpdED1111)/()()(因为离散信源的平均失真为：因为离散信源的平均失真为：信息率失真函数信息率失真函数n定义：给定信源和失真函数，要使信源压缩后的平均定义：给定信源和失真函数，要使信源压缩后的平均失真失真

14、(D (D为给定的失真上限为给定的失真上限) )，n则需找到某种压缩方法，使其经过压缩后可以达到一则需找到某种压缩方法，使其经过压缩后可以达到一个允许的最小信息速率，即个允许的最小信息速率，即R(D)R(D)。n不妨将该压缩过程假设成让信源通过一个有失真的传不妨将该压缩过程假设成让信源通过一个有失真的传输信道满足一定的信道转移概率分布或转移概率密输信道满足一定的信道转移概率分布或转移概率密度函数），使在该信道称为试验信道上传输的信度函数），使在该信道称为试验信道上传输的信息速率达到最小，这个最小的信息速率称为信息率失息速率达到最小，这个最小的信息速率称为信息率失真函数，记作真函数，记作R(D)

15、R(D)。n信息率失真函数示意图信息率失真函数示意图DD 信息率失真函数n单符号离散无记忆信源的信息率失真函数单符号离散无记忆信源的信息率失真函数 );();()(minmin)/(YXIYXIDRDijpxypDD信息速率值信源容许压缩到的最低的条件下，给定失真：信息率失真函数：在信道的转移概率的用于压缩传输的试验为满足DDRDDpD)(其中其中信息率失真函数n单符号离散无记忆信源的单符号离散无记忆信源的N N次扩展信源的信息率次扩展信源的信息率失真函数失真函数)();()(min)(DNRYXIDRNNDNDN无记忆信息率失真函数的基本性质率失真函数的定义域率失真函数的定义域(0,Dmax

16、)1、当平均失真、当平均失真D=0时，率失真函数时，率失真函数R(D)=R(0)=H(X)证明：证明：(1)对于离散信源对于离散信源 当当D=0时，说明信源压缩后无失真，即没有进行任何压缩，时，说明信源压缩后无失真，即没有进行任何压缩，因此压缩后的信息速率因此压缩后的信息速率R(D)等于压缩前的即信源熵）：等于压缩前的即信源熵）： R(D)=R(0)=I(X;Y) =H(X)-H(X/Y) =H(X)信息率失真函数的基本性质n率失真函数的定义域率失真函数的定义域(0,Dmax)n(2)对于连续信源，所以当对于连续信源，所以当D=0时，时，n R(0)=H(X)= 因为绝对熵为无穷大因为绝对熵为

17、无穷大n 因此，连续信源要进行无失真地压缩传输，因此，连续信源要进行无失真地压缩传输，需要传递的信息量是无穷大，这就需要一个具有需要传递的信息量是无穷大，这就需要一个具有无穷大信道容量的信道才能完成，而实际信道传无穷大信道容量的信道才能完成，而实际信道传输容量有限，所以要实现连续信源的无失真传送输容量有限，所以要实现连续信源的无失真传送是不可能的，必须允许一定的失真，使是不可能的，必须允许一定的失真，使R(D)变变为有限值，传送才有可能。为有限值，传送才有可能。 n2 2、当、当D=DmaxD=Dmax时，时，R(Dmax)=0R(Dmax)=0。n 分析：失真值分析：失真值D D越大，越大，

18、R(D)R(D)越小越小 ，D D大到一大到一定程度，定程度，R(D)=0R(D)=0，即压缩后的信源没有任何信息，即压缩后的信源没有任何信息量。量。n 现在将所有满足现在将所有满足R(D)=0R(D)=0的的D D的最小值，定义的最小值，定义为为R(D)R(D)定义域的上限定义域的上限DmaxDmax。n Dmax Dmax的计算式：的计算式：n n nijiijjjyxdxpDD1max),()(minmin信息率失真函数的基本性质信息率失真函数的基本性质n二、二、R(D)是定义域是定义域(0,Dmax)上的严格单调递减上的严格单调递减连续下凸函数连续下凸函数允许的最大失真D允许的最小信息

19、率R(D)0Dmax)(min),()()(min),()()(min)()/(0)(),()/()(minmin11111max110)(0)(maxjnijjjiniimjjjijniimjjijjiijniimjDRDRDypyxdxpypyxdypxpDypxypDRyxdxypxpDD信源和信宿是独立的的信息量没有传递任何有关信源说明设计的压缩信道上该式相当于求该式相当于求DjDj的最小数学期望的最小数学期望若若DsDs是所有是所有DjDj中最小的一个，则取中最小的一个，则取p(ys)=1p(ys)=1，其它，其它p(yj)=0,p(yj)=0,此时此时DjDj的数学期望必然最小的数

20、学期望必然最小nijiijjjyxdxpDD1max),()(minmin的简化计算式：DmaxDmax的简化计算式的推导：的简化计算式的推导：n例例4.1.14.1.1：P110P110已知二元信源已知二元信源n解：（解：（1 1求求DmaxDmaxn n )/()()2()/()() 1 (,006 . 04 . 0)(minminmaxmax21XYPDRDXYPDRDdxxXPX及对应的和及对应的和计算，失真矩阵为4 . 06 . 0 ,4 . 0min6 . 004 . 0 ,06 . 04 . 0min006 . 0 , 4 . 0min)(,)(min)(minmin12111maxjjjniiiniiijniijijjdxpdxpdxpDD0)(0)(1)()(DD2111maxypypypypDjjj对此题其余的所以对应的加权系数最大，）（此题是最小的时，即达到D1D2n（1） 0101)/()/(6 . 04 . 01)/()()(01)()()(?)/(22212121maxXYPXYPX