第7章 保真度准则下的信源编码(ok)

1、第第7 7章章 保真度准则下的信源编码保真度准则下的信源编码7.1 7.1 失真度和平均失真度失真度和平均失真度7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质7.3 7.3 二元信源和离散对称信源的二元信源和离散对称信源的R(D)R(D)函数函数 7.4 7.4 保真度准则下的信源编码定理保真度准则下的信源编码定理 7.5 7.5 联合有失真信源信道编码定理联合有失真信源信道编码定理7.6 7.6 有失真信源编码定理的实用意义有失真信源编码定理的实用意义思考思考1 1、什么是信息传输率及信息传输速率？、什么是信息传输率及信息传输速率？2 2、信道容量的概念及几种表述？（几个单位？

2、）、信道容量的概念及几种表述？（几个单位？）3 3、平均互信息量的物理意义？、平均互信息量的物理意义？4 4、平均互信息量与信息传输率的关系？画图说明。、平均互信息量与信息传输率的关系？画图说明。5 5、平均互信息量是否有最大值和最小值，这两个值如何找、平均互信息量是否有最大值和最小值，这两个值如何找 到？与什么有关。到？与什么有关。6 6、平均互信息量是否有最大值和最小值分别表示什么？、平均互信息量是否有最大值和最小值分别表示什么？7 7、说明信道容量与信息率失真函数的对偶性？、说明信道容量与信息率失真函数的对偶性？ 那么在允许一定程度失真的条件下，能够把信源信息那么在允许一定程度失真的条件

3、下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。本如何能快速的传输信息，这就是本章所要讨论的问题。本章所讨论的内容是量化、数模转换、频带压缩和数据压缩章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。的理论基础。第第7 7章章 保真度准则下的信源编码保真度准则下的信源编码 前面介绍的是无失真信源编码前面介绍的是无失真信源编码, ,适用于离散信源适用于离散信源, ,只要只要满足满足RC,RC,总能做到寻找一种编码方法做到无失真编码总能做到寻找一种编码方法做到无失真编码

4、, ,但实但实际信源有些是模拟信源际信源有些是模拟信源, ,其熵为无穷大其熵为无穷大,此时无论如何也找此时无论如何也找不到一种编码方法做到无失真不到一种编码方法做到无失真. .在实际生活中，人们不一定在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。要求完全无失真的恢复消息，也就是允许有一定的失真。1、失真度、失真度 根据信道编码定理，我们可以把信道编码、信道和信道译根据信道编码定理，我们可以把信道编码、信道和信道译码等价成是一个没有任何干扰的广义信道，这样收信者收到码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以

5、消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道把信源编码和信源译码等价成一个信道, 称此信道为称此信道为试验信试验信道。道。7.1 7.1 失真度和平均失真度失真度和平均失真度信信源源信信源源编编码码信信道道编编码码信道信道信信道道译译码码信信源源译译码码信信宿宿干扰干扰调调制制解解调调信源信源信宿信宿试验信道试验信道 试验信道试验信道模型模型: 现在我们要研究在给定允许失真的条件下，是否可以设现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。即计一种信源编码使信息传输率为最低。即I(X,Y)最小最小.即即:在保证一定失真

6、度情况下在保证一定失真度情况下,寻找信息传输率的最小值寻找信息传输率的最小值,(信信道中平均每个符号携带的最少的信息量道中平均每个符号携带的最少的信息量),为此为此,首先讨论失首先讨论失真的测度真的测度.7.1 7.1 失真度和平均失真度失真度和平均失真度 失真度定义失真度定义: 设离散无记忆信源变量为设离散无记忆信源变量为 ， 其概率分布为其概率分布为 12,.rUu uu1( ) (). ()rP uP uP u对于每一对对于每一对(u,v)，我们指定一个非负的函数，我们指定一个非负的函数( ,)0ijd u v称为称为单个符号的失真度（或称失真函数）单个符号的失真度（或称失真函数）接收端

7、变量为接收端变量为 ，12,.sVv vv7.1 7.1 失真度和平均失真度失真度和平均失真度2、物理意义：、物理意义：失真函数用来表征信源发出一个符号失真函数用来表征信源发出一个符号 ，而在接收端再现成符号而在接收端再现成符号 所引起的误差或失真。所引起的误差或失真。d越小表越小表示失真越小，等于示失真越小，等于0表示没有失真。表示没有失真。 可以将所有的失真函数排列成矩阵的形式：可以将所有的失真函数排列成矩阵的形式：iujv111212122212( ,)( ,).( ,)(,)(,).(,).(,)(,).(,)ssrrrsd u vd u vd u vd u vd u vd u vDd

8、 u vd u vd u v我们称它为我们称它为失真矩阵失真矩阵。7.1 7.1 失真度和平均失真度失真度和平均失真度例例1：0( ,)1ijd u vijij当uv当uv失真矩阵为：失真矩阵为：01.110.1.11.0D这种失真成为这种失真成为汉明失真汉明失真7.1 7.1 失真度和平均失真度失真度和平均失真度例例2：删除信源：删除信源1sr0( ,)1(1/2()ijijd u vijjsi除j=s以外的所有i和所有j）所有对于二元删除信源对于二元删除信源r=2,s=301/2111/20D7.1 失真度和平均失真度失真度和平均失真度例例3：对称信源：对称信源r=s，定义失真度为：，定义

9、失真度为：2( ,)()ijjid u vvu当当r=s=3时，时，012U 012V 失真矩阵为：失真矩阵为：014101410D7.1 7.1 失真度和平均失真度失真度和平均失真度4、平均失真度、平均失真度 (,)ijDE d u v若已知试验信道的传递概率，则平均失真度为：若已知试验信道的传递概率，则平均失真度为：,11( , ) ( , )() (/) ( ,)rsijiijU VijDP u v d u vP u P vu d u v 若平均失真度若平均失真度 不大于我们所允许的失真不大于我们所允许的失真D，我们称此为，我们称此为保真度准则保真度准则。D凡满足保真度准则的这些试验信道

10、称为凡满足保真度准则的这些试验信道称为D失真许可的试验信道失真许可的试验信道。把所有把所有D失真许可的试验信道组成一个集合，用符号失真许可的试验信道组成一个集合，用符号 表示。表示。DB7.1 7.1 失真度和平均失真度失真度和平均失真度7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质1、信息率失真函数、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在下寻找平均互信息的最小值。也就是在 中找一个信道，使中找一个信道，使平均互信息取极小值。这个最小值就是在平均互信息取极小值。这个最小

11、值就是在 的条件下，的条件下，信源必须传输的最小平均信息量。信源必须传输的最小平均信息量。 DB()min ( ; )DBR DI U VDD 改变试验信道求平均互信息的最小值，实质上是选择一种改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。编码方式使信息传输率为最小。2、信息率失真函数的性质、信息率失真函数的性质 1)、R(D)的定义域是的定义域是max(0,)D (1)、 和和m inDmin()R D 允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵例：例：011/21

12、01/2Dmin1( ) 00riiDP u7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质 满足最小失真度的试验信道是一个无噪无损信道：满足最小失真度的试验信道是一个无噪无损信道：100010P(2)maxmax()DR D和因为D越大，R(D)越小，最小为0，当D再大时，R(D) 也只能为0，此时，发送与接收统计独立，即：( / )( )P v uQ v失真度函数变为：失真度函数变为：,( ) ( ) ( , )U VDP u Q v d u v7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质 所以，所以， 就是在就是在R(D)=0的情况下，求的情况下，求 的最小值

13、的最小值max( ),min( ) ( ) ( , )Q vU VDP u Q v d u v当当 时，时， 而当而当 时时maxDD()0,R D minmaxDDD( )()0H UR DmaxDD上式可改写为上式可改写为max( )( )min( )( ) ( , )min( )( )Q vQ vVUVDQ vP u d u vQ v d v 可以这样选可以这样选 ，当，当 最小时，取最小时，取 等于等于1，则：，则：()Qv()Qv( )d vmaxmin( )min( ) ( , )VVUDd vP u d u v7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质2)、 R

14、(D)函数的单调递减性和连续性0DR(D)minDmaxD7.2 7.2 信息率失真函数及其性质信息率失真函数及其性质7.3 7.3 二元信源和离散对称信源的二元信源和离散对称信源的R(D)R(D)函数函数1、二元对称信源的R(D)函数 设二元信源U=0,1，其分布概率 ，( ) ,1P u12而接收变量v=0,1，设汉明失真矩阵为：0110D 因而最小失真度 。并能找到满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为：min0D1001P(0)( ; )( )RI U VHmaxmin( ) ( , )VUDP u d u vmin (0) (0,0)(1) (1,0); (0)

15、 (0,1)(1) (1,1)VPdPdPdPdmin(1), 要达到最大允许失真，唯一确定 0101P此时，可计算得信息传输率( ; )0I U V 一般情况下，当 时，max0DD, ( , ) ( , )U VDE dp u v d u v(0,1)(1,0)EP uvP uvP7.3 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数可以计算得：二元信源得信息率失真函数为()( )()R DHH D例：0.40.2D 在汉明失真条件下，( )()0()0HH DDR DD()(0.4)(0.2)0.249R DHH7.3 二元信源和离散对称信源的二元信源和离散对称信源的R

16、(D)函数函数 对于离散对称信源，在汉明失真条件下：1loglog(1)()01()101rDrH DDrR DDr 7.3 二元信源和离散对称信源的二元信源和离散对称信源的R(D)函数函数7.4 7.4 保真度准则下的信源编码定理保真度准则下的信源编码定理 定理定理7.1 保真度准则下的信源编码定理保真度准则下的信源编码定理 设设R(D)为一离散无记忆信源的信息率失真函数，并且有有为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的限的失真测度。对于任意的 ，以及任意足够长，以及任意足够长的码长的码长n，则一定存在一种信源编码，则一定存在一种信源编码C，其码字个数为，其码字个

17、数为0 ,0 ,0D ()n R DMe而编码后的平均失真度而编码后的平均失真度( )d CD如果用二元编码，则：如果用二元编码，则： ()2n R DM 该定理称为该定理称为香农第三定理香农第三定理。 定理定理7.2（信源编码逆定理）不存在平均失真度（信源编码逆定理）不存在平均失真度D，而平均，而平均信息传输率信息传输率 的任何信源编码。即对任意码长的任何信源编码。即对任意码长n的信源的信源码码C，若码字个数，若码字个数 ，一定有，一定有()RR D ( )2n R DM( )d CD 该定理告诉我们：该定理告诉我们：如果编码后平均每个信源符号的信息如果编码后平均每个信源符号的信息传输率传输

18、率 小于信息率失真函数小于信息率失真函数 ，就不能在保真度准，就不能在保真度准则下再现信源的消息。则下再现信源的消息。R()R D 该定理称为该定理称为香农第三定理香农第三定理。它告诉我们，对于任何失真度。它告诉我们，对于任何失真度D，只要码长足够长，总可以找到一种编码，只要码长足够长，总可以找到一种编码C，使编码后的，使编码后的每个信源符号的信息传输率每个信源符号的信息传输率log()MRR Dn7.4 保真度准则下的信源编码定理保真度准则下的信源编码定理 定理定理7.3 （信息传输定理）（信息传输定理）离散无记忆信源的离散无记忆信源的S的信息的信息率失真函数为率失真函数为R(D)，离散无记

19、忆信道的信道容量，离散无记忆信道的信道容量C，若满，若满足足()CR D 则信源输出的信源序列能在此信道输出端重现，其失真则信源输出的信源序列能在此信道输出端重现，其失真小于等于小于等于D。 定理定理7.4 离散无记忆信源离散无记忆信源S的信息率失真函数为的信息率失真函数为R(D)，每秒钟输出每秒钟输出 个信源符号，离散无记忆信道的信道容量个信源符号，离散无记忆信道的信道容量C，每秒输出每秒输出 个信源符号，若满足个信源符号，若满足 1/sT1/CT()CSCR DTT 则信源输出的信源序列能在此信道输出端重现，其失真则信源输出的信源序列能在此信道输出端重现，其失真小于等于小于等于D。7.5

20、联合有失真信源信道编码定理联合有失真信源信道编码定理例：例：01( )1/21/2UP u 要对此信源进行无失真编码，每个信源符号必须用一个二要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为元符号来表示，信源的信息输出率为R=H=1。若允许失真。若允许失真存在，并定义失真函数为汉明失真，即存在，并定义失真函数为汉明失真，即0( , )1ijijuvd u vuv可以设想这样一种信源编码：可以设想这样一种信源编码：7.6 有失真信源编码定理的实用意义有失真信源编码定理的实用意义121340000010000010100uuvuu562781111101111101011uuvuu无噪无损信道