信息论傅祖芸9--

1、第七章第七章 保真度准则下的信源编码保真度准则下的信源编码第一节 失真度和平均失真度第二节 信息率失真函数及其性质第三节 二元信源和离散对称信源的R(D)函数 第四节 保真度准则下的信源编码定理 第五节 联合有失真信源信道编码定理第六节 有失真信源编码定理的实用意义第一节第一节 失真度和平均失真度失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基

2、础。 1、失真度信源信源编码信道编码信道信道译码信源译码信宿干扰 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。第一节第一节 失真度和平均失真度失真度和平均失真度信源信宿第一节第一节 失真度和平均失真度失真度和平均失真度试验信道 我们称此信道为试验信道试验信道。现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 ，其概率分布为 12,.rUu uu1( ) (). ()rP u

3、P uP u对于每一对(u,v)，我们指定一个非负的函数( ,)0ijd u v称为单个符号的失真度（或称失真函数） 接受端变量为 ，12,.sVv vv第一节第一节 失真度和平均失真度失真度和平均失真度 失真函数用来表征信源发出一个符号 ，而在接收端再现成符号 所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：iujv111212122212(,)(,).(,)(,)(,).(,).(,)(,).(,)ssrrrsd u vd u vd u vd u vd u vd u vDd u vd u vd u v我们称它为失真矩阵。第一节第一节 失真

4、度和平均失真度失真度和平均失真度例1：0( ,)1ijd u vijij当uv当uv失真矩阵为：01.110.1.11.0D这种失真成为汉明失真在二元情况下：1001D第一节第一节 失真度和平均失真度失真度和平均失真度例2：删除信源1sr0( ,)1(1/2()ijijd u vijjsi除j=s以外的所有i和所有j）所有对于二元删除信源r=2,s=301/2111/20D第一节第一节 失真度和平均失真度失真度和平均失真度例3：对称信源r=s，定义失真度为：2( ,)()ijjid u vvu当r=s=3时，012U 012V 失真矩阵为：014101410D第一节第一节 失真度和平均失真度失

5、真度和平均失真度2、平均失真度 ( ,)ijDE d u v若已知试验信道的传递概率，则平均失真度为：,11( , ) ( , )( ) (/) ( ,)rsijiijU VijDP u v d u vP u P vu d u v 若平均失真度 不大于我们所允许的失真D，我们称此为保真度准则。DDD凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。DB第二节第二节 信息率失真函数及其性质信息率失真函数及其性质1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在 中找一个信道，使平均互

6、信息取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 DB()min ( ; )DBR DI U VDD 改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。第二节第二节 信息率失真函数及其性质信息率失真函数及其性质2、信息率失真函数的性质 1)、R(D)的定义域是max(0,)D (1)、 和m inDmin()R D 允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵例：011/2101/2Dmin1( ) 00riiDP u第二节第二节 信息率失真函数及其

7、性质信息率失真函数及其性质 满足最小失真度的试验信道是一个无噪无损信道：100010P(2)maxmax()DR D和因为D越大，R(D)越小，最小为0，当D再大时，R(D)a也只能为0，此时，发送与接收统计独立，即：( / )( )P v uQ v失真度函数变为：,( ) ( ) ( , )U VDP u Q v d u v第二节第二节 信息率失真函数及其性质信息率失真函数及其性质 所以， 就是在R(D)=0的情况下，求 的最小值max( ),min( ) ( ) ( , )Q vU VDP u Q v d u v当 时， 而当 时maxDD()0,R D minmaxDDD( )()0H

8、UR DmaxDD上式可改写为max( )( )min( )( ) ( , )min( )( )Q vQ vVUVDQ vP u d u vQ v d v 可以这样选 ，当 最小时，取 等于1，则：()Q v()Q v( )d vmaxmin( )min( ) ( , )VVUDd vP u d u v第二节第二节 信息率失真函数及其性质信息率失真函数及其性质2)、 R(D)函数的单调递减性和连续性0DR(D)minDmaxD第三节 二元信源和离散对称信源的R(D)函数1、二元对称信源的R(D)函数 设二元信源U=0,1，其分布概率 ，( ) ,1P u12而接收变量v=0,1，设汉明失真矩阵

9、为：0110D 因而最小失真度 。并能找到满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为：min0D1001P(0)( ; )( )RI U VH第三节 二元信源和离散对称信源的R(D)函数maxmin( ) ( , )VUDP u d u vmin (0) (0,0)(1) (1,0); (0) (0,1)(1) (1,1)VPdPdPdPdmin(1), 要达到最大允许失真，唯一确定 0101P此时，可计算得信息传输率( ; )0I U V 一般情况下，当 时，max0DD, ( , ) ( , )U VDE dp u v d u v(0,1)(1,0)EP uvP uvP第

10、三节 二元信源和离散对称信源的R(D)函数可以计算得：二元信源得信息率失真函数为()( )()R DHH D例：0.40.2D 在汉明失真条件下，( )()0()0HH DDR DD()(0.4)(0.2)0.249R DHH第三节 二元信源和离散对称信源的R(D)函数 对于离散对称信源，在汉明失真条件下：1loglog(1)()01()101rDrH DDrR DDr 第四节 保真度准则下的信源编码定理 定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为0 ,

11、0 ,0D ()n R DMe而编码后的平均失真度( )d CD如果用二元编码，则： ()2n R DM 该定理称为香农第三定理。它告诉我们，对于任何失真度D，只要码长足够长，总可以找到一种编码C，使编码后的每个信源符号的信息传输率log()MRR Dn第四节保真度准则下的信源编码定理 定理7.2（信源编码逆定理）不存在平均失真度D，而平均信息传输率 的任何信源编码。即对任意码长n的信源码C，若码字个数 ，一定()RR D ( )2n R DM( )d CD 该定理告诉我们：如果编码后平均每个信源符号的信息传输率 小于信息率失真函数 ，就不能在保真度准则下再现信源的消息。R()R D第五节 联

12、合有失真信源信道编码定理 定理7.3 （信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足()CR D 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足 1/sT1/CT()CSCR DTT 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。第五节 联合有失真信源信道编码定理 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输

13、出 个信源符号，若满足 1/sT1/CT()CSCR DTT 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。第六节 有失真信源编码定理的实用意义例：01( )1/21/2UP u 要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即0( , )1ijijuvd u vuv可以设想这样一种信源编码：第六节 有失真信源编码定理的实用意义121340000010000010100uuvuu562781111101111101011uuvuu无噪无损信道传输00001111第六节 有失真信源编码定理的实用意义这种编码方法，可以看成是一种特殊的试验信道1,()(/)0()jjijijivC vf uP vuvf u1( )( ) ,( )Ud CP U d u f uN1 1101 1 101 1 13 84 信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4)11( )1( )0.18944RH 第