信息科学第七章

1、信息科学第七章第1页，共26页，2022年，5月20日，1点0分，星期一第一节 失真度和平均失真度 在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。 那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。 本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。第2页，共26页，2022年，5月20日，1点0分，星期一 1、失真度信源信源编码信道编码信道信道译码信源译码信宿干扰 根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收

2、信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道。第一节 失真度和平均失真度第3页，共26页，2022年，5月20日，1点0分，星期一信源信宿第一节 失真度和平均失真度试验信道 我们称此信道为试验信道。现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。 设信源变量为 ，其概率分布为 对于每一对(u,v)，我们指定一个非负的函数称为单个符号的失真度（或称失真函数） 接受端变量为 ，第4页，共26页，2022年，5月20日，1点0分，星期一第一节 失真度和平均失真度 失真函数用来表征信源发出

3、一个符号 ，而在接收端再现成符号 所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。 可以将所有的失真函数排列成矩阵的形式：我们称它为失真矩阵。第5页，共26页，2022年，5月20日，1点0分，星期一第一节 失真度和平均失真度例1：失真矩阵为：这种失真成为汉明失真在二元情况下：第6页，共26页，2022年，5月20日，1点0分，星期一第一节 失真度和平均失真度例2：删除信源对于二元删除信源r=2,s=3第7页，共26页，2022年，5月20日，1点0分，星期一第一节 失真度和平均失真度例3：对称信源r=s，定义失真度为：当r=s=3时，失真矩阵为：第8页，共26页，2022年，5月

4、20日，1点0分，星期一第一节 失真度和平均失真度2、平均失真度若已知试验信道的传递概率，则平均失真度为： 若平均失真度 不大于我们所允许的失真D，我们称此为保真度准则。凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号 表示。第9页，共26页，2022年，5月20日，1点0分，星期一第二节 信息率失真函数及其性质1、信息率失真函数 当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在 中找一个信道，使平均互信息取极小值。这个最小值就是在 的条件下，信源必须传输的最小平均信息量。 改变试验信道求平均互信息的最小

5、值，实质上是选择一种编码方式使信息传输率为最小。第10页，共26页，2022年，5月20日，1点0分，星期一第二节 信息率失真函数及其性质2、信息率失真函数的性质 1)、R(D)的定义域是 (1)、 和 允许失真度D的最小值为0，即不允许有失真，这要求失真矩阵中每行至少有一个为0。 R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵例：第11页，共26页，2022年，5月20日，1点0分，星期一第二节 信息率失真函数及其性质 满足最小失真度的试验信道是一个无噪无损信道：(2)因为D越大，R(D)越小，最小为0，当D再大时，R(D)a也只能为0，此时，发送与接收统计独立，即：失真度函数变

6、为：第12页，共26页，2022年，5月20日，1点0分，星期一第二节 信息率失真函数及其性质 所以， 就是在R(D)=0的情况下，求 的最小值当 时， 而当 时上式可改写为 可以这样选 ，当 最小时，取 等于1，则：第13页，共26页，2022年，5月20日，1点0分，星期一第二节 信息率失真函数及其性质2)、 R(D)函数的单调递减性和连续性0DR(D)第14页，共26页，2022年，5月20日，1点0分，星期一第三节 二元信源和离散对称信源的R(D)函数1、二元对称信源的R(D)函数 设二元信源U=0,1，其分布概率 ，而接收变量v=0,1，设汉明失真矩阵为： 因而最小失真度 。并能找到

7、满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为：第15页，共26页，2022年，5月20日，1点0分，星期一第三节 二元信源和离散对称信源的R(D)函数 要达到最大允许失真，唯一确定 此时，可计算得信息传输率 一般情况下，当 时，第16页，共26页，2022年，5月20日，1点0分，星期一第三节 二元信源和离散对称信源的R(D)函数可以计算得：二元信源得信息率失真函数为例：在汉明失真条件下，第17页，共26页，2022年，5月20日，1点0分，星期一第三节 二元信源和离散对称信源的R(D)函数 对于离散对称信源，在汉明失真条件下：第18页，共26页，2022年，5月20日，1点0

8、分，星期一第四节 保真度准则下的信源编码定理 定理7.1 保真度准则下的信源编码定理 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度。对于任意的 ，以及任意足够长的码长n，则一定存在一种信源编码C，其码字个数为而编码后的平均失真度如果用二元编码，则： 该定理称为香农第三定理。它告诉我们，对于任何失真度D，只要码长足够长，总可以找到一种编码C，使编码后的每个信源符号的信息传输率第19页，共26页，2022年，5月20日，1点0分，星期一第四节保真度准则下的信源编码定理 定理7.2（信源编码逆定理）不存在平均失真度D，而平均信息传输率 的任何信源编码。即对任意码长n的信源码C，

9、若码字个数 ，一定 该定理告诉我们：如果编码后平均每个信源符号的信息传输率 小于信息率失真函数 ，就不能在保真度准则下再现信源的消息。第20页，共26页，2022年，5月20日，1点0分，星期一第五节 联合有失真信源信道编码定理 定理7.3 （信息传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D

10、。第21页，共26页，2022年，5月20日，1点0分，星期一第五节 联合有失真信源信道编码定理 定理7.4 离散无记忆信源的S的信息率失真函数为R(D)，每秒钟输出 个信源符号，离散无记忆信道的信道容量C，每秒输出 个信源符号，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。第22页，共26页，2022年，5月20日，1点0分，星期一第六节 有失真信源编码定理的实用意义例： 要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即可以设想这样一种信源编码：第23页，共26页，2022年，5月20日，1点0分，星期一第六节 有失真信源编码定理的实用意义无噪无损信道传输第24页，共26页，2022年，5月20日，1点0分，星期一第六节 有失真信源编码定理的实用意义这种编码方法，可以看成是一种特殊的试验信道 信息率为1/3，而平均失真为1/4，根据香农第三定理，若允许失真D=1/4时，总可以找到一种编码，使信息输出率达到极限R(1/4)第25页，共26页，2022年，5月20日，1点0分，星期一第六节 有失真信源编码定理的实用意义 香农第三定理是一个存在定理，至于如何寻找这种最佳编码方法并没有给出，在实际应用中，存在一下两方面的问题： 1、