信息理论基础 第七章 限失真信源编码

1、信息理论基础 第七章 限失真信源编码第1页，共31页，2022年，5月20日，0点57分，星期一第一节 失真测度一.失真函数失真函数-用一个非负函数d (xi ,yj)表示当信源发出信息 xi ，而信宿收到信息yj 的失真度的定量描述信道XYX=x1 x2 xnY=y1 y2 ym失真矩阵d注意:-失真函数的形式是依实际情况人为决定的.第2页，共31页，2022年，5月20日，0点57分，星期一最常用的失真函数有：信道XY矢量失真函数第3页，共31页，2022年，5月20日，0点57分，星期一例7-1假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi , i=1,2,3的取值为0

2、,1，经信道传输后的输出为Y=Y1Y2Y3 ，其中Yj , j=1,2,3的取值为0,1.定义失真函数为 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵dN。解：由矢量失真函数的定义得：第4页，共31页，2022年，5月20日，0点57分，星期一类似可以得到其他失真函数的值，则矢量失真矩阵为第5页，共31页，2022年，5月20日，0点57分，星期一-用来估计全体信源发出的信息与接收信息之间的失真程度。二.平均失真函数定义：失真函数的数学期望定义为平均失真函数（平均失真度）矢量平均失真函数为： ：表示第i个位置上符号的平均失真函数。 第6页，共31页，2022年

3、，5月20日，0点57分，星期一例7-2 在语音线谱频率参数的矢量量化中，引入失真函数d(X,Y) ，该失真函数反映用码字Y代替线谱频率参数X时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度： 为加权因子， 为经验常数 为对应测试矢量的LPA功率谱 实验证明该方法比均方误差失真每帧节省2个比特以上 第7页，共31页，2022年，5月20日，0点57分，星期一例7-3：设信源的符号表示为 ，各符号等概分布，规定失真函数为 (1)如要求从平均意义上不允许有失真，即允许平均失真度D=0，此时信源输出的信息率是多少？(2)如我们允许平均失真度D=1/2，也就是说，当收到1

4、00个符号，允许其中有50个符号以下的错误，此时信源输出的信息率可以是多少？ 第8页，共31页，2022年，5月20日，0点57分，星期一第二节 信息率失真函数 在采样率为8kHz的语音信号的子带编码中，如果采用小波变换把语音信号分解为4个子带，即24kHz，1kHz2kHz，5001000Hz，0500Hz。原始全带重建02kHz重建01kHz重建0500Hz重建一.保真度准则 规定平均失真度为D，则信源压缩后的平均失真度 的准则为保真度准则。 当失真函数及信源给定后，选择适当信道，使其平均失真度 满足保真度准则 。所有满足保真度准则的信道，称为D失真允许试验信道，记作 第9页，共31页，2

5、022年，5月20日，0点57分，星期一 在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：二.信息率失真函数R(D)含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。 第10页，共31页，2022年，5月20日，0点57分，星期一例7-3：设信源的符号表示为 即符号不发生错误时失真为0，一旦出错失真为1。假设允许的失真限度为试分析在给定的失真限度条件下信息压缩的程度。，各符号等概分布，规定失真函数为第11页

6、，共31页，2022年，5月20日，0点57分，星期一解：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即平均失真度则平均每个符号至少需要个二进制码元来表示。 此时信源编码器的输出信息率为当允许的失真限度为时，可以计算得第12页，共31页，2022年，5月20日，0点57分，星期一按照最大的失真度来进行编码，即平均失真度 也就是说，当收到100个符号，允许其中有50个符号发生错误。设想采用下面的编码方法：用信道表示如下：该信道的平均失真度为：由平均互信息的公式可知：第13页，共31页，2022年，5月20日，0点57分，星期一该编码方法相当于一个确定信道，则信道输出概率分布为：则输出熵

7、为 平均互信息：即采用上面的编码方法后的信息率比较率失真函数和该信道的信息率有： 当时，该编码器输出的信息率等于率失真函数，而当时，该编码器输出的信息率大于率失真函数 说明该编码方法不是最好的编码方法 第14页，共31页，2022年，5月20日，0点57分，星期一。从两个方面应用这个率失真函数：再看具体编码方法的输出信息率跟1）在给定失真度D的条件下，求出所能达到的最小信息率的关系，然后判断该编码方法是否适合。然后看具体编码方法的失真是否超过最小失真2）在给定信息率R的条件下，求出所能达到的最小失真在WI语音压缩编码中，线谱频率的量化采用矢量量化，它是从第二个方面应用率失真函数来指导的。目前，

8、每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量。原始语音WI语音20bit本人采用的方法15bit第15页，共31页，2022年，5月20日，0点57分，星期一-连续信源 三.率失真函数R(D)的定义域信道传输的信息量等于信源的熵，即：1.-离散信源2. 的定义域为：第16页，共31页，2022年，5月20日，0点57分，星期一如何求解出 呢？ 当时，信道的输入与输出相互独立，则此时的平均失真为 如果选取 的最小值对应的 令其它的 对应的 ，则有 第17页，共31页，2022年，5月20日，0点57分，星期一例7-4：设输入输出符号表示为，输入概率分布为，失真矩阵为，求平均失真度为

9、和时的率失真函数以及对应的编码器的转移概率。 解：当平均失真度为时，编码是无失真的，则编码器的转移概率为当平均失真度为时，编码具有最大失真，则此时 编码器的转移概率为此时第18页，共31页，2022年，5月20日，0点57分，星期一四.率失真函数的数学特性1.下凸性。给定信源及规定失真函数后，在的定义域内，是关于D的下凸函数，即对于任意和，有2.R(D)是关于D的单调递减函数率失真函数也是关于D的连续函数 在定义域，若有，则有 第19页，共31页，2022年，5月20日，0点57分，星期一结论： 率失真函数是非负实数，即。其定义域为，其对应的值为。当时，是关于D的单调递减函数。是关于D的下凸函

10、数，因而也是关于D的连续函数。H（X）R（D）R（D1）0D1DmaxD第20页，共31页，2022年，5月20日，0点57分，星期一五.R（D）函数的计算设信源的输入序列为 信源编码器的输出序列为 规定失真函数为 的计算是在约束条件 下，求 的极小值问题。 第21页，共31页，2022年，5月20日，0点57分，星期一通常情况下，引入拉格朗日乘法，引入乘子s和将上述条件极值问题转化为无条件极值问题：由上式解出所有，带入平均互信息的求解公式中得到在约束条件下的平均互信息的极小值，即是率失真函数 。求解偏导得到一系列重要的公式： 第22页，共31页，2022年，5月20日，0点57分，星期一例7

11、-5：设信源输入符号集为(0,1)，其中 。失真函数定义为 ， ，设输出符号集为(0,1)，允许的失真度为D，求率失真函数R(D)。解：（1）首先由来计算和则有解出第23页，共31页，2022年，5月20日，0点57分，星期一（2）：由来计算和则有解出第24页，共31页，2022年，5月20日，0点57分，星期一（3）：将求得的和代入得到平均失真度为则解出参量s为（4）：将参量s代入得可以看出：是本身要传输的信息量，是由允许失真D导致损失的最大信息量 第25页，共31页，2022年，5月20日，0点57分，星期一第三节 限失真信源编码定理限失真信源编码定理： 设离散无记忆信源X的信息率失真函数

12、为R(D)，当信息率R R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+，为任意小的正数；反之，若R R(D) ，则无论采用什么样的编码方法，其译码失真必定大于D。 定理指出，在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D) ，平均失真一定超过失真限度D。 说明:R(D)且允许平均失真度情况下，信源信息压缩下的限值。第26页，共31页，2022年，5月20日，0点57分，星期一第四节 常用限失真信源编码方法简介一.标量量化量化器XY 输出为电平多对一映射设门限为：则：通过量化器传输的信息率量化带来的平均失真D为第27页，共31

13、页，2022年，5月20日，0点57分，星期一设有信源序列可令预测值为二.预测编码 预测是用过去值预测未来值,并对它与实际值之差进行编码，达到进一步压缩码率的目的。 预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就没有可能。R阶预测是由来预测线性预测是预测函数为各已知信源符号的线性函数，即并求均方误差最小时的各 值。第28页，共31页，2022年，5月20日，0点57分，星期一三.变换编码A变换量化B变换输入X输出Ww=Bz Yy=AxZA:线性变换,为非奇异的去相关矩阵Y:各个分量不相关B:线性变换,是非奇异矩阵。变换编码与理论上的压缩编码的区别是多了两个限制： 变换为线性变换

14、量化是对各分量独立进行最终输出处的平均失真跟矩阵A、B以及量化方法等有关。第29页，共31页，2022年，5月20日，0点57分，星期一例7-6：若有一信源 每秒钟发出2.66个信源符号。将此信源的输出符号送入某二元无噪无损信道中进行传输，而信道每秒钟只传送两个二元符号。（1）试问信源能否在此信道中进行无失真传输。（2）若此信源失真度测量定义为汉明失真，即d(0,1)=d(1,0)=1，d(0,0)=d(1,1)=0，问允许信源平均失真多大时，此信源就可以在此信道中传播。第30页，共31页，2022年，5月20日，0点57分，星期一解 (1)信源熵为H（S）=1比特/符号 信源输出的信息传输速率Rt=2.66H（S）=2.66比特/秒无噪无损信道的信