限失真信源编码15教案课件

限失真信源编码15限失真信源编码151第一节失真测度一.失真函数失真函数----用一个非负函数d(xi,yj)表示当信源发出信息

xi

，而信宿收到信息yj

的失真度的定量描述信道XYX=[x1x2…xn]Y=[y1y2…ym]失真矩阵[d]注意:-----失真函数的形式是依实际情况人为决定的.第1页/共32页第一节失真测度一.失真函数失真函数----用一个非负函2最常用的失真函数有：信道XY矢量失真函数第2页/共32页最常用的失真函数有：信道XY矢量失真函数第2页/共32页3例7-1假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi,i=1,2,3的取值为{0,1}，经信道传输后的输出为Y=Y1Y2Y3

，其中Yj,j=1,2,3的取值为{0,1}.定义失真函数为

d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵[dN]。解：由矢量失真函数的定义得：第3页/共32页例7-1解：由矢量失真函数的定义得：第3页/共32页4类似可以得到其他失真函数的值，则矢量失真矩阵为第4页/共32页类似可以得到其他失真函数的值，则矢量失真矩阵为第4页/共325----用来估计全体信源发出的信息与接收信息之间的失真程度。二.平均失真函数定义：失真函数的数学期望定义为平均失真函数（平均失真度）矢量平均失真函数为：

：表示第i个位置上符号的平均失真函数。第5页/共32页----用来估计全体信源发出的信息与接收信息之间的失真程度。6例7-2

在语音线谱频率参数的矢量量化中，引入失真函数d(X,Y)

，该失真函数反映用码字Y代替线谱频率参数X时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度：为加权因子，

为经验常数

为对应测试矢量的LPA功率谱

实验证明该方法比均方误差失真每帧节省2个比特以上

第6页/共32页例7-2在语音线谱频率参数的矢量量化中，引入失真函数d(7第二节信息率失真函数

在采样率为8kHz的语音信号的子带编码中，如果采用小波变换把语音信号分解为4个子带，即2~4kHz，1kHz~2kHz，500~1000Hz，0~500Hz。原始全带重建0~2kHz重建0~1kHz重建0~500Hz重建一.保真度准则

规定平均失真度为D，则信源压缩后的平均失真度的准则为保真度准则。

当失真函数及信源给定后，选择适当信道，使其平均失真度满足保真度准则。所有满足保真度准则的信道，称为D失真允许试验信道，记作第7页/共32页第二节信息率失真函数在采样率为8kHz的语音信号8

在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：二.信息率失真函数R(D)含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。第8页/共32页在D允许信道中可以寻找一个信道，使得给定的信源9例7-3：设信源的符号表示为

即符号不发生错误时失真为0，一旦出错失真为1。假设允许的失真限度为试分析在给定的失真限度条件下信息压缩的程度。，各符号等概分布，规定失真函数为第9页/共32页例7-3：设信源的符号表示为即符号不发生错误时失真为10解：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即平均失真度则平均每个符号至少需要个二进制码元来表示。

此时信源编码器的输出信息率为当允许的失真限度为时，可以计算得第10页/共32页解：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即11按照最大的失真度来进行编码，即平均失真度

也就是说，当收到100个符号，允许其中有50个符号发生错误。设想采用下面的编码方法：用信道表示如下：该信道的平均失真度为：由平均互信息的公式可知：第11页/共32页按照最大的失真度来进行编码，即平均失真度也就是说，当收到12该编码方法相当于一个确定信道，则信道输出概率分布为：则输出熵为平均互信息：即采用上面的编码方法后的信息率比较率失真函数和该信道的信息率有：

当时，该编码器输出的信息率等于率失真函数，而当时，该编码器输出的信息率大于率失真函数

说明该编码方法不是最好的编码方法

第12页/共32页该编码方法相当于一个确定信道，则信道输出概率分布为：则输出熵13。从两个方面应用这个率失真函数：再看具体编码方法的输出信息率跟1）在给定失真度D的条件下，求出所能达到的最小信息率的关系，然后判断该编码方法是否适合。然后看具体编码方法的失真是否超过最小失真2）在给定信息率R的条件下，求出所能达到的最小失真在WI语音压缩编码中，线谱频率的量化采用矢量量化，它是从第二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量。原始语音WI语音20bit本人采用的方法15bit第13页/共32页。从两个方面应用这个率失真函数：再看具体编码方法的输出信息率14-----连续信源

三.率失真函数R(D)的定义域信道传输的信息量等于信源的熵，即：1.-------离散信源2.

的定义域为：第14页/共32页-----连续信源三.率失真函数R(D)的定义域信道传输的15如何求解出呢？

当时，信道的输入与输出相互独立，则此时的平均失真为

如果选取

的最小值对应的令其它的

对应的，则有

第15页/共32页如何求解出呢？当时，信道的输入与输出相互独立，则16例7-4：设输入输出符号表示为，输入概率分布为，失真矩阵为，求平均失真度为和时的率失真函数以及对应的编码器的转移概率。

解：当平均失真度为时，编码是无失真的，则编码器的转移概率为当平均失真度为时，编码具有最大无失真，则此时编码器的转移概率为此时第16页/共32页例7-4：设输入输出符号表示为，输入概率分布为，失真矩阵为，17四.率失真函数的数学特性1.下凸性。给定信源及规定失真函数后，在的定义域内，是关于D的下凸函数，即对于任意和，有2.R(D)是关于D的单调递减函数率失真函数也是关于D的连续函数

在定义域，若有，则有

第17页/共32页四.率失真函数的数学特性1.下凸性。给定信源及规定失真函数后18结论：

率失真函数是非负实数，即。其定义域为，其对应的值为。当时，是关于D的单调递减函数。③是关于D的下凸函数，因而也是关于D的连续函数。②H（X）R（D）R（D1）0D1DmaxD第18页/共32页结论：率失真函数是非负实数，即。其定义域为，其对应的值为。19五.R（D）函数的计算设信源的输入序列为信源编码器的输出序列为规定失真函数为

的计算是在约束条件下，求

的极小值问题。

第19页/共32页五.R（D）函数的计算设信源的输入序列为信源编码器的输出序20通常情况下，引入拉格朗日乘法，引入乘子s和将上述条件极值问题转化为无条件极值问题：由上式解出所有，带入平均互信息的求解公式中得到在约束条件下的平均互信息的极小值，即是率失真函数。第20页/共32页通常情况下，引入拉格朗日乘法，引入乘子s和将上述条件极值问题21（1）计算（i=1,2,...,n)（2）计算

（3）计算

（4）计算

1）率失真函数的参量算法第21页/共32页（1）计算（i=1,2,...,n)（22例7-5：设信源输入符号集为(0,1)，其中。失真函数定义为，，设输出符号集为(0,1)，允许的失真度为D，求率失真函数R(D)。解：（1）首先由来计算和则有解出第22页/共32页例7-5：设信源输入符号集为(0,1)，其中23（2）：由来计算和则有解出第23页/共32页（2）：由来计算和则有解出第23页/共32页24（3）：将求得的和代入得到平均失真度为则解出参量s为（4）：将参量s代入得可以看出：是本身要传输的信息量，是由允许失真D导致损失的最大信息量

第24页/共32页（3）：将求得的和代入得到平均失真度为则解出参量s为（4）：252）率失真函数的迭代算法A：迭代计算公式第25页/共32页2）率失真函数的迭代算法A：迭代计算公式第25页/共32页26B：迭代计算步骤①假定S1为以相当大的负值，选定起始传递概率可取。将选定的代入得到。②将代入，得到③再将代入，得到

第26页/共32页B：迭代计算步骤①假定S1为以相当大的负值，选定起始传递概率27⑤当和的差别小于预先给定的值，取或作为的近似值

⑥选略小一些的负数s2，重复上述迭代过程，得到对应于s2的

⑦重复上述过程，直到逼近零

④重复前面的步骤，计算出第k次和第k+1次的和第27页/共32页⑤当和的差别小于预先给定的值，取或作为的近似值⑥选略小一些28第三节限失真信源编码定理限失真信源编码定理：

设离散无记忆信源X的信息率失真函数为R(D)，当信息率R>R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+ε，ε为任意小的正数；反之，若R<R(D)，则无论采用什么样的编码方法，其译码失真必定大于D。

定理指出，在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D)，平均失真一定超过失真限度D。

说明:R(D)且允许平均失真度情况下，信源信息压缩的下限值。第28页/共32页第三节限失真信源编码定理限失真信源编码定理：第28页/共329第四节常用限失真信源编码方法简介一.标量量化量化器XY输出为电平多对一映射设门限为：则：通过量化器传输的信息率量化带来的平均失真D为第29页/共32页第四节常用限失真信源编码方法简介一.标量量化量化器XY30设有信源序列可令预测值为二.预测编码

预测是用过去值预测未来值,并对它与实际值之差进行编码，达到进一步压缩码率的目的。

预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就没有可能。R阶预测是由来预测线性预测是预测函数为各已知信源符号的线性函数，即并求均方误差最小时的各值。第30页/共32页设有信源序列可令预测值为二.预测编码预测是用过去值预31三.变换编码A变换量化B变换输入X输出Ww=BzYy=AxZA:线性变换,为非奇异的去相关矩阵Y:各个分量不相关B:线性变换,是非奇异矩阵。变换编码与理论上的压缩编码的区别是多了两个限制：①

变换为线性变换②

量化是对各分量独立进行最终输出处的平均失真跟矩阵A、B以及量化方法等有关。第31页/共32页三.变换编码A变换B变换输入X输出WYZA:线性变换,为32限失真信源编码15限失真信源编码1533第一节失真测度一.失真函数失真函数----用一个非负函数d(xi,yj)表示当信源发出信息

xi

，而信宿收到信息yj

的失真度的定量描述信道XYX=[x1x2…xn]Y=[y1y2…ym]失真矩阵[d]注意:-----失真函数的形式是依实际情况人为决定的.第1页/共32页第一节失真测度一.失真函数失真函数----用一个非负函34最常用的失真函数有：信道XY矢量失真函数第2页/共32页最常用的失真函数有：信道XY矢量失真函数第2页/共32页35例7-1假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi,i=1,2,3的取值为{0,1}，经信道传输后的输出为Y=Y1Y2Y3

，其中Yj,j=1,2,3的取值为{0,1}.定义失真函数为

d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵[dN]。解：由矢量失真函数的定义得：第3页/共32页例7-1解：由矢量失真函数的定义得：第3页/共32页36类似可以得到其他失真函数的值，则矢量失真矩阵为第4页/共32页类似可以得到其他失真函数的值，则矢量失真矩阵为第4页/共3237----用来估计全体信源发出的信息与接收信息之间的失真程度。二.平均失真函数定义：失真函数的数学期望定义为平均失真函数（平均失真度）矢量平均失真函数为：

：表示第i个位置上符号的平均失真函数。第5页/共32页----用来估计全体信源发出的信息与接收信息之间的失真程度。38例7-2

在语音线谱频率参数的矢量量化中，引入失真函数d(X,Y)

，该失真函数反映用码字Y代替线谱频率参数X时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度：为加权因子，

为经验常数

为对应测试矢量的LPA功率谱

实验证明该方法比均方误差失真每帧节省2个比特以上

第6页/共32页例7-2在语音线谱频率参数的矢量量化中，引入失真函数d(39第二节信息率失真函数

在采样率为8kHz的语音信号的子带编码中，如果采用小波变换把语音信号分解为4个子带，即2~4kHz，1kHz~2kHz，500~1000Hz，0~500Hz。原始全带重建0~2kHz重建0~1kHz重建0~500Hz重建一.保真度准则

规定平均失真度为D，则信源压缩后的平均失真度的准则为保真度准则。

当失真函数及信源给定后，选择适当信道，使其平均失真度满足保真度准则。所有满足保真度准则的信道，称为D失真允许试验信道，记作第7页/共32页第二节信息率失真函数在采样率为8kHz的语音信号40

在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：二.信息率失真函数R(D)含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。第8页/共32页在D允许信道中可以寻找一个信道，使得给定的信源41例7-3：设信源的符号表示为

即符号不发生错误时失真为0，一旦出错失真为1。假设允许的失真限度为试分析在给定的失真限度条件下信息压缩的程度。，各符号等概分布，规定失真函数为第9页/共32页例7-3：设信源的符号表示为即符号不发生错误时失真为42解：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即平均失真度则平均每个符号至少需要个二进制码元来表示。

此时信源编码器的输出信息率为当允许的失真限度为时，可以计算得第10页/共32页解：由信源概率分布可求出信源熵为如果对信源进行无失真编码，即43按照最大的失真度来进行编码，即平均失真度

也就是说，当收到100个符号，允许其中有50个符号发生错误。设想采用下面的编码方法：用信道表示如下：该信道的平均失真度为：由平均互信息的公式可知：第11页/共32页按照最大的失真度来进行编码，即平均失真度也就是说，当收到44该编码方法相当于一个确定信道，则信道输出概率分布为：则输出熵为平均互信息：即采用上面的编码方法后的信息率比较率失真函数和该信道的信息率有：

当时，该编码器输出的信息率等于率失真函数，而当时，该编码器输出的信息率大于率失真函数

说明该编码方法不是最好的编码方法

第12页/共32页该编码方法相当于一个确定信道，则信道输出概率分布为：则输出熵45。从两个方面应用这个率失真函数：再看具体编码方法的输出信息率跟1）在给定失真度D的条件下，求出所能达到的最小信息率的关系，然后判断该编码方法是否适合。然后看具体编码方法的失真是否超过最小失真2）在给定信息率R的条件下，求出所能达到的最小失真在WI语音压缩编码中，线谱频率的量化采用矢量量化，它是从第二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量。原始语音WI语音20bit本人采用的方法15bit第13页/共32页。从两个方面应用这个率失真函数：再看具体编码方法的输出信息率46-----连续信源

三.率失真函数R(D)的定义域信道传输的信息量等于信源的熵，即：1.-------离散信源2.

的定义域为：第14页/共32页-----连续信源三.率失真函数R(D)的定义域信道传输的47如何求解出呢？

当时，信道的输入与输出相互独立，则此时的平均失真为

如果选取

的最小值对应的令其它的

对应的，则有

第15页/共32页如何求解出呢？当时，信道的输入与输出相互独立，则48例7-4：设输入输出符号表示为，输入概率分布为，失真矩阵为，求平均失真度为和时的率失真函数以及对应的编码器的转移概率。

解：当平均失真度为时，编码是无失真的，则编码器的转移概率为当平均失真度为时，编码具有最大无失真，则此时编码器的转移概率为此时第16页/共32页例7-4：设输入输出符号表示为，输入概率分布为，失真矩阵为，49四.率失真函数的数学特性1.下凸性。给定信源及规定失真函数后，在的定义域内，是关于D的下凸函数，即对于任意和，有2.R(D)是关于D的单调递减函数率失真函数也是关于D的连续函数

在定义域，若有，则有

第17页/共32页四.率失真函数的数学特性1.下凸性。给定信源及规定失真函数后50结论：

率失真函数是非负实数，即。其定义域为，其对应的值为。当时，是关于D的单调递减函数。③是关于D的下凸函数，因而也是关于D的连续函数。②H（X）R（D）R（D1）0D1DmaxD第18页/共32页结论：率失真函数是非负实数，即。其定义域为，其对应的值为。51五.R（D）函数的计算设信源的输入序列为信源编码器的输出序列为规定失真函数为

的计算是在约束条件下，求

的极小值问题。

第19页/共32页五.R（D）函数的计算设信源的输入序列为信源编码器的输出序52通常情况下，引入拉格朗日乘法，引入乘子s和将上述条件极值问题转化为无条件极值问题：由上式解出所有，带入平均互信息的求解公式中得到在约束条件下的平均互信息的极小值，即是率失真函数。第20页/共32页通常情况下，引入拉格朗日乘法，引入乘子s和将上述条件极值问题53（1）计算（i=1,2,...,n)（2）计算

（3）计算

（4）计算

1）率失真函数的参量算法第21页/共32页（1）计算（i=1,2,...,n)（54例7-5：设信源输入符号集为(0,1)，其中。失真函数定义为，，设输出符号集为(0,1)，允许的失真度为D，求率失真函数R(D)。解：（1）首先由来计算和则有解出第22页/共32页例7-5：设信源输入符号集为(0,1)，其中55（2）：由来计算和则有解出第23页/共32页（2）：由来计算和则有解出第23页/共32页56（3）：将求得的和代入得到平均失真度为则解出参量s为（4）：将参量s代入得可以看出：是本身要传输的信息量，是由允许失真D导致损失的最大信息量

第24页/共32页（3）：将求得的和代入得到平均失真度为则解出参量s为（4）：572）率失真函数的迭代算法A：迭代计算公式第25页/共32页2）率失真函数的迭代算法A：迭代计算公式第25页/共32页58B：迭代计算步骤①假定S1为以相当大的负值，选定起始传递概率可取。将选定的代入得到。②将代入，得到③再将代入，得到

第26页/共32页B：迭代计算步骤①假定S1为以相当大的负值，选定起始传递概