保真度准则下的信源编码

保真度准则下的信源编码第一页，共四十页，2022年，8月28日1、实际通信中存在失真。

在实际通信中，信源输出的信息传输率总是大大超过信道容量，不可能实现完全无失真地传输信源的信息。此外，为了提高传输和存储效率，必须进行数据压缩，这样也会损失一定的信息，带来失真。2、实际生活中允许有一定失真。在实际生活中，人们不一定要求完全无失真的恢复消息，也就是允许有一定的失真。引言第二页，共四十页，2022年，8月28日3、引出所研究的问题：允许一定失真下信源编码。那么在允许一定程度失真的条件下，能够把信源信息压缩到什么程度，也就是，允许一定程度失真的条件下，如何能快速的传输信息，这就是本章所要讨论的问题。本章所讨论的内容是量化、数模转换、频带压缩和数据压缩的理论基础。

失真度如何表示？基于失真度定义的信息率失真函数及其性质？什么是保真度准则？在保真度准则下如何进行信源编码？引言第三页，共四十页，2022年，8月28日第一节失真度和平均失真度第四页，共四十页，2022年，8月28日

1、失真度根据信道编码定理，我们可以把信道编码、信道和信道解码等价成是一个没有任何干扰的广义信道，这样收信者收到消息后，所产生的失真只是由信源编码带来的。我们也可以把信源编码和信源译码等价成一个信道，称此信道为试验信道。第一节失真度和平均失真度第五页，共四十页，2022年，8月28日现在我们要研究在给定允许失真的条件下，是否可以设计一种信源编码使信息传输率为最低。为此，我们首先讨论失真的测度。设信源变量为，其概率分布为对于每一对(u,v)，我们指定一个非负的函数称为单个符号的失真度（或称失真函数）。接收端（信宿）变量为。第一节失真度和平均失真度第六页，共四十页，2022年，8月28日失真函数用来表征信源发出一个符号，而在接收端再现成符号所引起的误差或失真。d越小表示失真越小，等于0表示没有失真。可以将所有的失真函数排列成矩阵的形式：我们称它为失真矩阵。第一节失真度和平均失真度第七页，共四十页，2022年，8月28日例1：失真矩阵为：这种失真称为汉明失真。在二元情况下：第一节失真度和平均失真度第八页，共四十页，2022年，8月28日[例2]二元删除信道X={0,1};Y={0,2,1}[P]=02101-pp010p1-p

01-p0pp

11-p12回忆：二元删除信道第九页，共四十页，2022年，8月28日

这种信道实际是存在的。假如有一个实际信道，它的输入时代表0和1的两个正、负方波信号，如图3.5(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t)，如图3.5(b)所示。我们可以用积分I=来判别发送的信号是“0”，还是“1”。如果I是正的，且大于某一电平，那么判别发送的是“0”；若I是负的，且小于某一电平，则判别发送的是“1”。而若I的绝对值很小，不能做出确切的判断，就认为接收到的是特殊符号“2”，假如信道干扰不是很严重的话，那么，10和01的可能性要比02和12的可能性小的多，所以假设P(y=1|x=0)=P(y=0|x=1)=0是较合理的。

01-p0pp

11-p12第十页，共四十页，2022年，8月28日例2：删除信源对于二元删除信源r=2，s=3，失真度为第一节失真度和平均失真度第十一页，共四十页，2022年，8月28日例3：对称信源r=s，定义失真度为：当r=s=3时，失真矩阵为：第一节失真度和平均失真度平方误差失真第十二页，共四十页，2022年，8月28日第一节失真度和平均失真度2、平均失真度第十三页，共四十页，2022年，8月28日第一节失真度和平均失真度若平均失真度不大于我们所允许的失真D，我们称此为保真度准则。凡满足保真度准则的这些试验信道称为D失真许可的试验信道。把所有D失真许可的试验信道组成一个集合，用符号BD表示。第十四页，共四十页，2022年，8月28日第二节信息率失真函数及其性质第十五页，共四十页，2022年，8月28日回忆：互信息

事件是否发生具有不确定性，用度量。接收到符号后，事件是否发生仍保留有一定的不确定性，用度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用表示，称为事件和事件之间的互信息量。第十六页，共四十页，2022年，8月28日

I(X;Y)=H(X)-H(X|Y)

因为H(X)表示传输前信源的不确定性，而H(X|Y)表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。

P(x)平均互信息定义：互信息I(x:y)在两个概率空间X和Y中求统计平均的结果；先验熵与信道疑义度之差。回忆：平均互信息第十七页，共四十页，2022年，8月28日

定理3.1：平均互信息I(X;Y)是输入信源概率分布P(x)的型凸函数（又称上凸函数）。

这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。因此，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。对于每一个固定的信道，一定存在一个某种概率分布的信源，使输出端获得的平均信息量为最大。回忆：平均互信息的性质第十八页，共四十页，2022年，8月28日

定理3.2平均互信息I(X;Y)信道传递概率P(y|x)的U型凸函数（又称下凸函数）。这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均互信息量的最小值体现了信源本身的特性。因此，当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小。回忆：平均互信息的性质第十九页，共四十页，2022年，8月28日对于一个固定的信道，总存在一种信源（概率分布为P(x)），使传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为信道容量C，单位是比特/符号，即

信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。

回忆：平均互信息与信道容量第二十页，共四十页，2022年，8月28日第二节信息率失真函数及其性质1、信息率失真函数

当信源和失真函数给定后，我们总希望在满足保真度准则下寻找平均互信息的最小值。也就是在中找一个信道，使平均互信息取极小值。这个最小值就是在的条件下，信源必须传输的最小平均信息量。

改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率为最小。现在我们要研究在给定允许失真的条件下，设计一种信源编码使信息传输率为最低。从接收端来看，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。第二十一页，共四十页，2022年，8月28日第二节信息率失真函数及其性质2、信息率失真函数的性质

1)、R(D)的定义域是

(1)、和允许失真度D的最小值为0，即不允许有失真，R(0)的最小值为H(U)，即信息传输率至少为信源的信息熵。例：满足最小失真度的试验信道是一个无噪无损信道：第二十二页，共四十页，2022年，8月28日第二节信息率失真函数及其性质(2)因为D越大，R(D)越小，最小为0，当D再大时，R(D)也只能为0，此时，发送与接收统计独立，即：失真度函数变为：当时，而当时，

可以这样选，当最小时，取等于1，则：

所以，就是在R(D)=0的情况下，求的最小值第二十三页，共四十页，2022年，8月28日第二节信息率失真函数及其性质2)、R(D)是D的下凸函数0DR(D)第二十四页，共四十页，2022年，8月28日第二节信息率失真函数及其性质3)、

R(D)函数的单调递减性和连续性第二十五页，共四十页，2022年，8月28日第三节二元信源和离散对称信源的R(D)函数第二十六页，共四十页，2022年，8月28日第三节

二元信源和离散对称信源的R(D)函数1、二元对称信源的R(D)函数第二十七页，共四十页，2022年，8月28日要达到最大允许失真，唯一确定此时，可计算得信息传输率一般情况下，当时，第三节

二元信源和离散对称信源的R(D)函数在汉明失真度下，平均失真度等于平均错误率。第二十八页，共四十页，2022年，8月28日可以计算得：二元信源的信息率失真函数为在汉明失真条件下，例：第三节

二元信源和离散对称信源的R(D)函数

对于离散对称信源，在汉明失真条件下：第二十九页，共四十页，2022年，8月28日第四节保真度准则下的信源编码定理第三十页，共四十页，2022年，8月28日第四节保真度准则下的信源编码定理使编码后的每个信源符号的信息传输率满足：该定理告诉我们：即，而码的平均失真度。

第三十一页，共四十页，2022年，8月28日

该定理告诉我们：如果编码后平均每个信源符号的信息传输率小于信息率失真函数，就不能在保真度准则下再现信源的消息。第四节保真度准则下的信源编码定理第三十二页，共四十页，2022年，8月28日第五节联合有失真信源信道编码定理第三十三页，共四十页，2022年，8月28日第五节联合有失真信源信道编码定理第三十四页，共四十页，2022年，8月28日第六节限失真信源编码定理的实用意义第三十五页，共四十页，2022年，8月28日第六节限失真信源编码定理的实用意义例：要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即可以设想这样一种信源编码：无噪无损信道传输第三十六页，共四十页，2022年，8月28日第六节限失真信源编码定理的实用意义UVYf(U)失真信源编码码字C=(0，1)实际信道译码U000，101，100，110，011，111，001，······V000，111，000，111，111，111，000，······C0，1，0，1，1，1，0，······Y0，1，0，1，1，1，0，······000，111，000，111，111，111，000，······编码译码