DVIP04-信源编码和率失真理论课件

第04章信源编码和率失真理论SourceCodeandRate-DistortionTheory内容提要Outline信源编码定理信源压缩方法图像冗余率失真理论212/14/20223香农信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息312/14/20225通信系统模型进一步细分信源信源编码器纠错编码器调制器信道干扰源解调器纠错译码器信源译码器信宿等效离散信道等效离散信源等效信宿信道编码器信道译码器512/14/20226各部件功能信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率编码器信源编码器：对信源输出进行变换，求得有效性信道编码器：对信源编码输出变换，提高抗干扰性调制器：将信道编码输出变成适合信道传输的方式612/14/20227各部件功能信道信号从发端传到收端的介质干扰源系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性信道的中心问题是研究信道的统计特性和传信能力，即信道容量712/14/20228各部件功能译码器编码器的逆变换中心问题是研究各种可实现的解调和译码方法信宿信息的接收者8信源编码信源信道编码调制信道解调噪声干扰信道解码信源解码信宿二进制符号用二进制符号流表示信源适应传输信道的特性数字传输系统10信源编码定理：对于给定的失真率D，总可以找到一种信源编码方法，只要信源速率R大于率失真R(D)，就可以在平均失真任意接近D的条件下实现波形重建。说明1：R(D)称为率失真函数，它是单调非增函数，速率越高，平均失真越小。说明2：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。信道编码定理：如果信源速率R小于信道容量C，总可以找到一种信道编码方法，使得信源信息可以在有噪声信道上进行无差错传输，即：RC，无差错传输条件。说明1：信道容量C是根据仙侬定理得到的 C＝Wlog2(1+S/N)说明2：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。数字传输系统－信源和信道编码12内容提要Outline信源编码定理信源压缩方法图像冗余率失真理论14压缩方法信源压缩方法可以主要分为三大类：利用人眼的视觉特性模拟压缩技术统计编码人眼视觉特性：因为最终评价图像的质量是通过人眼来完成，所以可利用人眼的一些视觉特性对图像进行有损压缩，而产生的误差又不易被人眼所察觉。模拟压缩技术：常用的有亚取样、隔行隔点取样以及减少刷新速率。它们的使用都有一定的限制条件。亚取样可能导致混迭现象。隔行隔点取样将降低空间分辨率，可能导致爬行现象，当然也可在收端再插入行和点。减少刷新速率，将出现闪烁，且运动的连续性不好。15压缩方法统计编码：两种有效的压缩方法无失真压缩Loss-lesscompression：即熵编码，如游程长(run-length)

编码和哈夫曼(Huffman)编码；

2到5倍压缩比

有失真压缩Lossycompression：即允许有部分失真，遵循率失真函数，如预测编码、变换编码、运动补偿技术等

5到250倍压缩比－信源的统计特性。

－传输信道引入的损伤，如误码。

－信宿的质量要求。16压缩-无失真方法游程数据编码101000100010001001101=1+4x0100+1101源21bits→→压缩后12bits变字长编码（Variable-lengthCode,VLC)哈夫曼编码(HuffmanCode)概率大的块（事件）赋予短码概率小的块赋予长码算术编码(ArithmeticCode)概率大的块（事件）赋予短码，概率小的块赋予长码但它的编码过程与Huffman编码却不相同17压缩-有失真方法量化Quantisation-截短或舍入DPCM编码运动估计和补偿变换编码(TransformCoding)KLT变换离散余弦变换Discretecosinetransform(DCT)小波变换WaveletTransform分形编码FractalCoding18图象的相关性（冗余度）

空间冗余例:图象中包含许多规则物体，它们的亮度、饱和度及颜色可能都一样，因此，图象在空间上具有很大的相关性。例如Lenna图象的脸部和肩部。例:序列图象时间冗余20信息熵冗余信息量：从N个可能事件中选出一个事件所需要的信息度量。设事件X的概率为P(x)，则信息量定义为：

I(x)=-log2P(x)信息熵：如果将信源所有可能事件的信息量进行平均，就得到了信息熵(entropy)。熵就是平均信息量。信息源的符号集为Xj(j=1,2,3……..N)，设X出现的概率为P(xj),则信息源X的熵为图象的相关性（冗余度）当Xj等概时，H(X)最大。当Xj非等概时，H(X)不是最大，就存在冗余。21视觉冗余视觉冗余是非均匀、非线性的。例:人类视觉分辨率为26

，但常用28

就是数据冗余。其它冗余图象空白的非定长性。图象的相关性（冗余度）23内容提要Outline信源编码定理信源压缩方法图像冗余率失真理论24率失真理论：有损压缩无损编码：

x=x’亦称为熵编码（entropycoding）或可逆编码（reversiblecoding）有损编码：x

x’亦称为不可逆编码（irreversiblecoding）图象源编码器解码器显示失真d≤D时的最小码率R失真d码流解码后的表示26率失真理论：有损压缩如果允许信号存在一定可接受的失真度D，则能得到更低的比特码率R。DistortionDRateR无失真编码D=0率失真理论旨在寻求一种联系定长编码的失真度与编码数据率的方法。率失真理论并不针对特定的编码方法27率失真理论：失真度量1/5符号{xn}原始信源输出{yn}重构输出平方误差d(x,y)=(x–y)2绝对误差d(x,y)=|x–y|绝对最大误差(Absolutemaximumerror)28率失真理论：失真度量3/5峰值信噪比(Peak-signal-to-noiseratio,PSNR)在实际应用中常用峰值信噪比PSNR，通常PSNR比SNR大12～15dB。一般认为：峰值信噪比与图像质量近似成正比关系。但PSNR有其局限性：由于均方误差σd2是功率的平均，因此它不能完全地反映主观感觉。例如，在图像出现窄的水平亮条干扰时，虽然图像的PSNR高，但主观感觉差；又如在图像传输处理过程中出现的小错误，虽然它不会对PSNR值产生大的影响，但如果其位置恰好处在图像理解的关键位置，由于人类视觉系统对关键信息的改变非常敏感，因此，会大大影像主观质量的评价。30率失真理论：失真度量4/5峰值信噪比=6.24峰值信噪比=5.98结论：1、峰值信噪比度量与人的视觉感知并不完全一致！但由于均方误差和信噪比在数学上容易处理，另外也缺少性价比更好的替代方法。因此，上述方法在图像处理的客观失真测量方面仍得到了大量的应用。2、需要寻求更加符合人类视觉感知的客观度量方法以及相应的编码理论和方法。31率失真理论：失真度量5/5客观评价：用数学表达式表示原始信号与重构信号之间的差异如上述准则不一定符合用户的感知评价，但在数学计算上可以控制用户主观评价：最终用户评价重构信号的质量（可接受程度）工作量大符合用户感知的真实情况，但数学计算可能不好处理介于二者中间：用数学模型表示人类的感知机制将信源输出和重构信号都投影到感知空间然后在感知空间中度量二者之间的差异但人类感知过程很难建模，或数学模型太复杂32率失真理论：条件自信息信源编码：将输入符号集映射成另一个输出符号集条件自信息I(aj|bk)表示在发现信源编码器输出为bk时，对应的信源发出符号aj的不确定程度。而条件自信息I(bk|aj)表示在信源发出符号为aj而编码输出为bk的不确定程度。信源编码器33率失真理论：互信息互信息：自信息与条件自信息之间的差I(aj)表示aj所含的信息量（不确定性），I(aj|bk)

表示在知道bk后aj还保留的信息量，所以互信息表示符号bk为aj提供的信息量。平均互信息：表示信源X的平均不确定性与其在信源Y被确定条件下仍保留的平均不确定性之差，即随机变量Y对X提供的平均信息量。34率失真理论：互信息-条件熵平均条件熵X、Y的联合熵定义为35率失真理论：互信息-条件熵例题请求以下熵值：36率失真理论：互信息-Venn图互信息量与熵的关系仅当X与Y独立时，等号成立。37例题：若信源编码器是一个简单的一一对应关系，即m=n，且即所以互信息I(aj;bj)=I(aj)，即bj提供了aj的全部信息。信息保持编码属于这种情况。例如：只要传输不出错，则收到任一码字，如“110”后，即可判断出所发的信源符号是“7”。率失真理论：互信息38同上例，假设实际信源的8个符号，但发现1,2;3,4;5,6;7,8两两相差不多，可用同一码字代表，如

n=4个情况，用2bit即可表示，较上面的3bit编码，节省了1bit。但引入了一定的误差，如收到码“01”后判断为“3”，若信源实际发出的是“4”，则有了误差，这个误差可能是允许的！！！该误差的产生是由于对信源的某些符号进行了合并，减少了事件的数目，从而使新信源的熵降低。所以，当集合中事件结构发生变化时，会引起信源概率结构的变化，从而影响到信源熵的变化。率失真理论：互信息39率失真理论：互信息只要允许误差存在，就可以减少编码输出的字符数，因而也可以降低码率。可是字符数越少，译码误差或失真就越大。问题：在给定的失真条件下，最小需要多大的码率，才能保证不超过允许的失真。即要确定每个编码符号至少应提供的关于信源符号的信息量。用互信息表示，即在一定的失真条件下，得到平均互信息的最小值minI(X;Y)。率失真函数的基本含义40率失真理论：平均互信息互信息由以下概率决定：信源符号概率P(aj)编码输出符号概率Q(bk)已知信源符号出现的条件概率Q(bk|aj)在确定信源的条件下，P(aj)已知，选择编码方法实际上是通过改变条件概率

Q(bk|aj)的分布来控制平均互信息量。41率失真理论在信源允许一定失真情况下所需的最少码率：在允许一定失真D的情况下，信源输出的信息传输率可压缩到R(D)。从分析失真函数、平均失真出发，求出信息率失真函数R(D)在一些实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此引入失真函数。客观的失真函数如前所述42率失真理论：失真函数假如某一信源X，输出样值为x，x∈{a1,a2,….,am}，经过有失真的信源编码器，输出Y，样值为y，y∈{b1,b2,….,bm}.失真的大小用一个量来表示，即失真函数d(aj,bk)以衡量用bk代替aj所引起的失真程度。一般失真函数（失真度）定义为：信源编码器43率失真理论：平均失真平均失真：失真函数d(aj,bk)的数学期望或统计平均值，记为

由条件概率Q(bk|aj)控制。44率失真函数R(D)信源编码器的目的是使编码后所需的码率R尽量小。然而R越小，引起的平均失真就越大。给出一个失真的限制值D*，在满足平均失真D(Q)≤D*的条件下，选择一种编码方法使码率R尽可能小。所以若要求平均失真函数D(Q)≤D*，则必然存在一个条件概率Q(bk|aj)，使得D(Q)≤D*，记为保证失真在允许范围D*内的条件概率的集合。45率失真函数R(D)由于互信息I(X;Y)也受Q的控制，可将率失真函数R(D)（亦称码率-失真函数）定义为率失真函数是在允许失真为D*的条件下，信源编码给出的平均互信息的下界，也是数据压缩的极限码率。无记忆离散信源限失真编码定理：若一离散无记忆平稳信源的率失真函数是R(D)，则当码率R>R(D)，只要信源序列长度足够长，一定存在一种编码方式，其编码失真≤D+ε，为任意小的正数。逆定理：当码率R<R(D)，则无论采用什么编译码方法，其平均失真一定会大于失真限度D。46率失真理论：限失真信源编码定理限失真信源编码定理只能说明最佳编码是存在的，而具体构造编码方法却一无所知。因而就不能像无失真编码那样从证明过程中引出概率匹配的编码方法。一般只能从优化的思路去求最佳编码。实际上迄今尚无合适的可实现的编码方法可接近R(D)这个界。计算一个具体信源的R(D)也很困难条件极小值求解问题，其解的结果一般以参数形式给出，其中起控制作用的变量只有Q(bk)。编码就是通过对Q(bk)的设计与实现，使码率接近R(D)但实际中的一些编码方法却并不直接去设计Q(bk)，而是从最后的码率来对R(D)函数进行性能比较。47率失真函数的性质：定义域R(D)函数的定义域⑴(2)