第8章-数字图像压缩编码

多媒体通信北京科技大学杨扬第8章图像压缩编码图像数据压缩基础图像压缩编码算法静态图像压缩标准动态图像压缩标准H.26X标准1、图像数据压缩基础色彩的基本概念彩色空间及其变换图像数据压缩的可能性1.1色彩的基本概念从人的视觉系统看，色彩可用色调、饱和度和亮度来描述。人眼看到的任一彩色光都是这三个特性的综合效果，这三个特性可以说是色彩的三要素。其中：色调与光波的波长有直接关系；亮度和饱和度与光波的幅度有关。1.1色彩的基本概念—色调绘画中要求有固定的色彩感觉，有统一的色调，否则难以表现画面的情调和主题。例如我们说一幅画具红色调，是指它在色彩上总体偏红。计算机在图像处理上采用数字化，可以非常精确地表现色彩的变化，色调是相对连续变化的。用一个圆环来表现色谱的变化，就构成了一个色彩连续变化的色环。1.1色彩的基本概念—亮度亮度可以说是指各种纯正的色彩相互比较所产生的明暗差别。在纯正光谱中，黄色的明度最高，显得最亮；其次是橙、绿；再其次是红、蓝；紫色明度最低，显得最暗。1.1色彩的基本概念—饱和度饱和度是指颜色色调的表现程度。饱和度越高，色彩越艳丽、越鲜明突出，越能发挥其色彩的固有特性。但饱和度高的色彩容易让人感到单调刺眼。饱和度低，色感比较柔和协调，可混色太杂则容易让人感觉浑浊，色调显得灰暗。对于同一色调的彩色光，饱和度越深，颜色越鲜明或说越纯，相反则越淡。1.1色彩的基本概念视觉系统对颜色和亮度的响应特性1.1色彩的基本概念—图像深度与色彩类型图像深度是指位图中记录每个像素点所占的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。

每个像素点的图像深度的分配还与图像所用的色彩空间有关。以最常用的RGB色彩空间为例，图像深度与色彩的映射关系主要有真彩色、伪彩色和调配色。1.1色彩的基本概念—图像深度与色彩类型真彩色（true-color）是指图像中的每个像素值都分成R、G、B三个基色分量，每个基色分量直接决定其基色的强度，这样产生的色彩称为真彩色。例如图像深度为24，用R：G：B＝8：8：8来表示色彩，则R、G、B各占用8位来表示各自基色分量的强度，每个基色分量的强度等级为28＝256种。图像可容纳224＝16M种色彩。这样得到的色彩可以反映原图的真实色彩，故称真彩色。1.1色彩的基本概念—图像深度与色彩类型伪彩色（pseudo-color）图像的每个像素值实际上是一个索引值或代码，该代码值作为色彩查找表CLUT（ColorLook-UpTable）中某一项的入口地址，根据该地址可查找出包含实际R、G、B的强度值。用这种方式产生的色彩本身是真的，不过它不一定反映原图的色彩。在VGA显示系统中，调色板就相当于色彩查找表。从16色标准VGA调色板的定义可以看出这种伪彩色的工作方式。1.1色彩的基本概念—图像深度与色彩类型调配色（direct-color）的获取是通过每个像素点的R、G、B分量分别作为单独的索引值进行变换，经相应的色彩变换表找出各自的基色强度，用变换后的R、G、B强度值产生的色彩。1.2图像编码概述能够对多媒体数据进行压缩编码的前提是因为数据存在大量的冗余，尤其是声音和图像。数据压缩的目的就是尽可能消除这些冗余。冗余一般分以下几类：统计冗余(空间冗余和时间冗余）信息熵冗余结构冗余知识冗余视觉冗余1.2图像编码概述—统计冗余图像数据存在大量的统计特征的重复，这种重复包括静态单帧图像数据在空间上的冗余和音频、视频数据在时间上的冗余。

在动态图像序列中，前后两帧图像之间具有较大的相关性，表现出帧与帧之间的重复，因而存在时间冗余。1.2图像编码概述—信息熵冗余信息熵定义为一组数据所表示的信息量，即

式中，E为信息熵，N为数据的种类(或称码元)个数，pi为第i个码元出现的概率。一组数据的数据量显然等于各记录码元的二进制位数(即编码长度)与该码元出现的概率乘积之和，即

式中，D为数据量，为第i个码元的二进制位数。一般取b0=b1=…bN-1(如ASCII编码把所有码元都编码为7比特)，这样得到的D必然大于E。这种因码元编码长度的不经济带来的冗余称为信息熵冗余或编码冗余。1.2图像编码概述—结构冗余有些图像从大面积上或整体上看存在着重复出现的相同或相近的纹理结构，例如布纹图像和草席图像，被称为结构冗余。1.2图像编码概述—知识冗余有许多图像的理解与图像所表现内容的基础知识(先验或背景知识)有相当大的相关性，从这种知识出发可以归纳出图像的某种规律性变化，这类冗余称为知识冗余。知识冗余的一个典型例子是对人像的理解，比如，鼻子上方有眼睛，鼻子又在嘴的上方等。1.2图像编码概述—视觉冗余人类的视觉系统实际上只在一定程度上对图像的变化产生敏感，即图像数据中存在着大量人类视觉觉察不到的细节。事实上，人类视觉系统的一般分辨力为64灰度级，而一般图像量化采用的是256灰度级，这类冗余称为视觉冗余。1.2图像编码概述—几种常见应用的码率1.3图像编码的方法根据编码过程中是否存在信息损耗可将图像编码分为有损压缩和无损压缩。无损压缩无信息损失，解压缩时能够从压缩数据精确地恢复原始图像；有损压缩不能精确重建原始图像，存在一定程度的失真。根据编码原理可以将图像编码分为熵编码、预测编码、变换编码和混合编码等。1.3图像编码的方法（1）熵编码。熵编码是纯粹基于信号统计特性的编码技术，是一种无损编码。熵编码的基本原理是给出现概率较大的符号赋予一个短码字，而给出现概率较小的符号赋予一个长码字，从而使得最终的平均码长很小。常见的熵编码方法有行程编码（RunLengthEncoding）、哈夫曼编码和算术编码。1.3图像编码的方法（2）预测编码。预测编码是基于图像数据的空间或时间冗余特性，用相邻的已知像素（或像素块）来预测当前像素（或像素块）的取值，然后再对预测误差进行量化和编码。预测编码可分为帧内预测和帧间预测，常用的预测编码有差分脉码调制（DifferentialPulseCodeModulation，DPCM）和运动补偿法。1.3图像编码的方法（3）变换编码。变换编码通常是将空间域上的图像经过正交变换映射到另一变换域上，使变换后的系数之间的相关性降低。图像变换本身并不能压缩数据，但变换后图像的大部分能量只集中到少数几个变换系数上，采用适当的量化和熵编码就可以有效地压缩图像。（4）混合编码。混合编码是指综合了熵编码、变换编码或预测编码的编码方法，如JPEG标准和MPEG标准。1.3图像编码的方法根据对压缩编码后的图像进行重建的准确程度，可将常用的图像编码方法分为三类：（1）信息保持编码：也称无失真编码，它要求在编解码过程中保证图像信息不丢失，从而可以完整地重建图像。信息保持编码的压缩比较低，一般不超过3:1，主要应用在图像的数字存储方面，常用于医学图像编码中。1.3图像编码的方法（2）保真度编码：主要利用人眼的视觉特性，在允许的失真（Lossy）条件下或一定的保真度准则下，最大限度地压缩图像。保真度编码可以实现较大的压缩比，主要用于数字电视技术、静止图像通信、娱乐等方面。对于这些图像，过高的空间分辨率和过多的灰度层次，不仅增加了数据量，而且人眼也接收不到。因此在编码过程中，可以丢掉一些人眼不敏感的信息，在保证一定的视觉效果条件下提高压缩比。

1.3图像编码的方法（3）特征提取：在图像识别、分析和分类等技术中，往往并不需要全部图像信息，而只要对感兴趣的部分特征信息进行编码即可压缩数据。例如，对遥感图像进行农作物分类时，就只需对用于区别农作物与非农作物，以及农作物类别之间的特征进行编码，而可以忽略道路、河流、建筑物等其他背景信息。1.4图像编码的新技术图像编码已经发展了几十年，人们不断提出新的压缩方法。如，利用人工神经网络（ArtificialNeuralNetwork，ANN）的压缩编码、分形编码（FractalCoding）、小波编码（WaveletCoding）、基于对象的压缩编码（ObjectBasedCoding）和基于模型的压缩编码（ModelBasedCoding）等等1.4图像编码的新技术1）分形编码分形编码是在波兰美籍数学家B.B.Mandelbrot建立的分形几何理论的基础上发展起来的一种编码方法。分形编码最大限度地利用了图像在空间域上的自相似性（即局部与整体之间存在某种相似性），通过消除图像的几何冗余来压缩数据。M.Barnsley将迭代函数系统（IterateFunctionSystem，IFS）用于描述图像的自相似性，并将其用于图像编码，对某些特定图像获得了10000:1的压缩比。分形编码过程十分复杂，而解码过程却很简单，故通常用于对图像编码一次，而需译码多次的信息传播应用中。1.4图像编码的新技术

2）小波编码

1989年，S.G.Mallat首次将小波变换用于图像编码。经过小波变换后的图像，具有良好的空间方向选择性，而且是多分辨率的，能够保持原图像在各种分辨率下的精细结构，与人的视觉特性十分吻合。1.4图像编码的新技术3）模型编码模型编码是近几年发展起来的一种很有前途的低比特率编码方法，其基本出发点是在编、解码两端分别建立起相同的模型，编码时利用先验模型抽取图像中的主要信息并用模型参数的形式表示，解码时则利用所接收的模型参数重建图像。1.4图像编码评价随着众多图像压缩算法的出现，如何评价图像压缩算法就成为重要的课题。一般说来，评价图像压缩算法的优劣主要有以下4个参数。

1）算法的编码效率

算法的编码效率通常有几种表现形式：平均码字长度（R），图像的压缩比（rate，r），每秒钟所需的传输比特数（bitspersecond，bps），图像熵与平均码长之比（η），这些表现形式很容易相互转换。下面给出与图像编码效率有关的几个定义。1.4图像编码评价

设一幅灰度级为N的图像，图像中第k级灰度出现的概率为Pk，图像大小为Nx×Ny，每个像素用d比特表示，每两帧图像间隔Δt，则按信息论中信息熵的定义，数字图像的熵H由下式定义：

由此可见，图像熵H表示各灰度级比特数的统计平均值。1.4图像编码评价对于一种图像编码方法，设第k级灰度的码字长度为Bk，则该图像的平均码字长度R为

1.4图像编码评价于是，可定义编码效率η为每秒钟所需的传输比特数bps为1.4图像编码评价

压缩比r为

由于同一压缩算法对不同图像的编码效率会有所不同，因此常需定义一些“标准图像”，如国际上流行的三幅图像Lena、Barbara和Mandrill。一般通过测量不同压缩算法对同一组“标准图像”的编码性能来评价各图像压缩算法的编码效率。1.4图像编码评价

2）编码图像的质量图像质量评价可分为客观质量评价和主观质量评价。最常用的客观质量评价指标是均方误差（MSE）和峰值信噪比（PSNR），其定义如下：

1.4图像编码评价

主观质量评价是指由一批观察者对编码图像进行观察并打分，然后综合所有人的评判结果，给出图像的质量评价。客观质量评价能够快速有效地评价编码图像的质量，但符合客观质量评价指标的图像不一定具有较好的主观质量。主观质量评价能够与人的视觉效果相匹配，但其评判过程缓慢费时。1.4图像编码评价

3）算法的适用范围特定的图像编码算法具有其相应的适用范围，并不对所有图像都有效。一般说来，大多数基于图像信息统计特性的压缩算法具有较广的适用范围，而一些特定的编码算法的适用范围较窄，如分形编码主要用于自相似性高的图像。1.4图像编码评价

4）算法的复杂度

算法的复杂度即指完成图像压缩和解压缩所需的运算量和硬件实现该算法的难易程度。优秀的压缩算法要求有较高的压缩比，压缩和解压缩快，算法简单，易于硬件实现，还要求解压缩后的图像质量较好。选用编码方法时一定要考虑图像信源本身的统计特性、多媒体系统(硬件和软件产品)的适应能力、应用环境以及技术标准。2.1图像压缩编码算法—行程长度编码把一系列的重复值（例如图像象素的灰度值）用一个单独的值再加上一个计数值来取代。

比如有这样一个字母序列aabbbccccccccdddddd它的行程长度编码就是2a3b8c6d。

很多位图文件格式都用行程长度编码，例如TIFF，PCX。2.1图像压缩编码算法—行程长度编码例如：有一线状图像，其灰度随长度坐标的关系如下图所示。描述这个一维图像可以用顺序的七个3bit的二进制数表示：011，011，011，011，101，101，101，共21比特。

如果用行程编码方法对其编码，其编码就变成了100，011；011，101，共用了12比特，比前一种编码节约了9个比特。2.2图像压缩编码算法—哈夫曼编码

基本思路：出现频率越高的符号，对应的编码长度越短编码步骤如下：统计信源符号出现的概率；将信源符号按概率递减顺序排列；

把两个最小的概率值加起来，作为一个新组合符号的概率；重复步骤(2)、(3)，直到概率和达到1为止；在每次合并信源时，将合并的信源分别标记“1”和“0”（例如，概率小的标记为“1”，概率大的标记为“0”）；寻找从每一信源符号到概率为1的路径，记录下路径上的“1”和“0”；对每一符号写出“1”和“0”序列；2.2图像压缩编码算法—哈夫曼编码考虑信源：进行哈夫曼编码的过程如下：编码前：平均码长为3编码后：平均码长为2.45压缩比：2.45/32.2图像压缩编码算法—哈夫曼编码哈夫曼编码的不足：它必须精确地统计出原始文件中每个值的出现频率，如果没有这个精确统计，压缩的效果就会大打折扣，甚至根本达不到压缩的效果。因此哈夫曼编码通常要经过两遍操作，第一遍进行统计，第二遍产生编码，所以编码的过程是比较慢的。另外由于各种长度的编码的译码过程也比较复杂，因此解压缩的过程也比较慢。它对于位的增删比较敏感。

2.2图像压缩编码算法—辞典编码辞典编码是一种通用编码技术，属于无损压缩技术。—辞典编码的思想辞典编码的根据是数据本身包含的重复代码，如文本文件和光栅图像就具有这种特性。辞典编码归纳起来有两类。第一类辞典编码的想法是：查找压缩的字符序列是否在以前输入的数据中出现过，然后用已经出现过的字符串代替重复的部分，它的输出仅仅是指向早期出现过的字符串的“指针”。2.2图像压缩编码算法—辞典编码第二类算法的思想是，从输入的数据中创建一个“短语辞典”，编码数据过程中，遇到已经在辞典中出现的“短语”时，编码器就输出这个词典中该短语的“索引号”，而不是短语本身。J.Ziv和A.Lempel在1978年首次发表了介绍这种编码的文章，在他们研究的基础上，TerryA.Weltch在1984年发表了改进这种编码算法的文章，因此这种编码方法称为LZW压缩编码。2.3图像压缩编码算法—LZW编码LZW（Lempel-Ziv&Welch）编码又称字串表编码，属于一种无损编码，是Welch将Lempel和Ziv所提出的无损压缩技术改进后的压缩方法。LZW编码的基本思想是：在编码过程中，将所遇到的字符串建立一个字符串表，表中的每个字符串都对应一个索引，编码时用该字符串在字串表中的索引来代替原始的数据串。2.3图像压缩编码算法—LZW编码例如，一幅8位的灰度图像，我们可以采用12位来表示每个字符串的索引，前256个索引用于对应可能出现的256种灰度，由此可建立一个初始的字符串表，而剩余的3840个索引就可分配给在压缩过程中出现的新字符串，这样就生成了一个完整的字符串表，压缩数据就可以只保存它在字符串表中的索引，从而达到压缩数据的目的。字符串表是在压缩过程中动态生成的，不必将它保存在压缩文件里，因为解压缩时字符串表可以由压缩文件中的信息重新生成。2.4图像压缩编码算法—算术编码算术编码在图像数据压缩标准(如JPEG，JBIG)中扮演了重要的角色。在算术编码中，消息用0到1之间的实数进行编码，算术编码用到两个基本的参数：符号的概率和它的编码间隔。信源符号的概率决定压缩编码的效率，也决定编码过程中信源符号的间隔，而这些间隔包含在0到1之间。编码过程中的间隔决定了符号压缩后的输出。2.4图像压缩编码算法—算术编码算法举例假设信源符号为{00,01,10,11}，这些符号的概率分别为{0.1,0.4,0.2,0.3}，根据这些概率可把间隔[0,1)分成4个子间隔：[0,0.1),[0.1,0.5),[0.5,0.7),[0.7,1)，二进制消息序列的输入为：10001100101101算术编码过程如下页图所示：2.4图像压缩编码算法—算术编码3、静态图像压缩标准JPEGJPEG20003、静态图像压缩标准JPEG是国际标准化组织(ISO)和国际电报电话咨询委员会(CCITT)关于静止图像编码的联合专家组(JointPhotographicExpertsGroup)名称的缩写。该标准可用于自然景象或任何连续色调图像的数字数据的压缩编码和解码。对于数字化精度为每种彩色分量每个样点4至16比特的数字图像有良好的压缩效果，但不适用于二值图像。3、静态图像压缩标准JPEG标准综合了多年来图像压缩编码的研究成果，是一种集大成的算法。该标准规定了两种工作方式，即顺序方式和渐进方式；还规定了三种级别的编码算法，即基本系统(Baselinesystem)、扩展系统(Extendedsystem)和无失真系统(Losslesscoding)。3.1JPEGJPEG是面向静态图像编码的国际标准。在相同图像质量条件下，JPEG文件拥有比其他图像文件格式更高的压缩比。JPEG目前被广泛应用于多媒体和网络程序中，是现今万维网中使用最广泛的两种图像文件格式之一。JPEG是一种有损压缩，即在压缩过程中会丢失数据，每次编辑JPEG图像后，图像就会被重复压缩一次，损失就会有所增加。3.1JPEG顺序（Sequential）方式：从左到右、从上到下对图像顺序进行基于离散余弦变换（DCT）的编码。DCT理论上是可逆的，但在计算时存在误差，因而基于DCT的编码模式是一种有损编码。3.1JPEG渐进方式（Progressivemode）：整个图像首先以一种低于最终质量要求的质量标准(如分辨率或数据精度)进行编码，完成后再以较上次高一级的质量要求再进行一次编码，但仅传送为改善质量所需增加的那部分信息。这种过程可以重复若干次直至达到所需的最终质量要求。每个子过程中的编码则还是顺序方式的。3.1JPEG---基本系统以离散余弦变换为核心，采用顺序工作方式，适用于一般精度(每种分量每个样点8比特)的图像，有良好的压缩效果，压缩比可调。标准规定，每个JPEG静止图像压缩编解码器都必须具有实现基本系统的功能。3.1JPEG---基本系统流程基本系统3.1JPEG---基本系统流程通过离散余弦变换减少图像数据的相关性；利用人眼视觉特性对系数进行自适应量化；对每个子块量化后的系数矩阵进行Z形扫描，将系数矩阵变换成符号序列；用哈夫曼变长码对符号进行熵编码。3.1JPEG---基本系统流程Z形扫描3