数字图像的压缩编码学习教案

1、会计学1数字图像的压缩数字图像的压缩(y su)编码编码第一页，共54页。 给上式的系数赋予(fy)不同的值，可得到不同的预测器。4个例子如下： 是一个自适应预测器。是一个自适应预测器。),(4yxf第2页/共54页第二页，共54页。 由上面图可以看出，视觉感受(gnshu)到的误差随预测器阶数的增加而减少。第3页/共54页第三页，共54页。第4页/共54页第四页，共54页。 图像变换编码的基本概念是：将空间域里描述的图像图像变换编码的基本概念是：将空间域里描述的图像，经过某种变换（常用的是二维正交变换，如傅立叶变，经过某种变换（常用的是二维正交变换，如傅立叶变换、离散余弦变换、沃尔什变换等）

2、在变换域中进行描换、离散余弦变换、沃尔什变换等）在变换域中进行描述，达到改变能量分布述，达到改变能量分布(fnb)的目的。的目的。 将图像能量在空间域的分散分布变为在变换域的将图像能量在空间域的分散分布变为在变换域的能量的相对集中分布，这样能量的相对集中分布，这样(zhyng)有利于进一步有利于进一步采用其它的处理方式，如采用其它的处理方式，如“之之”字形扫描、自适应量字形扫描、自适应量化、变长编码等，从而获得对图像信息的有效压缩化、变长编码等，从而获得对图像信息的有效压缩。第5页/共54页第五页，共54页。 图像正交变换实现数据压缩的物理本质在于：经过多维图像正交变换实现数据压缩的物理本质在

3、于：经过多维坐标系中适当的坐标旋转和变换，能够把接近均匀散布在坐标系中适当的坐标旋转和变换，能够把接近均匀散布在各个坐标轴上的原始图像数据，变换到新的适当坐标系中各个坐标轴上的原始图像数据，变换到新的适当坐标系中，集中在少数坐标上，因此可用较少的编码，集中在少数坐标上，因此可用较少的编码(bin m)比特比特来表示一副子图像，实现高效率的压缩编码来表示一副子图像，实现高效率的压缩编码(bin m)。第6页/共54页第六页，共54页。 大多数图像的统计特性表明，图像经过正交变换大多数图像的统计特性表明，图像经过正交变换以后，在变换域中，数值以后，在变换域中，数值(shz)大的系数往往集中大的系数

4、往往集中在低频区域，数值在低频区域，数值(shz)较小的系数分布在高频区较小的系数分布在高频区域。也就是说，通过正交变换，能量变得相对集中域。也就是说，通过正交变换，能量变得相对集中，选择适合的量化器使大部分系数近似为零，这些，选择适合的量化器使大部分系数近似为零，这些数据不予传送，从而达到数据压缩的目的。数据不予传送，从而达到数据压缩的目的。第7页/共54页第七页，共54页。 一个一个(y )实例：实例：对一幅对一幅88的子图像进行的子图像进行(jnxng)DCT变换：变换：第8页/共54页第八页，共54页。 离散离散(lsn)余弦变换编码余弦变换编码 在目前常用的正交变换中，在目前常用的正

5、交变换中，DCT变换其性能接近最变换其性能接近最佳，仅次于佳，仅次于K-L变换，所以变换，所以(suy)DCT变换被认为是变换被认为是一种准最佳变换。一种准最佳变换。 另一方面，另一方面，DCT变换矩阵与图像内容无关，而且由于它变换矩阵与图像内容无关，而且由于它是构造成对称的数据序列，从而避免了子图像边界处的跳跃是构造成对称的数据序列，从而避免了子图像边界处的跳跃和不连续性，并且也有快速算法，所以在图像编码的应用中和不连续性，并且也有快速算法，所以在图像编码的应用中，往往都采用二维，往往都采用二维DCT。第9页/共54页第九页，共54页。第10页/共54页第十页，共54页。 根据根据DCT系数

6、集中在低频区域、越是高频区域系系数集中在低频区域、越是高频区域系数值数值(shz)越小的特点，根据人眼的视觉特性，通越小的特点，根据人眼的视觉特性，通过设置不同的视觉域值或量化电平，将许多能量较过设置不同的视觉域值或量化电平，将许多能量较小的高频分量量化为小的高频分量量化为0，可以增加变换系数中，可以增加变换系数中“0”的的个数，同时保留能量较大的系数分量，从而获得进个数，同时保留能量较大的系数分量，从而获得进一步的压缩。一步的压缩。第11页/共54页第十一页，共54页。 离散离散(lsn)余弦变换编码程序实例：余弦变换编码程序实例：第12页/共54页第十二页，共54页。 采用采用DCT算法的

7、图像压缩编码算法的图像压缩编码(bin m)的基本框图的基本框图如下图所示。这实际上是和静止图像压缩编码如下图所示。这实际上是和静止图像压缩编码(bin m)的国际标准的国际标准JPEG的基本压缩系统是一致的。在的基本压缩系统是一致的。在JPEG的的基本系统中，就是采用二维基本系统中，就是采用二维DCT的算法作为压缩的基本的算法作为压缩的基本方法。方法。第13页/共54页第十三页，共54页。 正交变换编码正交变换编码(bin m)压缩的基本原理：压缩的基本原理：(1)正交变换是一种数据处理(chl)手段，它将被处理(chl)的数据按照某种变换规则映射到另一个域中去处理(chl)。(2)正交变换

8、有一维、二维和多维等不同的处理方式，由于图像可以看成是二维数据矩阵(j zhn)，所以在图像编码中多采用二维正交变换的方式。(3)如果将一幅图像作为一个二维矩阵，则其正交变换的计算如果将一幅图像作为一个二维矩阵，则其正交变换的计算量也太大，难以实现。所以在实用中，先将一幅图像分割成量也太大，难以实现。所以在实用中，先将一幅图像分割成一个个小图像块，通常是一个个小图像块，通常是88或或1616的小方块，正交变换就的小方块，正交变换就是以这些小图像块为单位进行的。是以这些小图像块为单位进行的。第14页/共54页第十四页，共54页。(4)统计上彼此密切相关的像素所构成的矩阵通过线性正交变换，变成统计

9、上彼此较为相互独立(dl)、甚至达到完全独立(dl)的变换系数所构成的矩阵，这就是通常所说的图像变换或变换编码。(5) 信息论的研究表明，正交变换不改变信源的熵值，变换前后图像的信息量并无损失，完全可以(ky)通过反变换得到原来的图像值。只是经正交变换后，数据的分布发生了很大的改变，系数(变化后产生的数据)向新坐标系中的少数坐标集中，如集中于少数的直流或低频分量的坐标点。第15页/共54页第十五页，共54页。(6) 尽管正交变换本身并不压缩数据量，但它为在新坐标系中的数据压缩创造了条件。因为变换去除了大部分的相关性，系数分布相对集中(jzhng)，便于用变长编码等方法来达到压缩数据的目的。第1

10、6页/共54页第十六页，共54页。 傅立叶变换是应用最早的变傅立叶变换是应用最早的变换之一，具有快速算法，但它的换之一，具有快速算法，但它的不足之处不足之处(b z zh ch)在于子在于子图像的变换系数在边界处的不连图像的变换系数在边界处的不连续而造成恢复的子图像在其边界续而造成恢复的子图像在其边界也不连续，于是由各恢复子图像也不连续，于是由各恢复子图像构成的整幅图像将呈现隐约可见构成的整幅图像将呈现隐约可见的子图像的方块状结构，影响图的子图像的方块状结构，影响图像质量。像质量。傅立叶变换傅立叶变换(binhun)： 几种变换方式的比较：几种变换方式的比较：第17页/共54页第十七页，共54

11、页。 DCT变换是在实际中应用最多的变换编码，其性能接近于K-L变换。另外，其变换矩阵与图像(t xin)内容无关，而且由于它构造对称的数据序列，避免了子图像(t xin)边界处的跳跃及引起Gibbs效应，也有快速算法，并在市场上有许多DCT的ASIC芯片，因而是变换的主流，是许多国际编码标准的选择。DCT变换(binhun)： 沃尔什算法简单（只有加减法），因而运算速度快，适沃尔什算法简单（只有加减法），因而运算速度快，适用于高速实时系统，而且也容易硬件实现，但性能比用于高速实时系统，而且也容易硬件实现，但性能比DCT变变换差一些。换差一些。沃尔什变换：沃尔什变换：第18页/共54页第十八页

12、，共54页。第19页/共54页第十九页，共54页。 活动图像信号，就是通常活动图像信号，就是通常(tngchng)所说的电视信所说的电视信号或视频信号，经过数字化以后即数字视频信号，也号或视频信号，经过数字化以后即数字视频信号，也称为数字序列图像。称为数字序列图像。 对于活动图像的编码有两个基本的要求，即实时性和高效对于活动图像的编码有两个基本的要求，即实时性和高效性。一方面在活动图像编码系统中，图像的内容在不断发生性。一方面在活动图像编码系统中，图像的内容在不断发生变化，图像传输系统必须能实时地对活动的电视图像进行编变化，图像传输系统必须能实时地对活动的电视图像进行编码传输，接收端才能解码恢

13、复连续的活动图像；另一方面，码传输，接收端才能解码恢复连续的活动图像；另一方面，由于活动图像的内容丰富，信息量大，所需的数码率很高，由于活动图像的内容丰富，信息量大，所需的数码率很高，因此因此(ync)必须采用高效的适应活动图像的压缩编码。必须采用高效的适应活动图像的压缩编码。 第20页/共54页第二十页，共54页。 下图为活动图像编码传输系统的基本框图。与静态图下图为活动图像编码传输系统的基本框图。与静态图像传输系统相比，两者之间的主要像传输系统相比，两者之间的主要(zhyo)差别在于活动差别在于活动图像的编码传输系统中必须要有一个传输缓冲存储器。图像的编码传输系统中必须要有一个传输缓冲存储

14、器。第21页/共54页第二十一页，共54页。 活动图像的压缩编码活动图像的压缩编码(bin m)主要从两方面着手，既考虑主要从两方面着手，既考虑利用每幅图像内部的相关性进行所谓的帧内压缩编码利用每幅图像内部的相关性进行所谓的帧内压缩编码(bin m)，又要考虑利用相邻帧之间的相关性进行所谓帧间压缩，又要考虑利用相邻帧之间的相关性进行所谓帧间压缩编码编码(bin m)，这样得到的码率才可能达到最佳。，这样得到的码率才可能达到最佳。 帧内编码即对单幅帧内编码即对单幅(dn f)图像进行编码，原则上说，图像进行编码，原则上说，主要有变换编码和预测编码两种基本类型；帧间编码主主要有变换编码和预测编码两

15、种基本类型；帧间编码主要有以下两种方法：要有以下两种方法： 帧间预测编码帧间预测编码 运动估计与补偿预测运动估计与补偿预测第22页/共54页第二十二页，共54页。 帧间预测帧间预测(yc)的依据的依据 如果编码时能充分利用序列图像如果编码时能充分利用序列图像(t xin)在在时间轴方向的相关性进行预测，就可望获得更时间轴方向的相关性进行预测，就可望获得更高的压缩比，这就是帧间预测编码的出发点。高的压缩比，这就是帧间预测编码的出发点。帧间预测编码是目前数字视频压缩编码采用的帧间预测编码是目前数字视频压缩编码采用的标志性技术。标志性技术。 对于活动图像，由于相邻帧的时间间隔很短对于活动图像，由于相

16、邻帧的时间间隔很短(1/251/30s)，因而在景物的运动不是很剧烈的场合因而在景物的运动不是很剧烈的场合，相邻帧的相似的部分较多，即它们之间的相关性，相邻帧的相似的部分较多，即它们之间的相关性很强。很强。第23页/共54页第二十三页，共54页。第24页/共54页第二十四页，共54页。对活动图像对活动图像(t xin)序列进行帧间编码的另一方面依序列进行帧间编码的另一方面依据：据：在活动图像编码中，还可以利用人的视觉（信宿）特性在活动图像编码中，还可以利用人的视觉（信宿）特性根据景物的活动性适当根据景物的活动性适当(shdng)调整码率，这即所谓空间调整码率，这即所谓空间分辨率与时间分辨率的交

17、换。分辨率与时间分辨率的交换。第25页/共54页第二十五页，共54页。 研究表明，人类视觉对图像中的静止部分有较高的研究表明，人类视觉对图像中的静止部分有较高的分辨率，必须给予充分的空间（分辨率，必须给予充分的空间（Spatial）分辨率，即）分辨率，即在传输静止图像或序列图像的静止部分时，要保证较在传输静止图像或序列图像的静止部分时，要保证较高的水平和垂直分辨率；与此同时，可以减少传输帧高的水平和垂直分辨率；与此同时，可以减少传输帧数，在接收端依靠帧存储器把未传输的帧补充出来，数，在接收端依靠帧存储器把未传输的帧补充出来，而周期传输的数据对帧存储器起定期刷新而周期传输的数据对帧存储器起定期刷

18、新(shu xn)的的作用。作用。第26页/共54页第二十六页，共54页。 另一方面，人类视觉对于序列图像中的运动另一方面，人类视觉对于序列图像中的运动(yndng)物物体的分辨率将随着物体运动体的分辨率将随着物体运动(yndng)速率的增大而显著降速率的增大而显著降低，而且摄像器件和电路灵敏度的积分式灵敏度也会造成低，而且摄像器件和电路灵敏度的积分式灵敏度也会造成运动运动(yndng)部分的灵敏度下降。此外，电视监视器中的部分的灵敏度下降。此外，电视监视器中的显示器件也有一定的积分模糊效应。这样，在传输序列图显示器件也有一定的积分模糊效应。这样，在传输序列图像中的运动像中的运动(yndng)

19、物体时，可以降低这部分图像的清晰物体时，可以降低这部分图像的清晰度，且物体的运动度，且物体的运动(yndng)速度愈高，就可用更低的清晰速度愈高，就可用更低的清晰度进行传输。度进行传输。第27页/共54页第二十七页，共54页。 根据图像的内容在清晰度和活动性（帧间）之间进根据图像的内容在清晰度和活动性（帧间）之间进行调整，可以使重建图像在视觉上保持一致的主观行调整，可以使重建图像在视觉上保持一致的主观(zhgun)效果，这种方法就叫做空间分别率和时间效果，这种方法就叫做空间分别率和时间分别率的交换。分别率的交换。第28页/共54页第二十八页，共54页。 简单的帧间预测（帧差简单的帧间预测（帧差

20、FD）可以对于静止区域进行很好的预测）可以对于静止区域进行很好的预测，但对于图像序列中的活动，但对于图像序列中的活动(hu dng)物体则无能为力。物体则无能为力。 这种考虑了对应区域的位移或运动这种考虑了对应区域的位移或运动(yndng)的预测方式就称为的预测方式就称为运动运动(yndng)补偿预测编码。补偿预测编码。 对于运动的物体，如果能估计出物体在相邻帧内的相对对于运动的物体，如果能估计出物体在相邻帧内的相对位移，那么用上一帧中物体的对应区域对当前帧物体进行位移，那么用上一帧中物体的对应区域对当前帧物体进行预测，编码传输位移预测的误差部分，就可以压缩这部分预测，编码传输位移预测的误差部

21、分，就可以压缩这部分区域的码率。区域的码率。 运动估计与补偿预测运动估计与补偿预测第29页/共54页第二十九页，共54页。 基于块的运动基于块的运动(yndng)补偿预测补偿预测 由于实际的序列图像内容千差万别由于实际的序列图像内容千差万别(qin ch wn bi)，把运动物体以整体形式划分出来是极其困难的，目前，把运动物体以整体形式划分出来是极其困难的，目前广泛应用的是块匹配运动补偿预测。广泛应用的是块匹配运动补偿预测。 基于块的运动补基于块的运动补偿预测示意图：偿预测示意图： 这种方法是：把一幅图像分为互不重叠的这种方法是：把一幅图像分为互不重叠的NN个像素子块个像素子块，然后对每个子块

22、估计所谓位移矢量或运动矢量，然后对每个子块估计所谓位移矢量或运动矢量D(dx,dy)，并，并将它编码传送到接收端。将它编码传送到接收端。第30页/共54页第三十页，共54页。第31页/共54页第三十一页，共54页。 从从1948年年Oliver提出提出PCM (Pulse Code Modulation, 脉脉冲编码调制冲编码调制)编码理论开始，数字图像压缩编码的研究编码理论开始，数字图像压缩编码的研究迄今已有半个多世纪的历史，人们已经迄今已有半个多世纪的历史，人们已经(y jing)研究并研究并提出各种各样的压缩方法。到提出各种各样的压缩方法。到70年代末，图像编码日臻年代末，图像编码日臻成

23、熟，其标志就是各种图像编码的国际标准的制定。成熟，其标志就是各种图像编码的国际标准的制定。ITU(原CCITT)关于电视电话/会议电视的视频(shpn)编码标准H.261/H.263标准ISO/IEC关于(guny)静止图像的JPEG系列标准ISO/IEC关于运动图像的关于运动图像的MPEG系列标准系列标准第32页/共54页第三十二页，共54页。 ISO/IEC的联合技术委员会自20世纪90年代以来，先后颁布了一系列图像(t xin)和视频编码的国际标准，进一步促进了多媒体与图像(t xin)业务的全面发展。主要包括两个方面： JPEG与与MPEG 关于关于(guny)静止图像编码的静止图像编

24、码的JPEG标准标准 关于运动关于运动(yndng)图像编码的图像编码的MPEG标准标准第33页/共54页第三十三页，共54页。JPEG标准(biozhn) JPEG(Joint Photographic Expert Group)即联合图像专家小组，其中联合的含义是指CCITT和ISO。该专家组多年来一直致力于标准化工作，他们开发研制出连续色调(s dio)、多级灰度、静止图像的数字图像压缩编码方法，这些编码方法称为JPEG算法。 JPEG算法被确定为JPEG国际标准，它是彩色、灰度、静止图像压缩编码的第一个国际标准。JPEG标准是一个适用范围很广的通用标准，它不仅广泛应用于诸如卫星图片、图

25、像文献资料、医疗图片以及新闻图片等静止图像的保存和传输领域，而且也被应用于电视(dinsh)图像序列的帧内图像编码。 第34页/共54页第三十四页，共54页。 JPEG算法(sun f)使用了两类压缩编码方法：无失真编码与失真编码。 无失真编码主要是由熵编码实现，包括无失真编码主要是由熵编码实现，包括Huffman编码编码(又包括固定方式和自适应方式又包括固定方式和自适应方式)和算术编码。和算术编码。 DPCM组号分组输入图像数据算术编码或哈夫曼编码压缩图像数据附加位DPCM分组组号算术解码或哈夫曼解码附加位重构图像数据压缩图像数据信道DPCM:Differential Pulse Code

26、Modulation差分脉冲编码调制第35页/共54页第三十五页，共54页。 失真编码主要包括：预测编码失真编码主要包括：预测编码(包括帧内和帧间预测包括帧内和帧间预测)、正交变、正交变换换(包括包括K-L变换、变换、DFT变换、变换、DCT变换等变换等)、矢量量化、矢量量化(包括多段包括多段VQ、分离、分离VQ和全搜索和全搜索VQ等等)、分层编码、分层编码(包括位平面法、四叉包括位平面法、四叉树法和逐次生成树法和逐次生成(shn chn)法等法等)、频带分割法、频带分割法(包括子带编码包括子带编码和块切割法和块切割法)以及模型编码以及模型编码(包括轮廓编码、分形编码以及其它基包括轮廓编码、分

27、形编码以及其它基于模型编码的方法于模型编码的方法)。 第36页/共54页第三十六页，共54页。MPEG标准(biozhn) MPEG(Moving Picture Expert Group)即运动图像专家小组，该专家组成立(chngl)于1988年，在ISO和IEC的管辖下，有约300名专家分11个小组进行工作。现已公布的标准有MPEG-1、MPEG-2、MPEG-4、 M P E G - 7 ， 2 0 0 0 年 3 月 ， M P E G 会 议 成 立(chngl)MPEG-21工作组，进行新一代MPEG标准的研究开发。 第37页/共54页第三十七页，共54页。 MPEG-1建议(ji

28、ny)用于数字存储回放系统的音视频编码，其典型的应用场合为视频家电设备，如VCD，以及在一些居民小区的视频点播VCD系统； MPEG-2是通用(tngyng)的音视频编码系统，其主要应用的范围是数字电视广播，包括标准清晰度和高清晰度电视等，以及DVD系统，使广播电视从模拟体制转向数字体制。 可以可以(ky)说说ITU的的H.320标准把数字视频引入企业、办公室，标准把数字视频引入企业、办公室，ISO的的MPEG-1、2则把数字视频引入到千家万户。则把数字视频引入到千家万户。第38页/共54页第三十八页，共54页。 MPEG-4中引入了音、视频对象的概念，可以处理各种不同性质的音视频对象，包括自

29、然的、综合的、静止的、活动的，以及二维、三维等各种情况，通过对象的组合描述场景，因此非常适合各种多媒体的应用；特别是对于视觉对象，通过引入基于(jy)对象的描述，用形状参数描述任意形状的视频对象，使得把多种不同的视频、图像内容任意组合成新的显示图像成为可能，突破了原来只能以帧为单位进行描述的限制。因此，MPEG-4的应用更为广泛。第39页/共54页第三十九页，共54页。第40页/共54页第四十页，共54页。小波变换编码小波变换编码模型模型(mxng)基编码基编码分形分形(fn xn)图像编图像编码码第41页/共54页第四十一页，共54页。 小波变换编码小波变换编码 小波分析技术是数学界和工程界

30、在共同研究数小波分析技术是数学界和工程界在共同研究数据表示技术的过程中所发展起来的理论，它摒弃据表示技术的过程中所发展起来的理论，它摒弃了传统了传统Fourier分析所必须的前提分析所必须的前提平稳性，成平稳性，成为分析非平稳信号的有力工具为分析非平稳信号的有力工具(gngj)。它的出现。它的出现导致了人们从新的视角去研究信号压缩、噪声滤导致了人们从新的视角去研究信号压缩、噪声滤波等信号处理问题。波等信号处理问题。 第42页/共54页第四十二页，共54页。 图像的傅立叶变换，只能在频率域上进行图像的傅立叶变换，只能在频率域上进行(jnxng)分析，分析，是完整的时间域和频率域相对应的变换。小波

31、变换具有自是完整的时间域和频率域相对应的变换。小波变换具有自适应的时频局部化特性。适应的时频局部化特性。 第43页/共54页第四十三页，共54页。 小波具有小波具有“数学数学(shxu)显微镜显微镜”之称，它具有良好的时之称，它具有良好的时频域局部化特性，小波基的紧支性和小波分解的多尺度结频域局部化特性，小波基的紧支性和小波分解的多尺度结构，使小波能够以可变的分辨率对信号进行分析。构，使小波能够以可变的分辨率对信号进行分析。 小波变换小波变换(binhun)就是一种将图像分解成与人类视觉特就是一种将图像分解成与人类视觉特性相匹配的不同分辨率、不同方向特性的子带性相匹配的不同分辨率、不同方向特性

32、的子带,并使能量集并使能量集中在某些子带的变换中在某些子带的变换(binhun),因此为图像的压缩提供了巨因此为图像的压缩提供了巨大的可能性。大的可能性。第44页/共54页第四十四页，共54页。 小波变换编码示例小波变换编码示例(shl)第45页/共54页第四十五页，共54页。 模型模型(mxng)基编基编码码 模型基编码主要是一种参数编码方法，因此它模型基编码主要是一种参数编码方法，因此它与基于保持信号原始波形的所谓波形编码相比与基于保持信号原始波形的所谓波形编码相比(xin b)有着本质的区别。相对于对像素进行编有着本质的区别。相对于对像素进行编码而言，对参数的编码所需的比特数少得多，因码

33、而言，对参数的编码所需的比特数少得多，因此可以节省大量的编码数据。此可以节省大量的编码数据。第46页/共54页第四十六页，共54页。 模型基编码主要依据对图像内容的先验知识的模型基编码主要依据对图像内容的先验知识的了解，根据掌握了解，根据掌握(zhngw)的信息，编码器对图像的信息，编码器对图像内容进行复杂的分析，并借助于一定的模型，用内容进行复杂的分析，并借助于一定的模型，用一系列模型的参数对图像内容进行描述，并把这一系列模型的参数对图像内容进行描述，并把这些参数进行编码传输到解码器。解码器根据接收些参数进行编码传输到解码器。解码器根据接收到的参数和同样方法建立的模型可以重建图像内到的参数和同样方法建立的模型可以重建图像内容。因此，此类编码器也可称为分析综合编码器容。因此，此类编码器也可称为分析综合编码器。第47页/共54页第四十七页，共54页。第48页/共54页第四十八页，共54页。 分形分形(fn xn)编码编码 分