图像信息处理技术

关于图像信息处理技术第1页，课件共438页，创作于2023年2月4.1图像信号概述

图像是一种可视化的信息，图像信号是图像信息的理论描述方法，图像信号按其内容变化与时间的关系来分，主要包括静态图像和动态图像两种。静态图像其信息密度随空间分布，且相对时间为常量；动态图像也称时变图像，其空间密度特性是随时间而变化的。人们经常用静态图像的一个时间序列来表示一个动态图像。第2页，课件共438页，创作于2023年2月

图像分类还可以按其他方式进行：如按其亮度等级的不同可分为二值图像和灰度图像；按其色调的不同可分为黑白图像和彩色图像；按其所占空间的维数不同可分为平面的二维图像和立体的三维图像等等。图像信号的记录、存储和传输可以采用模拟方式或数字方式。传统的方式为模拟方式，例如，目前我们在电视上所见到的图像就是以一种模拟电信号的形式来记录，并依靠模拟调幅的手段在空间传播的。将模拟图像信号经A/D变换后就得到数字图像信号，数字图像信号便于进行各种处理，例如最常见的压缩编码处理就是在此基础上完成的。本书介绍的图像信息处理技术就是针对数字图像信号的。第3页，课件共438页，创作于2023年2月1．彩色图像信号的分量表示对于黑白图像信号，每个像素点用灰度级来表示，若用数字表示一个像素点的灰度，有8比特就够了，因为人眼对灰度的最大分辨力为26。对于彩色视频信号（例如常见的彩色电视信号）均基于三基色原理，每个像素点由红（R）、绿（G）、蓝（B）三基色混合而成。若三个基色均用8比特来表示，则每个像素点就需要24比特，由于构成一幅彩色图像需要大量的像素点，因此，图像信号采样、量化后的数据量就相当大，不便于传输和存储。第4页，课件共438页，创作于2023年2月

为了解决此问题，人们找到了相应的解决方法：利用人的视觉特性降低彩色图像的数据量，这种方法往往把RGB空间表示的彩色图像变换到其他彩色空间，每一种彩色空间都产生一种亮度分量和两种色度分量信号。常用的彩色空间表示法有YUV、YIQ和YCbCr等。第5页，课件共438页，创作于2023年2月

（1）YUV彩色空间。通常我们用彩色摄像机来获取图像信息，摄像机把彩色图像信号经过分色棱镜分成R0、G0、B0三个分量信号，分别经过放大和r校正得到RGB，再经过矩阵变换电路得到亮度信号Y和色差信号U、V，其中亮度信号表示了单位面积上反射光线的强度，而色差信号（所谓色差信号，就是指基色信号中的三个分量信号R、G、B与亮度信号之差）决定了彩色图像信号的色调。最后发送端将Y、U、V三个信号进行编码，用同一信道发送出去，这就是在PAL彩色电视制式中使用的YUV彩色空间。YUV与RGB彩色空间变换的对应关系如式（4.1-1）所示。第6页，课件共438页，创作于2023年2月YUV彩色空间的一个优点是，它的亮度信号Y和色差信号U、V是相互独立的，即Y信号分量构成的黑白灰度图与用U、V两个色彩分量信号构成的两幅单色图是相互独立的。因为YUV是独立的，所以可以对这些单色图分别进行编码。此外，利用YUV之间的独立性解决了彩色电视机与黑白电视机的兼容问题。

（4.1-1）第7页，课件共438页，创作于2023年2月YUV表示法的另一个优点是，可以利用人眼的视觉特性来降低数字彩色图像的数据量。人眼对彩色图像细节的分辨能力比对黑白图像细节的分辨能力低得多，因此就可以降低彩色分量的分辨率而不会明显影响图像质量，即可以把几个相同像素不同的色彩值当做相同的色彩值来处理（即大面积着色原理），从而减少了所需的数据量。在PAL彩色电视制式中，亮度信号的带宽为4.43MHz，用以保证足够的清晰度，而把色差信号的带宽压缩为1.3MHz，达到了减少带宽的目的。第8页，课件共438页，创作于2023年2月

在数字图像处理的实际操作中，就是对亮度信号Y和色差信号U、V分别采用不同的采样频率。目前常用的Y、U、V采样频率的比例有4∶2∶2和4∶1∶1，当然，根据要求的不同，还可以采用其他比例。例如要存储R∶G∶B＝8∶8∶8的彩色图像，即R、G、B分量都用8比特表示，图像的大小为640×480像素，那么所需要的存储容量为640×480×3×8/8＝921600字节；如果用Y∶U∶V＝4∶1∶1来表示同一幅彩色图像，对于亮度信号Y，每个像素仍用8比特表示，而对于色差信号U、V，每4个像素用8比特表示，则存储量变为640×480×(8+4)/8＝460800字节。尽管数据量减少了一半，但人眼察觉不出有明显变化。第9页，课件共438页，创作于2023年2月

（2）YIQ彩色空间。在NTSC彩色电视制式中选用YIQ彩色空间，其中Y表示亮度，I、Q是两个彩色分量。I、Q与U、V是不相同的。人眼的彩色视觉特性表明，人眼对红、黄之间颜色变化的分辨能力最强；而对蓝、紫之间颜色变化的分辨能力最弱。在YIQ彩色空间中，色彩信号I表示人眼最敏感的色轴，Q表示人眼最不敏感的色轴。在NTSC制式中，传送人眼分辨能力较强的I信号时，用较宽的频带（1.3～1.5MHz）；而传送人眼分辨能力较弱的Q信号时，用较窄的频带（0.5MHz）。YIQ与RGB彩色空间变换的对应关系如式(4.1-2)所示。第10页，课件共438页，创作于2023年2月（4.1-2）第11页，课件共438页，创作于2023年2月

（3）YCbCr彩色空间。YCbCr彩色空间是由ITU-R（国际电联无线标准部，原国际无线电咨询委员会CCIR）制定的彩色空间。按照CCIR601-2标准，将非线性的RGB信号编码成YCbCr，编码过程开始是先采用符合SMPTE-CRGB（它定义了三种荧光粉，即一种参考白光，应用于演播室监视器及电视接收机标准的RGB）的基色作为r校正信号。第12页，课件共438页，创作于2023年2月

非线性RGB信号很容易与一个常量矩阵相乘而得到亮度信号Y和两个色差信号Cb、Cr。YCbCr通常在图像压缩时作为彩色空间，而在通信中是一种非正式标准。YCbCr与RGB彩色空间变换的对应关系如式（4.1-3）所示，可以看到：数字域中的彩色空间变换与模拟域中的彩色空间变换是不同的。（4.1-3）第13页，课件共438页，创作于2023年2月2．彩色图像信号的分量编码通过图像信号的表示方法的讨论可以看到：对于彩色图像信号数字压缩编码，可以采用两种不同的编解码方案。一种是复合编码，它直接对复合图像信号进行采样、编码和传输；另一种是分量编码，它首先把复合图像中的亮度和色度信号分离出来，然后分别进行取样、编码和传输。目前分量编码已经成为图像信号压缩的主流，在20世纪90年代以来颁布的一系列图像压缩国际标准中均采用分量编码方案。以YUV彩色空间为例，分量编码系统的基本框图如图4.1-1所示，其中对亮度信号Y使用较高的采样频率，对色差信号U、V则使用较低的采样频率。

第14页，课件共438页，创作于2023年2月图4.1-1彩色图像信号分量编码系统的基本框图第15页，课件共438页，创作于2023年2月4.2图像信号数字化

图像信号数字化与音频数字化一样主要包括两方面的内容：取样和量化。图像在空间上的离散化称为取样，即使空间上连续变化的图像离散化，也就是用空间上部分点的灰度值来表示图像，这些点称为样点（或像素，像元，样本）。一幅图像应取多少样点呢？其约束条件是：由这些样点采用某种方法能够正确重建原图像。第16页，课件共438页，创作于2023年2月

取样的方法有两类：一类是直接对表示图像的二维函数值进行取样，即读取各离散点上的信号值，所得结果就是一个样点值阵列，所以也称为点阵取样；另一类是先将图像函数进行正交变换，用其变换系数作为取样值，故称为正交系数取样。对样点灰度级值的离散化过程称为量化，也就是对每个样点值数字化，使其和有限个可能电平数中的一个对应，即使图像的灰度级值离散化。量化也可分为两种：一种是将样点灰度级值等间隔分档取整，称为均匀量化；另一种是将样点灰度级值不等间隔分档取整，称为非均匀量化。第17页，课件共438页，创作于2023年2月4.2.1取样点数和量化级数的选取假定一幅图像取M×N个样点，对样点值进行Q级分档取整。那么对M，N和Q如何取值呢？首先，M，N，Q一般总是取2的整数次幂，如Q=2b，b为正整数，通常称为对图像进行b比特量化，M、N可以相等，也可以不相等。若取相等，则图像距阵为方阵，分析运算方便一些。其次，关于M、N和b(或Q)数值大小的确定。对b来讲，取值越大，重建图像失真越小。若要完全不失真地重建原图像，则b必须取无穷大，否则一定存在失真，即所谓的量化误差。第18页，课件共438页，创作于2023年2月

一般供人眼观察的图像，由于人眼对灰度分辨能力有限，用5~8比特量化即可。对M×N的取值主要依据取样的约束条件。也就是在M×N大到满足取样定理的情况下，重建图像就不会产生失真，否则就会因取样点数不够而产生所谓混淆失真。为了减少表示图像的比特数，应取M×N点数刚好满足取样定理。这种状态的取样即为奈奎斯特取样。M×N常用的尺寸有512×512，256×256，64×64，32×32等。第19页，课件共438页，创作于2023年2月

再次，在实际应用中，如果允许表示图像的总比特数M×N×b给定，对M×N和b的分配往往是根据图像的内容和应用要求以及系统本身的技术指标来选定的。例如，若图像中有大面积灰度变化缓慢的平滑区域如人图像的特写照片等，则M×N取样点可以少些，而量化比特数b多些，这样可使重建图像灰度层次多些。若b太少，在图像平滑区往往会出现“假轮廓”。第20页，课件共438页，创作于2023年2月

反之，对于复杂景物图像，如群众场面的照片等，量化比特数b可以少些，而取样点数M×N要多些，这样就不会丢失图像的细节。究竟M×N和b如何组合才能获得满意的结果很难讲出一个统一的方案，但是有一点是可以肯定的：不同的取样点数和量化比特数组合可以获得相同的主观质量评价。第21页，课件共438页，创作于2023年2月*4.2.2点阵取样在分析取样和重建图像时，往往认为取样系统的输入图像是一个确定的图像场，即为确知函数，如一幅照片或胶片。但是在某些情况下，如电视图像由于噪声影响和取样方式变化，把这种取样看成是二维随机过程的取样更为有益，当然实际取样还有一些问题要注意。第22页，课件共438页，创作于2023年2月1.确定图像场的点阵取样原理对理想取样而言，其取样函数为空间抽样函数

S（x,y），离散形式可表示为（4.2-1）δ函数的取样阵列如图4.2-1所示。第23页，课件共438页，创作于2023年2月图4.2-1δ函数的取样阵列第24页，课件共438页，创作于2023年2月

令fI(x,y)代表一理想的无限大连续图像场，其点阵取样方法就是用空间抽样函数S(x,y)和连续图像函数fI(x,y)相乘。设fS(x,y)表示取样后的图像，理想取样数学模型如图4.2-2所示。图4.2-2理想取样数学模型第25页，课件共438页，创作于2023年2月由此可以得到（4.2-2）第26页，课件共438页，创作于2023年2月

式中,连续函数fI(x,y)移入求和式内变为离散形式fI(iΔx,jΔy)，表明只是在取样点(iΔx,jΔy)上计值。根据二维傅立叶变换卷积定理，可以得到频域关系式为

（4.2-3）式中第27页，课件共438页，创作于2023年2月

假定理想图像的频谱是有限的，截止频率为uc和vc，根据δ函数的筛选性质对式(4.2-3)进一步运算可以得式(4.2-4)和如图4.2-3所示的取样图像频谱示意图。

（4.2-4）第28页，课件共438页，创作于2023年2月图4.2-3取样图像频谱示意图第29页，课件共438页，创作于2023年2月

由式（4.2-4）和图4.2-3可以看出，取样图像频谱是原图像频谱在频域中的无穷多个重复。重复频谱之间间隔Δu和Δv取决于取样间隔Δx和Δy的大小，只要选取合适的Δx、Δy，就能保证Δu、Δv等于或大于原图像截止频率2uc、2vc，那么各个重复频谱之间就不会重叠。在这种情况下，选用合适的二维重建滤波器，就可以取出一个完整的原图像频谱（即除所有i,j≠0的频谱成分），再由二维傅立叶反变换获得和原图像一样的重建图像

。第30页，课件共438页，创作于2023年2月

取样正确与否的原则是能否由取样图像不失真地重建原图像，而正确取样的关键是取样间隔Δx、Δy的选择，因此保证正确取样的条件是因为（4.2-5）第31页，课件共438页，创作于2023年2月所以则（4.2-6）第32页，课件共438页，创作于2023年2月

满足式(4.2-5)和式(4.2-6)中“等于”条件的取样称为奈奎斯特取样。满足两式中大于条件的取样称为过取样，而不满足上述两条件的取样称为欠取样。在欠取样情况下，会产生混淆失真。混淆失真是取样中应注意的一个重要问题。防止出现混淆失真的办法，从理论上讲，若已知原图像频谱的最高频率成分，则使用过取样或奈奎斯特取样，而不要使用欠取样；第33页，课件共438页，创作于2023年2月

但若不知道原图像频谱的最高频率成分，则应先采用已知截止频率的低通滤波器预先过滤图像，限制其高频率成分，再针对低通滤波器截止频率进行过取样或奈奎斯特取样。在实际取样系统中，取样脉冲宽带效应相当于一个低通滤波器，另外光学系统的透镜散焦，孔阑衍射也都可以等效为低通滤波器的作用，尽管会引起图像模糊降质，但对防止混淆失真却是有好处的。第34页，课件共438页，创作于2023年2月2.随机图像场取样实际图像往往有噪声，这种附加有噪声的确定图像场可以认为是随机图像场，因此这里简单介绍一下随机图像场的取样。式中,τx=x1-x2;τy=y1-y2。第35页，课件共438页，创作于2023年2月

用狄拉克取样函数S（x,y）对这个随机过程进行取样所获得的取样场为（4.2-8）因而取样场的自相关函数为

（4.2-9）第36页，课件共438页，创作于2023年2月

根据狄拉克函数性质：两个狄拉克函数相乘还是一个狄拉克函数，即S(x1,y1)S(x2,y2)=S(x1-x2,y1-y2)=S(τx,τy)

（4.2-10）将式（4.2-7）和式（4.2-10）代入式（4.2-9）即可得第37页，课件共438页，创作于2023年2月对上式两边取二维傅立叶变换，根据傅氏变换定理得（4.2-11）（4.2-12）第38页，课件共438页，创作于2023年2月图4.2-4有噪声图像的取样（一维示意图）第39页，课件共438页，创作于2023年2月4.2.3图像信号量化经过取样的图像只是在空间上被离散为像素（样本）的阵列，而每一个样本灰度值还是一个有无穷多个取值的连续变化量，必须将其转化为有限个离散值，赋予不同码字才能真正成为数字图像，再由计算机或其他数字设备进行处理运算，这样的转化过程称为量化。将样本连续灰度等间隔分层量化方式称为均匀量化，不等间隔分层量化方式称为非均匀量化。量化既然以有限个离散值来近似表示无限多个连续量，就一定会产生误差，这就是所谓的量化误差。第40页，课件共438页，创作于2023年2月

由此产生的失真叫量化失真或量化噪声，对均匀量化来讲，量化分层越多，量化误差越小，但编码时占用比特数就越多。在一定比特数下，为了减少量化误差，往往要用非均匀量化，如按图像灰度值出现的概率大小不同进行非均匀量化，即对灰度值经常出现的区域进行细量化，反之进行粗量化。在实际图像系统中，由于存在着成像系统引入的噪声及图像本身的噪声，因此量化等级取得太多（量化间隔太小）是没有必要的，因为如果噪声幅度值大于量化间隔，量化器输出的量化值就会产生错误，得到不正确的量化。第41页，课件共438页，创作于2023年2月

在应用屏幕显示其输出图像时，灰度邻近区域边界会出现“忙动”现象。假设噪声是高斯分布，均值为0，方差为σ2，在有噪声情况下，最佳量化层选取有两种方法，一是令正确量化的概率大于某一个值，二是使量化误差的方差等于噪声方差。针对输出图像是专供人观察评价的应用，研究出了一些按人的视觉特性进行非均匀量化方式，如图像灰度变化缓慢部分细量化，而图像灰度变化快的细节部分粗量化，这是由于视觉掩盖效应被发现而产生的。再如按人的视觉灵敏度特征进行对数形式量化分层等。第42页，课件共438页，创作于2023年2月4.3数字图像压缩方法的分类

图像压缩的基本目标就是减小数据量，但最好不要引起图像质量的明显下降，在大多数实际应用中，为了取得较低的比特率，轻微的质量下降是允许的。至于图像压缩到什么程度而没有明显的失真，则取决于图像数据的冗余度。较高的冗余度形成较大的压缩，而典型的图像信号都具有很高的冗余度，正是这些冗余度的存在允许我们对图像进行压缩。第43页，课件共438页，创作于2023年2月

例如，我们在第2章介绍的空间冗余和时间冗余是图像信号最常见的冗余，所有的这些冗余度都可以被除去而不会引起显著的信息损失，但压缩编码无法减少冗余度。不同的出发点有不同的分类，按照信息论的角度，数字图像压缩方法一般可分为：（1）可逆编码（ReversibleCoding或InformationPreservingCoding），也称为无损压缩。这种方法的解码图像与原始图像严格相同，压缩是完全可恢复的或无偏差的，无损压缩不能提供较高的压缩比。第44页，课件共438页，创作于2023年2月

（2）不可逆编码（Non-ReversibleCoding），也称为有损压缩。用这种方法恢复的图像较原始图像存在一定的误差，但视觉效果一般是可接受的，它可提供较高的压缩比。第45页，课件共438页，创作于2023年2月

按照压缩方法的原理，数字图像压缩方法可分为：

（1）预测编码（PredictiveCoding）。预测编码是一种针对统计冗余进行压缩的方法，它主要是减少数据在空间和时间上的相关性，达到对数据的压缩，是一种有失真的压缩方法。预测编码中典型的压缩方法有DPCM和ADPCM等，它们比较适合于图像数据的压缩。第46页，课件共438页，创作于2023年2月

（2）变换编码（TransformCoding）。变换编码也是一种针对统计冗余进行压缩的方法。这种方法将图像光强矩阵（时域信号）变换到系数空间（频域）上进行处理。常用的正交变换有DFT（离散傅氏变换）、DCT（离散余弦变换）、DST（离散正弦变换）、哈达码变换和Karhunen-Loeve变换。第47页，课件共438页，创作于2023年2月

（3）量化和矢量量化编码（VectorQuantization）。量化和矢量量化编码本质上也还是一种针对统计冗余进行压缩的方法。当我们对模拟量进行数字化时，必然要经历一个量化的过程。在这里量化器的设计是一个很关键的步骤，量化器设计的好坏对于量化误差的大小有直接的影响。矢量量化是相对于标量量化而提出的，如果我们一次量化多个点，则称为矢量量化。第48页，课件共438页，创作于2023年2月

（4）信息熵编码（EntropyCoding）。根据信息熵原理，用短的码字表示出现概率大的信息，用长的码字表示出现概率小的信息。常见的方法有哈夫曼编码、游程编码以及算术编码。

（5）子带编码（Sub-bandCoding）。子带编码将图像数据变换到频域后，按频率分带，然后用不同的量化器进行量化，从而达到最优的组合。或者是分步渐近编码，在初始时对某一频带的信号进行解码，然后逐渐扩展到所有频带，随着解码数据的增加，解码图像也逐渐地清晰起来。此方法对于远程图像模糊查询与检索的应用比较有效。第49页，课件共438页，创作于2023年2月

（6）结构编码（StructureCoding），也称为第二代编码（SecondGenerationCoding）。编码时首先求出图像中的边界、轮廓、纹理等结构特征参数，然后保存这些参数信息。解码时根据结构和参数信息进行合成，从而恢复出原图像。（7）基于知识的编码（Knowledge-BasedCoding）。对于人脸等可用规则描述图像，利用人们对其的知识形成一个规则库，据此将人脸的变化等特征用一些参数进行描述，从而用参数加上模型就可以实现人脸的图像编码与解码。图像压缩算法的总体框图如图4.3-1所示。第50页，课件共438页，创作于2023年2月图4.3-1图像压缩算法的总体框图第51页，课件共438页，创作于2023年2月

下面几节主要介绍几种常见的压缩编码方法：信息熵编码方法（如哈夫曼编码、游程编码和算术编码）、预测编码和变换编码，并介绍新一代编码方法（如知识基编码和分形编码）等以及相关知识。由于矢量量化编码和子带编码方法在上一章中结合音频编码已经介绍，它们在应用于图像时原理基本相同，这里不再赘述。

第52页，课件共438页，创作于2023年2月4.4典型的熵编码方法4.4.1基本概念

1．图像熵和平均码字长度

1）图像熵（Entropy）设数字图像像素灰度级集合为（W1,W2,…,Wk，…,WM），其对应的概率分别为P1，P2，…，Pk，…，PM。按信息论中信源信息熵定义，数字图像的熵H为第53页，课件共438页，创作于2023年2月

由此可见，一幅图像的熵就是这幅图像的平均信息量度，也是表示图像中各个灰度级比特数的统计平均值。式(4.4-1)所表示的熵值是在假定图像信源无记忆（即图像的各个灰度级不相关）的前提下获得的，这样的熵值常称为无记忆信源熵值，记为H0(·)。对于有记忆信源，假如某一像素灰度级与前一像素灰度级相关，那么公式(4.4-1)中的概率要换成条件概率P(Wi/Wi-1)和联合概率P(Wi,Wi-1)，则图像信息熵公式变为（4.4-1）第54页，课件共438页，创作于2023年2月

式中，P(Wi,Wi-1)=P(Wi)P(Wi/Wi-1),则称H(Wi/Wi-1)为条件熵。因为只与前面一个符号相关，故称为一阶熵H1(·)。如果与前面两个符号相关，求得的熵值就称为二阶熵H2(·)。依此类推可以得到三阶和四阶等高阶熵，并且可以证明

H0（·）＞H1（·）＞H2（·）＞H3（·）＞…(4.4-2)第55页，课件共438页，创作于2023年2月

香农信息论已证明：信源熵是进行无失真编码的理论极限。低于此极限的无失真编码方法是不存在的，这是熵编码的理论基础。而且可以证明，如果考虑像素间的相关性，使用高阶熵一定可以获得更高的压缩比。第56页，课件共438页，创作于2023年2月

2）平均码字长度设βk为数字图像第k个码字Ck的长度(二进制代数的位数)，其相应出现的概率为Pk，则该数字图像所赋予的码字平均长度R为（4.4-3）第57页，课件共438页，创作于2023年2月3）编码效率在一般情况下，编码效率往往用下列简单公式表示（4.4-4）式中，H为信源熵，R为平均码字长度。第58页，课件共438页，创作于2023年2月

根据信息论中信源编码理论，可以证明在R≥H条件下总可以设计出某种无失真编码方法。若编码结果使R远大于H，表明这种编码方法效率很低，占用比特数太多。例如对图像样本量化值直接采用PCM编码，其结果平均码字长度R就远比图像熵H大。若编码结果使R等于或很接近于H，这种状态的编码方法称为最佳编码。它既不丢失信息而引起图像失真，又占用最少的比特数，例如下面要介绍的哈夫曼编码即属于最佳编码方法。第59页，课件共438页，创作于2023年2月

若要求编码结果R<H，则必然丢失信息而引起图像失真。这就是在允许失真条件下的一些失真编码方法。熵编码的目的就是要使编码后的图像平均比特数R尽可能接近图像熵H。一般是根据图像灰度级数出现的概率大小赋予不同长度的码字，概率大的灰度级用短码字，反之，用长码字。可以证明，这样的编码结果所获得的平均码字长度最短。这就是下面要介绍的变长最佳编码定理。第60页，课件共438页，创作于2023年2月2.变长最佳编码定理

【定理】在变长编码中，对出现概率大的信息符号赋予短码字，而对于出现概率小的信息符号赋予长码字。如果码字长度严格按照所对应符号出现概率大小逆序排列，则编码结果平均码字长度一定小于任何其他排列方式。这个定理就是下面要介绍的哈夫曼编码方法的理论基础。设图像灰度级为W1,W2,…,Wi…,WN；各灰度级出现的概率分别为P1，P2，…，Pi，…，PN；第61页，课件共438页，创作于2023年2月

编码所赋予的码字长度分别为t1，

t2，…，ti，…，

tN；则编码后图像平均码字长度R应为第62页，课件共438页，创作于2023年2月

再令严格按照定理规则进行编码，其结果平均码字长度为R1；R2为将其中任两个灰度级不按定理规则编码（即概率大的灰度级赋予长码字。反之，用短码字），而其他所有灰度级仍按定理规则编码所得的图像平均码字长度，那么R2应等于R1加上“不按定理规则编码所增加的平均码字长度”ΔR。只要证明ΔR大于0，即可以证明上述定理。第63页，课件共438页，创作于2023年2月3.可变长最佳编码的平均码字长度设可变长编码所用码元进制为D，被编码的信息符号总数为N，第i个符号出现的概率为Pi，与其对应的码字长度为ti，则可以证明这种编码结果平均码字长度R落在下列区间内第64页，课件共438页，创作于2023年2月

式中,,由此可以引导出对某一信息符号存在下式（4.4-5）对二进制码进一步简化为-lbPi≤ti＜-lbPi+1（4.4-6）第65页，课件共438页，创作于2023年2月4.惟一可译编码有些情况下，为了减少表示图像的平均码字长度，往往对码字之间不加同步码。但是，这样就要求所编码字序列能被惟一地译出来。满足这个条件的编码称为惟一可译编码，也常称为单义可译码。单义可译码往往是采用非续长代码。第66页，课件共438页，创作于2023年2月1）续长代码和非续长代码若代码中任何一个码字都不是另一个码字的续长，也就是不能在某一码字后面添加一些码元而构成另一个码字，称其为非续长代码。反之，称其为续长代码。如二进制代码［0，10，11］即为非续长代码，而［0，01，11］则为续长代码。因为码字01可由码字“0”后加上一个码元“1”构成。第67页，课件共438页，创作于2023年2月2）单义代码在介绍单义代码前，先简单介绍一下克劳夫特(Kraft)不等式：若信源符号有m种取值，其码字长度分别为li(i=1，2，…,m)；又设最长的码字长度为L，码元种类（即多少进制码）为D，长度为li的码字占用了

个长度为L的码字，也就是必须有对于二进制,则有。第68页，课件共438页，创作于2023年2月

任意有限长的码字序列，只能被惟一地分割成一个个码字，则这样的码字序列称为单义代码。单义代码的充要条件是满足克劳夫特(Kraft)不等式（4.4-7）

式中,D为代码中码元种类，对于二进制D＝2；n为代码中码字个数；ti为代码中第i个码字的长度（即码元个数）。第69页，课件共438页，创作于2023年2月

如代码C＝［00，10，001，101］，因为是二进制码，则D＝2，共有4个码字C1＝00、C2＝10、

C3＝001、C4＝101，其相应的长度为t1=2、t2=2、t3=3、t4=3，代入式（4.4-7）可得第70页，课件共438页，创作于2023年2月4.4.2哈夫曼（Huffman）编码方法哈夫曼编码是根据可变长度最佳编码定理，应用哈夫曼算法而产生的一种编码方法。在具有相同输入概率集合的前提下，它的平均码字长度比其他任何一种惟一可译码都小，因此，也常称其为紧凑码。下面以一个具体的例子来说明其编码方法，如图4.4-1所示。第71页，课件共438页，创作于2023年2月图4.4-1哈夫曼（Huffman）编码的示例第72页，课件共438页，创作于2023年2月1.编码步骤

(1)先将输入灰度级按出现的概率由大到小顺序排列（对概率相同的灰度级可以任意颠倒排列位置）。（2）将最小两个概率相加，形成一个新的概率集合。再按第(1)步方法重排（此时概率集合中概率个数已减少一个）。如此重复进行，直到只有两个概率为止。第73页，课件共438页，创作于2023年2月

（3）分配码字。码字分配从最后一步开始反向进行，对最后两个概率一个赋予“1”码，一个赋予“0”码。如概率0.60赋予“0”码，0.40赋予“1”码（也可以将0.60赋予“1”码，0.40赋予“0”码）。如此反向进行到开始的概率排列。在此过程中，若概率不变，则仍用原码字。如图4.4-1中第六步中概率0.40到第五步中仍用“1”码。若概率分裂为两个，其码字前几位码元仍用原来的。码字的最后一位码元一个赋予“0”码元，另一个赋予“1”码元。如图中第六步中概率0.60到第五步中分裂为0.37和0.23，则所得码字分别为“00”和“01”。第74页，课件共438页，创作于2023年2月2.前例哈夫曼编码的编码效率计算根据式(4.4-1)求出前例信源熵为根据式(4.4-3)求出平均码字长度为第75页，课件共438页，创作于2023年2月根据式（4.4-4）求出编码效率η为可见哈夫曼编码效率很高。第76页，课件共438页，创作于2023年2月*4.4.3游程编码在图像中，尤其是一些不太复杂的图像和计算机生成的图像中，往往存在着灰度或颜色相同的图像块，对这样的图像进行扫描时，对应这些相同灰度和颜色的图像块就会有连续多行扫描行数据具有相同的数值，而且在同一行上会有许多连续的像素点具有同样的数值。只保留连续相同像素值中的一个值及具有相同数值的像素点数目，这种方法就是人们常说的行程编码或游程编码（RLC，RunLengthCoding），而且这种方法可以用少的数据量来表示图像信息。第77页，课件共438页，创作于2023年2月

在二元序列中，只有两种符号，即“0”和“1”；这些符号可连续出现，连“0”这一段称为“0”游程，连“1”这一段称为“1”游程。它们的长度分别为L(0)和L(1)。“0”游程和“1”游程总是交替出现的。倘若规定二元序列是以“0”开始，第一个游程是“0”游程，第二个必为“1”游程，第三个又是“0”游程等等。对于随机的二元序列，各游程长度将是随机变量；其取值可为1，2，3，…，直到无限。第78页，课件共438页，创作于2023年2月

定义了游程和游程长度，就可把任何二元序列变换成游程长度的序列，或简称游程序列。这种变换是一一对应的，也就是可逆的。例如有一二元序列

000101110010001…

可变换成下列游程序列

3113213…第79页，课件共438页，创作于2023年2月*4.4.4算术编码哈夫曼编码、游程编码等无损编码都是建立在符号和码字相对应的基础上的，这种编码通常叫做块码或分组码。此时，信源符号应是多元的，而且不考虑符号相关性。要用于最常见的二元序列，须采用游程编码、分帧编码或合并符号等方法，转换成多值符号，而这些符号间的相关性也不予考虑。这就使信源编码的匹配原则不能充分满足，编码效率就有所损失。倘若要较好的解除相关性，常需在序列中取很长一段，而这将遇到采用等长码时的那种困难。第80页，课件共438页，创作于2023年2月

为了克服这种局限性，就需跳出块码的范畴，研究非块码的编码方法。这就是从全序列出发，采用递推形式的连续编码。其实香农早就提出信源序列的积累概率的概念，把这个概率映射到［0，1）区间上，使每个序列对应区间内的一点，这就是一个二进位的小数。这些点把［0，1）区间分成许多小段，每段的长度等于某一序列的概率。再在段内取一个二进位小数，其长度可与该序列的概率匹配，达到高效编码的目的。这也就是算术编码的基本概念。在这里将着重讨论积累概率的意义以及递推计算等，以说明算术编码的基本原理。再通过实例介绍独立二元序列的编码过程。第81页，课件共438页，创作于2023年2月1.积累概率的递推计算我们先从信源符号的积累概率开始，再讨论序列的积累概率。设信源符号集为A={a0,a1,a2,…,am-1}

相应的概率为Pr，r=0，1，2，…，m-1。定义各符号的积累概率为（4.4-8）第82页，课件共438页，创作于2023年2月

显然，由上式可得P0=0,P1=p0,P2=p0+p1，…

而且pr=Pr+1-Pr由于Pr和Pr+1都是小于1的正数，可用［0,1)区间内的两个点来表示，则pr就是这两点间的小区间的长度。不同的符号有不同的小区间，它们互不重叠，这种小区间内任一个点可作为该符号的代码。第83页，课件共438页，创作于2023年2月

现在来计算序列的积累概率。为了简单起见，先以独立二元序列为例来计算，所得的结果很容易推广到一般情况。设有一序列S=011，这种三个二元符号的序列可按自然二进数排列，000，001，010，…，则S的积累概率为P(S)=p(000)+p(001)+p(010)（4.4-9）倘若S后面接一个“0”，积累概率就成为P(S0)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)=p(000)+p(001)+p(010)=P(S)第84页，课件共438页，创作于2023年2月

因为两个四元符号的最后一位是“0”和“1”时，根据归一律，它们的概率和应等于前三位的概率，即p(0000)+p(0001)=p(000)等。第85页，课件共438页，创作于2023年2月

倘若S后面接一个“1”，则其积累概率是P(S1)=p(0000)+p(0001)+p(0010)+p(0011)+p(0100)+p(0101)+p(0110)

=P(S)+p(0110)=P(S)+p(S)p0

由于二元集的积累概率为P0=0，P1=p0，所以上面两式可统一写成P(Sr)=P(S)+p(S)Pr

r=0，1(4.4-10)第86页，课件共438页，创作于2023年2月

这样写的式子很容易推广到多元序列，即可得到一般的积累概率递推公式P(Sar)=P(S)+p(S)Pr

(4.4-11)

以及序列的概率公式p(Sar)=p(S)pr(4.4-12)

对于有相关性的序列，上面的两个递推公式也是适用的，只是上式中的单符号概率应换成条件概率。第87页，课件共438页，创作于2023年2月

用递推公式可逐位计算序列的积累概率，而不用像式（4.4-9）那样列举所有排在前面的那些序列概率。实际上，可用两个存储器把p(S)和P(S)存下来，然后根据输入符号和式(4.4-11)、式(4.4-12)，更新两个存储器中的值。在起始时可令P（φ）=0,p(φ)=1其中φ代表空集，只有一个符号ar的序列就是φar。第88页，课件共438页，创作于2023年2月2.代码长度从以上关于积累概率P(S)的计算中可看出，P(S)把区间［0,1）分割成许多小区间，每个小区间的长度等于各序列的概率p(S)，而这些小区间内的任一点可用来代表这些序列，现在来讨论如何选择这个点。令

（4.4-13）第89页，课件共438页，创作于2023年2月

其中［X］代表大于或等于X的最小整数，把积累概率P(S)写成二进位的小数，取其前L位，若有尾数，就进位到第L位，这样得到一个数C。例如,P(S)=0.10110001，p(S)=1/7,则L=3,得C＝0.110。这个C就可以作为S的码字。可以证明这C点必然在长度为p(S)的小区间内，因而是可以惟一解码的。第90页，课件共438页，创作于2023年2月

这样构成的码字，编码效率是很高的，因为已经达到概率匹配，尤其是当序列很长时。由式（4.4-13）可见，对于长序列，p(S)必然很小，L与概率倒数的对数已几乎相等。也就是取整数所造成的差别很小，平均代码长度将接近S的熵值。第91页，课件共438页，创作于2023年2月

实际编码过程是这样的。可先设定两个存储器，起始时一个为“0”，另一个为“1”，分别代表空集的积累概率和概率。每输入一个信源符号,更新一次，得到P(S)值后，按前述方法得到码字C，暂存起来,C值也随输入符号而更新。直至序列结束，就可作为该序列的码字输出。由于P(S)是递增的，而增量随着序列的增长而减小。因为增量是序列的概率与信源符号的积累概率的乘积，所以C的前几位一般已固定，在以后的计算中不会被更新，因而可以输出。第92页，课件共438页，创作于2023年2月

解码也逐位进行。由于P（S）的递增性，第一个符号的积累概率不会小于以后的C值，所以从C值就可译出第一个信源符号。由该符号按编码方法算得的P（S）与C比较就可判断下一个信源符号，依次下去就可译出全序列。其实，在算术编码中，解码过程与编码过程是相似的。第93页，课件共438页，创作于2023年2月3.实现算术编码的一些问题以上从理论上简单讨论了算术编码的编译方法以及它的编码效率，可以看出它有许多优点，尤其它的渐近最佳性，亦即当序列无限增长时，平均码长将渐近地等于序列的熵值。但在实际实现时，尚有一些必须解决的问题。第94页，课件共438页，创作于2023年2月

（1）复杂性问题。每次递推运算中都有乘法，当序列概率和符号的积累概率展开成二进位小数后的位数较多且要求精度较高时，就有一定的运算量。这种运算必须在输入一个信源符号的时间内完成，以保证实时编解码，有时会造成困难。要消除乘法，只有一种情况，这就是编码序列是二元序列，而且其符号概率较小的一个是2-k的形式，其中k是正整数。此时乘以2-k等于移位，乘以1-2-k等于移位和相减。这样就完全没有乘法运算，可加快运算速度。这就是为什么算术编码一般只用于二元序列的编码，而且符号概率常用2-k去近似。第95页，课件共438页，创作于2023年2月(2)计算精度问题。即使在二元序列的情况下，精度问题仍存在。随着递推运算的延续，P(S)和p(S)（即积累概率和序列的概率）的小数位数也将逐步增加，若不能随时输出和加以截断，运算器将难于容纳，但有所截断必然降低精度。而精度不够会影响编解码的正确性。这是因为随着序列长度增大，小区间数目越来越多，长度越来越短。计算精度不够会使有些小区间互相重叠或消失（即长度为零），前者使惟一性丧失，后者使无码字可编。这些会造成差错，就不是无损编码，而且这些差错还会扩散。所以最初提出的算术编码要求无限精度，这是不现实的。有限精度是可能的，只是编码效率会有所下降。第96页，课件共438页，创作于2023年2月

（3）存储量问题。码字C的长度也随序列S长度的增加而不断增长。若不及时输出，存储量将非常大。但若输出过早，运算过程中可能还需调整已输出的部分，就会影响结果。当未输出部分的前面各位都是“1”时，后面在计算时略有增加，就可能进位到已输出部分，尤其是连“1”很长时，原以为保留许多位已经够了，但仍会影响已输出部分。从理论上说，这种连“1”的长度可以达到无限，当然出现这种情况的概率也将接近于零。这类问题常称为进位问题，在实际应用时也必须设法解决。第97页，课件共438页，创作于2023年2月4.二元独立序列的算术编码示例设有二元独立序列：

S=11111100已知其符号概率p0=1/4，p1=3/4,则第98页，课件共438页，创作于2023年2月用前面的公式和编码规则，可得P(S)

=p(00000000)+p(00000001)+p(00000010)+…+p(11111011)

=1-p(11111111)-p(11111110)-p(11111101)-p(11111100)

=1-p(111111)

=1-(3/4)6=0.110100100111C=0.1101010

第99页，课件共438页，创作于2023年2月

该码字C在P(11111100)和P(11111101)之间，必可惟一译出序列S。这样编码的效率为

η＝熵/平均码字长度＝=92.7%

随着S的增长，编码效率一般还可提高。但是这种按全序列的编码，计算量和存储量将随S的增长而不断增加，因而几乎不可能实现。现在用递推公式式（4.4-11）和式（4.4-12）来计算上面的序列的码字。这种编码过程如图4.4-2所示。第100页，课件共438页，创作于2023年2月图4.4-2算术编码过程示例第101页，课件共438页，创作于2023年2月

由式（4.4-10）以及二元集的积累概率P0=0，P1=p0可得P(S0)=P(S)，P(S1)=P(S)+p(S)p0。所以,

当输入第一个1：P(S1)=0+1×(1/4)=1/4→0.01；输入第二个1：P(S1)=1/4＋(3/4)×(1/4)=7/16→0.0111；输入第一个0：P(S0)=P(S)，即与上一行相同，换成二进制小数还是相同。依次类推,而计算序列概率按公式p(S0)=p(S)p0，p(S1)=p(S)p1计算即可。第102页，课件共438页，创作于2023年2月图4.4-3算术编码的图解第103页，课件共438页，创作于2023年2月

4.5预测编码4.5.1DPCM系统的基本原理

DPCM系统的基本原理是指基于图像中相邻像素之间具有较强的相关性。每个像素可以根据前几个已知的像素值来作预测。因此在预测法编码中，编码与传输的值并不是像素取样值本身，而是这个取样值的预测值（也称估计值）与实际值之间的差值。DPCM系统的原理框图如图4.5-1所示。

第104页，课件共438页，创作于2023年2月

图4.5-1DPCM系统的原理框图第105页，课件共438页，创作于2023年2月

设输入信号xn为tn时刻的取样值。

是根据tn时刻以前已知的m个取样值xn-m，…，xn-1对xn所作的预测值，即（4.5-1）式中，ai（i＝1，…，m）称为预测系数，m为预测阶数。

en为预测误差信号，显然（4.5-2）第106页，课件共438页，创作于2023年2月

设qn为量化器的量化误差，e′n为量化器输出信号，可见qn=en-e′n

（4.5-3）接收端解码输出为x″n，如果信号在传输过程中不产生误差，则有e′n=e″n，x′n=x″n，

。此时发送端的输入信号xn与接收端的输出信息x″n之间的误差为（4.5-4）第107页，课件共438页，创作于2023年2月4.5.2最佳线性预测在线性预测的预测表达式(4.5-1)中，预测值

是xn-m，…，xn-1的线性组合，分析可知，需选择适当的预测系数ai使得预测误差最小，这是一个求解最佳线性预测的问题。一般情况下，应用均方误差为极小值准则获得的线性预测称为最佳线性预测。在讨论如何确定预测系数ai之前，先简单讨论一下线性预测DPCM中，对xn作最佳预测时，如何取用以前的已知像素值xn-1，xn-2，…，x1。xn与邻近像素的关系示意图如图4.5-2所示。第108页，课件共438页，创作于2023年2月图4.5-2xn与邻近像素的关系示意图第109页，课件共438页，创作于2023年2月

（1）若取用现在像素xn的同一扫描行中前面最邻近像素x1来预测xn，即xn的预测值

，则称为前值预测。

(2)若取用xn的同一扫描行中前几个已知像素值，如x1，x5，…来预测xn，则称为一维预测。（3）若取用xn的同一行和前几行若干个已知像素值，如x1，x5，x2，x3，x4，…来预测xn，则称为二维预测。第110页，课件共438页，创作于2023年2月(4)若取用已知像素不但是前几行的而且还包括前几帧的，那么相应的称其为三维预测。在一维预测情况下不失一般性。设xn是期望E{xn}=0的广义平稳随机过程，则设（4.5-5）第111页，课件共438页，创作于2023年2月为了使最小，必定有

i=1，2，…，m

（4.5-6）

解这m个联立方程可得ai（i=1，2，…，m）。xn的自相关函数为R(k)=E{xnxn-k}第112页，课件共438页，创作于2023年2月且R(-k)=R(k)，代入式（4.5-6）得i＝1，2，…，m

（4.5-7）写成矩阵形式为第113页，课件共438页，创作于2023年2月

上式最左边的矩阵是xn的相关矩阵，为Toeplitz矩阵，所以用Levinson算法可解出各ai

（i=1，2，…，m），从而得到在均方误差最小意义下的最佳线性预测。式（4.5-5）也可以用自相关函数来表示，即（4.5-9）第114页，课件共438页，创作于2023年2月

因为E{xn}=0,所以R（0）即为xn的方差，可见。因而传送差值en比直接传送原始信号xn更有利于数据压缩。R(k)越大，表明xn的相关性越强，则越小，所能达到的压缩比就越大。当R(k)=0(k＞0)时，即相邻点不相关时，，此时预测并不能提高压缩比。第115页，课件共438页，创作于2023年2月

二维、三维线性预测的情况与一维完全类似，只不过推导的过程相对一维来说要复杂一些，这里不再推导，有兴趣的读者可以参考相关书籍。应用均方差极小准则所获得的各个预测系数ai之间有什么样的约束关系呢？假设图像中有一个区域亮度值是一个常数，那么预测器的预测值也应是一个与前面相同的常数，即第116页，课件共438页，创作于2023年2月将此结果代入式（4.5-1）得因此第117页，课件共438页，创作于2023年2月1980年Pirsch进一步研究并修正了这个结论。他认为,为了防止DPCM系统中出现“极限环”（LimitCircle）振荡和减少传输误码的扩散效应，应满足下列两个条件：

(1)预测误差e=0应该是一个量化输出电平，也就是量化分层的总数K应是奇数。

(2)所有预测系数ai除满足外，还应满足第118页，课件共438页，创作于2023年2月4.5.3DPCM系统中的图像降质由于预测器和量化器的设计以及数字信道传输误码的影响，在DPCM系统中会出现一些图像降质现象。经过许多实验可总结为下列几种。（1）斜率过载引起图像中黑白边沿模糊，分辨率降低。这主要是当扫描到图像中黑白边沿时，预测误差信号比量化器最大输出电平还要大得多，从而引起很大的量化噪声。

第119页，课件共438页，创作于2023年2月

（2）颗粒噪声。颗粒噪声主要是最小的量化输出电平太大，而图像中灰度缓慢变化区域输出可能在两个最小的输出电平之间随机变化，从而使画面出现细斑，而人眼对灰度平坦区域的颗粒噪声又很敏感，从而使人主观感觉上图像降质严重。第120页，课件共438页，创作于2023年2月

（3）假轮廓图案。假轮廓图案主要是由于量化间隔太大，而图像灰度缓慢变化区域的预测误差信号太小，就会产生像地形图中等高线一样的假轮廓图案。（4）边沿忙乱。边沿忙乱主要在电视图像DPCM编码中出现，因为不同帧在同一像素位置上量化噪声各不相同，黑白边沿在电视监视上将呈现闪烁跳动犬齿状边沿。第121页，课件共438页，创作于2023年2月

（5）误码扩散。任何数字信道中总是存在着误码。在DPCM系统中，即使某一位码有差错，对图像一维预测来讲，将使该像素以后的同一行各个像素都产生差错。而对二维预测，误码引起的差错还将扩散到以下各行。这样将使图像质量大大下降，其影响的程度取决于误码在信号代码中的位置以及有误码的数码所对应的像素在图像中的位置。第122页，课件共438页，创作于2023年2月

一般来说，一维预测误码呈水平条状图案，而二维预测误码呈“彗星状”向右下方扩散。二维预测比一维预测抗误码能力强得多。对电视图像来讲，要使图像质量达到人不能察觉的降质，实验表明，对DPCM要求传输误码应优于5×10-6，而对于一维前值预测DPCM则应优于10-9，二维DPCM应优于10-8。第123页，课件共438页，创作于2023年2月4.5.4自适应预测编码在讨论线性预测中，我们假设输入数据是平稳的随机过程。然而，实际的输入数据并非是平稳过程，或总体上平稳，但局部不平稳。此时，按照量化信噪比的观点来看，使用固定参数的线性预测是不合理的，这时可以采用自适应预测的编码方法。可以定期地重新计算协方差矩阵和相应的加权因子，充分利用其统计特性及其变化，重新调整预测参数，这样就使得预测器随着输入数据的变化而变化，从而也得到较为理想的输出。第124页，课件共438页，创作于2023年2月

自适应预测又可分为线性自适应预测和非线性自适应预测两种编码方法，这里只简单介绍一种线性自适应预测方案，对于非线性预测则要复杂得多。

1977年Yamada提出二维DPCM的一个自适应预测方案，所采用的xn与邻近像素的关系如图4.5-2所示，预测公式为(4.5-10)第125页，课件共438页，创作于2023年2月

式中,a1=0.75，a4=0.25，k是一个自适应参数，按下式定义取值：(4.5-11)第126页，课件共438页，创作于2023年2月*4.5.5运动补偿和运动估值

1．运动补偿在帧间预测编码中，为了达到较高的压缩比，最关键的就是要得到尽可能小的帧间误差。在普通的帧间预测中，实际上仅在背景区进行预测时可以获得较小的帧间差。如果要对运动区域进行预测，首先要估计出运动物体的运动矢量V，然后再根据运动矢量进行补偿，即找出物体在前一帧的区域位置，这样求出的预测误差才比较