图像处理第9章图像变换编码

第9章图像变换编码图象编码的目的是在保证一定视觉质量的前提下减少数据量（从而也减少图象传输所需的时间），这也可看作使用较少的数据量来获得较好的视觉质量。图象编码以信息论为基础，以压缩数据量为主要目的，所以图象编码也常被称为图象压缩。章节内容可分离图像变换离散余弦变换正交变换小波变换9.1可分离和正交图像变换可分离性在实际中常用于简化计算。2-D图像变换正向变换核及反向变换核只依赖于x,y,u,v而与f(x,y)或T(u,v)的值无关9.1可分离和正交图像变换可分离性讨论（以正向变换核为例）设定下式成立：这时称正向变换核是可分离的，若h1与h2形式一样，则正向变换核具有对称性，上式可写成即具有可分离变换核的2-D变换可分成两个步骤计算，每一步骤用一个1-D变换9.1可分离和正交图像变换H(x,y,u,v)是可分离的和对称的函数时，正向变换核可写为矩阵形式：

优点：

表达简洁减少冗余减少操作次数

若得到逆变换，将式（9.1.5）两边分别乘一个反变换矩阵B得

T=AFA变换结果图像矩阵对称变换矩阵BTB=BAFAB（9.1.5）若B=A-1，则F=BTB

图像F可完全由其变换结果来恢复

9.1可分离和正交图像变换酉矩阵：在B=A-1基础上（*代表共轭），若有

A-1=A*T则称A为酉矩阵，相应的变换为酉变换。若A为实矩阵，且

A-1=AT则称A为正交矩阵，相应变换为正交变换9.2离散余弦变换离散余弦变换（DCT）是一种可分离和正交变换，并且是对称的。1.变换定义1-D离散余弦变换和其反变换定义：a(u)为归一化加权系数：9.2离散余弦变换2-D的DOC变换定义

u,v=0,1,...,N-1x,y=0,1…N-19.2离散余弦变换2.变换计算对离散余弦变换的计算可借助离散傅里叶变换的实部计算进行

g(x)的前半部分是f(x)的偶数项，

g(x)的后半部分是f(x)的奇数项的逆排傅里叶变换(9.2.6)g(x)表示对f(x)的如下重排：9.2离散余弦变换式（9.2.6）将对N点离散余弦变换的计算转化为对N点的离散傅里叶变换计算。利用N点的快速傅里叶变换就可快速的计算离散余弦变换所有N个系数。直接计算一个1-D的N点DCT需要N2次乘法和N(N-1)次加法，将1个N×N的图像块用1-D形式计算需要2N3次乘以2N2(N-1)次加法。余弦函数是偶函数，所以N点的离散余弦变换中隐含了2N点的周期性，与隐含N点周期性的傅里叶变换不同，余弦变换可减少在图像分块边界处的间断，这是他在图像压缩，尤其JPEG标准中得到应用的重要原因之一。离散余弦变换的基本函数与傅里叶变换的基本函数类似，都定义在整个空间，在计算任意一个变换域或中点的变换时都需要用到所有原始数据点的信息，所以也常被认为具有全局的本质特性或被称为全局基本函数9.3正交变换编码{利用正交变换将图像映射成一组变换系数，然后将这些系数量化和编码}9.3.1正交变换编码系统减少变换的计算复杂度，解除每个子图象内部像素之间的相关性，或者说将尽可能多的信息集中到尽可能少的变换系数上。图像分解：图像变换：图9.3.1典型的正交变换编解码系统框图9.3.2子图像尺寸选择利用正交图像变换进行变换编码需要将图像分解为子图像集合，一般均分解为尺寸相同的一组子图像。子图像尺寸是影响变换编码误差和计算复杂度的一个重要因素（压缩量和计算复杂度都随子图象尺寸的增加而增加）两个选择子图像尺寸的基本条件：①相邻子图象之间的相关（冗余）减少到某个可接受的水平；②子图象的长和宽都是2的整数次幂,(简化对子图像变换的计算）。{p03例9.3.1子图像尺寸选择}最常用的子图象尺寸：8×8和16×169.3.3变换选择1.重建均方误差一副N×N图像f(x,y)可表示成它的2-D变换T(u,v)的函数：

现将式(9.3.1)表示成如下形式：

n×n矩阵(9.3.1)(9.3.2)9.3.3变换选择定义一个变换系数的模板函数0如果T(u,v)满足特定的截断准则m(u,v)=1其他情况那么给出一个F的截断近似。其中m(u,v)是根据把对式(9.3.2)的求和贡献最少的基本函数消除的原则而设计的。（9.3.3）（9.3.4）9.3.3变换选择子图像F和其近似之间的均方误差可表示为矩阵范数系数在变换位置(u,v)的方差（9.3.5）上式最后一步的简化基于变换基本函数的正交归一化性质，以及F中的像素是由零均值和已知方差的随机过程所产生的假设。另外，根据上式的假设可知，一幅N×N的图像中的所有(N/n)2个子图像的均方误差是相同的，所以等于其中单幅子图像的均方误差9.3.3变换选择图像和其近似之间的总均方误差是所有被截除变换系数的方差之和。变换具有将图像能量或信息集中于某些系数的能力，如果变换后在较少几个系数上的方差越高，在变换域进行压缩的可能性就越大。一个能把最多的信息集中到最少的系数上的变换所产生的重建均方误差会最小。9.3.3变换选择2.两种变换的比较(1)重建均方误差方面：DFT和DCT均属于正弦变换，有较高的信息集中能力，能取得较小均方误差；(2)计算方面：均有与输入数据无关的固定的基本核函数，均有快速算法，且已被设计在单个集成块上；(3)相对DFT，DCT能给出最小的使子图像边缘可见的块效应（归因于它的偶函数性质）。9.3.4比特分配比特分配：

整个对变换子图象的系数截断、量化和编码的全过程上面的截断误差与2个因素有关①截除的变换系数的数量和相对重要性②用来表示所保留系数的精度（量化）保留系数的2个准则①最大方差准则，称为分区编码②最大幅度准则，称为阈值编码9.3.4比特分配1.分区编码具有最大方差的变换系数带有最多的图象信息，他们应当保留在编码过程中。方差既可从(N/n)2个变换后的子图像中算的，也可基于某些图像模型算得。这两种情况下，根据式(9.3.5)都可将分区采样过程看做用T(u,v)与一个分区模板中对应元素相乘。事先确定模板并保留一定的系数，即分区，分区中对应最大方差位置的一些系数为1，其他位置系数为0.一般具有最大方差的系数集中于接近图像变换的原点处（图9.3.4a）9.3.4比特分配分区采样过程保留的系数需要量化和编码，故分区模块中每个元素可用对每个系数编码所需的比特数表示（图9.3.4b）9.3.4比特分配两种分配策略①给个系数分配相同数量的比特

（将系数用它们的均方差归一化，然后均匀量化）②给不同系数分配总数固定的比特数

（对每个系数设计一个量化器，将零阶或直流分量系数模型化为一个瑞利密度函数，其他系数模型化为拉普拉斯或高斯密度函数）由于每个系数都是子图像中像素的线性组合，所以根据中心极限定理，随着子图像尺寸的增加，系数趋向于高斯分布，由于一个高斯随机变量所包含的信息内容正比于其方差，故对式(9.3.5)中基于最大方差而保留的系数，必须分配正比于这些系数的方差的比特数。9.3.4比特分配2.阈值编码阈值编码在本质上是自适应的，为各个子图像保留的变换系数的位置随子图像的不同而不同，计算简单，是实际中最常用的自适应变换编码方法根据子图象特性自适应选择保留系数将系数排队，与阈值比较确定去舍（游程/变长码）9.3.4比特分配随子图象不同而保留不同位置的变换系数常用三种对变换子图象取阈值（即产生式(9.3.3)所示模板函数）的方法：(1)对所有子图象用一个全局阈值

（压缩的程度随（不同）子图象而异）(2)对各个子图象分别用不同的阈值

（舍去同数量系数，码率是个常数）

（3）根据子图像中各系数的位置选取阈值

（码率是变化的，可将取阈值和量化结合起来）方法(3)中，将式(9.3.4)中的T(u,v)m(u,v)用TN(u,v)代替：式中，TN(u,v)是T(u,v)的取阈值和量化后的近似，N(u,v)是变换归一化矩阵N的元素：在归一化的变换子图像TN(u,v)被反变换以得到F(u,v)的近似前，要先将TN(u,v)与N(u,v)相乘，得到解除了归一化的数组记为TA(u,v):

TA(u,v)=TN(u,v)N(u,v)对TA(u,v)求反变换得到解压缩的近似子图像。9.4小波变换9.4.1小波变换基础3个概念：序列展开、缩放函数（尺度函数）、小波函数1.序列展开1-D函数f(x,y),可用一组序列展开函数的线性组合来表示：ak是实数，称为展开系数，uk(x)是实数，称为展开函数。对u(k)为偶函数。*表示复共轭。考虑两种特殊情况(1)展开函数构成空间U的正交归一化基：此时基函数与其对偶函数相等，即uk(x)=u'k(x)：(2)展开函数仅构成U的正交基，没有归一化：考虑基函数与其对偶函数的双正交9.4.1小波变换基础双正交基：（几何矢量解释，例9.4.1）例：双正交基u1=[20]T，

u2=[−11]T对偶基为u'1=[1/21/2]T，u'2=[01]T9.4.1小波变换基础2.缩放函数用展开函数作为缩放函数，并对其进行平移和2进制缩放k确定了uj,k(x)沿X-轴的位置，j确定了uj,k(x)沿X-轴的宽度（所以u(x)也称为尺度函数），系数2

j/2控制uj,k(x)的幅度。给定一个初始j（下面常取为0），就可确定一个缩放函数空间Uj，Uj的尺寸随j的增减而增减。（9.4.7）9.4.1小波变换基础各个缩放函数空间Uj，j=–∞,…,0,1,…,∞是嵌套的，Uj中的展开函数可以表示成Uj+1中展开函数的加权和用hu(k)表示缩放函数系数，因为u(x)=u0,0(x)，有多分辨率细化方程任何一个子空间的展开函数都可用其下一个分辨率（1/2分辨率）的子空间的展开函数来构建9.4.1小波变换基础3.小波函数用v(x)表示小波函数，对其进行平移和二进制缩放，的到集合：与vj,k(x)对应的空间为Vj，将f(x)表达为空间Uj，Uj+1和Vj有如下关系（⊕表示空间的并）图9.4.2与缩放函数和小波函数相关的函数空间之间的关系在Uj+1中，Uj的补是Vj每一个Vj空间是与其同一级的Uj空间和上一级的Uj+1空间的差.9.4.1小波变换基础Uj中所有uj,k(x)与Vj中所有vj,k(x)是正交的：如果考虑把j取到趋近–∞，则有可能仅用小波函数，而完全不用缩放函数来表达所有的f(x)如果用hv(k)表示小波函数系数，则可把小波函数表示成其下一个分辨率个位置缩放函数的加权和：9.4.1小波变换基础4.缩放函数和小波函数示例先考虑单位高度和单位宽度的缩放函数

这样的函数构成空间U的正交归一化基，因为：（9.4.15）（9.4.15）下图(a)-(d)分别给出将上述缩放函数带入式(9.4.7)所得到的uj,k(x).从图中可以看出，随着j的增加，缩放函数变窄变高,能表达出更多的细节。9.4.1小波变换基础例9,4,2用缩放函数表示1-D函数f(x)对图9.4.4中的f(x)，仅用j=0的缩放函数不够，还需要j=1的缩放函数f(x)是属于U1的，而不是属于U0的注意：u1,2(x)+u1,3(x)的组合可用u0,1(x)表示，但u1,5(x)+u1,6(x)的组合不能用U0中的缩放函数表示。9.4.1小波变换基础与式(9.4.15)

对应的小波函数为(9.4.17)由图9.4.5可以看出，随着j的增加，小波函数也变窄变高，同时能表达更多的细节9.4.21-D小波变换1.小波序列展开对给定的函数f(x)，可以用u(x)和v(x)对它进行展开a0(k)：缩放系数dj(k)：小波系数如果展开函数仅构成U和V的双正交基，则u(x)和v(x)要用他们的对函数u'(x)和v'(x)来替换（9.4.19）（9.4.20）（9.4.21）9.4.21-D小波变换2.离散小波变换如果f(x)是一个离散序列，展开得到的系数称为f(x)的离散小波变换（DWT）同样，如果展开函数仅构成U和V的双正交基，则u(x)和v(x)要用他们的对函数u'(x)和v'(x)来替换（9.4.22）(9.4.23)（9.4.24）9.4.3快速小波变换小波变换在实现上的快速算法即称为快速小波算法考虑多分辨率细化方程，用m表示求和变量：（9.4.25）对x用2j进行缩放，用k进行平移，令n=2k+m,可得到：(9.4.26)对式（9.4.13），对x用2j缩放，用k进行平移，并令n=2k+m,类似得到(9.4.27)离散小波变换在尺度j的近似系数也是离散小波变换在尺度j+1的近似系数的函数，即：在尺度j上的系数Wu(j,k)和Wv(j,k)都可用在尺度j+1的近似系数Wu(j+1,k)分别与缩放矢量hu和小波矢量hv卷积再进行亚抽样得到。可用下图所示分析方框图表示，表示亚抽样。9.4.42-D小波变换1.2-D变换函数需要1个2-D缩放函数u(x,y)和3个2-D小波函数vH(x,y)，vV(x,y)，vD(x,y)，每一个都是1-D缩放函数和对应的小波函数的乘积

可分离的缩放函数

水平边缘垂直边缘沿对角线的变化9.4.42-D小波变换缩放和平移的基函数得到M×N的2-D图像f(x,y)的离散小波变换:(9.4.37)(9.4.38)(9.4.39)(9.4.40)一般选择N=M=2J,j=0,1,2...,J-1，m,n=0,1,2....,2j-1。通过离散小波反变换得到f(x,y):9.5小波变换编码{在JPEG-2000及MPEG-4和H.264中都得到了应用}9.5.1小波变换编解码系统基本思路：通过变换减小像素间的相关性，以获得压缩数据的效果。（书218说明）

与采用正交变换（如DCT）的编解码系统不同，小波变换编解码系统中没有图象分块的模块•小波变换的计算效率很高，且本质上具有局部性•小波变换编码不会产生使用DCT变换在高压缩比时出现的块效应9.5.1小波变换编解码系统小波变换编码需考虑的几个因素1.小波选择（218页）如：哈尔小波、双正交小波2.分解层数选择影响小波编码计算的复杂度和重建误差3.量化设计对小波编码压缩和重建误差影响最大需在不同尺度间调整量化间隔{例：P.219}9.5.