第八章 变换编码

第八章变换编码第一节基本原理第二节离散正交变换第三节静止图像的变换编码第四节MDCT变换编码有何意义？本章之前，我们一直认为冗余度是数据固有的，但实际上，有时却与不同的表示方法有很大关系。预测编码希望通过对信源建模来尽可能精确地预测源数据；而本章则考虑将原始数据“变换”到另一个更为紧凑的表示空间，得到比预测编码更高的数据压缩。引言1、变换编码的基本思想变换编码(TransformCoding)的基本思想是将在通常的欧几里德几何空间(空间域)描写的图像信号映射变换到另外的向量空间(变换域)进行描写，然后再根据图像在变换域中系数的特点和人眼的视觉特性进行编码。第一节基本原理图像分解：减少变换的计算复杂度图像变换：解除每个子图像内部像素之间的相关性，或者说将尽可能多的信息集中到尽可能少的变换系数上。压缩：不是在变换中而是在量化变换系数时及编码时取得的。第一节基本原理2、正交变换的几何意义考虑两个相邻数据样本x1与x2的联合事件。第一节基本原理

用图6.2的二维(2D)平面坐标表示，其中x1与x2轴分别表示相邻两样本可能的幅度等级。由于信号变化缓慢，x1与x2同时出现相近幅度等级的可能性较大，故图6.2阴影区内45°斜线(x2=x1)附近的联合事件出现的概率也就较大。不妨将此阴影区之边界称为相关圈：信源的相关性越强，相关圈就越加扁长，x1与x2呈现出“水涨船高”的紧密关联特性，此时欲编码圈内各点的位置，就要对两个差不多大的坐标值分别进行编码；信源的相关性越弱，此相关圈就越加“方圆”，说明x1处于某一幅度等级时，x2可能出现在不相同的任意幅度等级上。第一节基本原理

现在若对该数据进行正交变换，从几何上相当于把图6.2所示的(x1,x2)坐标系旋转45°，变换成(y1,y2)坐标系。那么此时该相关圈正好处在y1上的投影就越大，而在y2上的投影则越小。因而从，y2坐标来看，任凭y1在较大范围内变换，而y2却“巍然不动”或仅仅“微动”。这就意味着变量y1和y2之间的联系，在统计上更加互相独立。第一节基本原理因此，通过这种坐标系的旋转变换，就能得到一组去掉大部分甚至全部统计相关性的另一种输出样本。而且样本方差也将重新分布；在原坐标系中两相邻样本常具有相同的方差

；但在新坐标系中却有

，表明样本能量向y1轴相对地集中了，虽然样本的方差总和并未因坐标旋转而变，即保持变换后各坐标轴上方差的不均匀分布，为数据压缩编码创造了条件。

以上几何解释可推广到一串n个数据点或一块m×n个像素的子图像：将该数据串（或数据块）看成n维（或m×n

维）空间中的一个点，则此时的正交变换从几何上看不过是n维（或m×n

维）坐标系的一个旋转。正交变换实现数据压缩的物理本质：经过多维坐标系中适当的旋转和变换，能够把散布在各个坐标轴上的原始数据在新的、适当的坐标系中集中到少数坐标轴上。因此可能用较少的编码位数来表示一组信号样本，实现高效率的压缩编码。第一节基本原理第二节离散正交变换1、正交变换的定义

如果

是由N个信号样本构成的列向量(有时就称X为矢量信号)，是一个

的矩阵，则

定义了X的一个线性变换。A也称为此变换的和矩阵，而变换结果

也是一个N维的矢量信号，称作X的像。(6.2-2)变换前的信号变换后的信号如果线性变换保持N维矢量X的模不变，则称为正交变换。此时，A便为正交矩阵，构成正交矩阵的冲要条件为

，I为单位矩阵。因此有

即：正交矩阵的转置即为其逆矩阵。这不仅保证了正交矩阵A的逆矩阵A-1一定存在，而且无需求解；同时A-1还具有与A相同的元素，这就使硬件处理设备大为简化。式(6.2-3)还保证了式(6.2-2)的X和Y一一对应，因而能够用反变换得到唯一确定的原始信号第二节离散正交变换(6.2-3)2、正交变换的性质（1）能量守恒性 可以证明空间域中的数据平方和和变换域中的数据的平方和存在能量守恒关系，即第二节离散正交变换（2）熵保持性 如果把f(x,y)看作是一个具有一定熵值的随机函数，那么变换系数F(u,v)的熵值和原来图像信号f(x,y)的熵值相等。（3）去相关性(Decorrelation)当输入的数据高度相关时，变换后趋向于不相关。（4）能量集中性(EnergyCompaction)大部分正交变换趋向将数据的大部分能量集中到相对少数几个系数上，由于整个能量守恒，因此这意味着许多变换系数只含有很少的能量。第二节离散正交变换第二节离散正交变换3、KL变换第二节离散正交变换

以矢量信号(X)的协方差矩阵

的归一化正交特征向量(qi)所构成的正交矩阵(Q)，对该矢量信号所作的正交变换(Y=QX)称作Karhunen-Loeve变换(或特征向量变换，简称KL变换或KLT)。

由上述定义：为实现KTL首先要知道再根据此求出Q第二节离散正交变换解：①由

求特征值。令

，按

次序可解出：【例6-4】若已知随机信号X的协方差矩阵

，求正交矩阵Q。第二节离散正交变换②求特征向量将

代入(6.2-6a)，有

，解这3个方程组：1)由

，得

，即

；2)由

，得

，即

；3)由

，得

，即

；第二节离散正交变换③得到归一化正交矩阵：

。④代入式(6.2-5)验证：正好是以

作为主对角元素的对角矩阵。其中，待定实常数可由归一化正交条件即式(6.2-6b)解得：第二节离散正交变换KL变换的性质：KLT使矢量信号的各个分量互不相关，即变换域信号的协方差矩阵为对角线型；KLT是在均方误差准则下，失真最小的一种变换，故又称最佳变换。对第二条性质的解释说明：

这个问题是从数据压缩提出的。因为经正交变换后矢量信号Y的分量个数并未减少，若要压缩数据必须删去能量较小的一些分量，这就带来失真。设只保留m(m<N)个分量，则解码时也只能恢复m个分量。若删去的N-m个信号分量的均值为0，则可以证明：KLT可使恢复信号的均方误差最小，且这个最小值等于变换域内矢量信号被删除的最小的(N-m)个方差之和，相当于Y的协方差矩阵

最小N-m个对角元之和，即这就给编解码器的设计带来了方便，而且也便于失真和码率的控制。第二节离散正交变换第二节离散正交变换4、离散余弦变换（1）一维DCT变换第二节离散正交变换（2）二维DCT变换

一个N×N像块f(x,y)(x,y=0,1,…,N-1)的二维DCT定义为第二节离散正交变换DCT编码和解码过程DCT变换DCT逆变换原图像除以量化系数取整1）编码过程：2）解码过程：压缩图像乘以量化系数取整压缩图像解压图像DCT编码中对图像带来失真的主要原因如下：舍去高频系数而使图像产生模糊；对某些系数采用粗量化而产生颗粒状结构；像块的划分使相邻像块人为地造成亮度不连续，即块效应。1、变换矩阵的选择正交变换的性质能量守恒性：其对于数据压缩的指导意义在于，只有当空间域信号能量全部转换到某个变换域后，有限个空间取样值才能完全由有限个变换系数对于基矢量的加权来恢复。熵保持性：正交变换本身并不丢失信息，因此可以用传送变换系数来达到传输信息的目的。去相关性：正交变换有可能使相关的空间域转变为不相关的变换域，使存在于相关性之中的数据冗余度得以去除。能量重新分配与集中：这是正交变换最重要的优点，也是利用它能实现数据压缩的物理本质，此性质DPCM并不具备。这条规律指导我们有可能利用此先验知识在质量允许的情况下，舍弃一些能量较小者，从而使数据率有较大的压缩。

第三节静止图像的变换编码第三节静止图像的变换编码如果图像信号为马尔可夫模型，则典型正交变换的大致性能比较如下：正交变换能量集中性能从好到差的顺序

正交变换运算量从小到大的排序综合考虑图像压缩选DCT为变换矩阵性能较好。变换类型选定后，为实现方便起见，实用中的子图像及二维变换矩阵常选的方阵，而变换矩阵阶数M的选取原则一般有两条：若M小，便于自适应、计算速度快、实现简单，但“方块效应”严重；若M大，去相关效果好但渐趋饱和。从概念上，M越大，计入的相关数据样本越多，有利于改善性能；但当数据块足够大后，若再加大M，则新加入的样本与中心附近的样本之间相关性甚小，对数据压缩的好处不明显，而计算复杂性将迅速增加。对于图像编码，现在最常用的子图像块大小为根据选定(或指定)的变换矩阵A及其阶数(即图像的分块尺寸)完成正变换后，则整个编码器的实现过程上要就是选择变换域系数并对选中的系数按一定的准则与编码。2、系数选择与量化（1）系数选择在变换域中选择哪些系数进行量化编码，略去哪些系数不予传输（接收端直接补零），对变换法压缩编码的性能有很大影响。原则上，应该保留能量集中的、方差大的系数。系数选择，实际上是在变换域的二次取样，通常有以下两种方法：区域编码阈值编码

第三节静止图像的变换编码区域编码：只对规定区域内的变换系数进行量化编码，略去区域外的系数。区域的形状和大小取决于：图像预滤波器的频率响应所需压缩比的大小所选用的变换方法和变换块的大小区域编码的关键：选出能量相对集中的区域，以便保留大部分图像能量，使得恢复图像的质量劣化不那么显著。从统计意义上，变换系数的能量多半集中于低频系数，所以编码区域总取在低频端。第三节静止图像的变换编码区域编码的缺点：有时大能量的系数也会出现在其他区域，舍掉它们会造成图像质量较大的损失（如边缘模糊）；因为舍掉的多是高频系数，总体效果呈现一种平滑了的感觉。区域编码的优点：编码简单对区域内的编码位数可预先分配，从而使变换块的码率为定值，有利于限制误码扩散。为了扬长避短，可预先设几个区域，再根据实际系数的分布自动选取能量最大者，并将区域类别额外编码通知接收端。第三节静止图像的变换编码阈值编码：不限定编码区域，而是对整个变换块事先设定一个门限，若某系数方差（或幅度绝对值）超过该阈值，就保留下来进行编码传输，否则舍弃。优点：有一定的自适应能力，可以得到较区域编码更好的图像质量。缺点：图像中超过阈值的有效系数是随机的，需要同时对它们的位置信息进行编码；较区域编码复杂，需要一定的技巧，否则得不偿失。第三节静止图像的变换编码（2）系数量化和比特分配标量量化分组量化矢量量化第三节静止图像的变换编码几个系数量化的例子先编码，后对编码系数量化。如前所述，对图像进行变换编码时，常选用8×8或16×16的方阵，即对大小为8×8或16×16的子图像进行编码。第三节静止图像的变换编码【例6-5】JPEG、H.261/263和MPEG-1/2等国际标准均选择了的二维DCT，则由式(6.2-14a)和(6.2-17a)，可直接写出此时的二维DCT正、反变换(2D-FDCT和2D-IDCT)为：量化例1用于帧间编码，即对预测误差进行量化。【例6-6】H.261建议对每一分块的64个2D-FDCT系数用同一均匀量化器量化(即图5.13中的“Q”)，得到量化后的DCT系数c(k,l),公式如下其中INT表示取整，S为该系数原来的符号，S=0表示正值，S=1表示负值，q为量化阶(量化步长)，可用来控制图像的压缩比和重建质量。反量化(即图5.13中的“”)则为显然，一般，量化过程引入了不可逆的信息压缩。量化例2：用于帧内编码，对图像的变换矩阵进行量化。第三节静止图像的变换编码【例6-7】JPEG标准用具有64个独立量化阶Q(k,l)的量化分层表(亦称量化矩阵)来分别规定对DCT域中64个系数的量化精度，使得某个系数X(k,l)的具体量化阶取决于人眼对该频率分量的视觉敏感性。理论上，对不同的彩色坐标系、空间分辨率、数据精度及应用场合，应该有不同的量化表，所以，JPEG并未统一规定一张“标准表”，只是对亮度和色度的水平样本数为2:1、各样本均为8位的源图像格式及按式(6.3-3a)定义的2D-FDCT归一化算法，建议分别采用图6.5和6.6的量化表，可取得良好的主观视觉效果。若表中各量化阶再除以2，则重建图像的主观质量往往与源图像不可区分。因此，JPEG算法也可通过调整一个公共的比例因子(类似于H.261的q)来缩放对各系数的量化阶。量化过程就是简单地将变换系数除以相应的量化阶后四舍五入取整数，即第三节静止图像的变换编码161110162440516112121419265860551413162440576956141722295187806218223756681091037724355564811041139249647887103121120101729295981121001039917182447999999991821266699999999242656999999999917669999999999999999999999999999999999999999999999999999999999999999999999999999图6.5亮度(Luminance)量化表图6.6色度(Chrominance)量化表是被量化阶(实为视觉阈值加权矩阵)规范后的DCT系数。由式(6.3-6a)和图6.5、图6.6可见，为了更经济合理地利用有限的编位码，对“高频”系数和色度分量可以量化得更粗糙一些。反量化过程表示为第三节静止图像的变换编码例题

MPEG-2的视频编码标准给出的均匀量化公式则为其中qp即为由码率控制和自适应量化所给出的公共控制因子。关键是MPEG-1和MPEG-2的量化加权矩阵Q既可用于帧内编码，也可用于帧间编码。MPEG规定编码器可根据图像序列的特性来选择Q，并通过标题信息通知解码器。加权矩阵的选择意味着可根据变化系数的重要性分配编码位数，图6.7给出了MPEG推荐的帧内和帧间默认量化权矩阵。可见，对于帧间编码，默认

，上式等价于H.261的式(6.3-5a)，表明MPEG量化器实际上综合了H.261量化器和JPEG量化器。又由图5.13可以看出，帧间编码是对MC预测误差图像进行2D-FDCT的，其系数与主观视觉之间的关系相对较弱且更为复杂，故对帧间编码的64个系数均用同一个常数加权，亦在情理之中。第三节静止图像的变换编码816192226272934161622242729343719222627293434382222262729343740222627293235404826272932354048582627293438465669272935384656698316161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616161616（a）帧内量化矩阵

（b）帧间量化矩阵图6.7MPEG默认的量化权矩阵3、顺序编码与渐进编码问题：什么是顺序编码？什么是渐进编码？为什么要进行渐进编码？首先，与活动图像相比，人眼更易于观察到静止图像中的细节，因此要求所传输的图像具有更高的清晰度。这就增加了传输时间。比如：对通常是逐行扫描顺序传输的图像信号，在普通电话信道中也往往需要几秒甚至几十秒才能自上而下、自左而右地逐步传完整幅图像。因此，如果能由粗到细逐渐浮现全图，就有助于消除收看者的焦急等待；而且他还可以在对中间结果的图像清晰度感到满意的时候终止这幅图像的传输。这不仅可能节约信道时间和费用，而且这种通信方式也更加灵活友好，对于上网查阅图像库的内容时非常有用。第三节静止图像的变换编码