第四章 视频编码基础课件

第四章视频编码基础4.1视频编码系统概述

4.2数字视频压缩的评价指标4.3统计编码

4.4预测编码4.5变换编码第四章视频编码基础4.1视频编码系统概述

4.2数字视频压缩的评价指标4.3统计编码

4.4预测编码4.5变换编码4.1视频编码系统概述信源用户信源编码信源解码信道编码信道解码调制解调传输通道噪声信源编码信道编码图4.1数字传输系统模型4.1视频编码系统概述

信源编码：主要解决有效性问题，通

过对信源的压缩、扰乱、加密等一系

列处理，力求用最少的数码传递最大

的信息量，使信号更适宜传输。

信道编码：主要解决可靠性问题，即

尽量使处理过的信号在传输过程中不

出错或少出错，即使出了错也能自动

检错和尽量纠错。视频数字信号压缩编码信源编码将信源数字信号按信息的统计特性进行变换，减少信号的冗余度，提高信号传输的效率，在保证传输质量的前提下，用尽可能少的数字信号来表示信息。信源编码是压缩信号带宽的编码，压缩后单位时间、单位频带内传输的信息量增大。4.1.1视频数据压缩的必要性和可能性1、视频数据压缩的必要性数字信号有很多优点，但当模拟信号数字化后其频带大大加宽，一路彩色电视未经压缩的视频数据的数码率将高达216Mbps，对储存器容量要求很大，占有的带宽将达108MHz左右，是模拟信号的18倍，这样将使数字信号失去实用价值。数字压缩技术很好地解决了上述困难，压缩后信号所占用的频带大大低于原模拟信号的频带。因此说，图像信号是有必要也有可能被压缩，数字压缩编码技术是使数字信号走向实用化的关键技术之一。表4－1各种应用的码率应用种类比特数/象素象素数/行行数/帧帧数/秒亮色比比特/秒(压缩前)比特/秒(压缩后)HDTV819201080304:1:11.18Gbps20~25Mbps普通电视8720480304:1:1167Mbps4~8Mbps会议电视CIF8352288304:1:136.5Mbps1.5~2Mbps桌上电视QCF8176144304:1:19.1Mbps128Kbps电视电话8128112304:1:15.2Mbps56Kbps2、视频数据压缩的可能性从信息论观点来看，图像作为一个信源，描述信源的数据是信息量(信源熵)和信息冗余量之和。信息冗余量有许多种，如空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余等。

数据压缩实质上是减少冗余量。冗余量减少可减少数据量而不减少信源的信息量。另外在一些情况下，允许图像有一定的失真，而并不妨碍图像的实际应用，因而数据量压缩的可能性就更大了。3、视频数据编码原理(图像数据压缩基理)压缩基理来自两个方面：（1）图像信号中存在大量冗余度可供压缩，并且这种冗余度在解码后还可无失真地恢复。（2）利用人的视觉特性，在不被主观视觉察觉的容限内，通过减少表示信号的精度，以一定的客观失真换取数据压缩。4、图像信号的冗余度空间冗余帧内相邻点的相关性图像信号的冗余度存在于结构和统计两方面。

在一幅图像中某一块面积上相邻像素的亮度和色度信息存在空间连贯性相似。一幅图像的亮度和色度信息中基本相同，存在多余信息。图3-1图像信号的空间冗余相邻像素/行变化小图像信号帧内相关性×8倍图4-2图像信号帧内相关性图像某一块面积上的亮度和色度信息中相同。②时间冗余帧间相邻点的相关性电视图像序列中，相邻两幅图像之间有较大的相关性。图4-3图像信号的时间冗余相邻帧变化小，具有相关性

空间冗余、时间冗余属于统计冗余，是由于一行中象素间、相邻行及相邻帧象素间存在着相关性决定的，取决于统计特性。

有些图像的理解与某些知识有相当大的相关性③知识冗余图4-4图像信号的知识冗余④结构冗余图4-5图像信号帧内的明显纹理区图像从大面积上看常存在有纹理（相似）结构，称之为结构冗余。⑤视觉冗余人眼的视觉系统对于图像的感知是非均匀和非线性的，对图像的变化并不都能察觉出来。图4-6图像的细节4.1.2.压缩方法的分类1、从信息论角度分:编码压缩方法有许多种，从不同的角度出发有不同的分类方法。（1）无损压缩：信息保持编码或熵编码。即解码图像和压缩编码前的图像严格相同，没有失真，仅仅删除图像数据中的冗余信息，回放压缩文件时，能够准确无误地恢复原始数据。（2）有损压缩：失真度编码或熵压缩编码。即丢掉大量冗余信息来降低数字图像所占的空间，解码图像和原始图像是有差别的，允许有一定的失真。2、按压缩编码算法原理分类基于图像统计特性基于人眼视觉特性(重要性)基于内容(对象)基于模型(1)基于图像信源统计特性的压缩方法，有预测编码、变换编码、霍夫曼（Huffman）编码、算术编码、游程编码等。(2)基于人眼视觉特性和基于内容的压缩方法，有亚采样、多分辨率编码、子带编

码、形状编码、矢量量化编码、纹理编码法等。(3)基于模型的压缩方法，有语义编码和基于模型基编码等。衡量压缩编码方法优劣的重要指标(1)

压缩比要高，有几倍、几十倍，也有几百乃至几千倍；(2)

压缩与解压缩要快，算法要简单，硬件实现容易；(3)

解压缩的图像质量要好。◎常用的压缩频带方法：预测编码（主要消除时间冗余和生理冗余）变换编码（主要消除空间冗余）其它压缩码率的措施第四章视频编码基础4.1视频编码系统概述4.2数字视频压缩的评价指标4.3统计编码

4.4预测编码4.5变换编码4.2数字视频压缩的评价指标衡量一个压缩编码方法优劣的重要指标是：压缩比要高。解压缩的图像质量要好。评价指标为：主观评价和客观评价。

压缩系统的复杂度和功能。压缩与解压缩速度要快，算法要简单，硬

件实现容易。4.2数字视频压缩的评价指标1、香农的信息论原理第一代编码技术是以信息论和数字信号处理技术为理论基础，其中统计编码的基本原理是给出现概率较大的符号一个短码字，而给出现概率较小的符号一个长码字，这样使得最终的平均码长很小。然而，按照香农的理论，无论规定的码字如何分配，其平均码字的比特数不可能小于原信息源的熵值。4.2数字视频压缩的评价指标和

熵的定义：设信息源S的符号集为,出现的概率为，则信息源的熵为：其中熵的单位为：比特数/字符。熵值是信息不确定性的一个度量值，当信息越不确定时，信息量越多，香农定义实际给出了实现无损编码和有损编码所需要的最低比特率的界限。=[例]

二元信源，若信源符号0和1等概率分布，且符号间无相关性，则其信源熵达到最大值：若发送12个符号，则12个符号含有的信息量为：若信源符号间有相关性，则信源熵达不到最大熵。若实际上为0.8比特/符号，则发送12个符号只能传递12*0.8=9.6比特的信息量。若要传递12比特的信息量，则需要

n=12/0.8=15个符号，有3个符号的冗余。4.2数字视频压缩的评价指标2、压缩比压缩比是衡量图像压缩系统的一个重要指标，无失真编码不能取得很高的压缩比，是因为它受到信源本身的限制，即香农定理的最低比特率界限，因此无失真编码也称为熵编码。用编码效率和冗余度来衡量压缩效率。冗余度的定义冗余度（剩余度）相对熵（编码效率）H0：符号等概率且无相关性的理想离散信源熵[例]二元信源，若信源符号0和1等概率分布，且符号间无相关性，则其信源熵达到最大值：当符号间有相关性时，实际熵：信源相对熵：信源冗余度：[例]信源为26个英文字母和1个空格，分析其信源熵。英语字母出现概率英语字母出现概率英语字母出现概率A0.064

J

0.001S

0.051B

0.013K0.005T0.08C

0.022

L

0.032

U

0.023D0.032M0.020V0.008E

0.103N

0.057

W0.018F0.021O

0.063

X

0.001G

0.015

P

0.015Y

0.016H

0.047Q

0.001

Z

0.001I

0.058

R

0.048

空格

0.1891）若信源等概率分布，且无相关性，则信源熵：2）按实际概率分布，且无相关性，则信源熵：3）看成一阶马尔可夫信源，则信源熵：4）看成二阶马尔可夫信源，则信源熵：5）看成无穷阶马尔可夫信源，则信源熵：信源相对熵：信源冗余度：练习:一个信源X和一个字母集合A如下

编成如下等长码计算信源X的熵，平均码长，编码效率和冗余度？该信源的熵

比特/符号平均码长可计算出平均码长第四章视频编码基础4.1视频编码系统概述4.2数字视频压缩的评价指标4.3统计编码

4.4预测编码4.5变换编码4.3熵编码是无损编码，其基本原理是去除图像信源在空间和时间上的相关性，去除图像信源像素值的概率分布不均匀性，使编码码字的平均码长接近信源的熵而不产生失真。(EntropyCoding)熵编码多用可变字长编码VLC实现，即对信源中出现概率大的符号赋予短码，对出现概率小的符号赋予长码，从而在统计上获得较短的平均码长。熵编码有基于图像信源概率分布特性的霍夫曼编码、算术编码和基于图像相关性的游程编码RLC(RunLengthCoding)等。1、Huffman编码（1）编码步骤：1)将待编码的信源符号按出现概率的值由大到小的顺序排列，对两个概率最小的符号分别分配以“0”和“1”，即确定概率最小的两个符号的最后一位码元。2)对两个概率最小的符号概率相加作为一个新的辅助符号的概率，将这个新的辅助符号与其他符号一起重新按概率大小顺序排列；是一种可变长编码(VLC)，是一种分组编码。1、Huffman编码3)重复步骤2)，直至最终只剩两个概率为止，概率达到1.0。4)从最后一个概率为1，0的节点开始，沿着到达信源的每个符号，将一路遇到的二进制码“0”或“1”顺序排列起来，就是端点所对应的信源符号的码字。霍夫曼编码实际上构造了一个码树，码树从最上层的端点开始构造，直到树根结束。这里举个例子说明如何生成霍夫曼树。假设对由a1、a2、a3、a4、a5、a6、a7、a8八个信源符号组成的源信息字符串:“a1a1a2a2a3a3a3a4a4a4a4a5a5a5a6a6a6a7a7a8”进行霍夫曼编码。首先应对信息中各数字出现的次数进行统计如后：

1、Huffman编码码值a1a2a3a4a5a6a7a8次数22343331概率0.10.10.150.20.150.150.10.05熵H＝-0.1*log2(0.1)-0.1*log2(0.1)-0.15*log2(0.15)-0.2*log2(0.2)-0.15*log2(0.15)-0.15*log2(0.15)-0.1*log2(0.1)-0.05*log2(0.05)=2.9087(bit)具体过程是这样的，先将所有符号排成一行，构成8个最底层节点。首先将这些节点中最小两个概率值相加：0.05+0.1=0.15,得到新的节点这时拥有的概率值为0.2,0.1,0.1,0.15,0.15,0.15,0.15。再将两个最小的概率值相加得到新的节点......直到得到根节点概率为1.0为止。相加时，对于概率值相等的多个节点，可以任意选取。除根节点外，设节点左边分支为0，右边分支为1（也可以反过来）。这样，生成的霍夫曼树如下图所示：对于各值（码值）的代码（码字）就是从根节点出发到底层节点所经历的分支序列。如a4的代码（码字）为00，a6的码字为111......通常a4和a6等称为码值，00和111等称为码字。所有码值和码字对应关系如下表所示：将所有码值和码字的关系整理成一张表，为了整字节输出码字，表中还含有各码字的长度。这种表就称为霍夫曼表。本例霍夫曼表如表所示：

进行压缩编码时，只要将码值用码字代替即可。所以源符a1a1a2a2a3a3a3a4a4a4a4a5a5a5a6a6a6a7a7a8编码为：0100100110111011011010000000011011011010000100001001。平均码长B=0.1*3+0.1*3+0.15*3+0.2*2+0.15*3+0.15*3+0.1*4+0.05*4＝2.95(b)熵H＝2.9087编码效率N=H/B=2.9087/2.95=98.6%100.61100.11100.26100.35100.39s10.20s20.19s30.18s40.17s50.15s60.10s70.01101.0011l=210l=2011l=3010l=3001l=30001l=40000l=4Huffman编码举例实例：设输入图像的灰度级｛y1，y2，y3，y4，y5，y6，y7，y8｝出现的概率分别为0.40，0.18，0.10，0.10，0.07，0.06，0.05，0.04。进行哈夫曼编码，并计算编码效率、冗余度。Huffman编码举例5.3统计编码实例（2）Huffman编码性质1)Huffman算法确定，但构造的码不是唯一。②当两个消息的概率相等时，0，1分配也是随意的。这将得到不同的编码，但不影响Huffman编码的平均码长和编码效率。主要有两个原因：①在两个符号概率相加给两条支路分配“0”和“1”时，这一选择是任意的。这将得到不同的编码，但不影响各符号码长；2)Huffman编码依据信源概率分布。对不同的信源，其编码效率是不同的。2、算术编码Huffman编码的每个代码都要使用一个整数位，如果一个符号只需要用2.5位就能表示，但在Huffman编码中却必须用3个符号表示，因此它的效率较低。与其相比，算术编码并不是为每个符号产生一个单独的代码，而是使整条信息共用一个代码，增加到信息上的每个新符号都递增地修改输出代码。算术编码中常用二进制小数表示概率，每个符号所对应的概率区间都是半开区间，如s2对应［0.001，0.011)。算术编码所产生的码字实际上是一个二进制小数值的指针，该指针指向所编的符号对应的概率区间左边界值。算术编码算术编码：将整个信源输出的符号序列对应于实数轴[0,1)中的一个小区间，该小区间的长度等于序列出现的概率。本质是为整个输入流分配一个码字，而不是给输入流中的每个字符分别指定码字。原理：根据符号概率，区间递进。从第一个符号确定的初始区间（0，1）开始，逐个字符地读入输入流，在每一个新的字符出现后递归地划分当前区间。划分的根据是各个字符的概率，将当前区间按照各个字符的概率划分成若干子区间，将当前字符对应的子区间取出，作为处理下一个字符时的当前区间。处理完最后一个字符后，得到最终区间，在最终区间中任意挑选一个数作为输出。range=high-lowlowi=lowi-1+rangei-1xcum_freq[yil]highi=lowi-1+rangei-1xcum_freq[yih]R2=H2–L2L2=L1+R1xcum_freq[y1l]H2=L1+R1xcum_freq[y1h]举例：概率范围图：设输入序列为abaca：(1)初始范围：(2)当第一个字符a被传送时，范围：0cba10.750.501对a编码后，编码范围[0,1)变为[0,0.5)(3)当第二个字符b被传送时，范围：由概率表，b概率范围[0.50,0.75),H=0.75,L=0.50L2=L1+R1*L=0.25H2=L1+R1*H=0.375R2=H2-L2对ab编码后，编码范围[0,0.5)变为[0.25,0.375)00.50.250.375L1H1R1H2L2R2依次类推：（4）对aba编码后，编码范围为[0.25，0.3125)（5）对abac编码后，编码范围为[0.296785，0.3125)（6）对abaca编码后，编码范围为[0.296785，0.3046875)最后输出的码字为：0.3046875。即用浮点数0.3046875代替abaca解码过程如下：根据各符号出现的概率范围图（1）接收到浮点数0.3046875，在概率范围图内查得第一个字符为a，其概率0.5（2）从接收值减去a在概率范围图中的L，并除以P(a),得：（0.3046875－0.00）/0.5＝0.609375该值为下一字符概率范围内的值。（3）0.609375在概率范围图[0.50,0.75）之间，所以为b减去b在概率范围中的L，并除以P(b),得：（0.609375－0.50）/0.25＝0.4375该值为下一字符概率范围内的值。依此类推，解码得到序列abaca实例设一待编码的数据序列（即信源）为“dacab”，信源中各符号出现的概率依次为P(a)=0.4，P(b)=0.2，P(c)=0.2，P(d)=0.2。请对其进行算术编码，并输出编码结果。编码步骤：1、首先，数据序列中的各数据符号在

区间［0,1］内的间隔（赋值范

围）设定为a=［0,0.4）,b=

［0.4,0.6）,c=［0.6,0.8）,

d=［0.8,1.0）2、第一个被压缩的符号为“d”，其初始

间隔为［0.8,1.0)；3、第二个被压缩的符号为“a”，由于前

面的符号“d”的取值区间被限制在［

0.8,1.0)范围内，所以“a”的取值范围

应在前一符号间隔［0.8,1.0)的［0,

0.4)子区间内，根据上式可知range=1.0-0.8=0.2low=0.8+0×0.2=0.8high=0.8+0.4×0.2=0.88即“a”的实际编码区间在［0.8,0.88)之间4、第三个被压缩的符号为“c”，其编码

取值范围应在［0.8,0.88)区间的

［0.848,0.864)的子区间内，据上式

可知

range=0.88-0.8=0.08low=0.8+0.6×0.08=0.848high=0.8+0.8×0.08=0.8645、第四个被压缩的符号为“a”，其编码

取值范围应在［0.848,0.864)区间的

［0.848,0.8544)的子区间内，据上式

可知

range=0.864-0.848=0.016low=0.848+0×0.016=0.848high=0.848+0.4×0.016=0.85445、第五个被压缩的符号为“b”，其编码

取值范围应在［0.848,0.8544)区间的

［0.84856,0.85144)的子区间内，据上式可知range=0.8544-0.848=0.0064Low=0.848+0.4×0.0064=0.84856High=0.848+0.6×0.0064=0.85144至此，数据序列“dacab”已被描述为一个实数区间［0.84856,0.85144］，或者说在此区间内的任一实数值都惟一对应该数据序列。这样，就可以用一个实数表示这一数据序列。我们把区间［0.84856,0.85144］用二进制形式表示为［0.110110011011,0.110110100001］。3、游程编码例3：RLC(RunLengthCoding)是一种十分简单的压缩方法，它改变数据流中连续出现的相同字符的表达方式，以降低码长。RLC的压缩率不高，但编、解码速度快，因而仍得到广泛应用，特别是在变换编码及进行Z字形(zigzag)扫描后，再进行游程编码，有很好效果。字符串:5310000000000110000000012000000000000可压缩为5310―10110―08120―12，其中，“―”后面2个数字是“―”前面数字的连续个数。当剩下的所有系数都为零时，用一个符号EOB(EndofBlock)来代表。连续零的长度即游程待编码字符为（39，-3，2，1，-1，1，0，0，0，0，0，-1，EOB）。EOB表示块结束，接收端收到EOB后自动将64个元素中余下的元素补零。例4：39-321-1105-1EOB第四章视频编码基础4.1视频编码系统概述4.2数字视频压缩的评价指标和图像质量的评判标准4.3统计编码4.4预测编码4.5变换编码4.3预测编码利用图像信号的空间或时间相关性，用已传输的像素对当前的像素进行预测，即只对预测值与真实值的差——预测误差进行编码（处理和传输）。预测编码器预测解码器目前用得较多的是线性预测方法，其全称为差值脉冲编码调制

DPCM

(DifferentialPulseCodeModulation)。==-==一阶预测器：二阶预测器：三阶预测器：预测编码的分类:一维预测、二维预测以及三维预测帧内预测编码、帧间预测编码运动补偿一维预测：用同一行中前几个抽样值来预测当前值。二维预测:用同一行和上几行中的几个抽样值来预测当前值。用前一帧图像的抽样像素来预测当前帧图像,为帧间预测编码。三维预测:一维预测、二维预测为帧内预测编码。4.3.1DPCM原理（a）DPCM编码器（b）DPCM解码器DPCM编、解码系统方框图编码单元主要包括线性预测器和量化器。编码器的输出不是图像像素的样值f(i,

j)，而是该样值与预测值的差值的量化后再编码M(i,j)。DPCM解码器，其原理和编码器刚好相反。DPCM预测编码中采用非均匀量化。

DPCM特点主要缺点是抗御误码能力差。若传输中出现误码，就会出现发、收不一致，此时接收端无法发现错误，并会将误差扩散到图象中较大的一个区域。因此，DPCM对信道质量要求高，所以一般要增加信道编码，并用纠错进行保护。算法简单，易于硬件实现。预测误差概率分布集中在0附近较窄的范围内，0值出现概率最大。DPCM预测误差概率分布1、帧内预测编码JPEG是典型的帧内编码方案，大多用于静止图像处理。

利用帧内(像素间、行间)相关性的DPCM。若对亮度和色差信号分别进行DPCM编码，即对亮度信号采用较高取样率和较多位数编码，对色差信号用较低取样率和较少位数编码，则构成时分复合信号后再进行DPCM编码，数码率可以更低。2、帧间预测编码若上述两种DPCM组合起来，再配上VLC技术，能获得较好的压缩效果。MPEG采用帧间编码方法，主对运动图像的处理。

利用帧间(邻近帧的时间）相关性的DPCM，因帧间相关性大于帧内相关性，其编码效率更高。帧间预测4.3.2运动估计与运动补偿预测编码对变化缓慢的图像，帧间相关性强，宜采用帧间预测；当景物的运动增大时，帧间相关性减弱，帧内相关性反而有所增加。因此应进行帧内、帧间自适应编码。对运动物体，估计出物体在相邻帧的相对位移，用上一帧中物体的图像对这一帧的物体进行预测，将预测的差值部分编码，可压缩这部分图像的码率。这种考虑对应区域的位移或运动的预测方式称为运动补偿预测编码。帧间预测是运动补偿预测在运动矢量为零时的特殊情况。1、运动估计(MotionEstimation，ME)是对运动物体的位移作出估计，即估计出运动物体从上一帧到当前帧的位移方向和位移量，也就是估计出运动矢量。运动物体的帧间位移

运动矢量2、运动补偿是按照运动矢量将上一帧作位移基准，求出当前帧的运动结果。对运动物体的补偿后的位移帧差信号以及运动矢量等进行编码传输。

(MotionCompensation，MC)3、帧间运动补偿原理图8-13运动处理过程①当前帧在过去帧的窗口中寻找匹配部分，从中找到运动矢量；②根据运动矢量，将过去帧位移，求得对当前帧的估计；③将这个估计和当前帧相减，求得估计的误差值；④将运动矢量和估计的误差值送到接收机端去。接收端根据收到的运动矢量将过去帧作位移(即对当前帧的估计)，再加上接收到的误差值，就是当前帧。4、运动估计的方法--块匹配法BMA(BlockMatchingAlgorithm)块匹配法是最常用的一种方法。多个国际标准都采用这种方法，包括：H.261,MPEG-2等。又称全搜索算法。估计像素的位移(运动)时，取以该像素为中心的一个子块，在前一帧图像中寻找一个与之最匹配(相关最大)的子块，匹配子块中心与当前像素的位移即为估计的位移(运动)矢量。（1）块匹配法设子块图像是由N×N个像素组成的像块，并假设一个像块内的所有像素作一致的平移运动，得到运动矢量的估值(dx,dy)运动位移估计①估值块大小(M×N)

估值小时，块内像素运动一致性好，估计准确度较高，但运动矢量码率会增大，计算量也增大；应该综合考虑图像细节构成和计算量等因素。不高，不能进行有效的运动补偿预测。一般M、N取16，有时也取4、8或32。

估值大时，计算量减小，运动矢量的码率变小，但块内像素运动一致性变差，运动估计准确度②最佳匹配准则在全搜索条件下，块匹配算法达到最优，缺点是运算量大，在实际应用场合常采用性能略低但运算量少的快速算法。最小均方误差:最小绝对值误差：（2）快速搜索法三步法搜索TSS(ThreeStepSearch)即在上一帧以当前子块为原点，将当前子块在其上下左右距离为一定值的搜索范围内按一定规则移动，每移动到一个位置，取出同样大小的子块与当前子块进行匹配计算。可减少搜索次数。图3-15运动估计快速搜索法问题：采用什么预测器？使编码预测误差的码率最小比特率一定时，量化误差取决于信号方差，最小化量化误差＝最小化预测误差的方差我们只讨论线性预测4.3.3最佳预测器线性最小均方差(MSE)估计器预测误差：最佳系数应满足:估计理论中也称为正交化原理由此可以导出一组线性方程：矩阵形式用矩阵形式表述上面的线性方程为：或

[R]a=r最佳预测系数是：a=[R]-1r第四章视频编码基础4.1视频编码系统概述4.2数字视频压缩的评价指标和图像质量的评判标准4.3统计编码4.4预测编码4.5变换编码3.4变换编码原理

图像空间存在相关性，在变换域中，各空间频率分量是不均匀的，即空间频率低的区域信号幅度大，高频区域信号幅度小。据统计特性，低频部分编长码，高频部分编短码（与均匀量化+VLC类似），则平均码长和总码率都会下降，达到压缩码率目的。将空间域描述的图像经某种变换(如傅立叶变换、离散余弦变换等)，即将空间域分散分布的图像能量变为变换域的相对集中分布，便于用Z字形扫描、自适应量化、变长编码等进一步处理，完成对图像信息的有效压缩。变换编码将空域（时域）的图像信号变换到另一个正交矢量空间，并对产生的变换系数进行编码处理。经过正交变换后为什么能够压缩数据量？？进行正交变换后，相关圈正好处在y1上下，且相关圈越扁长，在y1上的投影越大，而在y2上的投影越小，这意味着y1和y2趋于统计独立。原坐标系能量分布比较均匀和分散；而在变换后能量的分布向y1轴集中。准最佳正交变换：离散傅里叶变换（DFT）、KLT变换、哈尔变换(HRT)、WalshHadamard变换(WHT)、斜变换(SLT)、离散余弦变换(DCT)、离散正弦变换(DST)等。从变换后的能量集中程度的优劣来看，各种正交变换的由优至劣的顺序为：KLT→DCT→SLT→DFT→WHT→HRT若从运算量的大小，它们由小到大的顺序依次为HRT→WHT→SLT→DCT→DFT→KLT离散余弦变换一维DCT正变换和反变换为：n＝0n≠0其中，s(k)为信号样值，c(n)为变换系数练习一维DCT正变换和反变换为：n＝0n≠0其中，s(k)为信号样值，c(n)为变换系数写出n=0和n=1时的一维DCT正变换？考虑信号：x[n]的DFT频谱：x[n]的DCT谱：可以看出，DCT主要能量比DFT更集中在低频，这样，就可以舍弃较高序段，实现信号的压缩。离散余弦变换的能量压缩特性4.4.1离散余弦变换DCT(DiscretecosineTransform)

DCT是先将整体图像分成N×N像素块，然后对N×N像素块逐一进行DCT变换。由于大多数图像的高频分量较小，相应于图像高频成分的系数经常为零，加上人眼对高频成分的失真不太敏感，所以可用更粗的量化，因此传送变换系数所用的数码率要大大小于传送图像像素所用的数码率。到达接收端后再通过反离散余弦变换回到样值，虽然会有一定的失真，但人眼是可以接受的。

DCT变换的作用：消除空间域图像子块中像素间相关性。1.二维离散余弦变换(DCT)

（1）二维N×N图像块的DCT变换1）正变换DCT图像样值2）反变换IDCT其中u，v=0，1，…，N-1。(2)二维DCT的物理意义

N代表像素数，一般N=8，8×8的二维数据块经DCT后变成8×8个变换系数。F(u,v)表示变换域的高频成分，也称为交流系数；F(0,0)表示变换域中的低频成分，也称为直流系数。f(i,j)为二维基图像样值系数（DCT系数）。a(i，j，u，v)表示基图像样值；i表示基图像水平方向，j表示基图像垂直方向；u表示基图像水平方向上的空间频率，v表示基图像垂直方向上的空间频率。练习已知a(i，j，u，v)表示8×8块的基图像样值，计算以下情况的基图像样值表达式?(1)u，v均为0(2)

u=1，v=0(3)u=0，v=1二维DCT的基图像0675432101234567uvija(i，j，7，7)二维变换核函数a(i，j；u，v)按i，j，u，v分别展开后得到的是N×N个N×N点的像块组，又称为基图像。一个8×8DCT基图像如图所示。图3-178×8的DCT基图像示意图8910111412512611510596971151311471491351231131141341591781751641491371211431771962011891651501191411752012071861621441071301651891921711441259711914917117214511796881071361561551299775直流DC基函数水平方向频率增加垂直方向频率增加DCT变换2.二维正交余弦变换编码原理

（1）正交余弦变换编码框图二维正交余弦变换编码（2）图像的DCT编码算法：

①将量化精度为8位的待压缩图像分成若干个88样值子块，做基于88子块的DCT。②据最佳视觉特性构造量化表，设计自适应量化器并对DCT的频率系数进行量化。

③为增加连续的0系数的个数，对量化后的系数进行Z字形重排。

④用Huffman码或游程码作变字长熵编码器对量化系数进行编码，进一步压缩数据量。1)图像分块

把一幅图像中的亮度分量Y和色差分量Cr、Cb按4∶2∶2色度格式顺序地分割成一系列8×8的子块，然后依次将每个方块内的8×8个样点同时送入变换器进行变换运算。2)DCT变换例1:DCT变换

8×8图像块中，像素值变化缓慢，具有较低空间频率。进行二维8×8DCT变换可将图像块的能量集中在极少数系数上。DCT的(0，0)元素是块的平均值(直流)，其它元素表明每个空间频率下的谱能。离原点(0，0)越远，元素衰减得越快，频率越高。(a)背景部分图像块的DCT块DCT变换(b)细节部分图像块的DCT例2:DCT变换及压缩编码8×8图像亮度数据及其DCT系数DCT变换器将输入的8×8点像块由原空间域变换到频率域中，映射成同样大小的8×8点的变换系数，经变换后的系数更有利于压缩。DCT系数F(u,v)1260-1-12-52-2-11-23-17-6-3-300-1-11-9-220-1-10-7-2011000-1-1120-1112020-111-1-100-1021-1-32-4-221-10139144149153155155155155144151153156159156156156150155160163158156156156159161162160160159159159159160161162162155155155611611611611601571571571621621611631621571571571621621611611631581581588×8图像亮度数据f(i,j)DC3）量化1611101624405161121214192658605514131624405769561417222951878062182237566810910377243555648110411392496478871031211201017292959811210010399DCT系数块中系数有低频、高频，量化应用不同步长。人眼对低频比对高频分量易感变化，尤其是直流分量--基本色调，若和邻块相比易察觉。所以量化步长要符合人眼的特性，对高频系数粗量化，对低频细量化。亮度量化表SY色度量化表SC17182447999999991821266699999999242656999999999947669999999999999999999999999999999999999999999999999999999999999999999999999999

亮度量化数据及量化后DCT系数亮度量化表SYDCT系数F(u,v)1260-1-12-52-2-11-23-17-6-3-300-1-11-9-220-1-10-7-2011000-1-1120-1112020-111-1-100-1021-1-32-4-221-10