（电路与系统专业论文）嵌入式3ddwtspiht压缩算法的优化和实现.pdf

摘要 现有的视频编码标准，如i t u 的h 2 6 1 ，h 2 6 3 ，h 2 6 4 及i s o ，i e c 的m p e g 一1 ， m p e g 2 ，m p e g 4 ，大都基于离散余弦变换c t ) 。小波变换不仅具有d c t 变 换中高频部分能量较低的优点而且没有方块效应，同时相同方向子带的相似性进 一步提高了压缩效率，因此基于小波变换的视频图像压缩近几年发展迅速。作为 小波编码的关键技术小波变换系数的量化和后编码，也成为了研究的热点。 1 9 9 3 年s h a p i r o 首先提出了小波域零树编码算法，该算法不仅具有很高的编码效 率和性能，而且编码码流是完全嵌入式的，码率的分配在编码过程中自动完成。 1 9 9 6 年，s a i d 和p e a d m a n 对零树编码算法进行了改进，提出了更加有效的小波 域编码方法层次树集分割算法( s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e ，s p i h t ) 。 此后，k i m 和p e a r l m a n 把s p i h t 方法推广到视频编码中，提出了三维层次树集 分割方法( 3 d s p i h t ) 。2 0 0 4 年，丁文奇和胡佳改进了3 d s p m t 算法，并取得 了很高的编码效率。 然而，为了简化对小波系数的扫描过程，基于3 d 小波域的3 d s p l h t 算法 需要使用中间链表保存像素点坐标。虽然该算法在压缩效率和实现简便性等方面 部取得很大的提高，但是中间链表占用了巨大的存储空间，硬件实现非常困难， 一直阻碍着3 d d w t - s p i h t 算法的实时视频压缩应用。因此，如何在不影响图 像压缩效果的前提下，缩短链表长度，减少内存的存储量是3 d d w t - s p i h t 算 法急待解决的棘手问题。 论文在研究了3 d d w t - s p i h t 的基础上提出了一种崭新的基于树状结构的 3 d d w t - s p m t 压缩算法。该算法根据小波系数间的相关性，将各级的小波系数 按照树状结构划分为多棵予树，利用子树闯的相互独立性，单独编码每棵子树， 使得各子树可以共用一个链表空间，极大地降低了内存的需求。同时，论文也提 出了“截断闽值预测”和“自适应码流分配”方法，进一步提高了新算法的压缩 性能。我们将这一整套嵌入式视频压缩系统称为“3 d r s p s p i h t ”算法。通过 标准视频流对其进行仿真试验，结果表明该算法能大幅度降低视频处理中巨大的 内存需求量，并达到与原算法相当的压缩效果。此外，以d s p 芯片为核心，构 建了最基本的基于局域网的流媒体测试平台，结果证明本论文提出的算法能基本 满足实时视频编解码的要求。 最后，论文还将新算法应用到了商分辨率的高光谱遥感图像的压缩中，试验 表明该方法同样有效。 关键字：视频压缩、层次树集合算法、离散小波变换、树状结构、硬件实现 图书分类号：t n 9 1 1 8 1 a b s t r a c t t h eb l o c k b a s e dd i s c r e t ec o s i n et r a n s f o l t n ( d c t li sw i d e l yu s e di nv i d e oc o d i n gs t a n d a r d s a v a i l a b l et o d a y ，s u c ha si t u sh 2 6 1 ，h 2 6 3 ，h 2 6 4a n di s o i e c sm p e g 一1 ，m p e g - 2 ，m p e g 一4 r e c e n tr e s e a r c hi ni m a g ea n dv i d e oc o d i n ga l g o r i t h m sh a sr e v e a l e dt h a tag r e a t e rc o m p r e s s i o nc a n b ea c h i e v e df o r t h es a m ev i s u a lq u a l i t yi f t h eb l o c k b a s e dd c ta p p r o a c hi sr e p l a c e db yad i s c r e t e w a v e l e tt r a n s f o r m ( d w t ) c o n s e q u e n t l y , t h el o s s yc o m p r e s s i o na l g o r i t h m sb a s e do nr e d u c t i o no f s p a t i a l - t e m p o r a lr e d u n d a n c i e su s i n gd w ta r o u s et h ei n t e r e s to fp e o p l e s i n c et h e w a v e l e t t r a n s f o r m h a sm a d ea nu n p r e c e d e n t e d h i g hp e r f o r m a n c ef o ri m a g ec o m p r e s s i o nw i t h l o w c o m p l e x i t y , t h em p e g - 2 1 ，t h ep u r p o s eo fw h i c hi s t od e f i n ean e ws c a l a b l ev i d e oc o d i n g t e c h n o l o g yw i t hh i g hc o m p r e s s i o np e r f o r m a n c e ，i sc o n s i d e r i n gu s i n gt h e3 dw a v e l e tt r a n s f o r m t h e2 - dz e r o t r e ec o d i n g ( e z w ) d e v e l o p e db ys a i da n dp e a r l m a nh a sb e e ne x t e n d e dt ot h r e e d i m e n s i o n s ( 3 - de z w ) b yc h e na n dp e a r l m a n i th a sb e e ns h o w nt ob e a ne f f e c t i v ea n d c o m p u t a t i o n a l l ys i n a p l ev i d e o c o d i n gs y s t e mw i t h o u ta n ym o t i o nc o m p e n s a t i o na n dw i t he x c e l l e n t n u m e r i c a la n dv i s u a lr e s u l t s k i ma n dp e a r l m a n1 a t e rd e v e l o p e dt h e3 - ds e tp a r t i t i o n i n gi nt h e h i e r a r c h i c a lt r e e s ( 3 - ds p i h dc o d i n ga l g o r i t h mt oi m p r o v et h e3 - de z w s y s t e mf u r t h e r i ti su n d e r s t o o dt h a tt h e3 - ds p i h ti sf a s ta n de f f i c i e n ti nv i d e oc o d i n gs i n c end o e sn o t r e q u i r et h em o t i o ne s t i m a t i o na n dc o m p e n s a t i o n t h ec u r r e n t3 - ds p l h tc o d i n g h o w e v e r , r e q u i r e st h ei n f o r m a t i o ni n d i c a t i n gz e r o - t r e es t r u c t u r e sa n ds t o r i n gt h r e et e m p o r a r yl i s t sw h o s e s i z ew i l lq u i c k l ye x p a n da tap o w e ro f 2 s i n c ei ti sc o s ta n dt i m e - c o n s u m i n gt ou s eal a r g ea m o u n t o fm e m o r ys p a c et os t o r et h e s el i s t s ，t h e3 - ds p i h tr e q u i r e m e n tf o rb i gm e m o r yh a sb e c o m ea c r u c i a ld r a w b a c kf o ri t sr e a l t i m ea p p l i c a t i o n s i no r d e rt oi m p l e m e n tr e a lt i m ev i d e oe n c o d i n ga n dd e c o d i n g ，r e p l a c i n gt h eo r i g i n a l 3 d s p i h ta l g o r i t h m ，an e we m b e d d e dv i d e oc o d e ca l g o r i t h mn a m e d 3 dr a d i a ls u b t r e e p a r t i t i o n i n gs p i h t ( 3 d r s p - s p i h t ) i sp r e s e n t e di nt h i sp a p e r w ep a r t i t i o nt h ew a v e l e ti m a g e c o e f f i c i e n t si n t oan e ws t r u c t u r e ，i e ，3 - dr a d i a ls p a t i o - t e m p o r a lt r e es t r u c t u r e ，w h i c hc a nb e e n c o d e da n dd e c o d e di n d e p e n d e n t l yb yt h es u b t r e eb a s e d3 - ds p i h ta l g o r i t h m i nt h i sw a y , e a c h t e m p o r a r yl i s tu s e di nt h ep r o c e s so fs u b t r e eb a s e d3 - ds p i h ta l g o r i t h mc a nb er e f r e s h e ds ot h a t o n l ys m a l lm e m o r yi sr e q u i r e df o rt h ep r o p o s e da l g o r i t h m f u r t h e r m o r e ，a ne x t r ab e n e f i te a r n e di s t h ep a r a l l e l i z a t i o nr e a l i z a t i o no f t h ec o m p r e s s i o na n dd e c o m p r e s s i o na l g o r i t h m s o u rv i d e oc o d e c a l g o r i t h ma l s o u s e st h e t r u n c a t et h r e s h o l de s t i m a t i o n a n d a d a p t i v es t r e a md i s t r i b u t i o n m e t h o d st oo p t i m i z ei t sp e r f o r m a n c e e x p e r i m e n t a lr e s u l t ss h o wt h a to u ra p p r o a c hc a nd r a s t i c a l l y r e d u c et h em e m o r yr e q u i r e m e n tt o 1 0 r e q u i r e db yt h e3 - ds p l h ta l g o r i t h mr e q u i r e m e n t w h e r e a st h ed e g r a d a t i o ni sw i t h i n0 3 d b f u r t h e r m o r e o u r3 d r s p s p i h t m e 出o di su s e di nh y p e r - s p e c t r u mr e m o t es e n s i n gi m a g e c o m p r e s s i o n ，w h i c ha l s oo b t a i n e dg o o dp e r f o r m a n c e k e y w o r d s ：v i d e oc o m p r e s s i o n ，s e tp a r t i t i o n e di nh i e r a r c h yt r e e s ( s p i h t ) ，d i s c r e t ew a v e l e t t r a n s f o r m ( d w t ) ，t r e e d a t a s t r u c t u r e s ，h a r d w a r er e a l i z a t i o n c h i n e s e l i b r a r y c l a s s i f i c a t i o n ：t n 9 1 1 8 1 第一章绪论 二十世纪9 0 年代初期，互联网渐露锋芒，国外研究者提出了一个很有名的 观点：“( 互联网时代) 一个人就是个电视台。”他们的意思是透过网络的力量， 个人即可成为广义上的信息传播者和发布者，从而改变人们接受信息的方式和途 径。这话说出不到十年，宽带和视频技术一尤其是流媒体技术的发展，已经从技 术上彻底将“一个人成为座电视台”的预言变成现实。 所谓流媒体是指用户通过网络或者特定数字信道同时下载和播放多媒体数 据的一种工作方式。流媒体应用的一个最大的好处是用户不需要花费很长时问将 多媒体数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地 的缓冲区中就可以开始播放，后面收到的数据会源源不断输入到该缓冲区，从而 维持播放的连续性，因此流媒体播放器通常只是在开始时有一些时延。流媒体不 同于传统的多媒体应用，它更强调多媒体的网络化和实时性。 多媒体数据在传输前必须要先经过编码器有效地压缩成码流，以减少对网络 资源的占用率。现有的压缩技术主要是建立在余弦变换( d c t ) 的基础上，并形成 了图像和视频的编码标准如：对图像压缩编码的j p e g 标准，对视频压缩的m p e g 标准。在流媒体应用中，网络带宽的波动是一个基本问题。不同的人在不同的时 刻使用互联网或无线网络时，得到的数据传输率存在着很大的差异；甚至同一个 人在同个时刻，哪怕是在传输同一个视频流，实际的数据传输率也会存在较大 的波动。而基于d c t 变换的编码方法产生的是固定码率的码流，很难适应网络带 宽的频繁波动。近来，具有可伸缩性码率的3 d d w t 以及其后编码方法3 d - s p i h t 方法，引起了人们的广泛关注。该算法不仅能实现比d c t 变换更出色的编码性能， 还能提供定的网络带宽变换的能力。然而，3 d d w t 和3 d s p h t 算法对系统的 内存需求量十分巨大，很难在硬件上实现，阻碍着该算法的实际应用和发展。 本论文主要研究一种适用于流媒体压缩的，具有高压缩率、高性能以及低内 存的可伸缩性码率编码方法：3 d r s p s p i h t 算法。该研究针对3 d d w t - s p i h t 算法内存消耗量大、运算复杂的缺陷，对该算法进行了改进，在硬件平台上实现 了实时流媒体的处理。本章简要介绍视频图像压缩中的基本概念和标准以及发展 趋势，共分为5 小节，首先给出视频图像压缩的原理和视频编码性能的指标，第 3 节介绍和分析现有的视频图像压缩的方法和优缺点，以及视频图像编码技术的 发展趋势；最后两节给出了本论文的创新点和编排。 1 1视频图像压缩的原理 随着信息和通信技术的发展，视频图像压缩技术已成为当今多媒体研究中的 重要领域。如何有效的压缩视频信息，用最小的内存存储量或用最低的传输速率 传送信息，同时又能保证视频图像的信息质量，以达到提高计算机实时处理视频 信息的能力，成为视频图像压缩探索的方向。视频压缩分为有损压缩和无损压缩 两种：无损压缩在解压缩后能完全恢复原始视频数据，但它的压缩倍数很低；有 损压缩可以利用人类视觉的某些不敏感性，在高的压缩比下仍然具有比较商的图 像质量。在实际应用的压缩系统中，各种因素会造成很大误差，即使采用无损压 缩也不能够完全重建原图像数据，因此在数据量较大，压缩比要求高的数据压缩 系统中，无损压缩无法满足系统要求，必须实行有损压缩。本文主要讨论具有高 压缩比的有损压缩算法。 数字视频信息是由数字图像按照时间序列排列而成的，在视频流中每一幅数 字图像是一个视频帧。因此图像压缩是视频压缩的基础。图像数据的压缩主要基 于对各种图像数据冗余度及视觉冗余度的压缩。视频数据冗余概括起来只要有以 下几种： f 1 )空间冗余 视频序列每一帧内相邻像素之间的取值往往相近或相同，具有空间相关性， 这就是空间冗余度。图像的空间相关性表示相邻象素点取值变化缓慢。从频域的 观点看，意味着图像信号的能量主要集中在低频附近，高频信号的能量随频率的 增加而迅速衰减。通过频域变换，可以将原图像信号用直流分量及少数低频交流 分量的系数来表示，这就是变换编码中的正交余弦变换d c t 的方法。目前主要 采用变换编码和预测编码来去除空间上的冗余。 ( 2 )信息冗余 按照信息论的有关理论，对于一串由许多数值构成的数据来说，只要按其信 息熵的大小分配相应的比特就可以对图像进行压缩。然而，对于实际图像的像素 很难得到它的信息熵，因此在数字化图像时，往往用相同的比特数来表示每个象 素点，这样就必然存在冗余，通常采用无损的熵编码方法来消除信息冗余。 ( 3 )结构冗余 在某些图像的部分区域存在着很强的纹理结构，或是图像的各个部分之间存 在某种自相似性。目前主要采用轮廓编码和区域的划分来去除结构冗余。 ( 4 )视觉冗余 视觉冗余度是相对于人眼的视觉特性而言的。在大多数情况下，重建图像的 最终接受者是人眼，因此可以利用人类视觉系统的特点，建立压缩模型达到较高 2 的压缩比。人眼对于图像的视觉特性包括：对亮度信号比对色度信号敏感，对低 频信号比对高频信号敏感，对静止图像比对运动图像敏感，以及对图像水平线条 和垂直线条比对斜线敏感等。因此，包含在色度信号，图像高频信号和运动图像 中的一些数据并不能对增加图像相对于人眼的清晰度做出贡献，而被认为是多余 的，这就是视觉冗余度。视觉冗余主要采用非线性量化和位分配来去除。 ( 5 ) 时间冗余 时间冗余度表现在视频序列相继各帧对应象素点的值往往相近或相同，具有 时间相关性。例如，视频序列一般以每秒2 5 帧或3 0 帧的速度采样，在如此高速 的采样过程中，背景往往变化地很缓慢，从而在视频序列的相邻帧之间存在较大 的相关性。时间冗余主要采用帧间预测和运动补偿的方法来去除。时间冗余是视 频压缩区别图像压缩的最显著的特点，在视频图像压缩中起着十分重要的作用。 1 2 压缩算法的性能度量 视频图像压缩编码的主要目的是在保持一定的图像质量的前提下，用尽可能 少的比特来表示原视频图像，从而节省信息的存储空间和信道容量。评价一个视 频图像压缩编码算法或系统的性能指标主要有：恢复图像的图像质量、比特率和 复杂度等。 1 ) 恢复图像的图像质量 对于有损压缩，在相同压缩比下，恢复图像的质量是衡量算法优劣的重要指 标。经过压缩解码后恢复的图像质量评价分为主观评价和客观评价。图像的最终 接受者是人，因此，根据人的主观感觉对图像的优劣做出评价是很重要的，也是 目前圜际上普遍采用的方法之一。主观评价的观察者包含两类，一类是末受过训 练，对图像质量评价并不内行的一般观众，这时得到的评价结论代表一般观众的 平均感觉。另一类是专业人员，对图像的评价有丰富的经验，是训练有素的内行， 他们能够对图像质量提出严格的判断，能注意到图像某些细小的变化。主观评价 一般采用五级制，即：很差、差、中、好、优。由观察者对一幅图像进行先打分， 再平均，这种评价即为主观绝对评价。在评价中，还可以由观察者对一批图像进 行由好到坏的排序，对图像进行相互比较后评出分数，这种评价即为主观相对评 价。主观评价会受输入场景、图像分辨率、观察距离以及人为等因素的影响，所 以，在压缩算法研究中使用较多的是客观评价。 图像质量的客观评价是通过一个定量的数值来度量解码后恢复的图像与原 始图像的差别之大小。常用的数值度量准则有均方误差( m s e ) 、信噪比( s n r ) 和 峰值信噪比( p s n r ) ，其定义分别为： m s e 2 击善弘 沪硒) 2 ，( f ，】 s n r = 百唷坐l 一 ，( f ，沪丸川 ( 1 2 ) p 姗= 1 0 l o g l 。( i 荔) ( 1 3 ) 上式中m ，分别为图像的宽度和高度，“力为原图像中第i 行第j 列的像 素上的灰度值，夕( i ) 为经压缩解码后的恢复图像中第i 行第j 列的像素上的灰度 值。式1 3 中假设图像数字化时的最大灰度值为2 5 5 ( 每像素8 b i t 量化表示) 。 图像质量的客观评价可以有很多种，而且人们希望它能和主观评价尽量一 致，但是，目前还没有找到一种完全合乎主观评价的逼近公式。 2 ) 比特率( 又称码率) 比特率为每秒钟传输的比特数，在视频编码中反映其压缩倍数，如传输通道 的码率为l5 m b i t s ，而实际每秒2 5 帧的c i f 视频图像( 3 5 2 x 2 8 8 ，2 4 b i t p i x e l ) 的 码率为6 0 m b i t s ，那么其压缩倍数就为4 0 。 3 ) 复杂度 复杂度包括时间复杂度和空间复杂度。时间复杂度表示在一定的环境条件下 编解码算法在运行时所需要的时间，也可以用基本的运算次数来表示。空间复杂 度表示编解码算法在运行时所需要的存储空间。在实时系统和硬件设计时，需要 同时考虑算法的时间复杂度和空间复杂度。 1 3 视频图像编解码方法概述 本文重点研究一种高压缩比、高性能以及低内存的嵌入式视频有损压缩算 法，以及该算法在硬件系统中的优化和实现。目前已经有很多视频编解码的方法， 其中一些已经成为业界标准。这些方法不但是进一步研究的基础，其中的思想方 法也给下一步研究提供了无穷的灵感。因此本节中，简单介绍一下这些视频编码 方法的相关知识。其中通过r a w 格式介绍原始数字图像视频的数据格式； m j p e g 等压缩方法引入变换域和后编码的思想；m p e g 等压缩方法提出利用帧 间冗余编码视频的概念；最后通过分析视频图像编码技术的发展趋势，强调本文 研究内容的重要性和紧迫性。 4 1 3 1r a w 格式 r a w 格式是记录图像或视频图像信息的格式中最原始的一种，该格式记 录图像中每个像素的所有色彩信息。 对于黑白图像，只需要记录图像的灰度信息，如果每个像素的灰度值用一个 字节表示，共有2 5 6 种可能灰度量化值，一幅图像的像索个数就是记录图像需要 的字节数。 彩色图像比较复杂，可以选取不同的色彩表示方法，一般常见的有r g b 、 y u v 等。r g b 是直接反映人眼对色彩的感觉，以三原色r g b 为基础 2 】，分别记 录r g b 的信息；y u v 诉求的是人眼视觉对于亮度的敏感程度大于对彩度的敏感 程度口】，将彩色域面讯号分为y 与u v 两部份分别记录，y 代表的是亮度明暗的 程度，u v 代表的是彩度，即色彩鲜艳的程度。两种格式变换的公式如下： f 】，= o 2 9 9 五+ 0 - 5 8 7 g + o 1 1 4 b u = 一0 1 4 7 r o 2 8 9 g + o 4 3 6 b( 1 4 ) l v = 0 6 15 r 0 5 1 5 g 一0 1 0 0 b f r = y + l - 1 4 v g = y o 3 9 u o 一5 8 v( 1 5 1 l b = y + 2 0 3 u 用r g b 格式记录图像，每个像素都要保留r g b 的信息，处理和显示也容 易，缺点是人眼对这三个颜色的感应能力并不相同，最敏感的是g ，次之是r ， 最弱的是b ，所以以同样比重记录这三原色并不合理。 在y u v 格式中，人眼对明暗变化的敏感性要强于对色彩鲜艳变化的敏感性， 所以可以用不同比重记录y u v 的信息。如果使用4 ：4 ：4 的方法记录y u v 图 像，那么y u v 的记录比重一样，每一个像素都要保留y u v 的信息。如果使用4 ： 2 ：2 的方法记录图像，那么横向相邻的四个像素用4 个y 分量，2 个u 分量和 2 个v 分量记录，如图1 1 。 l n e q 雠 净。 l j n e 图1 1y u v 4 ；2 ：2 5 如果使用4 ：1 ：1 的方法记录图像，那么横向相邻的四个像素用4 个y 分 量，1 个u 分量和1 个v 分量记录，如图1 2 。如果使用4 ：2 ：0 的方法记录图 像，那么并非v 分量采样为0 ，而是跟4 ：l ：1 相比，在水平方向上提高一倍色 差采样频率，在垂直方向上以u 厂v 间隔的方式减小一半色差采样，如图1 3 。 雠 峙口e q 叫 q “。 i j f 眦 鼍船 i i i | l e 懿 u y vo ：；，蒜l 。o y 。j 鬻 图1 2y u v4 ：1 i1 曩u y o r g y j 工 工 工 图1 3y u v4 ：2 ：0 通过降低彩色信息的分辨率，y u v 格式的图像可以减少数字图像数据量。 该方法丢失了色度信息的变化细节，但是人跟对色度的微小变化并不敏感，因此 可以作为最简单的数字图像视频压缩方法。 1 3 2m j p e g 与m j p e g 2 0 0 0 视频压缩标准 1 3 2 1基于d c t 变换的m j p e g 标准 m j p e g ( m o t i o nj p e g ) 1 4 是基于j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) t 4 1 5 】的 一种动态图像压缩技术，m j p e g 图像流的单元就是一帧一帧的j p e g 画片。j p e g 是一个由i s o 和i e c 两个组织机构联合组成的个专家组，负责制定静态的数 字图像数据压缩编码标准，又称为j p e g 标准。j p e g 是一个使用范围很广的静 态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。j p e g 压缩方法可 6 以去除数字图像中相邻像素之间的冗余，压缩数字图像数据量。由于图像中相邻 像素一般变化比较缓慢，具有相关性，从信号的角度来看，缓变信号的能量集中 在低频区域，频率域上信号的熵降低，所以可以在频率域上对数据进行压缩。 j p e g 的主要思想是：先通过域变换，降低信号的熵，再对变换后的数据进行后 编码。 8 * 8 块 恢复图像 图1 4j p e g 压缩解压过程 j p e g 压缩算法框图如图1 - 4 所示，它的压缩编码大致分成三个步骤： ( 1 ) 离散余弦变换( d c t ) 把图像从空间域变换成频率域，其目的在于消除数据相关性，将能量集中在 少数系数上。具体做法是把整个图像分成8 x 8 的图像子块，并作两维离散余弦变 换( d c t ) ，得到的6 4 个频率成分，采用z i g z a g 编排，左上角的一个为直流( d c l 系数，其余6 3 个为交流( a c ) 系数。从左到右，水平方向频率由低到高；从上到 下，垂直方向频率由低到高。在一幅图像中相邻像素的灰度和色差信号变化缓慢， 在8 x 8 宏块中相邻像素的相关性很强，所以通过离散余弦变换后，在空间频率低 频范围内集中了数值较大的系数，远离直流系数的高频交流系数为零或者趋近于 零。 ( 2 ) 量化 采用量化表对d c t 变换后的系数进行量化，目的在于减小非0 系数的幅 度，从而增加0 值系数的数目。量化是编码过程中唯一有损的环节，是恢复 图像质量下降的最主要原因。量化表是根据人的视觉系统对不同的图像空间频率 敏感程度来设计的，对灰度空间和色度空间其量化表是不同的，在编码时量化表 可根据实际情况进行调整。 7 ( 3 1 熵编码 图像的熵是指图像数据的平均信息量，定义为在不丢失信息的前提下，描述 该信息的内容所需的最小比特数。熵编码( e n t r o p y ) 是完全基于信号统计特征的编 码方法，是一种无损编码，解码后能无失真地重构原图像。一个理想设计的熵编 码器，其输出的平均码长应接近信源的信息熵。常用的熵编码有游程编码( r c l ， r u nl e n g t hc o d i n g ) 、霍夫曼编码( h u f f m a nc o d i n g ) l l 算术编码( a r i t h m e t i cc o d i n 9 1 三类。 j p e g 解码算法是编码的逆过程，不再赘述。 一般图像在进行d c t 变换前，需要进行颜色转换或降采样。具体操作首先 是将图像格式转为y u v 格式。转换以后就得到三个新的基色值，对这三个基色 值来讲，都可以当作一个独立的图像平面来进行压缩编码。为提高压缩效果将4 ： 4 ：4 采样率的图像变为4 ：2 ：0 或者4 ：1 ：1 采样率。 在高压缩比的情况下，j p e g 的重建图像在水平和垂直方向可能有晕圈、幻 影和“方块”效应。这是由于j p e g 压缩系统中对原始图像进行了分块的d c t 变换和量化，在高压缩比场合下相邻像素块的平均亮度有差异而造成的。同时， d c t 变换反映的是子块信号的整体特征，而在很多实际问题中我们需要关心信 号在局部范围中的特征，基于小波变换的编码就具有更好的特性。 m j p e g 是在j p e g 基础上发展起来的动态图像压缩技术，它只单独的对某 一帧图像进行压缩，而基本不考虑视频流中不同帧之间的变化，从而可以获取清 晰度很高的视频图像，而且可灵活设置每路的视频清晰度和压缩帧数，其压缩后 的画面还可任意剪接。但它的缺陷也非常明显，其一：丢帧现象严重、实时性差， 在保证每路都必须是高清晰的前提下，很难完成实时压缩。其二：压缩效率低， 存储占用空间较大。 1 ，3 2 。2 基于d w t 变换的m j p e g 2 0 0 0 标准 j p e g 2 0 0 0 6 1 与传统的j p e g 最大的不同，在于它放弃了j - p e g 所采用的以 d c t 变换为主的分块编码方式，而改用以小波变换为主的多分辨率编码方式， 它的后编码方法采用嵌入式的e b c o t 【8 】算法。 j p e g 2 0 0 0 算法最显著的特点如下： 首先，j p e g 2 0 0 0 能实现无损压缩。在实际应用中，有一些重要的图像，如 卫星遥感图像、医学图像、文物照片等，通常需要进行无损压缩。对图像进行无 损编码的经典方法预测法，已经发展成熟，并作为一个标准写入了j p e g 2 0 0 0 中。 其次，j p e g 2 0 0 0 的鲁棒性很好，系统稳定性好，运行平稳，抗干扰性好， 8 易于操作。 此外，j p e g 2 0 0 0 能实现渐进传输，这是j p e g 2 0 0 0 的一个极其重要的特征。 它可以先传输低分辨率的图像，不断提高图像质量，以满足不同用户的需要，这 个特征在网络传输中具有重要的意义。使用j p e g 2 0 0 0 下载一张图片，用户可先 看到这个图片的缩影，然后再决定是否下载它。而且，下载它时可以根据用户需 要和带宽来决定下载图像质量的好坏，从而控制数据量的大小。 j p e g 2 0 0 0 的另一个极其重要的优点就是感兴趣区域编码。用户在处理的图 像中可以指定感兴趣区域，对这些区域进行压缩时可以指定特定的压缩质量，或 在重构时指定特定的解压缩要求，这给人们带来了极大的方便。在有些情况下， 图像中只有一小块区域对用户是有用的，对这些区域采用低压缩比编码，而兴趣 之外的区域采用高压缩比。在保证不丢失重要信息的同时，又能有效地压缩数据 量。 m o t i o nj p e g 2 0 0 0 1 7 j 运动图像压缩标准采用基于j p e g 2 0 0 0 的帧内图像压缩 标准，没有利用帧内信息的相关性，减少了误码的扩散。当然，m j p e g 2 0 0 0 也 具有类似于m j p e g 的缺陷，即丢帧现象严重、实时性差以及存储占用空间较大。 1 3 3 具有帧间编码的视频图像压缩算法 m j p e g 和m j p e g 2 0 0 0 压缩技术标准分别源于j p e g 和j p e g 2 0 0 0 图片压缩 技术，都是简单的帧内j p e g 压缩，未涉及到帧间的编码，压缩后图像清晰度较 好。但由于这种方式本身的技术限制，没有利用帧间相关性，无法作大比例压缩， 数据量较高，网络传输耗费大量的带宽资源，不适用于移动物体图像的压缩。因 此，当前主流的视频压缩编码方案是将二维图像压缩和时间冗余消除方法相结 合。图1 5 给出了一个经典视频图像压缩编码流程框图。 其基本流程如下所示： 1 ) 由视频源输入一帧图像，将图像划分为宏块； 2 ) 若需要对该图像进行帧内编码，则进行如j p e g 的分块d c t 和量化等处 理，否则，将当前输入图像以宏块的形式与存于帧缓存中的重构的宏块 图像相比较，计算每个宏块的运动矢量； 3 ) 对预测误差值进行d c t 变换； 4 ) 将量化后的图像系数进行熵编码( 如变长编码) ，得到压缩后的数据。这 些数据可以存储在物理介质，也可以经网络传输进行实时的视频通信。 在解码时，对得到的宏块数据进行反量化和逆d c t 变换，重建预测误差信 号，并且与帧缓存中的宏块预测信号相加，得到重构图像。将此重建图像加入到 帧缓存中，作为下一图像的参考帧。 9 图i 5视频编码流程图 编码过程中运动估计和补偿具有十分重要的作用。它通常采用的是以宏块匹 i g ( b l o c k m a t c h i n g ) 的方式来处理。先将图像分割成一个个运动块，然后以此运动 块为单位到前一帧对应的区域内找寻一定准则下最接近的区块，两个块的坐标偏 移为运动矢量，两块相减得到的残差数据作为预测误差，进行变换编码和变长编 码，同时运动矢量也需要采用差分和变长编码。 当前视频编码的经典视频编码标准主要是由i s o i e c 和i t u 等国际组织致 力于制定的h 2 6 x 系列和m p e g x 系列，表1 1 比较了不同视频压缩标准。 我们不难发现，目前标准化的视频编码技术大都是基于运动补偿和d c t 变 换的，从早期的m p e g 1 和h 2 6 1 ，到最新的m p e g 一4 a v c h 2 6 4 都采用了这个 框架。d c t 变换计算简单，易于硬件实现，而且它是局部变换，能与运动局部 性以及块搜索的形状很好的吻合，因此在图像和视频信号的编码中得到了广泛的 应用。但是，d c t 变换在压缩比较高时，每个d c t 变换块之间的差别因量化步 长的增加而增大，各块之间出现明显的边界差别，就是所谓的块效应。而且帧内 和帧间编码采用的固定值的d c t 变换矩阵，而变换的对象即图像或者视频的内 容是变化的，如何针对不同的编码对象采用不同的变换矩阵，目前d c t 变换还 不能给出明确的答案。 1 3 4 视频图像编码技术的发展趋势 随着互联网的飞速发展，消费类电子、通信、影视及广播、计算机技术日益 紧密地结合起来，使得基于互联网的多媒体产业成为本世纪初发展最快、规模最 大的产业之一。为适应多媒体通信发展，i s o i e c 提出了一系列标准，如m p e g 4 、 h 2 6 4 等。但是，这些视频压缩的标准主要还是基于d c t 变换。 表t ，l不同视频压缩标准比较 名称 特点比特率主要技术特征 h 2 6 1 1 9 】p * 6 4 k b s 的p * 6 4 k b s8 + 8 d c t ：自适应量化；z 扫描；运动补 ( 1 9 9 0 ) 音频服务的 p ：l 3 0偿预测：运动估计；h u f f m a n 编码；容 编解码 错编码；2 d - v l c h 2 6 3 【1 0 】 低比特率通8 k 1 5 删sh 2 6 1 所有技术；双向运动补偿；半像 ( 1 9 9 5 ) 信的视频编素运动估计；高级运动补偿；重叠运动 码 补偿；算术编码；2 d v l c m p e g 1 【“1面向数字存1 5 m b s 8 * 8 d c t ；自适应量化；z 扫描；廷动补 ( 1 9 9 2 ) 储的运动图 偿预测；上项运动补偿；半像素运动估 像及其伴音计：h u f f m a n 编码：2 d v l c 的编码 m p e g 2 【1 2 】 运动图像及 4 k 1 0 m b s m p e g 1 兼容；基于帧场的运动补偿； ( 1 9 9 3 ) 其伴音信息空间、时间和质量三种可扩展编码；容 的通用编码错编码 m p e g 4 u 3 1音视频对象8 k 3 5 m b s m p e g 一2 兼容；小波变换( 纹理) ；高级 i ( 1 9 9 9 ) 的通用编码 运动估计；重叠运动补偿；视相关可扩 展编码；位图形状编码；对象编码；脸 部动画：动态网格编码；1 4 像素精度 搜索：3 d v l c h 2 6 4 1 1 4 】 下一代视频h 2 6 3 所有技术；7 种不同块大小的运 ( 2 0 0 3 ) 压缩标准动搜索；多参考运动估计；1 4 像素精 度搜索：改进的帧内预测方式：去块效 应滤波器：熵编码( u v l c 、c a b a c 、 c a v l c ) ；自适应块变换( a b t ) 纵观静态图像的发展历程，即从基于d c t 变换的j p e g 标准发展至0 基于 d w t 变换的j p e g 2 0 0 0 标准，我们可以看到，由于d c t 变换本身技术上的限制， 会产生晕圈、幻影和“方块”效应，而且无法反映信号的局部特征，已经无法满 足当前图像压缩的需求。而在编码性能等各方面都更出色的d w t 变换方法，已 经发展成熟，完全取代了d c t 方法，成为当前图像压缩领域的主流算法。 另一方面，随着当前多媒体压缩领域的核心技术流媒体技术的蓬勃发 展，类似于传统的d c t 变换方法那样，只能生成固定码率码流的算法已经很难 适应当前复杂的网络带宽的波动。针对这点，m p e g - 4 和h 2 6 3 标准中加入了分 层的可伸缩性的视频编码方案，提供一定的适应网络带宽变化的能力。然而，在 流媒体应用中人们更期望视频编码技术能提供精细的码流可伸缩性，m p e g - 4 f g s 就是一种这样的编码技术，目前m p e g - 2 1 1 ”】可伸缩视频编码组正在研究两 套编码方案：高效的f g s 编码方案和3 d 小波编码方案。其中，相对于基于f g s 的可伸缩视频编码技术，小波变换具有完全的可伸缩特性，可以同时实现质量、 空间和时间的可伸缩编码。 综上所述，不论从当前多媒体压缩领域的需求考虑，还是从编码本身的性能 着想，d w t 变换方法当之无愧地应该取代现有的d c t 变换方法，成为视频图像 压缩的必然趋势。然而，为何最新出现的h 2 6 4 算法还仍然选择采用优化的d c t 变换呢? 众所周知，d c t 变换是一种基于块的变换方法，块变换有很低的内存 需求而且运动补偿容易实现。而d w t 变换是基于图像的变换，对整个图像或者 帧来进行操作，内存的消耗比较大而且不适用块的运动补偿。因此，即使具备了 十分出色的编码性能和码率可伸缩性，巨大的内存需求却在很大程度上阻碍了 d w t 的进一步应用和发展。 本文主要研究一种性能更出色的基于d w t 的视频压缩方法，针对原算法在 内存需求以及运算复杂度上的不足，旨在设计一种低内存、易于硬件实现的基于 d w t 变换的视频压缩方法，为d w t 的进一步发展扫除障碍。 1 3 5 现有的基于小波变换的视频压缩方法 小波技术能消除方块效应而且具有良好的率失真品质，因此基于小波的视频 压缩研究成为了当前视频图像压缩领域的热点。目前采用小波变换为核心技术的 视频编码方法主要有如下三种算法： 1 ) 基于空域运动补偿的小波视频编码( m c d w t ) f 1 6 1 陔算法的框图与图1 5 相似，只是把d c t 变换部分改为小波交换，对视频 流中的每一帧进行小波变换、量化、反量化和反