（通信与信息系统专业论文）高度可分级视频编码若干技术的研究.pdf

高度可分级视频编码若干技术的研究 专业：通信与信息系统 姓名：曾利平 导师：黄继武教授，梁凡讲师 摘要 当前，计算机、通信、娱乐三大产业的迅速融合为数字音视频编码的发展带来良 好的时机；音视频应用也随之而不断的多元化。面对这种多元化应用，传统的多比特 流的处理方法的作用非常有限。可分级编码技术允许对单一比特流以不同分辨率和质 量进行解码。被广泛认为是一种能够在异构网络环境中对图象信息进行有效描述和传 输的技术，具有较好的发展应用前景。尽管在过去的十年中，在编码技术和国际标准 中已经提出了几种可分级编码算法。这些传统的分级编码方法通常是以降低系统编码 性能来实现较有限的解码灵活性。 目前，分级性能较好的分级算法有m p e g 一4 的f g s 算法和研究中的新型分级编码 算法一高度可分级视频编码算法。上述两类算法的主要分级性能在很大程度上都依赖 于比特平面图象编码。现有的比特平面编码主要有两类，它们分别用于编码图象余弦 变换系数和子带小波变换系数。而后者结合小波分解固有的空间分级特性大大提高 了编码的编码效率与分级性能。 本文主要是对基于这种子带小波比特平面编码结构的编码系统进行分析和研 究。实验测试中我们发现在m p e g 建议的高度可分级视频编码算法中时域分解后的运 动矢量信息非常庞大。为此，本文根据视频的时域小波分解的特性提出了自适应运动 矢量树裁剪算法。这种算法随着时域分解的加深而不断增大运动矢量裁剪因子。其中 裁剪因子的增长因子是由时域分解前后像素幅值变化确定的。这种算法可以有效地减 少运动矢量占用比特数，大大提高了编码器的低码率情况下的编码性能。 另外，根据目前空域时域滤波的固有局限性不同分辨率情况下使用的都是同一 精度的运动矢量：以及实验结果，采用自适应运动矢量裁剪算法后，运动矢量信息依 然较大，不适于低分辨率低质量解码。本文根据运动矢量树的分布特性提出一种较为 简单的分级方法一运动矢量分层编码。这种分级方法能提高低分辨率解码性能，但是 这种方法本质是一种传统分级方法。同样它会增加了运动矢量编解码复杂度。另一方 面，这种分级也降低了对低速率应用的编解码复杂度。 关键词：高度可分级编码、子带小波变换、运动补偿时域滤波、嵌入式编码、 运动矢量分层编码 s t u d yo fh i g h l ys c a l a b l ev i d e oc o d i n g m a j o r ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a m e ： z e n gl i p i n g s u p e r v i s o r ：p r o f h u a n gj i w u ，d r l i a n gf a n a b s t r a c t w i t hr a p i dm e r g e r so fc o m p u t e r ，c o m m u n i c a t i o n ，a n de n t e r t a i n m e n ti n d u s t i e s ，t h e r e i st r e n do fg r o w i n gh e t e r o g e n e i t yf o rf u t u r ed i g i t a lv i d e oc o d i n ga p p l i c a t i o n s t h et r a d i t i o n a lm u l t i b i t s t r e a ma p p r o a c ht ot h eh e t e r o g e n e i t yi s s u ei sv e r yc o n s t r a i n e da n di n e f - f i c i e n t s c a l a b l ec o d i n g ，a l l o w i n gp a r t i a ld e c o d i n ga tav a r i e t yo fr e s o l u t i o na n dq u a l i t y l e v e l sf r o mas i n g l ec o m p r e s s e dc o d e s t r e a m ，i sw i d e l yc o n s i d e r e da sap r o m i s i n gt e c h n o l o g yf o re f f i c i e n ts i g n a lr e p r e s e n t a t i o na n dt r a n s m i s s i o ni nah e t e r o g e n e o u se n v i r o m e n t h o w e v e r ，a l t h o u g hs e v e r a ls c a l a b l ec o d i n ga l g o r i t h m sh a v eb e e np r o p o s e di nt h el i t e r a t u r ea n dt h ei n t e r n a t i o n a ls t a n d a r d so v e rt h ep a s td e c a d e ，t h e s ef o r m e rm e t h o d scan o n l ya c c o m m o d a t er e l a t i v e l yl i m i t e dd e c o d i n gf l e x i b i l i t ya tas i g n i f i c a n tc o s to fo v e r a l l c o d i n gp e r f o r m a n c e p r e s e n t l y , b o t hf g sd e f i n e di nm p e g 一4a n dh i g h l ys c a l a b l ev i d e oc o d i n gs y s t e m ( h s v c ) p r o p o s e db ys v cg r o u ph a v eb e t t e rs e a l a b i l i t yw h i c hm o s t l yd e p e n d e n t o nt h eb i t p l a n ec o d i n g b i t p l a n ec o d i n gh a v et w oc a t e g o r i e sf o rt w od i f f e r e n ti m a g e t r a n s f o r m ，d i s c r e t ec o s i n et r a n s f o r m ( d c t ) a n dd i s c r e t ew a v e l e tt r a n s f o r m ( d w t ) t h eb i t p l a n ec o d i n gf o rd w t g r e a t l yi m p r o v et h ec o d i n gp e r f o r m a n c ea n ds c a l a b l i t yb y e x p l o i tt h en a t u r a lm u l t i - r e s o l u t i o na n dm u l t i p r e c i s i o ns t r u c t u r ei nas u b b a n d w a v e l e t b i t p l a n ec o d i n gs y s t e m t h em a i np u r p o s eo ft h i st h e s i si st oe x p l o r ea n ds t u d yt h eh s v cb a s e do nt h e s u b b a n d w a v e l e tb i t p l a n ec o d i n g i no ure x p e r i m e n t s ，w ed i s c o v e rt h a tt h em o t i o ni n - f o r m a t i o no ft h eh s v ci sv e r yl a r g e w i t ht h i so b s e r v a t i o n ，w ep r o p o s ea ni m p r o v e d m v t ( m o t i o nv e c t o rt r e e ) p r u n i n gm e t h o d i nt h i sm e t h o dt h ef a c t o ro ft h em o t i o n p r u n i n gi si n c r e a s i n ga f t e rt h et e m p o r a la n a l y s i s a n dt h es c a l eo ft h ef a c t o ri sd e t e r m i n e db yt h ef u n c t i o no ft e m p o r a lf i l t e r i n g t h en e wm e t h o di m p r o v e st h ep e r f o r m a n c e o ft h em c e z b ca tl o wb i t r a t ew i t h a l m o s tt h es a m ep e r f o r m a n c ea th i g hb i t r a t e b u tw ea l s ob ea w a r eo ft h ei n h e r e n tl i m i t a t i o no ft h em o t i o nc o m p e n s a t e ds p a t i a l t e m p o r a lf i l t e r i n gc a nn o tb e a t t a c k e db ye m p l o y e dt h en e wp r u n i n gm e t h o d s ow e p r o p o s e das i m p l i f ym o t i o nv e c t o r ( m v ) s c a l a b l ec o d i n ga r i t h m e t i c ，l a y e r e dm o t i o n v e c t o rc o d i n g ( l m v c ) ，w h i c hcani m p r o v et h ec o d i n gp e r f o r m a n c ew i t hl i g h t l yi n c r e a s i n gi nm vc o d i n gc o m p l e x i t y o nt h eo t h e rh a n d ，l m v cd e c r e a s et h ec o m p l e x i t y o ft h ew h o l es y s t e mt a r g e tt ol o wb i t r a t ea p p l i c a t i o n k e yw o r d s ：h i g h l ys c a l a b l ev i d e oc o d i n g ，s u b b a n d w a v e l e tt r a n s f o r m ，m o t i o n c o m p e n s a t i o nt e m p o r a l f i l t e r i n g ，e m b e d d e dc o d i n g ，l a y e r e dm o t i o nv e c t o rc o d i n g 第l 章引言 1 1 选题意义 随着数字技术的高速发展，数字视频应用也在不断的多样化、复杂化。视频应用 在我们日常生活中的作用也越来越重要了。其应用范围包括从用于移动产品上的超低 码率视频到高清晰电视( h d t v ) 和数字影院。数字表示的优点主要表现在其应用形 式非常灵活5 ：数字信息很容易进行再现、处理和存储，差错保护和加密，复合、打 包和组合等。更重要的是数字媒体可以在描述符头信息的辅助下进行重复使用。这 一特性使得很多视频应用能够集成到通常的多媒体应用中，如近十年来计算机、通信 和娱乐工业的迅速融合。 这种融合为新兴的视频产品和服务提供良好的发展机会，但是现有的视频应用 并不完善，特别是对于通过网络传输的视频流、视频广播和视频数据库游览等应 用。目前，在视频编码领域中己经出现了一系列视频编码标准一传统视频编码， 女n i $ o 的m p e g - 1 、2 、4 1 0 1 2 1 和i t u 的h 2 6 x 1 3 1 5 1 。但这类编码算法不能充分有效 解决所面临的难题。对于这些难题下文将分别从视频的存储和传输两个方面进行叙 述。 1 1 1 视频编码的应用与需求现状 通常数字化图像都是由成千上万个像素组成；而数字视频是动态图像的组合，又 称图像序列。相对计算机文本文件和数字语音等来说，原始视频数据的视觉信息都显 示得非常庞大。目前，高清晰电视的码率约为1 5 g b i t s 。如此庞大的数据量该如何在 实际环境中进行应用呢? 这就是视频压缩处理所要解决的问题。视频编码通常是利用 视觉信息源中都存在相当高的统计相关性及人眼对于视觉信息中的某些失真的容忍性 达到信息压缩的目的。压缩编码系统能够从较小的压缩码流完全或近似恢复出原始 视觉信息。 近几年来的计算机、通信和娱乐产业迅速融合，终端产品的不断涌现，终端系统 的性能和需求差异非常大；它们所具备的性能( 如显示分辨率、存储和计算能力等) 各不相同，女i i p d a 、台式计算机、h d t v 等。另外，随着通信技术的迅猛发展，通信 网络结构也在不断地异构化、复杂化。网络设备所构成的通信信道带宽跨度也比较 大，从几千到几千兆比特每秒。传统单一压缩质量的编解码器己不再或根本不能满足 这种多样化服务的需求。也正是这种多样化的用户需求与复杂化的网络结构给视频编 码带来了新的挑战。 为了满足适应这种需求与环境，未来的图像视频编码应用也将逐渐地多元化。 面对这种技术应用趋势，视频编码的研究目标也从传统单一的压缩观念转移。要根本 中山大学硕士论文 上解决目前视频编码所面临的需求所带来的挑战，那就是设计一个允许视频信息能够 有效存储和分布的编码系统；从另一角度看，就是要求编码比特流能够较好地适应多 元化传输应用环境。这也就是本文的主旨，本文的任务是致力于研究和改进一种新的 视频压缩方案一基于嵌入式编码技术 1 6 】的高度可分级编码。 1 1 2 现有的解决途径 传统的解决方法就是针对不同的需求生成多个比特流来满足不同的需求。这种多 比特流的方法在视频流式应用中被广泛应用。通常是对同一视频片段生成几个比特 流，然后根据不同应用需求进行切换。这种方法的最明显的缺点就是没有对同一信源 的比特流之间的高度统计相关性加以利用。假设视频编码系统需要适应以空间分辨 率冗。、帧率亿和图像质量水平冗。的空时分辨率的解码，就必须生成冗。x 亿x7 乙个比 特流来表示同一视频源。比特流和相应的存储和带宽消耗随着需求的解码格式的增加 而迅速增长，进一步显示出这种方法的局限性和低效率。另一种方法就是通过转码来 满足这一要求，单从存储角度看这种方法是可行的：但对于视频不同环境下的实时应 用来说，实时自适应的转码并不很有效而且计算复杂度非常高。 另一解决途径就是分级编码：其将面向低端应用码流作为子集被嵌入到高端应用 的码流中。这样单一码流通过选择传送和解码子比特流，从而达到适应不同环境的要 求。视频分级编码主要包括s n r 分级、比特率分级、空间分级、时间分级和复杂度分 级。这些分级允许码流分别以不同的图像质量、编码速率、像素分辨率、帧率和解码 复杂度进行解码。在数据优先级保护的策略下，分级编码对有误码环境传输环境具有 更好的鲁棒性。这种优越性通常是牺牲编码的性能及增加计算复杂度而实现的。这就 涉及分级评价准则，通常对于分级算法只有当其性能及复杂度和相应不可分级算法相 差不大时才可以认为是有意义的。 传统的分级编码一般是通过分层实现，通过附加比特流层对已恢复的视频在分辨 率和或像素精度上进行增强。这样的多层方法分级方法只能取得少数几个的比特 流层：而且分级数量与各层的质量速率标准都是在编码的时候就决定了的。这种 方式并不适于带宽不断变化的网络应用如视频流传输。另外，随着分级层数的增加 分级编码的编码复杂度不断加大，效率不断降低。目前，图像和视频压缩国际标准 中定义了几种分级功能：j p e g 为质量和分辨率分级编码提供渐近和分层模式f 6 ，7 1 。 在j p e g 2 0 0 0 标准中1 7 ，1 8 1 中运用了小波变换，分级性得到了很大的提高和扩展。 在m p e g 一2 ，4 1 1 l ，1 2 ，1 9 $ i h 2 6 3 f 1 5 中仍继承了混合编码中的差错反馈循环，其s n r 和 分辨率分级视频编码标准受“漂移”的困扰，压缩性能也出现明显损失。 1 1 3 高度可分级编码 本文主要研究基： ：e z b c 2 0 2 4 算法的编码系统一高度可分级编码( m c e z b c ) 。这种可分级编码器引入了信源多分辨率和多精度表示能够以多种质 2 第1 章引言 量和分辨率对视频进行恢复。在这种分级编码系统涉及的主要技术有 - 7 - 带- i + 波变换：图像子带小波变换编码已经一种非常成熟的技术f 2 5 ，2 6 。其主 要是利用子带小波变换的能量高度集中及子带间的相似性，从而达到较高的压 缩性能。 渐近近似量化( s a q ) ：和传统的u t q 方法相比，s a q 采用不同的量化步长对 输入进行一种由粗糙到精细化的量化。 基于块的分层编码：利用子带能量聚集的特性，采用基于上下文算术编码和精细 的模型进一步消除变换域的相关性。它在压缩和编码速度上都具有很大的优越 性。 运动补偿时域滤波：通过时域子带小波变换削除视频时域相关性，产生时域低 通系列和高通系列。本文主要引入t p e s q u e t p o p e s c u 等人提出的提出格式时域分 解f 2 7 1 ，这种分解过程是一种完全可逆过程。 高度分级编码器主要是结合e z b c 算法和提升m c t f ，同时实现空间、时间和质量上 的分级功能。和m p e gf g s 相比( 见表3 一1 ) ，在低码率段性能略低于m p e gf g s 。 但是，其所提供的高度可分级性从根本上解决数字视频在异构网络上传输的难题，能 够满足不同用户的视频服务要求；另一方面，这种分级编码算法也为视频资料存储、 读取和查询提供了一种高效的途径。 1 2 论文工作与成果 根据上文的分析和最初实验结果发现，目前这种高度可分级编码算法还存在局限 性与不足。根据这些不足与局限性，我们提出相关算法进一步提高这种高度可分级编 码算法的性能。本文目的在于分析这些算法及相应的实验结果。主要包括以下几方面 内容： 自适应率失真运动矢量裁减算法f 2 8 1 ：在现有的小波分级编码算法m c e z b c 中， 对于运动矢量信息的处理方法还需要进一步改进。由于运动矢量通常是编码比特 流的最为重要的一部分，需尽可能无差错地传送到解码端。目前的m c - e z b c 同 样是将运动矢量信息嵌在比特流的最前端。通过实验发现m c e z b c 中运动矢量 过于庞大，特别是高时域分解层中的运动矢量，这导致编码比特流的低速率解码 性能较差。如何更有效地处理各个时域分解层中的运动矢量，本文提出了一种自 适应率失真自适应率失真运动矢量裁减算法。该算法能够简单有效地处理不同时 域分解层的运动矢量信息。 运动矢量的分层编码：在自适应率失真运动矢量裁减算法的实验中，发现其运动 矢量大小对低分辨率解码依然非常庞大，这也目前这种高度可分级编码算法局限 3 中山大学硕士论文 性的体现。它对所有目标解码分辨率都采用相同的运动矢量。显然，对低分辨率 解码运动矢量存在过剩。如何提取低分辨率运动矢量是运动矢量分级的关键。我 们根据运动矢量的结构及扫描次序提出一种较简单的运动矢量分层编码。实验表 明这种方法能够提高低分辨率时的解码质量，但会增加运动矢量编码复杂度。而 另一方面，由于运动矢量的减少和精度的降低，减少了对视频帧的插值复杂度， 从而大大降低的编码系统的编解码复杂度。因此，它也可以说是一种复杂度分 级。 1 3 论文安排 论文安排如下： 第1 章引言，主要介绍了当前视频应用需求与环境；分析介绍目前已有的解决途 径；指出了现有方法的不足，明确视频编码发展趋势一高度可分级编码。 第2 章可分级编码概述，对视频可分级编码进行分类叙述。详细介绍了传统可分级 视频编码方法及m p e g 一4 中建议的精细可分级编码f g s 。同时指出了当前分级编码的 主要目的，引入码率分级编码论题，又称高度可分级编码。 第3 章高度分级编码，分析当前对于这种高度可分级编码的研究现状及相应方向存 在的局限性与不足。同时对图像嵌入式编码进行深入介绍。介绍分析基于时域滤波的 高度可分级视频编码体系，并给出了m p e gs v c 组的c f p 测试数据。 第4 章自适应率失真运动补偿时域滤波，根据现在的m c ，e z b c 算法的实验结果和 目前采用的运动矢量裁剪方法的不足，论文提出了一种率失真运动矢量裁剪算法。其 中对视频时域滤波进行了详细的介绍与分析。实验结果表明采用我们提出的方法编码 所得比特流在低码率时的解码p s n r 质量有明显的提高。但是，对低分辨率解码依然 存在运动矢量占用的比特较大的问题。 第5 章运动矢量分层编码，根据空域运动补偿时域滤波存在的局限性提出了一种运 动矢量分层编码算法。分析了运动矢量分级所带来的编码增益与不足。其中特别指出 了运动矢量分级的必要性。 第6 章总结，概括了整个论文的主要贡献与今后研究的方向。 最后是参考文献，攻读硕士学位期间发表的论文和致谢。 第2 章可分级视频编码概述 可分级视频编码是过去十年的较活跃的研究领域之一。早期的研究主要集中在可 兼容编码上。面向低端视频应用的码流就是通常所说的视频基本层，它包含视频的最 基本信息；而面向高端视频应用的码流将包括低端应用的码流，并以其为基本层：如 高清电视( h d t v ) 包含标准清晰度电视( s d t v ) 。另一方面，在随机差错信道的 鲁棒传输中发现分级编码也很有用；用更可靠的传输路径或更好的保护策略传输基本 层码流。 在现有视频编码国际标准m p e g 一2 1 1 1 和h 2 6 3 1 1 5 1 中建议引入了几种视频分级方 式。后文将回顾传统混合编码系统中运用的分级编码方法。随着网络技术和编 码技术的发展，又出现了新的可分级编码算法，如m p e g 4 标准中的精细可分级 ( f g s ，f i n eg r a n u l a r i t ys c a l a b i l i t y 1 9 ，2 9 1 ) 编码。由于受传统混合编码算法的本质 特性的限制，增加分级功能一般都会带来较严重的压缩性能的损失。这也是混合编码 系统的普遍不足之处。 目前许多人正在着力于研究高度可分级编码，又称下一代可分级编码，并取得了 一些显著的成果。这些分级算法都是建立在相对完善的二维图像的子带4 , 波编码技 术上，包括在图像编码标准j p e g 2 0 0 0 中定义得的各种算法。这也是现有的大部分三 维子带，j 、波分级编码器的研究都集中在时问分级编码算法方面的原因。 本章主要分析介绍了传统的视频分级编码及目前性能较好的精细可分级编码视频 编码。而分级编码主要目的是对较低质量、分辨率的视频进行编码以达到低码率视频 传输。本章最后一节对码率可分级编码进行了简要介绍引出下一章的内容。 2 1 传统的视频分级编码 传统的分级编码技术将视频信息按重要程度分成不同的层。重要视频信息构成 视频流的基本层，且可以独立重构；在传输过程中往往具有更高的优先权或更多 的保护措旌。增强层的作用只是在基本层的基础上进一步提高图象质量。这类分级 编码方法首先出现在m p e g 一2 标准中，包括空间分级性( s p a t i a ls c a l a b i l i t y ) 、时间 分级性( t e m p o r a ls c a l a b i l i t y ) 、信噪比分级性( s n rs c a l a b i l i t y ) 和数据分割( d a t a p a r t i t i o n i n g ) 等。其后的h 2 6 3 + 和m p e g 一4 标准也定义了若干种传统的视频分级编 码。 2 1 1 空间可分级编码 5 中山大学硕士论文 空间可分级编码，如图2 1 所示，它 分两层：基本层和增强层。其中，作为 空间增强层图象预测参考l 侦的基本层图 象进行单向( 一维空间可分级编码) 或 双向( 二维空间可分级编码) 亚采样后 的编码图象。 空间可分级编码要求从单一视频源 中产生两个具有不同空间分辨率的视频 层，基本层的编码可提供基本的空间分 辨率，而增强层的编码提供输入视频源 图2 - 1 空间可分级编码 增强层 基本层 完整的空间分辨率。空间可分级编码对于每层选用什么样的图象格式提供较大的灵活 性。 在空间可分级编码中，对基本层数据的编码可以不必考虑增强层的数据。增强层 中包含基于基本层的预测误差编码。当增强层中出错时，可以只对基本层数据解码。 另外，在频繁出错且增强层数据丢失的情况下，这种技术还可减少解码图像的非线性 失真或运动抖动。 2 1 2 时间可分级编码 如图2 2 所示，时间可分级编码是对 图象序列在时间域进行亚取样，将帧 间信息分层传送。对基本层的编码采用 与视频源相同的空间分辨率，而时间分 辨率则只要视频源的一半，相对另一半 时间分辨率的剩下的帧则被编在增强层 里。当增强层丢失时，通过对基本层图 像帧的重复解码可得到较好的差错掩盖 性能。经过这种差错掩盖技术的解码图 图2 2 时间分级编码 像在时间分辨率上有所损失，但能保持其空间分辨率，从而有较好的图像主观质量。 2 1 _ 3 数据分割 数据分割是m p e g 一2 提供的一种可分级编码。m p e g 是基于d c t m e 的混合编 码，数据分割可分级性可直接在d c t 频率域进行，具有实现的简易性。其次，d c t 的 低频系数代表了图象的背景、轮廓，是保证图象传输业务质量( q o s ) 的重要信息， 而d c t 的高频系数是反映图象的边缘细节的较次要的信息。通过优先级分割易达到不 同质量要求的可分级传输。 6 第2 章可分级视频编码概述 图2 3 数据分割可分级编码 比特溉 数据分割又称为频率域分级编码，它将视频流分两层。用一个优先级分割点 ( p r i o r i t yb r e a kp o i n t ，p b p ) 来区分哪些语法元素放在基本层( p a r t i t i o n0 ，即高优 先级) ，剩下的则放在增强层( p a r t i t i o n1 ，即低优先级) 。当信道拥挤时只传送少 量基本的低频系数，而信道空闲时传送较多甚至全部系数。其数据分割是根据优先级 分割点( p b p ) 来设置的。p b p 越大，分配到基本层的d c t 系数就越多，基本层的数 据量就越大，当增强层误码或丢失的时候，恢复图像的质量也相对越高。对于场景复 杂和运动不剧烈的视频序列，由于高频分量相对少，p b p 值可取小些：当场景复杂和 运动剧烈时，高频分量丰富，为保证图像质量，p b p 应适当高些。 2 1 4 质量可分级编码 质量可分级编码( 也称s n r 可分级编码) 是将由压缩编码引入的本地重建图像与 原始图像之间的编码误差进行编码，作为增强层进行传送。如图2 4 所示s n r 可分级 编码以单一视频源产生具有相同的空间、时间分辨率而不同质量的两个视频层，基本 层视频数据解码可以提供基本质量图像，当增强层信息与基本层信息叠加在一起的时 候，将得到更高信噪比的图像。 s n r 可分级编码的一个优点是，即使在增强层数据丢失时仍可以在解码端得到质 量较低当仍可以接受的解码图像。在频繁出错时，这种方法是有效的，其解码出来的 图像的非线性失真如方块效应或运动抖动等相对会比较少。 2 1 5 基于对象的可分级编码 在m p e g 4 视频的测试模型中提出了两种可分级编码方案，一种是空间可分级编 码方案，一种是时间可分级编码方案。在v m 中讨论的可分级性框架称做一般的可分 级性，包含了时间可分级和空间可分级。其中，在时间可分级中支持帧或以任意形状 的v o p ( v i d e oo b j e c tp l a n e ) 为单位的可分级性，而空间可分级性中只支持以帧为 单位的可分级性，也就是在h 2 6 3 + 中的空间可分级编码。 在这里将主要介绍基于对象的时间可分级( o b j e c t b a s e dt e m p o r a ls c a l a - b i l t y ，o t s ) 编码。在o t s 中可以对多于两层的信息进行编码，基本层和增强层。在 增强层中，运动图象中选中对象的帧率得到提高，使得该对象的运动比其它对象的更 中山大学硕士论文 一。一i 1 敬 ， 错 ，一、一 | 蓝盖露链瓣鞋i 一 潸 、1l 娜娜绀赫i 1 剩 嚣 - i 增强层螭镪潦i - 图2 4s n r 分级编码 流 平滑。这一技术在带宽有限、不足以使所有对象都具有连续运动的低码率视频编码应 用中很有用。例如，假设一个运动图象中的某些对象用较低的帧速率进行编码，就可 以节约一部分码流，从而节约一部分带宽。另 b o t s 还可以用于基于对象的编辑，这 时视频对象的码流复合在要编辑的单个码流中。 在o t s 中基本层被分成选定对象和其它对象，每个对象分别进行编码。在增强层 中，只对选定对象进行编码以获得比基本层更高的帧率。 2 2 精细可分级编码 在m p e g 一4 中定义的精细可分级编码( f i n eg r a n u l a r i t ys c a l a b i l i t y ，f g s ) 提供了 精细的分级能力。它是质量可分级的种，但完全有别于传统的质量可分级编码。如 图5 所示，f g s 编码的增强层图像具有和基本层图像相同的空间以及时间分辨率。其基 本层采用传统的视频编码技术，生成个固定的低码率的基本层码流，提供给收端最 基本质量的解码视频流；编码器将本地解码图像和原始图像的残差图像帧内编码得到 增强层码流。 由于增强层采用了位平面编码技术，它提供了嵌入式的可分级性编码。增强层码 流可以根据用户终端和网络连接的不同情况以及这些情况随时间的变化在任意位置截 断，增强层截断的不同位置得到不同质量的图像。用户不再是仅有几种有限的图像质 量供选择，而是针对自己的情况得到所能获得的最佳图像质量。另外，在增强层中对 变换系数进行子带重排，这大大增强了编码器的分级性能。但是这种算法并没有为空 间和时间提供可分级性。 当然，为了提高f g s 算法的分级能力也有很多人提出了不同的改进，但这些都是 8 第2 章可分级视频编码概述 在基本的f g s 算法加入一定的预测、插值实现时间或空间分级编码。而这种分级都类 似于传统的分级编码，其实现的复杂度往往高于传统的分级编码，大大降低了f g s 算 法的编码效率。 f g s 算法的另一优点就是可以很方便地融合己有的编码算法之中。对于新一代 视频压缩编码标准h 2 6 4 ( i s o e c1 4 4 9 6 - 1 0 ) ，如果不加修改地使用现有的f g s 算 法，将会带来一些的负面影响。文献3 0 1 提出了相应的改进方案，但还不完善。因此 在h 2 6 4 标准中还没有加入对分级编码的支持，这也意味着需要研究新的更加完备的分 级编码。 2 3 码率可分级性 图2 5f g s 编码 针对小波变换的特点，s h a p i r o 提出了e z wf 3 1 编码算法，这种算法是一种非常有 效的图象编码算法。它提供了一种特殊的编码策略，即嵌入式的码率可分级算法。其 与m p e g 一4 和h 2 6 4 中的f g s 不同点在于，码率可分级编码中的压缩码流只有一个。本 文下一部分将着重介绍由该算法引出的小波可分级视频编码。 第3 章高度可分级视频编码 基于子带小波变换编码技术己经非常成熟，特别是在图像编码领域的嵌入式小 波图像编码。最初，s h a p i r o 在文献 3 l 】中提出的嵌入式零树小波编码( e z w ) 。以其 优越的特性而被广泛应用和研究。相对传统的顺序编码而言，嵌入式编码的优越性主 要体现在以下几方面： 渐近图像传输由于原图像是运用多级量化进行编码的，无论是粗糙还是精细的图 像都可以从单嵌入式码流解码出来。因此编码图像能够进行查阅预览：而且在对 原图像进行多次重构只需继续传送更多的码流数据而无需增加任何带宽的消耗。 这一特性对于不断增长的网络应用具有特别的吸引力。 数据特殊保护多量化体制产生的嵌入式码流通常被分割成一系列按优先级排列的 码流层。这样就可以实现在差错的信道图像传输中对重要数据进行分别保护。 准确的码率控制因为较低码率的码流都被嵌入到码流的开始位置，这样编码器根 据目标码率或图像质量来控制编码过程。 质量的可分级性任何低码率的图像都可以从单一嵌入式码流中解码出来。这样就 不必对同一图像保存多个不同质量的压缩文件；同样编码时也不需要考虑最终解 码速率质量。从而实现编解码器的分离。 高效的编码性熊子带系数比特平面编码只涉及二进制比特平面数据的编码。众所 周知，像素间的统计相关性可以用比较小的码表来加心削除。编码速度和压缩性 能可以运用高效二进制熵编码算法加以提高。 由于嵌入式编码小波图像编码本身具备一种内在的可分级性，这也使得其成为分 级编码的研究热点一无论是图像分级编码，还是视频分级编码。j p e g 2 0 0 0 国际标准 就以嵌入式小波编码机制为核心压缩算法的成功典范。而在视频可分级编码方面，目 前基于帧间运动补偿时域滤波的可分级编码也主要是利用了二维图像小波编码的分级 特性。 3 1 小波系数比特平面图像编码 最初的小波比特平面图像编码并没有涉及比特分配、数据训练、码表设计或其它 复杂优化操作。对于这种编码器当采用相同的滤波组进行变换时，整个编码的压缩性 能主要由用于比特平面系数的无损压缩的熵编码方法效率决定。后文将对无损数据压 缩的理论约束一熵编码的基本理论进行简要概括。对于熵编码，s a i d 等人在文3 2 1 一 种有效的块熵编码方法：码表和分组分割( a g p ) 。 中山大学硕士论文 3 1 1 比特平面图像编码概述 图3 1 是子带小波比特平面图像编码系统的方块图。输入图像首先经正向离散 小波变换( f d w t ) 去相关，再对变换系数进行比特平面编码。比特平面逼近的思 想类似实数的二进制表示c = 。b 2 “，其中n = 礼，n 一l ，k o ，1 。c n 不确定部分由附加比特等分。对一个给定的数或系数，其最终的精度由所获取的比 特总数决定。在渐近图像压缩中，子带系数w ii 以“符号一幅值”形式进行表示，如图 i n p u t i m a g e d e o c d e d i m a g e三卜区逼一 图3 1子带小波比特平面图像编码系统的方块图 3 - 2 ( a ) 所示叫q = s i g n ( w t7 ) l w 坩l ，其e o s i g n ( ) 是符号函数。编码从最高比特( m s b ) 平面开始，一个一个比特平面进行编码，直到最低比特( l s b ) 平面为止。对每个比 特平面，所有幅值比特平面数据都用指定的扫描次序进行编码，如3 - 2 f b l 所示。在进 行重要性判定时，一旦系数被认为重要，那么首先编码其符号位：而系数的幅值则是 通过比特平面渐近细化。当比特缓冲区耗尽或到达期望精度时，就可以中断编码细化 过程。 假设比特平面编码恰恰在第n 层比特平面停止，那么解码器就可以断定所有不重要 系数都在区间( 一2 “，2 ”) 内。而重要系数的不确定部分大小等于2 n 。此时，量化结果和 常规顺序编码中用量化区间3 1 量化的结果相同的， 其中q 是像素o 牙的量化值。对应的量化函数相当于步长为2 ”，取值区间为两倍步长 的统一阈值量化器( u t q ) 3 3 1 。由此可以看出，在小波系数比特平面编码中尽管没 有显式地执行量化操作，但比特平面编码器蕴含一种嵌入式统一闽值量化器。它可以 有效地量化所有系数。而这种渐近量化的步长是随着编码比特平面层的降低而成倍缩 小的。图3 2 c 形象描述了和比特平面相关的高效量化器。如果编码过程在某比特平面 中间停止，那么最后编码的比特平面中有些系数并没有进行编码。这些系数将采用前 一比特平面编码的量化器近似量化。但借助于高阶综合滤波组对量化误差具有泛散作 用，近似量化在解码图像某区域产生的细微差异并不明显。 y 圳、m 协 把 = 彳 第3 章高度可分级视频编码 4 雌一3 y ( a ) l * _ j 要上一 l 崔* _ 上* 要 _ 卜l 削 l 鹫峡b * k b 廿j _ 快b x j 崔州 图3 2 小波系数比特平面编码 3 1 2 熵率$ n a p s g 假设一个随机过程 x d ，其码表为疋，联合概率密度函数p ( z l ，z 2 p r ( x l ，x 2 ，义k ) = ( 。t ，x 2 ，- ，z 。) ，( 。l ，x 2 ，z 。) 爿”，n = 1 ，2 式( 3 - 2 ) 中的极限存在，那么其熵率3 4 1 为： 1 h ( x ) 兰l i m 二h ( x l ，局，一，蜀) 其中： h ( x l ，x 2 z nj= 如果公 ( 3 - 2 ) z 。) l 0 9 2 p ( x l ，z 2 ，x 。)( 3 - 3 ) 。是随机变量x 1 ，恐，溉的联合熵。而对于每个符号厶的平均码长为f 3 4 1 ： h ( x 1 ，恐，墨) ，日( x 1 ，恐，凰) 1，。、 五一。”元一1 磊 i o 一4 j 如果f 五是平稳随机过程，那么就有c 几一h ( x ) 。但在实际中，怎样取得这个熵率的 理论边界呢? 一般作法是通过对长度( 或大小) 逐渐增加的矢量集( 或块) 编码来得 到一个近似值。这种方法也被称为源码表的咒次扩展。然而，当信源在不断扩展时， 1 3 一 一 zz p 栅 一 一 = x 中山大学硕士论文 其码表的大小l 石i “随矢量长度的增加成指数增长。例如对一个2 2 像素大小的8 比特 的图像组合时，其码表大小为2 5 6 4 ( 大于4 百万) 。 随着矢量维数的增加，计算和存储负担都是该算法真正的瓶颈，这就是编码 研究中所谓的维数灾难。s a i d 等人在自然图像的高效块熵编码“码表分组划分” ( a g p ) 3 2 ，3 5 ，3 6 1 的研究中对这一问题进行了分析。在他们提出的算法中，将源码 表分割( 或量化) 成少数集合；再通过索引来查询对应的源码元。通常这种集合索引 ( s e ti n d e xo rs e tn u m b e r ) 方法可以有效地描述了信源样本。这也突出显示了源码 表中可以利用的强相关性。信源样本间的相关性是通过对集合索引成块编码来加以削 除的；因为集合索引的码表大小要比信源码表更小，从而降低了由信源n 序扩展带来 的复杂度。编码系统资源将主要用于数集序号的熵编码。 a g p 算法本身就是一种较常见的码表划分与样本分组( a j p s g ) 思想。在众多编 码算法中，还有其它类似图像编码算法也间接利用了这种思想。我们将这种a d h o c 技 术统称为a p s g 。 熵码率另一定义。取任意随机过程f 五，若式3 5 中极限存在，那么应有： 日7 ( 爿) 兰| i m 日( x 。i j 厶一l ，尼一2 ，一，x 1 )( 3 5 ) n 一。 其中， h ( x 。i x - l ，吨，噩) 全一f fp ( 札h 一，x t ) l o g ：p ( x 。b - 1 1 址2 ，m ) ( o l ，0 2 ，- ，z n ) x ” ( 3 - 6 ) 同样如果f 五 也是平稳随机过程，那么式3 2 和3 5 中的极限都存在且相等。而这两种 定义只是熵码率的不同表示。前者( 3 - 2 ) 表示“随机变量n 的每个符号的熵”，其最 小期望码长由块大小增加的块熵编码来得到。后者( 3 - 5 ) 表示“当前随机变量相对已 有变量的条件熵”，其最小期望码长可以通过对不断增加的模型序( m o d e lo r d e r ) 的 条件熵编码来确定。 条件熵编码的复杂度是随模型序的增长而不断加剧。前面提及的a p s g 技术可以 用于提高上下文模型化的效率f 3 2 1 。值得注意是码表划分的思想非常类似于上下文量 化，可以且被广泛应用于减少条件熵编码的模型消耗。在e z b c 算法中，对信源样本 和模型化上下文都运用了a p s g 。 3 2 嵌入式小波图像可分级编码 本章将着重介绍了两种通用的小波比特平面编码技术分层集合分割和上下文相 关顺序比特平面编码。前者是基于块熵编码上的技术，而后者是条件熵编码技术。 同时电引入了s v c 提出的高度可分级编码的基础部分基于上下文的嵌入式零块编码 ( e z b c ) 因为嵌入式码流在任意给定点截断，那些重要的视觉信息编码数据必须尽快送 出。这些基本概念