（计算机系统结构专业论文）运动估计算法与实时视频编码优化技术研究.pdf

摘要 随着多媒体技术与网络技术的飞速发展和广泛应用，对数字多媒体信号的存 储，处理以及传输变得越来越方便和快捷，同时由于通用计算处理单元c p u 和 各种专用处理器的处理能力的提高，使得基于通用和专用的处理器的实时编解码 系统的实现成为可能。另一方面，新的视频压缩标准的出现，在提高压缩编码效 率的同时也加大了编码的运算量，例如m p e g 2 和h 2 6 4 为提高压缩编码效率而 采用的基于块的运动补偿技术带来了运动估计计算量增加的问题，同时也给实时 编解码系统的实现带来了挑战。 本文首先针对全局运动估计能够较粗略的表征各种运动的特点，提出了一种 基于全局运动的非对称十字搜索算法g m b u c v p ，很好的解决了保持重建质量 和降低运动估计计算量之间的平衡问题。g m b u c v p 首先利用粗略的全局运动 估计算法计算出运动参数，在此基础上，结合准确的运动矢量预测和中止技术， 采用了非对称十字搜索算法以避免运动矢量搜索落入到局部最小点，同时又能够 快速的逼近最优点，适合于运动剧烈和不规则的情况，最后采用精细的小菱形搜 索实现运动矢量的细化。 本文针对基于专用数字信号处理器d s p 体系结构的特点，提出了一种基于 宏块级的编码器软件体系结构实现，相对于基于帧的编码器的软件体系结构的实 现，通过实际的系统验证了基于宏块级的软件结构的编码器的效率更高，而且这 种基于宏块的软件体系结构的编码器设计思想也可以推广到类似于d s p 的嵌入 式系统。同时，针对1 r i 的c 6 0 0 0 系列的d s p ，本文系统的总结了从编码器的整 体的优化策略以及到关键软件模块化技术，根据实际的数据结果得出以下结论： 对于整体优化，在算法性能提高不了很大的情况下，访存是首要考虑的重点对象； 而在对关键模块进行流水线处理优化的时候，如何编排各个核心资源是关键。 关键字：运动估计，提前截止，峰值信噪比，流水线，优化 r e s e a r c ho nm o t i o ne s t i m a t i o na l g o r i t h ma n do p t i m i z a t i o no fr e a lt i m e v i d e oc o d es y s t e m s k u a n gx i a n f e n g ( c o m p u t e r a r c h i t e c t u r e ) d i r e c t e db yh o uz i f e n g w i t l lt h et e c h n i q u e so f m u l t i m e d i aa n dn e t w o r kh a v e b e e nr a p i d l yd e v e l o p e da n d w i d e l ya p p l i e di no u rs o c i e t y , i ti sb e c o m i n gm o r ea n dm o r ec o n v e n i e n ta n dq u i c kf o r u st os t o r e ，p r o c e s sa n dt r a n s m i td i g i t a lm u l t i m e d i as i g n a l s o nt h eo n eh a n d ，i ti s p o s s i b l ef o rt h ei n f o r m a t i o nm a k e r st od e s i g nt h e i rr e a lt i m ev i d e oc o d e cs y s t e m s b a s e do nc o m m o no rd e d i c a t e dp r o c e s s o r su n d e rt h ec a p a b i l i t yd e v e l o p m e n to f t h o s e k i n d so fp r o c e s s o r s ，o nt h eo t h e rh a n d ，t h ea p p e a r a n c eo fn e wv i d e os t a n d a r d sh a s s h o w e dt h a ti a r g e rc o m p r e s s i o nr a t i od e m a n d sm o r ea n dm o r ec o m p u t a t i o n i no r d e r t oi m p r o v et h ep e r f o r m a n c eo ft h ec o d e r , t h em p e g - 2a n dm p e g - 4s t a n d a r d su s e m o t i o nc o m p e n s a t i o nt e c h n i q u e sb a s e do nf i x e do rv a r i a b l eb l o c ks i z e s ，w h i c hb r i n g s t h ep r o b l e mo fi n c r e a s i n gc o m p l e x i t ya n dc o m p u t a t i o n , a n da l s o ，b r i n g st h ec h a l l e n g e o f i m p l e m e n t i n gs u c hr e a lt i m ev i d e oc o d e cs y s t e m s i nt h i sp a p e r , an e w a l g o r i t h mn a m e d c o a r s eg l o b a lm o t i o ne s t i m a t i o nb a s e d b l o c km a t c ha l g o r i t h mu s i n gu n s y m m e t r i c a l - c r o s sp r e d i c t i o n ( g m b u c v p ) i s p r o p o s e db a s e do nt h e f e a t u r e st h a tt h er e s u l t so fg l o b a lm o t i o ne s t i m a t i o nc a n c o a r s e l yr e p r e s e n tt h em o t i o no ft h es e q u e n c e s t h eg m b u c v pa l g o r i t h mc a l lk e 印 g o o d b a l a n c eb e t w e e nt h ei m a g eq u a l i t ya n dt h er e q u i r e dc o m p u t a t i o n 仙e g m b u c v pf i r s tu s e sc o a r s eg l o b a lm o t i o ne s t i m a t i o nt oe s t i m a t em o t i o np a r a m e t e r s s e c o n d l y ，c o m b i n e dw i t h m o r ea c c u r a t em o t i o nv e c t o rp r e d i c t i o na n de a r l y t e r m i n a t i o nt e c h n i q u e s ，w et a k et h ea d v a n t a g eo fu n s y m m e t r i c a l c r o s ss e a r c ht of a s t a p p r o a c hg l o b a lo p t i m u ma n da v o i ds e a r c h i n gt h em o t i o nv e c t o rt oal o c a lo p f i m u m o u re x p e r i m e n ts h o wt h a tt h eg m b u c v pa l g o r i t h mh a ss o m er o b u s m e s si nk i n d so f m o t i o nt y p e s a l s o ，i nt h i sp a p e r ，a ni m p l e m e n t a t i o no fn e ws o f t w a r ea r c h i t e c t u r e ：m a c r o b l o c kb a s e dm p e g 2c o d e ri sp r o p o s e da c c o r d i n gt ot h eh a r d w a r ea r c h i t e c t u r eo f d i g i t a ls i g n a lp r o c e s s o r s p ) c o m p a r i n gt ot h ei m p l e m e n t a t i o no ff r a m eb a s e d m p e g - 2c o d e so u rs c h e m ei sm o r ea p p l i c a b l ei nt i l i sk i n d so fd s pl i k ee m b e d d e d s y s t e m s a sf o rt h eo p t i m i z a t i o no fg l o b a ls t r a t e g ya n dk e yc o m p o n e n lw eg e tt h e f o l l o w i n gr e s u l tf r o mo u re x p e r i e n c eo fo p t i m i z i n go u rm p e g - 2c o d e r ：o p t i m i z i n g a t t h ec o d e l i n el e v e l ，i sn o tn e a r l ya se f f e c t i v ea sh i g h e r - o r d e ro p t i m i z a t i o n s p a g i n g o p t i m i z a t i o n s ，c a c h el i n eo p t i m i z a t i o n s ，a n dm e m o r ya l l o c a t i o no p t i m i z a t i o n sc a l l o r e nh a v ev a s t l ym o r es i g n i f i c a n te f f e c t st h a nc o d e l i n eo p t i m i z a t i o n a l g o r i t h m i c o p t i m i z a t i o n sa r et h en e x tb e s tb e t , p a r t i c u l a r l yi fy o u rp r o b l e mi sn o ta m e n a b l et o p a g i n g c a c h eo p t i m i z a t i o n s o n l ya f t e ra l lt h e s eh a v eb e e nd o n e ，a n d ，o fc o u r s e ，y o u h a v em e a s u r e de v e r y t h i n gi ns i g h t , d o e si tm a k es e n s et os t a r t d o i n gl i n e - l e v e l o p t i m i z a t i o n s a n di fy o u rp r o b l e md o m a i nd e m a n d si t , i tc a ne v e nm a k es e n s et o r e c o d et h ei n n e rl o o p s ，p a r t i c u l a r l yo fs u c ha l g o r i t h m sa sc o n v o l u t i o na l g o r i t h m sa n d d s p a l g o r i t h m s ，i na s s e m b l yc o d e ，m o s to f t e nt ot a k ea d v a n t a g eo ft h ei n s t r u c t i o n s s u c ha sf o rm m xa n ds t r e a m i n gm e d i a k e y w o r d s ：m o t i o ne s t i m a t i o n , e a r l yt e r m i n a t i o n ，p s n r , p i p e l i n ea n do p t i m i z a t i o n i 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究 工作及取得的研究成果。就我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示了谢意。 作者签名： 陧影冯 关于论文使用授权的说明 日期：础二6 雠砸蟛新虢嘲帆一“ 第一章引言 1 1 图象编码的发展 1 1 1 概述 第一章引言 模拟信号的数字化克服了模拟信号易衰减的缺点，为信号的存储，处理，呈 现带来了极大的方便，但是数字信号也带来新问题是需要占用很大的存储空间和 传输带宽。特别是对于图象视频这样的二维数据。一个很明显的例子是，如果要 传输和存储一个小时的d 1 ( 7 2 0 x 4 8 0 ) 的数字图象序列所需的存储空问和传输 带宽是7 2 0 x 4 8 0 x 3 x 3 0 x 3 6 0 0 - = 1 0 0 0b y t e s ，这样大的数据量，即使在存储容 量飞速扩大的今天，也是一个非常大的负担，因而必须对数字图象进行压缩编码。 一般来说，图象编码分为两大类：静止图象压缩编码和动态图象压缩编码。 从信号失真上来说，静止图象压缩编码可以分为无失真压缩编码和有失真压缩编 码。无失真压缩编码是指在解码端能够完整无误的恢复出原始图象信号。有失真 压缩编码一般是指不能无失真的恢复原始图象信号。因为无失真编码的压缩效率 不是很高，而有失真压缩编码可以实现比较高的压缩比，所以静止图象压缩编码 的重点放在图象失真不易为人眼觉察的条件下尽可能的提高压缩效率。历史上， 运动图象编码所处理的信源是经过数字化的从模拟摄像设备种得到的电视信号 的视频部分，所以运动图象压缩编码也可以称为视频压缩编码运动图象可以 看作是具有时间相关性的静止图象构成的图象序列。由于运动图象需要的存储空 间和占用的信道带宽都相当大，因此视频压缩编码方案一般都是有失真方案以达 到高的压缩效率，从而有效的实现存储和传输。 6 0 多年来，人们一直致力于数字图象压缩编码技术的研究，并且在理论上 和应用上都取得了大量的成果。近3 0 年来是数字图象编码理论和半导体技术快 速发展的时期。一方面，编码理论的发展使得新算法不断涌现，这些算法能够更 快更好的压缩图象，并且促进了许多视频编码标准的产生。另一方面，利用更精 细工艺制造出来的微处理器使得计算机和消费电子产品具有更强的图象处理能 力，能够完成更多的任务。但是随着当今多媒体业务的不断增长，处理器的空闲 运算能力总是会被新的多媒体业务所占用。可以说处理器的能力永远是不够的。 所以如何在有限的软硬件资源的基础上能够更快更好的实现视频编解码器是多 媒体通信系统中的一个很重要的问题。 1 1 2 视频压缩原理和背景 视频信号在数字化后虽然具有巨大的数据量，同时其无论在统计特性上还是 运动估计算法与实时视频编码优化技术研究 对于人眼的感观系统来说都存在着巨大的冗余，因此就产生了基于统计方法和人 眼视觉特性这两类技术的视频压缩算法。 统计方法得以有效的利用主要得益于数字化视频信息的产生和信号处理领 域研究的进展。目前在视频编码技术中主要包含三类编码：运动补偿去除时间域 的冗余度，变换去除空间域的冗余度，熵编码去除统计上的冗余度。 l 运动补偿 在电视产生的最初的年代里，人们就认识到视频信号在时间域上存在这很大 的余度。k e l l 在他的第一专利中就提出了传输每一帧中变化的部分内容就可极大 的节省传输带宽。在5 0 年代，这一概念得到了进一步的扩展。1 9 5 2 年，c u t l e r s 在其专利中首先提出了d p c m 的概念之后。同年o l i v e r 对图像的线性预测法做 了理论的分析【l j ，首先将其用于视频编码之中，但是只考虑了空间域的预测，同 时h a r r i s o n 考虑了利用前一帧视频数据进行线性预测的情况，并且研究了二维预 测方法【2 】。其后的2 0 年里，b e l l 实验室在空间d p c m 编码方面做了很多研究， 如1 9 5 8 年g r a n h a m 首次用计算机模拟法研究图象的d p c m 编码方法 3 1 。1 9 6 6 年o n e a l 依据最小均方差( m m s e ) 准则，继续用计算机模拟法对图象的d p c m 编码器和量化器作了系统分析【4 】，而在1 9 6 9 年m o u n t s 等首次提出了帧间预测方 法 5 1 ，在8 0 年代运动补偿d p c m 编码方式被h 2 6 1 标准采纳延续至今。运动补 偿d p c m 编码方式中在编码端的运动估计运算也是编码器中运算量最为庞杂的 部分，对其软硬件实现的优化算法的研究也一直是研究的重点问题。 2 变换 自然序列具有较多的低频信息，这样空域的信号能量多在抽样间均匀分布， 相应在频域的信号就集中在少数的抽样上。这一观察结果导致了6 0 年代末期的 变换编码的研究的发展。1 9 6 5 年e n o m o t o 和s h i b a t a 最先提出了用一维h a d a m a r d 变换用于视频信号压缩 6 l ，a b d r e w 和p r a t t 在1 9 6 8 年第一次研究 - - 维傅立叶 变换的方法【7 ，h a d a m a r d 变换一度成为研究的热点是因为他的运算只需要加法 和减法，而且理论上也可以证明h a d a m a r d 变换相比于傅立叶变换在小块尺寸时 具有更好的能量聚集特性。但h a d a m a r d 变换造成的主观视觉效果的下降始终是 一个问题，因为h a d a m a r d 变换的基本波形是方波，边缘会有突变，不符合自然 视频图象的平滑特性。这样h a a r 变换和s l a n t 变换【8 】相继被提出，但是效果都不 是很理想。1 9 7 4 年a h m e d ，n a t a r a j a n ，和r a o 提出的余弦变换取得了突破性的 进展1 9 ，余弦变换能够达到接近k l ( k a r h u n e n - l o e v e ) 变换的性能，同时又具 有快速算法利于硬件实现，这些优点很快使余弦变换代替上述算法成为研究和应 用的热点。基于8 8 块的d c t ( d i s c r e t ec o s i n et r a n s f o 眦) 在 h 2 6 1 , m p e g 1 m p e g 2 , m p e g - 4 和h 2 6 3 中都作为基本变换算法的到应用。d c t 由于浮点运算的因素仍然存在编解码端的失配( m i s s m a t c h ) 问题，因此在h 2 6 l 2 第一章引言 和h _ 2 6 4 中采用了类余弦的整系数变换方式，与量化步骤结合在起并接将乘法 操作集合到量化步骤中，这样不仅变换只需要加法和移位操作以易于硬件实现， 而其反变换在标准中得到完整到的定义，避免了编解码端的失配问题。虽然整系 数交换的能量聚集特性比d c t 变换会差些，但是由于h 2 6 4 中用的许多提高预 测准确度的算法使残差信号的能量很小，一次实际变换性能的稍微下降对最终编 码效率的影响不大。 3 熵编码 熵编码的概念最先由f a n o 在1 9 4 9 年提出，在1 9 5 2 年被h u f f m a a 进一步发 展，熵编码第一次出现在t a s t o 和w i n t z 在1 9 7 1 年应用于图象编码之中【l 。 s h a n n o n - f a n o 熵编码方法在m p e g 中也被用于帧内编码块的d c 系数的编码， 其后的二维游程编码方法在h 2 6 1 , m p e g 1 【1 1 , m p e g 2 t 1 2 l 标准中得到应用，其基 本思想是用( r u n ，l e v e l ) 表示变换系数中的非零系数之前0 的个数，( r u n 为非 零系数之前的0 的个数，l e v e l 为非零的系数的值) ，然后用e o b ( e n do f b l o c k ) 表示最后一个非零的系数。但是在低码率的情况下，2 dv l c 编码的效率因为 e o b 的比例过高而有所下降，所以发展了3 dv l c 在h 2 6 3 ，m p e g 4 标准被用 于变换系数的编码，其基本思想是在原来二维表示符之上再加一维表示此非零系 数是否为最后一个非零系数的标志变成了( r u n ，l e v e l ，e n d ) 。在h 2 6 4 中两类 熵编码算法被采用，一类是基于上下文的自适应的二进制算术编码 ( c a b a c c o n t e x t - b a s e d a d a p i t v e b i n a r y a r i t h m e t i c c o d i n g ) ，另一类是基于上下 文的自适应变长编码( c a v l c c o n t e x t b a s e d v a r i a b l e l e n g t h c o d i n g ) 。 在这三类主要的编码工具的基础上，构成了目前诸多国际编码标准一致采纳 的混合视频编码标准【1 3 j ( 有些新的标准标准会有微小的不同，但大体一致) ，如 图i 1 示：在混合视频编码框架中，输入的图象帧一般分为两类：i n t r a 帧和i n t e r 帧。i n t r a 帧一般是输入图象的i 帧，一个g o p 的开头，由于没有可利用的时间 相关性，所以i n t m 帧只利用图象的空间相关性来编码，所以也称为帧内编码。 如图1 1 所示，i n t r a 帧输入时，两个开关都指向上方。输入的图象经过变换，量 化后经熵编码器输出码流。对于i n t e r 帧，情况要复杂些。因为i n t e r 帧还利用了 图象帧间的时间相关性，所以也称为帧问编码帧。如图1 1 中，i n t e r 输入时，两 个开关都指向下方。输入的每个分块都通过一定窗口内的运动估计来得到运动矢 量然后利用本帧的原始信号与运动矢量指向的重建信号相减形成残差来作为变 换的输入。图象之间的时间相关性使得残差信号的能量比原始信号小得多，所以 需要编码的信息就减少了很多，因此运动图象的压缩编码可以达到很高的压缩 比。残差信号经过变换，量化以及熵编码形成码流。因为解码端只能依靠重建图 象来进行运动补偿以恢复出i n t e r 帧的原始信号。为了和解码端保持一致，还需 要进行反量化，反变换以及运动补偿，最后产生此i n t e r 帧的重建图象以供下 输 运动估计算法与实时视频编码优化技术研究 一i n t e r 帧编码使用。 图1 - 1 混合视频编码框架 1 。2 视频压缩标准及研究背景 1 2 1 国际视频编码标准的发展 4 第一章引言 如图1 - 2 所示，两大国际标准化组织i s o m e p g ( i s o m o v i n g p i c t u r e e x p e r t s g r o u p ) 和i t u t v c e g ( 1 1 1 j t v i d e o c o d i n g e x p e r t g r o u p ) 在视频编码标准中 ii t u - t h 2 6 1 h 2 6 7 剧 l标准3 i m p e gm p e g - l m p e g - 4 标准 iiff 1 9 8 41 9 8 81 9 9 21 9 9 62 0 0 02 0 0 4 图l - 2 ：r r u t 和m p e g 标准发展历程 的制定的过程中发挥了重大的作用。i t u - t 制定了主要目的是针对实时视频通信 应用的h 2 6 x 系列建议标准( 例如h 2 6 1 ，h 2 6 2 h 2 6 3 h 2 6 l 以及h 2 6 4 ) ，i s o m p e g 则制定了主要目的是针对视频的存储媒体( v c d ，d v d ) 和电视广播应 用的m p e g x 系列标准( 例如m p e g 1 ，m p e g 2 ，m p e g - 4 等) 。历史上两大组织 也曾经联合制定过h 2 6 2 m p e g - 2 国际标准。i n j t 的v c e g 在标准制定之初就 提出了两个工作计划：一个是所谓的短期( s h o r tt e r m ) 计划，即在h 2 6 3 的基 础上添加一些新的功能选项，同时开始一个所谓的长期( l o n gt e r m ) 计划以发 展适应于低码率视频通信的新的国际标准，并将预计生成的标准称为h 2 6 3 l ， 在1 9 9 8 年改名为h 2 6 l 。在2 0 0 1 年1 2 月，i s om p e g 和i t u - t v c e g 两个组 织联合成立了一个联合视频组( i - j o i n tv i d e ot e a m ) ，双方统一在h 2 6 l 的基 础上形成了一个视频编码技术，最后生成了两个国际标准：i s om p e g - 4p a r t1 0 a v c ( a d v a n c e dv i d e oc o d i n g ) 和i t u t 的h 2 6 4 。本文将对视频编码标准的发 展历史简述如下： 1 9 9 8 年c c n t ( 现在的i t u t ) 制定的针对6 4 k b i t s s 电视，会议电视应用的 h 2 6 1 标型1 4 总结了1 9 4 8 年来电视图象编码4 0 年研究成果 1 5 1 。这标志着混合编 码算法的成熟和实用化。h 2 6 1 标准具有帧内编码( i 帧) 和帧间编码( p 帧) ，i 帧和p 帧采用不同的编码方法。d c t 变换，游程编码和h u f f m a n 变长编码被采 纳，h 2 6 1 也采用了码率控制策略，保证输出码率为恒定值。 在i n t 制定- i 2 6 1 标准之后，i s om p e g 于1 9 9 1 年和1 9 9 4 年分别制定了 m p e g 1 和m p e g - 2 国际标准。m p e g 1 和h 2 6 1 算法框架基本相同，主要引入 了一下新的编码工具：引入双向预测帧( b i - d i r e c t i o n a lp r e d i c t i o nf r a m e ) ，即b 帧，b 帧采用运动补偿的帧间内插，比i 帧和p 帧具有更高的压缩效率；引入了 半象素精度运动矢量；引入了帧内编码量化矩阵。m p e g - 2 在m p e g - 1 的基础上 运动估计算法与实时视频编码优化技术研究 对混合编码框架又做了如下的扩展和改进：针对电视图象隔行扫描的特点，引入 两种预测模式，即帧预测和场预测；引入可选的扫描和可选的帧内变长编码表； 可以采用用户自定义帧内和帧问量化矩阵；m p e g 2 标准还首先引入了档次 ( p r o f i l e ) 和级别( l e v e l ) 的概念。 1 9 9 5 年i t u t 提出针对低码率视频图象压缩编码标准h 2 6 3 t 1 6 1 。和h 2 6 1 相比，h 2 6 3 主要在以下几个方面进行了改进和扩展：引入半象素精度的运动矢 量；三维变长码表( r u n ，l e v e l ，l a s t ) 代替二维变长码表( r u n ，l e v e l ) ) 无限 制运动矢量模式( u n r e s t r i c t e dm o t i o nv e c t o r ，u m v ) 选项；算术编码选项；增 强预测模式选项，以增加运动矢量的开销的代价换取匹配误差的进一步降低； b p 帧模式选项，将b 帧和p 帧结合在一起编码。在h 2 6 3 标准的基础上，i t u t 又提出了新的版本h 2 6 3 + t 1 7 1 和h 2 6 3 + + t l s l ，又增加了一些新的选项，目的是进 一步提高压缩效率和扩展一些功能诸如适应网络传输等。 m p e g - 4 - v i s u a l - v i d e o o b j e c t 部分( 以下简称m p e g - 4v o ) 1 9 1 ，是在h 2 6 3 和m p e g 1 和m p e g 2 基础上发展起来的。它吸取了基于对象的编码方法和思 想【2 0 1 ，它的编码方案建立在任意形状的对象模型之上，在对图象的描述上，比传 统编码标准则增加了形状信息。相应的，m p e g - 4v o 在传统的混合编码框架下， 作了如下扩展和修改：新增加了形状编码算法；引入了任意形状的d c t 变换； 引入任意形状的运动估计算法。同时m p e g 4v o 也引入了无限制运动矢量模式 ( i7 m v ) 和4 个8 8 亮度块预测模式。运动矢量的精度也可以提高到1 4 象素 精度。m p e g 4v o 沿用了m p e g - 2 的档次级别的概念，目的是覆盖范围更广的 图象数据速率的应用。表1 2 1 和l - 2 - 2 分别概括了m p e g 4 v o 对于自然图象和 合成图象的各个档次的特点 表1 - 2 1m p e g - 4v o 关于自然图象的档次 m 口e g - 4v i s u a lp r o f i l e主要特点 s i m p l e基于矩形块的的复杂度编码 a d v a n c e ds i m p l e基于矩形块的编码，提高了编码效 率，支持隔行编码模式 a d v a n c e dr e a l - t u n es i m p l e基于矩形块的编码，提供实时流 c o r e 提供基本任意形状的对象编码 m a i n 多种特色的基于对象的编码 a d v a n c e dc o d i n ge f f i c i e n c y提供高效的基于对象的编码 n - b i t 提供非8 b i t s 的基于对象的编码 s i m p l es c a l a b l e基于矩形块的可分级的编码 f i n eg r a n u l a rs c a l a b i l i t y提供基于矩形块的高级精细可分 级编码 6 第一章引言 c o r es e a l a b l e基于对象的可分级编码 s c a l a b l et e x t u r e基于静态文本的可分级编码 a d v a n c e ds e a l a b l et e x t t t r e提供基于对象高效的可分级静态 文本编码 a d v a n c e dc o r e 集中了s i m p l e ，c o r e 和a d v a n c e d s c a l a b l et e x t u r e 的特点 s i m p l es t u d i o提供高质量的基于对象的编码 c o r es t u d i o提供高效的压缩和高质量的基于 对象的编码压缩 表1 - 2 2m p e g 4v o 关于合成图象的档次 口e g - 4v op r o f i l e主要特点 b a s i ca n i m a t e d r e x t u r e 基于2 d 网格景天文本编码 s i m p l ef a c ea n i m a t i o n 提供人脸动画模型 s i m p l ef a c ea n db o d y a n i m a t i o n 提供人脸和体态模型 h y b r i d 集中s i m p l e ，c o r e ，b a s i c a n i m a t e d t c x t i l r e 和s i m p l ef a c ea n i m a t i o n 档次 的特点 2 0 0 0 年t 开始征集h 2 6 4 1 2 l 】的建议草案，到2 0 0 4 已出台了标准。h 2 6 4 的初期目标是提高编码效率以适应低码率视频传输的要求，随后扩展到从低码率 到高码率( 超高精度视频图象压缩) 的应用，编码效率比m p e g - 2 提高约5 0 。 h 2 6 4 采纳的许多新的编码算法其实在早期就提出，只是由于当时硬件设备的限 制和复杂度过高而无法被采纳，而伴随着硬件的发展，很多算法又被重新采纳： 采用从1 6 x1 6 到4 x 4 的七种预测块模式以适应图象不同细节分布特性；多参考 帧预测模式和高精度运动矢量( 1 4 象素精度) 被采用以提高预测精度和编码效 率。与量化相结合的整系数变换不仅可以仅采用加减移位完成变换，而且避免了 以往编码器采用不同精度的d c t 和i d c t 而导致的失配问题，并且可以实现更 为精细的量化步长；增强的帧内预测提高了i 帧的编码效率，选用了基于上下文 的变长编码( c a v l c c o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n g ) 有效的提高了熵 编码的性能等等。但h 2 6 4 的编码效率的提高是以复杂度的提高为代价的。 1 2 2 运动估计算法的发展趋势 运动估计方法从发展的历史角度来看，可以分为基于特征和基于强度的两类 估计方法。 7 运动估计算法与实时视频编码优化技术研究 基于特征的估计方法首先建立起两帧图象之间选定特征点的相关性，然后通 过最4 , - 乘拟合的方法，将建立起的特征点的相关性考虑到选定的运动模型中， 得到选定的运动模型的参数。这种方法适合于参数运动模型( 也就是说该运动可 以用参数来表征的运动模型) ，而且也非常有效，比如通过这种方法来估计全局 运动参数。 基于强度的运动估计方法运用光流方程，在实际计算时要求估计所得到的运 动参数尽可能接近光流方程。这种方法适合于运动不能用一些简单的模型来表征 的时候。运用此方法得到的结果则是基于象素域或者基于块的。 在本节中，我们要讨论的运动估计算法是基于强度的估计方法。通常来讲， 基于强度的估计方法最终都转化为一个最优化问题，在最优化的过程中有三个问 题必须回答： i 、选定运动模型来表征图象的运动；即如何对图象的运动特征进行有效的 描述。 2 、用什么准则来估计模型的参数； 3 ，如何搜索到最优的参数；即运动算法的选择，如何快而准确的搜索到最 优的参数。 第一章引言 我们知道，图象的二维运动有时候是由于摄像机等图象的获取设备的移动或 者图象内单个物体的运动引起的，这样就可以通过表征运动参数的模型就能够表 示运动的特征；但是实际情况是，在大多数的情况下，图象的运动形式复杂多样， 很难用一个简单的参数模型描述清楚。最直接的方法就是对于每一个象素都有一 个运动向量，这就是所谓的基于象素的运动估计方法。但是这种方法需要估计2 编 码 效 窒 提 高 复 杂 度 增 加 图1 - 2 - 1 ：基于块的运动补偿技术的发展趋势 倍于象素点的运算量，并且如果在估计的过程中缺乏精确的物理限制，得到的估 计也是往往是不正确的。另一方面，那些只有摄像机运动或者只是图象内单个物 体运动的情况，可以运用全局参数估计去表征此运动类型。但对于通常的图象运 动类型，可以一帧图象分割成多个区域，每个区域运用参数参数模型来表征，这 类方法称为基于区域的估计方法。这种方法的困难在于事先知道哪些象素具有相 似的运动类型，因而需要对图象进行分割和估计，这样带来最直接的结果就是需 要的运算量太大以致没法实用。 9 运动估计算法与实时视频编码优化技术研究 一个变通的基于区域的估计方法，同时减少复杂的方法是所谓的基于块的运 动估计方法。这种估计方法将图象分割成固定大小的块，只要每一个块分割的足 够小使得每个块内的运动变化尽量小，能够用简单的运动模型来表征，而且每个 块都可以独立的进行估计。从上一节视频编码标准的发展的总结综述来看，早期 的视频编码标准都是基于块的编码方式( m p e g 4 标准加入了参数模型的估计) 。 随着标准的不断发展和成熟，被分割块的大小也具有灵活性。图1 2 - l 给出了基 于块的视频标准发展的趋势：随着各种技术如时空预测，高精度运动矢量，变尺 寸运动估计，以及多参考帧等技术的成熟，编码效率越来越来高，实现视频标准 的复杂度也越来越高。 1 3 本论文各部分的主要内容 综上所述，视频编码效率的提高和码流的功能性是视频编码的两个发展趋 势。一方面，伴随着v l s i 技术的不断提高，处理器的性能也在不断的提高。另 一方面，随着各种多媒体应用的需求，更高效率的视频编技术的研究也取得了极 大进步。实时编码系统的实现成为可能，并在多媒体通信系统占据着越来越来越 重要的位置。 本文围绕着两个方面深入的研究了适用于m p e g - 2 和m p e g - 4 运动估计算 法的研究以及基于d s p 的m p e g - 2 实时系统的优化技术研究。 各章内容安排如下； 第一章为绪论部分，介绍了本文的研究背景。指出了新的视频编码标准在提 高编码效率的同时也增大了编码的运算量，尽管处理器的速度也在不断的提高， 但实时的编码系统在多媒体通信系统的实现能是一个巨大的挑战。并以此引出了 本文研究工作的目的和主要内容。 第二章和第三章涉及基于块的运动估计算法的研究。 第二章从基本原理上对运动估计技术进行了阐述，并且对其发展历史和算法 分类进行了归纳，着重对空域搜索算法中基于块的搜索算法进行了详细的比较和 介绍，系统分析了其中的关键技术。为本文提出的快速搜索算法的提出打下了基 础。 第三章针对d s p 存储容量小的特点以及借鉴h 2 6 4 的多参考帧的想法，提 出一种基于全局运动的非对称十字搜索算法( g m b u c v p g l o b a lm o t i o nb a s e d u n s y m m e t r i c a l c r o s s v e c t o r p r e d i c t i v e f a s t m a t c h a l g o r i t h m ) 。d m b u c v p 分为四个 步骤；利用粗略的全局估计方法得到运动参数，预测起始搜索点，非对称十字搜 索，精细小钻石搜索。本从理论上和大量试验的基础上，分析了d m b u c v p 算 法并且与其他算法进行了比较。 第四章比较了各种实现实时视频编解码系统的硬件平台的优缺点，介绍了基 1 0 第一章引言 于d s p 的实时m p e g - 2 编码系统的硬件平台，为后一章的优化技术提供硬件平 台。 第五章详细分析了本文的主要工作内容：实时m p e g - 2 编解码软件优化实 现。 第六章对本文工作的进行了总结和展望。 第二章视频编码中的运动估计算法一综述 2 1 简介 第二章视频编码中的运动估计算法一综述 数字图象序列的处理过程中，可以通过瞬时速度v 或者位移d 来描述物 体象素点的运动，且由于图象序列在时间轴上采样的离散性，对于相对恒定的时 间采样间隔西有：d = v + a r t 。此时v 和d 是可以互换使用的然而当运动是由基 于一组象素点模型的运动参数来描述时( 如光流或者基于块的搜索算法) ，两者 之间就会存在一定的差别。 数字图象序列是由三维的物体随时间变化在二维图象平面和时间轴上的 投影而产生的。物体的运动估计实际上是通过图象象素的亮度随时间和空间的变 化近似求得的。在以压缩数据量为目标的视频编码中，运动估计技术利用前后两 帧的象素运动轨迹来进行运动参数的估计，以实现用上一帧图象的信息来预测和 表达当前帧图象，去除时间域上的冗余。 运动估计的效果和所用的运动模型是紧密相关的，复杂的模型可以较准 确的描述图象序列中物体的运动特性，可以描述较大范围和比较复杂的运动情 况；而简单的模型只能用于较小范围的运动和比较简单的运动情况。在编码系统 中，运动参数经过编码域和运动估计匹配后的残差信号共同发送到解码端，复杂 模型可能需要更多的信息来传送运动参数，而且容易受到噪声的影响。因此，在 实际的系统中，选用模型时，需要在模型的复杂度和准确性之间寻找一个均衡。 而2 d 运动域模型中的块匹配模型由于其简单有效而被广泛的研究。 2 2 运动搜索算法的分类 许多信号处理过程如图象序列分析、机器视觉、遥控学、图象序列恢复 以及编码等应用都会涉及到各种各样的估计算法。例如：在图象序列的分析中的 运动估计算法的目的在于检测和确定运动的情况。 本章将运动估计技术基本上分为两大类：频域的运动估计技术和空域的 运动估计技术。 频域的运动估计算法主要是在变换域内进行匹配搜索运算。1 9 7 4 年， h a s k e l l 的研究表明时间域的平动相对于相位的移动【2 2 j ，1 9 7 5 年由k