（通信与信息系统专业论文）基于h264avc的快速运动估计算法研究.pdf

论文题目：基于h 2 6 4 a v c 的快速运动估计算法研究 学科专业：通信与信息系统 学位申请人：刘丽娟 指导教师姓名：王沛 论文类型：应用研究 摘要 h 2 6 4 a v c 是由i t u t 和i s o i e c 联合制定的新一代国际视频编解码标准。相对于 以往的视频标准，其具有技术方面的先进性、研究方面的开放性和应用方面的国际性等特 征，因而引起了国内外专家学者的广泛关注和研究。但是，现有研究结果表明：h 2 6 4 a v c 的高性能是以高复杂度为代价的，其高复杂度的算法导致整个视频编解码的运算效率大幅 度下降。这已不能最大限度的满足人们对实时视频的需求，严重阻碍了其在实时视频方面 的推广和应用。而运动估计技术是视频编解码中的关键技术，同时也是最耗时的一个模块。 因此，提高运动估计的搜索效率就成为改进视频编解码性能的关键所在。目前，如何在保 证视频编码精度的前提下，最大限度提高运动估计的搜索速度已成为视频领域的研究热 点。 ，一直以来，各位专家学者为提高运动估计的搜索效率进行了不懈的努力，先后提出 三步法( t s s ) 、六边形搜索( h e x s ) 、菱形搜索算法( d s ) 、u m h e x a g o n s 算法、e p z s 算法等快速运动估计算法。其中，u m h e x a g o n s 算法吸收了多种运动估计算法框架的优 点，可以在保持较好的率失真性能和视频质量的情况下，有效地提高视频编码效率，因而 受到了人们的广泛关注。因此，本文拟以u m h e x a g o n s 算法为切入点，在研究运动估计 原理和运动估计关键技术的基础上对运动估计算法进行多方面改进，试图在提高运动估计 算法性能的方面有所突破。 本文首先介绍了h 2 6 4 a v c 的整体架构和关键技术，然后分析了运动估计的基本原 理和几种经典的快速运动估计算法。最后，在对u m h e x a g o n s 算法进行深入研究的基础 上，提出了改进的算法。具体而言，在充分利用了视频序列本身的特征( 运动特征、纹理 特征) 和物体的运动规律基础上，本文从以下四个方面对u m h e x a g o n s 算法进行了改进： 1 匹配准则，求和绝对误差准则( s a d ) 的匹配模板采用统一的方形模板与物体本 身的运动规律不符，并且违背了事物是多样性的统一规律。改进的匹配准则充分结合自然 界物体的运动规律，使得匹配模板选取更加科学。 2 预测搜索起点，首先根据运动矢量的时空相关性来判断当前块的运动类型。然后 针对不同的运动类型选择不同的预测算法，如果当前块是运动较小的类型，以( 0 ，0 ) 为 搜索起点；如果当前块是运动较大的类型，则根据运动矢量的空间相关性来预测搜索起点。 3 搜索范围，从视频图像的运动幅度、搜索范围的选取原则和当前预测块的块类型 三个方面来综合确定动态搜索范围，大大提高了搜索速度。同时为了保证视频编码精度， 考虑最小搜索窗口来避免陷入局部最小。 4 搜索策略，根据像素点间的空间相关性，基于统计结果设计了提前中止算法；根 据运动矢量的中心一交叉偏置分布特性和当前块的纹理特征对搜索模板进行自适应改进。 最后将这四个方面的改进技术集成到原u m h e x a g o n s 算法中，选取多种测试序列对整 体改进算法进行性能测试，从客观数据和主观效果综合对改进算法的性能进行分析。实验 结果表明：改进的算法与原u m h e x a g o n s 算法相比，在视频质量几乎不受影响的前提下， 大大减少了编码的复杂度，大大提高了编码效率。因而，其可以有效满足实时视频的需要， 并且可以应用于模式识别、视频检索和智能监控等其他视频领域。 关键词：h 2 6 4 a v c 运动估计u m h e x a g o n s 运动矢量 t i t l e ：t h er e s e a r c ho f f a s tm o t i o ne s t i m a t i o nb a s e do nh 。2 诅| 斛c m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s d e g r e ea p p l i c a n t ：l i ul i j u a n t u t o r ：w a n gp e i a s s o c i a t ep r o f e s s o r p a p e rt y p e ：a p p l i e dr e s e a r c h a bs t r a c t 1 1 1 rll lrrl lr l i ll li ii y 2 0 9 6 6 0 6 h 2 6 4 a v ci san e wg e n e r a t i o no fi n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r dj o i n t l yd e v e l o p e d b yi t u ta n di s o i e c c o m p a r e dw i t ht h ep r e v i o u sv i d e os t a n d a r d s ，w i t ht h ea d v a n c e dn a t u r e o ft h et e c h n i c a l a s p e c t s ，o p e no fr e s e a r c h a n d a p p l i c a t i o n o fi n t e r n a t i o n a la n do t h e r c h a r a c t e r i s t i c s ，g i v i n gr i s et ow i d e s p r e a dc o n c e r na n dr e s e a r c hi nd o m e s t i ca n df o r e i g ne x p e r t s a n ds c h o l a r s h o w e v e r , t h ee x i s t i n gr e s e a r c hr e s u l t ss h o wt h a t ：t h eh i g hp e r f o r m a n c eo f h 2 6 4 a v ci st h ec o s to fh i g hc o m p l e x i t y , w h i c hl e a dt ot h ec o m p u t a t i o n a le f f i c i e n c yo ft h e e n t i r ev i d e oc o d e cs i g n i f i c a n t l y t l l i sc a nn o ti i i a x i 血z ct h es a t i s f a c t i o no ft h ed e m a n df o r r e a l t i m ev i d e o as e r i o u si m p e d i m e n tt ot h ep r o m o t i o na n da p p l i c a t i o ni nr e a l - t i m ev i d e o 1 1 托 m o t i o ne s t i m a t i o nt e c h n o l o g yi st h ek e yt e c h n o l o g yi nt h ev i d e oc o d e c ，b u ta l s ot h em o s t t i m e - c o n s u m i n gm o d u l e t h e r e f o r e ，i m p r o v i n gt h es e a r c he f f i c i e n c yo fm o t i o ne s t i m a t i o nh a s b e c o m et h ek e yt oi m p r o v et h ep e r f o r m a n c eo fv i d e oc o d e c s a tp r e s e n t ，u n d e rt h ep r e m i s et o e n s u r et h ea c c u r a c yo fv i d e oc o d i n g ，m a x i m i z et h es e a r c hs p e e do fm o t i o ne s t i m a t i o na st h e c u r r e n tv i d e of i e l do f r e s e a r c hf o c u s a l la l o n g ，d i s t i n g u i s h e ds c h o l a r sa n de x p e r t si no r d e rt oi m p r o v et h ee f f i c i e n c yo fm o t i o n e s t i m a t i o ns e a r c hm a d eu n r e m i t t i n ge f f o r t s ，h a sm a d eat h r e e - s t e pm e t h o d ( t s s ) ，h e x a g o n s e a r c h ( h e x s ) ，d i a m o n ds e a r c ha l g o r i t h m ( d s ) ，u m h e x a g o n sa l g o r i t h m , e p z sa l g o r i t h mf a s t m o t i o ne s t i m a t i o na l g o r i t h m t h eu m h e x a g o n sa l g o r i t h mh a sa b s o r b e dt h ea d v a n t a g e so fa v a r i e t yo fm o t i o ne s t i m a t i o na l g o r i t h mf r a m e w o r k ，w h i c hc a nm a i n t a i nag o o dr a t e - d i s t o r t i o n p e r f o r m a n c ea n dv i d e oq u a l i t y , i m p r o v ev i d e oc o d i n ge f f i c i e n c y , w h i c hh a sb e e nw i d e s p r e a d c o n c e m t h e r e f o r e ，t h i sp a p e rt a k et h eu m h e x a g o n sa l g o r i t h ma st h es t a r t i n gp o i n t ，t h e p r i n c i p l ea n dm o t i o ne s t i m a t i o nm o t i o ne s t i m a t i o na l g o r i t h mo nt h e b a s i so ft h ek e y t e c h n o l o g i e so fv a r i o u si m p r o v e m e n t si nt h es t u d yo fm o t i o ne s t i m a t i o n , t r y i n gt oa c h i e v ea b r e a k t h r o u g hi ni m p r o v i n gt h em o t i o ne s t i m a t i o na l g o r i t h mp e r f o r m a n c e i nt h i sp a p e r , t h ef , - s td e s c r i b e st h eh 2 6 4 儿w co v e r a l la r c h i t e c t u r ea n dk e yt e c h n o l o g i e s , a n dt h e na n a l y z et h eb a s i cp r i n c i p l e so fm o t i o ne s t i m a t i o na n ds e v e r a lc l a s s i cf a s tm o t i o n n l e s t i m a t i o na l g o r i t h m f i n a l l y , i n - d e p t hs t u d yo nu m h e x a g o n sa l g o r i t h r nb a s e do nt h ep r o p o s e d i m p r o v e da l g o r i t h m i np a r t i c u l a r , t a k e f u l la d v a n t a g eo ft h ec h a r a c t e r i s t i c so ft h ev i d e o s e q u e n c ei t s e l f ( m o v e m e n tc h a r a c t e r i s t i c s ，t e x t u r ef e a t u r e s ) a n dt h el a w o f m o t i o no ft h eo b j e c t o nt h eb a s i so ff o u rp a r t su m h e x a g o n sa l g o r i t h mh a sb e e ni m p r o v e d 1 m a t c h i n gc r i t e r i a , s u m m i n gt h ea b s o l u t ee r r o rc r i t e r i o n ( s a d ) m a t c h i n gt e m p l a t e s u s i n gau n i f o r ms q u a r et e m p l a t ea n dt h eo b j e c ti t s e l fd o e sn o tm a t c ht h el a wo fm o t i o n , a n d c o n t r a r yt ot h et h i n g so ft h eu n i f i e dl a wo fd i v e r s i t y l a wo fm o t i o ni m p r o v e dt om a t c ht h e c r i t e r i af o rf u l l yi n t e g r a t e dw i t ht h en a t u r a lo b j e c t s ，m a k i n gt h em a t c h i n gt e m p l a t et os e l e c tt h e m o r es c i e n t i f i c 2 p r e d i c t e ds e a r c hs t a r t i i l gp o i n t ，f i r s ta c c o r d i n gt ot h et e m p o r a lc o r r e l a t i o no fm o t i o n v e c t o r st od e t e r m i n et h et y p eo fm o v e m e n to ft h ec u r r e n tb l o c k ；t h e nc h o o s ead i f f e r e n t p r e d i c t i o na l g o r i t h m sf o rd i f f e r e n tt y p e so fm o v e m e n t ，i f t h ec u r r e n tb l o c ki sas m a l lm o v e m e n t o ft h et y p e ，( o ，0 ) f o rt h es e a r c hs t a r t i n gp o i n t ，i ft h ec u r r e n t b l o e kt h em o v e m e n t sl a r g e rt y p e ， a c c o r d i n gt ot h es p a t i a lc o r r e l a t i o no fm o t i o nv e c t o r st op r e d i c t t h es e a r c hs t a r t i n gp o i n t 3 s e a r c h _ r a n g e ，i n t e g r a t e dt od e t e r m i n et h ed y n a m i cs e a r c hr a n g e ，t h er a n g eo fm o t i o n o ft h ev i d e oi m a g e ，t h es e a r c hs c o p eo ft h ep r i n c i p l eo fs e l e c t i o na n dt h ec u r r e n tp r e d i c t i o n b l o c kt y p et h r e et og r e a t l yi m p r o v et h es e a r c hs p e e d i no r d e rt oe n s u r et h ea c c u r a c yo fv i d e o e n c o d i n g ，c o n s i d e rt h em i n i m u ms e a r c hw i n d o w t oa v o i df a l l i n gi n t ol o c a lm i n i m u m 4 s e a r c hs t r a t e g y , a c c o r d i n gt ot h es p a t i a lc o r r e l a t i o nb e t w e e nt h ep i x e l s ，t h ee a r l y t e r m i n a t i o no ft h ea l g o r i t h mi sd e s i g n e db a s e do nt h es t a t i s t i c a lr e s u l t s ；c r o s s - b i a sd i s t r i b u t i o no f f e a t u r e sa n dt e x t u r ef e a t u r e si nt h ec u r r e n tb l o c ka c c o r d i n gt ot h em o t i o nv e c t o ro ft h ec e n t e r - t h ea d a p t i v ei m p r o v e m e n to f t h es e a r c ht e m p l a t e f i n a l l y , i m p r o v e m e n t s i ns e v e r a l a s p e c t s o ft h i s t e c h n o l o g y i n t ot h e o r i g i n a l u m h e x a g o n sa l g o r i t h m ，s e l e c tav a r i e t yo ft e s ts e q u e n c e st ot h eo v e r a l li m p r o v e m e n to f t h e a l g o r i t h mp e r f o r m a n c et e s t s r e s u l t s 丘o mac o m p r e h e n s i v ea n do b j e c t i v ed a t aa n ds u b j e c t i v e a n a l y s i so ft h ei m p r o v e dp e r f o r m a n c eo ft h ea l g o r i t h m i m p r o v e da l g o r i t h mw i t ht h eo r i g i n a l u m h e x a g o n sa l g o r i t h m , t h ev i d e oq u a l i t yi sa l m o s tn o ta f f e c t e du n d e rt h ep r e m i s eo fg r e a t l y r e d u c i n gt h ec o d i n gc o m p l e x i t y , g r e a t l yi m p r o v i n gt h ec o d i n ge f f i c i e n c y t h u s ，i tc a n e f f e c t i v e l ym e e tt h en e e d so fr e a l - t i m ev i d e o ，a n dc a nb eu s e di np a t t e r nr e c o g n i t i o n , v i d e o r e t r i e v a la n di n t e l l i g e n ts u r v e i l l a n c ev i d e o k e yw o r d s ：h 2 6 4 a v c ，m o t i o ne s t i m a t i o n , u m h e x a g o n s ，m o t i o nv e c t o r i v 上海师范大学硕士学位论文第一章绪论 1 1 研究背景及意义 第一章绪论 随着多媒体技术和数字通信技术的飞速发展，当今社会已全面进入了信息化时代。信 息的无限膨胀和全面爆炸导致了单靠语音通信己远远不能满足人们对信息多样性的需求。 而来自视觉、图像和视频的多媒体信息，因其具有直观、生动和高效等特点，因而迎合了 人们对信息多样化的需求，得到了迅速的发展。多媒体信息的迅猛发展一定程度上意味着 视频通信将成为未来社会最重要的通信技术之一。而目前视频通信兼具优越性与瓶颈限制 两重特性。一方面，经过数字化处理后的视频图像信息具有易于传输、转换、加密和抗干 扰强等优点。但另一方面，由于数字化后的视频图像信息的数据量巨大，而存储媒介和传 输设备的空间有限，两者之间的矛盾已成为制约视频通信进一步发展的瓶颈所在。 通常情况下，视频图像的冗余信息比较多。在存储媒质、传输设备空间有限的前提下， 如何将这些庞杂的冗余信息在视频编解码过程中去除便成为解决存储媒质、传输设备空间 有限与视频信息数据量巨大之间矛盾的一个突破口。而这一问题的解决关键在于视频编解 码技术的提高。因此，视频压缩编码成为了信息通信技术领域的研究热点。 随着人们对“实时视频”需求的不断增强，各种视频编解码标准应运而生。国际标准 化组织( i s o ) 及国际电信联盟( i t u ) 也制定了一系列视频编解码国际标准。其中， h 2 6 4 佾v c 因采用并很好地融合了视频编解码领域的先进技术，最终以较高的视频图像压 缩率和独具的网络友好性而成为新一代的国际视频编解码标准【l 】。相对于以往的视频标 准，其具有技术方面的先进性、研究方面的开放性和应用方面的国际性等特征，因而引起 了国内外专家学者的广泛关注和研究【2 j 。因此，以h 2 6 4 a v c 为平台研究视频信息处理 技术具有理论价值和现实意义。 运动估计是视频压缩编码运算中的关键环节。而在整个视频压缩编码过程中，运动估 计模块所耗费的时间占据相当大的比重【3 】。因此，运动估计算法的优劣直接决定着视频编 解码的效率、视频的压缩比和视频解码后的重组质量。研究高效率、高精度的快速运动估 计算法对整个视频压缩编码标准的研究以及视频信息技术的发展都具有非常重要的学术 价值。 本文以h 2 6 4 a v c 为基础，研究其组织架构及其先进技术，并对其中的关键技术一 一运动估计算法进行了重点分析。在此基础上，根据运动物体的运动规律和视频序列本身 的特征针对快速运动估计u m h e x a g o n s ( h y b r i du n s y m m e t r i c a l - c r o s sm u l t i - h e x a g o n - g r i d l 第一章绪论 上海师范大学硕士学位论文 s e a r c ha l g o r i t h mf o ri n t e g e r p e ls e a r c h ) 算法进行了改进。实验数据表明：相比原算法，改 进后的算法很好地降低了运算复杂度，大大提高了运动搜索效率，为实时视频的广泛应用 奠定了技术基础。 1 2 国内外研究现状 由于运动估计算法的性能对整个视频编解码的性能有着非常重要的影响，因此备受学 术界和产业界的关注。目前，运动估计领域的专家学者提出了很多种算法，总体来说可以 分为两大类：递归估计法和块匹配法。两类算法各有其利弊，其中基于递归思想的递归估 计法的搜索精度要略高于块匹配法 4 1 ；而基于块匹配的运动估计算法则具有算法简单、复 杂度低和便于硬件实现等优点而在实践中应用较广。基于满足实时视频的实践需要，本文 对运动估计算法的研究是基于块匹配法的。 基于块匹配的运动估计算法有着其不同的发展历程。起初，人们将侧重点放在搜索精 度的提高上。全搜索运动估计算法就是在这一背景之下提出的。其作为所有运动估计算法 中搜索精度最高的算法，已经成为后来改进算法性能的一项评价标准。但是由于其对搜索 区域内的所有像素点都要进行匹配运算，因此产生的庞大计算量难以满足当前社会对实时 视频的巨大需求，很难得到广泛应用。 随后，应实践需要，专家学者们又将研究的重点转向提高运动搜索的效率上。当然， 前提是保证视频的编码精度几乎不变。因此，快速运动估计算法一时间受到专家学者的青 睐。基于不同的理论及研究视角，专家学者们先后提出了许多不同种类的快速运动估计算 法。具体而言，最初的快速运动估计算法是基于假设误差曲面是单峰分布的，全局最小点 有且只有一个【5 1 。其中以“三步搜索法”与“共轭方向搜索法”为代表。其中，由美国人 t k o g a 等人提出的“三步搜索法，大大提高了搜索速度，但其缺陷在于不能保证达到全 局最优。而随后出现的“共轭方向搜索法”，由于其一次搜索只有一个搜索方向，因而其 算法性能和计算量稍次于三步搜索法，但其具有易于编码实现的特征。 根据运动矢量的中心偏置特性【6 】，且假设匹配误差值随着当前搜索点与全局最优点距 离的减小而单调减小，学界又提出了一系列的快速运动估计算法。其中主要包括“新三步 搜索算法 、“基于块的梯度下降搜索法”、“四步搜索算法”、“菱形搜索算法”和“六边形 搜索算法 。r l i 等人提出的“新三步搜索算法采用中心偏移的搜索模式和提前中止的 搜索策略，一定程度上降低了计算复杂度，提高了搜索速度。“四步搜索算法 与“新三 步搜索法 同样采用了中心偏置的搜索模式，在降低运算复杂度及提高搜索速度方面也取 得了一定的效果。s z h u 等人提出的“菱形搜索算法”则采用了两种大小不同的搜索模板， 其中大的搜索模板可以避免陷入局部最小点，小的搜索模板进行准确定位。l p o 和w m a 2 上海师范大学硕士学位论文第一章绪论 共同提出的“六边形搜索算法”以正六边形作为搜索模板，搜索模式与“菱形搜索算法” 相似 7 1 ，但是在计算复杂度几乎没有增加的情况下，比“菱形搜索算法 搜索精度要好的 多，后来人们提出了几种改进的六边形搜索算法。 考虑到视频图像序列的运动矢量分布是很复杂的，人们又提出了m h e x a g o n s 算法、 e p z s 等快速运动估计算法，这些算法通过增加预测矢量集和自适应技术来提高算法的自 适应性。 还有一些研究学者根据运动矢量的空间相关性，提出了融合预测起始点、视频序列类 型及提前中止机制多方面技术的快速运动估计算法。如由a l e x i sm t o u r a p i s 等人提出的 “p m v f a s t 算法【8 】、h o s u r 等人提出的“运动矢量场自适应搜索算法m v f a s t 和杨 晓珍等人提出的“m c a d s 快速运动估计算法 。 除了以上的运动估计算法外，近年来，人们也试图从其他领域来研究快速运动估计算 法。具体而言，研究的视角涉及以下几个领域： 1 基于运动方向的预测：杨志勇等人提出基于预测的方向性菱形快速运动估计算法 p d d f a 。该算法是根据参考帧的运动矢量来预测当前图像块的运动类型，再根据不同的 运动方向选择相应的搜索模式【9 j 。向友军等人在2 0 0 9 年提出基于运动方向预测的快速运 动估计算法m d p 。该算法是根据运动矢量的中心偏移特性和时空相关特性来判断视频序 列的运动类型，然后运用方向性模板进行运动搜索的。 2 基于多分辨率的搜索【l o 】：该类型的快速运动估计算法首先从当前待编码的图像中 采样一个粗分辨率的样本，在该样本中找到最佳匹配点后，然后以该匹配点为起始点，提 高图像分辨率继续搜索，直到图像达到正常的分辨率搜索到最佳匹配点。 3 基于半像素的技术【l l j ：实际物体的运动矢量存在很多小数，而基于整像素采样的 数字图像是无法得到小数的。研究学者们利用插值算法得到半像素，在此基础上进行运动 搜索，得到半像素的运动矢量。当然还有人为了得到更加精确的运动矢量，采用1 4 、1 8 甚至1 1 6 像素精度来进行运动搜索。 还有诸如基于上下文、小波域、遗传算法和相位相关等技术的快速运动估计算法，但 由于视频编码精度不高、运算复杂度高和实现难度大等问题而没有在实际中得到应用。 上述的快速运动估计算法各有其优点和不足，不能一概而论，应结合具体情况加以具 体分析。值得肯定的是这些算法在运算复杂度和搜索速度上都有一定程度的改进。但是， 上述算法还有进一步改进的空间。如何能在搜索精度与搜索速度之间找到一个最佳的平衡 点，仍是科研及实践领域亟需解决的问题。相信随着研究的进一步深入和新技术的不断推 出，快速运动估计算法的性能将会进一步优化和提升。 第一章绪论上海师范大学硕士学位论文 1 3 主要优势与技术难点 h 2 6 4 a v c 引入了多种预测块模式、多参考帧、较大的搜索范围和亚像素精度等一系 列先进技术后，在大大提高视频编解码性能的同时，运动估计的搜索耗时也成倍的增加 【1 2 】。研究快速运动估计算法成为提高视频编解码速度的一个重要途径。但是快速运动估 计算法的搜索结果常常容易陷入局部最小点，并且随着快速算法速度的提高，常常伴随着 搜索准确度的降低，从而导致码流量的增加及解码图像峰值信噪l 匕( p s n r ) 的降低。改进 的快算搜索运动估计算法通常以提高峰值信噪比( p s n r ) 、保证解码重构图像质量、提 高编码速度及降低码流量等综合性能为目标，即在保持甚至提高编码视频图像质量的同时 尽可能的提高运动搜索速度。 随着快速运动估计算法的研究深入，运动估计优化算法已不仅局限于搜索模板的改 进。运动矢量的搜索起点预测、提前中止搜索的判决策略也成为了改进搜索算法的辅助模 块。因此，提高运动估计搜索效率逐渐演变成为一个兼采多种技术的综合性问题。 本文希望通过分析当前块的相关运动矢量来预测搜索起点。通过研究视频序列的运动 类型、搜索范围的选取原则和当前块的块类型来动态确定搜索窗口。通过分析当前块的运 动特征，基于统计规律确定搜索阈值来进行提前中止判决以避免冗余搜索；基于运动矢量 的交叉一中心偏置分布特性和当前块的纹理特征来自适应的选择搜索模板的形状。最后， 通过改进的绝对误差和匹配准则s a d ( s u mo fa b s o l u t ed i f f e r e n c e ) 确定最佳匹配块位 置，得到运动矢量。本文希望改进的运动估计算法在避免落入局部最小陷阱和保证视频编 码精度并且不增加码率的同时，进一步的提高运动估计的速度和减少运动估计算法的复杂 度，以实现实时编码。 与原快速运动估计u m h e x a g o n s 算法相比，改进后的算法主要具有以下优势： 1 充分利用码流中的运动信息即运动矢量、块类型、s a d 值，使整个搜索算法更加 完善。 2 根据运动物体本身的运动规律，提出改进匹配准则s a d 的匹配模板，更符合物 体的运动状况，从根本上降低了运算复杂度。 3 根据运动物体的运动复杂度确定搜索起点，有效的避免冗余搜索，加快搜索速度。 4 根据视频序列的运动类型用动态搜索窗口来代替固定的搜索窗口，与视频多样性 相符，更加准确的反映了视频序列的运动情况；同时又设定了最小搜索窗口，避免陷入局 部最小点。 5 对搜索策略进行优化。根据运动矢量的分布规律和视频内容动态自适应的选择搜 索模板，无需人为干涉；根据像素点间的运动矢量相关性，基于统计情况进行提前中止。 4 上海师范大学硕士学位论文第一章绪论 6 多角度考虑、多方面改进并且多种机制结合，使算法设计更加准确实用。 虽然对快速运动估计u m h e x a g o n s 算法进行的多角度改进都是基于严密的理论之上 并且经过详细的分析研究而进行的，但是具体的判断准则还不够完善和精确。仍需要更多 的专家学者来参与其中，以使算法更加精确完备。技术难点主要有以下几个方面： 1 目前关于运动类型的判断准则和模型还不够完善，最终的效果还不能达到理论分 析那么完美。 2 利用运动矢量相关性改进算法是基于运动矢量具有相关性前提条件下的，但是如 何进行运动矢量相关性检验还没有很好的方法。 3 提前中止判断中的阈值单靠经验来设定不够精确的，但是目前还没有确定阈值的 优秀算法。 4 虽然算法尽量做到能够动态的改变搜索策略，但是还不能实现真正的智能化，当 前智能化的研究还没有完全的成熟。 以上四点也正是运动估计算法的技术难点所在。尽管如此，运动估计的处理技术也不 失其理论及实用价值。因为随着多媒体信息产业技术的高速发展，人们对实时视频的需求 越来越强烈。多媒体信息产业未来的发展趋势及实时视频的现实需要都对运动估计技术的 研究提出了更高的要求。 1 4 本文的主要研究内容及组织结构 本文以h 2 6 4 a v c 为平台，以运动矢量的时空相关性和视频图像序列本身的特征作 为改进运动估计算法的理论基础，对快速运动估计u m h e x a g o n s 算法进行了多方面的优 化。本文具体的工作如下： 1 h 2 6 4 a v c 简要介绍视频编码标准的发展历程，深入分析新一代视频编码标 准h 2 6 4 a v c 的优越性能，并对其中的运动估计算法进行改进，尽量避免冗余搜索，提 高视频编码速度。 2 运动估计算法一简要介绍运动估计基本原理及其性能评估标准；研究了典型的 运动估计算法；从码流结构中提取出能表示运动对象运动信息的运动矢量和宏块分割类 型，进而对视频序列运动类型和运动矢量分布规律进行分析，从而实现对视频的运动估计 搜索。 3 提出一套基于u m h e x a g o n s 算法的改进算法，并从主客观两个角度分析、比较了 改进算法的优越性能。 本文的组织结构如下图1 1 所示。 第一章，介绍了本文的选题背景及意义；分析了运动估计算法的国内外研究现状；对 5 第一章绪论上海师范大学硕士学位论文 比传统处理模式，分析了以h 2 6 4 a v c 为研究平台和基于u m h e x a g o n s 算法进行优化的 优势；指出了本文研究的优势和技术难点。 第二章，简单介绍了h 2 6 4 a v c 的编解码框架及其关键技术；重点分析了运动估计 的理论基础、运动估计算法的评估标准和几种经典的快速运动估计算法。 图1 1 论文的组织结构 第三章，以物体的运动规律为理论依据，对匹配准则的匹配模板进行了改进，对改进 算法进行测试并分析算法的性能。 第四章，从预测搜索起点、搜索范围和搜索策略三个方面对快速运动估计 u m h e x a g o n s 算法进行了改进，分别对各方面的改进结果进行测试并分析改进算法的性 能。 第五章，将第三章和第四章四个方面的改进全部集成到u m h e x a g o n s 算法中，将改 进后的算法与原来的算法进行比较分析。采用多种类型的视频图像测试序列对整体改进算 法进行测试，从主观效果和客观数据两个方面分析了算法的性能。 第六章，全面总结了整篇论文所做的主要工作和研究成果，并对今后进一步完善快速 运动估计算法进行了展望。 6 上海师范大学硕士学位论文 第二章运动估计算法 第二章运动估计算法 2 1 视频压缩编码标准的发展 自从o l i v e r 在1 9 4 8 年提出p c m ( p u l s ec o d i n gm o d u l a t i o n ) 脉冲编码调制理论【1 3 1 ， 人们对视频压缩编码的研究已经有6 0 多年的历史了，不仅在理论上日渐成熟，在实际应 用中也取得了重大进步，其主要标志便是多个视频编解码标准的先后制定。视频压缩编码 国际标准主要由国际标准化组织( i s o f l e c ) 和国际电信联盟( i t u t ) 这两个国际组织 制定。其中l s 伽e c 制定的编码标准主要有m p e g - 1 、m p e g 一2 、和m p e g 一4 ；i t u t 制 定的编码标准主要有h 2 6 1 、h 2 3 6 、h 2 6 3 + 、h 2 6 3 + + 、h 2 6 l 和h 2 6 4 a v c 等。这些国 际视频编码标准虽然应用领域有所不同，但是都采用了预测编码与变换量化相结合的混合 编码模式。h 2 6 4 a v c 是由i n j - t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 的 m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) 联合成立的“联合视频组 t ( j o i n tv i d e ot e a m ) 共同制定的新一代视频标准，在2 0 0 3 年3 月，通过了最终视频编码标准草案，正式确定 为h 2 6 4 a v c 。下面对这些视频压缩编码标准做一个简单的介绍： 1 m p e g - 1 1 9 9 1 年i s o i e c 推出了m p e g - 1 标准，它是运动专家组制定的第一个用于音视频领 域的有损压缩编码标准。它是面向数字存储的运动图像及其伴音的编码标准，主要应用在 v c d 和视频游戏等图像传输领域【l 4 1 。 m p e g 1 主要采用分层结构、分块运动估计、运动补偿和量化编码等技术，对编码表 示和解码方法进行了具体规定，并用四种类型帧对图像进行预测。m p e g 1 视频编码标准 主要是为逐行扫描的视频而设计的，在大约1 2 m b p s 的比特率下生成接近v h s 质量的视 频。但由于其采用了运动估计和运动补偿等技术，使视频编码运算复杂度大大增加了1 1 5 1 。 2 m p e g 2 h 2 6 2 m p e g 2 是广播级电视质量的音视频编码标准，由i s o d e c 运动图像专家组和i t u t 的第1 5 研究组在1 9 9 4 年共同制定。该标准的设计目标是应用于高级工业标准的图像质量 和更高的视频传输速率，i t u t 采纳为h 2 6 2 1 1 6 】。 m p e g - 2 采用时间域分级、空间域分级和信噪比分级共三种分级编码方法，这使得在 扩大应用范围的同时可以适应信道变化。编码码流采用自上而下的图像序列( p s ) 、图像 组( g o p ，g r o u po f b l o c k ) 、图像( p ) 、片( s l i c e ) 、宏块( m b ，m a c r o b l o c k ) 和块( b ， b l o c k ) 这样的六层结构，并且在运动搜索的过程中引入了帧和场的概念【1 6 】。 7 第二章运动估计算法 上海师范大学硕士学位论文 与m p e g 1 标准相比，在视频压缩编码方面m p e g - 2 主要有两点重要的改进：支持 可伸缩编码及定义了不同的档次( p r o f i l e ) 、级别( l e v e l ) 的概念。可伸缩编码允许解码 器从同一个码流中解码恢复出不同质量的视频信号。p r o f i l e 是m p e g - 2 中定义的语法子 集，而l e v e l 是特定p r o f i l e 中参数的取值集合，一个p r o f i l e 可以包含一个或多个l e v e l 。 这种以p r o f i l e 和l e v e l 的形式定义规范，为不同应用领域之间的数据相互交换提供了方便。 3 m p e g - 4 m p e g 4 t 1 7 】是1 9 9 9 年2 月由i s o i e c 正式颁布的国际视频标准。它是基于数字电视、 交互式多媒体和交互式应用技术而制定的视频编码标准。可以将多媒体应用集成在同一框 架之中，为多媒体应用提供了统一的算法及工具，主要应用在视频会议、可视电话等场合。 m p e g 4 在吸收以往视频编码标准中相关技术的同时【1 8 】，