（通信与信息系统专业论文）基于h264运动估计整像素算法的研究.pdf

论文题目： 专 业： 硕士生： 指导教师： 基于h 2 6 4 运动估计整像素算法的研究 通信与信息系统 陈方飞 李白萍 摘要 新一代视频编码标准h 2 6 4 是由i t u t 视频编码专家组v c e g ( v i d e oc o d i n g e x p e r t sg r o u p ) 和i s o i e c 运动图像专家组m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 共同 制定的视频编码标准，这一编码标准可获得很高的编码效率，尤其是在低码率方面比 m p e g 4 有明显的提高，适合于低带宽、高质量网络视频应用的需要。为了方便h 2 6 4 在低码率高时性应用系统中的实现，必须对其编码算法进行优化。经过对h 2 6 4 编码器 的分析可以得出，运动估计是视频压缩编码中的核心技术之一，采用运动估计和运动补 偿技术可消除视频信号的时间冗余以提高编码效率。因此，如何提高运动估计的效率， 使运动估计算法搜索过程更健壮、更快速、更高效成为目前研究的热点之一。 本文首先论述了h 2 6 4 视频编码标准的基本原理和关键技术，然后分析了几种已有 的经典块匹配运动估计算法的优缺点，并针对已有的经典块匹配运动估计搜索算法的不 足，提出了一种高效的快速块匹配运动估计算法一一改进增强型新三步搜索算法 ( e n t s s ) ，该算法综合采用了初始搜索中心预测、提前终止阈值选择和基于混合模板 的搜索技术。 通过对不同视频序列的测试分析以及实验，结果表明，本算法与全搜索算法和 u m h e x a g o n s 相比，以极小的视频质量代价换得了计算复杂度的大幅度降低，能够有效 的提高运动估计的速度，减少编码器的运算量，提高编码效率。 关键词：h 2 6 4 ；视频编码；块匹配；运动估计 研究类型：理论研究 s u b j e c t ：r e s e a r c ho ni n t e g e rp i x e lm o t i o ne s t i m a t i o nt e c h n o l o g yb a s e d o nh 2 6 4s t a n d a r d s p e c i a l t y ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s n a m e：c h e nf a n g f e i i n s t r u c t o r ：l ib a i p i n g ( s i g n a t u r e ) ( s i g n a t u r e ) a b s t r a c t t h ee m e r g i n gh 2 6 4a d v a n c e dv i d e oc o d i n gs t a n d a r d ( h 2 6 4 a v c ) a c h i e v e ss i g n i f i c a n t i m p r o v e m e n ti nc o d i n ge f f i c i e n c yc o m p a r e d 、析t ht h ep r e v i o u ss t a n d a r d s t h i ss t a n d a r dc a l l o b t a i ne x c e l l e n tc o d i n ge f f i c i e n c ya n do u t p e r f o r m st h em p e g - 4i nt h el o wb i tr a t e e n v i r o n m e n t s oi tc a nm e e tt h er e q u i r e m e n to ft h en e t w o r k v i d e ow i t hl o wb a n d w i d t ha n d h i g hq u a l i t y m o t i o ne s t i m a t i o ni s o n eo ft h ec o r et e c h n i q u e so fv i d e oc o d i n g m o t i o n e s t i m a t i o na n dm o t i o nc o m p e n s a t i o nc a nr e d u c et h el a r g ea m o u n to ft e m p o r a lr e d u n d a n c y t h a te x i s t sb e t w e e nf r a m e so fv i d e os e q u e n c e s ，w h i c hl e a d st oh i g hc o m p r e s s i o n t h er e s e a r c h o l ll o o k i n gf o ram o t i o ne s t i m a t i o na l g o r i t h mt h a tc a ng e ta ne f f e c t i v ea n da c c u r a t em o t i o n v e c t o rq u i c k l yb e c o m e sah o tt o p i ca tp r e s e n t f i r s t l y , t h i st h e s i sd i s c u s s e st h eb a s i cp r i n c i p l ea n dt h ee s s e n t i a lt e c h n o l o g i e si nh 2 6 4 v i d e oc o d i n gs t a n d a r d s e c o n d l y , i n t r o d u c e ss e v e r a lp o p u l a r l yf a s tb l o c km a t c h i n gm o t i o n e s t i m a t i o n a l g o r i t h m sa n da n a l y z e st h e i ra d v a n t a g e sa n dd i s a d v a n t a g e s t h e ni no r d e rt o c o v e rt h es h o r t a g eo ft h ef a s tb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m s ，t h i st h e s i s p r o p o s e sa ne f f i c i e n ta n df a s tb l o c km a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h n _ t h ei m p r o v e d a n de n h a n c e dt h r e e s t e ps e a r c h ( e n t s s ) a l g o r i t h m as e r i e so fs k i l l s ，s u c ha si n i t i a ls e a r c h c e n t e rp r e d i c t i o n ，e a r l yt e r m i n a t i o n ，s e a r c ht e m p l a t eb a s e do nh y b r i dt e c h n o l o g ya r ea l s o a d o p t e di nt h i sa l g o r i t h m e x p e r i m e n t a lr e s u l t sb yt e s t i n gd i f f e r e n tv i d e os e q u e n c es h o wt h a tt h ee n t s sa l g o r i t h m c a nh i g h l yr e d u c ec o m p u t a t i o n a lc o m p l e x i t y 、蕊t l ll i t t l ev i d e oq u a l i t yd r o p p i n gc o m p a r e dw i t l l f sa n du m h e a x g o n s a l s ot h i sa l g o r i t h mc a ni m p r o v et h es p e e do fm o t i o ne s t i m a t i o n , r e d u c ee n c o d e rc o m p u t a t i o ne f f i c i e n t l ya n di m p r o v et h ec o d i n ge f f i c i e n c y k e yw o r d s ：h 2 6 4 v i d e oc o d i n gb l o c km a t c h i n gm o t i o ne s t i m a t i o n t h e s i s：b a s i cr e s e a r c h 主要符号表 主要符号表 主要英文缩略语： i t u ti t u tf o ri t ut e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r i s o f l e ci n t e r n a t i o n a l o r g a n i z a t i o n f o r s t a n d a r d s i n t e m a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n m e p g m o v i n gp i c t u r e se x p e r t sg r o u p m bm a c r o b l o c k d c td i s c r e t ec o s i n et r a n s f e i r n l v c e gv i d e oc o d i n ge x p e r t sg r o u p tj o i n tv i d e og r o u p c a v l cc o n t e x t - b a s e d a d a p t i v e v a r i a b l e l e n g t hc o d i n g c a b a cc o n t e x t b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g v c l v i d e o c o d i n gl a y e r n a ln e t w o r ka d a p t a t i o nl a y e r b m ab l o c km a t c h i n ga l g o r i t h m m cm o t i o nc o m p e n s a t i o n m em o t i o ne s t i m a t i o n m a dm e a na b s o l u t ed i f f e r e n c e m s em e a ns q u a r ee r r o r n c c fn o r m a l i z e dc r o s s c o r r e l a t i o nf u n c t i o n s a d s u mo f a b s o l u t ed i f f e r e n c e p s n rp e a ks i g n a t i o nn o i s er a t i o t s s t h r e e s t e ps e a r c h n t s sn e wt h r e e - s t e ps e a r c h 国际电信联盟远程通信标 准化组 国际标准化组织国际电 工委员会 运动图像专家组 宏块 离散余弦变换 视频编码专家组 联合视频小组 基于上下文的自适应变长 编码 基于上下文的自适应二进 制算术编码 视频编码层 网络适配层 块匹配算法 运动补偿 运动估计 平均绝对差 平均均方误差 归一化互相关函数 绝对差值和 峰值信噪比 三步搜索算法 新三步搜索算法 王妥瓷专氧 u m h e x a g o n sh y b r i du n s y m m e t r i c a l c r o s s 混合非对称十字多六边形 m u l t i - h e x a g o n g r i ds e a r c h搜索算法 要错技大学 学位论文独创性说明 本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及 其取得研究成果。尽我所知，除了文中加以标注和致谢的地方外，论文中不包含 其他人或集体已经公开发表或撰写过的研究成果，也不包含为获缛西安科技大学 或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所 做的任何贡献均已在论文中做了明确的说明并表示了谢意。 学位论文作者签名：豫商仅日期：矽7 0 l 幻 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间 论文工作的知识产权单位属于西安科技大学。学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课 题再撰写的文章律注明作者单位为西安科技大学。 保密论文待解密后适用本声明。 学位论文作者签名：豫右侉 指导教师签名： 每谤暂 ， i 2 0 0c f 年o ；月功日 1 绪论 l 绪论 随着信息技术的发展和社会的不断进步，人类对信息的需求也越来越丰富，人们希 望无论何时何地都能够方便、快捷、灵活的通过语音、数据、图像与视频等多种方式进 行通信。视觉信息给人们直观、生动的形象，图像视频的传输更受到广泛的关注。然而 它有一个严重的缺点，就是本身的数据量太大，尤其是运动的图像序列视频，这无 论对于存储还是传输都造成了很大的困难。解决的办法只有一个，即把模拟图像变成数 字图像，然后对其进行压缩编码。 1 1 视频压缩编码的要求和可能眭 1 1 1 视频压缩编码的目标 视频信号由于信息量大并且对网络带宽要求很高，因此，能否将视频信号在传送前 先进行压缩编码，即进行视频源压缩编码，然后在网络上进行传送，以便节省传送的带 宽和存储空间就显得至关重要。针对这个问题，提出了两个要求： ( 1 ) 必须压缩在一定的带宽内，即视频编码器应具有足够压缩比的功能。 ( 2 ) 视频信号压缩之后，经恢复应保持一定的视频质量。这个视频质量有两个标 准：一个为主观质量，由人从视觉上进行评定；一个为客观质量，通常用信噪比表示。 如果不考虑质量一味地压缩，虽然压缩比很高，但压缩后信息严重失真，显然达不 到要求；反之，如果只关心质量，压缩比太小，也不符合要求。在以上两个要求下，视 频编码器的实现方式应力求简单、易实现、成本低、可靠性高。 1 1 2 视频压缩的可能性 ( 1 ) 预测编码 众所周知，一幅图像由许多个点组成，这些点称为像素。研究表明，相同一幅图像 中像素之问具有较强的相关性，两个像素之间的距离越短，则其相关性越强，换句话说， 也就是两个像素的值越接近。于是人们可利用这种像素问的相关性进行压缩编码。如当 前像素x 可用前一像素a 或b 、c ，或者三者的线性加权来预测。a 、b 、c 被称为参考像 素。传送时，将实际像素和参考像素相减，如只传送x a ，到了接收端再( x a ) + a 恢复为 x 。由于a 是已传送的( 在接收端被存储) ，于是得到当前值x 。由于x 和a 相似，( ) ( a ) 的值很小，视频信号被压缩，这种压缩方式称为帧内预测编码。 另外，也可以利用帧间相关性进行压缩编码。邻近帧之间的相关性比帧内像素的相 关性更强，可得到的压缩比也更大。 西安科技科大学硕士学位论文 由此可见，利用像素之间帧内的相关性和帧间的相关性，找到相应的参考像素或参 考帧作为预测值，即可以实现视频压缩编码。 ( 2 ) 变换编码 大量实验表明，视频信号中包含着在能量上占主要部分的直流和低频部分( 即图像 的平坦部分) 。还有少量的高频部分，即图像的细节。因此，可以用另一种方法进行视 频编码，这一方法就是变换编码。 变换编码是指先对信号进行某种函数变换，把信号从一种信号变换到另一种信号， 然后再对变换后的信号进行编码。如将时域信号变换到频域，因为声音、图像大部分信 号都是低频信号，在频域中信号的能量较集中，再进行采样、编码，就能压缩数据。 变换编码是一种间接编码方法。它是将图像经过数学上的正交变换后，得到一系列 的变换系数，再对这些系数进行量化、编码、传输。 1 2 课题的研究背景 日益纷呈的视频压缩方法给视频通信带来曙光，越来越多的研究工作者对视频编 码、视频处理提出了新理论和新方法，同时各种国际组织也参与了视频标准的制定。如 i s o i e c 成立了j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 和m p e o ( m o v i n gp i c t u r ee x p e r t s g r o u p ) 并先后完成了j p e g 、j p e g 2 0 0 0 、m p e g 1 、m p e g 2 和m p e g 4 标准的制定；i t u t 也先后制定了h 2 6 1 、h 2 6 2 ( 与m p e g 组织合作) 、h 2 6 3 h 2 6 3 + 和h 2 6 4 ( 与m p e g 组织 合作) 等一系列国际数字视频压缩编码标准。它们为视频编码技术的发展起到了巨大的 推动作用。视频压缩编码技术是多媒体通信技术发展中最有活力的研究领域之一，同时 也是未来多媒体通信技术领域的研究热点和重点。 随着硬件产品的不断发展，处理器及内存价格的不断降低，支持视频数据传输的网 络越来越多，视频应用对图像编码效率也越来越高。因此，i s o i e c 的运动图像专家组 m p g e 和i t u t 视频编码专家组( v c e g ) 联合推出的h 2 6 4 a v c ( 也作为m p g e 4 的第 1 0 部分) ，用于各种不同的网络环境( 高低码率、有线、无线) 的高效率的视频编码标准， 由于其高效的压缩性能和网络友好性，成为当前多媒体通信研究的热点，很多公司都在 开发基于h 2 6 4 的视频产品。 1 3 研究现状 2 0 世纪8 0 年代中后期以来，视频压缩编码技术得到了飞速的发展。国际标准化组 织( i s o h e c ) 和国际电信联盟( i t u t ) 制定了一系列国际视频编码标准。视频编码标准的 发展历程如图1 1 所示。 2 1 绪论 1 9 8 41 9 8 6 1 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 0 2 0 0 2 2 0 0 4 图1 1 视频编码标准发展历程 1 3 1m p e g x 系列标准 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ，简称m p e g ) 是国际标准化组织于1 9 8 8 年成 立的运动图像专家组的简称，致力于制定运动图像的压缩编码国际标准。 ( 1 ) m p e g 1 【l 】 m p e g 1 标准制定于1 9 9 2 年，标准编号i s o i e c l l l 7 2 。该标准共包含五个部分， 其中最主要的三个部分为m p e g 一1 视频、m p e g 1 音频和m p e g 1 系统。其中m p e g 1 视频采用基于块的运动补偿、d c t 变换和量化的混合编码方法，达到大约在1 2 m b i t s 的视频压缩码率。m p e g 1 音频支持音频压缩，与现行的c d 、d a t 等媒体所采用的p c m 标准兼容。m p e g 1 系统支持比特流的复用和解复用。现在所看到的v c d 质量就是 m p e g 1 当时设想的视频质量，目前仍然广泛应用于p c 和基于w e b 的压缩视频文件 存储方面。 ( 2 ) m p e g 2 【2 】 m p e g 2 标准制定于1 9 9 4 年，标准编号i s o i e c l 3 8 1 8 。该标准的目的是满足更大 范围的应用领域，如能支持隔行扫描视频信号的压缩编码，具有更加灵活的语法结构， 编码效率提高，支持灵活和高效的“系统 描述。m p e g 2 不是m p e g 1 的简单升级， m p e g 2 在系统和传送方面作了更加详细的规定和进一步的完善。m p e g 2 特别适用于 广播级数字电视的编码和传送，被认定为s d t v 和h d t v 的编码标准。 m p e g 2 图像压缩原理是利用了图像中的两种特性：空间相关性和时间相关性。这 两种相关性使得图像中存在大量的冗余信息。一个好的压缩编码方案就是能够最大限度 地去除图像中的冗余信息。 m p e g 2 的编码图像被分为三类，分别称为i 帧，p 帧和b 帧。i 帧图像采用帧内编 码方式，即只利用了单帧图像内的空间相关性，而没有利用时间相关性。p 帧和b 帧图 3 西安科技科大学硕士学位论文 像采用帧间编码方式，即同时利用了空间和时间上的相关性。p 帧图像只采用前向时间 预测，可以提高压缩效率和图像质量。p 帧图像中可以包含帧内编码的部分，即p 帧中 的每一个宏块可以是前向预测，也可以是帧内编码。b 帧图像采用双向时间预测，可以 大大提高压缩倍数。 m p e g 2 的编码码流分为六个层次。为更好地表示编码数据，m p e g 2 用句法规定 了一个层次性结构。它分为六层，自上到下分别是：图像序列层、图像组( g o p ) 、图像、 宏块条、宏块和块。 ( 3 ) m p e g 4 t 3 】 m p e g 4 标准于1 9 9 9 年1 月正式颁布，标准编号i s o i e c l 4 4 9 6 。后来又出现第二 版和第三版。 m p e g 4 的初衷是针对视频会议、视频电话的超低比特率编码，但在调查过程中 m p g e 感受了两大变化，并据此立即修改计划，制定现在意义上的m p e g 4 。这两个变 化： 物质基础的变化。高性能通用芯片性价比提高了基础软件平台的压缩编码。 需求的变化。对多媒体信息，特别是视频流的应用要求由播放型转向基于内容的 访问操作性。 为了支持对动态视频的内容访问，m p g e 4 中引入了对象( o b j e c t ) 的概念，实际上就 是基于对象方法得到分层区域。因此，基于对象方法是基于内容的压缩编码中的一类主 要算法。 m p e g 4 视频标准提供在多媒体环境下视频数据的有效存储、传输和操作方面的核 心技术。为了达到这一宽广的目标而不限于某一狭窄的应用，m p e g 4 考虑了应用集的 功能。因此m p g e 4 中视频部分以工具和算法的形式提供对各种功能的支持，例如有效 的压缩、对象的可扩展性、空域和时域的可扩展性、纠错等功能。 要达到m p e g 4 的目标，主要取决于基于内容的视频数据表示方法。一个场景可看 作由一系列具有各自特性的视频对象组成，其性质包括形状、运动、纹理。这种基于对 象的表示是在多媒体应用中实现对象交互的关键，在这样的应用中，用户可以访问任意 形状的对象以及操作对象。 m p g e 一4 标准的编码是基于对象的，这样就便于操作和控制对象，而传统压缩方法 是基于帧的，显然无法对对象操作。由于传输宽带的限制，必须对压缩比特率进行控制， 这样直接影响图像的质量。过去在比特率低的时候，整帧图像的质量都受到影响，没有 灵活性可言，而m p e g 4 对比特率的控制可以基于对象，即使在低带宽时，也可以利用 码率分配方法，对于用户感兴趣的对象可以多分配一些比特，而对于用户不感兴趣的对 象可以分配少一些比特，这样图像主观质量就得到保证。 m p e g 4 中的对象操作使用户可以在用户端直接将不同对象进行拼接，得到用户集 4 1 绪论 合成的图。这在传统方法中是无法直接实现的。m p e g - 4 在扩展上具有很好的灵活性， 可进行时域和空域的扩展。这在m e p g 2 中也有一些体现，但它并不突出。而在m p e g 4 中，可根据现场带宽和误码率的客观条件，在时域空域进行扩展。时域扩展是在带宽允 许时在基本层之上的增强层中增加帧率，在带宽窄时可在基本层中减少帧率，以达到充 分利用带宽，使图像质量更好的目的。空域扩展是指对基本层中的图像进行采样插值， 增加或减少空间分辨率。 1 3 2h 2 6 x 编码标准 ( 1 ) h 2 6 1 标准【4 j i t u t 于1 9 9 0 年公布的h 2 6 1 标准，即“p 6 4 k b s 视听业务的视频编码器( p = l 3 0 ) ”，具有覆盖整个i s d n ( 综合业务数字网) 基群信道的功能，适用于会话业务的活动图 像编码，广泛应用于会议电视和可视电话。 ( 2 ) h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 标准1 5 j i t u t 于1 9 9 5 年7 月推出了低码率视频压缩编码的h 2 6 3 建议，其技术核心仍为 混合编码方法，但借鉴了m p e g 2 中的半像素运动估计和运动补偿技术及双向预测技 术，可实现比h 2 6 1 更高的压缩比，从而用于实现低于6 4 k b s 的视频压缩编码。1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它提供了1 2 个新的可选择模 式，进一步提高了压缩编码性能。2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，对h 2 6 3 又做了一 些新的扩展，增加了一些新的可选技术，从而更加适应于各种网络环境，并增强差错恢 复的能力。 ( 3 ) h 2 6 4 标准1 6 j h 2 6 4 标准是由i t u - t 的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 和i s o i e c 的 m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ) 联合成立的“联合视频组 j v t ( j o i n tv i d e ot e a m ) 共同制定的新一代视频编码新标准，2 0 0 3 年3 月，公布标准的最终草案，称作h 2 6 4 a v c 或m p e g 4v i s u a lp a r t l 0 。h 2 6 4 能提供比m p e g 4 和h 2 6 3 标准更高的压缩性能，使 图像的数据量减少5 0 ；对网络传输具有更好的支持，引入面向数据包编码，有利于将 数据打包在网络中传输；具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无 线信道中传输；对不同应用的时延要求具有灵活的适应性；编码和解码复杂度具有可扩 展性。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标准。2 0 0 3 年1 1 月底，中国国家信息产业部“数字音视频编解码标准组”正式发a v s ( a u d i ov i d e o c o d i n gs t a n d a r dw o r k i n gg r o u po f c h i n a ) 标准草案。标准草案的视频部分编码效率可以达 到m p e g 2 的2 到3 倍，而且编码实现复杂度明显降低。 5 西安科技科大学硕士学位论文 1 4 研究工作概要及论文结构安排 新一代视频编码标准h 2 6 4 a v c 正在蓬勃发展，由于其更高的压缩比和更好的信道 适应性，必将在视频通信领域得到越来越广泛的应用，其发展潜力不可限量。h 2 6 4 a v c 中有许多核心技术，其中运动估计是h 2 6 4 a v c 编码中计算复杂度最大的部分，因此好 的运动估计搜索算法可以在保证搜索精度的同时，大大降低编码器的计算复杂度。本文 主要对h 2 6 4 的信源编码部分做了深入的分析和研究，并针对h 2 6 4 的运动估计搜索算 法部分提出了改进的新算法。新算法大大降低了运动估计的时间及复杂度，提高了编码 器的编码速度，为实时应用发挥了积极的作用。 全部研究工作可以分为如下四个阶段： ( 1 ) 熟悉视频编码的基本思想和原理，为开题打下初步基础。 ( 2 ) 对现有的视频图像压缩标准如h 2 6 1 ，h 2 6 3 ，m p e g 1 2 4 等国际标准进行学习， 重点是对h 2 6 4 中其采用的关键技术及整体框架进行学习。 ( 3 ) 研究运动估计的基本原理，对几种经典的块匹配运动估计搜索算法进行学习对 比，了解各种算法的优缺点。 ( 4 ) 提出新的运动估计快速搜索算法，通过j m l 0 1 软件模型，在v c + + 6 0 平台上仿 真，验证改进后算法的优越性。 论文共分六章： 第一章绪论，介绍了课题背景以及现有的视频编码标准。 第二章介绍了新一代视频压缩编码标准h 2 6 4 所采用的一些关键技术。 第三章首先分析运动估计的基本思想及理论基础，然后介绍了几种在h 2 6 4 中已经 使用的经典的块匹配运动估计搜索算法，并分析它们各自的优缺点。 第四章针对已有的经典块匹配运动估计搜索算法的不足，提出了一种高效的快速块 匹配运动估计算法一改进增强型新三步搜索算法( e n t s s ) 。 第五章在v c + + 6 0 平台上通过j m l 0 1 官方参考模型用c + + 语言对三步搜索算法 ( t s s ) 、已经商用的u m h e x a g o n s 算法及本文提出的改进算法进行仿真对比测试，验 证本文提出的改进算法的优越性。 第六章总结与展望，对已完成的工作、存在的不足和今后的改进方向做以论述。 6 2h 2 6 4 视频压缩编码标准 2h 2 6 4 视频压缩编码标准 2 0 0 3 年3 月，i t u t 和i s o i e c 共同推出的新视频编码国际标准正式被批准，官方 名称分别为i t u th 2 6 4 和i s o i e cm p e g 4p a r t1 0 或i s o i e cm p e g 4a 、，c 。 作为新一代视频压缩编码标准，在h 2 6 4 发展的初期，v c e g 就从实时性和图像质 量等方面为其发展制定了以下要求1 7 j ： ( 1 ) 约束码率和图像质量 在相同的比特率与采用相同方法优化的编码器条件下，h 2 6 4 的帧率应该能达到 h 2 6 3 + 标准或m p e g 4 标准s i m p l ep r o f i l e 的两倍。也就是说，在相同图像质量的情况下， h 2 6 4 能够节省一半的带宽。 ( 2 ) 延时的限制 h 2 6 4 强调在实时环境的应用，因此必须拥有低延迟的模式以应用于实时会话服务。 后向运动预测模式，往往是造成延迟的主要因素，所以在低延迟的模式下，不采用后向 预测模式。同时，h 2 6 4 也能很好地工作在没有时延限制的应用中，如视频存储和以服 务器为基础的视频流式应用。 ( 3 ) 复杂度 一个标准的复杂度是和计算复杂度以及存储器大小密切相关的，所以出于复杂度的 考虑，h 2 6 4 从编码器处理和质量方面规定b a s e l i n e 、m a i n 和x 三个类以及多个等级， 从而适用于不同的应用范围。 ( 4 ) 差错恢复 由于h 2 6 4 将会被大量运用于实时的环境下，标准中就应当具有防止误码扩散的机 制，以避免先前的误码会持续影响后面的重建图像质量。h 2 6 4 提供了基于包传输网络 中处理包丢失所需的工具，以及在易误码的无线网中处理比特率误码的工具，并且能够 在包丢失和移动信道崩溃的情况下进行差错恢复。 ( 5 ) 语法定义 为了实现简单有序的码流语法解决方案，避免任何过多的可选择性或类结构体， h 2 6 4 采用了更为简单的语法定义。同时，确保解码端与编码端不会产生失配现象。 ( 6 ) 网络友好性 考虑到在h 2 6 3 标准和m p e g 4 标准制定过程中提出的一些关于网络应用的问题， h 2 6 4 在系统层面还提出了一个新的概念，将整体视频编码数据按照视频编码层( v i d e o c o d i n gl a y e r ，v c l ) 和网络抽象层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 两个层面进行概念 性分割，以此将视频压缩和网络传输功能进行有效的分离，使得h 2 6 4 标准能较好地适 用于移动通信和互联网，也能为视频流的运营提供服务。 7 西安科技科大学硕士学位论文 2 1h 2 6 4 视频系统的分层结构 h 2 6 4 标准在系统设计之初，就将压缩视频数据对网络传输的适应性作为系统设计 的一个重要性能指标引入其中。它采用分层结构的设计思想将编码和传输特性进行分 离。系统主要包括视频编码层和网络抽象层两个不同的数据层。前者负责对视频内容实 现高效的压缩编码，后者则负责对压缩后的数据进行打包和传送，以适应不同网络传输 或存储系统的需求。h 2 6 4 编码器分层结构如图2 1 所示。 图2 1h 2 6 4 分层结构 ( 1 ) h 2 6 4 的视频编码层 h 2 6 4 草案的v c l 层仍采用基于块的运动补偿与变换编码结合的混合编码模式，并 在运动估计、帧内编码、变换编码等诸多编码环节中引入新的技术，从而提高了整体系 统的编码效率和重建图像质量。例如在运动估计的过程中，h 2 6 4 不但支持多种块尺寸 的运动预测，还支持实现多参考帧图像运动预测，同时将运动估计精度提高到1 4 或1 8 像素。 ( 2 ) h 2 6 4 的网络抽象层 网络抽象层的设计目的是为了适应不同的具体应用需求，例如i n t e m e t 网络传输， 它将经v c l 层编码的压缩数据流进行进一步分割和打包封装。n a l 层以n a l 单元( n a l u n i t ) 作为基本数据格式，它不仅包含所有的视频信息，它的头部信息也提供传输层或 存储媒体的信息，所以n a l 单元的格式适合基于包传输网络( 如r t p u d p i p 网络系统) 或者是基于比特流传输的系统( 如m p e g 2 系统) 。n a l 的任务是提供适当的映射方法 将头部信息和数据映射到传输协议上，这样，在分组交换传输中可以消除组帧和重同步 开销。为了提高h 2 6 4 的n a l 在不同特性的网络上制定v c l 数据格式的能力，在v c l 和n a l 之间定义的基于分组的接口、打包和相应的信令也属于n a l 的一部分。这样， 高效率编码和网络友好性的任务分别由v c l 和n a l 来完成。 8 2h 2 6 4 视频压缩编码标准 2 2h 2 6 4 视频编码层技术分析 单纯从h 2 6 4 视频压缩编码系统框剁8 】看( 如图2 2 所示) ，h 2 6 4 标准仍然延续了 h 2 6 1 所提出的混合视频编码系统框架，同时在具体算法模块设计上也充分利用已有标 准中的成熟技术，如它将在h 2 6 3 和h 2 6 3 + + 标准中已经被证明行之有效的可选模式( 如 h 2 6 3 中先进预测模式) 引入到新的标准之中成为基本模式；另外，h 2 6 4 也不完全拘 泥于原有的h 2 6 3 语法框架，它不再保持向下对h 2 6 3 的兼容性，而是从系统整体压缩 编码效率出发，重新设计高效的码流语法结构，这就为灵活引入一些新算法提供了必要 的语法支持，例如4 4 整数变换和多帧预测。正是沿着继承和革新兼顾的思路，h 2 6 4 充分挖掘视频编码系统在预测编码、变换编码和统计编码等各个环节上的改进潜力，采 用多项改进措施，使得h 2 6 4 在系统压缩性能上有了明显的提高。 图2 2h 2 6 4 编解码系统框图 2 3h 2 6 4 中的预测编码技术 h 2 6 4 中的预测编码技术主要体现在帧内预测编码和帧间预测编码两个方面。对于 9 西安科技科大学硕士学位论文 帧内预测编码算法，h 2 6 4 针对不同尺寸编码单元，在空间域设计了多个方向预测编码 模式，力图以此消除帧内编码图像的空间冗余，尤其是在变换平缓的图像区域，而在帧 间预测编码模式中，h 2 6 4 引入了包括可变尺寸块匹配、高精度运动矢量、多参考帧预 测和去块效应滤波等多项先进技术对该环节进行优化，这些改进主要是为了提高运动预 测的匹配精度，从而减小帧差信号能量，达到提高压缩编码效率的目的。 2 3 1 帧内预测编码 在以往标准中，帧内编码图像一般直接将图像分成像素块，分别进行d c t 变换和 量化，这样实际上并未充分利用各像素块之间的相关特性，导致帧内编码图像压缩效率 不是很高。在h 2 6 3 + 和m p e g 4 中曾提出了一种先进帧内预测编码模式，但由于受限 于原有语法结构，也只有对图像经d c t 变换后的部分d c 和a c 系数进行预测编码。 h 2 6 4 标准则打破了原有的语法约束，充分利用相邻像素之间的相关特性，利用位于当 前像素块左边和上边的已编码重建像素进行预测，只对实际值和预测值的差值进行编 码，从而实现了一种更为高效的帧内空间域预测编码模式。 在h 2 6 4 标准中，帧内预测编码模式可以基于4 4 和1 6 x 1 6 两种不同尺寸块进行， 其中1 6 1 6 块更适用于存在大面积缓慢变化的图像。按照预测方向不同，h 2 6 4 针对4 4 块提出9 种帧内预测模式( 如图2 3 所示) ，对于1 6 x 1 6 块提出4 种帧内预测模式，另 外，8 8 色度块所具有的4 种模式与亮度的1 6 x 1 6 块的4 种模式相同。 以4 x 4 块帧内预测编码为例( 如图2 4 所示) ，其中小写字母a - p 表示当前需要进 行预测的像素，大写字母a q 表示来自邻近块并已经解码重建的像素。当这些像素恰 好位于图像外部，或编码次序上滞后于被预测像素时，则参考图像值不存在，无法进行 相应方向的帧内预测。在9 种预测模式中，除模式2 为d c 预；n 夕i - ，其它均照一个特定 预测方向进行外推预测。下面以模式0 ，模式2 和模式3 为例说明帧内预测过程。 心彦 彳r 7 3 ， t 4 q i j k l m n o p abcdefg h 图2 3h 2 6 4 帧内预测方向示意图图2 4h 2 6 4 中的4 x 4 帧内预测编码示意图 1 0 2h 2 6 4 视频压缩编码标准 ( 1 ) 模式0 为垂直预测模式 这种模式下，像素a ，e ，i ，m 以a 像素值为预测值。同理，b ，f j ，n 以b 预测； c ，g ，k ，0 以c 预测；而d ，h ，l ，p 则以d 进行预测。 ( 2 ) 模式1 为水平预测模式 这种模式下，像素a ，b ，c ，d 以i 像素值为预测值。同理，e ，f ，g ，h 以j 预测； i ，j ，k ，1 以k 预测；而m ，n ，o ，p 则以l 进行预测。 ( 3 ) 模式2 为d c 预测模式 若a ，b ，c ，d ，i ，j ，k ，l 均存在，则所有像素的预测值为( a + b + c + d + i + j + k + l + 4 ) 3 ，“ 为右移位运算；若仅a ，b ，c ，d 存在，则所有像素的预测值为( a + b + c + d + 2 ) 2 ；同理，若仅i ，j ，k ，l 存在，则所有像素的预测值为( i + j + l 针l + 2 ) 2 ；若参 考像素均不存在，则所有像素的预测值均为1 2 8 。 ( 4 ) 模式3 为左下对角线预测模式 只有a ，b ，c ，d 都存在时可以使用，预测值由当前像素上方和左方邻近的参考像 素，沿从右上方到左下方沿4 5 。方向进行插值预测得到。其中， 像素a 的预测值为：( a + 2 b + c + 2 ) 2 像素b ，e 的预测值为：( b + 2 c + d + 2 ) 2 像素c ，f ，i 的预测值为：( c + 2 d + e + 2 ) 2 像素d ，g ，j ，m 的预测值为：( d + 2 e + f + 2 ) 2 像素h ，k ，n 的预测值为：( e + 2 f + g + 2 ) 2 像素l ，o 的预测值为：( f + 2 g + h + 2 ) 2 像素p 的预测值为：( g + 3 h + 2 ) 2 其他预测模式与模式3 相类似，仅是预测方向不同，具体计算可见参考文献【9 】。另 外，为了确保解码器在图像片( s l i c e ) 内能够实现独立解码，各种块的帧内预测模式均 以图像片为边界进行。 帧内预测算法根据选定的匹配准则( 例如，绝对误差和s a d ) ，从众多预算模式中 选取最佳预测模式，并将该模式信息和预测误差信息编码传送。 2 3 2 帧间预测编码技术 在帧间预测编码技术方面，h 2 6 4 除了引入可变尺寸块匹配这种新技术外，其他则 主要借鉴h 2 6 3 和h 2 6 3 + + 中成熟的改进