（计算机软件与理论专业论文）基于h264avc的视频编码研究与优化.pdf

华南师范人学硕士学位论文 当前视频编码在便携设备中的嵌入式应用，找出简单帧内预测优化的突破点。 ( 4 ) 分析了h 2 6 4 a v c 标准官方测试模型j m 8 6 ，并根据本文的优化算法修改了 j m 8 6 的相应实现。 ( 5 ) 用本文的快速算法对几组不同视频序列进行编码，分析实验结果并跟标准原 来算法进行比较，找出本文算法的优点和不足之处。 ( 6 ) 最后总结了本课题的主要工作和本课题的不足之处，并提出以后的进一步研 究拓展。 本文的创新之处主要有以下三点： ( 1 ) 根据视频图像的纹理特性和预测模式间的特点，分析视频图像的像素值分布 情况，找出计算平坦度的模型和方法； ( 2 ) 根据视频图像的像素值的变化方向，提出i n t r a l 6 x 1 6 帧内预测的快速预测模式 决定和选择的算法； ( 3 ) 分析标准中各预测模式间的相关性，提出了基于模式相关性的i n t r a 4 x 4 帧内预 测模式选择算法。 实验结果表明，用本文算法对c i f 和q c i f 格式的视频的压缩，能对p s n r 影响极小 的情况下，节省了近6 0 的压缩时间，本文的提出的算法能达到较好的编码效率。 关键词：视频编码；h 2 6 4 a v c ；帧内预测；编码优化 i i 基于h 2 6 4 a v c 的视频编码研究与优化 a b s tr a c t t h er e s e a r c ha n d0 p t i m i z a t i o n o fv i d e oc o d i n gi nh 2 6 4 m a j o r ：c o m p u t o rs o f t w a r ea n dt h e o r y s u p e r v i s o r ：g eh o n g h 2 6 4 a v ci st h ei n t e r n a t i o n a lv i d e ow h i c hp r o p o s e da n dd e v e l o p e dj o i n t l yb yi t u t v c e ga n di s o i e cm p e gs t a n d a r d sc o m m i t t e e s i ti se x t e n s i v ec o n c e m e df o rh i g h e r e f f i c i e n c yo fc o d i n ga n df r i e n d l i n e s si nn e t w o r ka p p l i c a t i o na r e a s a l t h o u g hi ti ss t i l lu t i l i z e b l o c k b a s e dh y b r i dv i d e oc o d i n gf r a m e w o r k ，t h ec o d i n ge f f i c i e n c yo fh 2 6 4i sm o r et h a n t w i c ew i t hr e s p e c tt oe a r l i e rs t a n d a r d sw h e ng e t t i n gt h es a m ev i d e oq u a l i t y , b ye m p l o y i n ga s e r i e so fn e wt e c h n o l o g yd e v e l o p e di nv i d e oc o d i n ga r e a si nr e c e n ty e a r s a sm i g h tb e e x p e c t e d ，t h ei n c r e a s ei nc o d i n ge f f i c i e n c ya n df l e x i b i l i t yc o m e sa tt h ee x p e n s eo fs e v e r a l t i m e si n c o m p u t a t i o n a lc o m p l e x i t yw i t hr e s p e c tt o e a r l i e rs t a n d a r d s t h eh i g hc o d i n g c o m p l e x i t yh a ss i g n i f i c a n ti m p a c to nt h ea p p l i c a t i o n so fr e a lt i m ev i d e oc o d i n gs u c ha sv i d e o c o n f e r e n c ea n dt e l e p h o n y i no r d e rt or e d u c et h ec o m p l e x i t ye f f e c t i v e l y , m a n yf a s ta l g o r i t h m s h a v eb e e nd e v e l o p e d i nt h i sp a p e r , af a s ta l g o r i t h mi ni n t r a f r a m ei sp r o p o s e d a c c o r d i n gt of e a t u r e so fv i d e o i m a g et e x t u r ea n dc o r r e l a t i o nb e t w e e np r e d i c a t i v em o d e s ，r e s e a r c ha na l g o r i t h mw h i c hi s s i m p l ea n dc a ni m p r o v ec o d i n ge f f i c i e n c ye f f e c t i v e l y i to p t i m i z e st h ei n t r ap r e d i c a t i o np a r to f i i i 华南师范大学硕士学位论文 h 2 6 4 ，i n c l u d i n gm a c r ob l o c k i n gs e l e c t i o n ，p r e d i c a t i o nm o d es e l e c t i o ni n 164 x 4s u b b l o c k s a n d416 x16m a c r op r e d i c a t i o nm o d e s t h ef o l l o w i n gw o r k sh a v eb e e n d o n ei nt h i sp a p e r ： ( 1 ) c h o o s eh 2 6 4 a v c - b a s e dv i d e oc o d i n gr e s e a r c hb yr e a d i n g l o t so fv i d e os t u f f s ， a n a l y z i n gr e a l i t i e so fr e s e a r c ha n da p p l i c a t i o ni nv i d e oc o d i n ga r e aa n dd o i n gc o m p a r i s o n a m o u n tv i d e oc o d i n gs t a n d a r d s ( 2 ) c h o o s ei n t r a - p r e d i c a t i o nm o d ed e c i s i o na st h em a i nw o r ki n t h i sp a p e rt h r o u g ht h e d e t m l e da n a l y s i so fh 2 6 4 a v cc o d e ca n dk e yt e c h n o l o g i e si nh 2 6 4 a v c ( 3 ) p r o p o s e dt h es i m p l ei n t r a - p r e d i c a t i o na l g o r i t h mb ya n a l y z i n ga n dc o m p a r i n gc u r r e n t r e a l i t i e so fi n t r a p r e d i c t i o ni nh 2 6 4 a v cs t a n d a r da n dv i d e oc o d i n gi n e m b e d d e d a p p l i c a t i o n s ( 4 ) a n a l y z e dj m 8 6i nd e t a i l ，w h i c h i so n ev e r s i o no fo f f i c i a l t e s t i n gm o d e lo f h 2 6 4 a v c ，a n di m p l e m e n t e dt h ea l g o r i t h mp r o p o s e di nt h i sp a p e r i ni t ( 5 ) a n a l y z e dt h ee x p e r i m e n tr e s u l t sa n dc o m p a r e d i tw i t hr e s u l t sf r o ms t a n d a r d a l g o r i t h m ，d e m o n s t r a t e dm e r i t sa n dd i s a d v a n t a g e so f t h ea l g o r i t h mp r o p o s e di nt h i sp a p e r ( 6 ) f i n a l l y , s u m m e du pt h em a j o rw o r ko ft h i st o p i c ，p r e s e n t e dt h es h o r t c o m i n g so f t h i s t o p i ca n df u r t h e rs t u d i e sa f t e rt h ee x p a n s i o n i n n o v a t i o n so ft h i sp a p e rm a i n l yi nt h ef o l l o w i n g ： ( 1 ) av i d e oi m a g ef l a t n e s sm o d e li sp r o p o s e da c c o r d i n gt o t e x t u r ef e a t u r e so fv i d e o l m a g e ( 2 ) i n t r a l 6 x 1 6f a s tp r e d i c t i o nm o d ed e c i s i o ni sp r o p o s e db a s et h eo r i e n t a t i o no fp i x e l v a l u e sc h a n g ei nav i d e oi m a g e ( 3 ) af a s t i n t r a 4 x 4m o d es e l e c t i o na l g o r i t h mi sp r o p o s e da c c o r d i n gt oc o r r e l a t i o n b e t w e e np r e d i c t i o nm o d e si ni n t r ap r e d i c t i o ni nt h es t a n d a r d a st h ee x p e r i m e n t a lr e s u l ts h o w s ，t h ea l g o r i t h mr e d u c e s6 0 v i d e oc o d i n gt i m ea n d a f f e c tp s n rl i u l ew h e nc o d i n gc i fa n dq c i fv i d e o t h ea l g o r i t h mi nt h i sw o r kc a nc o d e v i d e oe f f i c i e n t l y k e yw o r d s ：v i d e o c o d i n g ；h 2 6 4 a v c ；i n t r ap r e d i c a t i o n ；c o d i n go p t i m i z a t i o n i v 基于h 2 6 4 a v c 的视频编码研究与优化 目录 摘要i a b s t r a c t i i i e jj 录v 1l 者论1 1 1 课题研究的背景和意义l 1 2 视频编码技术的发展2 1 3 当前国内外研究现状5 1 4 论文的研究内容和结构安排7 1 5 本章小结8 2 视频编码基础及h 2 6 4 a v c 关键技术9 2 1 视频信号编码介绍9 2 1 1 视频信号的特点。9 2 1 2 视频信号及采样格式9 2 2 视频编码的主要技术1 5 2 2 1 预测编码曼15 2 2 2 变换编码15 2 2 3 熵编码1 6 2 3 视频编码的评价1 6 2 3 1 主观视频质量评价16 2 3 2 客观视频质量评价。l7 2 4h 2 6 4 a v c 标准简介18 2 5h 2 6 4 a v c 编解码器1 9 2 5 1h 2 6 4 a v c 的编码器1 9 2 5 2h 2 6 4 a v c 的解码器一2 0 2 6h 2 6 4 的主要关键技术介绍。2 l 2 6 1 帧内预测。2 l 2 6 2 帧间预测2 2 2 6 4 熵编码。2 4 2 6 5 切换i p 片技术( s l 帧和s p 帧) 2 5 2 6 6 去方块滤波技术2 6 2 7 本章小结2 7 3h 2 6 4 的帧内预测方法及其测试模型j m 8 6 的分析。2 8 3 1h 2 6 4 的帧内预测方法2 8 3 1 1 视频图像的帧内冗余2 8 3 1 2h 2 6 4 的帧内预测方法2 9 3 2j m 8 6 的核心分析3 7 3 2 1j m 8 6 简介3 7 v 华南师范大学硕士学位论文 3 2 2j m 8 6 的m a i n 函数3 7 3 2 3 帧级编码函数e n c o d eo n ef r a m e ( ) 3 9 3 2 4 片级编码函数e n c o d eo n es l i c e 4 4 3 2 5 宏块级编码函数e n c o d eo n em a c r o b l o c k ( ) 。4 6 3 3 本章小结4 8 4 基于纹理特性和模式相关性的快速度帧内预测算法4 9 4 1h 2 6 4 的帧内预测代价模型4 9 4 1 1 基于率失真优化( r d o ) 函数的代价模型4 9 4 1 2 基于s a d 或s a t d 的代价模型5 0 4 2j m 8 6 中的r d o 代价模型的全搜索算法5 1 4 3 快速帧内预测的研究现状5 2 4 4 基于宏块平坦度的宏块帧内预测模式选择5 4 4 5 基于像素值变化方向的i n t r a l 6 x 1 6 帧内预测模式选择5 7 4 6 基于模式相关性的i n t r a 4 x 4 帧内预测模式选择5 9 4 6 1 相邻4 x 4 块帧内预测模式的相关性5 9 4 6 2 基于模式相关性的i n t r a 4 x 4 帧内预测模式选择一6 l 4 7 算法的总体流程。6 2 4 8 本章小结6 4 5 仿真实验与分析6 5 5 1 实验结果分析6 5 5 2 本章小结7 3 6 工作总结与展望7 4 6 1 本文研究工作总结7 4 6 2 进一步工作与展望7 4 参考文献7 5 致谢7 9 攻读硕士学期间公开发表的学术论文8 0 v i 基于h 2 6 4 a v c 的视频编码研究与优化 1 1 课题研究的背景和意义 1 绪论 人类社会从远古时代发展到现在的高科技的现代化社会，人类也经由结绳记事、面 对面的语言、文字的描述、手势的信息传递、交流方式发展到了相距万里、相隔千年的 声音、文字、图像和视频( 动态图像) 信息传递和交流方式。在这丰富多彩的信息传递 和交流方式中，视频声、色、意具全，包含丰富的动感信息和生动的表达方式，成为了 当今人们最喜爱的一种信息传递和交流的方式。随着电子技术和计算机技术的高速发 展，随着网络的迅速发展、推广和普及及人们日益增长的对多媒体应用的需要，视频的 应用相当的广泛，视频已经不仅只是存在在视频通讯或是普通电视的应用上，在互联网、 移动设备、数据设备等等已经得到广泛的应用。视频电话、视频会议、网络电视、互联 网的视频点播、高清电视和移动设备等视频应用已经影响了人们生活、工作、医疗、娱 乐等方方面面。其中，高清电视( h d t v ) 、高清视频点播( h d v o d ) 、移动视频通讯、 大量视频数据的远程传输( 特别是医疗应用) 已经是人们对视频应用的新需要。同时， 随着嵌入式这个“后p c 时代”的到来和人们对移动娱乐的要求的提高，数码相机拍摄高 质量的视频、m p 4 播放视频的清晰的视频、精简的上网本播放高清视频等，视频已经为 了人们生活中的一个重要的角色。同时，视频应用技术的发展也电子信息通讯和电子工 业产业带来了新的发展，扩大的电子信息市场并带来了经济收益。可见，视频应用在人 们的生活已经越来越重要、越来越普及了，对视频技术的研究也就越来越重要了。 随着电子信息产业的发展，视频在互联网、存储介质的应用越来越来广泛，但是由 于视频数据本身数据就很大，例如一个3 0 f p s 的视频序列就是由一秒钟3 0 帧图像组成， 如果假设每一帧图像的大小为3 6 0 x 2 8 8 像素，色彩深度为8 ，这个视频的播放速度就要 到达2 4 8 8 3 2 0 0 比特每秒。如果播放5 分钟左右的这种未压缩的视频，就需要大概是l g 字节的数据量，加上一些移动设备的存储容量不大、处理器相对简单、网络带宽特别是 手机移动网络等的限制，所以对视频压缩编码是很必要的。因此，国际上两大音视频标 准组织i s o i e c 的m p e g 和i t u t 的v e e g 先后分别推出了m p e g 1 ，2 ，4 和h 2 6 1 、 华南师范大学硕士学位论文 h 2 6 2 、h 2 6 3 、h 2 6 4 等视频标准，对视频的压缩编码做出重要的贡献，我国也研制了 自主的视频标准a v s 。h 2 6 4 以它很好的压缩比( 比m p e g 高一倍左右) 和灵活的网络 传输格式受到国际视频界的欢迎。h 2 6 4 和以前的标准一样，也是差值编码( d p c m ) ) j 1 1 变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比 h 2 6 3 h 和m p e g 2 好得很多的压缩性能，具有很高的数据压缩比率，在同等图像质量 的条件下，h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g 4 的1 5 2 倍。举个例子， 原始文件的大小如果为8 8 g b ，采用m p e g 2 压缩标准压缩后变成3 5 g b ，压缩比为 2 5 ：1 ，而采用h 2 6 4 压缩标准压缩后变为8 7 9 m b ，从8 8 g b 到8 7 9 m b ，h 2 6 4 的压缩 比达到惊人的1 0 2 ：11 1 1 。h 2 6 4 加强了对各种信道的适应能力，采用“网络友好”的结构 和语法，有利于对误码和丢包的处理：应用目标范围较宽，以满足不同速率、不同解析 度以及不同传输( 存储) 场合的需求；它的基本系统是开放的，使用无需版权【2 1 。在h 2 6 4 标准的0 3 条款中列举了h 2 6 4 的典型应用1 3 1 ：c a t v ( 有线电视) 、d b s ( 直接广播的卫星 视频业务) 、d s l ( 数字用户线上的视频业务) 、d t t b ( 数字地面电视广播) 、i s m ( 交互性存 储媒体) 、m m m ( 多媒体邮件) 、m s p n ( 分组交换网络上的多媒体业务) 、r t c ( 实时会话业 务) 、r v s ( 远程视频监控) 。生活中，支持h 2 6 4 的产品正在日益普及：支持视频播放功 能的移动终端、网络视频监控设备、网络中的流媒体视频传输、远程医疗诊断、移动教 育、数字化娱乐及存储，以及日益丰富的h 2 6 4 编解码器产品本身，都表明h 2 6 4 广泛 适应性和良好的应用前景。但是h 2 6 4 视频编码的运动估计部分比较复杂，而运动估计 又是h 2 6 4 视频编码的主要部分，所以对降低运动估计复杂度的研究，减少运动估计时 的计算时间就显得异常有意义了，特别是在嵌入式开发应用上就显得更加的重要了。 1 2 视频编码技术的发展 目前，限失真数字视频编码主要采用了线性预测和变换编码两种技术。1 9 4 8 年， s h a n n o n 和他的两个学生o l i v e r 和p i e r c e 联合发表了对电视信号进行脉冲编码调制 ( p c m ) 的论文，标志着数字视频压缩编码技术的开端。用线性预测的方法对图像信号 编码是1 9 5 2 年由贝尔实验室首先提出的。1 9 6 6 年，n e a l 对比分析了d p c m 和p c m 并 提出了用于电视的实验数据。1 9 6 9 年进行了线性预测编码的实际实验。此后，出现了各 2 基于h 2 6 4 a v c 的视频编码研究与优化 种改进的帧内和帧间线性预测编码方法以及自适应预测编码方法。1 9 7 5 年以来，有人通 过测量电视图像中运动物体的位移来进行帧间预测，使数码率得到了进一步的降低。变 换编码是1 9 6 8 年由p r a t t 首先提出的，他采用的是傅里叶变换。后来，相继出现了 h a d d a m a r d 变换，w a l s h 变换，斜变换，k l 变换和离散余弦变换( d c t ) 等。变换编 码是从频域的角度减小图像信号的空间相关性，它在降低数码率方面取得了和预测编码 相近的效果。进入8 0 年代之后，逐渐形成了一套运动补偿和变换编码相结合的混合编 码方案，大大推动了数字视频编码技术的发展。 目前国际上负责对音视频编码的标准化组织只要有两个，一个是视频编码专家组 ( v i d e oc o d i n ge x p e l sg r o u p v c e g ) ，它是国际电信联盟( i t u t ，i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n ) 下的一个标准化组织。另一个是运动图像专家组( m o t i o n p i c t u r ee x p e l sg r o u p ，m p e g ) ，它是国际标准化组织( i s o ，i n t e r n a t i o n a ls t a n d a r d s o r g a n i z a t i o n ) 和国际电子学委员会( i e c ，i n t e r n a t i o n a le l e c t r o n i c sc o m m i t t e e ) 下的运动 图像专家组。大多数的音视频应用都是采用了这两个标准组织制定的标准。v e e g 的视 频编码标准主要有h 2 6 1 、h 2 6 2 、h 2 6 3 和后来的h 2 6 3 + 等，主要应用于实时视频通信 领域，如会议电视。m p e g 的视频编码标准主要有m p e g 一1 、m p e g 一2 、m p e g 一4 、 m p e g 一7 和m p e g - - 2 1 ，要应用于视频存储( d v d ) 、广播电视、因特网或无线网上的流 媒体等。此外，h 2 6 2 m p e g 一2 和h 2 6 4 m p e g - - 4p a r t1 0 就是这两个标准组织共同 制定的标准。i t u t 和m p e g 组织所研发视频标准的历史与现状如图1 1 所示。 r i t u - t $ n 。苎k h 2 6 3 ：= 0 竺l 蛔q i a o j a | ；时 ：! 。羹| ；托阳觥羹 徽l 材m p g 蛔如r d s m 艘黔 | 一t湍，* 篙赫 蛔柏r d s t “。蛳抽。溉僦魄。；。一：锻一。一? ”? ：嚣墨：嚣：= ：褫：k 忍 l 一1 嘲l 钟o ，9 坛1 9 9 _ t ，”l 铮2 o 绷驯 图1 1 视频标准的发展 h 2 6 1 和m p e g 1 h 2 6 1 【4 1 是最早的视频编码标准，于1 9 9 0 提出来的，主要应用于会议电视和可视电 华南师范大学硕士学位论文 话，它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、d c t 变换、量化、 熵编码，以及与固定速率的信道相适配的速率控制等部分。用的压缩算法结合了可减少 时间冗余的帧间预测和可减少空间冗余的d c t 变换的混合编码方法，采用了1 6 x 1 6 的 宏块运动补偿、8 x 8 的d c t 变换和可变长熵值码，和i s d n 信道相匹配，其输出码率是 p 6 4 k b i t s 。m p e g 一1 是在1 9 9 1 年提出来的，主要是为电视数字图像存储而制定的， 主要应用于v c d ，v o d ，d i g i t a lc a m e r a 。m p e g 1 标准视频编码部分的基本算法与 h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措旌。此 外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 直流帧( d ) 和h a l f - p i x e lm o t i o n 等概念，进一步提高了编码效率。当运用于高比特率时，视频的质量比h 2 6 1 好。 h 2 6 3 和h 2 6 3 * h 2 6 3 建议1 5 1 是h 2 6 1 的后续标准，它是为甚低码率视频压缩制定的第一个标准， 允许音视频信息在低至9 6 k b i t s 的信道上传输，采用的编码算法与h 2 6 1 类似，基本上 是在其的基础上很了一些改进【6 7 l ：加放了p b 编码帧，支持单双向编码；使用8 x 8 像素 的运动矢量；半像素运动矢量估计，运动矢量可以超过图像边界。1 9 9 8 年又提出h 2 6 3 + ， 主要是增加了更多的选项和支持所有的比特率。2 0 0 0 年，又升级为h 2 6 3 + + ，增加了一 些选项，着重于编码时的错误恢复和编码的可伸缩性。 h 2 6 2 m p e g 2 m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运 动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分”帧”和”场”；引入了 编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。增加了 p s n r ，时空域的可伸缩性，档次和等级等概念，精确到1 0 b i t 的采样。主要应用于s d t v ( 2 - 5 m b p s ) ，d v d ( 6 - 8 m b p s ) ，h d t v ( 2 0 m b p s ) ，v o d 等 m p e g 7 和m p e g 21 准确来说，m p e g 7 并不是一种压缩编码方法，而是一个多媒体内容描述接口。继 m p e g 4 之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。 m p e g 7 就是针对这个矛盾的解决方案。m p e g 7 的目标是支持多种音频和视觉的描述， 包括自由文本、n 维时空结构、统计信息、客观属性、主观属性、生产属性和组合信息。 对于视觉信息，描述将包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运 4 基于h 2 6 4 a v c 的视频编码研究与优化 动及变形等。m p e g - - 2 1 称为多媒体框架( m u l t i m e d i af r a m e w o r k ) ，最终目标是要为 多媒体信息的用户提供透明而有效的电子交易和使用环境。m p e g 2 1 的基本框架要素 包括数字项目说明、内容表示、数字项目的识别和描述、内容管理与使用、知识产权管 理和保护、终端和网络、事件报告等部分。 近几年来，我们国家也提出和制定先进、自主、开放的二代信源编码标准：音视频 编码的标准a v s ( a u d i oa n dv i d e os t a n d a r ) 。2 0 0 2 年6 月，数字音视频编解码技术标准 工作组( a v s 工作姐) 在国家信息产业部科学技术司的批准下成立了，主要任务是为了 制( 修) 订数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设 备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储 媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用p 。a v s 采用基于 8 x 8 块的帧内预测，有5 种亮度预测模式和4 种色度预测模式；最多支持2 帧的参加帧， b 帧宏块对称模式；像素运动补偿时，像素位置采用4 拍滤波，像素位置采用4 拍 滤波、线性插值；熵值码采用上下文自适应2 d v l c ，e x p g o l o m b 码降低计算及存储 复杂性；环路滤波基于8 8 块边缘进行，简单的滤波强度分类；简单的容错编码。由 于a v s 的编解码技术都是采用了比较折中的技术，据相关估计，a v s 解码复杂度相当 于h 2 6 4 的3 0 ，a v s 编码复杂度相当于h 2 6 4 的7 0 i 9 i 。 1 3 当前国内外研究现状 h 2 6 4 a v c ( m p e g - 4 p a r t1 0 ) 是目前国际上最新的视频编码标准【1 0 1 ，是继m p e g 2 和h 2 6 2 ，m p e g 4 ，h 2 6 3 等标准之后，由i t u t 和i s o i e c 共同成立的联合视频组t 共同制定的新标准 1 l l 。1 9 9 8 年早期，国际电信联盟的视频编码专家组开始征集协议提 案，并命名为h 2 6 l 项目，目的是为了使视频编码的效率比当时存在的所有视频编码标 准提高一倍。1 9 9 9 年1 0 月，第一个设计草案被采纳。2 0 0 1 年1 2 月，国际标准组织( i s o i e c ， i n t e r n a t i o n a ls t a n d a r d so r g a n i z a t i o n ) 的运动图像专家组和国际电信联盟成立了联合视频 组j v t ( j o i n tv i d e ot e a m ) ，并在2 0 0 3 年3 月召开的全体大会( p a t t a y a ，t h a i l a n d ) 上， 提出了最终草案和与其相应的测试模型。2 0 0 3 年5 月提交给i s o i e c ，通过讨论成为 华南师范大学硕十学位论文 m p e g 4 第十部分，并形成了正式版的h 2 6 4 a v c 1 2 1 ，2 0 0 4 年又进行了补充【1 3 】，形成 了现有的i s om p e g 4p a r t1 0 和i t u t 的h 2 6 4 。的对它的应用领域有：基于缆线、 卫星、d s l 和陆地上的广播，光磁设备上的交互或串行存储，基于i s d n ，以太网，无 线网和移动网络等的传统服务，视频点播，多媒体流服务和多媒体消息服务等等。为了 灵活和个性化地处理这么多的应用和网络服务，h 2 6 4 a v c 进行了分两层设计：视频编 码层v c l 和网络抽象层n a l ，v c l 有效率地描述了视频的内容，n a l 把格式化了v c l 的视频描述并提供了适合在多种传输层或是存储媒介传输的头信息。也就是说， h 2 6 4 a v c 是一个信源编码和信道编码的混合体。 h 2 6 4 a v c 自从2 0 0 3 正式通过和推出以来，一直是学术界、各音视频相关公司企 业应用研究的热点。特别是在v c l 层的研究中，主要是对在视频编码时运动估计算法， 针对其高度的计算复杂度的问题开展研究，也提出不少新的和原有算法的改进优化的快 速算法。近几年来，对h 2 6 4 a v c 的各项技术的研究和改进一直是音视频领域研究的 热点问题。 在h 2 6 4 a v c 标准正式推出初期，人们对其的研究只是综述性和应用试验性的工 作为主1 1 4 1 。到了近两三年，研究工作主要在算法级、指令级和系统级的优化。算法级的 优化做得最多，主要是对编码器中最为耗时的模块进行优化，最主要的是对运动估计算 法进行优化【1 5 1 。在帧内预测方面，c h i u a nh w a n g 等人提出了一种基于模式条件概率和 相邻块模式作为其相关图像内容特性的有效率的预测算法，能在几乎不降低视频质量 的情况下明显的减少编码的时间 1 6 l ；s i m 和k i m i 1 提出基于关于相邻块的最好模式的 最好模式条件概率的快速预测算法；j o e n 等人提出了通过判断宏块边界相关性来缩有效 模式范围的快速算法；c s k i m 等人提出的利用绝对差之和以及方向信息的多级模式预 测方法，利用变换后的预测残差，计算得到绝对误差和，将己知的预测进行排序，从而 确定候选预测模式，从而预测的复杂度。在帧间的预测方面，y u nc h e n g t l 8 】等人提出了 一种基于菱形三角搜索算法d t s ，很好的拓展了相邻宏块的相关性、s a d 的定向特性 和运动向量的偏中特性来加速基于块匹配的运动估计；c y u 等人提出利用宏块的d c t 系数统计宏块能量从而根据宏块的纹理复杂度进行划式选择的快速算法；m e n g q i n g 1 e i t l 9 1 等人提出了基于上一块模式的计算结果的块模式选择算法，能有效的降低1 9 6 基于h 2 6 4 a v c 的视频编码研究与优化 左右的计算复杂度；d o n g h y u n gk i m t 加l 等人提出了利用其它宏块模式的代价来减少 帧间8 x 8 和帧内4 x 4 块的选择复杂度，h 2 6 4 的实现相比，在平均p s n r 降低小于0 0 5 d b 的情况下能省5 3 的编码时间；在多参考帧选择预测方面，t i e n y i n gk u o 和h u a n g b i n c h e n t 2 1 1 提出了根据8 x 8 块大小的初始运动搜索结果并在可变块大小的运动估计时只有 已经选择了的帧才需要进一步测试的参考帧选择方法，可以大程度地减少多参考帧运动 估计的复杂度；y h u a n g 等人以宏块在前一参考帧中的预测结果判断是否有必要参考后 续参考帧为出发点，提出了用于减少不必要参考帧计算的快速算法。在子像素运动估计 方面，h o n gy i nl i m 和a s h r a f a k a s s i m l 2 2 】采用基于相邻块的分数运动向量和简单小菱 形搜索的自适应十字架模式，提出了快速子像素运动估计算法，与h 2 6 4 中的分数像素 搜索相比，在能减少大于5 0 的子像素搜索点的情况下，使在p s n r 减少小于o 1 d b 。 除以上举的例子之外，在国内对h 2 6 4 标准贡献比较大的算法是u m h e x a g o n s 运动 估计算法1 2 3 1 。u m h e x a g o n s 算法是清华大学提出的，能很好地解决“局部最优”问题，已 经被h 2 6 4 标准正式采纳。它是一种混合的层次化的运动搜索策略，共有预测模式选择、 十字型搜索、六边形搜索和扩展搜索四个步骤。它可以在二、三步搜索后就达到了全搜 索的精度，但其运算的复杂度却很明显大大的降低。 1 4 论文的研究内容和结构安排 虽然h 2 6 4 ，增强的运动预测能力，采用空域内的帧内预测、1 4 象素精度的运动 估计的等新技术来获得较高的压缩比，但是却提高了编码时计算机的复杂度，复杂度的 成倍上升，使得h 2 6 4 在实时的视频编码及传输应用中面临着巨大的挑战。本文对h 2 6 4 编解码的各部分技术进行了深入的学习和研究，对h 2 6 4 官方的测试模型j m 8 6 平台作 了详细的研究和分析，针对h 2 6 4 编码器编码时耗时较多的预测模式选择部分作了较深 入的研究，在多种视频序列上做预测模式相关性的分析，提出基于模式相关性的快速模 式选择算法，节省了预测模式选择的时间，并在j m 8 6 平台进行实验和分析。实验证明 了新算法在峰值信噪比、主观质量评价和码率变化不大的情况下对编码速度有显著提 高。本论文的章节结构安排如下： 第一章绪论，主要是讲述课题研究的背景、视频编码技术的发展和意义、当前国 7 华南师范大学硕十学位论文 内外研究现状和本论文的研究内容及结构安排。 第二章视频编码基础及h 2 6 4 a v c 关键技术。主要是介绍视频编码的原理和目标、 视频图像的信息表示、预测编码、变换编码及熵编码等视频编码的主要技术和视频编码 的质量评价