（系统工程专业论文）H264视频编码器的优化及其工程应用研究.pdf

摘要 h 2 6 4 视频编码器的优化及j e 工程应用研究 摘要 h 2 6 4 是目前最新的视频压缩编码标准，与以往的标准如m p e g 1 2 4 及h 2 6 l h 2 6 3 相比，在编码效率上具有明显的提高。然而，h 2 6 4 的优越性是以其复杂度的成倍增加 为代价换取的，高运算量成为其得到广泛应用的瓶颈。因此，在保证其高压缩比的同时， 大幅度提高其编码速度就成为研究的热点课题。 本文对h 2 6 4 算法进行分析和研究，在运动估计、帧间模式选择、帧内模式选择三 个编码耗时模块实现了快速算法。其中，模式选择方面实现的快速算法是利用编码宏块 自身的特点提前判断出该宏块应采用的编码模式，从而避免了原标准算法中的穷举式搜 索。本文提出了一种基于帧间大小模式相关性的快速算法，该算法在编码宏块采用大模 式计算出运动估计的率失真费用条件下，可以迅速的判断亚宏块应该采取的小模式。所 有实现的算法在码流只有少许增加，信噪比变化不大的情况下，提高了编码速度，同时， 保持了原有h 2 6 4 标准中的码流结构。此外，本论文实现了一个基于实验室局域网环境 下的点对点视频传输系统，该系统采用t 2 6 4 进行编解码，利用u d p 协议传输视频数据， 具有较好的传输质量。 关键词：h 2 6 4 ，运动估计，帧内编码，帧间编码，视频传输 a b s t r a c t h 2 6 4 视频编码器的优化及j e t 程膨用研究 a b s t r a c t h - 2 6 4 jv 1 i l st h el a t e s ti n t e m a t i o n a lv i d e oc o m p r e s s i o ns t a n d a r d c o m p a r e dt om a n y e x i s t i n gs t a n d a l r d s ，s u c ha sm p e g - l 2 4a n dh 2 61 h 2 6 3 ，t h ec o d i n ge m c i e n c yo fh 2 6 4h a s b e e ni m p r o v e dp r o m i n e n t l y h o w e v e r ，m ee n h a n c e dc a p a b i i i t i e so fh 2 6 4a r ea tt h ee x p e n s e o ft h em c r e m e n to fc o m p u t a t i o n a lc o m p l e x i t ya n dt h eh e a v yc o m p u t a t i o n a l i t ) ，t h ec o m p i e x d e s i g ne m b a r r a s s e si t sb r o a da p p l i c a t i o n i n c r e a s i n gt h ee n c o d i n gs p e e do fh 2 6 4h a l sb e c o m e ah o tr e s e a r c ht o p i ca tt h es 锄et i m eo ft h eg u a r a n t y i n gi t sh i g hc o m p r e s s i o nr a t i o 觚e ra n a l y z i n ga n d r e s e a r c h i n gt h en e 、v e s ts t a n d 2 u r dh 2 6 4 ，w ea c l l i e v er a p i da l g o r i t h m s i nm o t i o ne s t i m a t i o na i l dm o d es e l e c t i o na l s p e c t s t h ee 硒c i e n ta l g o r i t h mw a sp r o p o s e di n t h i sp a p e ru s i n gi n h e r e n tf e a t u r et oj u d g et h ee n c o d i n gm o d eo fo n em a c r o - b l o c k ，m u s a v o i d i n gm eo r i g i n a ls t a n d a r da l g o r i t h mi nt h ee x h a u s t i v es e a r c h t h en e wa l g o r i t h mi sb a s e d o nt l l ec o r r e l a t i o no ft 1 1 el a r g eb l o c ks i z ea n dt h es m a l lb l o c ks i z em o d e s i tc a l lq u i c l d yj u d g e w h i c hs m a l lm o d et l l es u b b l o c ks h o u l dt a ：k ea j f t e rc a l c u l a t i n gt h em a c r o - b l o c kr dd i s t o n i o n o f b i gm o d e lt h ea l g o t h m si m p r o v et 1 1 ee n c o d i n gs p e e dw i t l las “曲ts 纰锄d e l i a t i o na n d i m p e r c i e v a l b l es n rd e c r e a s e ，w 1 1 i l em a j n t a j n i n gt h eo r i g i n a lh 2 6 4s t a i l d a r di nt l l es t r e 锄 s t m c t u r e i i la d d i t i o n ，t h ep a p e rr e p o r t e dap o i n t t o - p o i n tv i d e ot m s m i s s i o ns y s t e mb a s e do n t l l e l a b o r a t o d rl 气ne n v i r o l l i n e n t ，u s i n gu d pp r o t o c o la j l dt 2 6 4c o d e c nh 嬲ag o o d 觚l s m i s s i o nq u a l i t y k e yw o r d s ：h 2 6 4 ，m o t i o ne s t i m a t i o n ，i n t e r c o d i n g ，i n t m c o d i n g ，t 砌s m i s s i o n u 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我二同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：耋翌箜 2 口。彦年7 月2 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 盔童缂2 。g 年一7 月上日 硕i ：论文h 2 6 4 视频编码器的优化及j - 丁程应用研究 1 绪论 1 1 视频编码标准发展过程 随着多媒体和网络技术的发展，人们希望通过语音、图像与视频等多种方式进行通 信。其中，视觉信息给人最为直观的感受，因而图像视频的传输更受到广泛的关注。多 媒体通信中最为关键的是视频的压缩和传输技术，不断呈现出来的视频编码方法满足了 在视频处理和传输过程中对带宽和时延的要求。 目前，国际上视频编码标准主要有两大系列：i t u ( 国际电信联盟) 针对低码率视 频通信而制定的h 2 6 x 系列视频编码标准和i s 伽e cj t c l ( 国际标准化组织与国际电工 委员会下属的信息技术委员会) 针对多媒体数据存储而制定的m p e g 系列标准。所有编 码方法支持的码率和应用场合不尽相同，如表1 1 所示： 表1 1 各种视频编码标准的目标码率及其应用领域 组织名称编码标准码率范围应用领域 i t u th 2 6 l p 6 4 k b p s在i s d n 等宽带信道上的视频传输，如视频电 p = 1 3 0 话 l s om p e g 11 5m b p sv c d i s om p e g 2 4 - 1 0 0 m b p s 高品质数字视频和音频传输和存储，如 d v d 、h d t v ( 高清晰度电影) i t u t h 2 6 3 6 4 k b p s 或 6 4 k b p s 低比特流视频通信，如p s t n ( 公共交换电 话网络) 上的视频电话和视频会议系统 l s om p e g - 42 4 - 1 0 2 4k b p s实时多媒体监控、低比特率下的移动多媒体 通信、内容存储和检索 i t u t h 2 6 3 + “k b p s 低比特流视频通信 下图1 1 表示各编码算法发展过程： 回 卫叵巫互囤 - 圈匦 口， m p e gm p e g 1m p e g - 4 图1 1 数字视频编码发展过程 h 2 6 l 【6 1 被称作“d e oc o d ef o r a u d i ov i s u a ls e r v i c ea tp 6 4 k b i t s ，发布于1 9 9 0 年，主要是应用于视频电视会议，又被称为p 6 4 k b i t s 标准，p 取值在l - 3 0 之间。因为它 主要针对6 4 k 的整数信道。h 2 6 1 只支持整像素精度的运动补偿和单向参考，即参考帧只 能使用前一帧图像。它采用了基于块匹配的运动补偿方法，使用8 8 d c t 变换对原始图 l 绪论顾 ：论文 像或预测残差进行变换，这种基于块的运动补偿与d c t 变化相结合的混合视频编码方 法，也成为了后来各种编码标准的基础。 m p e g 1 【6 4 j 全称是“c o d i n go fm o v i n gp i c t 吡- ea n da s s o c i a t e da u d i o f o rd i g i t a ls t o m g e m e d i aa tu pt o1 5m b i t s ，它是为存储视频媒体( 如v c d ) 所制定的。其主要目的是在 1 1 5 m b i t s 的条件下，提供3 0 帧秒的c i f ( 3 5 2 2 8 8 ) 图像格式。相对于h 2 6 1 ，m p e g 1 有很多相似之处，但它引入了一些新特性：如双向运动补偿技术以及半像素精度的运动 补偿。双向运动补偿允许将前帧和后帧均作为参考帧，半像素精度运动补偿是指把周围 整像素的值先经内插运算得到亚像素点处的值，然后再做运动估计，运动矢量范围扩大 到了6 4 像素，提高了运动估计的准确度。除此之外，还提出了图像组( g o p ：g r o u po f p i c t u r e ) 结构概念，每一个g o p 都由一个i 帧开始，后跟一定数量的p 帧和b 帧，以实现 视频的随即访问。另外，m p e g 1 还定义了一个特殊的编码参数集，可以用来限制解码 器计算复杂度、缓冲器大小以及存储器带宽。 m p e g 2 i ”j 1 6 7 j 全称是“g e n e r i cc o d i n go f m o v i n gp i c t u f e sa n d a s s o c i a t e d a u d i o ，因 为m p e g 1 不能以广播质量压缩隔行数字视频而制定了这种标准。在3 m b p s 3 5 m b p s 的传 输速率下，提供了高质量的多媒体信号，并实现质量、时间、空间上的可伸缩性。与 m p e g 1 相比，m p e g 2 又引入了两个主要的新技术：对隔行扫描的支持和可伸缩性编码。 隔行扫描是指把一帧分为两场进行扫描，一帧图像中相邻的行可属于不同的场，为了提 高编码的性能，m p e g 2 允许以场为单位进行运动补偿和变换编码。可伸缩性编码是指 根据实际的需要( 如可利用的信道宽度、解码终端的处理能力等) 在编码质量和码流大 小之间取得折中。另外，m p e g 2 中定义了类( p r o f i l e ) 和级( l e v e l ) ，扩展了m p e g 1 的受约束参数集概念，设计了更为广泛的特征子集和参数范围。它支持的码率范围大， 应用也十分广泛，涵盖了卫星广播服务、有线电视、有线广播、数字地面电视、电子影 院、家庭影院、互动媒体、远程视频监控等方面。 h 2 6 3 【7 】全称是“d e oc o d i i l gf o rl o wb i tr a t ec o m m u l l i c a t i o n ，也是基于h 2 6 1 编 码框架制定的。与h 2 6 l 相比，它采用了一些新技术，如可变块大小的运动估计、初始 运动矢量预测、多参考帧运动补偿、双向预测模式、利用中值运动向量作为当前宏块的 运动矢量、基于语法的算术编码来代替可变长编码等。h 2 6 3 主要应用于低码率的视频 电话中，其目标网络是p s t n 、i s d n 、以及无线网络。由于p s t n 和无线网络上的传输速 率仍然有限，而且误码率较高，因此，i t u t 后来又提出了h 2 6 3 的改进版本h 2 6 3 + 和 h 2 6 3 + + ，以满足高压缩效率和强信道容错能力的应用要求。 视频编码理论不断发展为视频编码质量的改善创造了先决条件，而更多的服务需 求，如个人无线视频通信系统、交互电视、视频点播等，对新的视频编码标准提出了更 高的要求，这导致了m p e g 4 和h 2 6 4 a v c 等现代视频编码标准的出现。 m p e g - 4 【5 j 全称是“c o d i n go f m o v i n gp i c t l 盯e 锄d a u d i o ”，其主要应用于因特网多媒 2 硕l ：论文h 2 “视频编码器的优化及】e t 程心用研究 体、交互式视频游戏、个人通信、多媒体邮件、网络数据库服务、远程视频监控、无线 监控、无线多媒体等领域。目前，m p e g 4 共包含1 0 个部分，依次为系统、视频、音频、 一致性测试、参考软件模型、传输多媒体集成框架、m p e g 4 工具软件、基于i p 架构的 m p e g 4 、参考硬件描述、以及高级视频编码( a d v 锄c e dv i d e oc o d i n g ，简称a v c ) 。其 中a v c 即为i t u t 和m p e g 联合制定的h 2 “视频编码标准，这也是本文的研究对象，将 在下文中进行详细的介绍。m p e g 4 在视频编码中引入了基于对象的概念，对物体独立 编码，使视频对象进行基于内容的交互成为可能。一个场景可由几个视频对象v o ( d e o o b i e c t ) 组成，v o 的构造依赖于具体应用和系统实际所处的环境，超低比特率的情况下， v o 可以是个矩形帧，与传统的标准兼容，v o 也可以是场景中某一物或某一层面，为画 面中被分割出来的不同物体。每个v o 由三类信息来描述：运动信息，形状信息，纹理 信息。与m p e g 1 相比，m p e g 4 改进了d c 预测，可以选择当前块的左块或者上块来预 测当前d c 系数值；增加了水平交替扫描方法；选择更宽的运动矢量范围( 最大可以到 2 0 4 8 像素) ；采用全局运动补偿；采用l 4 像素的运动补偿。除此之外，还包括了二进 制形状编码、低通填充、形状自适应d c t 和灰度形状编码等技术。 h 2 6 4 是最新的视频编码标准，其目的就是要提高更高的编码效率并且能够应用于 更为广泛的领域。早在1 9 9 7 年，i t u tv c e g ( d e 0c o d 证ge x p e r t sg r o u p ) 就开始了 h 2 6 4 视频编码方面的研究，在1 9 9 8 年8 月b e r l i n 会议上，推出了第一个较验模型t m l l ( t e s tm o d e ll o n g t e 册) 。2 0 0 1 年底，该模型通过i s o i e cm p e g 的测试，并被确认为当 前最先进的视频压缩编码方法， i s o i e cm p e g 专家组随后也加入了i t u tv c e g ，他 们组成了联合视频开发小组t ( j o i n t d e ot e 锄) ，共同研究新一代视频编码标准，以 进一步提高编码效率和图像质量，最终在2 0 0 3 年3 月通过了视频编码标准草案，正式命 名为h 2 6 4 ，a v c ，并被m p e g 收入到m p e g 4 标准的第1 0 部分，即m p e g _ 4 a 、厂c ( a d v 锄c e d d e oc 0 d i n g ) 。在同等图像的质量下，h 2 6 4 能够比h 2 6 3 节省5 0 的码率。同时，它具 有良好的网络亲和性，并提供了分组网络的丢包处理和在易误码的无线通信环境中的比 特错误处理机制，这些措施在实时视频通信中是十分重要的。 1 2h 2 6 4 的优越性 相对于以往的视频编码标准，h 2 6 4 之所以能成为下一代视频编码国际标准，主要 是因为它具有如下的优越性。 ( 1 ) 提高了视频传输的健壮性 以往的视频编码标准在传递每个s l i c e ( 片) 、p i c 佃r e ( 图像) 、g o p ( 图像组) 之前 先要传递与它们对应的头信息，这些头信息的丢失往往使那些与之有关的数据变成无 效。为了克服这个问题，h 2 6 4 在传递包的过程采用异步方式，所有的高层信息依赖于 系统，而不依赖于具体内容。它将参数集中起来构成参数集，而把一些经常变换的参数 3 l 绪论倾i j 论文 放入s l i c e 层。除此之外，还采用一种特殊n a l 单元来传输参数集，在一些特殊场合，这 些重要参数的传输使用的是一种比传输视频数据更为可靠的机制引。 ( 2 ) 具有网络友好性 以往的视频编码标准通常是为了某种特殊应用场合而制定，j v t 专家在一开始设计 h 2 6 4 时考虑到了固定和无线网络环境中包传输的重要性，因此测试环境选择了固定网 络中的会话服务，以及3 g 网络中基于包交换的会话服务和流服务。 ( 3 ) 可支持不同的码率 在很多视频应用领域，峰值比特率随着网络环境变化而变化，h 2 6 4 提供了一种灵 活的解码器缓冲模型，可支持各种不同的视频应用环境状况( 包括码率、缓冲器大小等) 的变化。 ( 4 ) 改进了帧间预测 以往的编码标准最多使用两个预测帧，对于双向预测，通常让当前帧的前一帧和后 一帧作为参考帧。h 2 6 4 允许采用多个参考帧，虽然这种改进增加了编码器复杂度，但 是能够显著改善预测性能。 ( 5 ) 亚像素精度搜索 亚像素精度可以明显提高图像重建的质量，h 2 6 4 采用l 4 或l 8 像素精度预测，可以 在高码率和高视频分辨率的情况下显著提高编码性能。 ( 6 ) 较高的数据压缩效率 早期的编码标准通常用固定的量化表或以固定值增加量化步长。而h 2 6 4 采用的是 分级的量化器，显著的提高了压缩效率。 ( 7 ) 较高的熵编码效率 h 2 6 4 采用u v l c ( u n i v e r s a lv 耐a b l el e n g t l lc o d i n g ) 和c a v l c ( c o n t e x t - b a s e d v 撕a b l el e n g t hc o d i n g ) 和c a b a c ( c o n t e x t - b a l s e da d a p t i v eb i n a d ra t h m e t i c ) ，能够 有效的提高熵编码效率。 ( 8 ) 更好的视频质量 h 2 6 4 使用帧内预测、树状结构的运动补偿、高精度运动估计、多参考帧选择以及 整数变换等技术，相对于以往的标准，能够得到更好的视频质量。 1 3 本文研究的内容 h 2 6 4 编码从本质上并没有脱离常规的编码框架，仍然采用的是变换加预测的方法， 但它在很多技术细节上做了改进。比如帧内预测、整数变换、量化、熵编码以及高效的 运动估计与补偿，但同时这些改进方法带来了复杂度的提高。实验结果1 5 1 表明，与以往 的标准相比，在提高编码效率的同时，复杂度在编码端提高了一个数量级，在解码端提 高了2 倍以上。由于h 2 6 4 运算复杂，在没有硬件加速的情况下，如果不做任何简化一般 4 硕l j 论文h 2 6 4 视频编码器的优化及j t 程应用研究 不能运用到实际工程中去，因此对h 2 6 4 在不改变其码流结构的情况下进行算法优化， 提高它的编码速度，无论是在理论上还是实际应用中，都有一定的意义。 另外，随着多媒体和网络技术的发展，在互联网上进行音视频的传输是必然趋势。 目前，对于视频在网络中的传输主要是从两个方面研究：一是建立起有服务质量保证的 网络体系结构，二是要研究如何把最新的视频编码技术应用到网络传输中来。因此，结 合h 2 6 4 和网络技术，做这方面的实际软件模型开发，是有一定的意义的。 本论文的研究主要集中在以下两个方面： 编码模块中快速算法的实现 在h 2 6 4 编码环节中，运动估计、帧间模式选择、帧内模式选择这三个模块占据了 绝大部分的编码时间，h 2 6 4 算法复杂性将在第2 章做详细分析。因此，对这三个模块实 现一些快速算法是有一定意义的，具体工作主要集中在以下几个方面： ( 1 ) 在运动估计快速算法中，研究并实现了文献【9 】中的双起点正方形搜索算法。 该方法根据运动物体实际的运动幅度大小选择搜索模板，而不是和其它大多数的快速算 法一样，不论物体如何运动，都采取先大模板再小模板。除此之外，对初始搜索位置选 择也做了改进。 ( 2 ) 在帧间模式选择上，一方面研究并实现了文献【1 0 中的基于最优匹配块的快速 算法，该算法的思想是通过在变换和量化操作之前检测与当前编码图像块最匹配的参考 块，可以跳过某些编码模式，对于最匹配块，其后续编码过程可以省略。另一方面提出 了一种基于大小模式相关性的快速算法，首先通过统计各种不同视频序列帧间预测中各 种大小模式选择的概率及其之间的相关性，找到一种快速判决法则，通过这种法则，可 以迅速的在编码宏块( 1 6 1 6 ) 完成大模式预测后，判断出亚宏块( 8 8 ) 应该采用的 小模式，从而减少了模式数量。最后把上述的两种算法结合，采取每种算法的优点，给 出实验结果并进行分析。 ( 3 ) 在帧内模式选择上，一方面研究并实现了文献 1 l 】提出的快速算法，该算法先 对编码宏块每个像素点位置求梯度，然后对整个宏块依照梯度方向进行归类，由于每种 帧内预测的方向不同，每一类对应着一种预测方向，从而得到一个梯度直方图，然后利 用此直方图快速判断出最佳的预测方向。另一方面对于各种视频序列，通过统计p 帧中 采取帧内编码作为最后编码模式的宏块出现概率，得出了在不至于引起编码性能的大幅 度下降的前提下，可以去除p 帧帧内编码模式这一结论。 基于u d p 协议，采用h 2 6 4 编解码的局域网视频传输平台构建 首先对u d p ( u s e rd 舭呵锄p r o t o c 0 1 ) 协议以及套接字通信进行分析，然后在实验 室的局域网环境中设计出利用h 2 6 4 进行视频编解码的服务器和客户端。服务器端启动 时利用v f w 技术进行实时视频采集，在接收到客户端发来的请求连接信号时，对采集到 的视频进行他6 4 编码，并把编码后的视频码流发往客户端对应的接收端口，其中t 2 6 4 i 绪论 硕l j 论文 是中国视频编码自由组织联合丌发的2 6 4 编解码器，编码器编码输出标准的2 6 4 码流，解 码器只能解t 2 6 4 编码器生成的码流，码流传输采用的是u d p 协议。客户端在收到服务器 允许信号后，启动接收和解码线程，把接收端口中的码流进行t 2 6 4 解码，最后显示在客 户端的程序界面中。 全文共分为6 章，具体安排如下：第l 章概括介绍了视频编码标准发展过程及h 2 6 4 相对以往编码标准的优越性，并简述了本文研究的内容和意义；第2 章分析了h 2 6 4 编码 标准中的关键模块以及整个h 2 6 4 算法的复杂度和相关的优化方法；第3 章介绍了运动估 计的相关知识，并实现一种双起点大小正方形快速算法；第4 章针对帧间模式选择的复 杂性，首先实现了一种基于块匹配的快速算法，然后提出了一种利用大小模式相关性的 快速算法；第5 章针对帧内模式选择的复杂性，一方面实现了利用宏块梯度方向信息的 快速算法，另一方面通过对各种不同的视频序列，统计p 帧中最终采取帧内编码宏块出 现概率，得出在不至于引起编码性能的大幅度下降的前提下，可以去除p 帧帧内编码模 式的这一结论。第6 章把视频压缩与网络传输相结合，在实验室的局域网环境中设计出 利用h 2 6 4 进行编解码的视频传输平台。最后对全文进行了总结，并对本文涉及到的技 术领域进行了展望。 6 硕i ：论义 h 2 6 4 视频编码器的优化及】丁程心用研究 2h 2 6 4 编码相关技术及复杂性分析 2 1h 2 6 4 编码标准介绍 h 2 6 4 编码标准的提出是为了满足各种应用( 如：视频会议、数字存储媒体、视频 点播) 的需要。它能使编码后的视频流应用于各种不同的网络环境，如：互联网、c d m a ( 码分多址) 、g p r s ( 通用分组无线业务) 、w c d m a ( 宽带分码多工传输) 等，而且 能极大地降低视频传输过程中所需要的带宽。 和以往的编码标准一样，h 2 6 4 也是采用基于块的混合编码模式，基本算法是通过 帧间预测和运动补偿消除时域冗余，通过变换编码消除频域冗余【7 0 1 ，但它在各个部分采 用了改进的技术方案和新的算法【7 i 】，使得整体的压缩性能有了较大的提升。 本节首先介绍h 2 6 4 的档次分类及应用场合，接着分析其分层结构，然后概述h 2 6 4 的编码流程和一些核心技术。 2 1 1h 2 6 4 的档次分类及其应用场合 针对不同的应用领域，h 2 6 4 制定了多种不同的档次( p r o f i l e ) 。在草案中只定义了 三种【，它们分别是基本档次( b a s e l i n ep r o f i l e ) 、主档次( m a j np r o f i l e ) 和扩展档次 ( e x t e n d e dp r o f i l e ) 。其中基本档次主要用于视频会议、可视电话等实时通讯服务；主档 次适用于视频存储和电视广播；扩展档次主要面向网络的多媒体服务。2 0 0 4 年t 又增 加了一个高端档次用于支持高精度拓展( f i d e l i 够i 沁g ee x t e n s i o i l s ，f i 迮x t ) ，该拓展支 持更高的像素精度。四种档次的关系如图2 1 所示。 2 1 2h 2 6 4 的分层结构 图2 1h 2 6 4 的四种档次 7 2h 2 6 4 编码相关技术及复杂性分析硕i ：论义 h 2 6 4 在系统层面上分为视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络提取层 ( n e 帆o r k a b s t r a c t i o nl a y e r ，n a l ) ，前者负责高效的视频内容表示，后者负责以网络 所要求的恰当方式对数据进行打包和传送【2 6 】【2 7 】。高编码效率和网络友好性的任务分别由 v c l 和n a l 来完成，如图2 2 所示。这样的结构便于信息的封装和对信息进行更好的优 先级控制。v c l 层包括基于块的运动补偿混合编码和一些新特性。n a l 单元包括自己的 头信息、段结构信息和实际载荷信息，即上层的v c l 数据。 图2 2h 2 6 4 编码器分层结构 2 1 3h 2 6 4 的编码流程 h 2 6 4 并不明确规定一个编解码器如何实现，而是规定了编码完成后的视频比特流 句法，以及该比特流的解码方法。它和以前的标准( h 2 6 3 ，m p e g 1 ，m p e g - 4 ) 并没 有什么区别，仍采用了经典的混合编码算法，编码流程如图2 3 所示。 图2 - 3h 2 6 4 编码器盯0 1 编码时，将输入的视频信号划分为基本单位宏块( 1 6 1 6 像素大小) ，每个宏块包 含亮度分量y ( 1 6 1 6 ) ，色度分量c r ，c b ( 8 8 ) 。在一个视频序列中，第一幅图像称 为i d r ( i n s t a n t a n e o u sd e c o d i n gr e 肌s h ，立即刷新) 帧，编码这种类型的图像时，采用帧 内编码模式，只能利用同一帧内与之相邻的像素点进行预测，即空间预测。选择哪些相 顺l * 女h2 “说频编码# 的优化世je t 程j 日用研究 邻采样点，咀及如何预测，这些附加信息必须被传送到解码器进行同步处理。在两个i d r 帧之问的图像采用了帧到预测。预测值与当前块相减后得到一个残差块，对残差块进行 变换编码，变换过程的基率单元是4 4 的块，每块利用整数变换，变换后的系数经量化、 z i g z a g 扫描最后熵编码输出。同时，为了提供进一步预测用的参考图像，编码器端包 含一个重构过程，对量化后的系数进行与解码器同步的反量化和反变换过程，重构出解 码预测残差，再和运动估计图像相加，作为下一帧编码图像的参考帧。 2 1 4h 2 6 4 中的关键技术 从图23 中我们看到，整个编码流程与其它的视频编码算法相比并没有太大的变化， 它较强的压缩能力主要是由于在一些局部的编码环节上采用了新的算法。h2 6 4 标准区 别于其他标准的主要技术有唧： ( 1 ) 块的分割方式更加多样化 块大小可从1 6 1 6 ，1 6 8 8 1 6 ，8 8 ，8 4 ，4 8 ，4 4 中选择，一般束说， 大的分割对应平坦区域，小尺寸适合于细节区域。多种分割方式大大提高了各宏块之间 的相关性。图24 说明一帧图像可能采用的最优分割方_ ；去，当采取这种摄优分割后，将使 得传输信息量最小。 图2 一帧图像的最优宏块分割【州 ( 2 ) 运动矢量的精度可达1 ，4 或l ，8 像素口” 比起只采用整数精度搜索，1 “或l ，8 搜索更加精确，帧问误差越小，传输码率越低， 压缩比也就越高。亚像素位置的亮度和色度像素值并不能直接从图像中得到，而是要采 用一种6 阶f i r 滤波器对邻近已编码点进行内插获得。当亚像素值获得后，l ，4 像素值可 通过线性内插得出。亮度信号的l 4 像素精度对应着色度信号l ，8 像素精度，因此需要对 色度信号进行1 ，8 像素的内插运算。理论上，如果将运动补偿的精度增加一倍，可以带来 05 b i 饵柚p l e 的编码增益。但实际验证发现在运动矢量精度超过1 ，8 像素后，系统基本上 2h 2 6 4 编码相关技术及复杂性分折烦 _ 论文 就没有明显增益。因此在h 2 6 4 中，只采用了1 4 像素精度的运动矢量模式，而不是采用 1 8 像素的精度【引。 首先通过对应整像素点进行6 抽头滤波得到亮度成分半像素点，权值为( 1 3 2 ，5 3 2 ， 5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。如图2 5 所示，b 点位置半像素值计算方法为： 6 = n o o r ( e 一5 ，+ 2 0 g + 2 0 h 一5 ，+ ，) 3 2 + 0 5 ，其中n o o r 表示对结果取整操作。当所有 水平和垂直半像素点计算完成后，对角的亚像素点便可以通过对6 个垂直或水平方向的 半像素点滤波而得到。用6 抽头滤波器计算复杂，但能显著改善运动补偿性能。 i j ! 二 曩。臣丑霸互jr j 。jf 蔓重豇勇叠 1 f 1f1 眄l 西训f 飞万1 圈圈圜留圈 口口 口口 匝圈 臣圈 口口 口口 图2 5 亮度分量半像素插值5 1 当所有半像素点都计算出来后，1 4 像素点可由整数和1 2 像素位置的均值获得，如 图2 6 。如：口= n o o r ( ( g + 6 ) 2 ) + 0 5 】。剩余的1 4 像素点可以用其邻近的对角1 2 像素点 线性内插得到，如g 可以由b 和m 得到。 圈i 强强 国! 蓬亟兰重圈 圈圈匿 冈网 h 赫! | ! 一鬻k翮 尸p j 扩 卜l 斟n | 图2 6 亮度分量l 4 像素插值【5 】 色度像素的1 8 精度运动矢量是通过邻近整像素点线性内插得到的，计算方法为： 口= f l o o r 【( ( 8 一出) x ( 8 一方) 彳+ 出( 8 一咖) b + ( 8 一出) 咖c + 出妒) 6 4 + 0 5 】 假如设威= 2 ，砂= 3 ，则口= n o o r 【( ( 3 0 么十1 0 b + 1 8 c + 6 d ) 6 4 ) + 0 5 】。如图2 7 ： 1 0 团囡圈圈懂鬯 顾i ：论文 h 2 6 4 说频编码器的优化及j e t 程应用研究 图2 7 色度分量1 8 像素内插1 2 0 j ( 3 ) 运动矢量的预测 由于分割运动矢量的编码需要消耗大量的比特开销，尤其是当宏块划分较细时。为 减少传输比特数，可利用邻近分块在运动方向上的相关性，进行运动矢量的预测，得到 预测矢量m v p ，而实际在传输过程中只要传输m v 与m 的差值m v d 即可。在解码端， m v p 仍按照同样的方式形成，并由传输的m v d ，恢复出m v 。运动矢量的预测如图2 8 ， 假设e 为当前宏块，a 、b 、c 分别表示其左、上、右相邻宏块。如果e 的左边不止一个宏 块，则选取其最上一宏块为a ；如果e 的上边有多个宏块，则选取其最左边一宏块为b 。 bc 伪 l 盘 e ，缸1 8 图2 8 指定宏块及其邻接分区 m v p 计算方法如下1 7 0 】： 当前宏块e 中不包括1 6 8 和8 1 6 分区时，m v p 为a 、b 、c 分块的m v 的中间值。 对于1 6 8 分块，上边部分m v p 由b 预测得到，下边部分m v p 由a 预测得到。 对于8 1 6 分块，左边部分m v p 由a 预测得到，右边部分m v p 由b 预测得到。 跳跃宏块( s 虹p p e dm b ) ，m v p 同1 的计算。 ( 4 ) 多参考帧预测【2 9 】【3 0 】 h 2 6 4 支持多参考帧的运动补偿，它设置了一个参考帧队列，可以选择之前已解码 的几幅图像作为参考帧。比起只使用单参考帧，能节省5 到l o 的传输码率，提高了编 码压缩效率。 1 1 2l l2 6 4 日 h k 技木复抽件什昕 ( 5 ) 整数，变换例 删 采用了与4 4 d c t 变换增益柑j 司的整数变换，其反变换过程中不会u 现匹配错误问 题，而且容易在硬件中实现。具体方法将在第4 章中介绍。 ( 6 ) 去块效应滤波器旧l 为消除块效应，采用基于4 4 块边界的去块效应滤波器从而提高了幽像的主观质 量。基本思想是：当块边界上两边差异较小则使用滤波器使差别“平精”掉，若判断出 是真实边界，就不需要进行滤波处理。图29 中( a ) 是没有采用去块滤波器的教果图， 可以看出在d c t 变换边界上有明显的块效应，图29 中( b ) 足采用了去块滤波器的效果 图，可以看到，图像质量要好一些。 ( a ) 不采州击块滤波 ( b ) 采用去块滤波 图29 不聚刚土方块滤波币l 采坩去方块滤波效果示意翻 ( 7 ) 帧内预测 h 2 6 4 首次提出了帧内预测的概念，它足利用同一帧中相邻像素进行空白j 预测，对 于帧间编码的图像，也采用了这种技术。关于帧内预测的具体实现方法，将在第5 章中 进行详细介绍。 ( 8 ) 改进的熵编码方式 l 2 “包含了3 种熵编码；e o p g o l o m b 码( e x p o n e n t o o l o m bc o d e s ) 、基于内容的 自适应可变长编码m l ( c a v l c ，c o m e x t - b a s e d a d 印t i v e v a r i a b l e l e “g l h c o d h 培) 、基于 内容的自适应算术编码( c a b a c ，c o n t e x t b a s e d a d a p t i v e b i n a r ya r i 岫n d j c c o d i n g ) 。 三种编码方式应用在不同的档次中。其中基本档次只采用了e x d g 0 1 0 m b 码和c a v l c 两者都聚用查袤方式不同的是，c a v l c 在编码中会根据周围宏块以及之前该帧内宏 块编码的信息，选择不同的码表，从而达到上下文自适应功能，而e x p - g o l o m b 码的表是 同定的。相比较之下，c a b a c 能够获得比c a v l c 更好的压缩性能和自适应能力。文献 ”对c a v l c 和c a b a c 进行了分析，结果表明，与c a v l c 相比，在相同图像质量下编 码视频信号使用c a b a c 将会使码率减少1 0 1 5 。具体编码方式请参照h 2 6 4 标准。 颅l 论女 h2 6 4 m 额编鹋的仉“挂t n 月研究 2 2h 2 6 4 算法的复杂性分析及优化方法简介 l 2 6 4 在引入上述许多新的编码方法后， 方面编码性能得到提高，另一方面复杂 度也增加了。现以较验模型j m l o 1 中的全搜索为例对其算法复杂性进行分析。 j m 系列是h2 6 4 的官方测试源码，由德国h h i ( h e i 面c h h e r 州嘣i n j t ) 研究所负责 开发，实现了h2 6 4 所有的特性。由于是官方的期4 试源码，所以学术研究的算法一般在 j m 基础上实现并和j m 进行比较。但j m 程序结构冗长，只考虑引入各种新特性以提高编 码性能，忽视了编码复杂度，因此其编码复杂度极高。我们采用的是j m l oi 版本。 文献【1 1 对j m 进行了分析，并将各个模块的运行时间比例标示在图2 1 0 中。该实验平 台为s 岫b l a d e1 0 0 0 ，c p u 主频为1 g i z ，选择基本档次，对c i f 格式的视频进行编码。从 图中可以看到运动估计m e ( m o t i o n e n i m 舭i o n ，包括整像素与亚像素) 占了总时间的 8 3 ，是对整个编码器性能影响最大的一部分这是由于h 2 6 4 中多模式的预测方式、 多种分块的运动估计、高精度的运动估计大大加剧了计算复杂度。因此，优化m e 以及 快速的模式选择对实时实现h 2 6 4 编码器具有重要意义。 创21 0 各模块运行时同分析 圳 在运动估计中，采用h 2 6 4 编码方法，搜索范围通常可以扩大到以往标准的8 6 4 倍， 如果该搜索范围选择为1 6 ，则需搜索的整像素点将达到f 1 6 2 + 1 ) 2 = 1 0 8 9 个，若采用1 ，4 或1 ，8 精度，需进一步搜索1 6 或2 4 个亚像素点，其复杂性是显而易见的。目前己有的快速 搜索算法主要有：三步法i 蛳l ( t s s ) 、二维对数法h 5 1 ( t d l ) 、菱形法踟( d s ) 、以及软 件模型j m l o 1 当中采用的混合非对称十字形多六边形搜索等，这些算法将在第3 章中 做详细的介绍。 对于帧间模式选择，包含1 6 1 6 到4 4 等七种模式。这7 种不同块模式f 分别有i ( 1 6 1 6 ) 、2 ( 1 6 8 ) 、2 ( 8 1 6 ) 、4 ( 8 8 ) 、8 ( 8 4 ) 、8 ( 4 8 ) 和1 6 ( 4 4 ) 】3 2h 2 6 4 编码相关技术及复杂性分析 顾l j 论文 个子块需要分别进行亚像素和多参考帧的运动估计，为了计算每种划分模式的率失真丌 销，编码器要重复执行大量相同的计算，而且，对于不同特点的视频序列，有些块模式 出现的概率很小，但为了确定最佳模式，编码器不得不计算出所有模式下的率失真丌销 并选择代价最小的那种模式，其复杂度是非常大的。文献【3 l 】提出了基于物体运动精度 计算其相应纹理信息，并根据纹理的复杂程度判断出可能采用的宏块划分方式。文献【3 2 】 中提出利用当前块的d c t 系数计算该块的能量，从而得出块的纹理复杂度，并进行快速 的模式选择。在本文中，首先对宏块的帧间模式选择进行分析，实现了一种基于最优匹 配块原理的快速算法，其基本原理是通过在变换和量化操作之前检测与当前编码图像块 最匹配的参考块，可以跳过某些编码模式。另外，提出了一种基于帧问大小模式的快速 算法，宏块在采用大模式后，通过该算法，可以判断出亚宏块应该采用的小模式，对于 无法肯定的宏块仍采用标准算法，从而达到减少编码时间的目的。 对于帧内模式选择，校验模型给出了一种全搜索算法，以色度模式数为外循环，然 后对9 种亮度帧内模式进行选择，搜索模式的总