（信息与通信工程专业论文）h264标准视频解码优化及dsp程序设计.pdf

摘要 摘要 h 2 6 4 是由u - t 和i s 0 i e c 联合成立的小组t 提出的新的视频编码标准。 该标准的主要目的是进一步提高压缩效率，并为视频信号提供一个适合网络传输 的接口。无论从编码效率，还是从有效适应各种网络和各种应用领域的灵活性方 面来讲，h 2 6 4 都体现着视频编码技术的很多新特性。这些新特性使h 2 6 4 标准在 提供相同视觉效果的同时与以往的标准相比，获得大约5 0 7 0 比特率的节省。 将h 2 6 4 的先进技术和稳定的媒体处理器相结合，实现高效的媒体通信平台 有着一定的意义。目前，随着数字信号处理器( d s p ) 的高速发展，为实现高效的音 视频信号处理提供了快速稳定的多媒体信号处理平台。t i 公司推出的 t m s 3 2 0 d m 6 4 2 处理器的d s p 具有高主频，并行处理能力高的特点，将h 2 6 4 的 算法实现在以t m s 3 2 0 d m 6 4 2 为核心处理器的系统中，具有较强的工程意义和市 场价值。 本文针对h 2 6 4 编码标准，先对其码流结构，编解码原理进行说明，接着描 述其关键技术如帧内预测，帧间预测，变换，熵编码，滤波等。选取了n 丌的h 2 6 4 标准测试模型j m ，对其解码器结构和流程作了详细分析，并在v i s u a lc + + 开发环 境下对压缩视频序列进行解码测试，找出其中调用次数和运行时间较长的模块， 在p c 平台上对其进行了算法和程序上的优化。本课题选用银杏科技公司提供的以 t m s 3 2 0 d m 6 4 2 处理器为核心的d s p 实验板，对软件解码器进行移植。并在软件 流水，使用i n t d n s i c s 函数，线形汇编，存储器等方面对解码器进行优化，使软件 解码器能够在d s p 上快速运行，基本实现对q c i f 视频序列的实时解码。 关键词：h 2 6 4 ，解码，优化，j m ，d s p ，t m s 3 2 0 d m 6 4 2 a b s t r a o t t h en 铡rv i d c oc o d i n gs t a n d a r dh 2 6 4w 勰p r o p o s e c lb yj o i n tv i d e ot e a m ( j v a 3 w b i c h w 勰f o u n d e d b y 也e c o o p e r a t i o n o f i t u - ta n d i s o ，i e c t h e m a i n p u r p o o f l l l e s t a n d a r dw 勰t oi m p r o v et h e p r 船s i o ne f l f i c i e n e ya n dt op r o “d ea 跚i t a b l en e t w o i l 【 t r a m m i s s i o ni n t e r f a c e6 ) rl h ev i d c os i g n a l h 2 6 4h 勰m a n yn e wc h 础i c t e r i s t i i n c o d i n ge f f i c i e n c ya n da d a p t a b i l i t yi nm a n y1 d n d so fn e t w o r k sa n da p p l i c a f i o na r e a s t h e en e wc h a 豫涮s t i 璐m a k eh 2 6 4s t a n d a r ds a v ea b l o l l t5 0 7 0 b i tr a t ew i m 舢a l e n tv i m a lq u a t i t ye o m p 瑟e dt ot h ei r f i o rs t a n d a r d s h t e 孕a 缅gt h en e wt l m o l o g yh 2 6 4 谢l hl h es t a b l em e d i ap r o c 髂s o rt oa e b i e v el h e h i 曲e 伍d tm e d i ae o m m u n i 僦o np l a t f o r mi sv e r ym e a n i n g f u l a tp r e s e n t ，w i t l ll h e h i g l as p e e dd e v e l o p m e n to f 也ed i s t a ls i g n a lp r o c e s r ( d s e ) ，i tp f o 、，i d e saf a s t , s t a b l e m _ 1 1 l t i m e d i as i 弘a 1p l o s s i n gp l a t f o r mt 0a c ：h i e v et h ep r o c e s s i n go f 、，i d a n da u d i o s i g n a le 伍d e n y w i t h 髓sh i 曲p e r f o r m a n c ed s pt m s 3 2 0 d m 6 4 2 ，i m p l e m e n t i n gt h e h 2 6 4a l g o r i t h mi sv a l u a b l emt h em a r k e ta n de n g i a e e r i n 昏 t h i sd i s s e r t a f i o nf i r s ti l l 璐妇t et h ec o d e dd a t as t r u c t u r e , c o d c cp r i n c i p l 铭o fh 2 6 4 , t l l e ni td e s c r i b e st h ek e y t c c h n o l o g yo fh 2 6 4s u c h 勰i n 缸ap r e d i c t i o n ，i n t 盯一e d i e t i o n , 咖s f o m i i n 岛e a 打o p yc o d i n 吕f i l t e r i n ga n d o ni te h o o s 韶j v t st 豁t i n gm o d u l ej m w h i e l li st h eh 2 6 4 t t w a a - ec o d e ct oa n a l y - z ei t ss l l l l e t u r ea n df l o w i ta l s h o w sl h e t e s t i n gr c s u l t so fj mw h e nd e c o d i n gt h ec o d e dv i d s e q u e n c e si nv i s u a lc 卜 a n d m 桃o u tt h et i m e - c o n s u m i n gm o d ：1 1 l ea n d 蜘t h ew a yt oo p t i m i z , t h es o t t w a r e d e c o d 盯i np cp l a t f o r m t h e ni tl a a n s p l a n t st h e 珊o g r a mt od s pb o a r da n do p t i m i z 铬i t i n f t w a 糟p i p e l i n e , m t r i m i 岱f u n c t i o n , l i n e a ra s s e m b l yl a n g u a g ea n dt h es f o m g et o m a k e 也e 脚骶d e e o d 盯n l nf a s t0 1 1d s p a e h i e v i n gt h er e a l - t i m ed e c o d i n go fq c m v i d 。os e q u e n c e sb 嬲i e a u y k e y w o r d s ：h 2 6 4 ，d e c o d e , i m , o p t i m i z e , d s p ，t m s 3 2 0 d m 6 4 2 i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘厂允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：薹查盘一导师签名：立阻 日期：2 。0 7 年午月习日 第一章引言 1 1 选题意义 第一章引言 随着信息技术的高速发展，人们对多媒体的需求越来越多，各种数字视频应 用，如数字电视，视频电话，视频会议，视频传输，存储，视频娱乐等，已经广 泛地深入到我们的工作和生活中。第三代移动通信( 3 g ) 更是把无线视频传输作为 其一大卖点，可以说市场对高性能视频业务的需求正在不断膨胀。然而，数字化 视频信息在满足人们需求的同时，对数据传输带宽，数据存储容量提出了更高的 要求。原有的视频编码标准已不能完全满足要求。 多年来，各国际机构不断致力于先进视频压缩算法的研究和视频标准的制定。 h 2 6 4 视频编码标准是i s o i e c 的运动图像专家组m p e g ( m o v i n g p i c t u r e s e x p e r t g r o u p ) 和r r u - t 视频编码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 联合成立 的小组j v t ( j o i n tv i d e ot e a m ) 提出的新视频编码标准。该标准的目的在于为不同 的视频应用提供可变的码率大小并保证视频质量，同时在视频质量不变的情况下， 可以提供比m p e g 2 降低大约5 0 的低码率的压缩码流，并在编码效率，差错容 错，网络传输方面进行改进和提高。经过学术界和工业界几年来不断地努力，2 0 0 2 年下半年正式出草了h 2 6 4 的初步协议标准。该标准的推出，为实现高压缩率同 时又具有高质量的视频信号提供了方向和前景。因此，h 2 6 4 成为能够提供高压 缩率和友好网络接口的新一代视频编码标准。 可视电话，视频会议，网络传输，数字电视及无线多媒体通信等与我们的工 作生活息息相关。实现一个通用的多媒体通信终端具有很好的社会意义和广泛的 市场发展潜力。多媒体通信终端平台除了要有适合网络或者无线通信的视频通信 协议外，还需要有快速稳定的处理器作为多媒体处理的硬件平台。 多媒体通信终端系统的关键是信号处理。视频信号、图像信号、音频信号是 多媒体系统进行处理和传输的对象。其中，视频信号是信息量最大、数据量最大 的部分，由于传输信道带宽的限制，必须对视频信号进行压缩处理以适应信道码 率的要求，而视频压缩一般都具有很高的运算复杂度，像运动估计，d c t 变换等， 运算量非常大，它们占用了多媒体信号处理总量的绝大部分时间。因此具有较高 运算能力的处理器才能作为多媒体通信终端的运算单元。目前，数字信号处理器 ( d s p ) 的高速发展为实现高效的多媒体信号处理平台提供了可能性。t i 公司的 t m s 3 2 0 d m 6 4 2 处理器具有高主频、多条流水线、高并行度以及专门的视频信号 电子科技大学硕士学位论文 处理指令等优点，它是视频处理领域首选的d s p 芯片之一。基于d s p 实现的多 媒体通信终端设备，同基于p c 机和f p g a 专用芯片实现的通信终端相比，具有 灵活性高、可移植性强、升级方便等优点。因此，以t m $ 3 2 0 d m 6 4 2 为核心处理 器的d s p 为实现高效的音视频信号处理提供了快速稳定的多媒体信号处理平台。 所以，两者相结合，将h 2 6 4 算法在d s p 上实现，对于多媒体通信的研究具有 较高的意义和价值。 1 2 数字视频压缩编码标准 根据不同的视频应用领域，不同的国际组织制定了不同的视频标准。国际电 信联盟i t u 玎和国际标准化组织i s o f l e c 是制订标准的两大组织。r r u t 制定的视频 压缩协议主要是h 系列，包括早期的h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 和当前正在完善的 h 2 6 4 。h 系列视频编码标准主要应用于视频电话、视频会议、视频广播等领域， 针对低码率视频要求。i s o i e c 常j j 定的国际视频协议是m p e g 系列，包括m p e g - 1 、 m p e g 2 和最新的视频编码标准m p e g - 4 。m p e g 主要是针对视频压缩码率不是太 低的应用领域，如v c d 、d v d 、视频娱乐、h d t v 等。 虽然这些视频编码标准所采用的具体技术细节不同，但是它们都遵循运动估 计、运动补偿、变换编码、熵编码这样的编码框架。下面简要介绍这些视频压缩 标准的发展和内容。 1 2 1it u t 视频协议h 系列 i t u - t 常i j 定的视频编码标准：h 2 6 1 、h 2 6 3 、h 2 6 3 + h 2 6 3 + + 、h 2 6 4 。 h 2 6 1 是最早出现的视频编码标准，在1 9 8 8 1 9 9 3 年间完成了协议的制定和修 订。它的输出码率是6 4 k b i t s 的倍数，码率范围在6 4 k b p s 1 9 2 m b p s 之间。h 2 6 1 最 初是针对p a l 制式或者n t s c 带i j 式电视信号提出的视频压缩标准，但后来的h 2 6 1 主要应用在会议电视和可视电话等领域。 h 2 6 1 支持c i f ( 3 5 2 x 2 8 8 ) 和q c i f ( 1 7 6 x 1 4 4 ) 两种视频图像格式，采用简单 的渐进扫描模式，使用典型的8 x 8 d c t 分块变换。只允许使用i 帧( i n t r a f r a m e ) 和 p ( p r e d i c tf r a m e ) 帧两种帧模式，运动估计采用整像素运动矢量，所以，在h 2 6 1 标准中，压缩码率不是特别高。 h 2 6 3 是为了支持低速率通信而制定的标准，主要应用于p s t n 、i s d n 和无 线网络。h 2 6 3 较h 2 6 1 功能增强，包括改进的运动补偿，低比特率下的高质量 2 第一章引言 压缩，使得能够以一半的比特率传送h 2 6 1 的视频质量。 它改进的地方有：半像素精度运动补偿、可变字长编码、算术编码代替 h u f f m a n 编码、p b 帧模式的双向预测等。 r r u - t 于0 3 年完成了h 2 6 l 的标准版本，近两年提出了h 2 6 4 。它具有更高的压 缩率，更高的图像质量，更好的网络适应能力，更强的容错能力。 它的主要改进点有：针对i 帧压缩数据量大的问题，提出了静止图像压缩的帧 内预测算法；采用了运算速度更高的整形d c t 变换；采用了新的运动矢量搜索算 法；采用了自适应算术编码代替h u f f n a a n 编码。 对任意图像序列较m p e g - 2 有更好的压缩质量( 大约为m p e g - 2 的5 0 一7 0 ) 。 目前h 2 6 4 编解码体制已经得到广泛应用。 1 2 2i s 0 i e c 视频标准m p e g 系列 i s o i e c 的视频标准主要针对于视频娱乐领域，其标准主要包括：m p e g 1 、 加p e l 3 。2 、口e g 4 。 国际标准化组织i s o i e c 的运动图像专家组于1 9 9 3 年提出m p e g - 1 标准。 标准针对1 5 m b s 速率的数字存储媒体，使基于c d - r o m 以及m p 3 的产品成为 可能。图像分辨率在3 5 2 x 2 8 8 以下，带宽最多为1 5 m b s ，其中1 1 m b s 用于视频， 1 2 8 k b s 用于音频，其余用于e g 系统。 m p e g - 2 于1 9 9 5 年推出，主要针对数字视频广播、d v d 。7 2 0 x 5 7 6 模式码流 约为4 9 m b s ，允许对4 种格式或级别进行编码，包括简单的c i f 格式到复杂的 h d t v 格式，还定义了中间4 级5 类共1 1 种单独的技术规范。m p e g - 2 在m p e g - 1 的基础上扩展了如下特性：设置了按帧编码和按场编码；输入输出图像彩色分量 可以是4 ：2 ；0 、4 ：2 ：2 和4 ：4 ：4 ；可以直接对隔行扫描视频信号进行处理；在空间分 辨率、时间分辨率和信噪比方面有分级性；码流结构的可分级性( 码流的优先级) ； 码流可以是恒定的也可以是变化的；增加了运动补偿( 相似块残值的d c t 变换及 其编码) ； m p e g - 4 应用于低速率视频传输，面向公共电话网、局域网以及移动网。它 将内容与交互性作为核心，而不再是单纯的音视频编码解码标准。它更多定义的 是一种格式和框架，而不是具体算法。除了一些压缩工具和算法外，各种多媒体 分析和合成，计算机视觉，语音合成等也可以充分应用在编码中。一方面m p e g - 4 要求有高的压缩率，另一方面m p e g - 4 标准更多强调的是多媒体通信的交互性和 电子科技大学硕士学位论文 灵活性，要求有独立于网络的a v 对象的可操作性；m p e g - 4 使用了对象( o b j e c t ) 的概念，包括v o ( v i d e oo b j e c t ) 、a o ( a u d i oo b j e c t ) 。 另外，还有m p e g 一7 和m p e g 2 1 标准。m p e g 一7 提供的是“基于语义的表示”。 它定义了一个描述符标准集和描述定义语言( d d l ) ，用于描述各种类型的多媒 体，指出多媒体信息的产生和彼此之间的联系。m p e g 7 将提供内容的描述而不 是内容本身，它不能代替m p e g - 1 、m p e g - 2 、m p e g - 4 ，仅是它们的补充。 m p e g - 2 1 是一个支持通过异构网络和设备，使用户透明方便地使用多媒体资源的 标准。它支持以下功能：通过网络存取、使用交互操作多媒体对象；实现多种业 务模型，包括对版权和交易的自动管理；对内容使用者隐私的尊重等。 1 3 论文研究和解决的问题 本文在课题的研究工作中主要着眼于视频解码工作，这是当前移动通信中的 研究热点之一。课题选择了具有代表意义的h ，2 6 4 解码程序，在分析了程序结构、 模块功能、调用关系和模块执行时间的基础上，对h 2 6 4 的c 语言程序进行了优 化处理，并将解码器移植到了d s p 硬件平台上。优化工作可以分为在p c 平台上 的算法和程序优化和在d s p 平台的软件流水、i n t r i n s i c s 函数、线性汇编、存储器 优化。解码器在d s p 平台上快速运行，基本实现对q c i f 序列的实时解码。 1 4 论文的结构安排 全文共分六章，第一章引言，介绍了选题的意义及相关背景，国际视频编码 标准的概况：第二章h 2 6 4 视频编码标准的介绍，主要从编码格式，框架，帧内预 测、帧间预测、变换、量化、熵编码、滤波、档次和级方面对其进行介绍；第三 章h 2 6 4 在p c 平台的软件解码器j m 8 6 的结构和流程分析；第四章h 2 6 4 在p c 平台上 关于算法和程序的优化，列举了熵解码、像素内插、g o l o m b 解码、内存等方面的 优化；第五章h 2 6 4 软件解码器在d s p 平台的实现，主要从软件流水、i n t r i n s i e s 函 数、线性汇编语言、存储器等方面对解码器进行优化；第六章对本文做总结。 4 第二章视频编码标准h 2 6 4 概述 第二章视频编码标准h 2 6 4 概述 2 。1h 2 6 4 编码格式和框架 h 2 6 4 码流结构分为两层，视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络抽象层 n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 。v c l j 罢是h 2 6 4 的核心部分，其主要工作是对视 频数据进行编码，提高编码效率。编码输出的是v c l 数据( 表示编码视频数据的 比特序列) ，在传输和存储之前被映射到n a l 单元。n a i 层是外围层，它根据视频 信号传输的媒介把v c l 的内容封装起来，形成n a l 单元。所有的视频内容最终都 是以n a l 单元的形式存储和传送的。n a 塬据v c l 的内容提供不同的n a l 头信息。 头信息中包括同步码字或者v c l 单- 元长度，v c l j 罢类型等。n a l 单元序列能够在 基于包的网络或比特流传输链路中传输，也能够储存为文件。从v c l 层自上而下 包括片层、宏块层和块层。每一层包含了头信息和数据。如图2 1 所示为h 2 6 4 码流 结构图。 。 n l 层 片层( s l i c e ) 宏块层( m a c r o b l o c k ) 块层( b l o c k ) 图2 1h 2 6 4 码流结构 h 2 6 4 并不明确规定一个编解码器如何实现，而是规定了一个己编码的视频比 特流的句法和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能 够互通，在实现上具有较大的灵活性，有利于相互竞争。 h 2 6 4 的v c l 昙编解码结构原理框图如图2 2 和2 3 所示： 电子科技大学硕士学位论文 滓到寸。i 图2 2h 2 6 4 编码器 编码器( 前向路径) 输入帧以宏块为单位被编码器进行帧内或帧间编码处理。如果是帧内编码， 其预测值由当前片中像素预测得出；如果是帧间编码，其预测值由参考图象运动 补偿而得，参考图象可以在过去或未来( 在显示顺序上) 已编码，解码，重建和 滤波的帧中选取。 预测值和当前块相减后，产生一个残差块，经变换和量化产生一组量化后的 变换系数，再经熵编码，与解码所需的一些边信息( 如预测模式，量化参数，运 动矢量信息等) 一起形成压缩码流，交给网络抽象层n a l ( n e t w o r ka b s t r a c t i o n l a y e r ) ，供传输和存储。 编码器( 重构路径) 为了提供预测用的参考图象，编码器必须有重建图像的功能。因此必须使变 换系数图像经反量化，反变换后得到的残差与预测值相加，得到未经滤波的图像， 为了减少方块失真效应，再经滤波得到重建参考图象。 图2 - 3h 2 6 4 解码器 解码器 解码器从n a l 接收压缩码流，经熵解码后得到变换系数，然后再经反量化和 6 第二章视频编码标准h 2 6 4 概述 反变换后得到残差，使用解码码流得到的头信息，解码器产生预测值，预测值与 残差相加，再经滤波，得到解码图像。 2 2h 2 6 4 视频格式 h 2 6 4 视频编码标准支持各种分辨率的视频图像格式，包括s u b ，q c i f ( 1 2 8 x 9 6 ) 、q c i f ( 1 7 6 x 1 4 4 ) 、c i f ( 3 5 2 x 2 8 8 ) 、4 c i f ( 7 0 4 x 5 7 6 ) 、1 6 c i f ( 1 4 0 8 x l1 5 2 ) 等。数字视频信号一般都是以格式存储的，格式存储的视频信号其亮 度信号和色度信号是分开存储的。h 2 6 4 支持y 1 4 ：2 ：0 的连续或隔行视频的编码 和解码。在默认的采样格式中，亮度信号按照图像格式本身的分辨率进行采样，色 度采样点( c r 和c o ) 每隔两个亮度采样点水平对齐，并且垂直位于两个亮度采样点 之间，即在垂直和水平的采样率均为亮度信号采样率的一半。 2 3h 2 6 4 中的关键技术 h 2 6 4 标准的主要目的是提供一种和以往视频编码标准相比具有更高编码质 量的视频编码标准。h 2 6 4 仍然采用运动估计、预测、变换和熵编码等作为其编码 的主要技术内容。在编码时，将视频帧分为帧内( i n t r a ) 和帧间( i n t e r ) 两种编码 模式。首先，将视频帧分成块，以便将帧的处理在块的层次上进行。然后，利用 视频帧内存在的空间冗余性，通过相邻像素预测本块像素，对视频块进行不同域 之间的变换，从时域转化到另一个域，使得变换系数集中到少数几个点上；或利 用连续的视频帧之间具有的时间冗余性，通过运动估计技术在参考帧内搜索找到 和当前块相关性最大的视频块，然后计算两块之间的差值，并对差值进行变换。 最后，对变换系数和运动矢量进行熵编码。下面分别介绍h 2 6 4 中各种关键技术： 2 3 1 帧内预测 帧内预测( i n t r ap r e d i c t i o n ) 是使用相邻块对编码块像素值进行预测，对预测 残差再进行变换编码。h 2 6 4 对亮度块的帧内预测方法采用1 6 x 1 6 和4 x 4 两种块方 式预测，对色度块采用8 x 8 的块方式预测。就亮度而言，对于图像中较为平坦的 部分，采用1 6 x 1 6 预测，对于变化较大的细节部分采用4 x 4 预测。预测之前，要 对当前宏块相邻的左，上重建块进行分类，根据不同的分类，用重建块作为参考， 选择不同预测模式进行预测。亮度块4 x 4 预测有9 种预测模式，1 6 x 1 6 预测有4 种 7 电子科技大学硕士学位论文 预测模式。色度快8 x 8 预测有4 种预测模式。 mabc d 图2 - 44 x 4 块及其相邻像素 2 3 1 14 x 4 亮度预测 如图2 - 4 ，在4 x 4 亮度块预测中，块上面和左边预测像素a h ，i l ，m 为已 编码并重构的像素，用作编码器中的预测参考像素。a p 为待预测像素，利用a m 值和9 种预测模式实现。编码器通过计算每种预测方式的绝对误差和s a e c r h es u m o fa b s o l u t ee r r o r s ) ，选择s a e 最小的预测模式进行预测编码。帧内4 x 4 预测有9 种模式，如下所述： 模式0 ( 垂直) ：由a ，b ，c ，d 垂直推出相应像素值； 模式l ( 水平) ：由i j ，l ( ，l 水平推出相应像素值； 模式2 ( d c ) ：由砧d 和i l 平均值推出所有像素值； 模式3 ( 下左对角线) ：由4 5 度方向像素内插得出相应像素值； 模式4 ( 下右对角线) ：由4 5 度方向像素内插得出相应像素值； 模式5 ( 右垂直) ：由2 6 6 度方向像素内插得出相应像素值； 模式6 ( 下水平) ：由2 6 6 度方向像素内插得出相应像素值； 模式7 ( 左垂直) ：由2 6 6 度方向像素内插得出相应像素值； 模式8 ( 上水平) ：由2 6 6 度方向像素内插得出相应像素值。 2 3 1 21 6 x 1 6 亮度预测 帧内1 6 x 1 6 预测模式根据与当前宏块相邻的像素生成预测值。在进行预测之 前，首先要判断这些邻近像素是否存在，如果不存在，比如当前宏块位于图像边 缘或邻近宏块位于其它片中时，则无法进行预测。1 6 x 1 6 预测共有4 种预测模式如 下所述： 模式0 ( 垂直) ：由上边像素推出相应像素值； 模式1 ( 水平) ：由左边像素推出像素值； 模式2 ( d c ) ：由上边和左边像素平均值推出像素值； 第二章视频编码标准h 2 6 4 概述 模式3 ( 平面) ：利用线形p l a n e 函数及左，上像素推出像素值，适用于亮度变化平 缓区域。 2 3 1 38 x 8 色度块预测 该预测是针对当前宏块的两个8 x 8 色度分量，它们由已编码的左上方色度像 素预测而得。共有4 种预测模式：模式0 ( d c ) ，模式l ( 水平) ，模式2 ( 垂直) 和模式3 ( 平面) 。两个色度分量预测模式相同，且与1 6 x 1 6 亮度预测类似。 2 3 2 帧间预测 帧间预测和编码主要是利用视频信号的时域相关性，通过运动估计和补偿把 视频信号的时域冗余信息去掉，从而达到压缩视频数据的目的。由于视频信号的 时域相关性远远大于其空域相关性，所以，通过采用帧间预测和编码，可以更大 的降低编码码流。 帧间编码的帧分为两种，一种是p ( p r e d i c t i o n ) 帧，一种是b ( b i - d i r e c t i o n a l p r e d i c t i o n ) 帧。p 帧是前向预测帧，b 帧是双向预测帧，采用前后双向预测。 下面介绍帧间编码的各种技术： 2 3 2 1 子块的划分 进行运动估计时使用的块大小对运动估计的效果有较大的影响。使用比较小 的块可以使得运动估计更精确，从而产生较小的运动残差，达到降低码率的作用。 h 2 6 4 在进行运动估计时使用了不同的宏块分割方式。一个1 6 x 1 6 宏块可以分为1 个1 6 x 1 6 ，2 个1 6 x 8 或8 x 1 6 ，或4 个8 x 8 几种块大小。对8 x 8 的块，又可以分为 1 个8 x 8 ，两个8 x 4 或4 x 8 ，4 个4 x 4 的块。宏块的色度成分采用和亮度块相同的 分割模式，只是尺寸在水平和垂直方向减半。 每一个块具有一个运动矢量m v ，一个宏块最多可以携带1 6 个不同的运动矢 量。每个m v 被编码，传输，并且分割选择也被编码压缩到比特流中。对大的分 割尺寸而言，m v 的选择和分割类型只需较少比特，但运动补偿残差在多细节区域 中的能量高。小尺寸分割运动补偿残差能量低，但需要较多的比特表征m v 和分 割选择。整体而言，大的分割尺寸适用于平坦区域，小尺寸适用于多细节区域。 2 3 2 2w 预测 由于h 2 6 4 支持多种宏块和子宏块的分割，如果图像细节较多时，划分的块 尺寸较小。若对每个块的m v 独立编码，则需要相当数目的比特。一个块的m v 9 电子科技大学硕士学位论文 与邻近块具有较强的相关性，因此m v 可由邻近已编码的分割块预测而得。即可 以通过相邻已编码的分割块的运动矢量预测值m v p 和当前宏块的m v 得到预测与 当前的差异m v d ，将m v d 编码传输。在解码端，m v p 以相同的方式形成并加到 m v d 上。对于跳跃宏块而言，由于不存在m v d ，其运动补偿宏块也由m v 直接 生成。 2 3 2 ，31 4 精度像素内插 运动估计就是在参照帧中寻找一个与当前块最匹配的块，作为当前块的估计 值。在h 2 6 4 中，更是把运动估计的精度提高到了1 4 像素，并且把1 8 像素精度 的运动估计作为了一个可选项。h 2 6 4 中使用1 4 像素估计和整像素相比可以节省 2 0 的码率。1 4 像素精度的运动估计使用滤波算法得到半像素和1 4 像素位置的 点。如果运动矢量指向整像素位置，那么预测数据由相应的参考图像的像素组成； 否则相应的非整位置像素值需要用内插的方法获得。 2 3 2 4 多参考帧运动估计 在h 2 6 4 中使用的多帧运动估计技术是对单帧运动估计技术的简单扩展，即 在多个参考帧中找到一个使预测误差达到最小的运动矢量。使用5 个参考帧和1 个参考帧相比可以节省5 1 0 的码率。多个参考帧存放于帧缓存中，在帧缓存中 包括短期参考帧( s h o r t t c r m ) 和长期参考帧( l o n g t e r m ) 两种参考帧类型。为了 有效的利用多参考帧，必须采用合理的内存管理方法。在h 2 6 4 中允许采用两种 帧缓存管理方案，即自适应缓存管理模式和滑动窗口帧缓存管理模式。 在h 2 6 4 标准中，b 帧可以采用i 帧，p 帧或者b 帧作为参考帧。对b 帧而言， 有5 种预测模式，分别是前向预测、后向预测、双向预测、直接模式和帧内预测 模式。 2 3 4 整数变换和量化 为了进一步节省图像传输码率，需要对图像信号进行压缩。为了去除图像信 号中的相关性及减小图像编码的动态范围，通常采用变换编码及量化技术。变换 编码将图像时域信号变为频域信号。在频域中，图像信号的能量大部分集中在低 频区域。 由于d c t 的性能十分接近统计意义上的最优变换k l t ，而且具有快速算法， 所以d c t 被广泛地应用于各种视频编码标准中。但是，传统的d c t 无论在运算 第二章视频编码标准h 2 6 4 概述 精度还是复杂度上都存在明显的不足。 h 2 6 4 中引入了整型d c t 变换，对图像或预测残差采用的是4 x 4 整型d c t 。 这样不但解决了精度问题，而且由于乘法均可由移位运算代替，运算的复杂度也 大大降低。为了进一步提高压缩效率，h 2 6 4 还允许把每个4 x 4 的变换矩阵中的直 流分量单独取出组成一新的4 x 4 矩阵，对此矩阵进行h a r d a m a r d 变换。 量化过程在不降低视觉效果的前提下减少图像编码长度，减少视觉恢复中不 必要的信息。h 2 6 4 采用标量量化技术，它将每个图像样点编码映射成较小数值。 量化过程是对d c t 结果进行操作，正变换中的数乘运算和量化过程同时进行，根 据图像动态范围的大小来确定量化参数，既保留了图像中必要的细节，又可减少 码流。 2 3 5 熵编码 熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出原数 据。熵编码是在统计意义上对数据的冗余信息进行压缩的方法，在视频编码中， 对出现概率较大的数据用较短的字长来表示，对出现概率较小的数据用较长的字 长来表示，从而达到降低数据量的目的。在h 2 6 4 中有两种熵编码方法，c a v l c ( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n # ac o d i n g ) 和c a b a c ( c o n t e x t - b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ) 。对不同的编码方案，采用不同的选择。 c a v l c 主要利用经变换和量化后的4 x 4 矩阵的如下特性来实现高效的编码： ( 1 ) 经过变换与量化后的预测残差中含有较多的0 ，这样在z i gz a g 扫描之后，用 r u n - l e v e l 编码表示预测残差可以取得较好压缩效果。 ( 2 ) 残差末尾的几个非零变换系数一般为士l ，c a v l c 对它们单独进行编码 ( t r a i l i n g _ o n e s ) ( 3 ) 作为空间相关性的一种表现，当前块中的非零系数个数和周围块的中的非零系 数个数有一定的相关性，c a v l c 利用这一点自适应地选择编码当前块中非零系数 个数的码表。 ( 4 ) 位于低频处的系数值一般较大，而位于高频处的则相反，c a v l c 利用这一点自 动地选择编码l e v e l 的码表。 其编码流程如下： ( 1 ) 编码非0 系数个数( t o t a l c o e f o 和拖尾系数t r a i l i n go n e s ； ( 2 ) 编码t r a i l i n g _ o n e s ( 士1 ) 的符号； 电子科技大学硕士学位论文 ( 3 ) 编码系数段l e v e l ： ( 4 ) 编码最后一个系数前所有的0 零( t o t a l _ z e r o s ) ； ( 5 ) 编码非零系数前零的个数( r a nb e f o r e ) 。 c a b a c 编码是一种算术编码，它通过构建模型来预测当前的视频信号。与 c a v l c 编码相比，c a b a c 提供了更高的编码效率，进一步节省了码率。 2 3 6 去方块效应滤波 在h 2 6 4 中，编解码器反交换量化后图像会出现方块效应。产生方块效应的 主要原因是基于块的帧内和帧间的预测残差的d c t 变换。其变换系数的量化过程 相对粗糙，因而反量化过程恢复的变换系数带有误差，会造成在图像块边晃上的 视觉不连续。还有一个原因是来自于运动补偿。运动补偿块可能是从不是同一帧 的不同位置上的内插样点数据中复制而来的。运动补偿块的匹配不可能是绝对准 确的，所以就会在复制块的边界上产生数据不连续。尽管h 2 6 4 采用较小的4 x 4 变换尺寸可以降低这种不连续现象，但仍需要一个去方块滤波器，以最大限度提 高编码性能。 滤波就是为了降低由h 2 6 4 高压缩比产生的明显的块失真效应。所有块按扫 描顺序进行有条件的滤波，以平滑块间的亮度落差，减小失真，提高解码帧的质 量，使重构后的图像更贴近原始图像。 滤波过程是先计算出块的边界强度，再根据边界强度值选用不同的滤波方法。 边界强度b s 的取值如表2 - 1 所示； 表2 - 1 滤波器强度参数与编码模式选择 图像块模式与条件b a 边界两边一个图像块为帧内预测并且边界为宏块边界 4 边界两边一个图像块为帧内预测3 边界两边一个图像块为残差编码 2 边界两边图像块运动矢量之差不小于1 个亮度图像点的距离 1 边界两边图像块运动补偿的参考帧不同 1 其他0 b s = 0 时，不进行滤波。b s 为非零时，判断区分该边界是否为真实边界，只有 当条件满足时才需要滤波。滤波是基于宏块的，先对垂直边界进行水平滤波，再 对水平边界进行垂直滤波。对宏块的两个方向上滤波完成后，才能进行后面宏块 滤波。根据b s 的值不同，采用的滤波计算公式也不同。 第二章视频编码标准h 2 6 4 概述 2 4h 2 6 4 的档次和级 并不是所有的用户都需要一种视频标准所提供的所有特性，因此，h 2 6 4 像以 前所有其他视频标准那样，提供了不同的p r o f i l e s 和l e v e l s 。不同的p r o f i l e 提供了 不同的算法要求和限制，使用相同p r o f i l e 的解码器，能够解码该p r o f i l e 支持的所 有特性，而编码器只需支持该p r o f i l e 内的部分特性。对一个指定的p r o f i l e ，又分 为不同的l e v e l 。l e v e l 的选择一般都是根据计算机的运算能力和内存容量决定的。 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能和特定的应用。 基本档次： 基本档次b a s e l i n ep r o f i l e 在h 2 6 4 中的d 值是6 6 ，它支持视频会议，可视电 话，无线通信等实时视频通信应用等。b a s e l i n ep r o f i l e 的解码器支持以下特性：i 片和p 片类型；去块滤波；z i g - z a g 扫描方式；l 4 像素精度运动估计；三级运动 分块，最小块为4 x 4 的块；c a v l c 熵编码模式；4 ：2 ：0 的色度块采样率等。 主要档次： 主要档次m a i np r o f i l e 的i d 值是7 7 ，它主要应用于数字广播电视和数字视频 存储领域。m a i np r o f i l e 的解码器除支持b a s e l i n ep r o f i l e 中的大部分特性外，还支 持以下特性：采用b 片的帧间编码；加权预测的帧内编码；c a b a c 熵编码；场编 码；帧场自适应编码等。 扩展档次： 扩展档次e x t e n d e dp r o f i l e 的d 值是8 8 ，它主要应用于流媒体中。e x t e n d e d p r o f i l e 除支持b a s e l i n ep r o f i l e 中的所有特性外，还支持以下特性：b 片类型；加权 预测；s p 和s i 片类型；数据分层片；场编码；帧场自适应编码。 电子科技大学硕士学位论文 第三章h 2 6 4 解码算法软件实现流程分析 h 2 6 4 编码器输出码流中，数据的基本单位是句法元素，每个句法元素由若干 比特组成，表示如宏块类型、量化参数等某个特定意义。标准是通过定义句法和 语义来规范编解码器工作流程的。 j v t 伴随工作草案推出了一个软件参考模型，m 模型，此测试模型和 n u t 的h 2 6 4 标准文档句法表解码流程完全对应。本文选取测试模型的一个版本 j m 8 6 的b a s e l i n ep r o f i l e 来作研究。之所以选择8 6 版本，是因为它是j m 系列里一个 比较新，比较稳定的版本。之所以选择了b a s e l i n e p r o f i l e ，是因为它满足了协议的 基本内容，开发的产品适合于网络相关应用。本章主要对j m 解码算法流程做深入 分析。 3 1 主流程 图3 1 解码主流程图 如图3 1 所示，主流程首先判断视频信息是文件形式或是r t p 数据包。然后进 行初始化，把系统的全局参数分配好，并为部分全局结构和参数分配内存空间。 1 4 第三章h 2 6 4 解码算法软件实现流程分析 然后，循环调用d e c o d eo n ef r a m e 函数来解码帧，并判断每次解码完后的返回值。 返回值可以为e o s ( e n do f s e q