（微电子学与固体电子学专业论文）avs编码器中整像素运动估计模块的设计.pdf

上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 摘要 整像素运动估计( i m e ) f l 邑够实现假高的编码效率，但是由于i m e 本身固有的 计算复杂度，如：多个参考帧搜索、多个预测模式、和s a d 计算等，使基于软 件的编码方案一般无法满足实时性的要求，因此必须设计专用硬件电路来实现高 速运算。本文主要研究a v s 高清( 1 0 8 0 p 3 0 ) 实时编码器中整像素运动估计模 块的算法优化及其硬件电路的实现。 本文首先分析了各种运动估计搜索算法的特点，并在此基础上利用预测矢量 技术优化了全搜索算法，优化算法充分利用了图像的空间相关性，有效地减小了 搜索范围，从而达到了减少运算量和处理周期的目的，满足设计要求，此外该算 法还非常利于硬件来实现。 然后，采用二维脉动阵列结构实现了运动估计搜索算法，并优化脉动阵列的 结构，消除了冗余的处理周期。此外，还进行了片内存储器的结构设计，当前块 数据和搜索窗数据采用了乒乓操作的原理，分别存储在两块s r a m 中以保证宏 块级流水线的效率。 最后，在m o d e l s i m 环境下建立测试平台，完成了对整个设计的r t l 级的仿 真验证，并针对x i l i n x 公司的f p g a 芯片v e r t e x 4 系列的x c 4 v l x 2 0 0 器件进行 硬件优化，模块最终的工作频率达到1 2 5 m h z ，完全满足1 0 8 0 p 高清编码器的实 时性要求。 关键词：a v s ，h d t v , i m e ，f p g a 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 a b s t r a c t t h i st h e s i sr e p r e s e n t st h ea l g o r i t h mo p t i m i z a t i o na n dh a r d w a r ei m p l e m e n t a t i o n o fi n t e g e r - p i x e lm o t i o ne s t i m a t i o n ( i m e ) f o ra v sh d ( 1 0 8 0 p 3 0 ) r e a l - t i m e i m ei sa ni m p r o t a n tf e a t u r ea d o p t e di na v sv i d e oc o m p r e s s i o ns t a n d a r da n di t c a l li n c r e a s ee n c o d i n g e f f i c i e n c yg r e a t l y m u l t i p l e r e f e r e n c ef r a m e s ，m u l t i p l e p r e d i c t i o nm o d e sa n ds a dc o m p u t a t i o n ，a sm a i np a r t so fi m e ，r e q u i r el a r g en u m b e r s o fc o m p u t a t i o nc o m p l e x i t y s oi ti sh a r df o re n c o d e rb a s e do ns o f t w a r et og e tr e a l t i m e a n dt h eh a r d w a r ec i r c u i ti su s e dt os o l v et h i sp r o b l e m i nt h i sp a p e r , ap r e d i c t e dm vo r i e n t e df u l ls e a r c ha l g o r i t h mi sp r o p o s e da f t e r a n a l y i n ga l l s o r t so fs e a r c h i n ga l g o r i t h m t h i sa l g o r i t h me x p l o i t sf u l l yt h es p a c e s i m i l a r i t ya m o n gs o m ea d j a c e n tm a c r o b l o c k s ( m b s ) f u r t h e r m o r e ，s i n c ef u l l s e a r c h i n gm e t h o di sa d o p t e d ，t h ea l g o r i t h mi sv e r ys u i t a b l ef o rv l s ii m p l e m e n t a t i o n a sar e s u l t ，m e m o r ya c c e s so p e r a t i o n sa n dc o m p u t a t i o na r es a v e dg r e a t l y a n dt h e n ，ad e d i c a t e df p g ao r i e n t e dh a r d w a r ec i r c u i ti sp r o p o s e d a2 一ds y s t o l i c a r r a yw h i c hu s e dp a r a l l e l i z a t i o na n dp i p e l i n i n gt e c h i n i q u ei si n t r o u d u c e di nt h ed e s i g n t op r o v i d eh i g hc o m p u t a t i o n t om e e tt h ep r o c e s s i n ge l e m e n t s r e q u i r e m e n to fh u g e b a n d w i d t h ，t h i st h e s i sa l s oo p t i m i z e st h el o c a lm e m o r ys t r u c t u r ei nf p g a f i n a l l y , at e s t b e n c hi se s t a b l i s h e du n d e rt h ee n v i r o n m e n to fm o d e l s i mw h i c hc a n f u l f i l lt h er t ls i m u l a t i o na n dv e r i f i c a t i o no ft h em o d u l e t h em a x i m u mf r e q u e n c yo f t h em o d u l ec a nr e a c h12 5 m h za i m e da tt h ec o m p o n e n tv e r t e x 4x c 4 v l x 2 0 0a f t e r o p t i m i z a t i o n ，s ot h em o d u l em e e t st h er e a l t i m er e q u i r e m e n to ft h ee n c o d e r k e y w o r d s ：a v s ，h d t v , i m e ，f p g a 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特另j j 3 n 以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：，萃竺驽 日期：兰! ! 量：! ：兰 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：样导师签名：卫圣差型l 日期：2 兰咄 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 1 1 研究背景 第一章绪论 2 1 世纪的人类社会是信息化社会。人类通过视觉获取的信息量约占总信息 量的7 0 ，而且视频信息具有直观性、可靠性等一系列优点，所以视频技术越来 越重要。 近年来，传统的模拟视频信号由于自身的缺点正在被数字视频信号所代替， 数字电视发展得如火如荼，人们对图像画质的要求越来越高，不再满足于标清格 式的视频图像，高清格式的数字电视应运而生。更高的分辨率显著的增加了视频 传输的带宽，例如，对于1 0 8 0 p 3 0 ( 1 9 2 0 1 0 8 0 ) 格式的高清电视，如果采用4 ：2 ：0 采样格式，原始视频信号的带宽将达n 1 g b p s 。但是在实际应用中，码率必须仍 然保持在一个较低水平上以满足带宽的限制，因此，视频压缩技术是不可或缺的。 现有的h d t v 系统普遍采用m p e g 2 、m p e g 4 和h 2 6 4 a v c 1 】【2 】 3 1 ，但另一种更 适合高清视频图像的视频编码标准a v s 4 】可以给高清视频系统带来更高的压缩 率和更完美的图像质量。 a v s 标准是由中国数字音视频编解码技术标准工作组( a v s 工作组) 提出的 数字视频编码标准，其压缩效率较m p e g 2 和m p e g - 4 标准大为增加，针对高 清视频应用中，在压缩效率相当的前提下，又较h 2 6 4 a v c 的的实现复杂度大 为降低。 a v s 采用了许多新的技术来提高编码效率，但是随着图像尺寸的增加，编码 复杂度成倍地上升，这对编码的实时性也提出了更高要求，而运动估计单元是整 个编码器中最复杂最耗时的模块，其复杂度大概占整个编码器6 0 7 0 ，因 此，整像素运动估计模块的好坏决定了整个编码器的效率。基于软件的编码系统， 往往不能提供理想的编码速度，难以满足实时性的要求，因此需要采用硬件电路 来提升运算速度。大规模集成电路技术和工艺的迅猛发展，为a v s 高清实时编 码器的实现提供了可能。 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 1 2 课题的目的及意义 整像素运动估计( i m e i n t e g e r - p i x e lm o t i o ne s t i m a t i o n ) 是a v s 标准中最重 要的部分之一，主要是去处视频序列图象在时间上的冗余，对视频序列图象数据 的压缩起到了至关重要的作用。a v s 标准对整像素运动估计做出很大的改进，最 多支持2 个参考帧，支持的最小块尺寸为8x8 块，相对于h 2 6 4 复杂度大大降 低，但是运算量大的问题依然存在，使得整像素运动估计成为了a v s 编码器的 瓶颈，尤其是在针对高清编码器中，更高的分辨率带来了更大的数据量，使得每 个像素的平均处理周期变得更短，所以必须在编码系统中使用专用的硬件电路来 提高整像素运动估计模块的速度，以达到实时的要求。 然而，由于硬件结构自身的特点，硬件实现时又会遇到很多问题，比如：如 何在有限的处理周期内完成大量的运算、如何降低存储器带宽、如何提高硬件电 路的效率、如何降低硬件资源消耗等等。 本文以实现a v s 高清实时编码器为目标，从编码器的实时性要求出发，研究 a v s 标准中整像素运动估计搜索算法的特点，优化了全搜索算法，在降低运算量 的基础上满足了实时性的要求。然后，对a v s 标准中运动估计的匹配准则进行改 进，使其更高效地用硬件电路来实现。最后，针对优化后的算法设计了合适的硬 件架构，并完成了f p g a 电路的设计，可以集成到高清实时编码器中。 1 3 国内外研究现状 运动估计由于其重要性和复杂度一直是目前国内外视频压缩编码领域的研 究重点和热点，在实际应用方面主要集中于运动估计快速算法和硬件实现的研究 上。针对运动估计的搜索算法的高复杂度问题，许多运动估计快速算法被提出来 了【5 4 7 】，这些算法主要时利用一些预测模板和预测模式统计特性等达到加快搜索 过程的目的。针对运动估计的多参考帧技术，提出了许多优化算法【1 8 2 2 1 ，以减小 复杂度。 目前，世界上许多科研机构正在进行运动估计技术的前沿的研究，其中最著 名的就是台湾大学陈良基教授的实验室。在2 0 0 6 年2 月发表的一篇学术论文【2 ”， 2 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 对多参考帧运动估计预测技术从时域上作了详尽的分析，并提出了自己的快速算 法。在2 0 0 5 年的i s s c c 会议上，该实验室又介绍了一块h d t v 硬件实时编码芯片 【2 4 】 o 在用专用硬件电路实现运动估计时，为了保证很大的数据吞吐量，一般都会 采用二维的脉动阵列结构，这种结构非常利于硬件结构的实现，同时可以保证很 高的并行度和流水线效率的发挥。脉动阵列可以分为两种类型：基于匹配点的脉 动阵列和基于像素点的脉动阵列。 基于匹配点的脉动阵列 2 5 2 7 】中的每个处理单元对应一个特定匹配点的运 算，即有多少个匹配点脉动阵列中就会有多少个处理单元，这种结构适合于低分 辨率视频图像，因为其匹配点的数目较少，相应的处理单元的数目也会较少，但 是对于高分辨率视频图像，其阵列的处理单元就会急剧的增加，会消耗过多的硬 件资源。 基于像素点的脉动阵列【2 8 1 1 2 9 中的每个处理单元对应匹配块中的一个像素点 的运算，该阵列处理单元的数目可以灵活设置，根据实际视频图像分辨率以及处 理周期的要求，设置合适数量的处理单元以满足运算量的要求，所以这种结构非 常适用于高分辨率视频图像，尤其时高清视频。 针对硬件实现时存储带宽过大的问题，许多优化的方法被提了出来【3 0 】，通过 增加数据的复用以减小带宽。针对可变块运动估计技术，一个适合硬件实现的融 合机制被提了出来【3 l 】，该方法通过将小块的数据融合为大块的数据，在不增加运 动估计运算量的基础上解决了可变块运动估计带来的运算量增大的问题。 1 4 本文的内容安排 本文主要研究a v s 高清实时编码器中整像素运动估计模块的硬件算法设计 和f p g a 实现。全文共分为五章，具体内容安排如下： 第一章绪论主要阐述了课题研究背景，本项研究的目的和意义以及国内外研 究的现状。 第二章分析了a v s 视频压缩编码标准的核心技术以及编码器的结构，然后介 绍了运动估计技术，包括运动估计的原理、重要性和块匹配算法，阐述了运动估 3 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 计技术的理论基础。 第三章详细介绍了常用的运动估计块匹配算法，并分析了各自的优缺点；接 着，本文根据运动矢量的中心分布特性设计了基于预测矢量的全搜索算法，满足 设计的要求：最后，针对a v s 标准的运动估计的搜索准则进行了改进，以利于 硬件实现。 第四章首先介绍了运动估计搜索算法映射为硬件的过程；然后设计了一个二 维脉动阵列，并改进了脉动阵列的冗余的处理周期的问题；接着进行了片内存储 器的结构设计；最后进行了时序分析，并给出了硬件模块的仿真与验证环境，以 及性能测试结果。 第五章总结与展望。 4 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 第二章a v s 视频编码标准概述 a v s 工作组于2 0 0 2 年6 月成立，负责数字音视频编解技术标准的制定工作， 于2 0 0 3 年底完成了具有自主知识产权的数字音视频编解码技术标准a v s 的1 0 版本。它由系统、视频、音频3 个主要部分和一致性等支撑部分组成。a v s 视频 标准采用与h 2 6 4 标准类似的技术框架，在性能上与h 2 6 4 持平，在技术更简洁 3 2 - 3 7 】。a v s 系统标准采用了扩展m p e g 2s y s t 锄的方案，有利于兼容已有的 m p e g 2 传输系统。 在本章中，主要介绍a v s 的第二部分即视频编码部分。a v s 采用了基于空 间和时间的预测和补偿、空域的变换和基于统计的熵编码的混合编码技术，码流 结构语法层次从高到低依次为：序列、图像、条带、宏块、块。图像类型有i ， p ，b 三种。宏块有帧内预测和帧间预测两大类。块是空间预测补偿、时间预测 补偿和空间变换的基本单元。目前已定义了一个档次( p r o f i l e ) ，即基准。这个 档次又分为4 个级别，用于标清的4 0 ( 4 ：2 ：o ) 级别和4 2 ( 4 ：2 ：2 ) 级别， 以及用于高清的6 0 ( 4 ：2 ：0 ) 级别和6 2 ( 4 ：2 ：2 ) 级别， 2 1 视频编码器结构 a v s 视频编码的结构如图2 1 所示。在编码结构上，a v s 与h 2 6 4 比较相似， 但在各模块的具体处理方法上，它与h 2 6 4 有相当的不同。考虑到m p e g 2 在数 字视频产业的广泛应用，a v s 的语法结构与m p e g - 2 的语法结构类似。 5 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 图2 1a v s 编码器结构图 在a v s 编解码过程中，基本处理单元是宏块。一个宏块包含一个1 6 1 6 的 亮度样值块和对应的色度样值块，在各种处理之前，a v s 采用光栅扫描的方法将 图像扫描为一个宏块序列。 每个宏块都需要通过预测，系统只对图像样值与预测值之间的残差进行变换 编码。a v s 采用帧内预测与帧间预测两种预测方法。帧内预测使用空间预测模式 来消除图像内的冗余。帧内预测以当前帧中当前宏块左方和上方宏块的像素来预 测当前宏块的像素值，a v s 帧内预测单元采用与整数变换同样大小的8 x 8 块。 帧间预测使用基于块的运动矢量来消除图像间的冗余，帧间预测以已解码的帧或 场来预测当前帧的像素值，帧间预测支持1 6 x1 6 ，1 6 x8 ，8 x1 6 ，8 x 8 四种大小 的块作为预测单元。运动向量的精度达到1 4 像素。 图像经预测后，由图像样值与预测值相减得到预测残差。系统对残差采用8 8 的整数变换，并进行量化，量化后使用“之 字形( z i g z a g ) 扫描方法对量化 系数进行扫描。 a v s 使用一种自适应的变长编码技术对扫描后的系数进行熵编码。系统在对 各种语法元素编码时从4 种指数哥伦布码码表中选择一种。 在进行帧间预测的过程中，系统需要对用于参考的重建图像进行去块效应滤 波。滤波器对重建图像的块边界进行平滑，降低图像的块效应，而对图像边界不 6 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 进行滤波。考虑到不同图像区域和不同的码率，a v s 的去块效应滤波器是自适应 的。 2 2 编码比特流的结构、 2 2 1 视频序列 视频序列是比特流的最高层语法结构。视频序列由序列头开始，后面跟着一 个或多个编码图像，每帧图像之前应有图像头。编码图像在比特流中按比特流顺 序排列，比特流顺序应与解码顺序相同。解码顺序可与显示顺序不相同。序列结 束码表明了一个视频序列的结束。 a v s 标准支持两种序列：逐行序列和隔行序列。帧由三个样本矩阵组成，包 括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) ，样本矩阵元素的值 为整数。y 、c b 、c r 三个分量与原始的( 模拟) 红、绿、蓝信号间的关系，包 括原始信号的色度和转移特性等可在比特流中定义，这些信息不影响解码过程。 场由构成帧的三个样本矩阵中相间的行构成，即帧样本矩阵的第一行、第三行、 第五行，依此类推，构成一个场，称为顶场；第二行、第四行、第六行，依 此类推，构成另一个场，称为底场。解码器的输出是一系列帧，两帧之间存在一 个帧时间间隔。对隔行序列而言，每帧图像的两场之间存在一个场时间间隔。对 逐行序列而言，每帧图像的两场时间间隔为0 。 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据。起始码是 按字节对齐的。由起始码前缀和起始码字组成。起始码前缀为2 3 个0 比特和1 个1 比特，起始码字为一个字节的整数。序列头可在比特流中重复出现，称为重 复序列头。使用重复序列头的主要目的是支持对视频序列的随机访问。 2 2 2 图像 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列结束 码或图像起始码结束。在比特流中，隔行扫描图像的两场的编码数据可依次出现， 也可以交织出现。两场数据的解码和显示顺序在图像头中规定。图像的解码处理 7 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 包括解析过程和解码过程。 2 2 2 1 图像格式 a v s 标准支持4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 的图像格式。 1 ) 4 ：2 ：0 格式 对于4 ：2 ：0 格式，c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的 一半。亮度和色度样本位置如图2 2 。 oooooo oooooo oooooo oooooo o 代表亮度样本代表色度样本 图2 24 ：2 ：0 格式下亮度和色度样本位置 2 ) 4 ：2 ：2 格式 对于4 ：2 ：2 格式，c b 和c r 矩阵在水平方向的尺寸只有y 矩阵的一半， 在垂直方向的尺寸和y 相同。亮度和色度样本位置如图2 3 所示。 ooo oooo qooo ooo 图2 34 ：2 ：2 格式下亮度和色度样本位置 、 3 ) 4 ：4 ：4 格式 对于4 ：4 ：4 格式，c b 和c r 矩阵在水平和垂直方向的尺寸都和y 矩阵一 样。亮度和色度样本位置如图2 4 所示。 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 2 2 2 2 图像类型 o oo q q 图2 44 ：4 ：4 格式下亮度和色度样本位置 a v s 标准定义了三种解码图像：帧内解码图像( i 帧) ，前向帧间解码图像 ( p 帧) ，双向帧间解码图像( b 帧) 。如果视频序列中没有b 帧，解码顺序与显 示顺序相同。如果视频序列中含有b 帧，则解码顺序与显示顺序不同，解码图 像输出显示前应进行图像重排序。图像重排序规则如下： 1 ) 当前解码图像是b 帧，输出由此b 帧解码的图像； 2 ) 当前解码图像是i 帧或p 帧，且存在前一个i 帧或p 帧的解码图像， 输出前一个解码图像；如果不存在前一个i 帧或p 帧的解码图像，则不输出任 何解码图像。 2 2 2 3 参考图像 p 帧或b 帧最多可有两帧参考图像。p 帧可参考前向的两帧。在一帧中，后 解码的场还可参考当前帧的另外一场。b 帧可参考一前一后的两帧。运动矢量所 指的参考像素可超出参考图像的边界，在这种情况下对超出参考图像边界的整数 样本应使用距离该整数参考样本所指位置最近的图像内的整数样本进行边界扩 展，场边界扩展方法和参考图像边界扩展方法相同。对亮度样本矩阵，参考块的 像素在水平和垂直方向均不应超出参考图像边界外1 6 个像素。对色度样本矩阵： 1 ) 如果图像格式是4 ：2 ：0 ，参考块的像素在水平和垂直方向均不应超出 参考图像边界外8 个像素。 2 ) 如果图像格式是4 ：2 ：2 ，参考块的像素在水平方向不应超出参考图像 边界外8 个像素，在垂直方向不应超出参考图像边界外1 6 个像素。 9 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 3 ) 如果图像格式是4 ：4 ：4 ，参考块的像素在水平和垂直方向均不应超出 参考图像边界外1 6 个像素。 2 2 3 条带 条带是按光栅扫描顺序连续的若干个宏块行，条带内的宏块行不应重叠，条 带之间也不应重叠。条带内宏块的解码处理不应使用本图像其他条带的数据。如 果隔行图像的两场数据依次出现，这两场数据应属于不同的条带。条带边界扩展 方法和参考图像边界扩展方法相同。条带结构参见图2 5 。 2 2 4 宏块 图2 5 条带结构 图像划分为宏块，宏块左上角的点不应超出图像边界。在比特流中，当隔行 扫描图像的两场编码数据依次出现时，任一宏块的像素应来自同一场。在传统的 m p e g 2 、m p e g 4 等标准中变换单元均为8 8 像素块，而运动补偿为1 6 x1 6 、 1 6 x8 或8 8 像素块。而在h 2 6 4 标准中，预测补偿和变换的最小单元都是4 x 4 像素块。容易理解的是，块的尺寸越小，帧内和帧间的预测越准确，预测的 残差越小，便于提高压缩效率；但同时更多的运动矢量和帧内预测模式等附加信 息的传递将花费更多的比特。实验表明，在高分辨率情况下，8 8 块的性能比4 4 块更优，因此的块尺寸固定为8 8 。宏块的划分如图2 - 6 所示，这种划分用 于运动补偿。图2 - 6 中矩形里的数字表示宏块划分后运动矢量和参考索引在码流 中的顺序。 1 0 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 宏块划分 1 + 1 6 1 6 亮度块 2 + 1 6 x 8 亮度块 2 + 8 x1 6 亮度块4 + 8 8 亮度块 和相应的色度块 和相应的色度块 和相应的色度块 和相应的色度块 口日田田 图2 6 宏块的划分 在4 ：2 - 0 格式下，一个宏块包括4 个8 8 亮度块( y ) 和2 个8 8 色度 块( 1 个c b ，1 个c r ) 。如图2 7 所示，图中数字为宏块中8 8 块的顺序号。 田口曰 yc bc r 图2 7 宏块划分为8 x 8 块( 4 ：2 ：0 格式) 4 ：2 ：2 格式下，一个宏块包括4 个8 8 亮度块( y ) 和4 个8 8 色度块 ( 2 个c b ，2 个c r ) 。如图2 8 所示，图中数字为宏块中8 8 块的顺序号。 田圈曰 yc bc r 图2 8 宏块划分为8 x 8 块( 4 ：2 ：2 格式) 在4 ：4 ：4 格式下，一个宏块包括4 个8 8 亮度块( y ) 和8 个8 8 色度 块( 4 个c b ，4 个c r ) 。如图2 - 9 所示，图中数字为宏块中8 8 块的顺序号。 田田田 yc bc r 图2 - 9 宏块划分为8 x 8 块( 4 ：4 ：4 格式) 2 3 a v s 的关键技术 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 2 3 1 变换量化 a v s 采用8 8 二维整数余弦变换( i c t ) ，其性能接近8 8d c t ，但精确 定义到每一位运算避免了不同反变换之间的失配。i c t 可用加法和移位直接实 现。实验结果表明a v s 的变换相对于h 2 6 4 高档次的8 8i c t 有0 0 5 d b 的p s n r 增益。由于采用i c t ，各变换基矢量的模大小不一，因此必须对变换系数进行不 同程度的缩放以达到归一化。为了减少乘法的次数，h 2 6 4 中将正向缩放和量化 结合在一起操作；反向缩放和反量化结合在一起操作。a v s 采用8 8 整数余弦 变换技术，将缩放、量化、反向缩放结合在一起，而解码端只进行反量化、不再 需要反缩放。由于采用总共“级近似8 阶非完全周期性的量化，可以使编、解 码端节省存储与运算开销，而性能上又不会受影响。 2 3 2 帧内预测 a v s 采用基于8 x 8 块的帧内预测。亮度和色度帧内预测分别有5 种和4 种 模式。相邻己解码块在环路滤波前的重建像素值用来给当前块作参考。与h 2 6 4 的4 4 块的帧内预测相比，大的预测块将增加待预测样本和参考样本间的距离， 从而减弱相关性，降低预测精确度。因此，在a v s 的d c 模式中先用3 抽头低 通滤波器( 1 ，2 ，1 ) 对参考样本滤波。另外，在a v s 的d c 模式中，每个像素 值由水平和垂直位置的相应参考像素值来预测，所以每个像素的预测值都可能不 同。这种d c 预测较之h 2 6 4 中的d c 预测更精确，这对于较大的8 8 块尺寸 来讲更有意义。预测模式如图2 1 0 所示，实验表明，a v s 采用5 种模式仅比h 2 6 4 采用9 种模式损失0 0 5 d b 的p s n r 。 1 2 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 2 3 3 帧间预测 图2 1 08 x 8 亮度块帧内预测模式 a v s 支持p 帧和b 帧两种帧间预测图像。p 帧至多采用2 个前向参考帧；b 帧采用前、后各一个参考帧。与h 2 6 4 的多参考帧相比，在不增加存储、数据带 宽等资源的情况下，尽可能地发挥现有资源的作用，提高压缩性能。帧间预测中 每个宏块的划分有4 种类型：1 6 x1 6 、1 6 x 8 、8 6 和8 x 8 。p 帧有5 种预测模 式：ps k i p ( 1 6x1 6 ) 、p1 6 1 6 、p1 6 8 、p8 1 6 和p8x8 。对于后4 种预 测模式的p 帧，每个宏块由2 个候选参考帧中的1 个来预测，候选参考帧为最近 解码的i 或p 帧。对于后4 种预测模式的p 场，每个宏块由最近解码的4 个场来 预测。双向预测有两种模式：对称模式和直接模式，这两种双向预测模式充分利 用了连续图像的运动连续性。 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 2 3 4 分像素插值 帧间预测中亮度和色度的运动矢量精度分别为1 4 和1 8 像素，因此需要相 应的分像素插值。亮度分像素插值分成1 2 和1 4 像素插值两步。1 2 像素插值用 4 抽头滤波器h i ( 1 8 ，5 8 ，5 8 ，u 8 ) 。1 4 像素插值分两种情况：8 个一维l 4 像素 位置用4 抽头滤波器h 2 ( 1 1 6 ，7 1 6 ，7 1 6 ，1 1 6 ) ；另外4 个二维l 4 像素位置用双 线性滤波器h 3 ( 1 2 ，1 2 ) 。与h 2 6 4 的分像素插值相比，a v s 的数据带宽减小1 1 ，而计算复杂度没有提高。此插值方法在高清序列上略有增益。帧间预测参考 帧的亮度图像1 2 、1 4 像素插值如图2 1 1 所示。 9 o 图2 1 1整数样本、二分之一样本和四分之一样本的位置 2 3 5 环路滤波 基于块的编码有一个显著特点就是重建图像存在块效应。采用环路滤波去除 块效应，可以提高图像的主观质量和压缩效率。采用自适应环路滤波，即根据块 边界两侧的块类型先确定块边界强度b s 值，然后对不同的b s 值采取不同的滤波 策略。帧内块滤波最强，非连续运动补偿的帧间块滤波较弱，而连续性较好的块 之间不滤波。由于a v s 变换和最小预测块大小都是8x8 ，因此环路滤波的块大 小也是8 8 。与h 2 6 4 的4 4 相比，块边界数量大大减少。另外，b s 值和改变 1 4 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 的像素值的数量都有所减少。 2 3 6 熵编码 所有语法元素码均基于指数哥伦布码或定长码而构造。定长码用来编码具有 均匀分布的语法元素，指数哥伦布码用来编码可变概率分布的语法元素。a v s 中指数哥伦布码编码所有可变分布的语法元素，而h 2 6 4 中指数哥伦布码编码变 换系数以外的语法元素，总共用到2 1 张可变长度码( v l c ) 码表。a v s 采用基 于上下文的2 dv l c 来编码8 8 块变换系数，基于上下文的意思是用已编码的 系数来确定v l c 码表的切换。对不同类型的变换块分别用不同的v l c 表编码， 例如帧内块的码表、帧间块的码表等。充分利用上下文信息，编码方法总共用到 1 9 张2 d v l c 表，需要约1 k 字节的存储空间。这种方法较之每种块类型用一张 码表的编码方法有0 2 3 d b 的p s n r 增益。实验结果表明，与h 2 6 4 主档次的性 能接近，而明显优于目前在标清和高清视频应用中主流的m p e g 2 。 2 4 运动估计原理 视频图像中，视频信号在时间轴上相关性很大，相邻帧时间间隔很短( 为 1 2 5 1 3 0 秒) ，多数情况下，运动图像只是其中的很少一部分图像在运动，同一 场景相邻的两帧图像之间在内容上的差异不会太大，也就是说相邻两帧，甚至是 相邻数帧的内容有很多是重复的。这说明相邻的图像帧是相关的，用香农的信息 论观点解释就是运动图像存在数据冗余，这个实际上就是时间冗余。一般的视频 图像中都存在大量的时间冗余。 在运动不是很剧烈的场合，相邻帧的相关性很强，通常对于视频序列，除去 运动引起的一些细微差别，相邻的图像基本是相同的，也就是相邻帧的两幅图像 中的相似部分很多。如果编码时能够充分利用序列图像在时间轴方向的相关性进 行压缩编码，仅对发生变化的部分进行编码能够大大地提高压缩效率，就可能获 得较高的压缩比，因此可以用前一帧相应位置的像素值预测当前帧的像素，这时 的视频压缩实际是通过对相邻两帧间的帧间差值的编码来完成的。 采用帧间预测编码可以显著去除时间域上的冗余度，提高压缩比。如果将上 1 5 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 一帧相同空间位置处的像素值作为待编码的当前帧的预测值，这种预测对图像中 的静止背景部分将是很有效的。但是对于运动部分，这种不考虑物体运动的简单 的帧间预测效果并不好。如果有办法在对当前帧某像素( 或像素块) 进行预测时 知道这个像素( 或像素块) 是从上一帧的哪个位置移动过来的，也就是找出它们 的运动相关性，在预测时以那个位置上的像素值作为预测值，那么预测的准确性 将大为提高，这个办法就是运动估计技术。 运动估计可以确定出当前帧的某像素( 或某像素块) 是从上一帧的哪一个位 置移动过来的，获得表示它们相对位移的运动矢量。有了运动矢量后，再通过运 动补偿得到它们的差值块，运动估计的精度越高，差值块中的各像素灰度值也越 小，甚至大部分都为零，那么用来表示差值块经d c t 变换、量化和熵编码后形 成的压缩码流的比特位数就越少，这就达到了压缩图像数据的目的，而且压缩的 空间很大。 利用基于运动估计的帧间预测可以在保证质量的前提下大大提高压缩比，是 视频压缩标准中的一项关键技术。这种技术己广泛应用于视频压缩的标准中，如 m p e g 2 、m p e g 4 、h 2 6 4 和a v s 。在这些实时系统中都要求图像处理的实时 性，这就对运动估计的实现提出了很高的要求。运动估计的算法既要准确高效又 要耗时尽可能地少。 2 5 运动估计的重要性 从2 1 节介绍的视频压缩系统的编码框架中可以说明一个问题：在基于d c t 变换和运动估计运动补偿的编码结构中，帧间预测编码是整个编码系统的关键， 而其中的运动估计又是整个帧间编码预测编码的关键。运动估计与运动补偿在帧 间预测模块中起到两个作用：一是经过运动估计得到运动矢量；二是根据运动矢 量和参考帧补偿得到预测块，进而得到差值块。运动矢量和差值块再进行后续的 编码，可见图像帧的数据到最后就转化为运动矢量和差值块的编码码流。 从帧间编码的流程可以知道，运动估计和运动补偿是整个帧间编码模块的核 心，运动估计的结果好坏将直接影响到运动矢量的精确性，进而影响到经运动补 偿得到的差值块的好坏。而更重要的一个事实就是，运动估计与运动补偿是一个 1 6 上海大学硕士学位论文 a v s 编码器中整像素运动估计模块的设计 相对复杂的计算、比较和搜索过程，这决定了其必定要耗费相当长的运算时间。 实际上，整个视频压缩编码系统的大部分时间都是花费在运动估计上的。应该说， 运动估计的性能好坏不仅很大程度地决定了视频图像压缩编码的质量，还根本性 地决定了整个视频压缩编码系统的实时性能。 显然，要想提高视频压缩系统的编码速度，很自然地一个想法就是如何缩短 时间占用比例最大的运动估计所耗费的时间。因此，寻求高效快速的运动估计快 速算法一直是视频压缩领域的研究热点。 2 6 基于块匹配法的运动估计 作为帧间压缩模块的核心和关键环节，运动估计技术受到人们的广泛关注， 出现了多种研究方案，主要有光流方程法、贝叶斯估计法、像素递归法和块匹配 法四种。综合考虑计算复杂度和编码效率等因素，块匹配法由于简单实用，已经 成为运动估计算法的主流，各个视频压缩国际标准也都采用块匹配法作为运动估 计的解决方案。 基于块匹配法的运动估计的基本思想就是将当前帧分成若干个大小相同的 块，对每一个当前待预测块分别在参考帧中的一定区域，即搜索窗口内，按照一 定的匹配准则搜索与之最接近的块，称为匹配块或预测块，匹配块与当前块间的 坐标位移称为运动矢量，匹配块与当前块的像素差值称为差值块，这样当前帧中 的每一块都可以用一个差值块和一对运动矢量来表示，对当前帧的编码就转化为 对每一块的差值块和运动矢量的量化编码。图2 1 2 为块匹配运动估计的简单示 意图。 1 7 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 图2 1 2 运动估计示意图 在运动估计进行之前，一般要先决定分块的形状及大小、搜索窗口大小及搜 索起点、搜索策略和块匹配准则。 2 6 1 块的形状及大小 块匹配法隐含着如下假设：同一块内的像素的运动是一致的。显然这个假设 具有一定的片面性，但选择合适的块形状及大小可在一定程度上消除这种片面 性。一般来说，块形状选用正方形是比较自然的选择，这样既便于图像的划分， 又有利于块匹配准则函数的计算。但实际上这并非总是最佳的选择，有的算法则 采用了其它形状，如三角形块、基于边缘形状的块等等。关于块的大小，显然块 越小，得到的差值块越小，但这会引入较多的运动矢量，可能会降低编码的效率。 作为折衷，通常选择1 6 x1 6 和8 8 像素的正方形块。在h 2 6 1 、m p e g 1 和 m p e g 2 中，运动矢量是以1 6 1 6 的宏块为单位的，由于块尺寸相对较大，可 能包含图像中不同的运动部分，造成预测精度的下降：在h 2 6 3 和m p e g 4 标 准中则在宏块运动矢量的基础上加入了以8x8 块的运动矢量，预测精度得到了 一定的提高。最新的标准h 2 6 4 中加入了以4 x 4 块的运动矢量，a v s 标准只保 留了8 8 块，在性能降低有限的前提下，极大地降低了复杂度。 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 2 6 2 搜索窗1 2 1 大小及搜索起点位置的选择 搜索窗口决定了在参考帧以什么位置为中心的多大区域内进行搜索，显然， 搜索窗口大小第一决定了搜索计算的工作量，搜索窗口的中心位置则决定了搜索 区域的位置，配合搜索策略，它同时影响了搜索速度和搜索精度。搜索窗口中心 位置选择得好的话，有助于快速搜索到最佳匹配块，提早结束搜索，提高搜索速 度。一般选择搜索窗口大小因图像尺寸而异，而中心位置一般选在“零运动矢量 匹配点，所谓的“零运动矢量”，是指与当前块相同空间位置的，即运动矢量为 ( o ，o ) 的匹配块所在的坐标位置点。根据具体的搜索策略，搜索窗中心可略作 调整。搜索起点位置一般与搜索窗中心位置吻合。 2 6 3 搜索策略的选择 搜索策略决定了在搜索窗内的搜索路线，决定了参与匹配计算的匹配块数 目，因此它根本决定了搜索的计算量，是影响搜索速度和搜索精度的关键性因素。 好的搜索策略要综合考虑搜索速度和搜索精度，做到能够使两者达到一个很好的 平衡状态。因此设计一个性能良好的搜索策略是一件比较复杂的事情。 设计搜索策略可从搜索方向、搜索路线、搜索步长及适合的搜索终止判断条 件综合考虑。目前，一般的快速搜索算法中采用的搜索策略，从搜索方向上看， 主要有梯度式和螺旋式；从搜索路线上看，主要有矩形、交叉形、圆形和菱形。 将它们与不同的搜索步长相结合，可得到不同的搜索策略。为保证搜索过程的正 常终止，需要配合选择合适的终止判断条件。 2 6 4 块匹配准则函数的选择 块匹配准则是用来衡量搜索到的块是否与当前块相匹配的标准，这是一种定 量的确定方法，有许多函数可作为选择。块匹配准则函数的选择相对比较简单直 接，因为实际上选用什么样的块匹配准则函数对运动估计的搜索精度的影响并不 是很大，因此，选用块匹配准则函数一般是以计算简单、易于硬件实现为原则的， 所以，一般都是选用运算相对比较简单的绝对差值和函数s a d 作为块匹配准 1 9 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 则。 2 7 本章小结 本章系统的介绍了a v s 编码标准框架，编码比特流的结构，并对a v s 所采 用的不同于以往视频编码标准的主要编码技术作了简要分析和介绍。最后介绍了 运动估计技术，包括运动估计的原理、重要性和块匹配算法，阐述了运动估计技 术的理论基础。 上海大学硕士学位论文a v s 编码器中整像素运动估计模块的设计 第三章运动估计算法设计 前一章详细介绍了基于块匹配法的运动估计基本原理和提高运动估计搜索 效率的几个关键技术后，本节将重点分析了传统的全搜索算法以及目前已经提出 的几种典型的快速块匹配算法的特点，在此基础上利用预测矢量技术优化了全搜 索算法，以满足高清视频的处理要求。 3 1 全搜索算法 全搜索算法f s 3 8 1 ，也称为穷尽搜索法，是一种搜索策略最简单的搜索算法。 它在整个搜索窗范围内顺序地逐点搜索计算该位置的匹配差值，从中找出具有最 小匹配差值的块即为最佳匹配块，其对应的偏移量即为运动矢量。 f s 算法是最简单的块匹配算法，由于遍历全局，因此找到的匹配点必是全 局最佳的，可靠度高。最重要的是：全搜索算法的数据流偎规则，非常适合于硬 件的并行计算，也有利于流水线的实现，所以全搜索算法是一种有利于硬件实现 的算法，常常用于硬件视频编码器中。但是它的计算量非常大，搜索时间需要很 长，因此限制了它在需要实时压缩场合的应用，尤其是高清视频应用，所以有必 要进一步研究其他快速搜索算法。 3 2 快速搜索算法 全搜索法的优势在于它能找到搜索窗