（信号与信息处理专业论文）基于dm6446的avs视频编码器运动估计的设计与实现.pdf

摘要 近年来视频编码技术在数字电视、高清电视、多媒体通信和视频会议等很多 领域有非常关键的作用。由中国音视频编码标准工作组开发的a v s ( a u d i ov i d e o c o d i n gs t a n d a r d ) 视频编码标准在压缩效率和编码复杂度之间提供很好的平衡， 它引入了一系列先进的视频编码技术因而具有更高的压缩效率，具有性能高、复 杂度低等优点。 本课题选用t m s 3 2 0 d m 6 4 4 6 媒体处理器作为硬件平台，它是专用于视频系 统应用的高性能d s p ，具有6 0 0 m h z 的时钟、4 8 0 0 m i p s 的运算性能和丰富的外 围接口，是目前实现视频应用系统的最理想平台之一。 论文主要研究基于d m 6 4 4 6 平台a v s 编码运动估计算法的实现和优化。首 先介绍了视频编码的主要原理和a v s 标准的主要技术特征；然后对通常使用的 运动估计的快速搜索技术进行了分析研究，从而提出改进方法一闽值白适应的 快速搜索算法和匹配准则简化算法；最后研究了1 m s 3 2 0 d m 6 4 4 6e v m 的开发 原理以及代码的优化方法，针对所实现编码器的d s p 代码应用数据类型、c 语 言、内联函数等方法进行优化。 仿真结果证明，与原有的快速搜索算法比较，本文提出的算法对各种运动剧 烈程度不同的图像序列性能均有较大程度的改进。在没有明显降低图像质量的情 况下，运算复杂度大大降低。最终将本文运动估计算法部分应用到基于d a v i n c i 平台的a v s 视频编码器，已经可以达到对c i f ( 3 5 2 2 8 8 ) 测试序列的编码速 度在3 0 帧秒以上，与选项全开的原始参考代码相比，在码率相同的情况下客观 质量下降了o 5 0 9 d b 左右。 关键词：a v s ，运动估计，运动补偿，块匹配准则，t m s 3 2 0 d m 6 4 4 6 a b s t r a c t i nr e c e n ty e a r s ，v i d e oc o d i n gt e c h n o l o g yp l a y sak e yr o l ei nt h ea r e a so fd i g i t a l t vh d m u l t i m e d i ac o m m u n i c a t i o n sa n dv i d e oc o n f e r e n c e ，e t c a v sv i d e oc o d i n g s t a n d a r d ，w h i c hi sd e v e l o p e db yt h ea u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u po f c h i n a ，p r o v i d e sag o o dt r a d e - o fs o l u t i o nb e t w e e nc o m p l e x i t ya n dc o d i n ge f f i c i e n c y i n t r o d u c i n gan u m b e ro fa d v a n c e dv i d e oc o d i n gt e c h n i q u e s ，a v sc o d i n gs t a n d a r d m a k e sah i g hp e r f o r m a n c e a t6 0 0m h za n d4 8 0 0m i p s ，t h en e wg e n e r a t i o nd s pd m 6 4 4 6d i g i t a l m u l t i m e d i ap r o c e s s o ro f f e r sa l li n d u s t r y - l e a d i n gp e r f o r m a n c e ，w h i c hi st h ei d e a l p l a t f o r mf o rv i d e os y s t e m t h et h e s i se m p h a s i z e so nt h er e s e a r c ho fm o t i o ne s t i m a t i o na l g o r i t h ma n dt h e i m p l e m e n t a t i o no fa v sv i d e oe n c o d e rb a s e do nd m 6 4 4 6p l a t f o r m f i r s to fa l l ，w e s p e c i f y t h es t a t u so ft h ei n t e r n a t i o n a la n dn a t i o n a ls t a n d a r d sf o rm u l t i m e d i a t e c h n o l o g ya n dt h ed e v e l o p m e n to fd s es e c o n d l y , w eg i v ean e wm o t i o ne s t i m a t i o n a l g o r i t h m a n di t s p e r f o r m e n c e a tl a s t ，w e p r e s e n t a n o p t i m i z a t i o n a n d i m p l e m e n t a t i o no ft h ec o d eo nd s pp l a t f o r m t h er e s u l t so fs i m u l a t i o ns h o wt h a tt h ec o m p l e x i t yo fp r o p o s e da l g o r i t h m si s m u c hr e d u c e dw i t h o u te v i d e n tq u a l i t yl o s s k e yw o r d s ：a v s ，m o t i o ne s t i m a t i o n ，m o t i o nc o m p e n s a t i o n ，b l o c k m a t c h i n g c r i t e r i o n ，t m s 3 2 0 d m 6 4 4 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 口学位论文作者签名办心1 签字日期 1 年多月言 日 。 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权丕姿叁堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 未r 不巧 导师签名： 签字日期：沙7 年6 月弓日 1 妻嘛 签字日期：7 唧年舌月多 1 1 国内外编码标准现状 第一章绪论 标准化是产业化活动成功的前提。国际电信联联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，i t u t ) 的v c e g ( v i d e o c o d i n ge x p e r tg r o u p ) 和国际标准化组织( i n t e r n a t i o n a lo r g a n i z a t i o n f o r s t a n d a r d i z a t i o n i n t e m a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ，i s o i e c ) 的m p e g ( m o t i o np i c t u r ee x p e r t g r o u p ) 是世界最主要的两个视频编码标准制定组织，前 者从1 9 9 0 年开始陆续提出了h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + ，h 2 6 l 系列， 面向数字视频通信的编码标准，主要应用于实时视频通信领域，如：可视电话、 会议电视等；后者于1 9 9 3 年和1 9 9 4 年分别制定出版了m p e g 1 和m p e g 2 。1 9 9 9 年公布了m p e g 4 ，主要应用于视频存储( d v d ) 、广播、电视、因特网或无线 网上的流媒体等。 2 0 0 3 年两大组织联合组成了t ( j o i n tv i d e ot e a m ) ，共同制定了h 2 6 4 标 准。在相同的重建图像质量下，h 2 6 4 能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 因其更高的压缩比、更好的m 和无线网络信道适应性，必将在数字视频通信或 存储领域得到越来越广泛的应用。同时也要注意，h 2 6 4 获得优越性能的代价是 计算复杂度的增加，编码的计算复杂度大约相当于h 2 6 3 的三倍，解码复杂度大 约相当于h 2 6 3 的两倍。以上这些视频编码标准的制定，极大的推动了视频编码 技术的发展，同时更为信息产业的进步注入了强大的动力【l 】【2 】【3 】。 在国际标准制定的同时，我国也于2 0 0 2 年开始制定中国音视频编码标准即 a v s 标准。a v s 标准是信息技术先进音视频编码系列标准的简称，包括系 统、视频、音频、数字版权管理等四个主要技术标准和一致性测试等支撑标准。 a v s 的第二部分是视频，也称a v s p 2 ，已于2 0 0 6 年被批准颁布为国家标准。 a v s 标准的制定时间表与国际标准的对比图见图1 1 。 冒叵亘-匕魉斟鬯：竺：li 竺竺! 竺l - 回。匝习二亟 - 高清标清； 数字电视一 播与光盘，； ，。，镬 二部分：视频 一第一郭芬莉l 三部分：音频 第四部分：版权保护 。“落 主层 ? 新一代移动 移动视频( 增强层) 8 通信 ； 瓯越泷。盘目潋越。血。渤 图1 - 1 国际编码标准与a v s 标准的时间对应关系 1 2a v s 面临的机遇 数字音视频编解码标准是数字音视频产业的基础标准，在广电、电信和消费 类电子产品等领域具有巨大的产业需求。跨入新世纪以来，随着编解码技术本身 的进步和j 芯片集成度和计算速度的迅速提高，数字音视频编解码技术标准面临更 新换代的历史性机遇。经过十年多演变，音视频编码技术本身和产业应用背景都 发生了明显变化，后起之秀辈出。目前音视频产业可以选择的信源编码标准有四 个：m p e g 2 、m p e g 4 、h 2 6 4 a v c 、a v s 。从制订者分，前三个标准是由m p e g 专家组完成的，第四个是我国自主制定的。从发展阶段分，m p e g 2 是第一代信 源标准，其余三个为第二代标准。从主要技术指标编码效率比较：m p e g - 4 是m p e g 2 的1 4 倍，a v s 和a v c 相当，都是m p e g 2 两倍以上。 可以推测，由于技术陈旧需要更新及收费较高等原因，m p e g 2 即将退出历 史舞台。m p e g - 4 和h 2 6 4 出台的新专利许可政策被认为过于苛刻令人无法接受， 导致被众多运营商围攻，陷入无法推广产业化的泥沼而无力自拔，前途未卜。而 2 a v s 是基于我国创新技术和部分公开技术的自主标准，编码效率比m p e g 2 高 2 3 倍，与a v c 相当，而且技术方案简洁，芯片实现复杂度低，达到了第二代标 准的最高水平；而且，a v s 通过简洁的一站式许可政策，解决了a v c 专利许可 问题死结，是开放式制订的国家、国际标准，易于推广；此外，a v c 仅是一个 视频编码标准，而a v s 是一套包含系统、视频、音频、媒体版权管理在内的完 整标准体系，为数字音视频产业提供更全而的解决方案。由此可见，当今是建立 a v s 产业链，把中国音视频标准推向实用的最佳时机【6 】。 1 3 本论文的任务与结构 本论文的任务是基于t m s 3 2 0 d m 6 4 4 6 多媒体处理器的a v s p 2 运动估计部 分的实现，主要工作包括a v s 编码器代码( 版本为r m 5 2 i ) 分析、运动估计算 法设计与实现、编码器参数的分析选择、运动估计部分的d s p 优化和移植等工 作。 本论文的结构t 第一章综述了视频压缩技术的现状和a v s 的机遇与前景。 第二章叙述了a v s 视频压缩标准的技术特点和优势。 第三章提出了一种基于阈值的快速运动估计算法。 第四章阐述了t m s 3 2 0 d m 6 4 4 6 芯片特点以及a v s 编码器的移植和优化工作 等主要内容。 第五章总结了本人的主要工作和对本项目前景的展望。 3 第二章a v s 视频压缩标准介绍 2 1a v s 编码标准的特点 a v s p 2 属于第二代视频编码标准，与以往视频编码标准一样，整体框架基 本相同，均为预测、变换、熵编码相结合的混合编码系统，主要包括：变换、量 化、熵解码、帧内预测、帧间预测、环路滤波等模块。差别在于各模块具体的实 现技术。码流结构语法层次从高到低依次为：序列、图像、条带、宏块、块。图 像类型有帧内编码图像i 、前向预测帧p 、双向预测帧b 三种。宏块有帧内预测 和帧间预测两大类。块是空间预测补偿、时间预测补偿和空间变换的单元，在 a v s p 2 中，运动补偿为1 6 x 1 6 、1 6 x 8 、8 x 1 6 或8 x 8 大小的宏块划分，而在m p e g - 4 、 a v c h 2 6 4 中，最小单元都是4 x 4 像素块。基于8 x 8 块的运动补偿、运动估计和 环路滤波的复杂度较之4 x 4 的要大为降低。 目前，a v s p 2 比较成熟的定义了一个档次，即基准档次。这个档次又分为 4 个级别，用于标清的4 0 ( 4 ：2 ：0 ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清的6 0 ( 4 ：2 ：0 ) 级别和6 2 ( 4 ：2 ：2 ) 级别。除此之外，视频还定义了一个x p r o f i l e ，这 个档次中将采用基于上下文的二进制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ，c a b a c ) 技术。该档次的主要应用为高清影碟方面，而a v s 的基准档次主要面向标清。 a v s 基准档次中涉及到的技术有： ( 1 ) 可变块帧间预测( 1 6 x 1 6 、1 6 x 8 、8 1 6 、8 x 8 ) ( 2 ) b 帧预测采用前向、后向、跳过、直接、对称5 种模式 ( 3 ) 1 4 像素精度运动矢量 ( 4 ) 可对参考图像进行边界扩展( 最大1 6 个像素) ( 5 ) 帧间预测最多采用2 个参考帧 ( 6 ) 空间域8 x 8 帧内预测，亮度5 种模式，色度4 种模式 ( 7 ) 预缩放的整数变换( p r e s c a l e di n t e g e rt r a n s f o m l ，p i t ) ( 8 ) 基于上下文的变字长编码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t h c o d i n g ，c a v l c ) 本文主要研究基准档次，下面就a v s 的基准档次的关键技术模块进行介绍 研究。 2 2 帧间预测 a v s 帧间预测在时间域进行，是利用已编码视频帧场和基于块的运动补偿 的预测模式。a v s 支持p 帧和b 帧两种帧间预测图像，p 帧至多采用2 个前向 参考帧，b 帧采用前后各一个参考帧。a v s 块的尺寸范围从1 6 x 1 6 到8 x 8 ，采用 亚像素运动矢量( 亮度采用1 4 像素精度运动矢量，色度采用1 8 像素精度运动 矢量) 。 2 2 1 宏块划分 a v s 每一个宏块( 1 6 x 1 6 像素) 可以按4 种方式进行分割：1 个1 6 x 1 6 ，或 2 个1 6 x 8 ，或2 个8 x 1 6 ，或4 个8 x 8 。这种划分用于运动补偿。宏块的划分如 图2 1 所示( 矩形里的数字表示宏块划分后运动矢量和参考索引在码流中的顺 序) 。而4 ：2 ：0 格式下，宏块的色度成分( c r 和c b ) 为相应亮度的一半( 水平和 垂直各一半) 。所以，色度块采用和亮度块同样的分割模式下，块的个数减半。 例如，一个宏块包括4 个8 8 亮度块( y ) 和2 个8x8 色度块( 1 个c b ，1 个 c r ) ，如图2 2 所示【7 1 。 宏 块 划 分 1 个1 6 1 6 亮度块 和相应的色度块 2 个1 6 8 亮度块 和相应的色度块 2 个8 1 6 虑度块 和丰h 廊的色度块 字0 到3 是宏块划分顺序) 田曰 y c bc r 图2 2 宏块划分为8 8 块( 4 ：2 ：0 格式) 4 个8 x 8 亮度块 和_ 丰h 麻的色度块 大尺寸分割，运动矢量和分割选择所需比特少，但运动补偿残差在多细节区 域中的能量将非常高；小尺寸分割，运动补偿残差能量低，但需要较多的比特表 征运动矢量和分割选择。所以，平坦区域适于大尺寸分割，而多细节的区域适于 目一玛e 一翻 2 图 小尺寸分割。 2 2 2 运动矢量 镕= a v s * 壤k 蝙* 舟镕 帧间编码宏块的每个分割块都足对参考图像的某一相同尺寸区域进行预测 而得到的。a v s 亮度块的运动矢量( m o t i o nv e c t o r ，m v ) 的精度为1 ，4 像素， 色度块的精度为l 8 的像素，如图2 - 3 所示。 为得到非整数样本，需要进行插值运算。亚像索位置的亮度和色度像素不存 在于参考图象中，需利用邻近已编码点进行内插而得。a v s 视频标准定义了2 个4 抽头f i r 滤波器，分别用于l 胆和1 4 亮度样本的插值与h2 6 4 使用的6 抽 头f i r 滤被器相比，a v s 视频标准的滤波器实现复杂度较低。 在权衡了性能和复杂度后，a v s 的插值方法如下： ( 1 ) 1 2 像素的值由4 抽头滤波器f il 1 ，5 , 5 + 一】) 计算得到； ( 2 ) 1 4 像素位置的亮度预测值则通过4 抽头滤波器f 2 ( i ，7 , 7 ，1 ) 计算得到： ( 3 ) 色度信号进行运动补偿时，精确到1 8 像素，各亚像素的值通过双线 性插值得到。 e 鱼垒 _ 一 i i 鱼鱼鱼 _ l + i + 剖l 一 一整像素t 2 f g 袭 i 4 像紊 8 1 9 蔡 囤2 3 整像素殛分像素 使用整像素、l 2 像素、l 4 像素精度的运动预测与过去的标准相比性能显著 提高，因为运动表达得更精确，残差信号更小，而且预测滤波器更为灵活。使用 四阶滤波器比h 2 6 4 标准- 规定的六阶滤波器更加简单，有利于硬件f 台的实 现 一 可 _ _ 事 州 节 2 2 3 运动矢量预测 为了减少传输比特数，可以利用邻近分割较强的相关性，通过对邻近已编码 的m v 进行预测得到预测运动矢量。一个亮度块e 和它的相邻亮度8 x 8 块a 、b 、 c 和d 之间的空间位置如图2 - 4 所示。e 的大小可以是1 6 1 6 、1 6 8 、8 1 6 或者8 8 。a ，b ，d 都是与e 的左上角样本紧邻的块，c 是与e 的右上角样本 紧邻的块。 8 88 8 db ae 8 t 88 8 8 堪8 x 8 8 x 8 dbc ae 8 堪 1 6 2 1 6 ( a )( b ) 图2 4( a ) 当前和邻近分割( 相同尺寸)( b ) 当前和邻近分割( 不同尺寸) 当前块e 的运动矢量预测值m v e p r e d 计算过程如下： 第一步，如果a 、b 、c 三者中只有一个块x 的参考索引值不为1 ( - 1 表示 该块或者采用帧内预测模式，或者与当前块e 没有同一预测方向的运动矢量) ， 那么m v e p r e d 等于m v x ( x 为a 、b 或c ) ；否则进行第二步。 第二步，如果e 所在宏块按1 6 8 或8 1 6 模式编码，如图2 5 所示，计算 过程如下： ( 1 ) 如果为8x1 6 模式：e 为左块：如果a 和e 的参考索引值相同，m v e p r e d 等于m v a ；否则进行第三步；e 为右块：如果c 和e 的参考索引值相同， m v e p r e d 等于m v c ：否则进行第三步。 ( 2 ) 如果为1 6 x 8 模式：e 为上块：如果b 和e 的参考索引值相同，m v e p r e d 等于m v b ；否则进行第三步；e 为下块：如果a 和e 的参考索引值相同， m v e p r e d 等于m v a ；否则进行第三步。 第二章a v s 视频压缩标准介绍 图2 - 58 x 1 6 或1 6 8 模式预测 第三步，令m v a ( m v a _ x ，m v a _ y ) 、m v b ( m v b x ，m v b _ y ) 、m v c ( m v c _ x ， m v cy ) 为经过缩放的a 、b 、c 块的运动矢量。定义距离d i s t ( m v l ，m v 2 ) = a b s ( x l x 2 ) + a b s ( y l y 2 ) ( 其中运动矢量m v i = x l ，y l 】，m v 2 = x 2 ，y 2 】) 。 定义v a b 等于d i s t ( 撇，m v b ) ，v b c 等于d i s t ( m v b ，m v c ) ，v c a 等于 d i s t ( m v c ，m v a ) 。m v e p r e d 的计算如下： ( 1 ) 计算f m v 等于m e d i a n ( v a b ，v b c ，v c a ) ； ( 2 ) 如果f m v 和v a b 相等，m v e p r e d 等于m v c ： ( 3 ) 否则，如果f m v 和v b c 相等，m v e p r e d 等于m v a ； ( 4 ) 否则，m v e p r e d 等于m v b 。 2 2 4 运动搜索算法等于m v a ； ( 4 ) 否则，m v e p r e d 等于m v b 。 2 2 4 运动搜索算法 在a v s 的块运动搜索中，先进行整像素精度运动搜索并返回最小代价，然 后进行半像素精度运动搜索搜索( 包括1 2 像素插值、1 4 像素插值的搜索) 并 返回最小代价。估计的精度是由搜索的步长( 相邻块在水平和垂直的距离) 决定 的。当步长是一个像素，称为整像素精度搜索( f u l lp e lm o t i o ns e a r c h ，也称无 损搜索) ：当步长是1 k 个像素( k 1 ) ，称为半像素搜索( s u bp e lm o t i o ns e a r c h ) 。 ( 1 ) 全局搜索算法 a v s 为当前帧的一个给定宏块确定最优位移矢量的全局搜索算法方法是：在 一个预先定义的搜索区域内，把它与参考帧中所有的候选块进行比较，并且寻找 具有最小匹配误差的个，这两个块之间的位移就是所估计的运动矢量。这样做 的结果必然导致极大的计算量，无益于编码器的硬件实现。 ( 2 ) 快速搜索算法 a v s 的快速搜索算法应用了混合搜索算法，可以在很大程度上提高预测的有 效性和健壮性。a v s 采用非对称十字型多层次六边形格点运动搜索算法，如图 2 6 所示。 o 口 v 运动搜索算法 s t e p 2 s t e p3 - 1 s t e p3 - 2 s t e p 4 - 1 s t e p 4 - 2 具体搜索方法为主要四步： 第一步：搜索过程的起始搜索点搜索； 第二步：不对称的十字交叉搜索( u n s y m m e t r i c a l c r o s ss e a r c h ) ； 第三步：非均匀多层次六边形格点搜索( u n e v e nm u l t i - h e x a g o n 咖ds e a r c h ) ： ( 1 ) 小矩形窗全搜索( 2 ) 扩展的多六边形格点搜索； 第网步：扩展的六边形搜索( e x t e n d e dh e x a g o n b a s e ds e a r c h ) ： ( 1 ) 六边形搜索( 2 ) 基于菱形模块的搜索。 2 3 帧内预测 帧内预测在空间域进行，以当前重建帧( 未经环路滤波) 同一条带内邻近的 左侧和右侧已经编码的像素预测当前块的像素值。首先是计算出所有预测模式的 预测值，然后进行模式判决选出最佳模式。 a v s 视频标准使用帧内预测技术来提高帧内编码宏块的编码效率，预测时使 用当前块的左边块和上边块中的相邻像素作为参考像素。a v s 视频标准的帧内预 测以8 8 亮度块和色度块为单位，定义了5 种8 8 亮度块预测模式和4 种8 8 色度块预测模式，见表2 - l 图2 7 。 第二章a v s 视频压缩标准介绍 表2 - 18 8 帧内预测模式 i i l 仃a l 啪a 名称p l n 仃a l 啪a 名称pr e d m o d e “。 r e d m o d e 。“4 。 0i n t r a8 x 8v e r t i c a l0i n t r ac h r o m ad c 1i n t r a8 x 8h o r i z o n t a lli n t r ac h r o m ah o r i z o n t a l 2i n t r a8 x 8d c2i n t r ac h r o m av e r t i c a l 3i n t r a8 x 8d o w nl e f t3i n t r ac h r o m ap l a n e 4 i n t r a 8 x 8 d o w n r i g h t 亮度块5 种预测模式中，每个像素点预测值求取方法如图2 8 一图2 1 2 所示， 图中箭头表示预测方向，黑色像素点为当前待预测点，深灰色像素点为用于预测 的相邻像素，浅色像素点为当前待预测的8 8 亮度块。 r - - - c 图2 - 78 8 亮度块帧内预测模式 n t e r _ 8 8 _ v e r t i c a l i n t e r _ 8 8 一h o r i z o n t a 豳l i l l i l l l l蕾 i i l i ：j l l l ：i ! i i | | l j i ；lf ：f i r i i 0 i f 一i , 7 【l i l l | l p r e d m a t r i x x , 卅= ， 肘1 】 图2 - 8 垂直预测 1 0 。一 一 三 三 一 一 7 - , l 。i 一 p r e d m a t r i x x , 卅= c y + l 】 图2 - 9 水平预测 n t e r _ 8 8 - d c n t e r _ 8 8 一d o w n l e f t 图2 - 1 0 d o 预测 图2 - 1 1 左下预测 第二章a v s 视频压缩标准介绍 n t e r _ 8x8 一d o w n r i g h t i fx = y ，p r e d m a t r i x 【x ，y 】= ( c 【1 + 2 r o 】+ r 1 】+ 2 ) 2 fx y ，p r e d m a t r i x 【x ，y 】= ( r x - y + l 】+ 2 r x - y + r x - y - 1 i fx 5 ，右移5 位是为了控制正变换数据范围。8 8 变换逆矩阵为： 1 2 瓦一= ( 2 ) 量化： 将正变换输出系数矩阵先与尺度缩放矩阵e 8 的元素对应相乘，结果右移1 9 位，再通过量化参数q p 查找量化表得到q _ _ t a b l e q p ，与尺度缩放后的结果相 乘，再右移1 5 位，保证量化输出结果在1 6 位以内。不考虑近似取整处理，量化 可以表示为：y q i j ，= 【( yt i j ，e 6 c i j , ) 1 9 q _ t a b l e q p 1 5 ，输出矩阵为y q 。 其中e 8 ，是变换系数的尺度调整矩阵。 ( 3 ) 反量化： y q o ，= ( y 。i j ，i q _ t a b l e q p ) s h i f t q p ，其中反量化的输出矩阵为y ， i qt a b l e 为反量化表，s h i f t 为q p 对应的位移表。亮度量化参数和色度量化参数 的取值范围是 0 ，6 3 ) ，但是亮度块和色度快的量化参数获得的方式不同。如果当 前块是亮度块，其量化参数q p 等于c u r r e n t q p ；如果当前块是色度块，以 c u r r e n t q p 为索引查表2 2 得到色度块的q p 。 表2 2 色度块的q p 与c u r r e n t q p 的映射关系 c u r r e n t q p 7 ( i j - 0 7 ) ) 其中h i i 是h 矩阵的元素) 。 2巧9砌m巧6之 4 枷m 4 4 m 枷4 0 ) i l 5 6圳2 9 由之m 巧 8书8 8书8 9之枷巧6 m 2 巧 m 4 4砌枷。4 m - m 9 6 2也巧由枷 2 5 环路滤波 第二章a v s 视频压缩标准介绍 基于块的视频编码很容易造成方块效应，特别是在低码率的情况下，a v s 视频标准定义了自适应环路滤波器来消除方块效应，既可以提高当前帧的主观质 量和客观质量，又可以提高当前帧作为参考帧时的预测效率。 滤波器是作用于8 8 块的水平边和垂直边缘，是一种条件滤波器，根据宏 块的编码类型及当前边缘附近像素值的差别，选取不同强度和不同阶数的滤波 器，在消除块效应的同时又可以保留真正的边缘或高频细节。每个8 8 亮度块 之间的边界有一个“边界强度”b s ，色度块的边界强度用对应位置亮度块边界的 b s 代替，如图2 1 3 所示( 仅分析4 ：2 ：0 模式) 。如果b s 等于0 则不要对边界滤 波，否则根据局部样本值的特性和b s 值对边界滤波。除图像边界及条带的边界 之外，宏块的所有边界都应进行滤波。此处宏块边界定义为宏块内部各个8 8 块的边界，以及当前宏块与相邻宏块的上边界和左边别8 1 。 = r 宏块亮度边界宏块色度边界( c b 或c r ) 图2 - 1 3 环路滤波( 粗实线为垂直边界，细虚线为水平边界) 环路滤波以宏块为单位，按照光栅扫描顺序对亮度块和色度块的边界进行依 次处理，图像中每个宏块的滤波过程如下：对亮度和色度分别做环路滤波，如图 2 - 9 所示，首先从左到右对垂直边界滤波，然后从上到下对水平边界滤波。滤波 强度由宏块编码模式、量化参数、运动矢量等决定。当前宏块的上边或者左边的 样本值可能在以前的宏块环路滤波过程中己经被修改，当前宏块的环路滤波的输 入为这些可能被修改的样本值，并且当前宏块环路滤波可能迸一步修改这些样本 值。当前宏块垂直边界滤波过程中修改的样本值作为水平边界滤波过程的输入。 帧内预测使用环路滤波前的重建图像样本值。h 2 6 4 的环路滤波器滤波时使用边 界左右各4 个像素，而a v s 视频标准只使用左右各3 个像素，实现复杂度低于 h 2 6 4 的环路滤波器，如图2 1 4 所示。 1 4 h h 一 一 些 煦 州 h b h b 凰 里 一 ii 广i 一a v 弘 1 ii il p 3p 2p 1p oq 0q 1q 2q 3 i 卜眦钭一 j 一一一 广- r 2 伽1 垂直边缘水平边缘 图2 - 1 4a v s 、h 2 6 4 环路滤波涉及的像素 ( h 2 6 4 使用边界左右各4 个像素；a v s 视频标准只使用左右各3 个像素) 2 6 熵编码 2 6 1 指数哥伦布码 c 阜 一 a v s p 2 标准采用的是基于指数哥伦布码( e x p o n e n t i a l g o l o m bc o d e s ，e g 码) 的统计编码技术。其中运动矢量预测残差、参考帧索引、c b p 等除量化系 数外的语法元素均用0 阶e g 码编码或定长码编码，对于量化系数则采用基于 上下文的可变长码编码。e g 码相对于经典熵编码如h u f f m a n 码的优点在于码表 结构简单，易于构造，可以降低编解码的复杂度，且经过选择合适的阶数进行编 码同样能接近信源的熵，其结构如表2 3 所示。 表2 3k g r 指数哥伦布码表 阶数码字结构c o d c n u m 取值范围 10 01x ol 2 k = 0001x 1x o 3 - - 6 00 01x 2x ix o7 1 4 k = llx 0 o 1 01x 1x o2 5 一一一 广i； 第二章a v s 视频压缩标准介绍 0 01x 2x lx o6 1 3 00 01x 3x 2 文1x o 1 4 2 9 1x lx oo 3 01x 2x lx o 4 1 1 k = 2 0 01x 3x 2x ix o1 2 - - 2 7 0001x 4x 3x 2x lx o 2 8 5 9 由码表中可知，码字由前缀和后缀组成。前缀为，个0 和一个1 ，后缀为l + k 个二进制位，k 为阶数。且码字取值n ( 即c o d e n u m ) 、后缀取值m 满足关系式： m = n 一2 ( 2 7 1 ) 由于m 0 ，从上式可以得出，等于不大于n 的最大“全l ”二进制数的位 数，即，= l e v ( n + 1 ) ( k + 1 ) ( 其中伽指比特位数) 。具体的e g 码c o d e n u m 与各类语法元素取值的映射关系见a v s 标准文档【9 1 。 2 6 2c 2 d v l c 与h 2 6 4 一样，a v s 对变换系数采用了基于上下文的可变长编码。差别在于 h 2 6 4 的上下文模型是针对4 4 变换的，且将游程与幅值分开单独编码；而a v s 的上下文模型针对8 8 变换，对游程与幅值成对进行编码，即基于上下文的二 维可变长编码( c o n t e x t b a s e d 2 d i m e n s i o n sv a r i a b l el e n g t hc o d i n g ，c 2 d v l c ) 。 游程和幅值即( r u n ，l e v e l ) 是把量化后的“个系数按照一定的扫描模式得到 的序列对，幅值为非零系数的幅度，游程为该非零系数前0 的个数。扫描模式分 为两种：a ) 帧模式，b ) 场模式，如下图2 1 5 所示。 1 6 a ) 帧模式 图2 - 15 块扫描模式 b ) 场模式 每种扫描模式都是为了利用变换系数间的相关性来增加零游程的长度，以提 高熵编码的效率。统计分析显示，随着d c t 频率的增加，变换系数的幅值呈便 小趋势，而游程的大小呈增大趋势。对( r u n ，l e v e l ) 来讲，从高频到低频，一 个较小的幅值它对应的游程很大程度上较大，而且随着幅值的增加其对应的游程 很大程度上会有较大下降。由此得出： 1 ) 游程和幅值是相关的； 2 ) ( r u n ，l e v e l ) 的联合概率分布在扫描序列的局部是有差异的。 所以a v s 采用( r u n ，l e v e l ) 进行联合编码，并为了适应局部的差异性设 计了共1 9 个v l c 码表( 帧间亮度块7 个，帧内亮度块7 个，色度块5 个) ，根 据之前幅值增大的趋势来决定当前使用的码表，这样就极大提升了v l c 编码的 效率【l0 1 。 1 7 第三章运动估计算法的设计 3 1a v s 编码器p r o f i l e 分析 利用m i c r o s o f tv i s u a lc + + 6 0 的p r o f i l e 功能，对a v s 编码器各模块进彳亍剖 析( 洵憾序列为i n t g r v i e w7 0 4 x 5 7 6 d 1 ) ，得到模块复杂度分析如图3 - 1 所示： a v s p 2 编码器 口整像素运动搜索1 4 像素运动捏索 口1 4 像索捕值口啥达马变换 p 帧编码( 不考虑运动搜索) 口其他 图3 一ia v s p 2 编码器p r o f iie 结果 旨先可以看出，编码器中耗叫最人的足整像素运动搜索模块占用了整个编 码时间的6 56 。整个运动搜索( m o t i o ns e a r c h ，m s ) 部分( 包括整像素运动 搜索6 56 和亚像素运动搜索76 3 ) 消耗了编码器7 32 3 的计算量。显然，要 提高编码器的性能，就必颁埘运动搜索部分进行优化淇次是1 4 像素差值76 3 和哈选马变换21 6 ，由于这两部分在标准中有比较明确的规定很难在算法上 进行优化，而对于i 帧，一方面由于本设计是面向安防设各的实时编码器的实现， 一般采用一帧i 较多帧p 的i p p p 编码结构，所咀i 帧编码在编码器中使用的比 例较小；另一万面，通过对p 帧的宏块所采用编码模式的情况进行了统计，统计 信息血i 图3 2 ( 曲、图3 - 2 c o ) 、图3 - 2 ( c ) 所示圭采用帧内编码的宏块所占的比例 很小其中大部分都是在帧间模式中提前终止，从而跳过了帧内编码模式，因此 帧内编码不是优化的重点。 fd m , $ 4 4 6 a v $ * 日目* * * s 蛮日 c c ) n e w s = 7 0 4 x 4 8 0 编码横式统计 圈3 2 编码模式统计 i 第三章运动估计算法的设计 总之，a v s 编码器中m s 是复杂度最高的模块，占到整个编码器的7 0 以 上。其中，整像素运动搜索在m s 中占了9 0 以上的计算量，因此我们重点对其 进行算法优化。在本章中，先介绍快速运动估计算法的实现策略以及快速搜索算 法的研究现状，然后提出了一种基于阈值和快速搜索路径的算法，力图在以往快 速算法的基础上进一步减少整像素运动估计的复杂度，使编码器更有利于实时应 用。 3 2 快速运动估计算法的实现方法 目前，运动估计的快速搜索算法有很多种，一般来讲这些算法的实现可以归 结为以下几条策略： ( 1 ) 初始搜索点的选择 自然图像序列的运动是相对缓慢的并且在时间和空间上有很强的相关性，运 动矢量有如下的统计特性：空域相关性强、时域相关性强、主要集中在零矢量附 近。由于运动矢量的上述特点，可以利用与当前待匹配块时域上和空域上相邻块 的运动矢量和零矢量作为当前块的初始搜索点的集合，选择其中匹配度最好的块 作为下一步搜索的起点。 ( 2 ) 减少监测点的数目 这是人们研究快速运动算法的重点。经典的算法有：三步法，新三步法，四 步法，二阶对数法，钻石搜索，又包括利用其他各种模板，如六边形、正方形、 平行四边形等的搜索算法以及它们之间的结合使用。在第三节将重点分析钻石法 等几种搜索方法的原理。 ( 3 ) 搜索模式的简化 在h 2 6 4 和a v s p 2 中，不单有帧内预测和帧间预测模式，而且对帧间预测 模式来讲，有s k i p 模式和1 6 1 6 ，1 6 8 ，8 1 6 ，8 8 各种预测模式。从统 计学的观点来看，帧间预测并非平均地利用这些预测模式。统计结果显示，采用 1 6 x 8 ，8 1 6 ，8 8 模式的编码图像块只占全部编码块的6 8 ，如图3 2 ( a ) 、 图3 - 2 ( b ) 、图3 - 2 ( c ) 所示，编码处理时间占了3 0 - - - 4 0 。 由于对帧间搜索模式有上面的统计特性，可以根据当前编码块的时域信息和 空域信息来简化这些预测模式，排除点那些不大可能成为最佳的预测模式，从而 达到降低算法复杂度的目的。在本设计中，对于使用完全模式编码性能与单独使 用其他几种编码模式性能进行了峰值信噪比的比较，以选取最有利于安防监控设 备硬件实现的简化搜索模式1 6 1 6 模式单独编码模式( 具体性能验证结果 见本章第四节) 。 基于d m 6 4 4 6 的a v s 视频编码器运动估计的设计与实现 3 3 已有快速搜索算法分析 目前运动估计的快速算法有很多种，全搜索运动估计算法由于精度高，应用 比较广范，但是它的运动搜索复杂度很高，特别是在大范围搜索时，硬件实现难 度很大