（信号与信息处理专业论文）h264帧内预测算法优化及几个重要模块的fpga实现.pdf

摘要 h 2 6 4 作为新一代视频编码标准，相比上一代视频编码标准m p e g 2 ，在相同 画质下，平均节约6 4 的码流。该标准仅设定了码流的语法结构和解码器结构， 实现灵活性极大，其规定了三个档次，每个档次支持一组特定的编码功能，并支 持一类特定的应用，因此h 2 6 4 的编码器的设计可以根据需求的不同而不同。 h 2 6 4 虽然具有优异的压缩性能，但是其复杂度却比一般编码器高的多。本文 对h 2 6 4 进行了编码复杂度分析，并统计了整个软件编码中计算量的分布。h 2 6 4 中采用了率失真优化算法，提高了帧内预测编码的效率。在该算法下进行帧内预 测时，为了得到一个宏块的预测模式，需要进行5 9 2 次率失真代价计算。因此为 了降低帧内预测模式选择的计算复杂度，本文改进了帧内预测模式选择算法。实 践证明，在p s n r 值的损失可以忽略不计的情况下，该算法相比原算法，帧内编 码时间平均节约6 0 以上，对编码的实时性有较大帮助。 为了实现实时编码，考虑到f p g a 的高效运算速度和使用灵活性，本文还研 究了h 。2 6 4 编码器基本档次的f p g a 实现。首先研究了h 2 6 4 编码器硬件实现架 构，并对影响编码速度，且具有硬件实现优越性的几个重要部分进行了算法研究 和f p g a 实现。本文主要研究了h 2 6 4 编码器中整数d c t 变换、量化、z i gz a g 扫描、c a v l c 编码以及反量化、逆整数d c t 变换等部分。分别对这些模块进行 了综合和时序仿真，并将验证后通过的系统模块下载到x i l i n x v i r t e x - i i p r o 的f p g a 中，进行了在线测试，验证了该系统对输入的残差数据实时压缩编码的功能。 本文对h 2 6 4 编码器帧内预测模式选择算法的改进，算法实现简单，对软件 编码的实时性有很大帮助。本文对在单片f p g a 上实现h 2 6 4 编码器做出了探索 性尝试，这对h 2 6 4 编码器芯片的设计有着积极的借鉴性。 【关键词】：h 2 6 4 、帧内预测、率失真优化、f p g a a b s t r a c t a b s t r a c t a st h en e wg e n e r a t i o no fv i d e oc o m p r e s s i o ns t a n d a r d , h 2 6 4c a nr e d u c e6 4 b i t r a t e so na v e r a g e 砒t h es a m ep i c t u r eq u a l i t ya sm p e g - 2w h i c hi st h el a s tg e n e r a t i o n v i d e oc o m p r e s s i o ns t a n d a r d h 2 6 4o n l ys p e c i f i e st h es y n t a xf r a m e w o r ko f t h eb i t s t r e a m a n dt h ed e c o d e ra r c h i t e c t u r e w i t ht h ef l e x i a b l ei m p l e m e n t a t i o n , h 2 6 4h a st h r e e p r o f i l e st h a ts u p p o r td i f f e r e n tf u n c t i o nt om e e td i f f e r e n tr e q u i r e m e n t s h 2 6 4h a s g r e a fc a p a b i l i t yo fc o m p r e s s i o n , b u ti t s m u c hc o m p l e x e rt h a n o t h e r s t h i s p a p e ra n a l y s e s t h e c o m p l e x i t yo fh 2 6 4 e n c o d e ra n di t s p i v o t a l a r i t h m e t i c s h 2 6 4a d o p t sai i c wi n t r a - p r e d i e t i o na r i t h m e t i c t o i m p r o v et h ev i d e o c o m p r e s s i o nq u a l i t ya n db r i n gd o w nb i t r a t e s ，h 2 6 4a d o p t st h er d oa r i t h m e t i c i tn e e d s t oc a l e u l a t et h er d - c o s tv a l u ef o r5 9 2t i m e st og e tt h eb e s ti n t r a - p r e d i c f i o nm o d eo fa m a e r o b l o c k i no r d e rt or e d u c et h ec o m p l e x i t y , t h i sp a p e rp r o p o s e saf a s ta r i t h m e t i cf o r i n t r a - p r e d i c t i o nm o d es e l e c t i o n m a n yt i m e se x p e r i m e n t sp r o v et h a t ：i tc a nr e , c l u c em o r e t h a n6 0 c a l c u l a t e dt i m eo na v e r a g eb yu s i n gt h i sn e wa r i t h m e t i cw i t hl i t t l el o s so f p s n rt h a nt h ep r i m a r ya r i t h m e t i c c o n s i d e r i n gt h er e a l t i m ee n c o d i n ga n dt h ef l e x i b i l i t yo ff p g a , t h i sp a p e rp u t a n o t h e rf o c u so ni m p l e m e n t i n gt h eb a s e l i n ep r o f i l eo fh 2 6 4e n c o d e rb yf p g a f i r s to f a l l ，ah a r d w a r ea r c h i t e c t u r eo ft h ee n c o d e rh a sb e e np r o p o s e d t h e nw eh a v es m d i e dt h e m o s ti m p o r t a n tm o d u l e so f t h ee n c o d e rw h i c hi n f l u e n c et h ee f f i c i e n c yo f e n c o d i n ga n d i m p l e m e n tt h e ms e p a r a t e l yb yf p g a i nt h i sp a p e r , i n t e g e rd c t , q u a n t i z a t i o n , z i g - z a g s c a n ，c a v l c ，i n v e r s ei n t e g e rd c ta n di n v e r s eq u a n t i z a t i o ne t ch a v e b e e ns t u d i e da n d i m p l e m e n t e db yf p g a i nt h ee n do f t h ep a p e r , s i m u l a t i o na n dt e s tf o rt h ew h o l es y s t e m h a v eb e e nc o m p l i s h a da n di tp r o v e st h a ti tc a l le n c o d er e s i d u a ld a t ar e a lt i m e t h i sp a p e rh a si m p r o v e dt h ei n t r a - p r e d i e t i o nm o d es e l e c t i o na r i t h m e t i co fh 2 6 4 w h i c hi se a s i l yb e e ni m p l e m e n t e d ，a n di ti su s e f u lf o rr e a lt i m ee n c o d i n g t h er e s e a r c h f o ri m p l e m e n t a t i o no fh 2 6 4e n c o d e rb yf p g ai san e wa t t e m p ta n di ti su s e f u lf o r r e f e r e n c eo f c m o sc h i pd e s i g nf o rh 2 6 4e n c o d e r k e y w o r d s ：h 2 6 4 ，i n l r a - p r e d i c t i o n , r d o ，f p g a i i 图目录 图 图 图目录 1 1 邻近像素间的相关性 l - 2 预测编码 图2 1 图2 - 2 图2 3 图2 4 图3 - 1 图3 - 2 h 2 6 4 视频编码器 3 ：i 利用像素a q 对方块中a p 像素进行帧内4 x 4 预测。8 4 x 4 亮度块预测模式9 1 6 x 1 6 帧内预测模式 播放软件界面 4 x 4 相邻块示意图 图3 - 3 九种预测模式下计算的s a t d 值曲线 图3 - 4 视频截图比较 图3 - 5 两种快速算法p s n r - b i t r a t e 图 图3 - 6h i g h w a y0 c i f 3 0f r a m e s 】- 图3 - 7n e w sq c i f 3 0f r a m e s 。 图4 _ 1自顶向下设计方法 图4 2h 2 6 4 视频编码器硬件框图。 图4 - 3 图4 4 图4 5 图 图 1 0 1 4 。1 5 1 6 1 9 1 9 2 0 ：! o ：! ：； ：! ! ； c _ m o d e l 编码图 整数变换、量化流程图 整数d c t 蝶形快速算法3 0 4 - 6 整数d c t 变换模块 4 - 7 一维整数d c t 处理单元 图4 8 图4 9 图4 - 1 0 图4 - 1 1 图4 - 1 2 图4 1 3 图4 - 1 4 图4 1 5 一维整数d c t 仿真图 二维整数d c t 仿真图 3 6 3 8 整数d c t 变换软件仿真结果。3 8 h 2 6 4 量化模块设计3 9 基本量化器结构图4 0 h a d a m a r d 变换蝶形快速算法 一维h a d a m a r d 交换处理单元。 h a d a m a r d 变换仿真结果。4 2 v i 图目录 图4 1 6 图4 - 1 7 图4 1 8 图4 1 9 图4 - 2 0 图4 - 2 1 图4 - 2 2 图4 - 2 3 图4 - 2 4 图4 - 2 5 图4 2 6 图4 2 7 图4 2 8 图4 - 2 9 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 附图1 h a d a m a r d 变换软件实现结果图。4 3 非帧内1 6 x 1 6 模式下量化仿真图4 3 帧内1 6 x 1 6 预测模式下量化仿真图4 4 z i g - z a g 扫描。4 4 z i g - z a g 扫描模块 z i g - z a g 扫描仿真结果 4 5 4 5 c a c 编码过程图4 7 c a v l c 模块设计结构图5 0 c a v l c 编码仿真结果5 0 一维快速逆变换算法5 1 帧内1 6 x 1 6 预测模式块重建过程5 l 非帧内1 6 x 1 6 预测模块重建过程二。5 2 反量化逆整数d c t 模块5 2 逆变换反量化模块仿真图5 3 编码系统综合报告 电路图。 系统仿真图 测试连接平台 f p g a 下载程序过程 5 4 5 4 5 5 ：；6 编码输出数据采集 c m o d e l 采用c a v l c 编码后输出码流5 8 f p g a 开发板实物图。6 8 表目录 表1 - 1 表3 - 1 表3 - 2 表4 1 表4 2 表4 3 表4 - 4 表4 5 表4 6 表4 - 7 表4 8 附表 附表 附表 附表 表目录 视频标准的应用领域2 主观评价分数标准1 2 实验结果比较。l8 h 2 6 4 编码器的复杂度情况2 4 量化步长9 甲与量化参数q _ p 的关系3 l 正矢量化时p f 的值3 1 h 2 6 4 中的m f 值 反向变换时p f 的值 对应部分q p 时的矿的值。 计算n c 的值 。3 3 3 3 4 8 选择非零系数数目和拖尾系数数目的编码表格4 8 c o e f f t o k e n 到t o t a l c o e f f 署l ：lr i 协l i n g o n 鹤( c o e 疋k ) 映射。6 6 l e v e l _ p r e f i x 码表 t o t a l c o e f f 为l 7 时4 x 4 块的t o t a l _ z e r o s 表6 7 t o t a l c o e f f 为8 1 5 时4 x 4 块的t o t a l _ z e r o s 表6 8 i 缩略词表 i s o h u j p e g m p e g v c e g m d c t r d 0 c a v l c c a b a c 队d s a d s a t d 缩略词表 国际标准化组织 国际电信联盟 联合图像专家小组 运动图像专家小组 视频编码专家组 联合视频小组 离散余弦变换 率失真优化 基于上下的文可变长编码 基于上下文的算术编码 平均绝对误差 绝对误差之和 h a d a m a r d 变换后绝对误差之和 i x 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 净7 年歹月j 争日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：斗堑 导师签 日期： 第一章绪论 第一章绪论 长期以来，人们在自然界感受到的最主要的信息就是视觉信息，人类通过视 觉的信息量约占总信息量的7 0 ，而且视频信息具有直观性、可信性等一系列优 点。其信息处理的流程是：模拟信息一 数字化一 压缩编码一 存储或传输一 解 码再现。其中，压缩编码是一个关键环节，成为是全球广播电视行业最引人注目 的焦点之一。由于视频信息是一种比较特殊的媒体，数据量极大、信息丰富、并 以与时间密切相关的流的形式存在，因此，视频数据的表达、存储和传输都有很 大难度，解决的关键在于对视频数据进行压缩。 国际标准化组织( i s o ) 和国际电信联盟( r r u ) 先后制定了一系列静止和运 动图像编码标准，包括静止图像压缩的i p e g 、面向i s d n 视频传输的h 2 6 1 、用 于数字视频和音频传输及存储的m p e g - 1 、支持h d t v 等高品质数字视频和音频 传输与存储的m p e g - 2 、适合于低码率视频传输的h 2 6 3 、基于对象的视频编码标 准m p e g - 4 和致力于低码率高编码效率的h 2 6 4 。这些国际标准的建立体现了图像 和视频编码技术五十年的研究结果，推动了图像和视频技术的实用化和产业化【2 1 。 h 2 6 4 作为新一代的视频压缩标准，是由r r u - t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 运动图像编码专家组) 成立的联合视频小组( t ：j o i n t v i d e o t e a m ) 共同开发的。h 2 6 4 仍然是采用运动补偿加变换编码的混合编码模型。但它 采用许多新技术，使编码效率和图像质量都比以前的标准有很大的提高，在相同 图像质量的情况下，h 2 6 4 的编码效率是m p e g - 2 的两倍。 1 1 数字视频技术发展概况 数字视频压缩技术广泛应用于通信、计算机、广播电视等领域，带来了会 议电视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标 准的产生。r r u - t 与i s o i e c 是制定视频编码标准的两大组织，r r u t 的标准包括 h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用于实时视频通信领域，如会议电视；m p e g 系列 标准是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网或无线 网上的流媒体等。两个组织也共同制定了一些标准，h 2 6 3 标准等同于船e g - 2 的 视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g - 4 的第1 0 部分。视频压缩标 电子科技大学硕士学位论文 准演化和主要应用如表卜1 所示。 表1 1 视频标准的应用领域 应用领域位速率采用标准 广播电视2 6 m b p s m p e g 一2 d 、r d 6 8 m b p s m p e g 一2 网络流媒体2 0 2 0 0 k b p sh 2 6 3 ，m p e g 一4 ，h 2 6 4 视频会议2 0 3 2 0 k b p s h 2 6 1 h 2 6 3 3 g 无线视频2 0 1 0 0 k b p sh 2 6 3 ，m p e g 一4 h 2 6 4 是由i s o i e c 与r r u t 组成的联合视频组( j v t ) 制定的新一代视频压 缩编码标准，在i s o i e c 中该标准命名为a v c ( a d v a n c e dv e d i oc o d i n g ) ，作为 m p e g - 4 标准的第1 0 项选项，在u - t 中正式命名为h 2 6 4 标准。 h 2 6 4 甚至能够为低码率传输提供较好的视频质量。有关研究表明，h 2 5 4 编 码视频流与h 2 6 3 或m p e g 4s i m p l e 编码视频流相比，平均可以节省5 0 的码率。 h 2 6 4 的帧内预测技术利用同一图像内的空间相关性，使得全帧内编码的视频质量 超过了j p e g 标准和j p e g 2 0 0 0 标斛”。 正是由于h 2 6 4 相对m p e g - 4 、m p e g - 2 在性能、国际标准和许可费用上的优 势，业界一致公认，h 2 6 4 将必然是未来编解码标准的主流。 下面简单介绍一下视频编码的几种技术。 1 1 1预测编码 预测编码是最简单、最实用的编码方法，经过压缩编码后传输的不是像素本 身的取样值，而是该取样的预测值和实际值之差【。 以同一帧内邻近像素为例，当前像素为x ，其左邻近像素为a ，上邻近像素 为b ，上左邻近像素为c 等。显然与x 之间的距离近的像素，如a 和b 与x 的相 关性较强，愈远相关性愈弱，如c 、d 、e 、f 等像素。如图1 - 1 所示。按与x 的 距离不同给以不同的权值，把这些像素的加权和作为x 的预测值p ，与实际值相 减，得到差值q 。由于邻近像素之间的相关性强，q 值非常小，故可达到压缩编码 的目的。 2 第一章绪论 图卜1 邻近像素间的相关性 按以上原理可以得到预测编码框图，如图1 - 2 所示。其中，x ( n ) 为当前像素的 实际值，p ( n ) 为其预测值，d ( n ) 为差值或残差值。该差值经量化后得到残差量化值 q ( n ) 。预测值p ( n ) 经预测器得到，预测器的输入为已经存储在预测器内前面的各像 素及其当前值，它们的加权和即为下一个预测器的输出。 1 1 2变换编码 7 卜屯匝删 j “n ) 图卜2 预测编码 绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅 图像的大部分，而细节区域和内容突变区域则占小部分。也就是说，图像中直流 和低频区占大部分，而高频区占小部分。这样，如果将空间域的头像变换到频域 或所谓的变换域，就会产生相关性很小的一些变换系数，并可对其进行压缩编码， 即所谓的变换编码【2 】。 变换中有一类叫做正变换，可用于图像编码。自1 9 6 8 年利用快速傅立叶变换 进行图像编码以来，出现了多种正交变换编码方法，如k - l 变换、离散余弦变换 ( d c t ) 等等。其中，编码性能以k - l 变换最理想，但缺乏快速算法，且变换矩 阵随图像而异，不同图像需计算不同的变换矩阵，因而只用来作参考比较。d c t 变换编码性能最接近于k - l 变换，但它有快速算法，广泛应用于图像编码中。 1 1 3熵编码 常用的熵编码有游程编码( r u n - l e n g t hc o d i n g ，r l c ) 、霍夫曼编码( h u f f n m n c o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 三判1 1 。 电子科技大学硕士学位论文 当已经被采用的图像视频数据拥有相同字节的序列时，可以采用更紧密的序 列来代替这些相同的字节序列，从而实现压缩。这就是游程编码。 霍夫曼编码是一种变长编码，但要实现它就必须事先知道信源的概率分布， 这一般无法做到，通常采用对大量数据进行统计后得到的近似分布来代替。但是 不同的图像类型其系数分布总有差异，这导致霍夫曼编码在实际应用中达不到最 佳性能。 算术编码时2 0 世纪8 0 年代发展起来的一种熵编码方法。理论上，算术编码 与霍夫曼编码方法均是最佳的。实际试验证明，算术编码与霍夫曼编码方法的平 均压缩效果十分相似，只是霍夫曼编码更快一些。因此，不少混合编码方法是用 优化过的霍夫曼算法作为熵编码过程的一个步骤。 1 2 课题研究的意义 1 2 1 国内外研究的概况 h 2 6 4 软件编码时所需计算有着巨大复杂度。首先分析一下h 2 6 4 a v c 编码 器的典型运行时的周期要求。h 2 6 4 a v c 编码器基于由联合视频工作组( j 、吓) 提供 的软件模型j m 8 6 ，该工作组由来自盯u - t 的视频编码专家组( v c e g ) 和 i s o i e c 的运动图像专家组( m e g ) 的专家组成。采用i n t e l 的v t u n e 软件，在 i n t e lp e n t i u mi i i1 0g h z 通用c p u 、5 1 2m b 内存的平台上运行，按照主要配置 编码解决方案实现h 2 6 4 a v cs d ，需要约1 , 6 0 0b o p s ( 每秒十亿次运算) 1 3 对于h 2 6 4 编码标准的研究，目前国内外主要集中在运动估计，运动搜索算 法研究，对于帧内预测模式选择，码率控制等领域。帧间帧内预测时主要在于改 善模式选择算法，运动搜索主要在于降低搜索点数目，采用多帧参考时，如何更 有效地确定搜索起始点的位置。这些优化算法的目的都是为了在不降低h 2 6 4 编 码质量的前提下，提高h 2 6 4 的编码速度。 由于软件编码的巨大时间消耗，并不能满足实时编码的需求。因此在软件架 构上的优化和算法优化相结合相继出现了x 2 6 4 , t 2 6 4 等编码器，但这些编码器的 编码速度的提高过多地牺牲了编码质量和h 2 6 4 的某些功能。 为了更好地实现实时编码且编码质量有保证，需要采用硬件完成编码器的设 计。目前国际上采用的构架分为两种：一种是f p g a 结合d s p 软硬件结合架构； 一种是单片纯f p g a 架构( 采用片内集成d s p 模块) 。2 0 0 5 年a t t e r a 和x i l i n x 公 4 第一章绪论 司分别推出采用s t r a t i x i if p g a 的a t e m e 方案和采用单片v t r t e x - 4f p g a 实现 h 2 6 4 实时标准清晰度主要档次( m a i np r o f i l e ) 的视频编码。国内某些公司也推出 采用f p g a 和d s p 结合的h 2 6 4 实时标准清晰度主规格( m a i np r o f i l e ) 视频编码 器。由于目前该编码器的价格昂贵以及实际应用对于h 2 6 4 编码的不同档次( 基 本档次、主要档次、扩展档次) 的需求和不同的应用，研究h 2 6 4 编码器硬件实 现有着重要的意义。 1 2 2 本文研究的主要工作 本文的研究工作主要分两部分：h 2 6 4 的帧内预测算法研究和h 2 6 4 编码器部 分模块的f p g a 实现的研究。 本文在介绍h 2 6 4 标准算法的基础上对帧内预测模式选择算法进行了研究和 改进。首先分析了率失真优化的原理，给出了基于率失真优化的改进算法，并将 本文改进的帧内预测r d o 下模式选择算法与h 2 6 4 标准中的算法以及参考文献 9 】 中提出的算法相比较，得出本文的优化算法的优越性。 通过对h 2 6 4 编码器结构的分析，本文给出了一个f p g a 实现h 2 6 4 编码器 的设计框架。利用自项向下的设计方法，将编码器的功能划分成几个主要模块， 定义各个模块的接口，并用v e r i l o g 语言实现了其中计算量大的几个重要模块。并 进行了综合和综合后仿真以及下载实现。 本文的内容共分为6 章，安排如下： 第一章绪论部分，介绍了视频编码的主要技术和视频编码技术的发展。通过 一系列的标准比较指出了h 2 6 4 标准的优越性。研究了国内外该领域的研究情况 和动态，论述了h 2 6 4 视频编码算法研究及硬件实现的理论和现实意义。 第二章h 2 6 4 视频编码器帧内预测算法研究。讨论了h 2 6 4 视频编码器的特 点和帧内r d o 模式下模式选择的过程。 第三章h 2 6 4 帧内预测算法的改进。改进了率失真优化的帧内预测模式选择 算法。通过试验比较，改进算法平均节省了6 0 以上的帧内编码时间，而视频编 码的p s n r 值仅下降了o 1 d b z 左右，码率基本保持不变。 第四章h 2 6 4 编码器部分模块的f p g a 实现。首先介绍了基于f p g a 的h 2 6 4 视频编码总体方案和几个重要模块的实现。给出了仿真和验证结果。 第五章调试和分析。首先将所设计的编码器模块进行时序仿真，然后介绍了 设计的模块系统采用f p g a 开发板调试的过程，将得到的码流与m o d e l s i m 时序仿 电子科技大学硕士学位论文 真的结果和c _ m o d e l 编码的码流以及时序仿真的结果相比较，得到预期的结果。 第六章总结与展望。对本文工作进行了总结，提出了f p g a 实现方面需要进 一步研究的方向。 第二章h 2 6 4 中帧内预测算法研究 第二章h _ 2 6 4 中帧内预测算法研究 2 1h 2 6 4 编码器的特点 h 2 6 4 并不明确地规定一个编码器如何实现，而是规定了一个编了码的视频比 特流的句法，使得各个厂商的编码器在此框架上可以互通，在实现上有很大的灵 活性，而且有利于相互竞争。 h 2 6 4 编码器的功能组成如图2 - 1 所示【4 。 图2 一lh 2 6 4 视频编码器 h 2 6 4 编码器采用的是变换和预测的混合编码法。输入的帧以宏块为单位被编 码器处理。首先，按帧内或帧问预测编码的方法进行处理。如果采用帧内预测编 码，其预测值p 是由当前片中己编码的参考帧运动补偿后得出的。为了提高预测 精度，从而提高压缩比，实际的参考图像可在过去或未来( 指显示次序上) 已编 码解码重建和滤波的帧中进行选择。 预测值p 和当前块相减后，产生一个残差块d ，d n 经过整数d c t 变换，量 化后产生一组量化后的d c t 系数x ，进行重排序后，再经过熵编码，与解码所需 的一些信息( 预测模式、量化参数、运动矢量等) 一起组成压缩后的码流，经n a l ( 网络自适应层) 供传输和存储用。 在提供预测用的参考图像时，编码器必须有重建图像的功能。因此必须使残 电子科技大学硕士学位论文 差图像经反量化、反变换后得到残差图像与预测值p 相加得到重建图像( 未经滤 波的帧图像) ，经过环路滤波器后得到重建帧。 2 2h 2 6 4 帧内预测算法介绍 在帧内预测模式中，预测块p 是基于重构块和当前块形成的。h 2 6 4 中提供了 4 种帧内预测方式：4 x 4 亮度块的帧内预测( i n t r a4 x 4 ) 、1 6 x1 6 亮度块的帧内 预测( i n t r a1 6 1 6 ) 、8 8 色度块的帧内预测( i n t r ac h r o m a ) 以及ip c m 的预 测方式。 2 2 14 x 4 块帧内预测模式 如图2 2 所示，4 x 4 亮度块的上方和左方像素a q 为已编码并重构的像素， 用作编码器中的预测参考像素。a p 为待预测像素，利用a q 进行预测。其中 模式2 ( d c 预测) 根据a q 中已经编码的像素进行预测，而其它模式只有在所 需预测像素全部提供后才能使用。图2 - 3 中箭头表明了每种模式的预测方向。对模 式3 8 ，预测像素由a q 加权平均得到。例如，模式4 , l 声- r o u n d ( b 4 + c 2 + d 4 ) 。 efgh 图2 2 利用像素a q 对方块中a p 像素进行帧内4 x 4 预测 0 ( 垂直)1 ( 水平) 2 ( d c ) 3 ( 下左对角线) 4 ( 下右对角线) 5 ( 右垂直) 舻 6 ( 下水平) 7 ( 左垂直) 8 ( 上水平) 酽 图2 - 34 x 4 亮度块预测模式 2 2 21 6 x1 6 亮度块帧内预测模式 在这种方式下，整个1 6 x1 6 的亮度块同时进行预测，且共有4 种不同的预测 方式，分别为垂直预测模式( 模式o ) ，水平预测模式( 模式1 ) ，d c 预测模式( 模 式2 ) ，p l a n e 预测模式( 模式3 ) ，如图2 - 4 所示。 9 电子科技大学硕士学位论文 模式0 h v 模式2 模式1 模式3 图2 41 6 x 1 6 帧内预测模式 2 2 38 8 色度块帧内预测模式 对于整个8 x 8 色度宏块，共有4 种预测方式，这4 种方式和亮度1 6 1 6 宏 块的帧内预测方式相同( 见图2 - 4 ) ，不再赘述。 2 3h 。2 6 4 帧内预测中率失真优化算法 帧内预测是h 2 6 4 的一个重要组成部分，由于它充分利用了图像的空间相关 性，提高了压缩效率。为了获得更好的编码效率，h 2 6 4 采用了r d o ( 率失真优 化) 技术。 r d o 的主要思想是：在计算代价函数时，同时考虑码率和失真度两方面因素 的制约，在保证低失真度的同时保证低码率。对于帧内预测，r d o 主要应用于块 模式选择。 帧内预测非r d o 模式下，计算的模式代价( c o s t ) 为： c o s t = s a d + 4 + a ；( 2 - 1 ) 】0 第二章h 2 6 4 中帧内预测算法研究 其中s a d 为当前块与预测块的差值，如果采用r d o ，块的直流系数采用了 h a d a m a r d 变换后s a d 转化成s a t e ) 。r d o 模式下的模式代价计算为： r d c o s t = s s d + 。+ r a t e ( 2 - 2 ) 其中，s s d 为当前块与重建块的差值的平方和，r a t e 为采用当前预测模式下编 码后得到的码率。 也即是说，为了得到一个块的预测模式，需要对所有9 种预测模式下的该块 进行编码，得到编码后的码率和失真，计算率失真代价，然后根据率失真代价来 选择最优的编码模式，该模式就是当前块的最佳预测模式。得到当前宏块中每一 个块的最佳预测模式后，以宏块为单位，分别采用4 种1 6 x1 6 块的帧内预测模式 进行编码，计算得到码率和失真，得到当前宏块的模式代价。最后将该代价值与 1 6 个块分别以最佳模式计算得到的代价值的总和进行比较，宏块的代价值最小时 对应的预测模式即是当前宏块最优的预测模式。 宏块的帧内预测模式确定过程如下【7 l ： ( 1 ) 分别计算9 种i n t r a4 4 模式的代价( r dc o s t ) ，选择具有最小代价的模式。 代价函数r dc o s t = s s d + 五+ r a t e ，其中s s d ( s u mo f s q u a r e dd i f f e r e n c e ) 表 示当前块与重建块的差值的平方和；2 = 0 8 5 2 ”( q p 为量化参数) ；r a t e 表示采用该模式进行预测编码后的码率。 ( 2 ) 将1 6 个4 x 4 块最小的r dc o s t 相加得到当前宏块i n t m4 x 4 方式下的 r d _ c o s t 。 ( 3 ) 分别计算4 种i n t r a1 6 x1 6 模式的s a d ，选择具有最小s a d 的模式。计算该 模式下的代价值，得到当前宏块i n t r a1 6 x1 6 方式下的r dc o s t 。 ( 4 )比较前两步得到的r dc o s t ，选择具有最小r dc o s t 值的模式作为该宏块的 帧内预测模式。 这样在帧内模式下，为了确定一个宏块的帧内预测模式，要执行5 9 2 次r d _ c o s t 计算，r dc o s t 计算量很大，导致帧内预测的复杂度很大。 2 4 本章小结 本章主要讨论了h 2 6 4 编码器特点和h 2 6 4 编码器中帧内预测的几种模式， 并分析了h 2 6 4 编码器在r d o 模式下帧内预测的过程和复杂度，为第三章帧内预 测模式选择算法的改进提供了理论分析依据。 电子科技大学硕士学位论文 第三章h 2 6 4 编码器帧内预测模式选择算法的优化 3 1 视频质量 对压缩后的视频质量进行估计是件困难的工作。大体上可以分为主观视频质 量评定和客观视频质量评定两种方法。 3 1 1 主观视频质量评定 黑白图像的每个像素只需要一个幅值表示其亮度即可，而彩色图像的每个像 素至少需要三个值来表示亮度和色度。所谓彩色空间即表示彩色图像的亮度与色 度的方法。 由于个人的视觉系统不尽相同，对视频内容的熟悉程度也不一样。为了减少 主观随意性，在对视频进行主观评定前，选若干名专家和“非专家”作为评分委员， 共同利用5 项或7 项评分法对同一种视频图像进行压缩编码的图像评定。最后用 加权平均法则对该压缩后的图像质量进行主观评定【1 】【8 】，见表3 1 。 表3 - 1 主观评价分数标准 c c i r 五级评分等级评分等级高清晰用七级评分等级 评价 7不能察觉任何图像损伤特别好 6刚能察觉有图像损伤相当好 优 5不同程度的察觉，轻度损伤很好 好4有损伤，但不令人讨厌好 稍差 3有令人讨厌的损伤稍差 很差 2损伤令人讨厌，但尚可忍受很差 劣 1非常令人讨厌的损伤，无法观看 劣 测试方法可用随机的次序请评委比较原始图像和压缩编码后的图像。国际上 称为d s c q s 的测试系统。 1 2 第三章h 2 6 4 编码器帧内预测模式选择算法的优化 3 1 2 客观视频质量评定 主观的视频质量评分更接近于人的真实视觉感受，但耗时耗力，成本较高。 客观质量的测定方法速度快、易实行，但往往不会太符合人眼的视觉感受，只能 大体反映质量情况 2 1 。 最常用的测试标准是峰值信号与噪声之比( p s n r ) ： p s n r a b = 1 0 l o g l o ( 2 4 - 0 2 m s e ( 3 - 1 ) 其中，m s e 为原始和编解码后图像之间的均方误差，为图像中最大可能的信 号值平方，n 为表示每个像素的比特数。一般来讲，p s n r 越高视频质量越好，反 之亦然。 3 2 视频测试软件 3 2 1h 2 6 4 参考软件 采用j m 8 6 开源代码，它实现了h 2 6 4 基本算法，与h 2 6 4 标准中提出的算法 基本匹配，包括h 2 6 4 的b a s e l i n e 、m a i n 、e x t e n d 级别的实现。它的主要功能如下： 支持y u v 4 ：2 ：0 格式的视频数据 实现i b p 帧编码 支持1 4 像素的运动估计 支持率失真优化 支持c a v l c 和c a b a c 两种熵编码方式 编码完后计算出y 分量、c b 分量和c r 分量的p s n r 值 采用该软件主要是为了在改进算法后和原h 2 6 4 算法性能比较。 3 2 2h 2 6 4 播放软件 h 2 6 4 参考软件虽然能够实现各种算法，但它无法给出一些必要的数据，也无 法给人直观的效果。该软件用于测试h 2 6 4 压缩视频主观质量。运行界面如图3 1 。 电子科技大学硕士学位论文 图3 - 1 播放软件界面 3 3h 2 6 4 帧内预测模式选择算法的改进 由于h 2 6 4 编码器采用r d o 模式的帧内预测算法，其复杂度很大，具体分析 见第二章。因此，对h 2 6 4 帧内预测的模式选择进行优化是有必要的。一般来说， 优化的方法有两类：一类是简化代价函数( r dc o s t ) ；另一类是缩小预测模式选 择的范围。对于第二类方法，可以利用当前块及周围像素的某些特征，预先排除 某些可能性很小的预测模式，或是提前终止某些可能性小的模式的代价计算，从 而降低帧内预测的复杂度。本文的改进算法采用第二类改进算法。所有这些改进 算法的核心目标就是在r d o 计算复杂度和图像编码质量与效率之间取得一个最优 值。 3 3 1