（信息与通信工程专业论文）avs视频解码研究与关键模块优化.pdf

，i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：蓬趁 日期：塑车五图在日 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名： 垄圭亟导师签名： 目前国际上的视频标准主要有i t u t 制定的h 2 6 l 、h 2 6 3 、h 2 6 4 系列， i s o i e c 制定的m p e g 1 、m p e g 2 、m p e g - 4 系列。其中，h 2 6 4 以其各方面较 为优越的性能成为下一阶段视频编解码的首选国际标准，但新标准复杂度高、专 利费昂贵。2 0 0 6 年，我国推出了具有自主知识产权的a v s 视频编解码标准。该 标准与h 2 6 4 相比，有着大致相当的压缩比和良好的图像质量，复杂度低、成本 低、专利费收取合理，有着广阔的应用前景。目前，a v s 视频解码器的软硬件都 不够成熟，离产业化还有一定的距离。基于以上背景，本文提出了a v s 视频解 码研究与关键模块优化。 首先，对a v s 视频编解码标准进行了研究，掌握了a v s 视频编解码原理、 档次与级别，以及a v s 视频解码的关键技术“熵解码、反量化反变换、帧内预 测、帧间预测、环路滤波”等。其次，以官方源码r m 5 2 j 为参考，通过修改配 置文件和部分代码，实现了a v s 的视频解码功能；借助i n t e lv t 眦e 分析工具， 对视频解码器的瓶颈和耗时情况进行了分析；在v c + + 6 0 下，对i 己m 5 2 j 进行了 优化，并对熵解码模块、插值模块、反量化反变换模块提出了改进算法。最后， 在详细了解b l a i l c k f m 处理器和v d s p + + 5 o 开发环境之后，完成了a 、，s 视频解 码器在a d s p b f 5 3 3 平台上的移植和优化，优化主要从系统级、程序级两个方面 进行。 a v s 解码器优化前后的测试结果表明，在保证图像质量的情况下，视频解码 速度在一定程度上有了很大的提高，d 1 格式的视频图像基本上能够达到实时解 码的要求。 关键词：a 、，s ；视频解码；b f 5 3 3 ；移植；优化 北京： 业大学工学硕士学位论文 a b s t r a c t a b s t r a c t a tp r e s e n t ，h 2 6 l ，h 2 6 3 ，h 2 6 4s e r i e se s t a b l i s h e db yi t u - i 锄dm p e g 。l ， m p e g 一2 ，m p e g 4s 面e se s t a b l i s h e db yi s o i e ca r em ei n t e m a t i o l l a lv i d e os t a i l d 绷d s a m o n gm e s e v i d e o s 伽d 砌s ， h 2 6 4i sm e p r e f e 仃e d v i d e oc o d e ci nm e i m e m a t i 删i t ) ，d e p e n d i i 培o ni t ss u p e r i o rp e r f 0 姗a i l c e h o 、e v e r ，也en e ws t a i l c h 旧s r o y a h yi sv e 巧e x p e i l s i v e i n2 0 0 6 ，a v sv i d e oc o d e cs t a n d a r di se s t a b l i s h e da n do u r c o u l l 缸yp o s s e s s e s l ei n d e p e n d e n ti n t e l l e c 砌p r o p e r t ) rr i g l l t s c o i i 】i p a r i n g 、析廿1h 2 6 4 ， a 、厂sh a st 1 1 e 鞠m ec o m p r e s s i o n 删oa n di m a g eq u a l i 锣a 1 1 dt h er o y a l 锣i sr e 嗣s o m b l e a l s o ，t 1 1 ec o d i n gc 伽叩l e x 时i s7 0 o fh 2 6 4 ，d e c o d i n gc o m p l e x 埘i so i d y3 0 o f h 2 6 4 c u 玎e n t l y ，妇1 eb a r d 、硼r ea i l ds o f h a r eo fa v sv i d e os t a i l ( 1 a r d sa r ei n d e v e l o p i n gs 魄e w es h o u l dd oal o to fw o r k sb e f o r ej n d l l 硎a l i z a t i o n a t “s b a c k 印u n d ，仕i er e s e a r c ho fa v sv i d e od e c o d i n ga n d 吐屺o p t i m i z a t i o no f 吐1 ek e y m o d u l ea r ep r e s e n t e di n 恤s p a p e r f i r s t ，a v sv i d e oc o d e cs t a l l d a r di ss 眦i e d t h ed e c o d i n ga l e o 巧，p r o f i l ea i l d l e v e l ，让i ek e yt e c l l i l o l o 百e so fa v s “e n 仃o p yd e c o d i n g ，i n v e r s e 慨l s f o ma n d d e q u a n t i z a t i o n ，i 1 1 _ 觚p r e d i c t i o n ，i m e rp r e d i c t i o n ，l o o pf i l t e r i sm a s t e r e d s e c o n d ， r e f e 玎i n gt 1 1 eo 伍c i a ls o u r c ec o d ei 己m 5 2 j ，a v sd e c o d i n gi sa c l l i e v e db ym o d i 匆i n gt 1 1 e c o n f i 刖嘶o nf i l e 肌ds o m ec o d e ；w i t l li n t e lv t u n ep e 渤m a i l c e 锄a l y z e r ，缸v i d e o d e c o d e r sb o t t l e n e c k sa i l dt i m e c o n s u m i n gs i t u a t i o na r ea n a l y z e d i nt 1 1 ev c + + 6 0 ， 1 kr m 5 2 ji s 皿m a r i l yo p t i m i z e d s o m e 呻r o v e da l g o r i t h m sa b o u te n 缸d p y d e c o d i n g ，i i l t e 印o l a t i o nm o d u l e ，i n v e r s et r a l l s f o mm o d u l ea r ep u tf o 刑a r d f i n a l l y ，i n t h ev d s p + + 5 0 ，l e 位i n s p l a n t a t i o na n do p t 砌z a t i o no fa v sv i d e od e c o d e ri s c o m p l e t e do n 血ea d s p b f 5 3 3p l a t f o m 1 1 1 eo p t i l i l i z a t i o n sa r ec a r r i e do u t 舶m s y s t e m i e v e lt op r o 伊锄一l e v e l t h et e s tr e s u h so fo p t i m i z a t i o ns h o wt l l a tt h es p e e do fv i d e od e c o d i n gh a s 伊e a t l y i m p r o v e di nt h ec a s eo fg o o di m a g eq u a l i 够t bs o m ee x t e n t ，t h ev i d e of o n i l a to fd l c a na l m o s tm e e tt l l er e q u i r e m e n to fr e a l t i m ed e c o d i i 培 k e y w o r d s ：a v s ；v i d e od e c o d e r ；b f 5 3 3 ；仃a 1 1 s p l a l l t a t i o n ；o p t i m i z a t i o n i 北京t 业大学t 学硕士学位论文 i v 目录 目录 摘要i a b s t r a c t 。i i i 第1 章绪论。1 1 1 课题研究背景和意义1 1 2 课题现状及发展2 1 2 1 国外视频编码标准3 1 2 2 我国视频编码标准4 1 3 本文研究的内容5 1 3 1 论文所做的工作5 1 3 2 论文结构6 第2 章a v s 视频标准研究及d s p 开发平台介绍7 2 1a v s 视频标准综述7 2 1 1a v s 视频编解码器的基本框架7 2 1 2a v s 视频标准的档次与级别9 2 1 3a v s 的比特流结构及其层次关系10 2 2a v s 视频解码关键技术1 2 2 2 1 熵解码1 2 2 2 2 反量化和反变换1 4 2 2 3 预测技术15 2 2 4 环路滤波19 2 3d s p 处理器及开发工具介绍1 9 2 3 1b f 5 3 3 评估板介绍1 9 2 3 2b l a c k f i n 处理器的特点2 1 2 3 3 s u a ld s p + + 5 0 开发工具介绍2 4 2 3 4d m 。t o o l s u s b i c e 3 0 仿真器2 6 2 3 5 开发平台搭建2 7 2 4 本章小结2 8 第3 章a v s 视频解码实现与源码分析2 9 3 1 越，s 解码器在v c + + 6 o 下的实现2 9 3 1 1 测试视频序列的选取2 9 3 1 21 w 5 2 j 编解码功能在v c 环境的实现3 0 3 2a v s 解码源码分析与研究3 5 3 2 1a v s 视频解码器总流程3 6 3 2 2 解码一帧的流程图3 7 3 2 3 帧解码方式流程图3 7 3 3a v s 视频解码耗时分析3 8 3 3 1v t 岫e 工具介绍3 9 3 3 2 解码器耗时分析4 0 3 4 本章小结4 3 第4 章解码器关键模块优化4 5 4 1 代码初步优化4 5 4 1 1 删除冗余代码4 5 v 北京t 业大学工学硕士学位论文 4 1 2 代码结构优化4 6 4 2 熵解码模块算法改进4 7 4 2 1c e ( v ) 解析过程。4 8 4 2 2c e ( v ) 解析性能分析4 9 4 2 3 查表法改进码表切换5 0 4 3 反变换模块算法实现5 3 4 3 1 奇偶分解算法5 3 4 3 2 快速蝶形算法5 5 4 3 3 算法性能分析。5 6 4 4 分像素插值算法改进5 6 4 4 1 分像素插值原理5 7 4 4 2 条件分支优化5 9 4 5 优化后性能测试。6 0 4 6 本章小结6 1 第5 章a v s 解码器在d s p 上的移植和优化。6 3 5 1 移植和优化原因6 3 5 2 视频解码移植6 3 5 2 1 修改解码配置文件导入方式6 3 5 2 2 头文件的修改6 4 5 2 3 数据类型定义6 5 5 2 4 修改l d f 文件6 6 5 2 5 解码器移植结果6 8 5 3 基于d s p 的系统级优化6 8 5 3 1 使用高速缓存和d m a 6 8 5 3 2 存储优化：7 0 5 4 基于d s p 的程序级优化7 2 5 4 1 编译器优化7 2 5 4 2c 语言程序优化7 2 5 4 3 函数内联7 4 5 4 4 软件流水7 5 5 4 5 汇编优化7 6 5 5 优化结果对比。7 8 5 5 1 测试环境7 8 5 5 2 测试结果7 8 5 6 本章小结8 0 结论与展望8l 参考文献8 3 攻读硕士学位期间完成的学术论文。8 7 致谢8 9 第1 章绪论 第1 章绪论 1 1 课题研究背景和意义 随着数字通信、网络、音视频技术的发展，多媒体己成为人们生活中不可缺 少的部分。实时多媒体通信如口电话、口电视、网络可视电话、网络电视会议 等已成为发展方向l 峪j ，视频通过网络、光纤等传输媒介到达用户终端并显示在 屏幕上，人们可以看到黑白的、彩色的、静止的、活动的且内容丰富的视频信息。 在数字、多媒体技术飞速发展的今天，人们对视频传输速率和图像质量也有更高 的要求，这就需要提高网络带宽、提高视频信号的压缩率。由于提高网络带宽成 本高、代价大，研究如何去除冗余数据、高效地压缩视频图像，有着非常重要的 实用价值。 目前，国际上主要的视频标准有i s o i e c 制定的m p e g 1 、m p e g 2 、m p e g 4 系列和i t u t 制定的h 2 6 1 、h 2 6 3 、h 2 6 4 系列。我国多数企业用的也是这些 标准，但由于没有掌握核心技术和标准，国内相关企业长期受制于国外持有标准、 专利和技术的企业，每年都要缴纳高额的专利费，严重阻碍了我国信息产业的发 展。在这种情况下，我国在积极参与视频编解码标准制订的基础上，推出了具有 自主知识产权的第二代信源编码标准a v s ( a u d i o d e oc o d i n gs t a i l d a r d ) ，通过 在视频编解码方面的大胆尝试，已经取得了可喜的成果。与国际标准相比，a v s 标准技术的压缩性能比m p e g 2 高2 3 倍，与h 2 6 4 相当，且算法比h 2 6 4 简单 【3 j 。a v s 凭借其性能优越、算法简单、专利费低廉的优势，将会在数字广播及网 络多媒体通信，如：数字电视机顶盒、激光视盘播放机、数字录像机、数码摄像 机以及流媒体应用、视频会议、视频监控等【4 j 各个方面有着良好的应用前景。 而且，国家广电总局广播电视规划院受a 、，s 工作组委托，对a v s 参考软件编解 码后的标清和高清视频进行了主观测评。测试结果表明，a v s 码率为m p e g 2 标准的二分之一时，无论是标清度还是高清度，编解码质量都达到优秀【5 】，评价 结果如表1 1 所示。 目前，a v s 的产业化步伐正处在启动期，中国网通的口t v 、移动电视c m m b 已经决定使用a v s ，中国电信也表示将全力支持a 、，s 技术，a 、，s 标准的应用推 广工作正在顺利进行。为了更好地推广a v s 视频标准，提高解码速度，保证视 频图像质量，需要结合d s p 技术做进一步研究。并且，在视频压缩( 从m p e g 1 到m p e g 4 h 2 6 4 ) 和d s p 技术结合方面，许多公司和高校都有了较成功的研究 和应用。基于以上背景，本文进行了基于d s p 的a 、，s 视频解码器的相关研究。 北京t 业大学t 学硕+ 学位论文 表1 1国家，“电总局广播电视规划院对a v s 视频压缩质量的主观测试结果6 】 1 a b l el l s j e c t i v et e s t i n gr e s u l t so f a v s sc o m p r e s s e dv i d e oq u a l 时b ya c a d e m yo f b r o a d c a s t i n gp l 釉i n gs a r f t 视频类型标准清晰度高清晰度 m p e g 一2 标准典型码率( m b p s ) 4 62 0 a v s 本次测试码率 31 51 06 测试结果优秀良好优秀良好到优秀 本课题在全面了解a v s p 2 标准的基础上，重点研究了视频解码部分，对解 码器源码r m 5 2 j 进行了裁剪、优化和移植，在保证视频图像质量的情况下，大 大提高了解码速度。 1 2 课题现状及发展 视频编码标准的发展历程如图1 1 所示。视频编解码技术的标准化，为不同 生产厂商的设备互通打下了一个共同工作的基础，有力促进了视频通信的产业化 发展，使得数字视频通信在较短时间内得到了较大的普及。 i s 测纛一 h 2 6 3升2 6 3 + h 艄+ + j 。i n t l t u - t ， m p e g 之隧爹纩 m p e g 4a 1 v c 黝| | | | 纱 i 激 1 9 “1 9 1 9 鹪伯1 9 镗伯舛1 61 9 拍拍旺约舛 图1 1 视频编码标准演进 f i g 1 - 1 t h ee v o l u t i o no f v i d e oc o d i n gs t a i l ( 1 a r d 第l 章绪论 1 2 1 国外视频编码标准 ( 1 ) h 2 6 l h 2 6 1 是第一个成功用于实际的数字视频标准，发布于1 9 9 0 年，全称为 v i d e oc o d e cf o ra u d i ov i s u ms e r v i c e sa tpx6 4 k b 彬s ，【刀。它的出现使得在窄带 i s d n 信道上召开视频会议成为可能。h 2 6 1 采用基于块的运动补偿与d c t 变换 相结合的混合视频编码框架。该标准定义了视频编码的分级数据结构，首次采用 基于8 8 块的d c t 变换、基于一个参考帧的帧间运动补偿预测、基于整像素运 动矢量精度。h 2 6 1 是视频压缩编码技术发展的第一个里程碑，对之后制定的视 频编解码标准产生了深远的影响。 ( 2 ) m e g - 1 m p e g 1 【8 】是m p e g 组织针对消费类多媒体应用而制定的第一个音视频有损 压缩标准。该标准解决了多媒体信息的数字存储问题，促进了v c d 的产业化发 展。m p e g 1 也采用混合编码框架和分层数据结构从大到小依次是视频序列 层( d e os e q u e n c e ) 、图像组层( g 衲u po f p i c t u r e ) 、图像层( p i c t u i - e ) 、片层( s l i c e ) 、 宏块层( m a c r o b l o c k ) 和块层( b 1 0 c k ) ，其中图像组层使视频的随机访问成为现 实。该标准运动补偿模块采用多参考帧、半像素运动矢量精度，使运动估计更加 精确，提出了完整的b 帧理论。 ( 3 ) m p e g 2 m p e g 2 【9 】是1 9 9 4 年主要针对数字电视和高清晰度电视( h d t v ) 需要的视 频及伴音信号而制定的标准，是对m p e g 一1 的进一步推广和改进，并兼容 m p e g 1 。该标准提供了一个较宽的可变压缩比，可以适应不同的画面质量、存 储容量以及带宽要求。目前，m p e g 2 已经在计算机、多媒体通信、h d t v 以及 交互电视技术、广播级视频等领域得到了广泛的应用。考虑到隔行扫描的特点， m p e g 一2 还设置了“按帧编码”和“按场编码”两种模式。 ( 4 )h 2 6 3 h 2 6 3 【1 0 】是1 9 9 5 年1 1 u t 针对低比特率视频应用而制定的标准。该标准被 广泛应用于电视会议、可视电话、远程视频监控等多种领域。h 2 6 3 支持更多的 图像格式，采用混合编码框架、半像素运动矢量精度、非限制的运动矢量、算术 编码代替可变长编码、高级预测模式( 重叠块运动补偿，一个1 6 1 6 宏块含有四 个8 8 像素块运动矢量) 、p b 帧模式( 将双向预测图像与一般前向预测图像一起 编码) 等，正是因为这些可选项使得h 2 6 3 在提高编码效率的同时大大增加了复 杂度【l l 】。 ( 5 ) m p e g 4 国际运动图像专家组在成功制定m p e g 1 、m p e g 一2 之后，于1 9 9 9 年推出 北京j r 业大学t 学硕士学位论文 了m p e g 4 。m p e g 一4 除了可以支持传统视频，还满足了新一代高度交互性多媒 体的应用。该技术引入了视听对象( a u d i o s u a lo b j e c t sa v o ) 的概念【1 2 】，使得 更多的交互操作成为可能，目前被广泛应用于数字电视、多媒体流服务、视频点 播、虚拟会议等交互式多媒体领域。m p e g 4 采用基于子块的混合编码框架、基 于对象的视频压缩编码方法( 第一代视频标准是基于图像像素的编码方法) 、1 4 像素运动矢量精度，可实现对视频图像高效压缩和基于内容的交互功能，成为目 前主流的视频标准之一。 ( 6 ) h 2 6 4 h 2 6 4 是联合视频组( t ) 共同制定的数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 ，即高级视频编码( a d v a n c e d d e oc o d i n g ， a v c ) 。h 2 6 4 仍沿用了传统的混合编码框架，采用了多种模式的帧内预测，可 变尺寸块、多参考帧的运动补偿，4 4 整数d c t 变换，基于上下文的自适应熵 编码，新的环路滤波等新技术。该标准有着极高的优越性，但是算法复杂度高， 编码复杂度大约相当于h 2 6 3 的3 倍，解码复杂度相当于h 2 6 3 的2 倍。 1 2 2 我国视频编码标准 a 、，s 是由我国数字音视频编解码技术标准工作组制定的拥有自主知识产权 的第二代信源编码标准，目的是为了满足数字电视广播、数字存储媒体、网络流 媒体、多媒体通信等领域中对运动图像压缩技术的需要。该标准主要应用于数字 地面电视广播、有线电视、交互存储媒体、直播卫星视频业务、宽带视频业务、 多媒体邮件、分组网络的多媒体业务、实时通信业务( 视频会议、可视电话) 、 远程视频监控等领域。 a v s 标准的系统功能基本齐全、工作稳定，为提高我国数字音视频产业的国 际竞争力和规模化生产提供了技术支撑。与h 2 6 4 相比，a v s 技术方案简洁，实 现复杂度低，两者使用的技术对比和复杂性分析如表1 2 所示。在专利许可问题 上，a v s 只对设备提供商“一次性”收取每台1 元钱的低廉专利费。因此，a v s 具有非常广泛的应用价值和极高的学术研究价值。 第1 章绪论 表1 2a 、，s 与h 2 6 4 使用的技术对比和复杂性分析 t a l b el - 2t i l ec o m p l e x 时卸a l y s i sa n d t e c l l n o l o g i e sc o m p a r i s i o nb e t 、v e e na v s a i l dh 2 6 4 视频编码标 a v s 视频标准h 2 翻，a 、忙视频标准复杂性分析 准各模块 基于8 x 8 块，5 种亮度预测基于4 x 4 块，9 种亮度预测 帧内预测降低约5 0 模式4 种色度预测模式模式，4 种色度预测模式 参考帧预测最多2 帧最多1 6 帧存储节省5 0 以上 变块大小运 1 6 1 6 、1 6 8 、1 6 1 6 、1 6 x 8 、8 1 6 ， 降低3 0 加 动补偿8 x 1 6 、8 8g x 8 、8 4 、4 8 、4 4 b 帧宏块双只编码一个前向运动欠量， 编码前后两个运动矢麓最大降低 向预测模式后向运动矢量白前向导出 l 似像素运 l 趁像素位置采用4 拍滤波， l 忍像素位爱采用6 拍滤波，降低l ，3 存储器的 l 饵像素位置采用4 拍滤波、 动补偿l ，4 像素位置采用线性插值访问量 线性插值 上下文自适应2 d ，编。唧：与周围块相关性 熵编码 码块系数过程中进行多码高，实现较复杂 钼比c a b a c 降低 3 0 以上 表切换 a 蟠a c ：计算较复杂 基于8 8 块边缘进行，简单 基予4 4 块边缘进行，滤波 降低5 0 环路滤波 的滤波强度分类，计算复杂 强度分类繁多，计算复杂 度低 8 8 整数变换编码端进行4 x 4 整数变换，编解码端都 交换与鲑化 解码器复杂度降低 归一纯需要归一化 数据分割、复杂豹 简单豹条带划分机割足以 珊矗o r a s o 等宏块、条带组 容锩编码满足广播应用中的错误隐织机制，强桐k 舡a 块刷新复杂度大火降低 藏、恢复需求 编码、约柬性帧内预溅等， 实现特别复杂 1 3 本文研究的内容 1 3 1 论文所做的工作 1 深入学习和研究a v s 视频编码标准，掌握a v s 视频编解码原理、档次和 级别、视频解码的关键技术，包括熵解码、反量化和反变换、帧内预测、帧间预 测、环路滤波等，为后续a v s 解码研究做准备。 2 以官方源码r m 5 2 j 为参考，首先，在v c + + 6 0 下，通过修改配置文件和 部分程序实现对木a v s 视频的解码，用y u v v i e w e r p l u s e r 工具验证播放解码后的 木y u v 视频图像。其次，通过单步跟踪分析a v s 解码器的解码流程，对程序有一 北京工业人学工学硕十学位论文 个整体深入的把握。最后，用i n t e lv t u n e 工具分析代码的耗时情况和瓶颈，通 过删除冗余代码，调整代码结构，对熵解码模块、反量化模块、插值模块提出改 进算法，对耗时模块进行一系列优化。 3 在深入学习和掌握a d s p b f 5 3 3 处理器和v d s p + + 5 0 开发工具的情况下， 把v c 环境下的a v s 解码器移植到a d s p b f 5 3 3 平台上，由于平台彼此不兼容，移 植的时候需要对相关头文件、数据类型、配置文件导入方式、内存分配的l d f 文 件等进行修改。最后，a v s 视频解码器在连接目标为“a d s p b f 5 3 3e z k i tl i t e v i ah p u s b 的情况下，顺利通过编译运行。对移植后的解码文件与v c + + 工程下 的解码文件，i c y u v 进行对比，来判定移植是否成功。 4 移植后，由于a d s p b f 5 3 3 存储空间有限，视频解码的速度不高，需要对 移植后的代码进行系统级和程序级优化。系统级优化主要从启用高速缓存、d m a 、 内存分配来优化。程序级优化主要从编译器优化、c 程序优化、函数内联、软件 流水、汇编语言等几个方面进行优化，并对优化后视频解码器进行测试。 1 3 2 论文结构 第1 章，绪论。阐明了课题的研究背景和意义、课题研究现状、论文的主要 工作和章节安排。 第2 章，a v s 视频标准研究及d s p 开发平台介绍。首先，从a v s 视频编解码 标准综述、视频解码关键技术两个方面阐述了a v s 视频编解码标准原理、档次和 级别、比特流层次关系、熵解码、反量化和反变换、预测技术、环路滤波等技术。 接着，介绍了b f 5 3 3 处理器的特点和v d s p + + 5 o 开发工具，为a v s 在d s p 平台上 的移植和优化奠定了基础。 第3 章，a v s 视频解码源码分析与优化。在v c + + 下，通过修改配置文件和代 码，完成解码功能。然后，使用i n t e lv t u n e 分析工具，找到a v s 解码器的热点 和瓶颈。 第4 章，针对热点和瓶颈对熵解码模块、反变换模块、插值模块进行了算法 优化。在一定程度上提高了a v s 视频解码的速度。 第5 章，a v s 解码在d s p 上的移植和优化。介绍了a v s 视频解码器的移植过 程和基于d s p 的解码器的优化，并对优化后的解码器进行了相应的测试。 结论与展望，总结了全文的研究成果，并对a v s 视频编解码的研究进行了展 望，提出了进一步的研究工作。 第2 章a v s 视频标准研究及d s p 开发平台介绍 第2 章a v s 视频标准研究及d s p 开发平台介绍 2 1a v s 视频标准综述 a v s 视频标准是在国际公开技术和我国自主创新基础上构建的视频标准，是 为了满足高清晰和高质量的数字电视广播、数字存储媒体、网络流媒体、多媒体 通信等方面的需要而制定的。a v s 视频标准同时具备先进、自主、开放三方面的 特点。 a v s 视频标准有以下三个优势【1 3 j ： ( 1 ) 性能高。a v s 视频标准技术方案简洁，且编码效率比第一代标准高2 3 倍，达到了第二代标准的最高水平，可节省一半以上的无线频谱和有线信道资源。 ( 2 ) 复杂度低。在性能与h 2 6 4 基本相当的情况下，其编码端复杂度只相 当于h 2 6 4 的3 0 ，解码的端复杂度相当于h 2 6 4 的7 0 。 ( 3 ) 易于推广。a 、，s 视频标准是开放式的国际标准，其专利只需要通过简 洁的一站式许可即可。 2 1 1a 、，s 视频编解码器的基本框架 编码器介绍 a v s 视频标准与h 2 6 4 标准相似，都基于混合编码框架，采用帧内预测、帧 间预测、变换、量化和熵编码等一系列技术达到高效的视频编码。首先，进行帧 内预测和帧间预测，帧内预测使用空间预测模式来消除图像内的冗余信息，帧问 预测采用基于块的运动矢量来消除图像间的空间冗余信息；然后，对预测残差进 行变换和量化，消除图像内的视觉冗余；最后，将运动矢量、预测模式、量化参 数和变换系数一起编码进行压缩。 a v s 视频编码框架与h 2 6 4 的视频编码框架相似，具有两个数据流路径：一 个前向( f o n v a r d ) 路径，一个重建路径【川。其详细的编码器框架如图2 1 所示。 ( 1 ) 前向路径 输入的视频序列以宏块( m a c r o b l o c k ) 为单位进行编码，其中，当前编码帧 丌 ，一，按照帧间预测( 锄 e r ) 或帧内预测( i 劬m ) 模式进行编码，得到预测宏块尸。 r 、_ n 当前宏块与预测值p 作差，得到残差数据宏块一，一经过整数变换、量化产 生一系列量化系数x ，把这些量化系数x 重新排序后进行熵编码( v l c ) 得到 北京丁业大学t 学硕十学位论文 编码系数，这些编码系数同解码器所需要的其它信息( 如宏块的分块和预测模式、 量化步长、运动矢量的值等) 一起，组成压缩的二进制编码序列传送出去。 图2 1a v s 视频编码框架 f i g 2 1 f “l l n e w o r ko f a v sc o d i n g 在编码过程中，无论是采用帧内编码模式，还是采用帧间编码模式，预测宏 块p 都是以编码重建后的帧或场作参考。 丌。 帧间模式：预测值是由参考帧，川经过运动估计和运动补偿之后形成的。 参考帧是已编码完的图像帧，既可能是当前帧之前的图像帧，也可能是当前帧之 后的图像帧( 按显示顺序确定) ，但必须是编码、解码、重建、滤波后的图像帧。 帧内模式：预测值是由已经编码的当前条带中的像素值，经解码、重建后， 1 1 滤波前的样本钟n 得到的。 ( 2 ) 重建路径 在编码和传输的同时，编码器也进行解码( 重建) ，为编码提供参考帧。量 化系数x 经过反量化、反变换，产生重建的残差宏块d 。预测宏块尸与d 。求 ”- 和，得到当前宏块的重建值汕一。由于划分宏块的块匹配预测使得最终的图像 1 1 存在块效应，重建值础n 必须进行滤波处理，消除块失真效应，才能得到最终 的解码图像，并作为下一帧帧间预测模式的参考帧数据。 解码器介绍 a v s 解码原理框架如图2 2 所示。 熵编码器输出的是用压缩形式表示的原始图像( 二进制编码序列) 。为了重 建图像，必须解码这个序列。 解码过程为：首先对经过压缩编码的码流进行熵解码，得到一系列的系数， 第2 章a v s 视频标准研究及d s p 开发平台介绍 对这些系数进行反扫描得到量化系数，量化系数再经过反量化反变换得到残差系 数，残差系数与经过帧内或帧间预测的预测值相加，再经过环路滤波去除块效应， 得到解码后的数据。 图2 2a v s 视频解码框架 f i g 2 2f “u n e w o r ko f a v sd e c o d i r 培 2 1 2a v s 视频标准的档次与级别 在h 2 6 4 视频标准中，为了适应不同场合应用的需要，定义了三个档次：基 本档次、主档次和扩展档次。同样，在a v s 视频标准中也有档次和级别，相应 的档次和级别对比特流进行了相应的限制，这些限制决定了一定的比特流所需要 的编解码能力。 档次是规定语法、语义及其算法的子集，符合相应档次规定的编解码器必须 完全支持该档次所定义的子集。级别是在某一个档次下对语法元素及其参数值的 限定集合，在相应的档次下，级别不同意味着对解码器的能力和存储容量的要求 不同。在具体应用中，可以根据相应的网络传输能力和对图像质量的要求，采取 相应的档次和级别。 目前，a v s 只规定了一个档次基准档次，通过p r o f i l ei d 进行设置，如 表2 1 所示，基准档次又定义了四个级别，如表2 2 所示。 表2 1 1 a b l e2 1 档次 p r o f i l e p m f i l ei d 档次 0 x 0 0 禁止 o ) 【2 0 基准档次 其他保留 北京t 业大学1 二学硕士学位论文 表2 - 2 级别 t a b l e2 2l e v e l l e v e li d级别 0 x 2 04 0 0 x 2 24 2 0 x 4 06 o 0 x 4 26 2 2 1 3a v s 的比特流结构及其层次关系 ( 1 ) 比特流结构 a v s 视频编码标准规定，码流的语法层次从高到底依次为：视频序列、图像、 条带、宏块、块共五个层次。 视频序列 视频序列从视频序列头开始，序列头后的第一个编码数据是i 帧。序列头从 序列起始码开始，后面跟着一串编码图像数据。比特流中可以包含多个序列头及 重复序列头，目的是为了实现对视频序列的随机访问。 序列起始码是一组特定的比特串，共3 2 位，由起始码前缀和起始码值构成。 起始码前缀的比特串是0 0 0 0o o o o0 0 0 00 0 0 0 0 0 0 00 0 0 1 ，所有的起始码都应该字 节对齐。起始码值是一个8 比特的整数，用来标志起始码的类型，如表2 3 所示。 图像 一幅图像就是一帧，编码数据从图像起始码开始，到序列起始码、序列结束 码或下一个图像起始码。一帧由三个样本矩阵构成，包括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c f 、c b ) 。一幅图像的解码过程可分为解析过程和解码过 程。 图像类型可以分为三种格式：4 ：2 ：o 、4 ：2 ：2 、4 ：4 ：4 ，在本文中采用 的编码格式是4 ：2 ：0 。a v s 视频标准定义了三种解码图像，帧内解码图像( i 帧) 、前向帧间解码图像( p 帧) 、双向帧问解码图像( b 帧) 。在解码的过程中， 如果视频序列中没有b 帧，则解码顺序与显示顺序相同。如果包含b 帧，则解 码顺序与显示顺序不同，需要在解码图像输出前对图像重新排序。 第2 章a v s 视频标准研究及d s p 开发平台介绍 表2 3 起始码值 1 a b l e2 - 3 、w u eo fs t a n i n gc o d e 起始码类型起始码值( 1 6 进制) 条带起始码s l i c es t a nc o d e 0 f 视频序列起始码( v i d e o _ s e q u e n c es 切r i ；c o d e ) b 0 视频序列结束码( v i d e o j e q u e n c 哟! d o d e ) b 1 用户数据起始码( u s e id a ：t a ：s 切r tc o d e ) b 2 i 图像起始码( i _ p i c t u l e _ s t a r t _ _ c o d e ) b 3 保留b 4 视频扩展起始码( e ) ( t e i l s i o n _ s 伽1 o d e ) b 5 p b 图像起始码( p 吣i c t u r es 切r tc o d e ) b 6 视频编辑码 b 7 保留b 8 系统起始码 b 9 f f 条带 条带是按照光栅扫描顺序连续的若干宏块行，条带内的宏块行不能相互重 叠，条带之间的宏块行也不可重叠。条带内的宏块解码不能使用本图像中其他条 带的数据。a v s 之所以这样规定，是为了保持条带之间的独立性，避免因一个条 带内的数据出现差错而影响下一个条带。具体的条带结构如图2 3 所示： a c b