（信号与信息处理专业论文）基于数字信号处理器的avs视频编码器的实现与优化.pdf

摘要 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是我国拥有自主知识产权的第二代音视频编码标准，具有先 进、自主、开放三大特点。2 0 0 6 年a v s 标准的第二部分，即a v s 视频标准，正式成为国家标准。 a v s 视频标准的性能可与目前国际上最先进的h 2 6 4 标准媲美，而算法复杂度和实现成本却低于 h 2 6 4 。此外，a v s 通过简洁的一站式许可政策解决了h 2 6 4 在专利许可问题上的死结。目前国内外 对a v s 的研究方兴未艾。 数字信号处理器( d s p ) 是对信号实现实时处理的一类高性能微处理器。现在各大d s p 厂商都 纷纷推出针对视频应用的d s p 芯片，而美国德州仪器公司的t m s 3 2 0 d m 6 4 2 芯片是其中的佼佼者。 本文的工作。就是将p c 平台的a v s 视频编码器移植到以t m s 3 2 0 d m 6 4 2 芯片为核心的d m 6 4 2 开 发平台上，并充分利用d m 6 4 2 的特点优化编码器。 本文首先介绍了a v s 标准提出的背景和意义，探讨了a v s 视频标准采用的关键技术，包括变 换、量化、帧内预测、帧间预测、熵编码、环路滤波等模块。在此基础上，本文还对a v s 编码器的 参考代码进行了分析，找出了需要重点优化的关键函数。通过对亮度插值和运动估计算法的改进， 在编码器性能下降微乎其微的前提下很大程度上提高了编码的速度。 接着，本文对d m 6 4 2 开发平台的硬件结构和软件开发环境做了介绍，并详细讨论了将a v s 编 码器从p c 平台移植到d m 6 4 2 平台并进行优化的过程。在优化过程中使用的方法有：删除冗余代码、 调整数据结构、利用编译选项优化、对循环进行流水编排、使用内联函数和线性汇编改写代码等。 实验结果表明，经优化后d m 6 4 2 上的编码速度有了较大提高，在实现实时编码这一目标上取得了比 较理想的进展。 最后，本文展望了下一步的工作。 关键词：视频，a v s 编码器，d m 6 4 2 ，移植，优化 a b s t r a c t a v si st h es e c o n d - g e n e r a t i o ns o u r c ec o d i n g - d e c o d i n gs t a n d a r dw i t ht h r e em a j o rc h a r a c t e r i s t i c so f a d v a n c e d ，i n d e p e n d e n ta n do p e n i n g , t h ei n t e l l e c t u a lp r o p e r t yo fw h i c hi so w n e db yc h i n a i n2 0 0 6 , t h e s e c o n dp a r to fa v s ，i e v i d e os t a n d a r db e c a m et h en a t i o n a ls t a n d a r d t h ep e r f o r m a n c eo fa v si s e q u i v a l e n tt oh 2 6 4 ，w h i c hi s t h em o s ta d v a n c e di n t e r n a t i o n a ls t a n d a r da tt h ep r e s e n tt i m e h o w e v e r , c o m p a r e dw i t hh 2 6 4 ，a v sh o l d sb o t hl o w e rc o m p l e x i t yi na l g o r i t h m sa n dl e s sc o s ti ni m p l e m e n t a t i o n f u r t h m o r e ，a v sh a ss o l v e dt h ed e a d l o c ko fh 2 6 4p a t e n tp e r m i s s i o nt h r o u g ht h es u c c i n c to n es t e p p e r m i s s i o np o h c yt h er e s e a r c ho na v si sc u r r e n t l yah o ts u b j e c tb o t ha th o m ea n da b r o a d d i g i t a ls i g n a lp r o c e s s o r ( d s p ) i sac l a s so fh i g h - p e r f o r m a n c em i c r o p r o c e s s o rf o rr e a l - t i m es i g n a l p r o c e s s i n g n o wa l lt h em a j o rd s pm a n u f a c t u r e r sh a v el a u n c h e dt h e i ro w ns p e c i a ld s pc h i p sf o rv i d e o a p p l i c a t i o n si ns u c c e s s i o n , a m o n gw h i c ht h et m s 3 2 0 d m 6 4 2c h i pb yt e x a si n s t r m n c n t si n c o r p o r a t e di s o n eo ft h eb e s t t h et a s ko ft h i sd i s s e r t a t i o ni st ow a n s p l a n ta v se n c o d e rf r o mt h ep cp l a t f o r mt ot h e d m 6 4 2 p l a t f o r mw i t ht h et m s 3 2 0 d m 6 4 2c h i p 鹊i t sc o r ea n dt a k ef u l la d v a n t a g eo ft h ec h a r a c t e r i s t i c so f d m 6 4 2t oo p t i m i z et h ee n c o d e r i nt h i sd i s s e r t a t i o n , t h eb a c k g r o u n da n dt h es i g n i f i c a n c eo fa v sw e r ei n l z o d u c e df i r s t l y , a n dt h e nt h e k e yt e c h n o l o g i e st h a ta d o p t e db ya v sw e r ed i s c u s s e d , i n c l u d i n gm o d u l e ss u c h 雒t r a n s f o r m , q u a n t i z a t i o n , i n 妇p r e d i c t i o n , i n t e rp r e d i c t i o n , e n t r o p yc o d i n ga n dl o o p f i l t c r b a s e d0 nt h i s ，t h er e f e r e n c e dc o d ew a s a n a l y z e dt os e e kf o rt h e - p i v o t a l - f u n c t i o n sw i t hag o o & v a l u e ，t ob eo p t i m i z e d t h r o u g ht h e 。i m p r o v e m e n to f t h ea l g o r i t h m so fl u m i n a n c ei n t e r p o l a t i o na n dm o t i o ne s t i m a t i o n ，t h ec o d i n gs p e e do ft h ee n c o d e ri n c r e a s e d t oal a r g ee x t e n dw i t ho n l yl i t t l ed e c l i n eo fp e r f o r m a n c e a f t e rt h ei n t r o d u c t i o no ft h eh a r d w a r ea r c h i t e c t u r ea n ds o r w a r ed e v e l o p m e n te n v i r o n m e n to ft h e d m 6 4 2p l a t f o r m , t h ep r o c e s so ft r a n s p l a n t a t i o na n do p t i m i z a t i o no fa v se n c o d e rw a sd i s c u s s e di nd e t a i l t h em e t h o d o l o g i e su t i l i z e dd u r i n gt h eo p t i m i z a t i o nw e r ea sf o l l o w s ，r e m o v i n gt h er e d u n d a n tc o d e ， m o d i f y i n gt h ed a t as t r u c t u r e ，o p t i m i z i n gt h el o o p sb yc o m p i l e ro p t i o n sa n ds o f t w a r ep i p e l i n et e c h n o l o g y , r e w r i t i n gs o m ep a r to ft h ec o d eu s i n gi n t r i n s i c sa n dl i n e a ra s s e m b l y , e r e a c c o r d i n gt ot h ee x p e r i m e n t a l r e s u l t ，t h ec o d i n gs p e e do ft h ee n c o d e ro nd m 6 4 2h a db e e ng r e a t l yi n c r e a s e da f t e ro p t i m i z a t i o na n dh e r e b y w eh a dm a d es a t i s f a c t o r yp r o g r e s si na c h i e v i n gt h eg o a lo fr e a l - t i m ec o d i n g f i n a l l y , ad i s c u s s i o nt ot h ef u t u r ew o r kw a sp r o p o s e d k e y w o r d s ：v i d e o ，a v se n c o d e r d m 6 4 2 ，t r a n s p l a n t a t i o n , o p t i m i z a t i o n i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名： 。另 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名： 盟导师签名：强日 期： ) - o - o7 、沪澎 第一章绪论 第一章绪论 1 1 引言 2 1 世纪是信息化的时代，而视频图像是人们传递信息的重要媒介。据报道，视觉信息约占人们 从外界获取信息的7 0 。然而数字化后的图像的数据量非常大，现有的硬件条件往往达不到实时传 输和存储的要求。一个2 5 h z 帧频，4 ：2 ：0 采样，8 位量化的标准清晰度( 分辨率为7 2 0 x 5 7 6 像素) 视频的数据率达到1 2 4 4 1 6m b s ，对其进行传输，所需的带宽太大；若将其存储，一张容量为4 7 g b 的d v d - r o m 光盘，只能存储约5 分钟的电视节目。因此，必须对视频信号进行压缩编码后再进行 传输或者存储。 数字视频可以进行压缩，首先是因为视频序列本身存在着高度的信息冗余，这些冗余主要表现 在以下几方面【l j ： _ 空间上的冗余；在视频序列中，同一行中相邻两个像素或相邻两行间的像素之间存在着很大 的相关性，例如电视画面的相邻像素之间的相关系数可以达到0 9 以上。 时间上的冗余：视频序列的前后帧之间也存在着强相关性，特别是运动较慢的图像，如会议 电视和可视电话的图像，一般连续几帧无大的变化。 信号统计上的冗余：来源于被编码信号概率密度的分布不均。根据信息论，使用相同的码长 来表示不同概率出现的符号会造成比特数的浪费。 充分利用人眼的视觉特性是实现视频压缩的又一重要途径。人眼对于图像的细节、运动和灰度 的分辨率有限，将图像的失真度控制在人眼可接受的范围之内，也可以实现视频压缩。 图像编码有多种编码技术，其中预测编码、交换编码和熵编码结合构成的“混合型”编码已成 为运动图像编码方案的主流类型。预测编码是利用图像信号在局部空间和时间范围内的高度相关性， 以邻近像素值作为参考，预测当前像素值，然后量化、编码预测误差。与运动估计技术结合的运动 补偿帧间预测是目前视频压缩编码中去除信号时间冗余最常用和最有效的方法。变换编码先将一组 像素值经过某种形式的正交变换转换成一组变换系数，然后对各变换系数进行不同精度的量化、编 码、传输。离散余弦变换( d i s c r e t ec o s m et r a n s f o r m , d c t ) 是一种常用的正交变换方法，已被多种 静止和运动图像编码的国际标准所采用。熵编码的作用在于消除最终被编码符号所含的统计冗余度， 常用的熵编码有h u f f m a n 编码和算术编码。 1 2 视频编解码标准的发展及现状嗍 上世纪8 0 年代后期，音视频压缩编码技术体系己基本成熟，并已达到实用化阶段，建立统一的 多媒体压缩编码国际标准已成为工业界的迫切需求。当前主要有两个国际标准化组织制定视频编解 码标准，一个是国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r , r r u t ) ，它主要制定与通信相关的视频编解码标准，如h 2 6 x 琢列等；另一个 是国际标准化组绷国际电工委员会( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n i n t o n a t i o n a le l e c t r o t c c h n i c a lc o m m i s s i o n 。i s o m c ) ，它主要制定多媒体信息的存储与播放标准，如m p e q o v i o t i o np i c t u r e 东南大学硕士学位论文 e x p e r t sc r o u p ) 系列。下面提到的m p e g 系列标准仅是指标准中的视频部分。 1 2 1h 2 6 x 系列 ( 1 ) h 2 6 1 h 2 6 1 是r r u _ t 的前身国际电报电话咨询委员会于1 9 9 0 年1 2 月正式批准通过的面向电话和视 频会议等业务的视频压缩标准。h 2 6 1 充分吸收当时三大主流视频压缩编码技术预测编码、交 换编码和熵编码的特点，并将它们有机地融合在一起，形成了统一的基于图像块的混合编码系统模 式。整个系统包括运动预测和运动补偿、d c t 变换、量化、变字长熵编码以及码流控制等部分，支 持最高每秒3 0 帧的通用中间格式( c o m m o ni n t e r m e d i a t ef o r m a t ，c i f , 3 5 2 x 2 8 8 像素) 和四分之一通 用中间格式( q u a r t e rc i f , q c i f , 1 7 6 x 1 4 4 像素) 视频。h 2 6 1 的帧间预测、运动估计和运动补偿都以 1 6 x 1 6 的宏块为基本单位，预测精度为整像素，而传输码率范围从6 4 k b s 到1 9 2 m b s 。h 2 6 1 是数 字视频压缩编码标准发展历程中的第一个里程碑，其混合视频编码系统框架奠定了数字视频编码标 准的系统框架模型，之后的视频压缩编码标准基本上延续了这编码体系，只是针对不同的应用在 具体技术环节上进行改进和优化。 ( 2 ) h 2 6 3 1 9 9 6 年3 月通过的h 2 6 3 标准是在h 2 6 1 的基础上加以改进而形成的，能以低于6 4 k b s 的码率 传输。h 2 6 3 比h 2 6 1 支持更多的视频格式，增加了s u b - q c i f ( s q c i f , 1 2 8 x 9 6 像素) 、4 倍c i f ( 7 0 4 x 5 7 6 像素) 和1 6 倍c l f ( 1 4 0 8 x 1 1 5 2 像素) 三种格式。在相同的码率条件下，h 2 6 3 编码质量要优于h 2 6 1 ， 信噪比大概能提高2 - 3 d b 。此外，h 2 6 3 还引入了4 个可选的高级编码模式：无限制运动矢量模式， 先进预测模式，p b 帧模式和基于语法的算术编码模式，选用这些高级编码方案会增加编解码器的复 杂度，但也能够显著地提高压缩效率和图像质量。 ( 3 ) h 2 6 3 + ；t 革ih 2 6 3 * 为了进一步改善h 2 6 3 的性能，r i u - t 又陆续推出了两个改进版本，包括1 9 9 8 年1 月公布的 h 2 6 3 视频编码标准第二版( 又称为h 2 6 3 + ) 和2 0 0 0 年1 1 月公布的第三版( 又称为h 2 6 3 + + ) 。h 2 6 3 + 在保证原h 2 6 3 标准核心句法和语义不变的基础上，修正了其中的无限制运动矢量模式，并增加了 1 2 个可选的高级模式。h 2 6 3 抖与h 2 6 3 + 相比，又新增了3 种可选的高级模式。采用上述多种编码 模式，可以使h 2 6 3 原型编码器在压缩效率、传输鲁棒性( r o b u s t n e s s ) 、可扩展性等方面获得更佳 的性能。 ( 4 ) h 2 6 4 p l h 2 6 4 标准是由n u - t 的视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p v c e g ) 和i s o i e c 的 运动图像专家组( m p e g ) 共同成立的联合视频小组( j o i n tv i d e ot e a m , t ) 于2 0 0 3 年5 月公布的。 h 2 6 4 继承了之前视频编解码标准的优点，在沿用运动补偿加变换编码的混合结构基础上，增添了 基于上下文的自适应变长编码( c o n t e x t - b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下 文的自适应二进制算术编码( c o n t e x t - b a s e d a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g ，c a b a c ) ，1 4 像素精 度的运动估计，多模式的运动矢量估计，基于4 x 4 块的整数变换等模块。有关研究表明【4 】，在相同 的重构图像质量条件下，h 2 6 4 与h 2 6 3 + 相比平均可节省3 9 的码率，在编码信噪比大于3 8 d b 时， h 2 6 4 输出码率要比h 2 6 3 的少一半以上。但是h 2 6 4 这种性能的飞跃是以系统复杂度的提高为代价 的。 1 2 2m p e g 系列 ( 1 ) m p e g - i m p e g l 制定于1 9 9 2 年，主要是为当时新兴的存储介质c d - r o m 光盘的视频存储和播放设计 的，目标码率为1 5 m b s 。m p e g 1 借鉴了h 2 6 1 所建立的混合编码体系，引入了双向预测编码帧( b 2 第一章绪论 帧) 、直接编码帧( d 帧) 、半像素精度运动补偿以及非线性量化矩阵等技术。在输入图像格式方面， m p e g 1 采用信源输入格式( s o u r c ei n p u tf o r m a t s i f ) 。 ( 2 ) m p e g - 2 m p e g - 2 制定于1 9 9 4 年，设计目标是支持码率为4 - 8 m b s 的标准清晰度电视( s t a n d a r dd e f i n i t i o n t e l e v i s i o n , s d t v ) 系统和码率为1 0 - 一1 5 m b s 的高清晰度电视( h i g hd e f i n i t i o n t e l e v i s i o n , h d t v ) 系 统。目前各大数字电视标准都是基于m p e g - 2 的。在m p e g - 1 的基础上m p e g - 2 在基本编码系统 中增加了支持隔行视频的各种算法，引入了可分级编码技术，如数据分割、信噪比可分级模式、空 间可分级模式和时间可分级模式，来适应电视广播和视频通信的应用系统。 m p e g - 2 通过类和级别的划分，将具体应用系统参数与不同的压缩编码技术有机地结合在一起， 形成一套几乎覆盖当时数字音视频编码技术领域的标准体系。由于性能指标基本类似，盯u t 将面 向异步传输模式传输的高质量视频编码标准h 2 6 2 建议的研究工作并入到m p e g 2 标准之中。 m p e g 2 的普及也使得本来为h d t v 准备的m p e g - 3 最终宣告放弃。 ( 3 ) m p e g - 4 上世纪9 0 年代中后期，以因特网为代表的新一代信息产业的飞速发展，使得人们对未来的视听 产品的需求发生变化，这就促使了m p e g - 4 的诞生。m p e g - 4 标准的第1 0 个选项为先进视频编码 ( a d v a n c e d v i d e oc o d i n g 。a v c ) ，即h 2 6 4 。m p e g - 4 标准引入了基于视听对象( a u d i o - v i s u a lo b j e c t , a v 0 ) 的编码，大大提高了视频通信的交互能力和编码效率。但是m p e g - 4 的基本视频编码器还是 属于和h 2 6 1 相似的一类混合编码器。“基于对象的编码”部分的技术尚不成熟，还有许多关键闷题 尚待解决。d i v x 和x v i d 都是采用m p e g - 4 标准进行视频编码，第三代合作伙伴计划( 3 r dg e n e r a 。t i o n p a r m e r s h i pp r o j e c t ，3 g p p ) 现在也接纳了m p e g - 4 作为视频编码方案。 1 。3a v s 标准提出的背景和意义【5 】 在上节所介绍的h 2 6 x 系列和m p e g 系列视频编解码标准中，m p e g - 4 和h 2 6 4 标准属于第二 代视频编解码标准，其余标准属于第一代标准。目前音视频产业一般选择m p e g - 2 、m p e g - 4 和h ；2 5 4 这三个国际标准，m p e g - 4 的编码效率约是m p e g 2 的1 4 倍，h 2 6 4 的编码效率比m p e g - 2 高一倍 以上。 m p e g - 2 专利代理公司m p e gl a 规定。每一台m p e g 0 2 解码设备，必须由设备生产商缴纳2 5 美元的专利使用费。在对m p e g 2 收费取得成功的情况下，m p e gl a 对m p e g - 4 标准制订了新的 收费模式：每台解码设备0 2 5 美元，同时还需要按时间收费( 2 美分d , 时) ，这意味着如果一个用 户每天收看两小时电视，每年需要缴纳约1 5 美元。此项收费政策一出，美国在线时代华纳代表媒 体运营商率先反对，日本在选择移动电视接收标准时，明确表示由于专利收费问题，不选择m p e g - 4 在抗议声中，新的国际标准h 2 6 4 的专利收费政策仍未得到改观：设备生产商需要为每个编解码器 缴纳0 2 0 美元专利费，视频节目运营商提供符合h 2 6 4 标准的节目，需要根据节目、订户和本地发 射台数等参数支付加盟费，每个运营商每年3 5 0 万美元封顶。如果采用此标准，按照3 7 亿用户计 算，我国每年可能要支付4 0 0 多亿人民币专利使用费，而且上述费用尚不是专利使用费的全部。因 此，这些国际标准可谓是掌握在别人手里的金钥匙。 可以预测。由于技术陈旧及收费较高等原因，m p e g - 2 将逐渐退出历史舞台，而m p e g - 4 、h 2 6 4 的高额专利权收费导致其无法推广产业化，前途未卜为此2 0 0 2 年6 月，我国成立了数字音视频编 解码技术标准工作组( 简称a v s 工作组) ，制定了具有自主知识产权的数字音视频编解码技术标准 a v s ( a u d i o v i d e oc o d i n gs t a n d a r d ) 。2 0 0 6 年3 月1 日，a v s 标准的视频部分正式成为国家标准。a v s 标准在音视频标准史上的位置如图1 1 所示： 3 东南大学硕士学位论文 w 三 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 42 0 0 6 年 图1 1a v s 标准在音视频标准史上的位置 国际视频编解码标准中包含了大量的私有专利，这使得标准的实现复杂度提高，也为高昂的专 利费埋下了隐患。a v s 工作组只采纳遵守a v s 专利权许可原则的专利，拒绝那些想靠标准谋取暴利 的专利和贡献很低的专利。a v s 最终采用的专利数量不到对应国际标准的一半，但达到了与h 2 6 4 相当的性能。a v s 标准视频部分相关技术在专利问题上可分为以下四类： a v s 采用了完全自主的技术，如运动矢量预测等； 一a v s 采用了自主的技术和公开发表的技术。如双向预测编码等； _ a v s 采用的技术与某些专利有交叉，但也拥有自主技术，如环路滤波等： 一a v s 采用了a v s 工作组以外的专利技术，如缓冲区管理等。， 与其他类似标准相比，a v s 拥有两大蹰显优势，- - 是a v s 收取的专利费用对发展中国家而言更 为合理对节目提供商和运营商免费，仅对每台编解码器收取l 元人民币；二是中国日渐强大的 产业化实力和市场为a v s 的发展提供了良好土壤。借助这两大优势，a v s 已成为全球范围内最有可 能成为事实标准的第譬代音视频编码标准；据预铡参j 数字音毫剃雯产业将超过通信产业，在2 0 1 0 年成 为国民经济第大产业二a v s 将在未来1 0 年提供我国需要睁3 5 亿颗解码芯片，为国内企业节省超 过1 0 亿美元的专利费，使我国在“技术一专利一标准一芯片与软件一整机与系统制造一数字媒体运 营与文化产业”这个产业链上掌握全面的主动权，为我国数字音视频产业的跨越发展提供难得的契 机。 1 4d s p 的发展和应用 1 4 1d s p 的发展概况 数字信号处理器( d i s t a ls i g n a lp r o c e s s o r ，d s p ) 是微处理器的一种，这种微处理器具有极高的 处理速度，适用于需要对信号进行实时处理的场合。d s p 与通用处理器相比，有以下几个特点嘲： 一采用哈佛( h a r v a r d ) 结构或改进哈佛结构； 一具有专门的硬件支持密集的乘法运算和零开销循环： 一支持专门的寻址方式； 一具有满足信号处理应用要求的一些特殊指令。 1 9 7 8 年a m 公司发布的$ 2 8 1 1 是世界上第一个单芯片d s p ，在之后的几年中，美国的i n t e l 、 德州仪器( t e x a si n s t r u m e n t s ，t i ) 、a t & t ，日本的n e c 、h i t a c h i 、f u j i c u 等公司纷纷推出了自己的 d s p 芯片川。 d s p 的后续发展始于2 0 世纪8 0 年代末9 0 年代初。第二代d s p 保留了第一代产品的许多特点， 并且增加了流水线、多算术逻辑单元多累加器结构，大大增强了d s p 的性能。更多的功能单元，如 4 第一章绪论 外部设备接口、计数器和定时器电路也集成进了d s p 芯片。 第三代d s p 在保留关键结构的基础上，实现了单指令多数据流( s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ， s i m d ) 、甚长指令字( v e r yl o n gi n s t r u c t i o nw o r d ，v l i - w ) 和超标量( s u p e r s c a l a r ) 操作等能力在 软件方面诞生了更先进的调试和应用开发工具，可以实现多指令硬件循环、模块地址和用户自定义 指令的仿真和处理。 当今的d s p 呈现出以下几个新特点【8 】= 高性能指标 2 0 0 4 年1 1 月，r i 公司生产了第一批采用9 0 n m 工艺的l g h zd s p ：t m s 3 2 0 c 6 4 1 4 i 、 t m s 3 2 0 c 6 4 1 5 t 和t m s 3 2 0 c 6 4 1 6 t ，其内部晶体管之间的距离仅为5 2 n m ，为业界写下d s p 性能的 新标准。从运算速度来看，一次乘法累加的时间已经从2 0 世纪8 0 年代初的4 0 0 n s ( 如t m s 3 2 0 1 0 ) 降低到现在的0 2 5 n s ( 如1 m s 3 2 0 c 6 4 1 6 t ) ，处理能力提高了1 6 0 0 多倍。 双核处理器结构支持嵌入式操作系统 由于移动通信和手持设备对多媒体数据处理的需求猛增。2 0 0 0 年以来各大主要d s p 产商纷纷推 出双核d s p ，例如t i 公司的o m a p ( c 5 x x x + a r m 7 ) 、d a v i n c i ( c 6 0 0 0 + a r m 9 ) 平台以及a d i 公 司的b l a c k f m 平台等。双核d s p 融合了嵌入式微处理器，使得这一类d s p 不仅能高效地处理数字信 号，还能够运行l i n u x 、w i n d o w sc e 或s y m b i a n 等嵌入式操作系统。 增强的视频图像处理能力 现在各大厂商都已经推出了自己的针对视频应用的d s p 芯片，包括1 1 公司的d m 6 4 x 系列、a d i 公司的a d s p b f 5 3 1 5 3 3 巧3 5 系列以及p h i l i p s 公司的p n x l 3 0 0 和p n x l 5 0 0 系列。这些芯肚的处理 能力和功耗都达到了一个很高的指标，虽然主频不及p c 机上的c p u ，但是由于d s p 芯片采用多总 线多功能单元结构，往往每个周期可同时执行多条指令，再加上带有针对性的指令集设计 。实际的 处理能力是非常高的。同时d s p 视频芯片体积更小，功耗更低，应用也是越来越广泛。1 1 公司还推 出了达芬奇( d a v m c i ) d s p 解决方案。达芬奇技术是由达芬奇处理器、达芬奇软件、达芬奇开发工 具和技术支持等组件优化构成的。其中，达芬奇处理器采用了t i 最新的c 6 4 x + d s p 内核，通过可 扩展、可编程d s p 的片上系统( s y s t e mo i lac h i p ，s o c ) 和相关外设来满足各种数字视频终端对价格、 性能及功能等多方面的要求。t m s 3 2 0 d m 6 4 4 6 芯片是达芬奇技术的杰出代表。 1 4 2d s p 的应用 d s p 芯片自其诞生以来得到了飞速的发展，这一方面得益于集成电路的发展，另一方面也得益 于巨大的市场。目前，d s p 芯片的性价比日益提高，功耗不断降低，具有巨大的市场潜力。在通信 领域，3 g 无线基站、无线局域网、无线产品( 如手机) 、数字化电视都离不开高性能的d s p 。众多 的消费类电子产品如数码相机、数字音视频播放器、游戏机、高保真音响、数字电话等，将是d s p 应用的广阔市场。与此同时，信息安全领域的d s p 应用也在不断扩展，主要包括视频监控、语音识 别、人脸识别、指纹识别、虹膜识别等。在医疗领域，o m a p 技术也在日益成熟，在不久的将来必 将代替目前庞大的微机处理系统。在工业领域，d s p 在工业机械自动化、电机控制、能源管理等方 面发挥其在实时信号处理方面的专长。另外，在军事领域，d s p 也应用在保密通信、雷达信号处理、 声纳信号处理、导航与制导等方面。 1 5 论文的研究工作及章节安排 本章首先介绍了视频压缩编码的必要性和可能性，然后阐述了h 。2 6 x 和m p e g 两大系列视频编 解码标准的发展以及a v s 标准提出的背景和意义，最后对d s p 的发展和应用作了简要介绍。 5 东南大学硕士学位论文 第二章在引入a v 8 视频标准中用到的重要概念后，重点介绍了a v s 采用的一些关键技术，如 变换与量化，帧内、帧间预测编码，熵编码和环路滤波等，最后对a v s 和h 2 6 4 标准的技术、性能、 复杂度等方面进行了比较。 第三章首先以流程图的形式介绍了a v s 编码器参考代码的编码算法流程，根据研究工作的需要 设置了编码选项并测量了各个函数的执行时间百分比，在最后提出了亮度插值算法和u m h e x a g o n s 算法的改进算法。 第四章首先介绍了以美国t i 公司的t m s 3 2 0 d m 6 4 2 芯片为核心的d m 6 4 2 开发平台的硬件结构 和软件开发环境c c s ；接着阐述了a v s 编码器从p c 平台到d m 6 4 2 平台的移植过程，对d s p 程序 的优化进行了详细的讨论，优化方法包括调整数据结构、利用编译器的优化功能、对循环进行流水 编排、使用内联函数和编写线性汇编代码等；最后给出了最终的优化结果。 第五章首先总结了本文所做的研究工作，然后提出了利用更先进的优化方法进行优化的建议， 并给出了a v s 实时编解码系统的实现方案。 6 第二章a v s 视频标准的关键技术分析 第二章a v s 视频标准的关键技术分析 a v s 是我国拥有自主知识产权的第二代音视频编码标准，具有先进、自主、开放三大特点。a v s 视频标准采用了混合编码框架，在较低的复杂度下实现了与国际标准相当的技术性能，但并未使用 国际标准背后大量复杂的专利。本章对a v s 视频标准采用的关键技术进行探讨。 2 1a v s 标准概述 a v s 标准是为了适应数字电视广播、数字存储媒体、网络流媒体、多媒体通信等应用中对运动 图像压缩技术的需要而制定的。a v s 标准是信息技术先进音视频编码系列标准的简称，包括九 个部分，如表2 1 所示： 表2 1a v s 标准【9 l 编号名称 a v s l p l 系统 a v s l p 2 视频 a v s l p 3音频 a v s l p 4 一致性测试 j k v s l p 5 参考软件 a v s l p 6 数字媒体版权管理 a v s l p 7 移动视频 a v s l p 8在m 网络上传输a v s j w s l p 9 s 文件格式 2 0 0 6 年a v s 标准第二部分( a v s l - p 2 ，以下称为a v s 视频标准或简称越，s ) 正式成为国家标准 a v s 视频标准目前定义了一个档次即基准档次( j i z h u np r o f i l e ) ，该档次又分为4 个级别( 1 e v e l ) ：适 用于标准清晰度的4 0 ( 4 ：2 ：0 ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及适用于高清晰度的6 0 ( 4 ：2 ：0 ) 级别和6 2 ( 4 ：2 ：2 ) 级别，支持的最大图像分辨率从7 2 0 x 5 7 6 到1 9 2 0 x 1 0 8 0 ，最大比特率从1 0 m b s 到3 0 m b s 。 a v s 视频标准采用了与h 2 6 4 类似的技术框架，包括变换、量化、帧内预测、帧间预测、熵编 码、环路滤波等技术模块。a v s 视频编码器框图如图2 1 所示。 7 东南大学硕士学位论文 图2 1a v s 视频编码器框图【l o i 图2 一l 中s 是预测模式选择开关，q 代表量化。在a v s 视频标准中，所有宏块都要进行帧内预 测或帧间预测。帧内预测使用空间预测模式来消除图像内的冗余，帧间预测使用基于块的运动矢量 来消除图像间的冗余。对预测残差进行8 x 8 整数余弦变换( i n t e g e rc o s m et r a n s f o r m , i c t ) 和量化 ( q u a n t i z a t i o n ) 以消除图像内的视觉冗余，然后对量化系数进行z i g - z a g 扫描( 隔行编码块使用另一 种扫描方式) ，得到一维排列的量化系数，最后对量化系数用熵编码进行压缩。 2 2 编码比特流的结构【，】 为了更方便地介绍a v s 视频标准，先在本节介绍编码后比特流的结构及其层次关系和处理顺序。 2 2 1 视频序列 视频序列是比特流的最高层语法结梅。视频序列由序列头开始，后面跟着一个或多个编码图像， 每帧图像之前应有图像头。编码图像在比特流中按比特流顺序排列，比特流顺序应与解码顺序相同。 解码顺序可与显示顺序不相同。序列结束码表明了一个视频序列的结束 a v s 标准支持两种序列：逐行序列和隔行序列。 帧( f l a m e ) 是视频信号空间信息的表示，由一个亮度样本矩阵( y ) 和两个色度样本矩阵( u 和v ) 构成，样本矩阵元素的值为整数。场( f i e l d ) 由构成帧的三个样本矩阵中相间的行构成，即帧 样本矩阵的第一行、第三行、第五行等奇数行，构成一个场，称为顶场；第二行、第四行、第六行 等偶数行，构成另一个场，称为底场。 解码器的输出是一系列帧或场，两帧之间存在着一个帧时间间隔。对隔行序列而言，每帧图像 的两场之间存在着一个场时间间隔。对逐行序列而言，每帧图像的两场之间时间间隔为0 。 2 2 2 图像 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列结束码或下一个图像起 始码结束。在比特流中，隔行扫描图像的两场的编码数据可依次出现，也可交融出现。两场数据的 解码和显示顺序在图像头中规定。 ( 1 ) 4 ：2 ：0 格式 a v s 主要针对4 ：2 ：0 格式( y u v 4 2 0 格式) 的视频码流进行处理。本论文的研究工作也是针对4 ：2 ：0 格式的。对于4 ：2 ：0 格式，色度样本矩阵水平和垂直方向的尺寸都只有亮度样本矩阵的一半。亮度样 8 第二章a v s 视频标准的关键技术分析 本( y ) 和色度样本( u v ) 的位置如图2 - 2 所示，图中。代表亮度样本，代表色度样本。 o o o oo o o o o ooo o o o ooo o o oo oo 图2 24 ：2 ：0 格式下亮度和色度样本位置 ( 2 ) 图像类型与参考图像 a v s 标准定义了三种解码图像：帧内解码图像( i 帧) ，前向帧间解码图像( p 帧) 和双向帧间 解码图像( b 帧) 。p 帧或b 帧最多可有两帧参考图像。p 帧可参考前向的两帧，在一帧中，后解码 的场还可参考当前帧的另外一场。b 帧可参考一前一后的两帧。 运动矢量所指的参考像素可超出参考图像的边界，在这种情况下对超出参考图像边界的整数样 本应使用距离该整数参考样本所指位置最近的图像内的整数样本进行边界扩展。对亮度样本矩阵， 参考块的像素在水平和垂直方向均不应超出参考图像边界外1 6 个像素。对色度样本矩阵，如果图像 格式是4 ：2 ：0 ，参考块的像素在水平和垂直方向均不应超出参考图像边界外8 个像素。 ( 3 ) 图