（通信与信息系统专业论文）基于h264avc标准的视频编码系统应用研究.pdf

浙江工业大学硕士学位论文 基于i - i 2 6 4 a v c 标准的视频编码系统应用研究 摘要 近年来，随着多媒体技术与网络技术的迅速发展，以视频为主的多媒体通 信成为时代主题，受到人们越来越多的关注。与m p e g 2 相比，一种最新的 标准h 2 6 4 a v c 或称为m p e g - 4 第1 0 部分目标就是以近似一半的比特率实 现相同的视频质量。它采用了一系列先进编码技术，在编码效率、网络适应 性等诸多领域超越以往的视频编码标准，代表了未来多媒体数据压缩编码的 发展趋势。嵌入式系统是当前计算机技术的热门研究领域，是h 2 6 4 a v c 应 用的承载平台。a d s pb f 5 3 3 是a d i 公司推出的面向新一代视频编码的视频 芯片。因此，研究h 2 6 4 a v c 标准，并结合b l a e k f i n 5 3 3 嵌入式系统进行应用 研究具有重要意义。 本文主要是h 2 6 4 a v c 和b l a c k f m 5 3 3 嵌入式系统的应用研究。首先，对 h 2 6 4 a v c 标准的基本思想和原理进行了学习，对h 2 6 4 a v c 中的关键技术 和标准细节进行了深入研究。接着对b l a e k f i n 5 3 3 处理器进行了深入的学习， 了解它的芯片结构、总线结构、存储管理，熟悉他的编程指令和视频指令。 在基于a d s p b f 5 3 3e z - k i tl i t e 评估板的基础上设计了一个视频采集编码终 端。通过分析编码系统的结构编写了系统的初始化配置程序，将开源的 h 2 6 4 a v c 视频编码算法进行了移植并根据b l a e k f m 5 3 3 处理器的结构特点对 编码算法进行了优化。 本课题研究的视频压缩编码传输系统可以广泛地应用于视频监控、信息 塑垩三些查堂堡主兰堡笙苎 家电、智能小区、远程抄表等领域，而且所研究的嵌入式视频终端设备经过 进一步开发和完善，还可以应用于更广阔的领域。 关键词：视频编码系统，嵌入式，b l a c k f i n 5 3 3 ，h 2 6 4 a v c ，优化 浙江工业大学硕士学位论文 a p p l i e dr e s e a r c ho fv i d e oe n c o d i n gs y s t e m b a s e do nh 2 6 4 a v cs t a n d a r d w i t ht h ep r o g r e s so f t h em u l t i m e d i aa n d n e t w o r k i n gt e c h n o l o g yi nr e c e n ty e a r s ， v i d e o - b a s e dm u l t i m e d i ac o m m u n i c a t i o n sh a v eb e c o m et h et h e m eo ft h i sa g ea n d b e i n gc o n c e r n e db ym o r ea n dm o r ep e o p l e i t sn e c e s s a r yt oc o m p r e s sh u g ed a t a b e c a u s eo ft h el i m i t a t i o no fm e m o r ys p a c ea n dt r a n s f e r sb a n d w i d t h a ne m e r g i n g v i d e oc o d i n gs t a n d a r dn a m e dh 2 6 4 a v co rm p e g - 4 p a r t1 0a i m sa tc o d m g v i d e o s e q u e n c e sa ta p p r o x i m a t e l yh a l fo ft h eb i tm t ec o m p a r e dt om p e g - 2a tt h es a m e q u a l i t y i ta l s oa i m sa th a v i n gs i g n i f i c a n ti m p r o v e m e n t si nc o d i n ge f f i c i e n c y , e r r o r r o b u s t n e s sa n dn e r w o r kf r i e n d l i n e s sa n dr e p r e s e n t st h ef u t u r eo fv i d e oc o m p r e s s i o n s t a n d a r d s e m b e d d e ds y s t e mi st h ep o p u l a rr e s e a r c hs u b j e c t so ft h ec o m p u t e r , w h i c hi st h ep l a t f o r mo ft h eh 2 6 4 a v cc o d i n gs y s t e m b l a c k f i n 5 3 3i st h en e w m u l t i m e d i ac h i pf o rt h eh 2 6 4 a v ca n dm p e g - 4 h e n c e ，t h er e s e a r c ho ft h e c o m b i n a t i o no ft h eh ，2 6 4 a v ca n de m b e d d e ds y s t e mb a s e do nt h eb i a c k f i n 5 3 3i s i m p o r t a n tf o rt h ea p p l i c a t i o no f h 。2 6 4 a v c t h ea u t h o r ss t u d ym a i n l yf o c u so nt h ee m b e d d e da p p l i c a t i o no fh 2 6 4 a v c 浙江工业大学硕士学位论文 e n d c o d e rb a s e do nb l a c k f m 5 3 3 f i r s t ，t h ea u t h o rl e a r n st h eb a s i ct h o u g h ta n d t h e o r y , a n a l y z e st h ed e t a i lo f t h es t a n d a r d s e c o n d ，t h ea u t h o rl e a r n st h es t r u c t u r e ，t h eb u s ， t h em a n a g e m e n to fm e m o r yo ft h ep r o c e s s o rb l a c k f i n 5 3 3 ，s t u d i e st h ei n s t r u c t i o n a n dt h ev i d e oi n s t r u c t i o no ft h eb l a c k f m 5 3 3 b a s e do he v a l u a t i o n s y s t e m a d s p - b f 5 3 3e z - k i tl i t e ，a l le m b e d d e dv i d e oc a p t u r i n ga n de n c o d i n gt e m i n a li n d e s i g n e da n dp r o p o s e d b ya n a l y z i n gt h et h e o r yo ft h ev i d e oc o d i n gs y s t e m , t h e a u t h o rg i v e st h ep r o g r a mt oi n i t i a l i z i n gt h es y s t e m t h eo p e ns o u r g eo ft h e h 2 6 4 a v cv i d e oc o d i n ga l g o r i t h mi st r a n s p l a n t e di n t ot h eb l a e k f i n 5 3 3a n d o p t i m i z a t i o no f t h ec o d ei si m p l e m e n t e db yt h et r a i t so f t h eb l a e k f m 5 3 3 t h eh 2 6 4 a v cv i d e oc o d i n gs y s t e ms t u d i e di nt h i sp a p e rc a l lb ew i d e l y a p p l i e d t ov i d e o c o n t r o l l i n g ，i n f o r m a t i o nh o u s e h o l da p p l i a n c e s ，i n t e l l e c t u a l d i s t r i c t ，r e m o t em e t e rr e a d m ge t c t h ee m b e d d e dv i d e ot e r m i n a le q u i p m e n tc a r lb e a p p l i e d t om o r e w i d e l yf i e l da f t e rf u n l l e rd e v e l o p m e n ta n dp e r f e c t i n g k e yw o r d s ：v i d e oc o d i n gs y s t e m ，e m b e d d e d ，b l a c k f i n 5 3 3 ，h 2 6 4 a v c ， o p t i m i z a t i o n 浙江工业大学硕士学位论文 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者虢勿渺瞧冲，溯咿 l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密町c ( 请在以上相应方框内打“巾) 作者繇力统嗍母嗍节日 导师签名：匆h 伽日期： 南j 年a , e l 印日 浙江工业大学硕士学位论文 1 1研究背景与意义 第一章绪论 随着科技的发展，人们的生活越来越便利，家庭中的家务劳动大多都由各种各样的家 用电器代劳，工业生产中，已广泛实现自动化，通信领域也在飞速发展，由书信、电报到 传真、电话、e - m a i l 、网络聊天，人与入的沟通任何时候任何地方都在进行。然而人们的 需求是无止境的，在满足日常生活、工作交流的情况下，对更高层次的交流有了新的需要， 希望能够在任何时候都能实现面对面的交谈，使交流畅通无阻。人们的需求就是科技发展 的推动力。近年来，视频技术成为关注的焦点，在娱乐、远程医疗、远程监控、视频会议、 网络教学等领域都得到广泛的应用。相信在即将出台的3 g 无线通信中，视频技术也会有更 好的表现。 人们对视频信息的需求是大量的、内容和形式是多样的，因此由视频信息剧增带来的 视频传输和存储问题成为视频技术发展的关键。解决这个问题有两个途径：一个是增大网 络带宽和存储媒介的容量；另一个是提高视频信息的压缩效率。提高网络带宽需要大量的 设备投资，成本太高；提高视频信息的压缩效率只是需要发展新的视频编码技术，我们只 需要更换新的编码端和解码端设备，现在许多终端设备只需要升级软件就可以支持新的视 须编码标准，并且可以很好的利用现有的网络设备。鉴于以上考虑，提高编码效率是一个 很好选择。 国际化标准组织( i s o ) 国际电工委员会( m c ) 和国际电信联盟( i t u ) 制定了一系列视频 编码标准以获得更好的编码效率。h 2 6 4 a v c 是由i s o i e c 和1 1 1 j 合作制定的新一代视频编 码标准，2 0 0 3 年3 月正式通过，现在正处于应用开发阶段，凭借它的优势必将在视频应用 领域大有作为。 虽然p c 平台的h 2 6 4 播放软件已有不少，但是嵌入式产品的h 2 6 4 视频播放器仍然处于 起步阶段。随着数字信号处理器d s p 的高速发展，为实现高效的视频信号处理提供了可能 性，将h 2 6 4 算法在高速d s p 平台上实时实现是目前多媒体信号处理研究领域的一个热点问 塑垩三些查堂堡主兰垡堡奎 题。 随着集成电路技术和计算机技术的发展，嵌入式系统的功能越来越强大体积越来越小， 价格越来越低，所以嵌入式系统己经广泛的应用于消费类电子产品，成为生活和生产中的 活跃份子。将h 2 6 4 编解码体系与嵌入式系统结合起来是发展的必然趋势，因此研究h 2 6 4 标准的关键算法及它的嵌入式应用有重要意义，并有很好的市场应用潜力。 1 2研究现状 1 2 1 视频压缩技术发展状况 1 9 4 8 年，o l i v e 提出了第一个编码理论一一脉冲编码调制( p u l s ec o d i n gm o d u l a t i o n , 简称 p c m ) 同年，s h a n n o n 的经典论文“通信的数学原理”首次提出并建立了信息率失真函数 概念。1 9 5 9 年，s h a n n o n 进- - 步确立了信息率失真理论，以上工作奠定了信息编码的理论 基础。 “第一代”视频编码技术主要以预测编码、变换编码和统计编码三大经典编码方法为 基础。它们都是非常优秀的纹理编码方案，能够在中等压缩率的情况下，提供非常好的图 像质量，但在非常高的压缩率情况下，无法为一般的序列提供令人满意的质量。八十年代 初期，“第一代”编码技术已经达到了顶峰，这类技术去除客观和视觉冗余信息的能力已 接近极限。究其原因是由于这些技术都没有利用图像的结构特点，因此它们也就只能以象 素或块作为编码的对象，另外，这些技术在设计编码器时也没有考虑人类视觉系统的特性。 “第二代”视频编码技术是k u n t 等人于1 9 8 5 年提出，主要是为了克服“第一代”视频 压缩编码技术的局限性。“第一代”编码技术只是以信息论和数字信号处理技术为理论基 础，旨在去除图像数据中的线性相关性的一类编码技术，其压缩比不高，大约在1 0 ：l 左 右。而“第二代”编码技术不局限于信息论的框架，要充分利用人的视觉生理、心理和图 像信源的各种特征，实现从“波形”编码到“模型”编码的转变，以便获得更高压缩比。 其压缩比多在3 0 ：1 至7 0 ：1 之间，有的甚至高达1 0 0 ：l 。“第二代”编码方法主要有：基 于分形的编码、基于模型的编码、基于区域分割的编码和基于神经网络的编码等。“第二 代”编码方法充分利用了计算机图形学、计算机视觉、人工智能与模式识别等相关学科的 研究成果，为视频图像压缩编码开拓出了广阔的前景。由于“第二代”编码方法增加了分 析的难度，从而大大增加了实现的复杂性，因此在视频压缩编码中的应用研究进展缓慢， 目前多与其他方法结合使用。但因为巨大压缩性能的潜力，人们都在致力于这些新方法的 2 浙江工业大学硕士学位论文 研究之中。 近年来，出现了一类充分利用人类视觉特性的“多分辨率编码”方法，如子带编码、 塔形编码和基于小波交换的编码。这类方法使用不同类型的一维或二维线性数字滤波器， 对视频图像进行整体的分解，然后根据人类视觉特性对不同频段的数据进行粗细不同的量 化处理，以达到更好的压缩效果。这类方法原理上仍属于线性处理，属于。波形”编码， 可归入经典编码方法，但它们又充分利用了入类视觉系统的特性，因此可以被看作是“第 一代”编码技术向“第二代”编码技术过渡的桥梁。 视频压缩编码标准的制定工作主要是由国际标准化组织( i n t e m a t i o n a ls t a n d a r d i z a t i o n o r g a n i z a t i o n ，i s o ) 和国际电信联盟( 1 m e m a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) 完成的。由 玎u 组织制定的标准主要是针对实时视频通讯的应用，如视频会议和可视电话等，它们以 h 2 6 x 命名；而由i s o 和i e c ( i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的 共同委员会中的m p e g l l l 组织( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要针对视频数据 的存储( 如v c d 和d v d ) 、广播电视和视频流的网络传输等应用，它们以m e p g x 命名。 ( 1 ) m p e g 1 1 2 1 m p e g 1 制定于1 9 9 2 年，是为工业级标准而设计，可适用于不同带宽的设备，如 c d - r o m 、v i d e o c d 、c d - r 等。主要针对1 s l v l l ) p s 以下的数字存储媒质运动图像及其伴 音编码的国际标准，它用于在c d - r o mk 存储同步和彩色运动视频信号，传输速率为 1 s m b p s ，每秒能够播放3 0 帧，具有c d ( 指激光唱盘) 音质，可以优化为中等分辨率，质量 级别基本与v h s 相当。 ( 2 ) m p e g 2 1 3 1 m p e g - 2 标准的制定从1 9 9 0 年7 月开始，经过四年半到1 9 9 4 年1 1 月完成标准。它的结构 与枷p e g 1 相似，增加了新的补充部分。 m p e g - 2 标准的设计目标是高级工业标准的图象质量以及更高的传输率。因为m p e g - 2 可以提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求， 所以除了作为d v d 的指定标准外，m p e g - 2 还可用于为广播、有线电视网、电缆网络以及 卫星直播( o h - 鲥b r o a d c a s ts a t e l l i t e ) 提供广播级的数字视频。 ( 3 ) m p e g - - 4 【4 】【5 l 【6 l m p e g 组织在1 9 9 3 年7 月开始了m 旺晒- 4 “视音频对象编码”的研究，并于1 9 9 9 年5 月形 成国际标准。它是一种基于对象的视、音频编码标准。m p e g - 4 的本意是制定甚低比特率 的视音频压缩编码标准，如在电话线上传输视频和音频数据。为了满足现在越来越多的视 浙江工业大学硕士学位论文 昕材料要以数字形式进行相互交换而产生的各种需求，它所包含的内容和将要起的作用己 经远远超出了最初的设计思想。m p e g - 4 不再是一个单纯的视音频编解码标准，它更多定 义的是一种格式、框架，而不是具体算法，为多媒体数据压缩提供了一个更为广阔的平台， 允许在系统中加入新的算法，为用计算机软件编解码提供了更大的方便。 ( 4 ) h 2 6 4 7 】 m 2 0 0 1 年7 月，m p e g 对a d v a n c e dv i d e oc o d m g 进行招标。2 0 0 1 年1 2 月，v c e g 和 m p e g - i s o m cj t c l s c 2 9 w g ll 组成了联合视频组t ，研究新的编码标彻2 6 4 a v c 。 2 0 0 3 年3 月，该标准正式获得批准，称作h 2 6 4 a v c 或m p e g _ 4v i s u a lp a r t l o 。h 2 6 4 弓1 入面 向数据包编码，有利于将数据打包在网络中传输，支持流媒体服务应用；具有较强的抗误 码特性，以适应在噪声干扰大、丢包率高的无线信道中传输；对不同应用的时延要求具有 灵活的适应性；编码和解码复杂度具有可扩展性，支持编码和解码复杂度的不等分配和扩 展。 h 2 6 4 获得优越性能的代价是计算复杂度的大幅增加。例如分层设计、多帧参考、多模 式运动估计、改进的帧内预测等，这些都显著提高了预测精度，从而获得比其他标准好得 多的压缩性能。据统计，h 2 6 4 解码的计算复杂度大约相当于h 2 6 3 的2 倍【9 】。 与以往的标准相比，h 2 6 4 具有最高的编码效率，其主要优点利1 川： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g - 4 f p a r t2 ) 节约5 0 码率； ( 2 ) h 2 6 4 可在很宽的码率范围内提供高质量的视频服务； ( 3 ) h 2 6 4 对信道时延的适应性比较好，既可工作在低时延模式以满足实时业务，如会 议电视等，又可工作于无时延限制的宽松场合，如视频存储等； ( 4 ) 具有较强的抗误码能力，包括支持传输环境恶劣的无线网络； ( 5 ) 采用分层模式，视频编码层( v c l ) 外特有的网络适配层( 札) 专为网络传输设计， 因而进一步提高网络友好性。 以上特点使得h 1 2 6 4 a v c 一推出就受到了极大的关注，在可以预见的将来必将得到广 泛的应用。本课题采用h 2 6 4 作为视频压缩标准，也是基于其的众多优点。 h 2 6 4 标准的侧重领域比m p e g - 4 标准窄，它主要用于矩形视频的高效编码和传输。 它的本来目标是提供诸如h 2 6 3 + 和m p e g 视频( 简单档次) 标准相类似的功能，但它能 提供更好的压缩性能并可靠的传输。应用目标包括双向视频通信( 视频会议和可视电话) 、 广播和高品质视频编码、包交换网络的视频流传输等。标准支持视频流在网路上的可靠传 输，同时对在不同的处理器平台上的实现提供了支持。表1 1 总结了两个标准间的主要的 4 浙江工业大学硕士学位论文 区别【1 4 1 。 表1 1m p e g - 4 视频和h 2 6 4 的不同 比较m p e g - 4 视频h 2 6 4 支持的数据类型 矩形的帧和场，任意形状矩形视频帧和场 的视频对象，静止纹理和 全景合成或合成自然混 合视频对象，2 d 和3 d 的 网格对象。 档次数目1 93 压缩效率中等高 视频流的支持可分级编码 条带的切换 运动补偿的最小块尺寸 8 x 84 x 4 运动矢量的标度半象素或1 4 象素 1 4 象素 变换 8 8 d c t4 x 4 d c t 近似 环内去块效应滤波否 是 商业实现的版权费是 很可能不( 基本档次) 很可能( 主要档次和扩展 档次) 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电视等各类使用 图像编码技术的产品纷纷推出，数字激光唱盘( v c d 、d v d ) 等产品以百万台的数量级走向 市场，进入家庭，从而迎来了数字图像通信的黄金时代。另一方面，图像编码技术产业化 进程的加快也推动了图像编码技术以更快的速度发展。目前的研究工作主要分为两个方 向：第一方向是解决好现有的图像编码系统开发中的技术问题。例如：提高图像质量，提 高抗误码能力，以及在a r m 网等变速信道上的应用等。近几年来对m p e g 系列编码器具体 实现算法有了很多突出的研究成果。国际标准的开放性结构为这种深入的改进提供了条 件，它允许人们在不影响兼容性的前提下发挥自己的创造性，对标准中的开放部分进行改 进这些开放性部分包括运动估值和运动补偿方法，自适应量化系数和缓存器控制策略等。 在国际标准规定的约束下，对这部分算法作更合理的细化有助于提高编解码器的性能。如： 复原图像质量，提高抗误码能力等。第二个方向：更好地实现现有的图像编码国际标准， 使编码系统成本更低，可靠性更高 浙江工业大学硕士学位论文 i 2 2 视频压缩系统的发展状况 从当前国内外的市场现状来看，当前对于视频压缩编码的实现主要有以下几种途径 t o l | 1 1 1 基于p c 的软件实现 这种方案以p c 机或工作站为平台，利用现有的声卡、视频采集卡作为系统的输入输出 设备，用纯软件方式实现视频压缩协议的全部内容。其特点是：面向p c 机多媒体系统，硬 件系统设计简单。软件开发环境好，灵活的程序代码可动态加载以实现多种视频压缩标准。 易于移植和升级，而且支持的网络协议也独立于硬件。能适用于多种通信网络，使之其有 很好的网络互联性。但是一个摄像头就要配备一台p c 机，成本是很高的：特别在监控站点 很多的远程监控系统设计中，其成本开销是无法接受的。而且计算机的性能优劣对其影响 很大，所以在使用上受到很多限制。 2 采用直接硬件a s i c 压缩。 如华邦( w l n a o n d ) 的w 9 9 2 0 0 f 。此方案的优点是方便集成，利于应用，开发周期短。 但其缺点也很明显：由于视频压缩算法全部由硬件实现，不便于产品功能更新和升级。成 本也不占优势。 3 基于f p g a 开发a s i c 实现图像压缩处理 由于f p g a 产品的发展，人们可以利用a l t e r a 公司、x i l i l l ) 【等公司提供的产品，使用这些 公司提供的软件或v h d l 等开发语言，通过软件编程用硬件实现特定的图像压缩算法如d o r 等。这一方法由于具有通用性的特点并可以实现算法的并行运算，无论是作为独立的数字 信号处理器，还是作为d s p 芯片的协处理器，目前这都是比较活跃的研究领域。 4 基于数字信号处理器( d s p ) 实现 图像压缩编码从本质上来说也是数字信号处理，而d s p 有着比通用微处理器更适合数字 信号处理的优点。如采用改进的哈佛总线结构，内部有硬件乘法器、累加器，使用流水线 结构，具有良好的并行特性，并有专门设计的适合信号处理的指令系统等。d s p 芯片的这 些特点使得它非常适合用于不允许有延迟的实时应用领域，并且对于图像处理系统而言， 一块d s p 芯片结合外围电路就能完成整个系统的功能。这种方案的好处是系统灵活，硬件 系统设计完成后，整个系统的升级仅仅是修改软件即可完成。 目前市场上的d s p 芯片以美国德州仪器公司的t m s 3 2 0 c 6 0 0 0 系列和美国模拟设备 公司( a d d 的b l a c k f i n 系列为主流。 综合比较以上方案的优缺点可知： 6 塑垩三些查堂婴主堂垡丝苎 第一种方案基于p c 的软件编码器使用比较方便，技术成熟，但是其过分依赖于计算机， 使用领域比较有限。 第二种方案成本高而且难于系统升级 第三种方案专用性比较强，开发代价比较大。 第四种方案非常适合于图像信号处理以及通用信号处理，而且这一方案具有性能上的 优势和通用性的特点，使得其成为真正使d s p 技术实用化的方法。另一方面，还由于d s p 芯 片价格的下降，使其应用领域不断扩展。 1 2 3 视频处理o s p 方案的选择 基于d s p 的嵌入式视频处理，由于其高速的处理性能和丰富的外设所以应用越来越广 泛。最新的视频处理方案，从低到高为【1 2 1 【1 3 】： 基于a d i 的b l a e k f i n 5 3 x ： 基于a d i 的b l a e k f i n 5 6 1 ： 基于p h i l i p s 的p n x l 5 0 0 ； 基于1 1 的1 m s 3 2 0 d m 6 4 2 ： 基于1 1 的d a v i n c i ( 1 m s 3 2 0 d m 6 4 4 6 ) ： t i 是d s p 行业的老大，而其产品t m s 3 2 0 d m 6 4 2 是数字视频的里程碑式的产品。该产品 以1 r i 的c 6 4 x 为核心处理器，它具有6 0 0 m 的处理能力，外围接1 2 丰富。可外接6 路视频输入， 带有p c i 接口和网络接口，该产品功耗极低，处理能力极强。 p h i l i p s 是最早开发视频d s p 的厂商之一，p n x 1 3 0 0 系列芯片视频监控产品中得到了大 规模的应用，其主要问题是功耗过大的问题，随后飞利浦推出阶1 5 0 0 系列及p n x l 7 0 0 系 列。p n x l 5 0 0 主流是3 0 0 m i 内频，内部配有专门的媒体协处理器，在p n x l 3 0 0 系列的基础上， 增加了网络1 2 ，i d e 接口，提供l e d 高分辨输出、高清视频输出( 1 9 2 0 x 1 0 8 0 ) ；具有视频滤 波和d e - i n t e r l a e e 视频处理单元。p n x l 5 0 0 是专业的视频处理d s p 。 b l a e k f i n 系列的d s p 采用双m a c 的结构具有正交的类似l u s c 的微处理器指令集，使单 指令多数据和多媒体操作都引入单指令结构。开发简单，调试方便，处理能力强。 d a v i n e i 为最新的1 r i 产品，采用a r m + d s p 架构来做产品给视频处理带来了革命。它宣 称提供各种视频处理算法开发包，但其算法开发包的使用可能要购买。所以说其芯片的价 格昂贵也是一个问题。 b l a e k f i n 5 6 1 做为一款双核处理器( 内置两个b f 5 3 3 ) ，原厂的想法是一个做音视频处 7 浙江工业大学硕士学位论文 理，一个运行操作系统，可是，不尽人意，而且现在b f 5 6 1 的价格太高。 b l a e k f i n 5 3 x 依靠其处理能力强，价格低廉，在低端场景具有很广的应用前途。 新一代视频编码标准h 2 6 4 具有很高的编码效率和良好的网络接口，是未来多媒体数 据压缩编码的应用主流。自从2 0 0 3 年3 月通过最终稿以来，围绕h 2 6 4 的应用研究正在广 泛展开。因此研究h 2 6 4 标准，并结合基于b l a c k f i n 5 3 3 的嵌入式系统进行应用研究，对 推广h 2 6 4 的应用具有重要意义。 1 3 内容安排 自从2 0 0 3 年3 月正式通过由i s 0 仍c 和r r u 合作制定的新一代视频编码压缩标准 h 2 6 4 以来，h 2 6 4 视频压缩技术迅速成为研究热点。世界上众多学者和厂商已经投入到相 关领域的研究中。随着嵌入式设备的日益普及，嵌入式的h 2 6 4 系统的研究也一跃而成为 热点。在众多的嵌入式系统方案中，嵌入式芯片的处理速度并不能满足h 2 6 4 算法的实时 性要求，因此有必要针对硬件平台对h 2 6 4 算法进行优化，以提高编解码速度。 本课题来源于浙江省科技计划项目“基于d s p 技术的全数字实时无线多媒体传输 系统的研制”，本人负责的是基于h 2 6 4 压缩标准的视频采集压缩编码系统的设计研究 通过对视频压缩标准的研究，以及基于当前视频编解码系统各种设计方案的分析和比较， 本文设计了一种基于b l a c k f i n 5 3 3d s p 的h 2 6 4 1 a v c 视频编码采集系统。基于b f 5 3 3 的 h 2 6 4 a v c 视频编码采集系统不但可以应用于家庭多媒体终端设备中，还可以应用于独立 的可视电话系统，远程监控系统中。从成本和发展前景看，都有较强的现实意义。 全文的内容组织安排如下： 第一章绪论部分介绍了视频压缩标准和嵌入式视频压缩系统及其发展、现状和特点； 比较了各种视频压缩方案，以及选题的背景和意义。 第二章介绍了视频压缩的基础理论、h 2 6 4 a v c 视频压缩标准的特点、h 2 6 4 视频流的 分层结构、h 2 6 4 视频编码器的关键技术已及编码器是实现。 第三章设计视频编码系统的硬件。根据功能要求，设计了基于a d id s p b f 5 3 3 的视频 编码器的硬件总体方案，并详细阐述了系统各个模块的硬件构成，并给出了各个模块的硬 件框图。 第四章基于h 2 6 4 视频编码的基本原理，对软件总体结构进行设计，并根据处理器的 存储结构特点，规划软件的数据、代码存储空间分配以及数据流组织。同时，根据 a d s p b f 5 3 3 系统硬件及编译系统特点，对h 2 6 4 编码程序代码进行优化。 叠 浙江工业大学硕士学位论文 第五章总结本论文的研究工作，并对未来的研究做了展望。 9 浙江工业大学硕士学位论文 第二章视频压缩与h 2 6 4 编码算法研究 2 1 视频编码的基本原理 视频编码的整体思想就是通过去除或减少各种相关以降低视频内容中的冗余，以达到 用较少的比特数来表示较大的视频图像内容的目的，进而实现对视频数据的压缩【1 5 j 。视频 编码的目的是要减少视频序列的码率，以便能够在给定通信信道上实时传输视频数据 1 1 4 】【1 6 】【1 7 埘。视频压缩主要基于三个因素：第一个是每帧图像的空间冗余度；第二个是在时 间坐标中，视频信号最近邻的帧之闻非常相似，这称为时间冗余度；第三个是信源符号之 间的统计冗余度。一个典型的视频压缩技术是将首帧图像按静态图像编码，接着确定前一 帧和当前帧图像的差别，通过对这些差值进行编码来得到后续帧图像的编码。如果当前帧 图像与前一帧图像差别很大，应该独立于其它帧图像对此帧单独编码。在视频压缩中，利 用前帧数据编码的帧称为帧问编码帧( h t e re a = e ) ，单独编码的帧称为帧内编码帧( z o c a 丘锄e 1 。 视频压缩一般是有损的。利用前一帧图像兄对当前图像f i 迸行编码将引入失真。结果， 后面继续利用蜀对蜀+ 的编码又会加剧这种失真。即使是无损视频压缩，由于诸如传输或 长时间放置等原因也可能会使某一帧损失某些位数。这正是为什么除了对首帧图像进行帧 内编码外，还必须在图像序列中间不时采用帧内编码的原因之一。帧内编码图像标记为， 帧间编码图像标记为p 。通常情况下，帧能带来比州贞更好的压缩比，而j 帧能带来对 编码后的视频流随机访问的能力，并起到防止错误蔓延的作用。 2 2 视频质量的检测 视频信号在编码和传输过程中会产生误差，产生的误差应该在允许范围内，所以有必 要定义一种能测量原始信号和处理后信号之间差别的客观准则。理想情况下，这种测量应 该与两个视频序列感觉上的差异相关联。然而，找到这样的一种方法是一件非常困难的工 1 0 塑坚三些查兰堡主堂垡丝壅 作。尽管己经提出了各种质量检测的方法，然而与人的视觉感觉有好的相关性的方法在计 算上是相当复杂的。目前大多数视频处理系统的设计是使两个视频序列x ，和之间的 均方误差( m s e ) 最小化【1 6 1 ，它的定义为： 施= l x e ( l ( m ，m ) 一y ：慨七) ) 2 ( 2 1 ) 这里是每个序列中的总象素数，甲是图像内部的象素分布函数。对于彩色视频，每个彩 色分量的m s e 是分别计算的。 与m s e 相比，以分9 1 ( d s ) 为单位的峰值信噪比( p s n r ) 更经常用于视频编码中的质量测 量。p s n r 定义为： p n s r 划g f 蛊1 亿z ， 这里l 壬o 、是视频信号的最大强度值a 对于最通常的每彩色8 比特的视频，- 壬，一= 2 5 5 注 意，对于固定的峰值，p s n r 完全由m s e 决定。p s n r 比m s e 更经常使用，是因为人们总是 倾向于将图像质量和某种p s n r 范围相关联。作为一个主要的准则，对于亮度分量，p s n r 高于4 0 d b 的图像一般意味着一个极好的图像( 即与原始图像很接近) ，3 0 - - 4 0 d b 之间通常意 味着一个好的图像( 失真度可以接受) ，2 0 3 0 d b 是较差的，p s n r j i 毛于2 0 d b 的图像质量是不 可接受的。 2 3f 1 2 6 4 分层结构 h 2 6 4 按功能将视频编码系统分为视频编码层c l ， v i d e oc o d i n gl a y e r ) 和网络抽象层 ( n a l ，n e t w o r ka b s t r a c t i o n 两个层次【l 叼i 捌。v c l 完成对视频序列的高效压缩；n a l 规范视频数据的格式，主要提供头部信息以适合各种媒体的传输和存储，如下图所示： 浙江工业大学硕士学位论文 l 亘 旺i 唾口 h 2 6 4 概念层 1 v c l l 网络抽象层ll 网络抽象层l n a l 存取层编码接口 存取层解码接口 r h 2 6 4 i h 3 2 0h 3 2 3 i ph 3 2 4r t p i pt c m p 一三萋主t 歹 i 有线网ll 无线网i 图2 1h 2 6 4 分层次结构图 n a l 作为h 2 6 4 标准的一部分正式定义了视频编，解码器和外部网络之间基于包的接口， 以便将v c l 层视频流进行协议封装后通过n a l 集成到传输层。 n a l 层把数据封装成为若干网络抽象单元o q a l u ，n a lu n i 0 ，这些网络抽象单元可以 在现有的大部分网络中以包的形式传送。封装于网络抽象单元中的数据称为原始字节序列 载荷( r a s p ，r a w b y t e s e q u e n c e p a y l o a d s ) 。根据r b s p 的不同，网络抽象单元中可以分为不 同的类型。h 2 6 4 中的r b s p 主要分为两种：一种为视频编码数据，一种为控制数据。视频 编码数据可以以s l i c e ( 每个s l i c e 由若干宏块组成) 为单位进行组织：也可以对s l i c e 进行数据 分割，即将每个s l i c e 中编码后的数据按类型分为三种，同类型的数据组织到一起，形成三 个数据划分( d a t ap a r t i t i o n ) ，视频编码数据以数据划分为单位进行组织，其中控制数据是指 视频序列参数、图像参数等信息。对于解码端，可以认为这些网络抽象单元或者正确无误， 或者在网络中丢失，或者存在位错误。一般，网络抽象单元头信息中会设有相应标志来指 示是否发生位错误，解码器能够识别发生位错误的网络抽象单元并决定是对其进行解码还 是丢弃。 v c l 层主要研究基于混合编码中涉及到的常规的运动补偿、变换编码、熵编码等编码 技术，来提高视频信号的编码效率。使用s l i c e 技术，将一个待编码图像分割成许多宏块来 处理；一般v c l 的主要任务如下： ( 1 ) 通过分块技术将对整帧的处理降到对块的处理，来降低视频处理时间。 ( 2 ) 通过变换、量化和熵编码方式对原始块进行编码，以达到降低视频帧在空间上存 1 2 浙江工业大学硕士学位论文 在的冗余度的目的。 ( 3 ) 采用运动估计和运动补偿技术只对残差数据编码，以降低时间冗余。 h 2 6 4 中的v c l 层主要致力于获得高的压缩效率。与h 2 6 3 或m p e g - 4 相比，h 2 “在使 用与上述编码方法类似的最佳编码器时，在大多数情况下可节省5 0 的码率，这与其在v c l 层采用的优秀编码技术密切相关。同时，该层中的很多句法结构为包传输网络中处理包丢 失和在易出错的无线网络中处理比特误码提供了极大的便利。 2 4h 2 6 4 编解码器 与先前的其他编码标准( 如h 2 6 3 ，m p e g - 4 ) 一样，h 2 6 4 标准并没有明确的定义一个编 码解码器。更确切的说，标准定义了经过编码的视频位流的语法以及对这种位流解码的方 法。实际应用中，符合语法的编码器和解码器需要包括一些必须的模块。除此以外，标准 对具体编解码器的实现留有很大的余地。 h 2 6 4 的视频编码也采用与m p e g _ 4 和h 2 6 3 类似的基于块的混和编码方法，通过复 杂的帧间预测来减少运动图象时域上的相关信息，通过对预测残差进行变换来减少运动图 象空问上的相关信息。另外，还使用多种优于以往压缩算法的方法来提高整体的压缩性能。 h 2 6 4 编码器框图如图2 2 所示【j 4 i ： 图2 2h 2 6 4 编码器结构流程 h 2 6 4 编码的一般流程：当前输入帧为e ，帧以宏块为单元进行处理( 对应于原图象 1 6 x 1 6 象素) 。每一宏块按帧内或帧间模式进行编码。在帧内模式中，预测帧p 用当前帧中 己编码并被重建的部分采样值来预测。在帧间模式中，p 帧从一个或多个参考帧的运动补 偿预测中获得。在图中，参考帧表示为已经编码的帧礤。：预测值被从当前宏块中减去， 浙江工业大学硕士学位论文 形成残值和差值宏块d 。这个宏块经变换和量化过程后得到x ，经量化的传输系数集合。 这些系数被重新排序然后进行熵编码。熵编码后的系数和一些在解码宏块的时候需要的信 息( 如宏块的预测模式、量化步长、描述宏块如何进行运动补偿的运动矢量信息等) 一起形 成了压缩好的码流。这个码流被送到n a l 进行传输或存储。 编码器中还存在一条重建路径。宏块的系数x 经过反量化和反变换，得到了一个差分 宏块噬，这与原来的差分宏块d 。并不完全相同，因为量化和反量化的过程产生了信息的 损耗。将预测宏块p 和谚相