（电子科学与技术专业论文）基于高性能yhft+dsp的视频处理器的设计.pdf

国防科技大学研究生院学位论文 a b s t r a c t t h ea d v e n to fd i g i t a lv i d e os y s t e m s ，s u c ha sv i d e oc o n f e r e n c e , v i d e ot e l e p h o n e ，s t a n d a r d d e f i n i t i o nt e l e v i s i o n ( s d t 价a n dh i g hd e f i n i t i o nt e l e v i s i o n0 - j d a w ) h a ss i g n i f i c a n t l y c h a n g e d t h ew a yp e o p l ec o m m u n i c a t ew i t he a c ho t h e ra n de n j o yt h e m s e l v e s f u r t h e r m o r e , d i g i t a lv i d e ot e c h n o l o g yi sc o n s i d e r a b l ya d v a n c e db yt h eu n i f i c a t i o no f d i f f e r e n td i g i t a lv i d e os t a n d a r d sw h i c ha p p l yf o rd i f f e r e n ta p p l i c a t i o ne n v i r o n m e n t t h e d e v e l o p m e n to fd i g i t a lv i d e ot e c h n o l o g ya l s op r o m o t e st h ea d v a n c eo fd i g i t a ls i g n a l p r o c e s s i n gt e c h n o l o g y , p r o v i d i n gm o r eo p p o r t u n i t i e sf o rd i g i t a ls i g n a lp r o c e s s o r ( d s p ) t of i n di t sw a yi nv i d e oc o n f e r e n c e , v i d e ot e l e p h o n e , s d t v , h d t v b u ti ti sa l s oag r e a t c h a l l e n g et od e v e l o pr e a l - t i m e ，h i 曲一p e r f o r m a n c ed i g i t a lv i d e os y s t e m s 谢t l ih i 曲 c o m p l e x i t y , d u et ot h eb a n d w i d t ho fm e m o r ys y s t e m , p r o c e s s i n gc a p a c i t ya n dp o w e r c o n s u m p t i o no f d s p a tp r e s e n t , t h em a r k e to fa p p l i c a t i o n s p e c i f i cv i d e op r o c e s s o ri sm a i n l ys h a r e db y f o r e i g nc o m p a n i e s ，w i t hn 0c o r r e s p o n d i n gp r o d u c ti ns u c ha r e nh a sb e e nl a u n c h e db y d o m e s t i cc o m p a n y t h e r e f o r e , i ti sh i e , h l yn e c e s s a r yt od e s i g naa p p l i c a t i o n s p e c i f i c v i d e op r o c e s s o rw i t hi n d e p e n d e n ti n t e l l e g e n c e - p r o p e r t yb a s e do i ly h f td s pw h i c hi s d e s i g n e di n d e p e n d e n t l yb yc o m p u t e rs c h o o lo fn u d ti no r d e rt om e e tt h ed o m e s t i c r e q u i r e m e n tf o ra p p l i c a t i o n - s p e c i f i cd s pf o rv i d e o a u d i os i g n a lp r o c e s s i n gi nt h e f o r t h c o m i n ga g eo f d i g i t a lv i d e o a tt h eb e g i n n i n go ft i f f s p a p e r , s e v e r a lp o p u l a rv i d e oc o m p r e s s i o n d e c o m p r e s s i o n s t a n d a r d sh a v eb e e ni n t r o d u c e d ，a n dd i s c u s s i o na b o u tc u r r e n tm a i n s t r e a mm e d i a p r o c e s s o r si nt h ew o r l di sa l s od e a l e dw i t hi nd e t a i l i nt h ee n do f c h a p t e rl , t h en e c e s s i t y a n df e a s i b i l i t yo fd e s i g n i n gav i d e op r o c e s s o rw i 廿li n d e p e n d e n ti n t e l l e g e n c e - p r o p e r t yi s a n a l y s e da n d j u s t i f i e db a s e do nt h ep r e v i o u sd i s c u s s i o n i nt h i sp a p e l as o f t w a r em p e g - 2s d t vv i d e od e c o d e ri si m p l e m e n t e db a s e do ny 砸t d s p w eh a v ea l s od i s c u s s e da l g o r i t h m si nt h ed i f f e r e n ts t a g e so ft h ev i d e od e c o d e ra n d t h e i rr e q u i r e m e n tf o rp r o c e s s i n gc a p a c i t y , m e m o r yb a n d w i d t ha n dp o w e rc o n s u m p t i o no f y h f td s p ah i 【g h - p e r f o r m a n c ev i d e op r o c e s s o r y h f t - v d s pi s p u tf o r w a r d ， c o m b i n i n gt h ep r e v i o u sd i s c u s s i o na n dt h ed i f f e r e n td e s i g ns c h e m e so fc u r r e n t m a i n s t r e a mm e d i ap r o c e s s o r si nt h ew o r l d t h ed e t a i l e dd e s i g ns c h e m eo fy i 亦t - v d s p i sd e s c r i b e db a s e do nt h ej u s t i f i c a t i o no ft h er a t i o n a l i t ya n df e a s i b i l i t yo fy h f t - v d s p s p e e d u po fy h f t - v d s pr e l a t i v et o y h f rd s pi n t e f m so fv i d e os i g n a lp r o c e s s i n g p e i f o r m a a e e i sa l s od i s c u s s e di nd e t a i l t h e a p p l i c a t i o no f 2 - d i m e n s i o n d c i y i d c ti nv i d e oc o m p r e s s i o n d e c o m p r e s s i o ni sa l s o 第i i 页 国防科技大学研究生院学位论文 d i s c u s s e d f o l l o w e db yt h ea d j u s t m e n to naf a s t2 - d i m e n s i o ni d c ta l g o r i t h mi no r d e rt o f a c i l i a t et h eh a r d w a r ei m p l e m e n t a t i o no ft h ea l g o r i t h m i nt h el a t t e ro ft h i sp a p e r , w e d i s u s e dah i 曲一s p e e d , p a r a l l e lh a r d w a r ei m p l e m e n t a t i o no fd c t - 一ap a r to f 哪t - v d s p , b a s e do nt h ea d j u s t e da l g o r i t h m f i n a l l y , t h ee d m as y s t e mo fy h f tv d s pi si m p l e m e n t e db a s e do nt h ee d m a o f y - i f td s p i n t e r c o n n e c t i o nb e t w e e ne d m aa n do n - c h i pv i d e op o r ti sa l s od e s i g n e d a t t h ee n do ft h i sp a p e r , f u n c t i o n a ls i m u l a t i o na n dv e r i f i c a t i o no nt h ee 叫讧as y s t e mo f y h f tv d s pi sd o n eb a s e do nt e s t b e n c hw h i c hi sd e s i g n e da c c o r d i n gt ot h e p a r t i c u l a r i t yo f v i d e oa p p l i c a t i o ns y s t e m st or e p r e s e n t r e a le n v i r o n m e n t k e y w o r d s ：m p e g ，y h f t d s p ，y h f t - v d s p ，v l d ，i d c t ，m c e d m a ，m e d i ap r o c e s s o r ，v i d e od e c o d i n g , v i d e op o r t 第i i i 页 国防科技大学研究生院学位论文 表目录 表1 1 与其它标准比较，h 2 6 4 在比特率上减少的程度6 表2 1 解码器各阶段算法平均执行时间2 3 表2 2m p e g - 1 视频解码程序各部分运行时间( c 6 2 x x ) 。2 7 表2 3m p e g - 2 视频解码程序各部分运行时间( r ic 6 2 x x ) 2 7 表2 4m p e g - 2 视频解码程序各部分运行时间( y h r rd s p ) 2 7 表2 5c 6 2 x x ，c 6 4 x x ，y h f td s p 的视频处理能力比较2 8 表2 6c 6 2 x x ，c 6 4 x x ，y h f td s p 的视频处理能力比较2 8 表2 7 视频解码过程中的时间利用率2 9 表2 8l 1c a c h e 的详细状态信息2 9 表2 9l 2c a c h e 的详细状态信息3 0 表3 1y h f t - v d s p 对m p e g 解码中核心算法的加速3 5 表3 2 单独增加某个加速单元时y i - i f r - v d s p 所获得的性能提高3 5 表3 3e m i f 的地址空间映射4 8 表5 1y i 弧t - v d s p 的) a 饭通道同步事件7 0 表5 2e d m a 中数据传输请求的优先级7 1 表5 3e d m a 参数m 与事件之间的映射关系7 1 表5 4 参数r a m 中各项参数的描述7 2 表5 5y h f t - v d s pe d m a 控制寄存器7 3 表5 6 传输请求队列长度及其分配7 5 表5 7e d m a 总线接口信号7 7 表5 8d m a 接口中与视频端口有关的信号7 8 表5 9y h f t - v d s pe d m a 系统相对td s p 的e d m a 的扩展通道，7 9 第页 国防科技大学研究生院学位论文 图目录 图1 1y h f t d s p 的整体结构图l o 图2 1 单个音频和视频原始数据流的基本多路复用方法1 5 图2 2p e s 包的组成，：1 5 图2 3p s 包的组成1 6 图2 4t s 包的组成1 7 图2 5m p e g - 2 视频解码流程1 8 图2 6d c t 的奇偶分解算法2 2 图3 1 巧t v d s p 的系统结构图一3 4 图3 2v l d 单元的功能结构3 7 图3 3d c t 单元的功能结构3 8 图3 4 一种m p r g - 4 运动补偿算法的硬件实现结构4 0 图3 5 部分控制计算功能单元的结构划分4 2 图3 6 t - ) s p 的m c 单元的功能结构4 3 图3 71 4 象素滤波器中的加法器网络4 4 图3 8 采用加法器网络的l 4 象素滤波器4 4 图3 9 采用两个加法器网络实现的1 4 象素滤波器4 5 图3 1 0 动态部分控制计算的插值器中的加法器单元。4 5 图3 1 l 动态部分控制计算插值器的结构4 6 图3 1 2 外部存储器接口总体结构图5 0 图3 1 3 视频端口结构图5 2 图4 1 采用d c t 对视频信号进行压缩的过程5 7 图4 22 - di d c t 结构6 1 图4 3 第l 级1 - di d c t 的硬件实现结构6 2 图4 4 第2 级1 - di d c t 的硬件实现结构6 3 图4 5 第一维d c t 运算的模拟验证6 4 图4 6 存储缓冲读写的模拟验证6 4 图4 7 第二维d c t 运算的模拟验证一6 4 图4 8 c t 单元的综合结果6 5 图5 1y h f t - v d s pe d m a 控制器结构6 9 图5 2e 聊肚通道事件对应的通道参数7 2 图5 3e d m a 传输请求提交过程7 4 图5 4 地址产生传输逻辑结构图7 5 图5 5 视频端口与e d m a 控制器的互连结构7 6 图5 6e d m a 通道2 2 的数据传输操作模拟结果8 0 第v 页 国防科技大学研究生院学位论文 图5 7 通道2 2 的配置过程8 1 图5 8 通道2 3 的配置过程8 1 图5 9e i 坻枷t 通道2 2 、2 3 的响应过程8 l 图5 ，1 0e d m 埘通道2 2 的响应结果8 1 图5 1 1e d m a 对通道2 3 的响应结果8 2 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：基王直性能! ! 旦! 婴煎塑题矬堡墨鳗遮进 学位论文版权使用授权书 日 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目 学位论文作者 作者指导教师 国防科技大学研究生院学位论文 第一章绪论 随着数字化时代的到来，越来越多的应用领域开始掀起了一场数字化革命。 数字视频图象处理技术也日益渗透到传统的视频应用系统中。例如，在视频监控 领域，集中了多媒体技术、数字图像处理及远程网络传输等最新技术的数字监控 系统正逐步取代传统的模拟监控系统，它代表了监控系统发展的新潮流，正在被 越来越多的工业、商业及其他部门所使用，经济效益和社会效益巨大；视频会议 技术的发展对声音图像压缩质量、通讯线路带宽等方面都提出了更高的要求，目 前主要的发展趋势是采用更高压缩率的视频编、解码技术并在网络带宽有限的条 件下保证压缩图象的质量。目前新的理论、算法不断推进多媒体信息处理技术的 发展，进而推动着视频会议技术的发展。 最早实现数字视频的行业是家庭消费的v c d 和d v d ，在9 0 年代初v c d 问 世后带来了人们在家庭娱乐的新模式，而最早实现v c d 商业化的c - c u b e 公司， 其核心的m p e g - 1 的解码芯片就是基于d s p 实现的专用芯片。数字视频的发展， 是随着数字视频标准的发展而发展，它将经历数字化、网络化和智能化的步骤发 展，并且由此带来无限的商机。数字化的阶段其实就是一个标准化的阶段，现阶 段国际两大组织分别制订了m p e g 标准和h 2 6 x 的标准，比如m p e g - 1 的标准带 来了v c d 的兴起，m p e g - 2 的标准带来了d v d 的商机，而h 2 6 1 、h 2 6 3 为可视 电话制订标准并为此形成网络化时代的新兴市场，数字视频的标准也逐步开始统 一，随着m p e g - 4 和h 2 6 4 的推出，标准的统一将成为可能。 d s p 是数字信号处理器( d i g i t a ls i g n a lp r o c e s s o r ) 的简称，在全球的数字化浪 潮中，d s p 以其高性能和灵活的软件可编程性等优点，在各种信号处理领域取得 了广泛的应用。最初d s p 的应用主要集中在专业数据通信和语音处理领域，如各 种专用调制解调器、声码器、数据加密机等。随后d s p 的应用扩展到诸如硬盘驱 动器、通用调制解调器、数字答录机、无线通信终端等领域。上个世纪九十年代， d s p 在数字g s m 手机和无线基站等应用中获得了巨大的成功。目前d s p 己全面 进入到宽带通信、数字控制、数字音频、数字视频等新兴应用领域中。 视频、音频处理方面也已经由前几年的a s i c 方案转向d s p 平台，现阶段， d s p 在数字监控、会议电视、可视电话、家庭媒体网关和数字基顶盒等领域得到 很好的应用。相比较a s i c 和基于p c 组合的计算机多媒体工作方式而言，在嵌入 式d s p 平台上进行视频产品开发有以下几方面的优势； 1 ) d s p 处理能力强。可以在一个d s p 上实现多路音频、视频输入信号的实时 压缩处理，同时提供网络接入功能，实现点对点、一点对多点、多点之间的实时 同步交互通信。 第1 页 国防科技大学研究生院学位论文 2 ) 产品开发周期短、灵活性大、重复开发成本低。可以不断对产品性能进行 升级，并支持多种个性化开发，满足不同市场不断提出的要求。 3 ) 分布区域广嵌入式数字视频监控、数字视频会议等系统中，服务器和终 端设备可直接连入网络，没有地域的限制，扩展了应用系统的分布区域。 4 1 系统功耗低、性能稳定可靠。数字视频、音频等应用系统中多采用嵌入式 实时多任务操作系统，将视频压缩、解压，网络传输等功能集中到一个体积很小 的设备内，即插即用，系统的实时性、稳定性、可靠性大大提高，尤其适用于无 人值守的环境。 目前视、音频编、解码技术的具体实现主要有两种形式：一专用视频图象编、 解码芯片，如飞利浦公司的t r i m e d i a 和w i s 公司推出的w i s g 0 7 0 0 7 等。二基于 d s p 的嵌入式编、解码软件算法。两种形式的比较如下： 1 1 专用视频图象编、解码芯片价格高。视频编、解码技术还处于发展阶段， 其算法本身及相应的固化技术还不够成熟，加之视频编、解码算法的复杂性使得 专用视频图象编、解码芯片的价格比较昂贵。而视频编、解码软件算法的价格非 常低廉，m p e g 组织等机构都己发布了开源的视频编、解码算法源代码。但这些 开源的代码是独立于各种平台的，直接移植的算法执行效率很低，需要进行大量 的优化工作。 2 ) 专用视频图象编、解码芯片的可控性和交互性差。不同的应用场合对视频 流的图象质量、码率等参数有不同的要求，如m p e g - 2 分4 级5 类共n 种单独的 技术规范分别对应于不同的应用要求。但目前的专用视频，图象编、解码芯片只实 现了视频编、解码标准中的部分最基本的功能，编、解码过程没有可控性和交互 性。而视频编、解码软件算法可以在编、解码过程中对图象质量、算法复杂度进 行灵活地选择、控制，可控性和交互性强。 3 ) 专用视频，图象编、解码芯片可扩展性差。硬件实现的视频编、解码算法由 于其算法固化在芯片中，使得无法对算法进行方便的修改和优化。而视频编、解 码软件算法以其灵活性、可扩展性取得了广泛的应用。 以上原因使得专用视频图象编、解码芯片的应用主要集中在少数图象质量要 求较高、实时性要求较强的应用场合。一般的应用场合普遍采用的策略是基于d s p 嵌入式系统的视频编、解码软件算法开发。 下面对常用的几种视频，图象编、解码国际标准作一简单介绍。 1 1 常用视频图象编、解码国际标准 m p e g 是运动图像专家组( m o 、，i a gp i c t u r ee x p e r t sg r o u p ) 的简称，其实质上的 名称为国际标准化组织( i s o ) 和国际电工委员会( 匝c ) 联合技术委员会( j t c ) l 的第2 9 分委员会的第1 1 工作组，即i s o m cj _ i l s c 2 9 ，w g l l ，成立于1 9 8 8 第2 页 国防科技大学研究生院学位论文 年。其任务是制定世界通用的视倍频编码标准。该专家组基于帧内图像相邻像素 间及相邻行间的空间相关性和相邻帧间运动图像的时间相关性，采用压缩编码技 术，将那些对人眼视觉图像和人耳听觉声音不太重要的东西及冗余成分抛弃，从 而缩减了存储、传输和处理的数据量，提高了频谱资源利用率。m p e g 组织自成 立以来制定了m p e g - l ，m p e g - 2 ，m p e g - 4 ，m p e g - 7 ，m p e g - 2 1 等一系列m p e g 标准，极大地推动了视频图象处理的数字化进程。 1 1 1m p e g - 2 视频编、解码标准 m p e g - 2 标准是在m p e g - 1 标准基础上的进一步扩展和改进，主要是针对数 字视频广播、高清晰度电视和数字视频等应用领域制定的4 9 m b i t s 运动图像及 其伴音的编码标准，被认定为s d t v 和h d t v 的编码标准，是数字电视机顶盒与 d v d 等产品的基础。m p e g - 2 采用运动预测帧压缩方式，针对视频压缩有很好的 效果，在获得广播级数字视频质量的前提下，仍可以实现2 0 ：1 的压缩效率。m p e g - 2 发展的比较成熟，并已经成为广播电视行业的标准。今后m p e g - 2 将会在s d t v 、 h d t v 等有线电视应用领域迸一步发展。 m p e g - 2 系统与m p e g - i 系统向下兼容，因此其语法的最大特点在于兼容性好 并可扩展。m p e g - 2 的目标与m p e g - l 相同，仍然是提高压缩比，改善音频、视 频质量，采用的核心技术还是分块d c t 和帧间运动补偿预测技术。m p e g - 2 视频 允许数据速率高达1 0 0 m b i t s ，支持隔行扫描视频格式和许多高级性能。考虑到视 频信号隔行扫描的特点，m p e g - 2 专门设置了“按帧编码和“按场编码”两种模式， 并相应地对运动补偿和d c t 方法进行了扩展，从而显著提高了压缩编码的效率。 考虑到标准的通用性，增大了重要的参数值，允许有更大的画面格式、比特率和 运动矢量长度。除此之外，m p e g - 2 视频压缩编码还进行了以下扩展： 1 ) 输入腧出图像彩色分量之比可以是4 ：2 ：0 ，4 ：2 ：2 ，4 ：4 ：4 。 2 ) 输入腧出图像格式不限定。 3 ) 可以直接对隔行扫描视频信号进行处理。 4 ) 在空间分辨率、时间分辨率、信噪比方面的可分级性适合于不同用途的解 码图像要求，并可给出传输上不同等级的优先级。 5 ) 码流结构的可分级性，比如头部信息、运动矢量等部分可以给予较高的优 先级，而对于d c t 系数的高频分量部分则给予较低的优先级。 6 ) 输出码率可以是恒定的也可以是变化的，以适应同步和异步传输。 m p e g - 2 视频是一系列的系统，每个系统具有安排好的共性和兼容程度。它 允许对四种输入格式或者级别进行编码，从简单清晰度( c 格式) 到完全的高清晰 度电视i - i d t v ( h i g hd e f t n i t i o nt e l e v i s i o n ) 。除了输入格式的这种灵活性外，m p e g - 2 还规定了分辨率从低到高的4 级5 类共1 1 种单独的技术规范，同一种类不同级别 间的图像分辨率和编码速率相差甚远。 第3 页 国防科技大学研究生院学位论文 m p e g - 2 分级编码的目的主要有以下两个方面： 第一，在于在不同业务之间能提供互操作性，能较灵活地支持具有不同显示 功能的各种接收端。有的接收端既没有能力或者也不要求再现视频的全部清晰度， 那么就可以只对分层比特流的子集进行解码，以较低的空间或时间清晰度来显示 视频图像。 第二，可提供分层的视频比特流，从而可以对不同层的比特流按照不同的优 先级顺序进行传送，能灵活地支持多种清晰度。这一功能使得高清晰度电视 ( h d t v ) 和标准清晰度电视( s d t v ) 可以相互配合运作。对h d t v 源进行分级编 码后，可以对编码后的码流进行分级传输，使得s d t v 接收端可以选择性地接收 h d t v 码流中的基本码流，这样就能避免将两个单独的比特流分别传输给h d t v 和s d t 、，接收端。从而解决了h d t v 接收端和s d t 接收端产品兼容的问题。 可分级编码的详细内容见附录b 。 1 1 2m p e g - 4 视频编、解码标准 m p e g 于1 9 9 1 年5 月提出关于视频音频编码的m p e g - 4 项目，设系统、音频、 视频，需求、实现研究、测试及自然合成混合编码( s n h c ) 子组，1 9 9 8 年1 1 月 成为国际标准。m p e g - 4 提供更强的交互能力。场景中的每个对象独立编码，用户 可以选择性地与其中某( 几) 个对象交互，具有良好的重用性。重新组合音视对象 a v o ( a u d i o v i s u a lo b j e c t ) 构造新场景，可以集成各种对象无缝地集成自然信息 与合成信息、实时信息与存储信息。a v o 可以是单，双侈声道音频信息、单双多 镜头2 d 3 d 视频信息。可以透明地访问信息，通过各种网络传输的信息最终映射 为本地信息，整个过程给用户的感觉就如同访问本地信息。m p e g - 4 几乎涵盖了 m p e g - 2 的所有功能而且允许基于内容的可伸缩性和服务质量( q o s ) 参数，更加 灵活、可扩展、充分考虑未来技术的发展及应用需求。m p e g - 4 将解码器可编程能 力分为：不可编程的标准工具集合( f l e x o ) ；由标准化工具及其接口灵活配置的 算法( f l e x - 1 ) ；多种工具构成可能算法的标准化可扩展机制( f l e x - 2 ) 。 m p e g - 4 将应用在移动通信和公用电话交换网p s t n ( p u b l i es w i t c h e dt e l e p h o n e n e t w o r k ) 上，并支持可视电话( v i d e op h o n e ) 、电视邮件( v i d e om a i l ) 、电子报刊 ( e l e c t r o n i cn e w s p a p e r s ) 、基于对象的查询和其他低数据传输速率场合下的应用。 新一代的基于对象的编码标准m p e g - 4 和传统的m p e g - 1 、m p e g - 2 和h 2 6 3 相比较，它在存储容量、交互性、抗误码性、网络传输等方面都具有巨大的优势。 在存储容量方面，采用m p e g - 4 编码技术的视音频全同步的视频流所需的硬 盘空间约为相同图像质量的m p e g 1 或m 一胍g 所需空间的1 1 0 ，此外，m p e g - 4 能根据场景变化自动调整压缩方法，故对静止图像、般运动场景、剧烈活动场 景均能保证图像质量。 第4 页 国防科技大学研究生院学位论文 在交互性方面，m p e g - 4 采用的是基于对象的编码，便于操作和控制对象。所 谓基于对象的编码是指，m p e g - 4 不再将图像看成是一个矩形像素阵列的序列，把 音频看成是一个多声道或单声道的声音，而是深入到组成一个场景的视频、音频 对象的语义中去，对不同的主体采用不同的编码方式，例如把一幅图像中运动的 足球和绿色的草场背景分别进行编码。各种视、音频源可以来自于自然界也可以 是合成源。 在抗误码性方面，m p e g - 4 提供了强壮性和可扩展性，并且对其误码恢复技术 ( 包括再同步，数据恢复和错误隐藏) 都进行了优化。当网络传输有误码或丢包 现象时m p e g - 4 受到的影响很小，并且能够很快恢复。例如，当误码率达到1 时 m p e g - 4 只会有轻微的边缘模糊但m p e g - 1 已无法播放；当网络传输出现丢包现 象时m p e g - 4 的恢复时间只需1 - 3 秒而m p e g - 1 恢复至少需要1 0 多秒。 在网络传输方面，m p e g - 4 主要针对于低码率应用场合，适用相对范围宽可以 在极低的带宽上( 6 4 k b s 以下) 传输视频流。目前在低带宽上传输活动视频的另一 个解决方案就是采用h 2 6 3 标准，尽管h 2 6 3 也有较高的压缩比，但是图像质量 要差于m p e g 4 。 基于上述的特点，m p e g - 4 在嵌入式数字视频监控、数字视频会议等领域受 到越来越广泛的关注，具有良好的应用前景。 1 1 31 t 2 6 4 ，a v c 视频编、解码标准 国际电联r 兀卜t 和i s o i e c 自2 0 0 1 年1 2 月起组成了的丁v t 0 0 i n tv i d e ot e a m ， 联合专家组1 ，n 的最终国际标准草案f d i s ( f i n a ld r a f to f i n t e r n a t i o n a ls t a n d a r d ) 经历两个月的批准程序于2 0 0 3 年5 月3 0 得到r r u - t 的获准，而成为r r u th 2 6 4 国际标准建议。在i s o i e c ，j 、吓的f d i s 也于1 0 月2 1 日得到批准，从此正式成 为i s o i e c1 4 4 9 6 - 1 0 国际标准建议，或m p e g - 4a v c 。h 2 6 4 a v c 标准的获准， 使该标准的应用向市场迈近了关键的一步。 h 2 6 4 是i t u 在m p e g - 4 基础上开发出来的新的视频编码算法，h2 6 4 的编解 码框架与以前提出的标准，如h 2 6 1 、h 2 6 3 及m p e g - 1 2 4 并无显著交化，也是 基于混合编码的方案：以运动矢量代表图像序列各帧的运动内容，使用前面已解 码帧对其进行运动估计和补偿或使用帧内预测技术，所得的图像参差值要经过变 换、量化、熵编码等部分的处理。所以，新标准的性能提升在于各个部分的技术 方案的改进及新算法的应用。 h 2 6 4 标准分成三个框架( p r o f i l e ) ：b a s e l i n e 、m a j np r o f i l e 及e x t e n d e dp r o f i l e ， 代表针对不同应用的算法集及技术限定。b a s e l i n e 主要包含低复杂度、低延时的技 术特征，主要针对交互式的应用，考虑到恶劣环境下的容错性，内容基本都被其 它更高级别的p r o f i l e 所包含；m a i np r o f i l e 是针对更高编码效率的应用，如视频广 第5 页 国防科技大学研究生院学位论文 播；e x t e n d e dp r o f i l e 的设计主要针对流媒体的应用，在这一框架中所有容错技术、 对比特流的灵活访问及切换技术都将包括其中 为了阐述h 2 6 4 的编码效率，参考文献 2 4 】将其与其它标准如m p e g - 2 、h 2 6 3 、 m p e g - 4 等作比较。具体参数设置如下： 使用的测试图像序列格式为q c i f 、c i f ；所有编码器都使用拉格朗日优化技 术；使用h 2 6 4 的测试软件j m 2 0 并使用了m a i np r o f i l e 的主要技术特征；对h 2 6 3 和h 2 6 4 采用的参考帧数为5 ，只编码图像序列的第一帧为i 帧，每2 个参考帧p 之间插入2 个非参考帧b ；使用全搜索方式进行3 2 x 3 2 整数范围的运动估计，且 由预先设定的量化参数来进行比特率的调整。 表1 1 为对c i f 格式的图像序列t e m p e t e 在帧率为1 5 h z 时所作的测试比较。 表1 i 与其它标准比较，h 2 6 4 在比特率上减少的程度 c o d e cl 皿e g - 4h 2 6 3巴e ( 2 h 2 6 43 9 4 9 6 4 口e g - 41 7 4 3 h 2 6 3 3 1 h 2 6 4 a v c 标准的主要目的是提高压缩效率，它具有以下三大特点；更高的 编码效率、更强的解码差错恢复能力、以及提高了对移动通信和d 网络的适应性。 h 2 6 4 a v c 为实时应用( 视频电话) 和非实时类应用( 存储，广播或者流媒体) 提供一 个优良的视频压缩编码通用工具。新标准更迸一步体现了对视频信源的适应性， 但这种适应性是以提高算法的复杂性和增加对参考帧的存储能力为代价的。 h 2 6 4 标准不仅针对视频会议系统，而且涵盖了电视广播、网络流媒体、多媒 体信息的数字存储、数字影院等各方面的应用。总之，由于采用了先进的压缩技 术，h 2 6 4 拥有优异的视频实时处理性能，必将会引发视频传输相关技术研发的又 一次浪潮，同时创造出巨大的商业机会。 1 2 当前国际主流视频处理d s p 发展现状 随着多媒体技术的广泛应用，采用d s p 芯片开发多媒体处理设备成为一种重 要的趋势。由于多媒体信号处理技术处于一个高速发展的阶段，各种国际标准共 存，新标准不断涌现，因而需要不断更新设备的视频编、解码技术。由于专用a s i c 芯片的扩展能力和灵活性等因素极大地限制了设备进行视频编、解码技术升级的 能力，业界需要一种更为通用的、可以提供与专用a s i c 芯片相同或相近的编、解 码效率的d s p 芯片。媒体处理器应运而生。 媒体处理器提供了完全可编程的多媒体设备的实现方案。媒体处理器继承了 通用d s p 芯片的特点，针对多媒体应用扩充了各种接口功能，如数字视音频输入 输出接口等；优化了中央处理器结构，如扩展s i m d 指令、采用多媒体协处理器 等。多媒体输入输出接口、多媒体协处理器使应用变得更加简单，设备厂家可以 第6 页 国防科技大学研究生院学位论文 根据市场变化随时进行软件升级，及时满足市场需求，而不会受制于专用芯片本 身技术特点带来的限制。媒体处理器支持的嵌入式操作系统以及软件优化，使视 频会议等系统更加高效、稳定、可靠。 尽管媒体处理器出现的时间不长，但已得到广泛关注。g a r g n o r r e s e a r c h 预计， 随着消费者对能够传输广播电视、电影、音乐、游戏等数字媒体内容的消费电子 和p c 设备需求的增长，到2 0 0 8 年，全球几乎l 3 的家庭都会接入宽带互联网。 随着对数字内容需求的增长，消费电子产品生产商正在寻求能兼顾高性能和低成 本的理想的媒体处理器。目前，媒体处理器技术事实上已经成为视频会议等应用 领域的核心技术，而且已进入到3 g 可视手机等终端等应用产品领域中。可以预见 媒体处理器将会快速应用到多媒体设备制造业中。 正是考虑这种需要，p h i l i p s 、t i 等半导体供应商都十分看好媒体处理器市场， 并推出了具有竞争力的产品例如1 f i 公司的t m s 3 2 0 d m 6 4 2 、飞利浦的t r i m e d i a 和e q u a t o r 的m a p c a ，它们集成了丰富的多媒体信号接1 2 1 ，针对多媒体信号的特 点优化了处理器结构，甚至内嵌了特殊协处理器用于进行专门操作，缓解通用处 理器的压力，例如视频编码中的变长编解码( l c v l d ) 。它们以各自的技术特色受 到市场的广泛应用。 下面对当前市场上流行的两款媒体处理器的主要性能特征和产品化实现方面 做一个简单比较。 1 2 1p h i l i p s 媒体处理d s p p h i l i p s 是最早开发视频d s p 的厂商之一，最早在1 9 9 6 年就推出了t d m e d i a 系列的第一款芯片t m - 1 0 0 0 ，当时主要的定位是数字电视方面的产品，随后推出 了t m