高性能视频开发验证平台系统的设计硕士论文

1、硕 士 学 位 论 文论文题目 高性能视频开发验证平台系统的设计_high performance video development and verification platformwritten byqingxiao jiangdirected byprof. yu ludepartment of information science and electronic engineeringzhejiang universityhangzhou, 310027p.r.chinafebruary 2006submitted in conformity with the requirement

2、s for the degree of masterin zhejiang university学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学

3、位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日摘 要视频编解码技术在日新月异的飞速发展，为了迎合高速发展的多媒体和集成电路技术，现在的vlsi开发需要大大缩短其开发周期以提高竞争地位。一般来说，随着某个高级视频解码标准的提出，总会在第一时间有相应的硬件解码器结构。fpga原型验证开发系统由于其相对于asic有着前期设计成本低，回避设计风险，便于功能验证等特点，在视频编解码系统开发中有着极大的应用空间。随着高性能视频编解码器的开发需求越来越高，对基于fpga的

4、高性能视频开发与原型验证系统的需求也越来越大。本文提出了基于fpga的高性能视频开发验证平台的设计，这一设计是在原有的mpeg-4编解码芯片开发系统的基础上进行开发和设计的，可以满足高性能视频编解码器开发的需求。其设计目标为h.264 high 4:4:44 avs jizhun6.2 等高端的视频编解码器的开发，支持1920×1080（4:4:4）的分辨率。平台具有如下的特征使其具有针对高性能视频编解码器的开发能力：l 大规模高速可编程逻辑资源用于开发高复杂度的视频编解码器l 大容量高速外存储器资源用于存储高分辨率的图像数据l 高速数据传输通道用于传输高带宽的码流数据l 多种视频输

5、入输出接口以应付不同的开发需要l 多种测试手段和工具以测试开发使用l 提供接口应用模块以提高开发验证的效率，缩短开发周期l 充分考虑兼容性，以应对不同目标要求的视频开发需求由于上述的特性，平台有着相当广泛的应用领域。本文还介绍了基于高性能视频开发验证平台进行的avs d1解码器开发设计和avs运动矢量预测模块agu的开发设计。并介绍了对模块进行了纯软件环境和实现后验证的方法，以确保模块内部逻辑和在平台环境中工作的正确性。本文还给出了mpeg-4编解码芯片开发系统、高性能视频开发验证平台和smic 0.18m 单元库三者在统一的约束条件下综合后的比较结果。概括起来，本文的工作贡献包括以下方面：1

6、. 总结了高性能视频编解码器开发的需求, 总结了原有开发系统的优势以及其缺陷和不足，并充分整合到新设计中；2. 给出了基于fpga的高性能视频开发与验证平台整体设计，设计充分体现了高性能的特点，注重开发验证过程的便利性和兼容性；3. 给出了在平台上模块开发进行软件验证和综合后验证的方法；4. 在平台上进行了视频编解码器模块的开发和设计，并给出了新旧平台与标准单元库之间综合的比较结果。关键词：视频编解码器、开发验证平台、高性能abstractvideo coding technique is developing fastly in recent years. a short design pe

7、riod of vlsi is required for competition reasons. the fpga based development and verification systems are very useful for many applications considering of its low-price and fast verification. with the development of new video coding standard, the complexity and circuit density of the video codecs ar

8、e much higher than before. there is clear requirement for high-performance fpga-based video development and verification system.this thesis introduces an fpga based high performance video development and verification platform. this platform is designed based on the original mpeg-4 video codec asic d

9、evelopment system. the high performance video development and verification platform aimed at h.264 high 4:4:4 profile level 4 or avs jizhun profile level 6.2 etc. video codec design and verification. it supports the resolution of 1920×1080(4:4:4). the key features for this platform are listed a

10、s follow, l large-scale and high-speed programmable logic,l large-scale and high-speed on-board memoryl high-speed data transaction port,l different type video in/out ports,l large-number of test ports and tools,l interface driving modules, andl compatibility to early version.this thesis also introd

11、uces the development process of avs d1 decoder and the avs motion vector prediction module (agu) based on this high performance video development and verification platform. the way of software and after-implementation verification processes of the agu is also introduced. finally, comparisons of synt

12、hesis with the same constrain are given among the mpeg-4 codec development system, high performance video development and verification platform and smic 0.18m cell library.keywords：video codec, development and verification platform, high performance目 录摘 要1abstract2目 录3图表目录5第1章 绪 论71.1视频编码标准的发展71.2视频

13、编解码芯片开发81.2.1视频编解码芯片开发方法91.2.2 asic设计流程91.2.3 fpga与asic设计101.2.4视频编解码器体系结构111.3 本研究的意义及论文主要内容13第2章 mpeg-4编解码芯片开发系统142.1 mpeg-4编解码芯片开发系统简介142.1.1 性能指标142.1.2 框架结构142.1.3 重要硬件模块设计162.2 mpeg-4专用结构视频解码芯片开发182.2.1 mpeg-4专用结构解码芯片系统结构182.2.2 系统子模块设计192.2.3 mpeg-4专用结构视频解码芯片202.3 mpeg-4专用解码芯片验证系统212.4 mpeg-4

14、编解码芯片开发系统的缺陷与不足232.5 本章小节24第3章 高性能视频开发验证平台设计253.1 平台简介253.1.1 设计目标与应用范围253.1.2 框架结构253.1.3 平台优势273.2 平台硬件系统设计283.2.1 母板283.2.1.1母板整体结构283.2.1.2 fpga303.2.1.3ddr400 外存储器接口313.2.1.4sram/sdram外存储器接口333.2.1.5电源解决方案333.2.1.6输入输出与测试端口373.2.2 子板383.2.2.1子板整体结构383.2.2.2 usb2.0413.2.2.3视频输入413.3 平台高速pcb设计要点4

15、23.3.1 pcb阻抗控制423.3.2 ddr400接口双向拓扑结构与终端433.4 平台应用软件和接口应用模块443.4.1 开发应用软件443.4.2 接口应用模块453.4.2.1 usb接口应用模块453.4.2.2 rs232接口应用模块463.4.2.3视频输出接口应用模块473.4.2.4 sdram接口应用模块483.4.2.5 sram接口应用模块513.4.2.6 ddr-400接口应用模块513.4.2.7 fpga接口连接553.5 本章小节55第4章 基于高性能视频开发验证平台的设计与开发574.1 基于高性能视频开发验证平台的avs d1解码器开发574.1.1

16、 设计背景574.1.2 avs d1解码器系统结构设计584.1.3基于平台的avs d1解码器开发594.2 avs运动矢量预测模块agu的设计604.2.1运动矢量预测算法604.2.2运动矢量预测模块结构设计和功能划分624.2.2.1 agu在运动补偿中的位置624.2.2.2 agu模块内部结构设计634.2.2.3 agu模块的接口设计644.2.3运动矢量预测模块的验证664.2.3.1 软件验证结构664.2.3.2 ddr接口仿真验证674.2.3.3 实现后验证684.2.4 agu模块平台综合结果704.3 综合比较704.4本章小节71第5章 总结与展望73参考文献7

17、5作者在攻读硕士学位期间发表的论文78作者在攻读硕士学位期间参加的科研工作78致 谢79图表目录表 21 mpeg-4编解码芯片开发系统性能指标14表 22 xc2v3000-fg676-4参数16表 23 xc2v500-fg256参数22表 31高性能视频开发验证平台设计目标25表 32 xilinx virtex-4 lx系列fpga指标30表 33 1920×1080(4:2:2)30fps图像数据传输率计算31表 34平台电源电压指标33表 35平台供电电压上升时间34表 36平台功耗估计34表 37平台母板层叠结构定义及各层厚度42表 38平台母板各层特性阻抗与线宽42表

18、 39 平台应用软件列表45表 310视频输出接口应用模块输出参数48表 311 sdram接口应用模块总线接口49表 312 sdram接口应用模块命令码表49表 313 ddr控制信号和命令52表 314 ddr模式寄存器配置53表 315 fpga接口连线55表 41 avs d1视频解码器性能指标58表 42 avs d1解码器使用平台资源60表 43 agu控制器接口64表 44 agu运算中相邻块与后向参考帧保存信息65表 45 agu vld接口65表 46 agu rr接口65表 47 agu模块平台综合结果70表 48 mpeg-4开发系统、高性能平台与0.18m单元库综合比

19、较70图 11视频编解码器asic的设计流程9图 12混合结构mpeg-4编码器结构12图 21 mpeg-4编解码芯片开发系统整体结构15图 22 mpeg-4编解码芯片开发系统子母板结构15图 23 mpeg-4编解码芯片开发系统母板结构16图 24 mpeg-4编解码芯片开发系统子板结构16图 25 mpeg-4视频解码器系统结构18图 26 mpeg-4专用结构视频解码芯片封装21图 27 mpeg-4专用解码芯片验证系统结构22图 28 mpeg-4 asic验证模块23图 31高性能视频开发验证平台整体结构26图 32高性能视频开发验证平台母板整体结构28图 33高性能视频开发验证

20、平台母板pcb布局29图 34 xilinx virtex-4 fpga系列30图 35 ddr400 sdram内部结构32图 36平台ddr连接32图 37平台电源设计方案35图 38平台电源顺序解决方案35图 39 ddr400供电电源产生电路36图 310 xilinx fpga专用usb下载线缆37图 311 jtag/serial 接口37图 312 差分信号输入输出端口38图 313高性能视频开发验证平台子板结构图39图 314 高性能视频开发验证平台子板pcb布局40图 315平台子板usb2.0接口结构41图 316 平台子板视频输入接口结构41图 317 平台母板层叠结构和

21、电介质层芯厚度42图 318 并联终端双向点对点结构43图 319 thevenin等效终端网络43图 320 串联终端双向点对点结构43图 321 带有dci功能的双向点对点结构44图 322 平台ddr400接口终端方案44图 323 usb接口应用模块结构45图 324 rs232接口应用模块结构46图 325 视频输出接口应用模块结构47图 326 sdram接口应用模块结构48图 327 sdram接口应用模块握手信号设计50图 328 sdram芯片读操作时序50图 329 sram接口应用模块状态转换图51图 330 sram接口应用模块结构51图 331 ddr接口应用模块结构

22、52图 332 ddr芯片初始化顺序53图 333 ddr控制器结构54图 334 ddr芯片读操作时序54图 41 avs解码器结构57图 42 avs编码器结构57图 43 avs d1解码器系统结构58图 44 avs d1解码器与平台各接口60图 45运动矢量预测值mvepred的计算流程61图 46 avs解码器运动补偿整体结构62图 47 agu模块内部结构63图 48 agu核心运算单元64图 49 agu软件验证结构66图 410 agu软件验证仿真波形67图 411 agu的ddr接口仿真验证结构67图 412 ddr接口仿真波形68图 413 agu实现后验证结构69图 4

23、14 agu仿真数据对比69第1章 绪 论1.1视频编码标准的发展多媒体技术发展至今，已成为世界性技术研究和产品开发的热点，有着广阔的应用前景。随着信息产业的发展，各种各样的视频压缩产品涌向市场，为了便于国际间的交流和贸易，必须对它们进行规范。上个世纪80年代以来，iso/iec和itu-t分别制定了mpeg-x、h.26x 两大系列视频编码国际标准，这些视频编码标准追求的共同目标是在尽可能低的码率下获得尽可能好的图像质量1。两大系列的标准之间既有区别又有着紧密的联系，从mpeg-2的制定开始，iso和iec就与itu-t展开了合作，在一些mpeg 标准中，h.26x 就是mpeg-x视频部分

24、的重要组成3。比如mpeg-2的视频部分就是h.262，而mpeg-4的第10部分是h.264。以下阐述各个标准的产生与发展历程4。1988年，itu-t开始制订“p×64kbit/s视听业务的视频编解码器”的国际标准h.261建议。h.261采用了与制式无关的图像格式，无论是哪一种制式的视频信号进入编解码器后都被转换成公共中间格式(cif)，该图像对亮度信号而言，每幅图像扫描288行，每行有352个像素点，色度信号每帧为144行×176个像素，每秒30帧，扫描方式为逐行扫描。随后的各种视频标准都采用或扩展了cif格式。h.261采用运动补偿预测和离散余弦变换相结合的混合编

25、码方案(dpcm+dct),获得了很好的图像压缩效果.mpeg-1于1993年成为国际标准，它是对1.5mbps以下数据传输率的数字存储媒体运动图像及其伴音的压缩编码标准，适用于cd-rom、vcd等。它可对sif分辨率（ntsc制式为352×240；pal制式为352×288）的图像进行压缩，传输速率为1.5mbps，每秒播放30帧5。mpeg-1也被用于数字通信网络上的视频传输，如基于adsl(非对称数字用户线路)的视频点播、远程教育等。itu-t于1990年成立了“atm视频编码专家组”负责制定适用于b-isdn信道atm编码传输标准。该专家组于1993年11月与is

26、o的mpeg专家组联合提出了h.262建议草案，这一草案最终发展成为h.262标准，也就是mpeg-2标准的视频部分。mpeg-2在1995年成为国际标准，其目的是达到高级工业标准的图像质量以及更高的传输率。mpeg-2所能提供的传输率在310mbps之间，在ntsc制式下的分辨率可达720×486，可提供广播级的图像质量，适用于数字电视广播(dvb)、hdtv和dvd的运动图像及其伴音的压缩编码。目前，mpeg-2已得到广泛的应用，如美国、欧洲、日本在dvd和数字电视广播方面都采用了mpeg-2压缩技术。mpeg-4于1999年初正式成为国际标准。mpeg-4并非是针对某一种视频信

27、号的压缩标准，而是面向众多的应用。mpeg-4 的设计目标是适合于网络传输，极低码率应用，极佳的音质和画质，以及提高多媒体系统的交互性和灵活性。mpeg-4的压缩率平均可达50:1，最高可超过100:1。在如此高的压缩比之下，仍然可以保持极佳的画质6。h.263 也是itu 制定的低比特率视频信号压缩标准，可以应用于pstn 和移动通信网。h.263 标准目前已经超过h.261，在视频会议的编解码领域中占主导和支配地位。在任何一种比特率的情况下，h.263的性能都优于h.261。而在相同的视觉效果下，h.263又有比较高的压缩比。h.263标准是在1996 年获得批准的，而在1998 年和20

28、00年，itu-t又对它进行了两次重要的修补，于是产生了h.263+ 和h.263+。与原始的h.263 相比，它们的功能更加强大78。mpeg-4和h.263 这两种视频压缩标准大约都产生于1995 年，而此后，动态图像专家组（mpeg）和视频编码专家组（vceg）则仍然力图建立一个性能明显超过mpeg-4 和h.263 的新标准。所谓更高的性能包括更高的压缩比，保持高清晰的画质以及低比特率视频流的应用。 对于这样一个新的标准高级视频编码（avc）的研究可以一直追溯到1995年。在完成了h.263 标准的最初版本后，itu-t的vceg 就开始在两个领域开始了进一步的工作。最终，在2002年

29、，两个内容完全相同的标准产生了，一个是mpeg-4 第10 部分，一个是itu-t h.264 标准（h.26l在itu-t 的文件编号就是h.264）1215。这一新标准的官方称谓是“高级视频编码（avc）”，但是mpeg-4 part 10和h.264 的名称则更加广为人知。适应不同速率应用的问题和同时开会的需求在h.264之前的视频标准中并没有得到完全解决。h.264则有了明显的进步，它可以在几乎不降低画面质量的情况下，将传输速率降低到mpeg-2（h.262）的一半。制定h.264视频编码标准的目的还在于改进编码效率和容错率，以及能够更好的适应网络10。avs是中国自主制定的拥有自主知

30、识产权的音视频编码技术标准，是由国家信息产业部科学技术司于2002年6 月批准成立的数字音视频编解码技术标准工作组所制定的。目前,avs标准中涉及视频压缩编码的有两个独立的部分: avs第二部分(avs1-p2),主要针对高清晰度数字电视广播和高密度存储媒体应用；avs第七部分主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用14。avs标准的主要特点是应用目标明确，技术有针对性。因此在高分辨率应用中，其压缩效率明显比现在在数字电视、光存储媒体中广泛应用的mpeg-2提高一个层次。在压缩效率相当的前提下，又较mpeg-4 avc/h.264的main profile的实现复杂度大为降低9。

31、当前主流的视频标准都在向两个方向发展：一个主要针对高清晰度数字影像的方向，其特点是较高的图像分辨率，较高的画面质量和较高的数据传输速率；而另一个方向则是针对移动媒体应用的数字影像方向，其特点是较低的图像分辨率，较低的数据传输速率和较高的压缩效率。为了应对更高的压缩率，各种视频标准的算法变得越来越复杂，对于运算的要求也越来越高，使得运行于普通处理器的基于纯软件的编解码器无法提供实时的高清晰度电视图像（1280×720，60fps）的编解码。目前只有基于硬件（如asic）的视频编解码器才能实现实时的高清晰度图像编解码。另一方面，高端特定功能的带有多媒体扩展指令集的微处理器虽然能够提供非常

32、高性能的运算能力，但是无法做到低成本与低功耗，无法满足多媒体市场的广泛需求。因此，基于硬件的专用视频编解码器有着广阔的前景16。1.2视频编解码芯片开发如前所述，正是由于基于硬件的视频编解码器在高清晰度的数字影像方面具有软件无法做到的优势，而在移动媒体应用方面又有着广泛的应用，所以视频编解码芯片的设计研究一直是一个热门的话题。一般来说，设计视频编码芯片有三个推动因素：首先是视频编码算法得到了重大的发展，在取得高压缩比的同时又能保持良好的图像质量。其次是集成电路产业的高速发展，集成度的提高使得视频编码的芯片化得以实现而且先进的设计方法使设计周期越来越短。最后是视频压缩标准的制定提供了统一的通信平

33、台，导致了大量的应用和市场的出现（视频编码芯片的设计方法）。我国拥有巨大的视频技术应用市场已引起国际上视频编码芯片厂商的关注，如果我们掌握视频芯片的关键技术，掌握视频编解码芯片的核心技术，对我国高科技产业乃至经济的发展有着重要意义。1.2.1视频编解码芯片开发方法视频编解码芯片的设计研究涉及到超大规模集成电路(very large scale integration, vlsi)设计和现场可编程门阵列(field programmable gate array, fpga)设计两个方面的技术。随着vlsi工艺技术的发展，器件特征尺寸越来越小，芯片规模越来越大，数百万门级的电路可以集成在一个芯片

34、上。同时随着fpga工艺的成熟，大容量fpga的出现为视频处理等大规模芯片的设计提供了良好的开发和仿真验证平台。专用集成电路(application specific integrated circuit, asic)是指面向特定用户要求和特定电子系统的需要而设计制造的集成电路。asic的特点是面向特定用户的需要，其品种多、批量少，要求设计和生长周期短，它作为集成电路技术与特定用户的整机或系统技术紧密结合的产物，与通用集成电路相比，具有体积小、重量轻、功能强、保密性强、成本低等优点。目前asic设计主要有cpld(复杂可编程逻器件)和fpga (现场可编程逻辑阵列)两种方式。它们都具有用户现场

35、可编程特性、都支持边界扫描技术，而在集成度、速度以及编程方式上具有各自的特点。一般来说，cpld分解组合逻辑的功能很强，一个宏单元就可以分解十几个甚至20-30多个组合逻辑输入。而fpga的一个lut只能处理4输入的组合逻辑，因此，pld适合用于设计译码等复杂组合逻辑。但fpga的制造工艺决定了fpga芯片中包含的lut和触发器的数量非常多，而且如果用芯片价格除以逻辑单元数量，fpga的平均逻辑单元成本大大低于pld。所以如果设计中使用到大量触发器，那么使用fpga就是一个很好选择。 高层次设计阶段是与具体生产技术无关的，即与工艺无关(technology independent)。一段hdl

36、代码可以通过逻辑综合工具综合为一个fpga电路，也可综合成某一生产工艺所支持的专用集成电路，即asic电路。hdl原代码对于fpga和asic是完全一样的，仅需更换不同的库，重新进行综合即可。此外，由于工艺技术的进步，需要采用更先进的工艺时，也可利用原来所书写的hdl代码。1.2.2 asic设计流程视频编解码器asic的设计流程20如图 11所示，与绝大部分的asic设计流程基本一致，可分为以下几个步骤21：图 11视频编解码器asic的设计流程行为级描述在完成系统性能分析与功能划分的基础上，对于各个电路功能模块，用hdl语言（verilog hdl/vhdl）来进行行为级（behavior

37、 level）描述。行为级优化与rtl级转化进行行为级算法优化与功能仿真，同时完成向寄存器传输级（rtl：register transport level）描述的转化。现有的eda工具只能接受rtl级描述的hdl文件进行自动逻辑综合，因此必须进行rtl级转化。synopsys提供的behavior compiler就是专门完成行为级优化与rtl级转化的工具。逻辑综合与逻辑优化（logic synthesis & logic optimization）选定工艺库，确定约束条件，将rtl级的hdl代码映射到具体的工艺加以实现。在进行逻辑综合与优化之前必须得到包含相应工艺参数的逻辑综合库的支

38、持。在设计一个系统时，总有对应的设计指标，典型的如时钟频率、芯片面积、端口驱动能力等，自动综合工具将这些设计指标作为综合过程的约束条件，在给定的包含工艺参数的综合库中选取最佳单元，实现综合过程。门级仿真在eda设计的每一个阶段都需要模拟仿真，以便尽早发现并改正错误，保证设计过程的正确性。与行为级仿真和rtl级仿真不同的是，完成逻辑综合后的门级仿真包含了门单元的延时信息，因而门级仿真需要相应工艺的仿真库的支持。测试生成测试分为功能测试（function test）与制造测试（manufacture test）两部分。功能测试就是为了检验线路的逻辑，时序等是否正确。eda设计过程的每一步模拟仿真都

39、是围绕电路的功能进行的，因而都属于功能测试的范畴。制造测试则是针对半导体工艺而设计的，目的是实现高的故障覆盖率。对于较复杂的时序电路而言，高故障覆盖率的测试向量必须借助于测试综合才能完成。在asic设计过程中必须兼顾功能测试与制造测试。布局布线这一步借助于版图综合的自动布局布线工具，在相应的工艺版图库支持下完成，布局布线通常称之为后端设计。参数提取在前面完成逻辑综合所产生的门级网表文件中，已经包含了门级单元本身的工艺参数，完成版图综合后，由于布局布线都已确定，可以从版图进一步提取出连线电阻，连线电容等分布参数。后仿真将上一步中提取的分布参数再反标到原来的门级网表中，进行包含门延，连线时延的门级

40、仿真。这一步主要是进行时序模拟，考察在增加连线时延后，设计的时序是否仍然满足设计要求。如果不能满足，通常需要回到第三步重新确定约束条件，进行优化。有时候也可能要回到第二步，从算法实现上加以调整。制版流片在利用eda工具完成设计后，交付半导体厂商进行投片生产。1.2.3 fpga与asic设计fpga是一种包含很多相同的逻辑单元的集成电路，内部有许多触发器和分布的布线资源。逻辑单元通过连线阵列和可编程开关实现互联。用户在设计时规定逻辑单元实现的逻辑函数，并且选择性的接通互联阵列的连线，从而实现自己的设计。不同的fpga产品的逻辑单元结构有非常大的不同。fpga设计软件的功能非常强大，能自动的对用

41、户输入的电路图，或硬件描述语言程序进行翻译，然后进行布局布线，利用设计库中大量的复杂宏函数帮助用户优化设计。近年来，各个厂家普遍采用0.25、0.13甚至 0.09m的cmos工艺，继续向高密度、大容量发展。fpga的规模发展到1000万门以上的水平。i/o接口采用模拟电路达到110gbps甚至更高的接口数据传输速率，片内时钟可以达到400mhz以上。fpga的低端产品在工艺和结构上创新，性能的提高和价格的降低都是令人惊叹的。xilinx目前是世界上最大的fpga供应商之一。xilinx 的virtex-iv是其标志性的高端产品系列，它使用了90nm 的制造工艺，使得在创造了高性能与高密度的同

42、时，功耗却减半，全片高达500 mhz的运行频率，i/o接口方面也由于使用了新技术，可以支持500mhz以上的数据传输速率。fpga厂商一般为用户提供非常丰富的软件支持，如xilinx 公司的ise 系列就是其fpga产品的eda软件包，提供设计输入、综合、实现和验证以及板级集成。除电路图外还支持状态机产生、ip核和dsp设计，包括定时分析器，约束编辑器等等非常强大的功能来辅助用户设计。随着半导体工艺技术的发展，由0.18m到0.09m asic的系统速度也从120mhz提升到300mhz，但asic的设计成本和技术风险愈来愈高，并且从设计方案到asic产品商业应用的周期也更长。为适应市场的快

43、节奏，减少前期的设计成本、回避设计风险，fpga是一个最好的选择。它将原来asic设计修改周期从至少两个月，减少到几分钟到几小时之间，尤其适合产品的前期开发和中小批量产品的应用；并且fpga设计成功后，可非常方便地向asic转化。在asic设计中，fpga可起到原型设计及验证的作用，在做原型设计及验证作用的fpga的模型与设计的asic芯片的功能模型应当是相同的22。fpga在系统验证时带来的益处有23：l 对逻辑功能进行全面验证l 对部分电路进行时序验证，发现潜在的问题l 可以进行逻辑综合过程验证l 加快设计流程，减少重新制版几率，降低成本l 加快系统厂商的系统产品开发l 方便系统厂商对逻辑

44、功能全面确认1.2.4视频编解码器体系结构视频编解码芯片有两种最基本的体系结构：可编程结构和专用结构。在综合了二者的特点基础之上，还有一种混合结构。以下对它们分别进行介绍。1） 可编程结构17可编程结构是一个通用平台，提供灵活的各种算法实现可能性，其实质是设计一个执行指令的硬件核（如risc核）19，通过在其上运行程序实现解码功能。它灵活，适用范围广，能对不同的算法提供支持，易于升级，但是它为了提供多功能解码支持，必须增加硬件电路的复杂性，从而导致电路功耗的增加。对于图像格式比较大的码流，为了保证解码任务的适时性，必须提高软件的并行度，这给编制程序带来了很大困难。随着计算机硬件的发展，当前的计

45、算机运算处理功能非常强大，但是考虑到视频图像处理运算的特殊性，一些算法在通用的处理器上并不能得到有效的实现。在可编程结构中，需要增强处理器的某些功能来适应面向视频图像处理的特殊算法。Ø 子字并行性：有的图像算法对数据处理精度要求不高，因此可以在alu中并行处理多组数据。Ø 超长指令字：在一条指令中实现多个操作，由译码器实现指令的调度、执行。Ø 协处理器：对于特殊的功能，用硬件实现，在通过软件对其输入、输出进行控制，比如对变长码的处理，一般的可编程多媒体视频处理器均有独立于cpu的vld处理模块。Ø 存储结构设计：由于视频图像处理的数据量非常大，存储结构对

46、系统的整体性能影响相当大。2）专用结构25专用视频解码器结构不具备可编程性，它是针对某个算法或某一类算法而设计和优化的硬件电路，每个处理单元可以最大程度的与算法特点相匹配，视频解码的各种任务映射到不同硬件处理单元上，针对特定的算法进行系统结构和子模块优化，可以最大程度地与算法特点相匹配。专用视频解码器结构与可编程结构相比，其硬件消耗小，处理速度高，但它的可扩展性差。采用专用芯片的视频系统的优点是速度快，一旦专用芯片设计成功，其生产成本相对较低，而且实现容易，控制简单，适合大规模生产。缺点是不易修改，而且专用芯片设计成本高，设计周期也较长。虽然随着计算机技术的发展，可编程结构将会是视频处理体系结

47、构的发展趋势，但是专用的视频处理结构由于功能单一，可以最大程度的优化结构，提高集成度，满足低功耗的要求。因此会在消费电子类和移动图像处理等对功能要求不高，但强调低功耗、低成本、高集成度的应用中得到广泛应用。专用图像处理器结构的soc也有广泛的发展前景。3）混合结构26如前所述，随着编码效率的提高和许多新功能的加入，视频编解码标准的算法变得越来越复杂，对运算的需求也越来越大。但在一些视频编码中，运算会主要集中在少数几个模块中，比如在mpeg-4中，最主要的运算任务集中于运动估计（me）和形状编码（shape-encoding）部分，这两者占去了整体运算90的复杂度。而对于较低的档次不考虑形编码的

48、情况，运动估计对于运算的集中需求更是显著。其运算明显属于规则的底层任务，而且需要从帧存中读取大量的数据，对于这种情况，专用结构和片内缓冲区是非常重要的，这样可以减少数据传输和提高运算效率。而其他一些任务，比如dct/idct, q/iq, 和运动补偿，因为也有许多规则运算，因此也可以使用专用结构，而可编程结构更适合系统中需求较少但是高层次的任务，比如系统控制等等。基于低功耗的dsp平台的软件方案应用于目前一些商用视频编解码芯片中，它们一般都有较高的延展性，可以满足未来多媒体丰富的功能，但是由于资源受限，在达到实时编解码的时候不得不使用快速算法，因此降低了质量。一些视频芯片使用了专用的硬件结构来

49、获得低功耗和较小的成本，它的缺点是缺少对未来延展的潜力和开发成本较高，因此，也有一些编解码芯片接收了两者的优点，产生了混合了软硬件的结构18，这种结构在性能和延展性上取得了某种平衡。混合结构将视频处理任务作软硬件实现上的划分。于是，它内部既有可编程核，用于处理复杂的高级任务，同时又有专用处理模块，处理中、低级任务。这种结构既有可编程的灵活性，又兼有了专用结构的功耗小、处理速度高等特性。图 12是一个混合结构的mpeg-4编码器的例子：图 12混合结构mpeg-4编码器结构在这个结构中，risc负责系统的宏块级的流水安排，编码模式决定，运动矢量编码等等高层任务。其他硬件模块并行处理专用结构算法从

50、而提高了编解码效率。所有的硬件模块都被集成在一块芯片中，系统编程需要的固件（firmware）存储在片外的prom等器件中等待调用。混合结构的系统的灵活性取决于系统任务软、硬件划分的情况。如果划分到软件实现的任务较多，且硬件实现的任务比较单一，那么系统的灵活性较好。1.3 本研究的意义及论文主要内容如前所述，如果要开发高性能的视频编解码器芯片，需要一整套的系统来支持这项庞大的工作。首先应该有一个优秀的开发验证平台，这个平台应该具有如下的特征来满足开发的需要59：l 具有非常强大的可编程性l 具有非常高的性能以满足视频开发越来越高的需求l 能够同时满足三种体系结构的开发需要l 具有良好的兼容性，

51、供不同的视频标准和不同的开发情况使用l 具有功能强大的软件和模块支持l 可以进行方便的测试和验证l 有完善的对外接口，供数据交换和视频输入输出，并且使用方便l 在满足以上条件情况下尽可能低成本本文基于上述的角度出发，提出了基于fpga的高性能视频开发平台的设计，这一设计是在原有的mpeg-4编解码芯片开发系统的基础上开发设计的，满足了上述的优秀视频开发平台的基本特征，具有非常强大的性能，可以保证视频编解码器的顺利开发。本文整体结构安排如下：首先是本文研究涉及的部分背景知识做一个介绍，接着介绍课题组在2003年开发的mpeg-4编解码芯片开发系统以及在其上进行的专用解码芯片开发和专用解码芯片的验

52、证系统的开发。接着介绍了高性能视频开发平台的设计，包括了平台设计的目标和应用范围，平台的硬件系统设计和软件系统以及接口应用模块的开发，最后介绍了基于高性能视频开发平台开发验证的例子。最后是本文的总结与展望。具体章节安排如下：第一章是背景知识介绍。第一部分主要包括常用视频解码标准及其发展历程的介绍，第二部分介绍了视频编解码芯片的开发方法与流程，第三部分是本文的章节安排。第二章是mpeg-4编解码芯片开发系统的介绍。第一部分对这个开发系统做了一个简单的阐述，包括了开发系统的性能指标，框架结构和重要模块的硬件设计等等；第二部分介绍了mpeg-4专用解码芯片的开发；第三部分介绍mpeg-4专用解码芯片

53、的验证系统的设计；最后一个部分提出了这一开发系统的缺陷与不足。第三章提出了高性能视频开发验证平台的设计。第一部分介绍了高性能视频开发验证平台的框架体系和优势；第二部分着重介绍了平台硬件系统的设计，包括平台各个重要硬件组成部分；第三部分介绍平台的pcb设计要点；第四部分介绍平台的应用软件和接口应用模块。第四章是基于平台进行视频编解码器开发验证的例子。第一部分介绍了基于平台的avs d1解码器的开发，第二部分介绍了基于平台的avs运动矢量预测模块agu的设计和仿真验证，第三部分是平台与smic 0.18m单元库的综合结果比较。第五章是全文的总结与展望。第2章 mpeg-4编解码芯片开发系统2.1

54、mpeg-4编解码芯片开发系统简介基于fpga的mpeg-4编解码芯片开发系统是课题组于2003年设计的一个系统，其目的是为了在其上进行mpeg-4 aspl5视频编解码芯片的开发研究1。利用这个系统我们成功的开发了mpeg-4 aspl5的视频解码器并最终生产了asic芯片。这个系统是我们高性能视频开发验证平台的基础，本节主要对系统进行简单的介绍。2.1.1 性能指标为了达到mpeg-4 aspl5 的要求，我们为mpeg-4编解码芯片开发系统设定了如表 21所示的性能指标：表 21 mpeg-4编解码芯片开发系统性能指标支持视频标准mpeg-4 aspl5最大视频图像尺寸720*576支持

55、视频输入格式y/c, cvbs支持视频输出格式y/c, cvbs, vga码流输入/输出接口usb1.1, rs232, iobase-t以太网解码峰值码率8mbits/s编码速率25帧/s外部存储器接口8m bytes 32位sdram其他低功耗、有测试点和用户输入等2.1.2 框架结构开发系统以两片xilinx公司的fpga xc2v3000fg676-4为主体，提供高达600万的现场可编程逻辑门作为视频编解码器的主体。片外配以8mb的32bit位宽的sdram, 其最高时钟频率可以达到133mb/s，同时配以完善的i/o接口（如rs232、usb1.1等等）用于测试和视频码流的输入输出，

56、开发系统的整体结构如图 21所示：图 21 mpeg-4编解码芯片开发系统整体结构开发系统在pcb上采用了子母板结构：母板使用6层pcb, 对信号和电源要求较高的fpga芯片以及sdram外存储器都放置于母板上；子板使用2层pcb, 所有的io芯片和接口都放置于子板上；子母板通过2个96pin 的金针排插进行信号线连接和物理连接。其结构如图 22所示：图 22 mpeg-4编解码芯片开发系统子母板结构系统采用子母板结构有如下的好处：1 成本：因为pcb的制造价格随层数几何增长，2层板与6层pcb价格相差非常大，因此在对于电源信号等要求不高的io接口板采用2层板，而对于板载fpga和存储器，要求较高的母板采用6层pcb在成本上有相当大的节约。2 减小相互干扰：母板上主要是数字信号，而子板上有许多io接口是模拟信号。子母板结构而且配合独立电源可以尽可能减少数字与模拟信号之间的干扰。