（微电子学与固体电子学专业论文）基于sopc的数字音视频采集处理与回放系统设计.pdf

苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致尊苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 善篓涉密论文囱 论文作者签名：塑墨翌 日 导师签名： 垒荽盘叁。日 期：p 螋 薹于s o p c 的数字啬援菝采集处疆与回簸系统设计 中文摘要 基于s o p c 的数字音视频采集处理与回放系统设计 中文摘要 随着信息技术的不断发展，数字多媒体技术日益被关注和研究。如今诸如三网合 一技术( 广播电视网、毫信踺、亘联网) ，数字3 c 融合技术( 计算机( c o m p u t e r ) 、 通讯( c o m m u n i c a t i o n ) 、消费电子( c o n s u m e r e l e c t r o n i c ) ) ，智能家属系统等使得数 字多媒体技术的发展空闽更加匿大，如何实时嵩速地对数字音视频进行采集是其一个 重要的分支技术。 s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) 是a l t e r a 公司提出来的种灵活、高效的 s o c 解决方案，是一种新的软硬件协同设计的系统设计技术。本文采用s o p c 技术 设计了一个嵌入式数字音视频采集与回放系统，以实现对实时音视频信号的采集、存 储及回放。文中首先对数字音视频相关知识进行了介绍，对s o p c 嵌入式系统进行了 概述；接着提出系统的设计方案，系统主要由音视频数据采集模块、嵌入式处理器模 块、数据存储模块及音视频回放模块等部分组成。具体设计时以嵌入了n i o si i 软核 的c y c l o n ei i 系列r 峪a 芯片为主控制器，以音视频编解码芯片，存储器，立体声音 频接口，v g a 显示接口等为钋围设备搭建硬件平台，并采用v e r i l o g - h d l 设计各功 能模块；最后利用a l t e r a 公司的软件集成开发环境n i o si ii d e 进行软件设计来控制 整个系统工作。 最螽对整个系统功能进行了物理板级验证。验证过程中采用了a l t e r as i w a a t a p l l 对f p g a 内部信号状态进行捕捉，从丽加快了调试进程。实验结暴表明该系统较好 地实瑰了设计需求。 关键词；数字音视频；s o p c ；n i s oi i ；糟g a 作者：扬翠军 指导老师：钱敏 a b s t r a c t d e s i g no fd i g i t a lv i d e o a u d i oa c q u i s i t i o n p r o c e s s i n g p l a y b a c ks y s t e m b a s e d o n s o p c d e s i g no fd i g i t a lv i d e o a u d i oa c q u i s i t i o n p r o c e s s i n g p l a y b a c ks y s t e mb a s e do ns o p c a b s t r a c t w i t ht h ed e v e l o p i n go fi n f o r m a t i o nt e c h n o l o g y , t h ed i g i t a lm u l t i m e d i at e c h n o l o g yh a s b e e nc o n c e r n e da n ds t u d i e dm o r ea n dm o r e a d v a n c e dt e c h n o l o g i e s ，s u c h a q t h e i n t e g r a t i o no fb r o a d c a s t i n gt e l e v i s i o nn e t w o r k ，t e l c c o mn e t w o r ka n di n t e r n e t , t h e c o n v e r g e dc o m m u n i c a t i o n s ( c o m p u t e r ，c o m m u n i c a t i o na n dc o n s u m e re l e c t r o n i c s ) ，t h e s m a r tf a m i l ys y s t e m , e ta l ，e x t e n dt h ea p p l i c a t i o n so fd i g i t a lm u l t i m e d i at e c h n o l o g y h o w t oa c q u i r et h e 啪p e e da n dr c a l t i m ed i g i t a lv i d e o a u d i oi n f o r m a t i o ni sar e l a t i v ek e y t e c h n o l o g y s o p c ( s y s t e mo np r o g r a m m a b l ec h i p ) a saf l e x i b l ea n de f f i c i e n ts o l u t i o no fs o c i s p r o p o s e db y a l t e r a c o m p a n y , w h i c hi s an e wt e c h n o l o g yo fh a r d w a r e s o f t w a r e c o - d e s i g n i n g i nt h i sd i s s e r t a t i o n , a l le m b e d d e ds y s t e mf o rd i g i t a lv i d e o a u d i oa c q u i s i t i o n a n dp l a y b a c ki sd e s i g n e db a s e do ns o p ct e c h n o l o g y t h es y s t e mc a na c q u i r e ，s a v ea n d r e p l a yt h eh i g h - s p e 蜘a n dr e a l t i m ed i g i t a lv i d e o a u d i oi n f o r m a t i o n f i r s t l y , t h er e l e v a n t k n o w l e d g eo ft h ed i g i t a lv i d e o a u d i oa n dt h ee m b e d d e ds y s t e mb a s e do ns o p ca r e i n t r o d u c e d n e x t , t h ed e s i g ns c h e m eo ft h es y s t e mi sp u t t e df o r w a r d t h es y s t e mi sm a i n l y c o m p o s e do fav i d e o a u d i od a t aa c q u i s i t i o nm o d u l e ，a ne m b e d d e dp r o c e s s o rm o d u l e ，ad a t a s t o r a g em o d u l e ，av i d e o a u d i op l a y b a c km o d u l ea n d o t h e rm o d u l e s t h eh a r d w a r ep l a t f o r m o ft h es y s t e mi sc o n s t r u c t e db yac y c l o n ei if p g ac o n f i g u r e dn i o si is o f tc a d r ec p u ， v i d e o a u d i od e c o d ec h i p s ，a u x i l i a r ym e m o r y , as t e r e oi n t e r f a c e ，av g a d i s p l a yi n t e r f a c e a n do t h e r p e r i p h e r a l d e v i c e s t h ef u n c t i o nm o d u l e so fs y s t e ma r ed e s i g n e d b y v e r i l o g - h d l a t l a s td e s i g ns o f t w a r ep r o j e c tu n d e rn i s oi ii d et oc o n t r o lt h es y s t e m a tt h ee n d ，t h ef p g ap h y s i c a lv e r i f i c a t i o no fb o a r dl e v e li sd e s i g n e df o rt h et e s ta n d v e r i f i c a t i o no ft h es y s t e m i no r d e rt oe x p e d i t et h ep r o c e s so fd e b u g g i n g ，a l t e r as i g n a i t a p i ii su s e dt oc a p t u r et h ei n t e r n a ls i g n a lo ff p g a t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h e s y s t e ma c h i e v e st h ed e s i g nr e q u i r e m e n t s k e yw o r d s ：d i g i t a lv i d e o a u d i o ；s o p c ；n i s oi i ；f p g a w r i t t e n b yy a n gc u i - j u n s u p e r v i s e db yq i a nm i n 第一章引言。 目录 l 1 1 论文的课题意义1 1 2 论文的课题发展及现状。2 1 3 论文的主要内容3 重4 论文的主要创新点3 第= 章数字音视频概述 2 1 视频相关基础知识+ 5 2 1 1 电视广播制式5 2 1 2 数字视频接口标准1 1 r u 壤b t 6 5 6 6 2 2 音频基础知识8 2 。2 。l 音频的种类8 2 2 2 音频的数字化8 2 。2 3 数字音频传输总线协议9 第三章s o p c 嵌入式系统概述 l l 3 1s o p c 及其技术1 l 3 2s o p c 开发流程1 2 3 。2 。l 硬件_ 歼发。1 2 3 2 2 软件开发1 3 3 3a v a l o n 总线及其规范1 3 第四章系统的整体方案及实现方法 1 5 4 薹系统需求分析。1 5 4 2 系统总体结构及工作原理1 6 4 。2 。1 系统总体结构。羔6 4 2 2 系统工作原理。1 7 第五章系统的硬件设计 1 8 5 1 嵌入式处理器及固有p 核的设计l8 5 1 1 嵌入式处理器的设计1 8 5 1 2 固有p 核的设计1 9 5 2 音视频采集控制模块设计2 1 5 2 11 2 c 总线控制器设计2 l 5 2 2 视频解码芯片a d v 7l81 2 3 5 2 3 音频编解码芯片t l v 3 2 0 a i c 2 3 2 4 5 3 数字视频存储模块设计2 5 5 3 1f i f o 缓存模块设计2 6 5 3 2a v a l o n 端口定义。2 7 5 4 数字音频缓存模块设计3 0 5 4 1a v a l o n 端口定义3 0 5 4 2 数字音频传输模块设计3l 5 5 数字视频处理模块设计3 2 5 5 14 ：2 1 2 到4 ：4 ：4y c b c r 的变换3 2 5 5 2 去隔行处理设计3 3 5 5 3 色彩空间转换设计3 5 5 6 视频显示模块设计3 6 5 6 1v g a 控制器模块设计3 7 5 6 2 视频编码芯片s d a 7 1 2 3 3 8 第六章系统的软件设计 3 9 6 1 自定制外设的寄存器头文件设计3 9 6 2 驱动程序的设计4 0 6 2 1i 2 c 接口驱动设计4 0 6 2 2t l v 3 2 0 a i c 2 3 驱动设计4 0 6 2 3a d v 7 1 8 l 驱动设计4 0 6 3 顶层应用程序设计4 l 第七章系统的验证调试与结果 7 1 系统硬件验证平台4 2 7 2 系统验证调试4 2 7 3 系统调试结果4 4 第八章总结与展望。 参考文献。 攻读学位期间公开发表的论文 致谢。 基予s o p c 的数字膏视频采集处琏与回放系统设计 第一章弓 言 l 。1 论文的课题意义 第一章引言 随着数字时代的发展以及人们对清晰度，便捷性的要求越来越高，多媒体的处理 也进入了一个崭新的数字化领域。数字电视( d ) 、撑视频传输、数字相机、无线 视频、医疗图像、语音识别和视频监控等逐渐进入我们的日常生活。 1 。数字多媒体在教育领域里的应用数字多媒体技术的出现，在现代教育领域 里引起了极大的变化，给现代教育注入了新的活力，彻底改变了传统的教学手段和教 学模式。学生教材附带的电脑学习光盘，帮助学生语言学习的点读机等等f n 。 2 数字多媒体在电视广播系统中的应用数字多媒体技术以其自身强大的系统 集成性，倍受电视广播系统的青睐。如今日益成熟的数字电视正逐步取代模拟电视， 数字电视不仅清晰度高，而且随着技术的发展将越来越具有交互性，人们在欣赏到高 清晰度的电视节目的同时还可以交互式的保存并编辑自己喜欢的节目，使电视的概念 变得多元化。 3 数字多媒体在科研方面的应用数字多媒体技术的出现给现代科学研究带来 了极大的方便，有力地促进了生产力的发展。在知识膨胀的信息时代，科学研究过程 中总要面对浩如烟海的信息资料，利用多媒体数据库系统则可以很好的对其进行归 纳、整理、分类等。在医学研究方面，依据多媒体技术产生的医学影像学，临床治疗 器械电子内窥镜等。在自然科学研究方面，在一些人工无法进行监控的工作环境中， 可利用多媒体自动监控系统进行科学环境的检测及数据的采集。 4 。数字多媒体在工作、生活中的应用出于数字多媒体技术的发展，使人们的 工作生活发生了巨大的变化。由多媒体技术和网络技术融合产生的多媒体会议系统使 人们的工作交流更加真实便捷。语音或图像识别技术的出现使我们的生活更加安全方 便。多媒体计算机、游戏设备、v c d 、d v d 等多媒体娱乐系统的出现极大的丰富了 人们的娱乐方式，使家庭娱乐方式变得多样化。 因为这些应用对实时性和清晰度有着较高的要求，所以如何采集我们的所见所 闻，如何存储我们重要的音视频资料以及如何回放展现这些音视频源是一个具有深刻 理论和现实意义的课题。 第一章引言基于s o p c 的数字音视频采集处理与回放系统设计 1 2 论文的课题发展及现状 分析多媒体技术的发展历史，可大致分为三个阶段： 1 多媒体概念提出及其雏形阶段 多媒体技术的一些概念和方法，起源于2 0 世纪6 0 年代。1 9 6 5 年，纳尔逊( 聊 n e l s o n ) 为计算机上处理文本文件提出了一种把文本中遇到的相关文本组织在一起的 方法，并为这种方法提出了一个词，称为“h y p e r e x t ( 超文本) 。万维网( w w w ) 上的多媒体信息正是采用了超文本思想与技术，组成了全球范围的超媒体空间。到 2 0 世纪8 0 年代中期，美国和英国的一些大学和公司推出了各种具有多媒体雏形的计 算机及其相关的分析系统，这些系统大多采用机箱式结构，体积较大，系统大多应用 于专业的研，灵活性较差，并且价格比较昂贵【2 】。 2 多媒体技术实现阶段 2 0 世纪8 0 年代中期到9 0 年代初期多媒体技术进入实现阶段。1 9 8 4 年美国a p p l e 公司在研制m a c i n t o s h 计算机时，为了增加图形处理功能，改善人机交互界面，创造 性地使用了位映射( b i t m a p ) 、窗口( w i n d o w ) 、图符( i c o n ) 等技术【3 】。1 9 8 4 年英国 著名的a d l i b 公司历经几年的设计研发，终于推出了世界上第一块为电脑专门设计 的声卡。该阶段的主要特点是小型化，外部结构采用插卡式。通过将声卡或显卡插到 计算机内，和计算机构成多媒体采集系统。而在1 9 8 6 年p h i l i p s 公司和s o n y 公司联 合研制并推出c d q ( c o m p a c td i s ci n t e r a c t i v e ，交互式紧凑光盘系统) ，同时公布了该 系统所采用的c d - - r o m 光盘的数据格式。大容量光盘的出现为存储和表示声音、文 字、图形、音频等高质量的数字化媒体提供了有效的手段。 3 多媒体技术数字化阶段 从2 0 世纪9 0 年代初期，多媒体技术进入了数字化的发展阶段。由于计算机技术 的迅猛发展，人们依托计算机强大的计算处理能力对多媒体进行数字化的处理。但是 多媒体数字化后，在处理、存储、传输等过程中出现了数据量大，实时高速性的问题。 对此各种数字多媒体的压缩方法被不断的研究，并提出了诸多相关的压缩国际标准， 如静止图像压缩标准：j p e g ，活动图像压缩标准：m p e g ，而数字音频压缩技术标准 有电话语音压缩、调幅广播语音压缩和c d 音质的宽带音频压缩等【4 l 。 而随着大规移 超大规模集成电路( a s i c ，a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc 酗i t s ) 2 萋予s o p c 麴数字鹰视频墨塞塾壅量旦鏊墨堡鎏计籀一章雩l 褰 以及现场可编程门阵列( f p g a ，f i e l dp r o g r a m m a b l eg a t e a r r a y ) 的发展，它们在数 字多媒体领域的应用越来越广泛，推动了多媒体处理设计惫体积小、速度快、容量大 的方向发展，这给数字多媒体处理系统的设计与实现提供了新的方法和思路 5 1 。如今， 随著多媒体技术和半导体技术的发展，采用大规模集成电路或专用芯片替代计算机的 独立多媒体处理系统，也就是嵌入式多媒体处理系统正逐渐成为主流。嵌入式处理系 统的硬件主要是采用专用处理芯片，d s p 或f p g a 。嵌入式系统较之专用处理芯片有 灵活强、投资少及设计周期短等优势，较之d s p 有系统实现更简洁，硬件性能局限 性更小的优势。焉f p g a 可重复修改的特点以及可编程嚣土系统开发软件的不断智熊 便捷化，使得f p g a 成为解决多媒体处理系统的主要方案之一。 重3 论文的主要内容 本论文设计基于s o p c 技术，以f p g a 为核心处理器芯片实现了数字音视频的采 集与鼷放，在设计过程率主要做了以下方蕊的工作： l 。分析课题的发展历史及现状，调研各种数字多媒体处理系统的区别，并确定 选择f p g a 为核心处理器芯片的设计方案。 2 。介绍数字音视频处理的基础知识，为系统方案的设计奠定基础。 3 介绍s o p c 设计的概念及设计方法，为系统的s o p c 开发服务。 4 论述系统的整体技术方案和实现方法。 5 ，论述系统的硬件设计方案，给出主要模块的功能和设计说明。 6 。论述系统的软件设计方案，给出整个系统的控制流程。 7 对系统进行验证，并对结果进行分析。 1 4 论文的主要创新点 本论文的贡献及创新如下： 1 利用s o p c 技术设计了个实时音视频采集处理与回放系统，具有软硬件可 升级的特点。 2 设计了多个音视频处理相关的耀户自定制逻辑外设，可以方便她将其集成刘 s o p c 嵌入式系统中，同时这些外设模块也具有很好的移植性。 3 。在设计过程中采用了诸如乒乓操作、突发传输、d m a 传输等可编程逻辑设计 3 第一章引言基于s o p c 的数字音视频采集处理与回放系统设计 技巧。 4 设计中多处使用了m e g a w i z a r dp l u g - i nm a n a g e r 工具来建立a l t e r a 宏功能模 块、l p m 功能和疋功能，从而节省了设计时间。 5 在系统调试阶段，使用了s i g n a l t a pi il o g i ca n a l y z e r 对系统硬件工作时的实 时信号进行观察，很好地辅助了系统的调试工作。 4 基予s o p c 韵数字音搅频采集簸避与回敞系统设计第麓章数字啬视频概述 第二章数字音视频概述 2 1 视频相关基础知识 本节主要介绍三大电视广播制式，着重介绍p a l 制式，接着介绍数字视频接口 标准r r u - rb t 6 5 6 。 2 1 i 电视广播制式 n t s c 、s e c a m 和p a l 是圈际三大主要的电视广播制式，世界大多数国家采用 p a l 制，我国也采用p a l 制。美国、日本等国家采用n t s c 制。俄罗斯、法国、埃 及等少数国家采用s e c a m 制f 6 l 。下面分别对这三种制式进行简要介绍。 1 n t s c ( n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e ) 制式 1 9 5 2 年1 2 月由美黧国家电视标准委员会( n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e ， 缩写为n t s c ) 制定的电视广播标准，帧率为每秒2 9 9 7 帧，扫描线为5 2 5 ，隔行扫 描，画面比例为4 ：3 ，分辨率为7 2 0 x 4 8 0 。此制式的色度信号调制包括了平衡调制和 正交调制两种，解决了彩色黑自电视广播兼容问题，但存在相位容易失真、色彩不太 稳定的闯题。 2 s e c a m ( s e q u e n t i a lc o u l e u ra v e cm e m o i r e ) 制式 1 9 6 6 年出法国研刿成功，帧率为每秒2 5 帧，扫描线6 2 5 行，隔行扫描，画西魄 例4 ：3 ，分辨率7 2 0 5 7 6 。在该制式信号传输的过程中，亮度信号是每行传送，面诱 个色差信号则是采用逐行依次传送的方式，这样就可以错开传输时闻，从丽避免了两 种信号同时传输时所产生的串色丽导致的彩色失真。s e c a m 制式特点是不怕干扰， 彩色效果好，健兼容性差。 3 。p a l ( p h a s ea l t e r n a t i v el i n e ) 制式 1 9 研年峦当时任职于德律风根( t e l e f u n k e n ) 公霹懿德嚣入沃尔特布鲁赫( w a l t e r b r u c h ) 提出。p a l 制又称“逐行倒相”制，所谓“逐行倒相 是指每行扫描线的彩 色信号跟上一符倒相，其作用是盘动改正在传播中可能搬现的错相。p a l 制电视信号 由“图像信号”和确保扫描同步的“复合同步信号 以及消除扫撼逆程回扫线的“复 合消隐信号秽等辅助信号构成。p a l 制电视信号如图王所示，图中h 为行阍步信号 s 第二章数字音视频概述 基于s o p c 的数字音视频采集处理与回放系统设计 的周期，其标称值为6 4i is 。 鬻j 均一，僻可 图1p a l 制电视信掣q p a l 电视制式规定：包括消隐期在内，每帧扫描总行数为6 2 5 行，其中有效图像 行数为5 7 5 行；每行采样8 6 4 个像素，其中有效像素为7 2 0 个。采用隔行扫描方式， 奇数场在前，偶数场在后阴。 2 1 2 数字视频接口标准i t u - rb t 6 5 6 1 t u - rb t 6 5 6 简称i t u 6 5 6 ，是在国际电信联盟无线电通信部门6 5 6 - 3 号建议书 中提出的，全称是“工作在1 t u - rb t 6 0 1 建议( 部分a ) 的4 ：2 ：2 级别上的5 2 5 行和 6 2 5 行电视系统中的数字分量视频信号的接口 。这种标准是为了在5 2 5 行和6 2 5 行 两者之间提出一种世界范围兼容的数字方法，便于国际间的节目交流【引。 i t u 6 5 6 接口的数据信号采用编码8 比特字( 可选1 0 比特字) 的二进制形式，信 号中包括视频信号、定时基准信号、辅助信号，表1 给出了场间隔的定义。 表1 场间隔的定义嗍 在4 ：2 ：2 系统中亮度和色度采用不同的采样频率，亮度采样频率为1 3 5m s ，色 度采样频率为6 2 5m s ，对于普通电视行频1 5 k ，每行亮度采6 4 i isx1 3 5m s = 8 6 4 6 基于s o p c 懿数字童篓塑墨塞叁瑗每回赦系统设计第二章数字膏视频概述 采样点，每行色度采样点数为6 4 弘s 6 2 5m s ；4 3 2 采样点。视频数据以2 7m s 的 速率复蹋传送，顺序为tc b 、y 、c r 、y 、c b 、y 、c r 、y oc b 、y 、c r 这三 个字是同址的亮度和色差取样，接着的y 字则对应下一个亮度采样，图2 为i t u 6 5 6 接霞的6 2 5 行系统数据格式。 亮纛藏舞￥ 石1 8 | 珊 7 2 0l 7 2 1 | 7 3 6 【薹i ，i oll 1 2 l l ， i 麓豢舞盘l s 5 叠i s | 一一ir 。3 舶6 8 ，i 一一一一一l 簪i t llil 麓熬撂穗 。3 5 9 | 3 6 0 |i 。i ：，i l 0 l 1 。7 _ l 晕 _ n 晕碰 f 譬 嚣 士 嚣 期 _0o 窑 一 0o _ 鐾 黧 拳 n 窜 _ dn n 一 o、一0 u埘 f叫 _ ” c n 薏g婚一t d o尊 秭 i 昏 _一 l 耄：l o n 叶 饥 协 l 有效鼍鞭螭柬 时痔参考馈号 霄效鼍? 汗赡 - 豳2 i t u 6 5 6 数字格式网 每稽8 6 4 个采样点孛，其中有效数据7 2 0 个，消隐期数据1 4 4 令( 包括4 个时序 参考信号数据) 。在数字消隐期阶段除了时序基准码或其他辅助数据外，其他数据位 置上都为消隐码8 0 h 、1 0 h 、8 0 h 、i o h 等痔歹。 1 t u 6 5 6 提出了两个时序基准信号，一个是在每行视频数据的开始( s a v ) ，另外 一个是在每行视频数据的结束( 黝w ) 。每个时序参考信号潦4 个字节序列缀成，格 式为“麟0 00 0x y ( 以十六进制表示，f f0 0 供定时基准信号用) ，头三个字是固定 前缀，最后一个字包括定义下场的场标识、场消隐状态和行消隐状态等信息，表2 为时序基准信号内的比特分配。表中f = 0 1 表示奇场脶场，v = 0 1 表示有效视频数据 期视频消隐期，h = 剖薹表示有效视频开始( s a v ) 庸效视频结束( 嚣a v 。鼬，p l ， p 2 ，p 3 是保护比特，主要起数据校验作用，其值取决于f 、h 、v ，依次力鞠二f x o r v x o rh ，p 1 一fx o rv ，p 2 一fx o r 珏，p 3 一vx o rh 。 了 第二章数字音视频概述 基于s o p c 的数字音视频采集处理与回放系统设计 2 2 音频基础知识 本节主要介绍音频的相关基础知识，主要包括音频的种类，音频的数字化及常用 的数字音频传输接口标准。 2 2 1 音频的种类 音频( a u d i o ) 是指频率在2 0i - i z 2 0k h z 范围内的可听声音，是多媒体信息中 的一种媒体类型听觉类媒体。目前多媒体计算机中的音频主要有波形音频、c d 音频和m i d i 音乐3 种形式。 1 波形音频由外部声音源通过数字化过程采集到多媒体计算机中的所有声音 形式。语音是波形声音中人的说话声音，具有内在的语言学、语音学的内涵。多媒体 计算机可以利用特殊的方法分析、研究、抽取语音的相关特征，实现对不同语音的分 辩、识别以及通过文字合成语音波形等。 2 c d 音频c d 音频( c d - a u d i o ) 是存储在音乐c d 光盘中的数字音频，可以 通过c d - r o m 驱动器读取并采集到多媒体计算机系统中，并以波形音频的相应形式 存储和处理。 3 m i d i 音乐也称m i d i 音频，它将音乐符号化并保存在m i d i 文件中，并通 过音乐合成器产生相应的声音波形来还原播放。 2 2 2 音频的数字化 多媒体系统在处理音频信号之前，必须将模拟的声音信号数字化，产生数字音频。 具体过程包括：采样、量化、编码【。 1 采样采样是每间隔一段时间读取一次声音信号幅度，使声音信号在时间上 被离散化。采样频率是指将模拟声音波形数字化时，每秒钟所抽取声波幅度样本的次 8 基予s o p c 的数字膏视频采集处理与回放系统设计第二章数字啬视频概述 数，其计算单位是k h z ( 千赫兹) 。一般来讲，采样频率越离声音失寞越小，用于存 储数字音频的数据量也就越大。 2 量化量化是把采样得到的声音信号幅度转换为数字值，是声音信号在幅度 上被离散化。垂化位数是每个采样点能够表示的数据范围，常用的鸯8 位、1 2 位秘 薹6 位。 3 编码音频数据压缩编码的方法有多种，可分为无按压缩翻有损压缩两大类。 无损压缩主要包含各种熵编码；而有损蘸缩则可分为波形编码、参数编码、感知编码 和同时利用多种技术麴混合编码。 2 2 。3 数字音频传输总线协议 翠期的p c 声卡由于集成度不高，声卡上分布了大鲞元器件，体积较大，另外豳 于数字部分和模拟部分集成在起，很难降低电磁干扰对模拟部分的影响，使得声卡 信噪比不理想。为了解决问题，多家著名p c 公司联合提出方案将声卡中成本最高的 d s p ( 数字信号处理器) 去掉，通过编写驱动程序让强大的c p u 来负责信号处理， 丽模拟部分的a d 、d a 转换与m i x 混音操作则有单独的c o d e c 芯片 ( c o d e r - d e c o d e r ) 完成。图3 为数字音频系统的总体结构图。 羲藩娃壤 数字鹰频州牡h 铡蝌瓣雯l 传输总线 矧誓z 漱混啬吲淤 制瓣膏嚣输出i 圈3 数孚罾藏系统静结构图 为了数字音频数据在c p u 和c o d e c 芯片之间通信，相关的数字音频传输接翻 标准随之被提出。 i 。a c 9 7 标准( a u d i oc o d e c 9 7 )是1 9 9 6 年6 月，5 家p c 领域中颇具知 名度和权威性的软硬件公司( i n t e l 、c r e a t i v el a b s 、a n a l o gd e v i c e 、n s 和y a m a h a ) 共阏 提出了一种全新思路的芯片级p c 音源缡构，它把音频设备中的模拟部分和数字部分 分离开来，苁褥降低了两者之间的电磁干扰，可以得到缀好地提高音效品质 9 1 。a c 9 7 总线由4 根串行信号线和一根n r e s e t 信号线组成。其中串行信号线分别是：比特时 钟信号线( b i t _ c l k ) ，音频帧同步信号线( s y n c ) ，音频数据输出( s d a t ao u t ) 和音 9 第二章数字音视频概述基于s o p c 的数字音视频采集处理与回放系统设计 频数据输入( s d a t ai n ) 信号线。按照协议标准规定，数据在b i t _ c l k 的上升沿被发 送，在下降被沿被接收，实行全双工模式的数据传输【l o l 。 2 1 2 s 标准( i n t e r - - l cs o u n d )是荷兰飞利浦公司为了数字音频设备之间的音 频数据信号传输通信而制定的一种接口总线标准，该总线专责于音频设备之间的数据 传输【l 。1 2 s 总线主要有3 个信号：串行时钟s c l k ，也称作位时钟( b c l k ) ，即1 个时钟脉冲s c l k 对应1 b i t 的数字音频数据。s c l k 的频率- - 2 x 采样位数采样频率； 音频帧同步信号l r c k ，用于使能左右声道的数据。当l r c k 为高点平时使能传输左 声道的数据，为低电平则使能传输右声道的数据。l r c k 的频率采用采样频率；串行 数字音频数据s d a t a ，就利用二进制补码的形式表示的数字音频数据。在一些设计 中为了系统间能够更好地同步，还需要另外传输一个信号m c l k ，称为主时钟，也 叫系统时钟( s y sc l o c k ) ，是采样频率的2 5 6 倍或3 8 4 倒1 2 1 。 1 0 基予s o p c 酶数字音税频采集赴毽与露敦系统设计第三掌s o p c 嵌入式系统概述 第三章s o p c 嵌入式系统概述 3 1s o p c 及其技术 隧着i c 设计与工艺水平的提高，原先有许多配组成的电子系统可以集成到一个 独立的芯片上，构成片上系统( s y s t e mo nc h i p ，s o c ) 。s o p c ( s y s t e mo np r o g r a m m a b l e c h i p ，可编程片上系统) ，是由a l t e r a 公司提出来的一种新型、灵活、高效的s o c 设 计方案，是一种新的软硬件协同设计的系统设计技术。该技术将处理器、存储器、f o 口、l v d s ( l o w - v o l t a g e d i f f e r e n t i a ls i g n a l i n g ) 、c d r ( c l o c kd a t ar e c o v e r y ) 等功能 模块集成到一个可编程器件上，构成一个可编程的片上系统雒3 1 。s o p c 系统其有灵活 的设计方式，可裁减、可扩充、可升级的特点，与一般的s o c ( s y s t e mo nac h i p ) 技术相比，基于f p g a 的s o p c 技术更加灵活、高效。 现今，可将s o p c 视为是基于f p g a 解决方案的s o c 。与a s i c 的s o c 解决方 案相比，s o p c 系统及其设计技术具有很多的特色，并且有多种途径可构成s o p c 方 案【瑚。 1 基予f p g a 嵌入糟硬核的s o p c 系统基于f p g a 嵌入m 硬核的s o p c 系 统在设计时预先将处理器植入f p g a 中。现今业界常用的嵌入式处理器大部分是具有 a r m 知识产权处理器核的器件。将a r mc p u 或者其他处理器以硬核的方式植入到 目标f p g a 中，利用f p g a 内部丰富的可编程逻辑资源，按照系统的设计需求来相应 地添加接口模块，来实现系统的功能。该方案畿较好地降低系统的功耗以及成本。 2 基于f p g a 嵌入卿软核的s o p c 系统将口硬核直接植入目标f p g a 的设 计方案存在着许多不足，如硬核的第三方导致f p g a 厂商需花费昂贵的知识产权费 用，无法根据实际需要改变处理器结构等。改为采用软核处理器，就能很好的弥补这 些不足。目前最具有代表性的软核处理器如a l t e r a 公司的n i o si i 核，以及x i l i n x 公 司的m i c r o b l a z e 核。 3 基于h a r d c o p y 技术的s o p c 系统h a r d c o p y 技术就是利用原有的f p g a 开 发工具，将成功实现于f p g a 器件上的s o p c 系统通过特定的技术直接向a s i c 转化， 从丽解决传统a s i c 设计中普遍存在的问题，使产品的设计生产周期缩短，从而对市 场形成直接竞争的优势。 第三章s o p c 嵌入式系统概述 基于s o p c 的数字音视频采集处理与回放系统设计 3 2s o p c 开发流程 s o p c 的开发流程通常包括2 个方面：基于q u a r t u $ 、s o p cb u i l d e r 的硬件设 计，基于n i o si ii d e 的软件设计，三者之间的关系及s o p c 开发流程如图4 所示。 硬件开发 h d l 源文件 测试台 编译( 分析与综合、 布局布线、时序分析 等) 一用户逻辑设计 其他i p 模块 s o p cb u i l d e r 顶 层文件b d f 3 2 1 硬件开发 一 一 一 $ i g n a l t a p 图4 s o p c 开发流程1 4 l c 头文件 用户库函数 外设驱动 用户代码 一库函数 操作系统 硬件开发过程中使用q u a r t u si i 和s o p cb u i l d e r 软件。首先根据设计需求从 s o p cb u i l d e r 软件中选取所需的n i o si ic p u 、存储器以及其他各种外围设备，并按 照需求来配置相关性能参数：过程中用户可以添加自定制指令逻辑到n i o si i 内核中 来提高c p u 的性能；此外除了软件自带的p ，用户还可以添加符合a v a l o n 总线规范 的自定制逻辑p 。接着利用s o p cb u i l d e r 软件来分配各外设地址和中断号：并设定 系统的复位地址。编译q u a r t u si i 工程，开始布局布线，并综合生成工程的器件网表， 生成目标p t g a 的配置文件( s o f ) ：用数据下载电缆( 如u s bb y t e b l a s t e r ) ，将该配 置文件下载到目标开发板上进行调试。在硬件验证确认无误后，最后可将正确的硬件 1 2 董至璺q 鉴的数字酱视频采集处理与回放系统设计第三章$ o p c 嵌入式系统概述 配置文件下载到f p g a 的非易失性串行配置器件e p c s 中去。 3 。2 。2 软件开发 软件开发使用a l t e r an i o si ii d e ，它是一个基于