（电磁场与微波技术专业论文）基于omap平台的无线多媒体终端研究与实现.pdf

独创性( 或创新性) 声明 f i i ii ii ii iirl ll li lll li y 1819 212 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 涨煎 r 期：呈丝z ：兰：型 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 本学位论文属于保密，在土年解密后适用本授权书。 本人签名：立丝互坠日期：逝z ：兰：丝 导师签名：冬建圣乏整日期：一壶二0 。2 i 盐 ? 北京邮电人学硕j ：论文 基于o m a p 平台的无线多媒体终端研究及实现 摘要 n g n ( n e x tg e n e r a t i o nn e t w o r k ) 即下一代网络，是近年来全球通 信产业发展的焦点，本论文的背景课题主要是针对n g n 关键技术的 研究以及终端设备的实现，研究成果具有良好的应用前景。 n g n 关键设备的实现是下一代网络研究的重点之一，所以设备的 设计与开发，实现n g n 环境下的智能终端平台，从而可以在n g n 平台上提供完整的应用解决方案是非常关键的。同时随着移动网络和 多媒体通信技术的发展，多媒体通信将逐渐向无线网络应用过渡。多 媒体通信终端将向多样化、移动化方向发展。开发应用于移动网络的 多媒体终端，有着重要的理论意义。 本文的主要研究内容是实现应用于n g n 的无线多媒体终端，即 可以实现音频，视频，同时具有无线接入功能，并且具有增加后续应 用能力的嵌入式无线多媒体终端。 通过比较，在多媒体终端的无线接入方案中采用了广域宽带无线 接入技术w i m a x ( w i r e l e s si n t e r o p e r a b i l i t yf o rm i c r o w a v ea c c e s s ) ，同 时考虑已有开发平台和成本，以及整个设计的功能，利用w i m a x 芯 片组和o m a p 5 9 1 0 硬件开发板来完成一个无线接入多媒体终端。 o m a p 5 9 1 0 处理器是由广泛应用的高性能低功耗 t m s 3 2 0 c 5 5 x d s p 内核与增强型a r m t m 9 2 5 微处理器组成的双核应 第1 页 北京邮电人学硕f ：论文 用处理器。d s p 可提供对低功耗应用实时多媒体处理的支持， a r m 9 2 5 可满足控制和接口方面的处理需要。 本文的创新之处就在于在充分理解已有开发平台的基础上，提出 在下一代网络多媒体终端中加入无线接入功能，从而实现了多媒体终 端的无线接入，同时采用w i m a x 芯片组和项目已有的o m a p 硬件 开发板，实现经济，灵活。并且研究了终端的软件和硬件要求，以及 具体实现的功能和方法，并对其关键技术进行了详细分析。 全文共分为6 章，第1 章介绍了下一代网络，w i m a x 通信技术 和开放式多媒体应用平台的概况，分析了选题意义及应用前景。第2 章对无线多媒体终端开发平台和系统设计目标进行了分析。第3 章基 于o m a p 5 9 1 0 平台，给出了多媒体无线终端的系统设计方案。第4 章详细分析了w i m a x 无线接入以及软硬件功能，给出了基于o m a p 平台实现。第5 章介绍了o m a p 的特性和开发环境，讨论了多媒体 部分和无线通信模块的软件设计方法和关键技术。第6 章结合 o m a p 5 9 1 0 硬件平台，对音频部分实现进行了具体分析。同时在总结 与展望中总结了整个设计的优点和创新性，同时对存在的问题和需要 改进的地方进行了阐述。 关键词：无线宽带接入开放式多媒体应用平台无线多媒体终 端全球微波接入无线城域网 第2 页 一 北京邮电人学硕上论文 t h ea n a i y z ea n di m p l e m e n t m e n to f w i r e l e s sm u l t i m e d i at e r m i n a l o no m 睑pp l a t f o r m n o w a d a y s ，t h es e v e r i t yc o m p e t i t i o na n dc o n s u m m a t i n gs t a n d a r d p r o v i d eo p p o r t u n i t yf o rn g n o u rp r o j e c ti s “n g nk e yt e c h n o l o g y r e s e a r c h t h ea i m so ft h ep r o j e c ta r er e a l i z a t i o no fa c c e s se q u i p m e n t a n dk e yt e c h n o l o g yr e s e a r c h ，a n dt h er e s e a r c hr e s u l tw i l lb eu s e di nt h e n e x tg e n e r a t i o nn e t w o r k s w i t ht h er a p i dd e v e l o p m e n to fm u l t i m e d i aa n da p p l i c a t i o ni n w i r e l e s sn e t w o r k s ，t h ea p p l i c a t i o nw i l lb ef l o u n c ea n dm o r em o b i l e s o ， t h ea n a l y s i sa n di m p l e m e n to fw i r e l e s sm u l t i m e d i at e r m i n a li st h ek e yf o r t h ea d v a n t a g eo fn g n t h ep r o j e c th a ss e v e r a ls i g n i f i c a n ta s p e c t s ，i n c l u d i n gm u l t i m e d i a t e r m i n a ld e v e l o p m e n tu s i n gt h ec o m m u n i c a t i o np r o t o c o l sb a s e do ns i p ， a n ds u p p o r t i n gv o i c e ，v i d e oa n dd a t at r a n s m i s s i o no nw i r e l e s sn e t w o r k s t h er e s e a r c ho ft h em u l t i m e d i at e r m i n a ld e v e l o p m e n tb a s e do nw i m a x n e t w o r k i n g ，w h i c hh a si m p o r t a n tu s ea n dw i l lb ew i d e l ya c c e p t e di nn e a r f u t u r e b a s e do nt h eo p e nm u l t i m e d i aa p p l i c a t i o np l a t f o r m ( o m a p ) ，t h e p a p e ra n a l y z e st h es y s t e ms t r u c t u r eo fm u l t i m e d i at e r m i n a lo nw i m a x n e t w o r k ，a n dd i s c u s s e ss e v e r a lk e yt e c h n o l o g i e sa b o u tt h ew i r e l e s s m u l t i m e d i at e r m i n a l t h eo m a p 5 9 1 0p r o c e s s o ri sad u a l c o r ea r c h i t e c t u r ea p p l i c a t i o n p r o c e s s o rc o m b i n e db yt h eh i g h p e r f o r m a n c ea n dl o w p o w e rc a p a b i l i t i e s 第3 页 北京邮电人学硕l 二论文 o ft h et m $ 3 2 0 c 5 5 xd s pc o r ew i t ht h et i e n h a n c e da r m t m9 2 5 p r o c e s s o r t h e5 5 xs e r i e sd s p c a ns u p p o r tm u l t i m e d i am a n a g e m e n to f l o w - p o w e ra p p l i c a t i o n a n dt h ea r m 9 2 5 m p uw i l lm e e tr e q u i r e so f c o n t r o la n di n t e r f a c e i tg a i n st h em e r i t so ft h et w op r o c e s s o r sm o s t l yb y o p t i m i z et h e i rc o m m u n i c a t i o nm e c h a n i s m i nt h i sp r o j e c t ，t h ek e yf a c t o rf o rt h ei n n o v a t i o ni st h ep l a t f o r m s e l e c t i o na n dm e r g ei tw i t ht h ew i m a x , i nt h i sp a p e r ，w er e s e a r c ht h e d e v e l o pt e c h n o l o g y o fm u l t i m e d i ac o m m u n i c a t i o nt e r m i n a lw h i c h i n c l u d i n gs y s t e md e s i g n ，c h o i c eo fp l a t f o r m ，i m p l e m e n to fa u d i oa n d v i d e oo nw i m a xw l a na n di t sa p p l i c a t i o n s t h ep a p e rh a ss i xc h a p t e r s t h ef i r s tc h a p t e ri n t r o d u c e st h ew i r e l e s s t e n d e n c ya n dp r e s e n tc o n d i t i o no fm u l t i m e d i at e c h n o l o g i e sa n dc o n f o r m t h ed e s i g na i m i nt h es e c o n dc h a p t e r ，a n a l y z et h ef e a t u r e so ft e r m i n a la n d p a r s i n gt h es e l e c t i o no fp l a t f o r m t h et h i r dc h a p t e rg i v e sad e t a i l e d e x p l a i n i n gf o rt h et e r m i n a lb a s e do no m a p 5 9 1 0p l a t f o r m t h ef o u r t h c h a p t e rg i v e st h ed e t a i l sa b o u th a r d w a r ea n ds o f t w a r e ，a n dk e yf a c t o r si n w i r e l e s sc o m m u n i c a t i o nd e s i g n t h ef i f t hc h a p t e rp r o p o s e st h es o f t w a r e d e s i g n a n dr e a l i z a t i o n b y t h es o f t w a r ee n v i r o n m e n ta n dt h ek e y t e c h n o l o g yf o rt h ed u a lc o r ed e s i g n t h es i x t hc h a p t e rg i v e sad e t a i l e d i m p l e m e n t a t i o na b o u tt h eo m a pp l a t f o r ma n dm a i n l yf o c u s e so nt h e a u d i od e s i g n k e yw o r d s ：b r o a d b a n dw i r e l e s sa c c e s s ，o m a p ，m u l t i m e d i at e r m i n a l ， 第4 页 北京邮电人学硕i ：论文 第1 章概述 目录 7 1 1 网络现状以及宽带无线接入发展趋势7 1 2 移动通信网络接入技术7 1 3n g n 终端以及无线终端发展趋势9 1 4 选题的背景和意义9 1 5 论文主要内容和组织结构1 0 第2 章无线多媒体终端开发平台n 2 1 无线多媒体终端应用的前提条件。1 1 2 2 无线多媒体终端开发平台的需求1 1 2 3 无线多媒体终端开发平台的选择。1 2 2 i j 一艘多媒缮揖詹孕台艿焦1 2 2 3 2 无线多媒体开发平台目标分析。1 3 z 3 3 基- 7 = o m a p 技术的开发平台1 4 2 4o m a p 5 9 1 0 平台分析。1 5 2 4 1o m a p 5 9 1 0 硬调 核艺善步彪j 5 2 4 2o m a p 5 9 1 0 榴关攫曰功彪j 6 2 4 3 例目阻巧9 1 0 无线多簇绺终碡岽。j 8 第3 章无线多媒体终端设计 1 9 3 1 无线多媒体终端设计目标1 9 i j j 多召彩摹翅f 黝北j 9 王j 2 终端赛纺绍磁：缮梅j 9 ij 3 赛绕馓皇辨烂谕绍参线2 口 3 2 基于o m a p 5 9 1 0 系统结构设计2 1 3 2 1 多簇髅稿绠律豸考：橡2 2 3 2 2 多殡髅端豹殍：豸手椽2 2 3 3 系统硬件的划分与设计。2 3 i i j 龆频怨理彰示刀 3 3 2 考须她理喾宏。2 4 i i 3 亮绷詹章庀2 4 3 4 系统的软件划分和设计。2 4 3 4 1 多臻触终掰会谔钐溅移选臻“ 3 4 2 龆青朔翰瀚彩烈仍搴况乃 3 4 3 脱砌y 彩议糖声穸宪彩乃 第4 章w n i a x 无线模块设计 4 1w i m a x 无线接入技术2 6 4 1 1 f f m a x 彻：拓 第5 页 北京邮电大学硕上论文 4 1 4v e i m a x 石线模埃晚确功黝荔f 2 9 4 2 无线模块的要求和选择3 1 4 2 1 以单芯片的系统芯片为主的用户终端设计3 2 4 2 2 赛豸旃哟筋方肇生 t i 钓 a s i c 绍角6 歹穸筹刀 4 3 无线模块的软硬件功能3 4 4 3 1 晰 纠y 攫衍私发若硬绎w t 主2w i m a x 攫我籀发送贸绰彩分3 5 第5 章无线多媒体终端软件设计 5 1o m a p 平台软件特性3 6 i j jo m a p 霸殍尉伤吻乒拦3 6 工7 2o m a p 霸绎的刃萄摆烂3 7 工j 3o m a p 霸绎d s p b i o s 射符架旅3 7 5 2o m a p 的设计环境和核心技术。3 8 5 2 1o m a p 集藏矛发琢鳍粥 5 z 2o m a p 霸殍甥砀勃自心3 9 5 3 系统软件设计。4 0 5 3 1 多蘑黝f 毒额舌量廖竣兢。钳 第6 章o m a p 的终端设计实现 6 1 终端音频电路硬件设计。4 4 6 1 1a i c 2 3 工绍镆铽溯。4 5 6 1 2 a i c 2 3 接口配置葩葩钙 6 1 3a i c 2 3 煮黼掰劳筘 6 2 系统音频单元软件设计4 7 6 z 1 菪考编痹鹚蝴殍结：椽4 7 6 2 2 存考编箨留苈纪。4 7 6 2 3 蒋考编霹码粥粤搴，翊铝 6 3g 7 1 1 算法的编译运行结果。4 8 6 3 1 卷厅沈猫纪4 9 6 3 2 耢久耢凹之斧4 9 6 3 3 普考编锅觋功膨镦纾。锣 6 3 4 荬：彩与结果分析卯 第七章总结与展望 参考文献 附录一p c m 编码程序 附录二a i c 2 3 设置： 致谢 攻读学位期间发表的学术论文 第6 页 甄 配 舄 翳 钉 鼹 北京邮电大学硕 ：论文 第1 章概述 1 1 网络现状以及宽带无线接入发展趋势 随着计算机技术、通信技术、大规模集成电路技术和信息处理技术的快速发 展，多媒体通信得到越来越广泛的应用，多媒体通信业务需求也在快速增长，我 国的多媒体业务发展也十分迅速，多媒体应用需求不断增长，一方面多媒体通信 网络建设得到大力发展，另一方面针对各种具体应用的多媒体通信终端的研制也 有很大的发展。在众多的多媒体通信应用中，嵌入式应用需求不断增长。另外， 移动通信技术取得了巨大的成功，移动网络将会逐渐成为多媒体通信的重要网络 平台，所以研究应用于移动网络的多媒体通信有着重要的现实意义。 n g n ( n e x tg e n e r a t i o nn e t w o r k ) 即下一代网络，是近年来全球通信产业发 展的焦点，n g n 网络最大的特点是提供开放式的体系架构和标准的接口，从而 实现业务与呼叫分离，呼叫与媒体分离。n g n 网络以软交换为核心完成业务的 控制和管理，采用i p 协议实现新一代网络上语音、视频、数据等综合业务融合， 采用多样化的宽带无缝技术来实现多种业务的接入。n g n 关键设备的实现是下 一代网络研究的重点之一，所以设备的设计与开发，实现n g n 环境下的智能终 端平台，从而可以在n g n 的中提供完整的应用解决方案是非常关键的。 近年来，国际上移动通信的发展特别迅速，尤其是个人通信，包括数字蜂窝 网以及个人便携终端或手机，都大幅度革新。同时由于第三代移动通信的出现， 要求有较宽频带的业务，除音频以外，增加数据、视频和多媒体通信。但无线频 谱资源有限，不能任意扩大使用带宽。在这种限制下，充分利用当今成熟的各种 技术，如音视频压缩编码、信号调制和信道编码，以及智能无线收发机和智能天 线等，这样，无线多媒体通信就有把握在下一代个人通信网中真正得到实现。目 前，传统的多媒体传输方式已不能满足人们日益增长的消费需求。有线传输向无 线接入方式过渡，桌面型电脑向笔记本电脑发展成为主流方向。而w i m a x 技术的 大力推广，正好满足了无线传输的带宽要求，使上述过渡成为可能。多媒体通讯 将向多样化、移动化方向发展。 1 2 移动通信网络接入技术 3 g 、w i f i 、w i m a x 是具有相同概念的接入技术，只是它们具有不同的技 术特征和应用范围，甚至说是具有不同的发展进程和推广速度。它们之间的区别 第7 页 北京邮电人学硕上论文 见下表： 表1 - 1w i m a x 、w i f i 与3 g 的区别 技术 3 g w i f i w i m a x w c d m a 、c d m a 2 0 0 0 协议8 0 2 1 18 0 2 1 6 t d s c d m a 2 4 m b i t s ( e v - d o 为 最人数据速率1 1 5 4 m b i t s1 0 - 7 5 m b i t s 3 0 0 - 5 0 0 k b i t s ) 室内： 9 1 5 m 覆盖范围 l o k m1 6 5 0 k m 室外： 嚣r 】籽定时嚣 k v t i l _ ，2 巾颤控涮嚣 麓置舒存嚣识舄i l 器件 ：广面蕊i ：r _ 面面万1 ：广弋瑟一 ：lu s bl i m ai 撑 ：lu s b 如a e a , mw ：l 盹 l 讲p 酶 lc 捌i f ：i m p u i o ：l 3 ：? - & l b 计教叠 i 列酽唧l ：i 键盘i 厢 i 麓m l ：届l ， - il 6 1 2 丙商；i 撇瓣 掣l 第ll 圈匪ri 垤ll 剖l 坚 1 2 , 1 d h zl l3 2 j 1 1 1 l zi 时钟蔑位外部酣钟鹭承 图2 - 1o m a p 5 9 1 0 硬件架构 从图中以及上文可以看出，o m a p 5 9 1 0 的特点总结如下： ( 1 ) 双核结构，支持多种操作系统和多媒体编解码应用。 ( 2 ) 州s 3 2 0 c 5 5 xd s p 具有丰富的多媒体功能和超低功耗。 ( 3 ) a r m 9 内接通过缓存器运行指令和控制功能以及用户界面应用。可连接、 音频和存储器接等多种外围设备，更好地满足开发设计的需求。 ( 4 ) d s p b i o sb r i d g e 无须增加软件编程的复杂性就可提升系统整体性能。 ( 5 ) 开放式平台可与多种软件解决方案相兼容。 ( 6 ) c o d ec o m p o s e rs t u d i o 是实时软件技术的一部分，使d s p 开发时间缩短 ( 7 ) 2 8 9 引脚小型b g a 封装更加节省空间。 2 4 2o m a p 5 9 1 0 相关接口功能 o m a p 5 9 1 0 芯片具有丰富的外围接口，如液晶控制器、存储器接口、摄像机 接口、空中接口、通用异步收发器、脉宽音频发生器、串行接口、主客户机u s b 第1 6 页 等箍概 瞪一 骶o 北京邮电人学硕上论文 口、数字多媒体卡接口、键盘接口等等。这些丰富的外围接口，使o m a p 5 9 1 0 特别适用于多媒体系统的开发。下面就一些重要的接口进行简单介绍。 ( 1 ) 存储器接口 o m a p 5 9 1 0 包含三个存储器接口，两个外部存储器接口和一个内部存储器接 口。外部存储器接口支持6 4 m b 可寻址s d r a m ，3 2 m b 可寻址按块擦除存储器、 同时还支持随机存取存储器( r a m ) 以及只读存储器( r o m ) 的直接连接。两个外部 存储器接口的数据宽度为1 6 位，支持接口电压为2 7 5 或1 8 v 的外部设备。内 部存储器端口用于连接片内s i 乙蝴。三个存储器接口都是可存取的，可与1 1 加 强型9 2 5 以及系统直接存储器存取( d m a ) 通道进行共享。系统直接存取( d m a ) 通道在没有增加m p u 的前提下实现存储器之间的数据传送。所有内部存储器、 外部存储器及其外围设备的数据输入输出操作都与m p u 并行工作。从而使整个 系统的效率得到大幅度的提高。 ( 2 ) l c d 控制器 l c d 控制器实现了与s t n 或t f r 的l c d 彩色显示面板的直接连接，同时有 效减少系统器件数量及其功耗。在外部s d r a m 或内部s r a m 配置帧缓冲器可 提高节能效果。d m a 单元有专用通道把数据从帧缓冲器传送到l c d 控制器。 ( 3 ) 相机接口 视频应用已经成为下一代无线设备的重要内容。通过相机接口。o m a p 5 9 1 0 可直接与相机模块相连接，从而实现视频会议或其他视频应用。接口使用8 位并 行图像数据、象素时钟和水平垂直同步信号。象素时钟可根据外部相机模块的 要求而呈现为同步或异步。相机数据传送可通过d m a 端口进行。 ( 4 ) 高速调制解调接口 通过调制解调接口，一个外部的调制解调设备便可以直接与o m a p 5 9 1 0 连 接，从而实现数据通讯。该接口符合常用无线协议标准，使用方便。数据传送在 标准的多通道缓冲串行端e i ( m c b s p ) 高达6 m b p s ，而数据控制则在数据传送的同 时通过通用异步收发器( u 阑以及时钟和功率的控制信号线路完成。多通道缓 冲串行端口( m c b s p ) 和通用异步收发器( t j a r a 3 支持直接存储器存取( d m a ) ， 从而减少m p u 的负荷。 ( 5 ) 通用异步收发器 o m a p 5 9 1 0 包含三个兼容的通用异步收发器( u a r a 3 。这些通用异步收发器都 通过软件控制。其中两个通用异步收发器是专门为调制解调器和无线接口设计 的。第三个通用异步收发器，支持串行通信的红外数据适配器( i r d a ) 。三个通用 异步收发器均配置了6 4 字、可编程触发级的接收和发送f i f o ，并提供奇偶传送 校验。 第1 7 页 北京邮电大学硕l 论文 2 4 3o m a p 5 9 1 0 无线多媒体终端 从以上的关于o m a p 的介绍我们可以看出，o m a p 5 9 1 0 独特的结构，其芯 片运算处理能力强、功耗低，在移动通信和多媒体信号处理方面具有明显优势。 从实际设计要求，以及设计目标而言，o 删9 1 0 芯片完全满足这些应用的要 求。此外，o m a p 开放的体系结构使开发者容易开发出新的多媒体应用软件。 所以结合我们的设计目标，通过比较，综合考虑成本、丌发难度和周期、产 品可延续和扩展性等因素，通过多个平台的比较，我们采用了t i 公司的 o m a p 5 9 1 0 平台来设计多媒体无线通信终端。下一章详细分析多媒体终端的设 计。 第1 8 页 北京邮电人学硕上论文 第3 章无线多媒体终端设计 3 1 无线多媒体终端设计目标 本系统设计目标为基于o m a p 平台的移动多媒体通信终端。目标实现分两 个阶段完成：第一个阶段完成多媒体视音频的设计，第二阶段和w i m a x 技术相 结合，设计一个移动多媒体系统。本章主要讨论第一阶段目标的实现。第四章讨 论第二个阶段目标的实现。 3 1 1 多媒体通信协议 在当今，多媒体通信发展日益迅速、多媒体通信业务需求不断增长，发展综 合化、智能化、宽带化的多媒体通信网是一个非常重要的内容，但是另外一个极 其重要的内容就是多媒体通信终端的研制发展。 目前的多媒体终端种类较多，它们分别适用不同的网络，面向不同的用户群， 提供不同的质量，遵循不同的标准。目前，对多媒体应用主要有两种信令协议， 现在主要的标准有u t 建议的h 3 2 3 和i e t f 建议的s i p 。 现在应用最广泛的是h 3 2 3 协议，包括媒体流的实时传输处理协议r t p 和呼 叫控制处理协议两部分。h 3 2 3 沿用的是传统的电话信令的模式，比较成熟，已 经出现了不少h 3 2 3 产品。h 3 2 3 符合通信领域传统的设计思想，进行集中、层 次式控制，采用h 3 2 3 协议便于与传统的电话网相连。 s i p 协议借鉴了i n t e r n e t 的标准和协议的设计思想，在风格上遵循i n t e m e t 一 贯坚持的简练、开放、兼容和可扩展等原则，s i p 协议比h 3 2 3 协议灵活，简单， 实现起来更容易，它只包含信令控制协议，多媒体流的传输处理也是使用r t p 协议完成。优点是同i n t e r n e t 结合，可以很方便地生成新的业务，如w e b 呼叫、 点击拨号等。 3 1 2 终端系统组成结构 通常，多媒体通信终端要求能对多媒体信息进行处理，以适合其在某一速率 的信道上进行传输，并能与通信网上的其它终端协同工作，在灵活完成各种媒体 信息输入输出的同时提供友好的人机界面。典型的多媒体通信终端的组成结构如 图3 - 1 所示。 第1 9 页 北京邮电人学硕上论文 图3 1 智能终端硬件实现的基本结构 从图中可以看出，终端的硬件实现基本上分为3 个组成部分： 1 、视音频输入输出 这一部分主要包括视音频采集、视音频输出、视音频的模数转换及数模转换 等几个功能模块。其中模数转换模块把采集到的模拟信号的声音和图像转换成核 心处理芯片可以进行处理数字信号格式，之后把数据交给核心处理芯片处理；数 模转换模块则是把核心处理芯片输出的数字信号转换成模拟信号传送给视音频 输出模块。一般来说，视音频输入模块与视音频输出模块是直接相连的，这样输 出模块就可以进行本地的视音输出了。 2 1 网络接口部分 作为工作在口网上的终端设备，网路接口是不可缺少的。网络接口是智能 终端主要的通信接口。一方面，它把核心处理芯片传来的本地数据( 包括压缩编 码后的视音频数据) 发送出去；另一方面，它把网络上传来的数据交给核心处理 芯片进行处理( 包括对视音频数据的解压缩) 。 3 1 核心处理部分 核心处理部分包括核心处理芯片、s d r a m 、和f l a s h 等。核心处理芯片完 成主要的运算、控制和处理工作，s d r a m 相当于内存。在硬件设计中，s d r a m 一般要求3 2 m b y t c s 或者6 4 m b y t e s 。根据需要，s d r a m 的大小还可以增加或减 少。f l a s h 是硬件结构中必须的部分，是烧写软件代码的场所。烧写在f l a s h 中的程序代码在终端断电以后仍能被保留。当终端被重新上电复位时，核心处理 芯片就会从f l a s h 中调出程序并运行，从而开始正常的工作。 3 1 3 系统的整体性能参数 终端的任务是设计一个可应用于移动网络的嵌入式多媒体通信终端，可以作 为符合s i p 标准的无线多媒体终端，基于w i m a x 网络上的多媒体应用，考虑到 多媒体部分的应用要求，整个系统硬件应该具备的性能参数如下： 第加页 北京邮电大学硕上论文 1 数据精确度 1 ) 简洁直观的用户界面，方便的操作性 2 ) 高清晰度的视频电话功能( 3 5 2 x 2 8 8 ，2 0 f p s ) 3 ) 数据格式和数据逻辑关系与实际的偏差在5 内 2 时问特性 1 ) 视频处理速度：每帧时间： = o 2 5 秒；要求视频处理最好4 帧秒 2 ) 视频支持c w , 颜色深度2 4 p p s ，帧率2 0 帧秒，分辨率7 2 0 x 4 8 0 3 ) 用户可视网络状况选择是否加载视频服务以及选择音视频编码方式 4 ) 音频延时 5 0 0 m s 5 ) 协议和角色管理响应时间 = o 2 5 秒；一帧数据处理完之前响应 6 ) 数据转换与传输时间：依靠网络，在1 0 0 k s 的速率下，要小于1 秒 3 适应性 1 ) 支持应用层的重用和扩展 2 ) 尽可能少的耗占系统资源，提供稳定的会议连接 3 ) 运行系统软件时，可进行其他小程序的运行，所占c p u 资源数 输转 辅用 菱 包 出 换 爿户 刮与瘗 藿一j 网 彳沁 辅r 界 络 之如出 吐 面 鏊、叫 接 与 口 本 模 解 地 数 包 媒转 媒体数据处理模块 体监 媒体数据解码 采 媒体数据 集 。i 媒体数据编码 图3 3 整个系统的硬件系统图 参考相关o m a p 的设计指导，同时考虑系统要求的性能和实现的可行性， 设计典型独立系统逻辑图如图3 3 所示。系统主要包括视频输入、视频输出、音 频编解码器，网络接口模块，存储器等，这些内容将在3 3 章节作详细分析。 3 2 2 多媒体终端软件结构 用户界面 主控模块 音频设备接口模块税频设备接口模块 音频编解码模块悦频编解码模块数据媒体处理模块 s i p s d p 模 m l g r c p # 输模块 块 l 应用程序层 网络接口模块 惦及硬件的相 r t o s ( a n a l i m x 其中包括t t c p l d p i p 协议栈) 应驱动 l c d 驱动键盘驱动麓标驱动d s p 驱动同卡驱动 l 硬件( 外设)t c 0 键盘鼠标0 s p 网号 图3 _ 4 移动多媒体终端的协议软件结构 第2 2 页 北京邮电大学硕上论文 多媒体终端的协议结构如图3 4 所示，采用了分层的设计，同时通过定义各 个模块，明确了每个部分的功能，便于整个项目的开发设计。 下面就分别介绍模块的功能： ( 1 ) 用户界面模块：主要用于终端和用户进行信息交互。包括：1 ) 用户登 陆2 ) 发起语音视频呼叫3 ) 注册4 ) 发送文本即时消息。 ( 2 ) 主控程序模块：包括上层管理级数据结构。功能包括：1 ) 管理程序中 各模块信息，为模块分配资源2 ) 管理模块间的通信3 ) 终端程序初始化4 ) 处 理用户提交的请求5 ) 用户信息管理6 ) 通话记录管理7 ) 文本消息记录管理。 ( 3 ) s i p s d p 模块：包括s i p 和s d p 协议栈以及周边s i p 相关类型。完成 功能包括：1 ) s i p 消息的构造、发送、应答2 ) s i p 对话的管理、s i p 事务处理机 制的运行3 ) s d p 信息体的构造、解析4 ) 客户端注册功能。 ( 4 ) 数据处理模块：包括文本、文件( 图像、视频、程序等) 的处理。完 成的功能包括：1 ) 文本消息的打包、解包、显示2 ) 消息记录数据库的管理3 ) 文件传输支持断点重传，多点传输，多线程传输。 ( 5 ) 音频设备接口模块：包括音频读写设备操作。完成的功能包括1 ) 语音 数据的即时读写。还有视频设备接口模块：包括视频捕捉设备操作和视频播放。 完成的功能包括：1 ) 通过摄像头采集实时视频流2 ) 原始视频流数据的在屏显示。 ( 6 ) 音频编解码模块：包括各类语音编解码器。功能包括：1 ) 原始语音数据 的压缩2 ) 编码语音数据的解压缩。同时视频编解码模块：包括各类图像编解码器。 完成的功能包括：1 ) 原始图像数据的压缩编码2 ) 编码图像数据的解压缩解码。 ( 7 ) r t p 传输模块：包括负责r t p 传输和r t c p 监测的功能模块。功能：1 ) 对待发数据r t i 封装2 ) 对接收的r t p 包解封装3 ) 对网络r t c p 监测，适当的 调整本地编解码器策略。 ( 8 ) 网络接口模块：包括基于网络接口( s o c k e t ) 以及相关的函数。完成的功能 包括：1 ) 指定端口向远端发送数据2 ) 从指定端口接收数据。 以上介绍了移动多媒体终端的结构和功能。下面分析方案实现中的软硬件具 体划分和设计。 3 3 系统硬件的划分与设计 在硬件方面，系统划分为视频模块、音频模块和无线接口模块三部分。 3 3 1 视频处理单元 视频处理模块包括模拟视频信号输入、按照一定的编码算法压缩视频数据， 第2 3 页 北京邮电大学硕t ：论文 以及处理过的视频数据的解码和视频输出显示。视频编解码是a r m 和d s p 协调 工作的，这一部分工作采用了参考设计，所以不作详细介绍。 3 3 2 音频处理单元 同视频处理模块一样，音频处理模块也包括模拟音频信号输入、按照一定的 编码算法压缩音频数据，以及处理过的音频数据的解码和音频回放。音频信号输 入输出电路的核心是立体声编解码芯片a i c 2 3 ，下面分音频输入输出讨论。 ( 1 ) 音频输入部分支持两路音频输入，并且提供模拟和数字信号的混合功 能，内部编程控制信号的增益，支持采样频率为8 k h z 到4 8 k h z ，程序控制支持 8 位或1 6 位采样分辨率。同时由于a i c 2 3 中包含有a d 电路，因此它可以直接 和处理器的音频输入模块直接连接。 ( 2 ) 音频输出部分包括两通道音颊输出，支持采用的频率在8 k h z 到4 8 k h z 之间，支持1 4 位或1 6 位，同时包含d a 电路，所以可以通过编程实现直接和 处理器中的音频输出模块连接。处理器对音频效果的控制包括声音大小、质量、 静音、重低音等。这些控制通过1 2 c 总线接口向a i c 2 3 中的几个控制寄存器写 入控制字来实现。关于音频部分的具体设计和实现将在第六章详细描述。 3 3 3 无线通信单元 无线通信接口所选用的芯片是由w a v e s a t 公司提供的d m 2 5 6 芯片组。 w i m a x 接收和发送硬件平台采用p c i 接口设计，模块集成了w i m a x 和r f 部 分。它和主要的多媒体处理部分需要采用p c i 接口通信。d m 2 5 6 芯片组完成调 制和解调功能，同时完成m a c 数据的通信和r f 信号的处理。支持t d d 和f d d 双工模式。本文将在第四章详细说明无线模块的设计。 3 4 系统的软件划分和设计 在软件方面，系统主要的软件工作可以分为终端会话协议，音视频编解码， 以及w i m a x 协议的实现三个方面。 3 4 1 多媒体终端会话协议的选择 会话协议的选择决定了整个系统的软件的复杂程度，同时决定了设计的可扩 展性。所以比较s i p 和h 3 2 3 两种信令协议，来分析下在针对下一代网络的多媒 体终端中为何要使用s i p 协议作为智能终端的呼叫控制协议。 第2 4 页 北京邮电人学硕上论文 ( 1 ) 出发点：h 3 2 3 把i p 电话当作传统电话，