（计算机科学与技术专业论文）用java实现基于web的多媒体协同工作平台.pdf

里堕型兰垫查查堂堑壅生堕兰堡丝苎 摘要 厂 f i n t e m e t 技术的迅速发展使得传统办公室工作环境越来越呈现出向网络虚拟 协同工作环境转移的趋势，能够以多种媒体格式进行“面对面”交流的协作工具 软件成为目前热门的研究课题。随着经济社会的发展，在诸如电子商务、远程教 育等多种应用领域，此类软件的需求必将更加迫切。 当前国内这一领域的研究已经比较普遍，但由于其涉及知识面广、技术复杂， 成型的实用化软件产品较少，特别是在用j a v a 语言实现跨平台的多媒体协同工 作平台方面，这个问题更为明显。同时，国外资料公开的同类软件系统大部分开 发时间较早，实现昀多媒体协作功能有限，尤其是在视频交互方面做得不够，跨 平台的系统较少。， 本文v - 对以上不足，在广泛分析多个已有协同工作系统的基础上，研究开发 一种用j a v a 语言实现的、基于b s 方式的、具备了较好音频视频协作会议功能 的协同工作平台。它向协作用户提供白板、文字讨论组、身份认证、音频视频 协作会议等协作组件，通过它们可以方便地利用文字、简单图形、图片、声音、 视频图像进行交流协作。 实现时，软件整体设计采用一种四层( j a v a a p p l e t 客户层、通信管理器层、 本地服务层、应用服务器( 含数据库服务器) 层) 结构设计方法。使用通信管理器 功能模块解决多种媒体格式的数据同时在网络上传输的问题；使用本地服务层或 者j a v a a p p l e t 数字签名机制，为a p p l e t 存取本地资源提供有效手段。 同时，采用j m f ( j a v am e d i af r a m e w o r k ) 和r t p 流技术，解决通过网络传输 回放音频视频流这个首要问题。本文还对音频视频协作会议内部实现机制进行 了重新设计改进，给出一种针对j a v a 运行环境的优化实现方法忙对j m f 中的 复用器对象的概念进行扩展，引入“混音器”处理音频流、视频复用器和“令牌 控制机制”处理视频流，提供了不限用户数量和是否拥有发言权条件限制的音频 协作手段，也提供了用户数量及发送权受限的视频交流手段。y 另外，分级用户权限管理控制机制和一致性保持问题，也是协同工作软件系 统必须考虑的。对于前一个问题，本文用树形列表和树叶颜色直观地表示白板中 各协作成员的在线状态和访问权限，由会议主持人集中管理各协作组件的访问权 限，并为用户引入“举手发言”机制在协作过程中来灵活的申请改变访问权限。 对于后一个问题，用对象锁定和集中控制相结合的机制处理，对于比较特殊的音 频视频流的同步问题，则采用j m f 提供的内部机制。 最后介绍用m p e g 4 编解码器改进音频视频流传输回放质量的方法。 ll l 关键词：协同i 作，多媒体技术，j m f ，r t p ，c 8 c w 第1 页 国防科学技术大学研究生院学位论文 a b s t r a c t t m d i t i o n a lo m c ew o r ke n v i r o n m e n tt a k e so nat r e n dt o w a r d sn e t w o r kv i r t o a l c o l l a b o r a t ew o r ke n v i r o n m e n tm o i r ea n dm o r ew i t ht h e d e v e l o p m e n to fi n t e m e t c o l l a b o r a t es o f t w a r et o o l sw h i c hc a nm a k e p e o p l ei n t e r c o m m u n i c a t e “f a c et of a c e i n t b r m a t so fm e d i ab e c o m e sc u r r e n th o tr e s e a r c h 、i t 】1t h ed e v e l o p m e n to f e c o n o m y a n d s o c i e t y , w e c a nd o p eo u td e v e l o p i n gt h i sk i n do fs o f i w a r ew i l lg e tm o r ea n dm o r e i m p e n d e n c ea ts o m ef i e l d ss u c ha se l e c t r o n i cb u s i n e s sa n dr e m o t ee d u c a t i o ni nt h e f u t u r e m a n yp e r s o n sh a v eb e e nd o i n g t h er e s e a r c hw o r ki nt h i sf i e l di n s i d eo u rc o u n t r y , b u tw eh a v el i a l e g o o ds o f t w a r eb e c a u s et h ed e v e l o p m e n tn e e d sl o t so fc o m p u t e k n o w l e d g ea n dt e c h n o l o g y , a n di t i sc o m p l e xa l s o t h i sp r o b l e ml o o k sm o r ee x t r u s i o n e s p e c i a l l ya tt h er e s e a r c ha s p e c tt h a tu s i n gj a v at od e v e l o pm u l t i m e d i ac o l l a b o r a t i o n w o r k s p a c e a t t h es a m et i m e ，m o s to ft h ep u b l i cs h a r ec o l l a b o r a t i o ns y s t e m sa b o a r d h a db e e n d e v e l o p e df o rm a n yy e a r s t h e yh a v ef e w m u l t i m e d i af u n c t i o n se s p e c i a l l yi n p r o v i d i n gv i d e oc o n f e r e n c ea s p e c t a n o t h e rs h o r t a g ei s t h a tt h e ya r en o tp u r ej a v a p r o g r a mp r o j e c t t os o l v et h e s ep r o b l e m s ，t h i sp a p e rp r e s e n t san e ww a y , u s i n gj a v ap r o g r a m l a n g u a g ed e v e l o pa p u r ej a v a ”c o l l a b o r a t es y s t e mb a s e do fb r o w s e r s e r v e rw h i c hh a s v i r t u e so f b e i t e ra u d i o v i d e oc o i l 曲o r a t ec h a r a c t e r i tp r o v i d e sm a n yi n t e r c o m m u n i c a t e w a y st h r o u g hg r o u p w a r es u c ha sw h i t e b o a r d ，c h a tr o o m i m a g es l i d ea n da u d i o v i d e o c o n f e r e n c e u s i n gt h eg r o u p w a r e ，c o l l a b o r a t em e m b e r sc a ni n t e r c h a n g et h e i ri d e a s v e r y w e l l t h es y s t e mu s e s af o u r l a y e rd e s i g n f r a m e w o r kr j a v aa p p l e tc l i e n t l a y e r , c o m m u n i c a t i o nm a n a g e rl a y e r , l o c a ls e r v i c el a y e r , a p p l i c a t i o n & r t ps e r v e rw i t h d a t a b a s es e r v e rl a y e r ) w eu s es e s s i o nm a n a g e rt os o l v et h ep r o b l e mo f s e n d i n ga n d r e c e i v i n gt h em u l t if o r m a t so fm e d i ad a t a ；u s el o c a ls e r v i c el a y e ra n dj a v aa p p l e t n u m e r i cu n d e r w r i t em e c h a n i s mt or e a d i n ga n d w r i t i n gt h el o c a lr e s o u r c e a tt h es a m et i m e t h ep a p e ru s ej a v am e d i af r a m e w o r ka n dr t p t e c h n o l o g yt o s o l v et h ep r o b l e mo ft r a n s m i s s i o na n dp l a y b a c ko ft h ea u d i o v i d e os t r e a m i ta l s o d e s i g n s t h em e c h a n i s mo f r e a l i z i n g a u d i o v i d e oc o n f e r e n c e i nj a v ar u n t i m e e n v i r o n m e n t ；ab e t t e rm e t h o dc a nb et a k e n ，t h i si st os a y w ee x p a n dt h ec o n c e p t i o no f j m f s “m u l t i p l e x i o r g e t t i n gt h e a u d i om i x e r o b j e c tt om a n a g et h ea u d i os t r e a m a n dg e t t i n gt h e “v i d e om i x e d o b j e c ta n dt h e “t o k e nc l i c ka n dp r e e m p t c o n t r o l m e c h a n i s mo b j e c tt om a n a g et h ev i d e os t r e a m a tl a s tt h i ss o l u t i o nm e t h o dg i v e s a f f o r dt h ef a c t sb e l o w ：t h e q u a n t i t i e so f p e r s o n sw h oj o i nt h ea u d i o c o l l a b o r a t ed on o t b e e nr e s t r i c t e da n dp e o p l ed on o tn e e dav o i c e a u t h o r i t yb e f o r et h e ys p e a k 第1 i 页 国防科学技术大学研究生院学位论文 f u r t h e r m o r e ，c l a s s i f i c a t i o nu s e rp u r v i e wc o n t r o lm e c h a n i s ma n dc o n s i s t e n c y p r e s e r v ea r ea l s ot h em o s tc o m m o n i s s u ei nc o i l a b o r a t i o ns y s t e m s f o rt h ef i r s ti s s u e t h i sp a d e ru s e sat r e e1 i s ta n dc o l o r f u ll e a v e st os h o wt h es t a t eo ft h ee o l l a b o r a t e m e m b e ra n dh i sa c c e s sp u r v i e wi nw h i t e b o a r d ，m o d e r a t o rc a nm a n a g ea 1 1t h eo t h e r p e r s o n sg r o u p w a r e a c c e s sp u r v i e wi nc e n t r a l i z e d - c o n t r o lw a y , u s e r sc a n c h a n g et h e i r a c c e s sp u r v i e wd u r i n gt h ec o l l a b o r a t i o nc o n f e r e n c ei sg o i n go n t h r o u g l la “r a i s eo n e s h a n dt os p e a k m e c h a n i s m f o rt h es e c o n do n e ，t h i sp a p e ru s e s “l o c k e do b j e c ta n d c e n t r a l i z ec o n t r o l ”m e t h o dt od e a lw i t hi t ，b u tf o rt h em o r es p e c i a ls y n c h r o n i z a t i o no f t h ea u d i o v i d e os t r e a m t h e p a p e r u s e sj m f si n t e r i o rm e c h a n i s m f i n a l l y , t h ep a p e ri n t r o d u c e sa m e t h o dt oi m p r o v et h et i a n s m i s s i o na n d p l a y b a c k q u a l i t yt h r o u g ht h e 【p e g - 4c o d e cw h i c h w r i t ei np u r ej a v a k e yw o r d s ：c o ii a b o r a t i o n ，m u i t i m e d i a j m f r t p c s c w 第1 i l 页 国防科学技术大学研究生院学位论文 第一章引言 1 1 课题目标及意义 当前随着i n t e r n e t 和i n t r a n e t 技术的迅猛发展，传统的办公室工作环境正 在逐渐被地域分散的网络化的协同工作环境所取代，能够载有多种信息媒体的多 媒体通信技术在现有的信息网络中得到越来越多的应用。频繁的信息交流需要良 好的协作工具软件支持，为网络协同工作平台提供全面快捷的多媒体支撑环境是 本课题的基本着眼点。 根据软件工程的思想，要开发基于w e b 浏览器的协同工作平台，可以先做一 个具备多媒体功能的电子白板作为其设计原型。单纯处理文字和简单图形的白板 是比较容易实现的，但本课题主要是要在此基础上对其做进一步的完善工作，增 加多媒体功能，利用语音、视频实时传送功能进行信息交流。接着，我们加入支 持协同工作的构件和会议组分级权限管理机制，对这一原型做进一步地扩充，最 终实现多媒体的协同工作平台。 该平台应为网上协作工作人员提供良好的交流手段，并可对分布式应用环境 下协作工作过程进行有效监控。它可以作为非常实用的支持工具，用于远程教育， 电子商务等多种应用领域。 1 2 目前的研究现状 根据调查，目前虽然可以通过建立专业网站，使用诸如n e t m e e t i n g 、网上 论坛、e m a i l 等软件来解决协同工作的部分应用问题，但这种方式的局限性也是 明显的。用户必须不时地在各种应用软件间切换，十分不便；用户讨论组的权限 分级管理过于简单，安全性不好，大多只适用于公益性的讨论，不能用于可屏蔽 外界访问的保密性质的私有会议组，当然更不能用于软件开发小组或公司内部商 业会议。目前国内这一领域的研究已经比较普遍，但由于技术复杂，实现比较困 难，成型的软件产品较少，特别是用j a v a 实现实时音频、视频方面，这个问题 更为明显。开发能够使人们“面对面”地进行基于网络的视听交互和会议协作软 件已经成为迫切的需要。要实现上述目标，就必须首先了解异构平台的实时多媒 体会议技术。我们知道，实时多媒体会议系统以v i p ( v i s u a l ，i n t e l l i g e n ta n d p e r s o n a l ) 的方式，即可视的、智能的、个人的服务模式，把通信和计算机技术 有机地结合在一起，充分利用多媒体通信服务，使用户可以不受时空限制地传播 和交换信息。在目前的多媒体协作会议系统的研究与应用当中，存在着一些问题。 第1 页 国防科学技术大学研究生院学位论文 例如，旧的协议体制不能适应新的多媒体数据的实时传输：要解决在分布环境下 的多点多人合作时的多媒体通信需求；以及在异构平台下实现对会议中视频音 频流的合成问题等。这些问题阻碍了多媒体协作系统在i n t e r n e t 上的进一步应 用。 因此，研究开发一种用j a v a 语言实现的、跨平台的、基于b s 方式的、具 备多媒体会议协作功能的系统是十分必要的。 1 3c s c w 研究背景 计算机支持的协同工作( c s c w ) 是当前计算机科学的一个十分活跃的研究领 域，是近年发展起来的一门新兴课题，通常也被称为群件。群件( g r o u p w a r e ) 是 指利用计算机和通信网络为群体提供支持，并使之可协同工作的系统。c s c w 是 一个多学科交叉的研究领域，它将计算机技术、网络通信技术、多媒体技术以及 各种社会科学紧密地结合起来，向人们提供了一种全新的交流方式。其应用可以 广泛分布于网络虚拟社区、通讯联络、实时网上购物、协作软件开发、公司办公、 视频会议甚至于军事等各领域，有较强的经济和社会实用价值。 1 3 1c s c w 概念 “计算机协同工作”定义为：地域分散的一个群体借助计算机及其网络技 术，共同协调与协作来完成一项任务。通过建立协同工作的环境，改善人们进行 信息交流的方式，消除或减少人们在时间和空间上的相互分隔的障碍，从而节省 工作人员的时间和精力，提高群体工作质量和效率。 到目前为止，出现了不少实验性的原型系统和商业化软件，这一类软件也正 在成为未来同类软件的发展方向。然而，目前协同系统的开发仍然非常困难，其 主要原因是缺乏合适的强有力的开发工具的支持。每个协同系统的开发都要牵涉 到创建和管理网络连接，分析和分发进程间通讯的信息，在网络上对其他的用户 定位并与其建立连接，保持共享资源在各用户间的一致性等诸多问题。这些问题， 使得采用一般的软件开发工具来开发协同系统时，需要编写许多与系统功能和协 同特性无关的底层代码。因此，协同系统的开发急需强有力的开发工具，有了好 的工具支持，才能降低开发协同软件的难度与代价。 1 3 2c s c w 关键技术 在当前的研究中，计算机协同工作的主要技术基础是计算机网络及分布式程 序设计技术，主要的动力来源于广泛的应用需求，其中许多关键技术还有待解决， 具体来说可以分为以下几个方面： 第2 页 国防科学技术大学研究生院学位论文 1 ) c s c w 系统中的群组通信支持：计算机协同工作时，要协调的可能是成百 上千台计算机的同时协调工作，要进行点到多点和多点到多点的群组通信。协同 工作系统要通过计算机及其网络来协调人类群体的行为。群组通信对计算机网络 提出了更高的技术要求。 2 ) 协作控制机制：在人们的协作过程中需要遵循一定的规则，否则会引起协 作的困难。协作控制机制讨论协作过程中产生的各类协作事件间的逻辑关系。目 前的许多c s c w 应用系统提供一定的信息交流手段和工具，但没有体现协作规则， 而由群体成员人为协调各自的行为。这方面的主要研究内容是协作规则的抽象和 协作规则在c s c w 系统中的实现。 3 ) 同步机制：群体成员协作的一个基本要求是向各成员提供一致的工作环 境。各类协作事件的产生也需要遵守一定的时间关系。这些时间关系维持是通过 同步机制实现的。同步机制讨论协作过程中产生的各类协作事件间的时序关系。 同步机制研究难点在于同步关系的描述和实时服务的提供。目前缺少有效的同步 关系描述手段。 4 ) 应用共享技术：应用共享是指由一个群体的各成员通过各自的机器共同控 制在一台机器执行的应用程序。应用共享的目的是扩展已有的大量单用户应用程 序，使之可由多个用户共同控制，实现协作。应用共享的基本方法是把单用户应 用程序的显示输出分发到各用户的机器上进行显示，并按一定策略合并各用户的 输入对应用程序进行控制。 5 ) c s c w 应用系统开发环境和集成技术：良好的c s c w 应用系统开发环境可缩 短应用系统开发周期，降低应用系统的开发成本。应用系统开发环境就是在解决 计算机协同工作关键技术的基础上，形成协同工作的应用编程接口，为各种c s c w 应用系统提供一个功能完善的开发环境。应用系统开发就是在此基础上进行剪 裁，选择适当的协作模型和控制机制，适应不同机器和操作系统环境，便于应用 系统的集成。 6 ) 构件组织技术：研究如何将各功能子模块无缝地集成在一起，选择合适的 编程接口，抽象出不同应用领域的共同特征和组件，即灵活耦合技术。具体来说， 应该支持：数据的共享使用与私有使用之间的无缝转移，版本控制与共享对象的 合并，冲突消解。 1 3 3 c s c w 案例分析 根据目前资料分析，功能较全、设计较好的软件主要有以下几个：c v w ， t e a m w a r eo f f i c e ，f l e x i b l ej a m m ，h a b a n e r o ，j c e ，c o l l a b o r a t i o nb u s 等。 课题将在考察分析的这几个案例的基础上，提出自己的设计方案和实现方法。 c v w ( c o l l a b o r a t i v ev i r t u a lw o r k s p a c e ) 是由美国m i t r e 公司开发的一个 基于c l i e n t s e r v e r 结构的共享软件，主要由c v ws e r v e r 、d o c u m e n ts e r v e r 、 第3 页 国防科学技术大学研究生院学位论文 c v wc l i e n t 三个部分组成，实现的功能有多点广播声音传送和视频会议、用户 权限分级管理、用户组管理、图形化可拖曳的文件存档传输管理、实时电子白板、 讨论组等。它要求用户安装专门的客户端软件与服务器端联系，并且它不是“纯 j a v a ”系统，其内置多媒体协同工作组件是用v c + + 语言编写的。 t e a m w a r eo f f i c e 是一个基于w e b 浏览器的整合协同工作工具集，这些工具 集主要是由嵌入网页中的j a v aa p p l e t 实现的，实现的功能主要有收发e m a i l 、 日历、论坛、网上图书馆、每日工作安排，文件管理、个人地址薄、新闻组、个 人配置管理等，这一软件的主要缺点是不支持声音和视频的传送，界面显得有点 零乱，功能较少。 f 1 e x i b l ej a m m ( j a v aa p p l e t sm a d em u l t i u s e r ) 是一个协同透明j a v a 运 行环境，支持对已有j a v aa p p l e t 的共享。支持1 0 0 纯基于s w i n g 的用户界面 构件的共享使用，这些界面构件可以如b u t t o n 那样简单也可以如a p p l e t 那样复 杂。采用面向对象的复制机制，用多用户扩展动态地代替单用户界面对象，提供 许多传统协同透明系统无法取代的特性。例如将文本区界面构件用多用户并发编 辑区代替，支持共享文本区的同时输入操作而不是通常协同透明系统的轮流操 作；又如支持松散耦合的视图，即用户的视力视图并不是完全一样的，但却可以 感知其他用户的视图，这样不同用户可以有不同的关注部分以及不同的显示方 式。它提供用户滚动面板r a d a r p a n e 来提供对整个工作空间的雷达视图，各个用 户的视图所在部分在雷达视图上用不同的颜色框出；同时还提供比较全面的远 程指针功能。 h a b a n e r o 是u n i v e r s i t yo fi i l i n o i sa tu r b a n a c h a m p a i g n 的国家超级计 算中心( n c s a ，n a t i o n a lc e n t e rf o rs u p e r c o m p u t i n ga p p l i c a t i o n s ) 开发的 一个同步协同系统框架和环境。通过采用h a b a n e r oa p i 共享j a v a 对象，在各个 客户节点复制应用程序，其框架提供了跨平台的多用户j a v a 软件的状态和事件 同步。除了一般的串行化机制，还提供f l o o r 对象( a r b i t r a t o r ) 以及锁机制。 采用这一a p i 可以方便地开发协同软件或者将已有软件改造为协同软件。还有一 个w i z a r d 用于将j a v aa p p l e t 转换为协同系统，程序员选择需要共享的对象和 事件，它就可以通过a p i 方便地改写已有代码。该环境提供会话管理的支持，包 括创建、加入、离开、浏览会话的功能。具体来说，支持同一用户多会话、协同 工具集的扩充、提供会话详细信息、会话配置信息记录、留言机制、用户角色、 对其他用户的感知。系统中还包括协同应用工具集，提供远程协同的基本功能， 包括表决器、文本和语音聊天工具、文本编辑器、白板等。 j c e ( j a v a c o l l a b o r a t i v ee n v i r o n m e n t ) 是n i s t 和o l dd o m i n i o nu n i v e r s i t y 联合开发的基于j a v a 的协同环境，其主要目标是解决异构系统中协同计算的平 台相关性问题。j c e 对j a v aa w t 进行改造，代之以c 0 1 l a b o r a t i v ea w t ，通过对 用户事件的截获、分发和回放来实现应用程序共享，并且这种机制对程序员是透 明的。j c e 采用复制对象体系结构，在各个协同节点的应用程序执行之间由复制 管理程序提供所需复制对象。j c e 还提供对发言权管理和会话管理的支持。另外， 第4 页 里堕型兰垫查查兰竺塞生些竺笪堡苎 j c e 提供多平台的多媒体支持，并使用可靠的m u l t i c a s t 服务来传输多媒体信息， 以及提供基于s o c k e t 和基于r m i 的网络通信服务。 c o m o p r o m o n d i a 是德国一所大学设计的一个基于j a v a 的w w w 群通信框架。 它将w w w 上的群件设计分为4 部分：体系结构、网络服务、程序设计模型和会话 管理。基于j a v aa p p l e t ，采用c 1 i e n t s e r v e r 结构。服务器程序处理与所有会 话有关的问题如用户登录、访问控制、目录服务等：会话服务器程序只处理与该 会话有关的事物，协调客户的通信；客户程序是运行在用户系统上的前端程序。 它提供多种网络连接服务，如t c p 、u d p 、i pm u l t i c a s t 、r t p 、i r c 等。 商业化的产品典型代表是l o t u s 公司的l o t u sd o m i n o n o t e s 。它除提供了 一般的电子邮件功能之外，更提供了安全、简便、有效的信息管理和工作协同的 平台。该公司推出的d o m i n o n o t e sr 5 版本提供给用户的是一条实现从简单的电 子邮件到高级的通信和协作解决方案的捷径。除了在保持传统的电子邮件和群件 协作等功能外，r 5 还增加了大量的功能。 1 4 当前研究工作的不足 从上面的分析我们可以看到，这些系统的实现方法和设计框架各有特点，大 部分都采用j a v a 语言开发，都实现了一定的协作功能，有的系统的协作机制和 整体框架设计得很好，给了我们很多启发。但也存在共同的不足之外：多媒体功 能普遍较弱。只有第一个系统c v w 较好，它的音频视频部分实现时采用的是麻省 理工伯克莱分校用c + + 开发的m a s h 插件，这个插件提供了音频和视频电话功 能，可以集成到用户自己开发的系统中。由于它不是纯j a v a 程序，不适合于跨 平台的多用户间协作的实际情况，因此也不是用户要选择的理想系统。 其实，主要的原因是这些系统开发得较早，当时j d k 工具包还不提供视频、 音频设备的信息采集功能，因此要想实现多媒体功能，尤其是视频应用，就要用 其它编程语言开发实现多媒体设备的信息采集功能模块，如用c + + ，然后用j a v a 的本地方法( j a v an a t i v em e t h o d ) 来调用c + + 语言程序。这多少削弱了系统的 跨平台性，使得不同平台要写本地方法才能完成视、音频的捕捉。现在j d k 的版 本已经达到1 3 ，并且有了专门用于处理声音的开发包和专用于处理多媒体实时 流的j m f 开发包，这就给本课题的工作提供了必要的工具支持，使得可以针对以 上这些早期系统的缺点，充分利用j m f 技术提供的良好的实时媒体流处理机制， 加强协作系统的多媒体功能，编写纯j a v a 的跨平台的协作平台。 1 5 课题研究所做的主要工作 课题所做的主要工作有： 研究c s c w 领域现有若干协同工作系统结构和设计的优缺点，设计自己的 第5 页 鬯堕型兰垫查盔堂竺茎生堕兰垡笙奎 系统，实现更多的功能。 分析r t p 流的传输回放原理，为用j a v a 语言在分布式应用环境下实现音 频、视频流的交互提供基本技术实现路线。 研究多媒体协作工作平台的软件设计体系结构，给出一种四层( j a v a a p p l e t 客户层、通信管理器层、本地服务层、应用服务器( 含数据库服务 器) 层) 结构设计方法。利用通信管理器功能模块，解决文字、图形、音 频、视频等多种媒体数据同时在网络上传输的问题；利用本地服务层和 j a v a a p p l e t 数字签名机制，为a p p l e t 存取本地资源提供有效手段。 对音频、视频会议内部实现原理进行改进，给出一种针对j a v a 运行环境 优化后的、主要采用j m f ( j a v a m e d i a f r a m e w o r k ) 技术的实现方法。其简 要设计思想是：首先收集各与会者( j a v a a p p l e t 客户端) 发出的多媒体数据 流，利用j m f 中的复用器( m u l t i p l e x i o r ) 将多个格式相同的多媒体流汇集 成单一的多媒体流，并加入其它一些处理过程，这个过程中，如果是音 频流则使用“混音器”处理，如果是视频流则使用视频复用器处理它。 最后再按r t p 协议打包，按需发送到与协作会议参与者。 引用并改进一种会议组成员权限管理机制。采用树形列表和树叶颜色直 观表示与会成员在线状态及所拥有的会议资源访问权限：另外，在会议 进行时，普通组员可通过一种“举手发言”机制向会议主持人申请拥有 更大的权限。 研究一致性保持问题。针对远程教育应用采用两种并发控制方法：操作 对象锁定法和集中控制法，分别用于授课方式下主讲人对共享对象锁定 的情况和讨论方式下控制并发操作请求。 1 6 论文结构 本文的组织结构是： 首先分析c s c w 研究领域现有若干个协同软件的设计框架和实现方法，找出 它们的优缺点，取长补短，整理出自己要开发的系统的总体结构和大体上应当具 备的功能。这步工作为课题的研究指出前进的方向，明确了具体的目标。 接下来为实现目标寻找合适的技术路线。因为本文重点研究的是多媒体协作 技术，采用j a v a 语言开发，而j a v a 媒体框架( j a v am e d i af r a m e w o r k ) 即j m f 技术是实现分布式环境下j a v a 程序实时多媒体协作功能的主要技术，因此我们 对它做一个全面深入的研究并在论文中做概略介绍，主要包括：j m f 技术的基本 概念以及它们之间的相互关系，多媒体流捕获、传输、存储、回放过程的内部细 节、用j u f 技术实现r t p 流实时转发传输的基本原理等。 以上工作为我们解决了最主要的技术实现路线问题，下面将以系统整体设计 为着眼点，设计实现各个功能子模块并阐明设计过程中遇到的关键技术。首先提 第6 页 国防科学技术大学研究生院学位论文 出基于b r o w s e r s e r v e r 模式开发协同工作平台的基本思路，给出客户端a p p l e t 用户界面和简单的功能说明，然后具体设计客户端框架、服务器端框架、通信管 理器、本地服务层的基本结构。 对于课题研究过程遇到的关键技术点，例如：视频音频流传输设计原理、讨 论组分级权限管理、一致性保持、j a v aa p p l e t 的安全性等问题，将放在单独的 一章里专门讨论。 在进行理论设计工作的同时，用j a v a 语言写一个实用的工程项目来实现它。 这个项目在w i n d o w s 2 0 0 0 环境下实现，基于j d k i 3 环境，以 b u i i d e r 5 为开发 工具，利用s u n 公司提供的j m fa p i ( 2 1 1 a 版本) 完成多媒体流的捕获、存储、 传输、回放过程，同时吸取若干c s c w 协作软件结构设计的精彩之处。由于j a v a 语言本身的跨平台性，该项目在l i n u x 或u n i x 平台上能够直接运行。对于其中 主要的软件模块，在附录a 中给出用u 札语言设计的类图。 第7 页 国防科学技术大学研究生院学位论文 第二章j m f 技术简介 j m f ( j a v a m e d i af r a m e w o r k ) 是由s u n 和i b m 公司共同开发的，能够在j a v a 应用程序和小应用程序中显示、获取多媒体数据的一套类的集合。j m fa p i ( j a v a 媒体框架应用程序接口) 使j a v a 程序员做到了以跨平台与设备无关的方式访问 音频、视频设备的方法，提供了分布式应用环境下实时媒体回放技术，它还定义 了一系列a p ip l u g i n 插件，允许高级开发者和技术人员对其进行定制、功能扩 展，实现特殊的音频视频捕获、处理和回放效果。这种开放性框架环境为我们开 发多媒体网络应用程序的提供了有效的工具。 2 1j m f 技术概述 j m f 的核心部分是其支持实时多媒体流服务a p i ，允许定制多媒体流处理过 程，管理话筒、扬声器、摄像头等设备和显示窗口，对多媒体流的捕获、处理、 回放过程进行精确控制，提供多轨回放同步机制和播放质量控制机制，以及将处 理后的媒体流以r t p 流形式在网络间传输或存储到文件系统的机制，并且它能够 根据将来技术发展的需要扩展自身的功能。 2 1 1 体系结构 数字信号处理是捕获回放音、视频功能的关键点，图2 - 1 展示了j m f 的体系 结构，右下方是是播放器内部的媒体流处理过程，包括音视频的多路信号分解 图2 一lj m f 体系结构 第8 页 国防科学技术大学研究生院学位论文 复用、编码压缩、渲染，着色处理，在j m fa p i 技术中这底层实现过程细节 被隐藏起来放在p l a y e r 结构里，编程者只要创建一个p l a y e r 并调用相应给出的 合适成员函数就可以完成相应的功能，大大降低了编程的难度。播放器( p l a y e r ) 支持的多媒体文件格式有a i f f 、a u 、a v i 、g s m 、m i d i 、m p e g 、q u i e k t i m e 、r m f 、 w a v 等。 数据源( d a t a s o u r c e ) 结构用于连接播放器或处理器( p l a y e r p r o c e s s o r ) 结构，播放器或处理器的输入输出数据都通过它来传递，其功能就类似一个数据 缓冲区。它也负责从外接设备传送接收数据，程序员可以调节它来适应不同的应 用环境需要或干脆为处理新的媒体文件格式定制实现自己的数据源结构来取替 系统缺省的数据源。如果我们把p l a y e r 比作录像机，那么d a t a s o u r c e 就是录像 带，它既能存储外接设备如摄像机捕获的图像，放入录像机里取出数据来播放， 也能从录像机里录下电视图像保存起来备用。一个数据源可携带多个播放流，就 象d v d 光盘中能携带多个音频通道和视频通道，也能存放几个影片一样。p l a y e r 和d a t a s o u r c e 一起构成了j m f 中的高层a p i 。另外，低层a p i 是用来实现无缝 整合高级用户自定义处理过程和基于特定应用环境的扩展的，如编写自己的视频 解码器插件( c o d e cp l u g i n ) ，登记入j m f 系统取代原有的解码器等。 2 1 2 时间模型 凡是媒体播放器都与时间有紧密联系。j m f 使用播放器接口跟踪管理媒体流 的时间信息。因不同格式媒体流对应不同播放器，故用一个管理器( m a n a g e r ) 接口负责为它们查找各自适用的播放器。播放器有四个扩展接口：c l o c k 、 c o n t r o l l e t 、d u r r a t i o n 、m e d i a h a n d l e r 。支持j m f 时间模型的类用一个时钟接口 跟踪某个多媒体流，它支持时间基( t i m e b a s e ) 和媒体时间( m e d i a t i m e ) 两种 时间格式。时间基就像手表里的石英振荡器，产生连续的时钟滴答，跟踪从某点 开始的连续时间。播放速度根据它和媒体播放时间总长度来确定，可以是正值或 负值，正常时为1 0 ，若大于1 则表示比原来快，若为负值则表示倒放，用下列公 式计算： m e d i a t i m e = m e d i a s t a r t t i m e + r a t e + ( t i m e b a s e t i m e - t i m e b a s e s t a r t t i m e ) 。 2 1 3 管理器( m a n a g e r ) 顾名思义，管理器这个对象正是负责各种管理工作的，调用管理器这个中间 对象可以定制多媒体流的处理过程。管理器可以用缺省或自定义方式构建播放 器，处理器，数据源和数据池( d a t a s i n k ) ，自定义的对象可以和j m f 对象无缝组 合在一起。包管理器维护包含j m f 类的包的登记表，比如自定义播放器，处理器， 数据源和数据池等。捕获设备管理器维护一个捕获设备登记表，这些设备包括摄 第9 页 里堕型兰垫查盔堂婴至生堕兰垡笙茎 像头，话筒等。插件管理器维护一个可用的j m f 处理过程插件登记表，包括信号 分解复用器，解码器，效果和渲染插件。 2 1 4 事件模型 j m f 使用一个结构化的事件通知机制，应用程序通过它来取得当前多媒体流 的状态并对各种例外( 如资源不可用) 做出反应。j m f 对象在任何时候想要报告 当前状态时，都会发出一个媒体事件( m e d i a e v e n t ) ，媒体事件是事件类型中的 一个子类。与此对应，7 m f 也定义了一个事件监听接口，要接收事件的对象通过 调用a d d l i s t e n e r ( ) 方法实现这个接口，就可以收到相应事件通知消息了。媒体 事件是由控制器( 包括播放器和处理器) 对象和特定控制对象发出的。此外，还 有一类事件由r t p 会话管理器( r t p s e s s i o n m a n a g e r ) 对象发送，这将在后面解释。 2 i 5 数据模型 j m f 播放器通常使用数据 源管理媒体内容的传输。数据 源结构中包括媒体流的地址 和传输所用协议及软件的信 息，前者由一个m e d i a l o c a t o r 或u r l 来标识，多媒体流数据 可以从本地或网络文件及在 线广播里获得。据此，