（计算机应用技术专业论文）基于cscw的共享白板的研究与实现.pdf

仁，髓、r f ￥人7 6 日i 学f 论文 两姜 计算机支持的协同工作( c s c w ) 是现代计算机技术、多媒体技术和网络技术发展与人 们远程协同工作需求的必然结果。与传统计算机技术不同，c s c w 不但要解决人一机接口 问题，更重要的是解决人一人接口问题。 作为c s c w 的一个分支，视频会议系统是多媒体技术和通信技术有机结合的产物。它 将多媒体计算机技术的交互性、网络通信技术的分布性和电视技术的真实性融为一体，把 计算机从传统的孤立应用推进到支持群体协同工作。 本课题是为了实现一个基于p c 和普通网络的桌面视频会议系统，主要包括视频子系 统、音频子系统、白板子系统和管理子系统。当然，各子系统还可以在一定程度上独立为 用户提供一些相关服务。 本文在介绍视频会议系统的一些基本知识的基础上，根据我们在白板设计过程中的体 会，重点介绍了白板系统的设计思想和关键技术。包括应用层协议设计、多用户协同感知 技术、多用户并行操作中的冲突问题、大批量数据的网络传输和会议信息数据库管理等。 然后，比较详细地介绍了会议召集子系统、服务器子系统以及白板客户端的操作处理 模块、打包模块、网络通信模块、解包模块和解包信息处理模块的具体实现。并总结了具 体实现中的不足，对下一步工作提出了一些建议。 关键词计算机支持的协同工作，视频会议，共享白板 筇i 贝 f 二皂、r f 【 t 尺研! 7 何论趸 a b s t r a c t c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ( c s c w ) i st h er e s u l to ft h em o d e md e v e l o p m e n to f c o m p u t e rt e c h n o l o g y , m u l t i m e d i at e c h ，c o m p u t e rn e t w o r k sa n dt h ep e o p l e sr e q u i r e m e n to f c o o p e r a t i v ew o r ki nl o n g d i s t a n c ed i f f e rf r o mt r a d i t i o n a lc o m p u t e rt e c hc s c w n o to n l yp r o v i d e t h ei n t e r f a c eb e t w e e nm a na n dm a c h i n e ，b u ta l s op r o v i d et h ei n t e r f a c eb e t w e e nm a na n d m a nv i d e oc o n f e r e n c i n gs y s t e mi so n eo fo f f s h o o to fc s c wi tc o m b i n e st h ei n t e r a c t i o n o f c o m p u t e rt e c h ，t h ed i s t r i b u t i o no fn e t w o r k st e c ha n dt h ea u t h e n t t c i t yo ft vt e c h a sar e s u l t ，i t c h a n g e st h eu s eo f c o m p u t e rf r o mt r a d i t i o n a l l yi s o l a t e da p p l i c a t i o nt oc o o p e r a t i v ew o r k t h i sp r o j e c tr e a l i z e sav i d e oc o n f e r e n c i n gs y s t e mb a s e do np e r s o n a lc o m p u t e ra n dc o m m o n n e t w o r k s i ti n c l u d e sv i d e os u b s y s t e m ，a u d i os u b s y s t e m ，w h i t e b o a r ds u b s y s t e ma n dm a n a g e r s u b s y s t e m f u r t h e r m o r e ，e v e r ys u b s y s t e mc a n r u ni n d e p e n d e n t l yo nac e r t a i ne x t e n t t h i sp a p e ri n t r o d u c e ss o m eb a s i ck n o w l e d g ea b o u tc o n f e r e n c i n gs y s t e m t h e na c c o r d i n gt o t h ee x p e r i e n c eo fo u rr e a l i z a t i o no fw h i t e - b o a r d ，w ed i s c u s ss o m ek e yt e c h n i q u ea b o u t w h i t e b o a r de m p h a t i c a l l y , s u c ha st h ed e s i g nf o ra p p l i c a t i o n - l a y e rp r o t o c o l ，t h em a i n t e n a n c eo f a w a r e n e s sb e t w e e nm u l t i u s e r s ，t h ec o n f l i c ti np a r a l l e lp r o c e s s ，t h et r a n s f e ro fl a r g eq u a n t i t i e so f d a t ao nn e t w o r k s ，t h em a n a g e m e n to f c o n f e r e n c ed a t a b a s ea n ds oo n i nt h ep a p e lw ed i s c u s st h ec o n f e r e n c ec o n v o k i n gs u b s y s t e m 、s e r v e r s u b s y s t e ma n dt h e m o d u l e si nw h i t e b o a r dc l i e n ti nd e t a i l i nt h ee n d ，w es u m m a r i z et h es h o r t a g eo ft h es y s t e ma n dg i v es o m ea d v i c ef o rm o r e d e v e l o p m e n t s k e y w o r d s ：c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ，v i d e o - c o n f e r e n c i n gs y s t e m ， w h i t e b o a r ds y s t e m 第1 i 炙 信息- 丁稃大学硕士学位论文 论文原创性声明和使用授权 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了本文中特别加以标注和致谢中所罗列的内容外， 论文中不包含其它人已经发表或撰写过的研究成果；也不包含为获得信息工 程大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 本人完全了解信息工程大学电子技术学院有关保留和使用学位论文的规 定，即：学院有权保留论文的复印件，允许查阅和借阅论文；可以公布论文 的全部或部分内容；可以采用影印，缩印或其它手段保存论文。涉密论文按 保密规定执行。本论文取得的研究成果归学院所有，学院对该研究成果享有 处置权。 本人豁彩 孕 别醛幺繇 日期珈，i 1 j 马势：妒，6 i j 第1 页 似息7 大乎硕 学倚论文 第1 章绪论 视频会议系统是利用专用的音频、视频和网络通讯设备实现实时异地交互通讯的系 统，常用于在一个地点的一群与会者和位于其他地点的与会者之间进行通讯。由于使用专 用的设备，视频会议系统的使用费用较高，桌面视频会议系统则是在通用个人计算机上综 合运用音频、视频和网络通讯技术实现不同地点的人们之问的相互通讯，所以桌面视频会 议系统的使用费用比较低廉。利用桌面视频会议系统，与会者可以进行对话，看到其他与 会者的活动影像，还可以共享数据、共同对一个文件或图像进行编辑，实现计算机支持下 的协同工作：另外，可以对会议过程录音，并与其他有关会议文件存档，以便会后管理。 在口网络特别是互联网上实现视频会议系统或多媒体会议系统是一件富有诱惑力但 又富有挑战性的工作。因为使用t c p i p 通信协议的网络是一个包交换网络，存在无法控 制带宽、端到端时延无法保证等问题，不能很好地支持实时应用。为此，国内外技术人员 展开了积极研究。 桌面视频会议系统的发展基本上按照两条路线进行：一条是学习传统的会议室型会议 系统i l l ，采用面向连接的单播技术( u n i c a s t i n g ) ，将基于硬件编解码、多点控制单元( m c 四 的方案移植到口网络，其代表是以色列的v c o n 公司。这些系统的缺陷在于不能最有效的 利用网络带宽、处理等资源，往往以牺牲图像质量和用户数量来换取网络上的正常运行。 与此同时，口多播( 口m u l t i c a s t ) 技术以其有效节省网络带宽的特点而受到广泛重视，基于 p 多播的桌面会议系统异军突起，m b o n e 是最有名的代表。m b o n e 是由一些跨洲的实 验性志愿合作者组成的团体，目的是创建一个半永久性的口多搔实验测试样板网而无须等 到整个互联网都部署口多播路由器。v i c 是其免费发布的桌面视频会议系统软件，但它并 没有得到广泛的应用。现在己经有数十种基于p 多播的桌面视频会议投入商业运行，如微 软的n e t s h o w 、e m u l i v e 图像公司的e m i i ，i v es e r v e r 、s t a r b u r s t 通讯公司的s t r e a m w o r k s s e r v e r 等，m 多播已经成为业界认同的一种趋势。 国内在桌面视频会议系统研制方面一直比较落后，这与我国软件总体水平不高有关。 少数几个面世的系统，大多采用面向连接的技术，如清华大学的m c o n f 采用v f w 和m c i 等技术，系统没有得到普及和推广。 目前视频会议系统的发展正处在上升时期，国内各个大公司都在针对这个市场开发相 应的产品，如联想集团、上海贝尔、清华同方等都推出了基于传统模式的会议系统，而基 于c s c w 的会议系统的优化模型却仍处f 研究阶段。 1 1 视频会议共享白板概述 共享门板1 2 i 作为视频会议系统的，一个工具，允许多个远稃参与者在他们斧自的汁算机 锓示器i ：来观看1 r d 内容的窗f 1 ，每个参与着都可以使川简币的绘倒i ：具水际注r l 板或输 t j 窟【w 犬。尹6 自 7 f 口论艾 入文本。般地，绘图功能既包括自动绘制规则几何物体( 如圆、线、箭头等) ，也包括徒 手作图功能。文字一般通过基本单词编辑器输入，也允许作简单的注释。再没有别的东西 比这更类似于一张纸、一支笔，或一张普通的幻，上j 片。所有的参与者可在纸一卜书写，当然 它还可以更灵活一些，因为文本或创作的图形对象通常能被移动擦除，有时还能被修改( 即 替换) 、尺寸变换、取消等。当然结果可被储存起来，以备迸一步使用。 1 1 1 国内外概况 自9 2 年开始，每年都有专门的c s c w 和群件方面的国际学术和商务会议召开，有专 门的学术和商务期刊杂志出版，群件与c s c w 技术的研究和应用己成为国内外计算机与通 信方面的热门课题。但是，目前c s c w 【3 1 与群件还处于探索和发展阶段。国内外主要研究 情况如下： 在理论上主要研究情况包括： 1 研究扩充网络协议使之成为适合多媒体信息传输要求的高速网络通讯协议，研究适 合于c s c w 的通讯语言。例如p v l h a n g a n 等人提出将会话层扩充为连续子层和同步子层， 美国a r p a 资助研制的k q m l 等。 2 研究多媒体同步模式和同步关系描述。例如p h o e p n e r 等提出同步路径描述算予， s v r a g h a v a n 提出扩展p e t r i 网为描述对象合成的八元组等。 3 对当前通信网络进行改造，逐步实现适合于多媒体传输的网络体系，如a t m 技术、 组播、坤v 6 等。 在应用产品开发方面，目前代表性的包括视频会议、共同编辑、远程医疗诊断、远程 教学、多媒体电子邮件等。 与视频会议系统市场类似，当前市场上流行的白板一般都是以专门硬件的形式提供。 如日本h i t a c h i 公司的d i g i t a l b o a r d 系列、美国m i c r o t o u c h 的i b i d 系列等。这些系统一般提 供专门的显示屏幕( 共享空间) ，也提供专门的笔和擦除设备供输入和擦除，可以直接在屏 幕上写、画和擦除。系统可独立运行，也可以通过串行口( c o m ) 或u s b 与桌面系统( p c ) 连接起来。这些系统提供的功能比较强大，各用户可以比较自然地进行协同，但需要专门 的硬件和较宽的网络带宽，价格比较昂贵。 随着多媒体电脑的普及和大量走入一般家庭，基于普通p c 平台和i n t e r n e t 的白板系统 逐渐成为研究的热点，并有一些产品相继出现。 比较著名的是m i c r o s o r 的与i e x p l o r e 一起提供的n e t m e e t m g 系统，它集成的臼板系 统立足于对象模式上，窗口中所漫示的一切都用对象表示。对象可以比较方便地缩放，但 对对象的修改是全局的，不能方便地对对象进行肠f f | j 修改，而h 局部选抒电f i 容易实现。 n e t m e e t i n g 系统也提供了止匕牖部锁定措施，柬避免冲突。但没有提f c 协同感知能力，在 n 息丁 久学顾t 学f f 沦文 多用户条件下难于把图形对象与此对象的操作人相对应。总体来说，n e t m e e t i n g 系统还是 比较成功的，它被许多视频会议系统集成一起提供给用户，如美国c y b e t r o n 公司的v u f o n e 系统和i n t e l 的p r o s h a r e 系统等。 也有人用j a v a a p p l e t 实现白板，在w e b 服务器上运行白板服务器，而客户机通过浏览 器下载作为白板客户程序的a p p l e t 并与服务器连接、通信。这种办法利用了j a v a 的优点， 客户端不需要安装，连接过程对普通用户来说很简单，而且与平台无关。但客户端每次要 运行白板前，必须下载a p p l e t 程序，需要一定的等待时问和费用，而且a p p l e t 需要运行在 软平台j v m 上，运行效率不高，另外，由于j a v a 语言本身的限制，程序的开发效率不会 太高。 总体来说，且前白板( 包括其他c s c v o 在理论上仍然还没有成熟的协同描述方法和形 式化理论，问世应用产品无论在功能上还是在性能上都需要不断改进。 1 1 2 应用前景及发展趋势 随着i n t e r n e t 的迅速发展，广大网络用户对在线实时交流的需求不断扩大，如网上会 议、远程教学、协同工作等。这方面的应用软件主要有两种，一种是以目前b b s 和主页上 的聊天室为代表的纯文字型的交流工具；另一种就是电子白板类交流工具。电子白板除了 具备聊天室的全部功能外，它还引入了绘画图形交流功能，弥补了文字交流的不足。 共享白板软件是群组系统更基础的应用，它可以与一般的c s c w 系统积成一起提供给 用户，也可以单独提供给用户进行一般的讨论。特别是桌面型的白板系统，不需要特别的 硬件支持，网络带宽需求也很低，为一般远程用户提供了图形化的交流乔面。因此可以预 计该软件将具有非常广阔的应用领域。 同时，桌面型白板由于价格的吸引力和使用的方便性，将成为以后白板系统研究和开 发的重点。 1 2 课题提出 本课题来源于二炮机要专业远程训练模拟系统，二炮部队高度分散，机要人员分布在 全国各地，人员集中困难，采用传统的集中训练考核模式对时间、经费造成很大耗费，同 时会影响正常的战备执勤。而机要专业远程训练模拟系统( 以下简称“远程训练系统”) ， 是以联网的多媒体计算机为基本操作平台，综合运用了计算机网络、多媒体、图形图像处 理、面向对象等多种技术，结合专家经验，针对各类机要人员的学习、训练、考核需要， 采用软件模拟方式，利用键盘、鼠标操作，为用户建立的一个集理论学习、远程考核、故 障检修、模拟训练等功能为一体的综合模拟i ) i i 练系统。 本系统充分利用i 期网，在j 二炮机要硒和基地建立中心网站，”i - 属单位以客户t 1 1 务器 第1 页 信息iw 人宁硕 j ? ，1 论文 或w e b i 女0 览器方式，通过网络进行学习、训练、考核，实现了二炮机要全系统的远程教育 训练。系统在物理实现上，由二炮司令部技术远程训练考核管理中心和多个基地、旅团训 练考核管理中心组成，如图1 1 ( a ) ( b ) 所示。训练考核管理中心内部以局域网形式连接，对 外通过密码机连接全军指挥自动化三期网，实现远程联网。基地、旅团训练考核管理中心 分别设在基地机要处和旅团机要科。考虑到边远地区部分部队的需要，各部队以及各级训 练管理中心可以通过拨号方式远程互联互通。 矧i 1 ( a ) 一炮机婴0 、i p i j i t h 、系统结+ 句图 第4 贞 信息l 样人中硕 。7 帝论文 图1 1 ( b ) 一炮机要专业训练系统结构图 第5 受 ! 三 璺! 型垒：! 二竺! ：兰竺堡茎 1 3 主要工作 本文主要针对机要训练模拟系统中自板模块的研究与丌发，该系统支持文本，图形、 图像和视音频的实时传输，并以组播方式传送数掘。 主要工作如下： 1 研究面向群件的共享自板系统的类型和基本模式等。 2 研究面向群件的共享自板系统的调度与管理机制。 3 研究网络环境( 如i n t e m e t ) 多媒体信息同步传输机制。 研制一个适用于群体系统的、可以独立运行又能集成到群件应用( 如i n t e m e t ) 的共享白 板软件。 重点解决的技术关键问题：多媒体信息的同步协同传输机制与共享信息的管理。 1 4 采取的方法、技术路线以及工艺流程 本项目是一项系统研究与工程实现课题，以软件工程方法学思想为指导原则，主要吸 取软件模块化设计思想、面向对象分析与设计方法等软件技术。图1 2 是研究的基本流程。 c j 亚匝亟j 亟巫壅圄圃 c 二】亟亟亟叠亟匦砸 c 二二二 亘耍亟二二 广丽磊丽酉家甭面磊广 一7一 厂。雨丽磊瓢蕊- c 二二二亘亟匿面 二 酗1 2 研究流稃 采取具体的技术路线和方法如下： 首先分析现有国内外电子白板的技术资料，研究面向群件的共享白板系统的类型和基 本模式，确定拟实现的共享白板模式。采取基本方法是，归纳提出共享白板系统的类型和 基本模式，然后确定拟实现的共享白板模式。 确定拟丌发的共享白板系统的体系结构。拟采取的方法是依赖已取得成果，遵照软件 工程思想，应用网络技术、面向对象技术等设计共享白板的基本框架和体系结构。 关键技术研究，研究共享向板系统的共享信息的管理和网络环境多媒体信息同步传输 机制。拟采取的方法是着重分析分靠式珂、境信息的存取方法、消息机制以及同步传输描述 b 实现算法。研制面向耐什的共亨白板系统的调度管胛机制。拟采取的方法足借豁现有 第6 受 t 息r f l l 大学砷 一中价沦艾 视频会议的调度管理思想，设计白板点对点和多点共享管理机制。 籀i 页 生! ：旦：叁型! ! 芏竺堡兰 第2 章视频会议系统的多媒体网络技术及c s c w 概述 视频会议系统实质上是多媒体技术与通信技术相结合的产物，是多媒体通信技术的一 个重要组成部分，它的腾飞与推广以多媒体技术为巨大后盾。同时，视频会议系统是建立 在通信网络基础之上的较高层或更高层的软硬件相结合的综合系统，无法脱离通信网络而 独立存在。 2 1 多媒体数据的编码与压缩 2 1 1 编码压缩的必要性及分类 压缩是传输多媒体数据前的必要过程。由于直接采集到的视频数据大得惊人，不适宜 直接传输，传输前必须经过编码压缩，减少数据量。以1 7 6 1 4 4 的采集视频为例，1 帧 1 7 6 1 4 4 的视频信息，按照1 6 位格式存储需耍1 7 6 1 4 4 2 = 4 95 k 字节磁盘空间，按照每秒 1 5 帧计算，每小时需要占用磁盘空间1 7 6 1 4 4 2 1 5 3 6 0 0 = 2 5 5 g ，相当于 1 7 6 1 4 4 1 6 1 5 8 = 5 8 m b p s ，这个数字量对于远程网络传输是不可想象的。相对而言，音 频数据量较小。 压缩一般可分为两类：无损压缩和有损压缩【4 l 。无损压缩是指回放压缩文件时，能够 准确无误地恢复原始数据。这常用于数据文件的压缩，例如z i p 、r a r 文件。无损压缩常 用的算法是个数计数法，它将一连串的相同颜色定义为颜色与数量两个参数，以此减少相 同颜色所占用的空间。由此看出，这种压缩算法压缩黑白图片时非常有用，但是对活动的 彩色图像压缩时并不实用，它受图像复杂度的影响太大，造成压缩率过低，一般为2 ：l 到 5 - l 。这类压缩主要用于文本数据，程序及特殊应用场合的图像数据( 如指纹或医学图像) 。 有损压缩，顾名思义，回放时不能完整地恢复原始图像，而将损失一些细节，损失多少信 息由需要多高的压缩率来决定。对同一种压缩算法来讲，所需压缩率越高，损失的图像信 息越多。现在所用的m p e g ，h2 6 3 等等压缩算法都是有损算法。显然，无损压缩不适合 适实时多媒体数据压缩。 2 1 2 编码器( c o d e c 的选择 脏缩过稗巾的一个重要问题就足选择编石5 解码器，c o d e r - - d e c o d e r ，简称c o d e c 。 c o d e c 是实现寿频、视频数据编旬，f f i j 5 的驱动秤序，它用j ：从时域、窄域两个力咖除太，c 镶8 更 信息t 口大学硕p 宁倚论文 余信息。众多的视频编码标准可分为口q 类：m p e g 、p e g 、h2 6 l 、d v i 。 1 m p e g 标准 m p e g ( m o t i o np i c t u r ee x p e r t sg r o u p ，动态图像专家组11 5 1 是国际标准化组织i s o i e c 下的一个制定动态视频压缩编码标准，是个统一的音、视频标准，该标准为多媒体数据 压缩编码技术的标准化、实用化做出了巨大贡献。m p e g 的三个最显著优点是兼容性好， 压缩比高( 最高可达2 0 0 ：1 ) 、数据失真小。m p e g 现存有多个版本：m 甲e g l 、m p e g 一 2 、m p e g - 4 、m p e o 一7 ，如表2 1 所示。 版本特点 m p e g l 1 9 9 3 年发布。它的设计思想是在1 m b i t s 到l ，5 m b w s 的低带宽条件下，提供尽可能高的 f i s 0 疗e c 图象质量，v c d ( i 2 m ，3 5 2 2 8 8 ) 就采用该标准。 1 1 1 7 2 ) m p e g 一2 1 9 9 5 年推出。它的基本结构与m p e g l l 相同，但是它允许数字图象的数据量范围为3 一 ( i s 0 i e c i o m b i t s 。支持自定义图象分辨率，数据速率也可以大范围地调整，用于高清晰数字电视 ( h d t v l ，d v d 1 3 8 1 8 ) 和专业图象处理。 m p e g 一4 1 9 9 8 年1 1 月公布。它的设计思想是在超低带宽( 1 0 k b i t s 到1 m b i t s ) 的条侔下提供尽可能好 i s 0 i e c 的图象质量。其特点是压缩效率高，压缩比大。在现有网络条件下，m p e c 卜- 4 己成为实时 视频压缩的重要标准。 n 4 6 6 8 2 0 0 1 年制定。该标准也被称为“多媒体内容描述接口”。需要指出它不是一种压缩标准，而 m p e g 一7 是一种描述接口。继m p e g 一4 之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管 理和迅速搜索。主要应用于数字化图书馆和广播式媒体。 图2 1m p e g 标准表 2 口e g 标准 p e g ( j o i n t e dp h o t o g r a p he x p e r t sg r o u p ，联合图像专家组1 1 6 l 是一种基于d c t 的静止图 像压缩和解压缩算法，它由1 s o ( m 际标准化组织) 和c c i t t ( 国际电报电话咨询委员会) 共同 制定，并在1 9 9 2 年后被广泛采纳后成为国际标准。它是把冗长的图像信号和其它类型的 静止图像去掉，甚至可以减d , n 原图像的百分之一( 压缩比1 0 0 ：1 ) 。但是在这个级别上， 图像的质量并不好；压缩比为2 0l 时，能看到图像稍微有点变化；当压缩比大于2 0 1 时， 一般来说图像质量开始变坏。 3h2 6 1 标准 由c c i t t ( 国际电报电话咨询委员会) 通过的用于音频视频服务的视频编码解码器( 也 称p x 6 4 标准) ，它使用两种类型的压缩i7 i ：一帧中的有损胝缩( 基于d c t ) 并 用于帧问压缩 的无损编码，并在此基础上使编码器采用带有运动估计的d c t 和d p c m ( 差分脉冲编码调 制) 的混合方式。这种标准与p e g 及m p e g 标准问有明黟的相似性，但关键区别是它是为 动态使用设 f 的，并提供完全包含的组织和商水平的交吒控制。其改进标准为h2 6 3 ，能 ：= ；i j 厦 f ，：包jf ￥，、。砌 一学位l 炙 提供更好的图像质量、更低的速率，适合于i p 视频会议、可视电话应用。目前，h2 6 3 编 码是i p 视频通信采用较多的一种编码方法，并已被许多多媒体通信终端标准所吸收，如： h 3 2 0 ( i s d n ) 、h3 2 4 ( p s t n ) 、h3 2 3 ( l a n 、w a n 、i n t e m e t ) 。 4 d v l 标准 其视频图像的压缩算法的性能与m p e g l 相当，即图像质量可达到v h s 的水平，压 缩后的图像数据率约为1 5 m b s 。为了扩大d v i 技术的应用，i m e l 公司最近又推出了d v i 算法的软件解码算法，称为i n d e o 技术i ”，它能将数字视频文件压缩为五分之一到十分之 一。结合现有网络条件，我们选择算法效率高、压缩比大的m p e g 一4 为视频压缩标准。 至于音频压缩标准，我们按两类讨论，h3 2 3 协议栈类和非h 3 2 3 协议栈类。h ，3 2 3 协议栈：g 7 11 ，g 7 2 8 ，g 7 2 9 ，g 7 2 31 。非h3 2 3 协议栈：t r u e s p e e c h 、g s m 。相对视频 而言，音频的数据量小很多。 这些音频的话音质量比较如图2 2 所示。 语音 ly 轴 孑7 2 8 g7 2 9 g7 2 3 l i r r u e s p e e c h g s m 4 k 6 k8 k1 6 k 数据零 图2 2 音频编码比较 轴 t r u e s p e e c h 9 1 是w i n d o w s 自带的编解码器，免除因缺少解码器而无法播放音频的问题。 在我们实现的多媒体交互工具中音频就选用t r u e s p e e c h 为音频c o d e c 。 2 1 3 压缩的实现 在采集的回调函数中，返回音、视频帧的相关信息与这些信息相关的结构体有 l 视频相关的结构体5 i 视频叫凋函数中返叫l p v l d e o h d r 视频帧结构体。v i d e o h d r 定义如f ： t y p e d e f s t r u c t l p b y t e i p d a t a ；返川的：1 前视频帧数掘缓冲k 信息if u 人学硕 - 学倚论艾 d w o r dd w b u f f e r l e n g t h ： d w o r e ) d w b y t e s u s e d ； d w o r d d w t i m e c a p t u r e d d w o r dd w u s e r ； d w o r d d w f l a g s ； d w o r dd w r e s e r v e d ； ，当前视频帧数据区的缓冲区大小 当前视频帧所实际占用缓冲区大小 ，当前帧的捕捉时问( 相对于第帧) ，用户自定义数据 当前视频帧的帧标识 设备保留数据区 v i d e o h d r ； 该结构体中，返回了当前视频帧的数据缓冲区及视频帧的实际数据大小。通过v f w 获取当前所设定的视频帧格式，即前面所述的b i t m a p i n f o 格式各项参数。 2 音频相关的结构体5 】 t y p e d e fs t r u c t l p s t rl p d a t a ； d w o r dd w b u f f e r l e n g t h ； d w o r d d w b y t e s r e c o r d e d ； d w o r dd w u s e r ； d w o r d d w f l a g s ； d w o r d d w l o o p s ； s t r u c tw a v e h d r _ t a 9 4 l p n e ) c t ； d w o r dr e s e r v e d ； w a v e h d r 当前音频缓冲区的数据 ，音频缓冲区长度 当前音频缓冲区实际数据大小 用户自定义数据 音频数据标识 该缓冲区的音频回放次数 保留字段 保留字段 2 2 语音增强技术探讨 在多媒体交互工具中，语音享受最高优先级， 音频交互的逼真效果，我们采用了语音增强技术， 除技术。 2 2 1 混音处理 因此保证语音的效果非常关键。为保证 处理包括混音、有声无声检测、噪音消 在多点会议中，为减少音频传输的通路数，提高带宽利用率，方便各协作点的音频数 据传输，通过软件m c u 中的m p ( m u l t i - - p o i n tp r o c e s s o r ) 实现混音。 i 混吝的合理性和必要性i o i i 传输话音这种连续的、时问要求严格的流与传输别的数据f i 同。这涉及声波转换为数 亿，巳i “尺学蜘t p i 仑 字信号，数字信号恢复为声波。虽然a d d a 由硬件完成，但录音和播放由用户设置。特 别需要注意的是，不像视频流在空间时间域占有唯一的位置，在闻一时| 玎j 和位置的图象元 素叠加是无任何意义的，但入耳可以感知在同一空间时间播放多个音频流。这就是混音的 合理性和必要性。混音就是用一个输出设备播放多个音频流。提供一个单输出多输( s i n g l e o u t p u t _ 。m u l t l p l e 一i n p u t ) 信道。 2 混音的方案及理论依据 在时域上语音是短时平稳信号，对语音信号进行处理的一个基本概念就是对语音样本 以缓冲区为单位处理，即对输入的语音样本分帧。语音处理的很多概念都是基于语音帧的， 比如有声无声，能量，自相关等等。语音帧的长度一般选为1 0 2 0 m s 。 当多个音频源在一个房间播放时，人耳听到的声波是各个声源声波的线性叠加，这正 是模拟混音的基础。该事实表明数字话音的混音也应线性相加。数字音频的重要参数是采 样率，显然，各路输入音频流的采样率相同是混音的前提，我们实现的音频的采样率均是 8 k h z 。假设有n 路输入音频流进行混音，x i ( t ) 是t 时刻的第i 路输入语音的线性样本，则 t 时刻的混音值为： m ( t ) ：) ( i ( t ) ，i - - 0 ，l ，n l 线性叠加有可能引发溢出，如8 位声音的幅值是2 5 5 ，两个声音源幅值叠加就可能超 过2 5 5 ，因此需要有相应的算法来保证线性叠加后的幅值合法，即归一化定标( n o r m a l i z a t i o n s c a l i n g ) 1 2 j 。数字音频波形理论定义，定标就是检查某个选定的帧，找到振幅峰值，并由此 调整被选帧整体的音量，以便使允许的振幅值最大，且不会溢出。数字混音是数字波形编 辑的一种，因此混音后需要进行定标操作。通过有以下几种方式： ( 1 ) 简单归一化定标：分析线性叠加后的混音语音帧的所有样本，若样本s 超过了最大 幅值则将其值用最大幅值代替，去掉超过的部分。这种叠加方式实现简单，但会改变原语 音的特性，从而降低语音质量。 ( 2 ) 叠加源固定归一化定标：在叠加前对所有的声音源先进行归一化定标，即将每个音 频源的幅度下降至原来的1 n ( n 比较大，保证绝大多数音频源叠加后不溢出) 。这种叠加方 式可保证各音频源原始语音特性，但对于音频源数变动较大时会衰减语音音量，降低语音 质量，此外，n 值难以确定。 ( 3 ) 动态归一化定标：所有音频源先线性叠加，然后对混音后的所有语音样本进行分帧 动态定标。具体办法就是：对某个求和语音帧中的所有样本分析，若样本s 的值超过了器 件所能表示的最大范围，那么s 之后的所有样本均乘以一个衰减因子f 。其中f 是能够使s 满足输出器件范围的最大值，显然，f 的绝对值是小于l 的。这样在箝位后的一段时间内， 语音样本之问的大小是相对不变的。这种力式实现较简单，同时动态调整衰减因子f ，尽 量保证原语音的相对特性，减少语音失真，冈此我们采用这种方式进行定标。 3 混音算法一动态归一化定标实现 混合就是各路线陀样本干【f 加。此n ：泓合过柑t | 1 我们i 爵璎川巫人的缓冲i x i 求i f 锋替 信息t 丰旱大宁硕十宁何论文 加值。按动态归一化定标思想【i3 1 ，初始化时衰减因子f 为l ，每次开始处理一个新的样本缓 冲区时，任何一个样本s 超过了范围，将s 箝位，并且求得允许范围值与s 的比值f 即 衰减因子，在时序上位于s 之后的样本都乘以f o 但是为了避免语音不必要的被衰减，而 箱位操作是让f 越来越小的趋势，因此需要有让f 变大的地方，这发生在每个新的样本缓 冲区开始处理的入口。按照语音的短时间的连续特性，新的缓冲区样本仍然需要衰减的可 能性是很大的，所以f 不适合每次都又从1 开始( 1 代表不衰减) ，而是应该在某种程度上继 承过去的值。即在每个新的样本缓冲区的入口处，只要f 不等于l ，就将其调整为比f 稍大 一些的值，让它成为新的衰减因子。若样本的确不需要衰减，经过若干帧后f 会慢慢变回 l 。 每次处理样本的缓冲区的长度在l o - 2 0 m s 内选取，我们选取了1 0 m s 的帧长。总之归 一化定标的核心思想【1 2 】是：f 必须很快地变成合适的衰减因子，使得样本不会溢出，然后f 会慢慢地变回1 ，s 发生筘位时f 立刻被计算出，而在时间上每处理完一个求和帧后，就试 图把f 向1 靠近，若取步长为1 1 6 ，即有 f - - f + ( 1 刊1 6 即f 每次增加它与1 的差值的1 1 6 。流程图如图2 3 图2 3 动态归一化定标算法流程图 第1 3 页 信息i + 稃人学硕十学付论文 2 2 2 有声无声检测 随着需要混合的语音信号路数的增加，在用户不采取任何附加的预防措施的情况下， 一些并不需要的信号( 例如回声和噪音) 就会累积起来并终将导致让人无法接受的质量劣 化。另外，有了有声无声检测，在某一时段实际参与混音的终端数目也大大少于与会者数 目，从而降低了混音的运算量。这样，每个终端的输入音频进行有声无声检测 ( s i l e n c e s p e e c hd e t e c t i o n ) 就很有必要。在多点音频会议中，有声无声检测也称静音检测 s i l e n c ed e t e c t i o n ，在i t u t 协议中则一般是称语音激活检测( v a dv o i c ca c t i v i t y d e t e c t i o n ) 1 3 1 1 1 4 1 ，实际上都代表了同一件事，有声和无声本来是互斥的，检测任一种情形都 能达到有声无声判断的效果。 大部分语音通信系统采用的有声无声检测模块，是将信号电平，信号能量，过零率或 这些参数的组合，与预置的门限值进行比较判断。 基于短时平均能量的计算是利用一个固定宽度的滑动窗口，每输入一个最新样本，计 算该样本的窗口覆盖的所有样本的能量平均值，将其与一个门限值比较来判断该新样本是 静音还是有声，这里该样本有声是指该样本是一段有声脉冲( t a l k - - - s p u r t ) 的一部分。这种有 声无声检测是以样本为单位的( s a m p l r b y s 锄p l e ) ，但需要对每帧内的每个样本进行计 算，算法用于实时处理时运算量太大，通常我们以帧为单位进行检测，方法是如果某一帧 内有任何一个样本是有声，则该帧就是有声。为了简化，我们取帧内的最后一个样本为计 算对象，直接凭该样本是有声无声来确定该帧是有声无声。实验证明，这样的简化对判 断基本上没有影响，而且大大减少算法运算量。 为了判断的准确，预置的门限要自适应变化，因为长时间的连续讲话会升高背景噪声 的预置的门限值，从而使得紧接着的低幅值的语音被误认为静音。 2 2 3 噪音分析 1 噪音的分类 噪音是扣除被测信号真实值后的各种测量值，不论这些非零测值的来自什么目标对 象。噪音按产生的原因可分为：外部噪音和内部噪音；按噪音性质分：脉冲性噪音和连续 性噪音。脉冲性噪音为重复出现的持续时间极其短促的脉冲波形：连续性噪音没有特定截 止频率的连续波形。按幅度分布形状性质可分为高斯噪音和瑞利噪音：按频谱形状可分为 白色噪音和有色噪音：前者频谱为均匀的，后者频谱不均匀。 2 噪音的特性 噪音【1 5 j 是一个随时b j 变化的过程。一般的周期信号，可用振幅、频率、相位来表征。 但是噪音的时域特性不是很明显，因为属于周期性噪音的实例不是很多。 因此很少用周期性特性来表征噪音。将噪音的时域波形称为噪音信号，将其变换到频 第1 4 页 篁：坠! 堡盔兰竺! ：主竺丝茎 域得到噪音信号的频域特性一频谱。噪音的频谱1 1 6 1 具有不同的形状。如图24 。 噪 音 电 0 图2 4 噪音的频谱 白噪音 “频谱) 一种的噪音频谱是连续均匀，其形状为一条水平直线，频率从0 到o o 变化，这就是我 们所说的白色噪音。有色嗓音频谱不均匀，它又可分为两类：一类噪音频谱的形状是噪音 电平随频率降低而变大，噪音电平与频率成反比关系，如图中所示的1 f 噪音；另一类噪 音频谱形状是一条斜线，如图中所示的三角噪音。当然噪音频谱还有别的形状。 噪音具有随机性。其中有些噪音在特定时刻可能取数轴上或数轴某一段中的任一值， 这是连续的随机噪音，另一些噪音只能取某些特定值中的任一值，这是离散的随机噪音。 噪音的频率特性可用功率谱密度分布来描述。设频率在f ( f + a 0 间的噪音功率为pn ( f ， f + f ) ，则功率谱密度分布g x x ( 0 定义为单位频率间隔内所含的噪音功率，即有 ( 厂) - 。l i m 。p n ( f ，f + a f ) a f = 劳 咯 昂= i 吒( 厂) 石 若g x x ( d 等于常数的噪音，称为自噪音。若g x x ( f ) 随频率增加而单调减少，则称为红 噪音，l f 噪音就是红噪音。若噪音g x x ( 0 随频率增加而增加，称为蓝噪音，三角噪间就是 蓝噪音。 3 噪音消除方法 噪音消除的方法主要有基于噪音特性的自适应噪音抵消法、频谱减法；还有基于语音 产生模型的线性滤波法、梳状滤波泫、自相关法；以及基于语音模型和噪爵模型的卡尔曼 滤波法。下面介绍频谱减法。 频谱减法f “1 是利用噪商的统汁甲衡性以及加性( h r 叠加一阽) 稳定性以及j j r i ：噪音与读音 第15 页 亿，窟，l 。w 人7 硕l7 7 倚c 仑艾 不相关的特点而提出的一种噪音消除方法。该方法不使用参考噪音源，但它假设噪爵是统 计平衡的，即有语音期间噪音振幅谱的期望值与无语音间隙噪爵的振幅的期望值相等。用 无语音间隙测量计算得到的噪音频谱的估计值取代有语音期间噪音的频谱，与含噪语音频 谱相减，得到语音频谱的估计值，当上述差值得到负的幅度值时，将其置零。 假设噪音信号的采样值为n ( n ) ，语音信号的采样值为s ( n ) ，含噪音信号的采样值x ( n ) 为 x ( n 产s ( n ) + n ( n )( 式1 ) 其傅里叶变换为x ( ( ，产s ( ( i ) ) + n ( )( 式2 ) 则频谱减法滤波器为s ( u ) = x ( ) n ( 。)( 式3