（通信与信息系统专业论文）基于软件编码的视频会议系统.pdf

- 。 一 0 基于软件编码的视频会议系统 摘要 i t u t 建议r e c g 7 2 3 1 是国际电信联盟( i t u ) 最新颁布的一种适用于多媒 体通信的低比特率语声编码器标准。本文在分析g 7 2 3 1 建议的系统模型及编解 码算法后，提出了用软件来进行语音数据编译码的方案。在该方案的设计中，作 者将编码模块和译码模块分别做成了动态链接库( d l l ) 以方便使用。同时，本 系统还使用了微软公司的d i r e c t s o u n d 技术束实现音频的捕获和回放。本系统可 以与视频处理部分( 包括视频捕获、编译码以及回放) 相结合，构成一个完整的 视频会议系统。目荫，设计本系统的目的主要是用于基于b i s d n 的远程教学系 统中。 ， 关键词视频会议系统g 7 2 3 1 建议d i r e c t s o u n d语音编码 d e s i g n a n d i m p l e m e n t a t i o no f v i d e o c o n f e r e n c es y s t e mb a s e do ns o f t w a r e c o d i n g a b s t r a c t n e w l y i s s u e db yt h ei n t e r n a t i o n a lt e l e c o m m u n i c a t i o n s u n i o n ( i t u ) ，( 3 7 2 31 i sa s t a n d a r do fl o wb i t - r a t e s p e e c hc o d e r , a p p l i c a b l e t om u l t i m e d i ac o m m u n i c a t i o n s s y s t e mm o d e la n da l g o r i t h m so fc o d i n ga n dd e c o d i n go fg 7 2 3 1a r ea n a l y z e di nt h i s p a p e r b a s e do nt h i sa n a l y s i s ，a l li m p l e m e n t a t i o nm e t h o db a s e d0 1 3 s o f t w a r ec o d i n gi s p r e s e n t e d i nt h ed e s i g n ，t h ee n c o d e rm o d u l ea n dt h ed e c o d e rm o d u l ea r er e s p e c t i v e l y i m p l e m e n t e db yd y n a m i c l i n kl i b r a r y ( d l l ) f o rc o n v e n i e n c e m i c r o s o f td i r e c t s o u n d t e c h n o l o g yi sa l s ou s e dt oc a p t u r ea n dp l a yt h es p e e c hs i g n a l t o g e t h e rw i t ht h ev i d e o p a r t ( i n c l u d i n gv i d e oc a p t u r e 、c o d e ca n dp l a y b a c k ) t h i ss y s t e mc a nb eu s e di na n y v i d e oc o n f e r e n c es y s t e m i nt h i s p a p e r ，t h es y s t e mi sd e s i g n e df o rr e m o t el e a r n i n g s y s t e mb a s e do n b 1 s d n k e y w o r d s v i d e oc o n f e r e n c es y s t e m g 7 2 3 1d i r e c t s o a n d s p e e c hc o d e r 创新陀j ：i ij ) j r 篇 l 6 勺 小人i f , i u jj p i 一交| 0 沦文址j k 个人m 甘i l l i j h 甘l j 逍 川h 川) 。i f 1 ，之l f ( f “门i | j j j 止。j o j kj p i 如f ，i 缘史，f ， j j i j l f 以n i i7 j 种 j 涩f f l _ f t f ， p i 移。刈f 0 fj j f ；f l 仆，f 0 上t f ，1 、 也含j l 他人l ? 发太或攒。- i 过f o f i j l 究成粜；山小也弁乃i ；、刊i l i i 【! j f j lj 、，j j ! ，k j l 它 2 f ， j l f 勺f 门、：f l p k “i5 m j f 电j ij j f | 1 十4 ：l 。j 拽 川if - 。! i j4 、f j - jd i k j 0 f r 贞献均l “论文一 r 伦j 叫嘞的酏叫j f ：太_ jr i q f ，0 、jj一 小人铃私：弛；_ ，歌 | | 川p r i 卜， 荚- 丁论文使川授权的蜕明 小人完个了解州蜜i l lr 科投人学7 r 荚侏科和使1 t i _ 沧爻的脱j ：! i ! f j ：h 2 仃权f * 霄f j 盖交论文的复印什，允汁 蒯嗣i 小阋论文；，j ：胶j 以? n j 沧己j i j 个，。；汕k 分i j7 ，t i j 以于i = 许采川影印、缩印或je 它复i 圳丁段似r j j 沦支 小人簪私：诡免乒 i | 川“f ，i ，7 洲够礼，丝丛焦c j 纽型，j 第一荜绪论 第一章绪论 1 1 视频会泌概述 泓频会汉n 勺发腥j 史j 现状 视频会 义义称视讯会议或会议 u 视，实翰：上是一种多媒体通信系统。视频会 泌技术是融计算机技术、通信网络技术、微电子技术等于体的产物它要求将 各种媒体信息数字化，利用各种网络进行实时传输并能与用户进行友蚶的信息交 流。 从6 0 年代丌始，世界发达国家开始研究模拟视频会议系统并逐渐商用化。 6 0 年代术期，在压缩编码技术推动下，视频会议系统开始出模拟系统转为数字系 统。8 0 年代初期，随着2 m b i d s 彩色数字视频会议系统的研制成功，r 本和美国 分别形成了非标准的国内视频会议网。8 0 年代中期，大规模集成电路技术飞速发 腥，图像编解码技术取得突破，网络通信费用降低，这些都为视频会议走向实用 提供了良好的发展条件。8 0 年代术至今，多媒体技术、计算机技术、通信网络技 术都得到了快速发展。此时，c c i t t ( i t u t ) 也形成了h 2 0 0 系列建议，规定 了统一的视频输入输出标准、算法标准、误码校验标准及一系列互通的模式转换 标准，解决了不同厂商的设备互通问题，打破了视频会议技术及其设备由少数大 公司一统天下的垄断局面，极大地推动了视频会议的发展。另外，高速i p 网络及 i n t e m e t 的迅猛发展，各种数字数据网、分组交换网、i s d n 以及a t m 的逐步建 设和投入使用，也使视频会议的应用与发展进入了一个新的时期。 我国视频会议发展状况 近年束，视频会议业务丌始在我国推广使用国家视频会议骨予网已经建成， 并逐渐发展到远程医疗、远程教学等领域。视频会议通信系统产品的研制也保持 与幽际同步。在) 1 ：发出基于专用网的视频会议系统的基础上，丛于n i s d n 的多 媒体终端和多- i 控制砷，i ( m c u ) 也1 ：太年进入了实 1 】阶段。油已经形成了国 内c ir 必、o # 为i 人企业。j 1 日外如v t e l 、p i c t u r e t e l 、v c o n 等公c d j 口分享幽内 会【义l u 视f l ，场的竞争【f f i 。 视频会议呐发腱趋势 视频会议彳1 ：为交! i 式多媒体通信的先驰，l 三经有2 0 多年的历史，顺应三刚台 的发展趋辨势必要进入一个新的发展阶段。j ：要原凶娃：第+ 、交式多媒 体通信所依l ；f 十的传输嘲络壮础。山t 乜j 交换式的l s d n 和号线网络向分纰交换式的 i p 网络过渡。第：一：、其针对的市场目标将山大型公司、政府机构的会议室向小型 蛔f 【 疋坫十软件编码的眦颧会汪系统 化的i ：作组会议室和个人化的桌面延伸，最终发腥到家庭。第三、功能已山原先 单纯的电褪会议功能发展成远程教学系统、远程监控系统、远程医疗系统等多方 面的综合业务。 从i 碉络技术的发展趋势来看 n t e r n e t f 在向多媒体网络发展，在i n t e m e t 上实 肌珧锄会议足l | | j 8 研究哥j i ：发的热点之。但是，i n t e r n e t 原米是用于计算机互联 f “教捌通衍晌阿络，使t l f t c p m 协c 义，就其h 莳广泛使用的f p v 4 协议路【f | 器束c 兑， 打n ：丘法控制带宽和端别端明延、q o s 得刁i 到保i 正等问题，难以满足多媒体通信 业务的发展。但随着a t m 技术、i p 交换技术、千兆比以太网技术在网络层逐步统 到i p l 。，基于i p 的视频会议将成为实时多媒体通信最为理想的方向，是视频会 议发展的主流。国外公司如p i c t u r e t e l 、w e a r n e s 、v c o n 等诈致力于玎发i n t e r n e t 网的实时视频、音频会议电视系统，并且已经取得了很好的效果。可以肯定。随 着l p 的r 益普及，以及l p 性能的迓步改善，性能良好、使用方便、价格便宜的i p 视频会议系统将会得到广泛应用。 1 2 语音编码技术的历史和现状 在多媒体系统中，音频信号可分为两类：语音信号和非语音信号。非语音信 号的特点是不具有复杂的语意和语法信息，识别简单。语音是语言的物质外壳( 载 体) ，它不仅是一种振动波形，更重要的是还包含有丰富的语言内涵。它可以通 过抽象思维，提取其特定成分，达到对其意义的理解。 根据统计分析结果，语音信号中存在着多种冗余度，因而可以对其进行压缩。 语音编码的目的一是压缩数据和数字倔。通过语音编码，可以提高传输信道利用 ；薯这使得同样的信道容量能传输更多的语音信号，或者是存储同样的语音信号 h 需要更小的容量。在多媒体语音数据的存储和传输中，数据压缩是必须的。 为了实现语音数据压缩，多方面的专家致力于算法的研究，众多的企业致力 于芯片和产品的研制，国际性的标准化组织也先后推出了一系列建议。当前编码 技术发展的一个币要方向就是综合现有的编码技术，制定全球统一的标准，使信 息管理系统县有 ! = 遮的瓦操作陀并确保了未来的兼容性。f 日际：对语音信号压缩 编码的建泌怂( t i 际】乜报j 乜话搭咖委员会( c c i t t ) ( 现改为i t u t ) f 设的第 1 jl 聊f 究红i 讨论制定进行的，相应的建议为g 系列，由国际电信联盟( i t u ) 发表。 国际电报电话咨询委员会先后推出了一系列有关语音编码的建议，表1 1 中列 出了部分语音编码算法和国际标准。 l 讹，一绱沦 ，i ：准f i ：f ，编 l r 5 ，j - 比辛j ( t - 比特 m o s 掉；i 延皑一 陟) 雄秒) l ，i u g 、7 l i 1 9 7 2p c m6 443o 1 2 5 | 1u g 7 2 l 1 9 8 4 d p c m3 240012 5 i i u g 7 2 6 1 9 9 i v b r a i ) 1 1 c 11 6 、2 4 、2 o 、32 、 ol2 5 3 2 、4 040 、4 ： 1 1 1 i g7 2 8 1 9 9 2 l d c i ：l | 】6400 6 2 5 g s m ( 个迎) 1 9 8 c ) r p e l ip i3372 0 i s s 4 1 9 9 lv s e l p7 9 53 62 0 【t u 一( j 7 2 9 1 9 9 5 c s 一 c e l i 840 l5 】s 一9 6 1 9 9 i q c e l p1 、2 、4 35 g s m ( i - 过) 1 9 9 4v s e l p56352 4 3 7 5 l t u g 7 2 3 1 1 9 9 5a c e l p ，5 3 通f 占 3 7 5 m p m l o 6 3 f s l 0 1 61 9 9 0c e l p4 83o4 5 f s l 0 】51 9 8 4l p c 1 02 4 眢成：2 5 蜮r j 、) 表1 1 语音编码算法年怀桃 1 9 7 2 ；# ，c c i t l 首先制定t g 7 1 16 4 k b p s ( a 律) p c m 编码标准。1 9 8 4 年叉公 如了q 7 2 1 标准( 1 9 8 6 年修订) 。它采刚的足i ，带_ l 适应差分脉冲编码( a d p c m ) ， 数据牢j + , j 3 2 k b p s 。以上两个标准适用t 2 0 0 - 3 4 0 0 h z 窄带话音信号，已用于公共 电话同。针对宽带语音f5 0 7 k h z ) ，c c i t t 器q 定了q 7 2 2 编码标准。它的数槲率 y , j 6 4 k b p s ，可用于综合业务数字同( i s d n ) 的b 通道上传输音频数槲。低码率、 低延h t 、高质量始终是人们期望的目标。 的1 6 k b p s 短延：时码激励( l d - - c e l p ) 为此，c c i t t 采纳了a t tb e l l 实验室提 编码方案，于1 9 9 2 年和1 9 9 3 年分别公船 了浮点椰定点算法的g 7 2 8 标准。该方 上延l 叶小于2 m s 话音质量i 叮边m o s4 分以 i ：。 随t i 数，移z 巩通f i 。i 的毁j 陡，人们埘j ：低谜i 等舟编码7 r 了亚迫切们耍j 三；1 9 8 3 年瞅洲敷j 7 t # 动 0 剧i ：作川( g s m ) 制定了数4 ，移动逝竹删n 0 13 k b p s k 时蹦测脱 l 1 1 j 脉冲激励( r p e e l p ) 讲打编 j j 5 f ，j ：“i ：。1 9 8 9 q l l e 炎蜂寓 u i 1q k 小纵( c i i a ) 公m l 了北炎数 ：移动通信杯准。它系川的址父址利激眦纯f i - 预删坎术( v s e t p ) 迷二 j z + 8 k b p s 。8 k , 1 1 i3 k 的i j i l 目? f + , j i + f l i i 仃较：的j i ：f l ? i 二铲和鞍f 岛们i l i 质f i l ：f ：l 也小j i ，l nj j i f | r i i 的膨川脯；j f l 述书的【。 l , i 缩 i 4 ：1 i 篮川j - 似崭【( 丹迎f i 。茭防以( i ) o d ，舒圳 j 。1 9 h 4 ：r 飘1 1 9 9 0 q ：i “j t 了 jj ：l p c 、造 ：为2 4 k b p s ( 1 , j 编钾5 ，j 集年 l j ，j 。c e l ，p 、述 二# 为4 8 k b p s 的编州厅枭。 随n 能0 | 会和通f _ 技术f f je 述发胜，频率资源将娈甜越术越江贫。l j 、i 此， j i j 缩f 0 输俯宽嘁小i f i 打衍i ，j i 的f 输述；# 仍然址人f f jj j = i ；r 的。个i i 中，j ；。把近j 印 - i h 阿编码技术段胜迅迎被戳2 j 1 日断 ，j ；玳化i ：作- i 破为活跃的领域：i 1 1 ；， ii jill|0lililillllliil耋誊匿鬟醛壁醺睡匿匿艨p畦畦炎； ? 堡! 型：型! ：苎幽型坐坐墨鲨 计】：数m 半人j 二4 k b p s i f j 沿阿编i i - i 系统。其十i j 哭f u 论和技术已致胜得比较宠符，同 【汁也台了址j 七j 世旧b j , i l - 。 虽然现n ：l 仃) 匕? f 通n 等尺弈特通f 矗f 段，f f j n ：移动j 亘f 氘微浊、微射、j i ! l ! 迎n 苜越竹r 段- j l 竹竹护赶 j l1 分咂要【q 为叫以通过降f 眨编f 5 逑：仁米 _ r j 、通 f 、：系统的f ； ，1 1 - l 1 1 低述半i h 疗编- 5 技术n 二数+ 一通f 占系统t 起特 ! t 耍的化 川。_ l l i 抓等阿编码l z 浊的研究币_ 趟数码率小一：f 4 k b p s t l 编码疗浊。【 1 二数( 码率小 j 。4 k b p s l ! ! j i 身矗+ 纬6 f i j5 j i t j j ；乏 0j 衄f i j 场f j p i 以已做i 7 _ 多旧i 永甜f ，e 机f 句科i 丰，j ：排：化舅【 纵m 山2 0 ：纪_ ：! i | 【i 纪例的币= 耍辣题。 1 3 本文所研究的主要内容及所作工作 本文研究的足如何用软件实现视频会议系统并将其应，目于b i s d n 冉，j 远程敦 学系统中。远程教学系统的功能是在宽带综合业务数字网( b i s d n ) 上宴时地进 ij ：视频、音频传输，同时还能完成电子自板以及其它各种网络业务和相关控制。 本文作者j ：受负责视频会议系统中语音信号的处理。本文将首先对视钡会议 系统的构成做简要介绍；山于语音信号的捕获和回放使用了d i r e c t x 技术，所以 接着 , d i r e c t x 作一些晚明：然后摘要地介绍语音编耐的有关技术，并对本文用 判们i t u tg7 2 3 1 建泌作较为详细的说明；最后介绍整个语音处理系统的设 i | l j 实现纠。1 ，。 第：章祧频会议系统简介 第二章视频会议系统简介 2 1 系统结构简介 “1 今信息社会的发展列通信提出了更高的要求，人们已不满足简单的语音和 文字通信，而是希望使用集语音、文字和图像于一体的多媒体通信。这是继电报、 电话、传真及电子邮件( e m a i l ) 后又一新的通信手段。视频会议系统就是这种新 型通信手段之一，它可以点对点通信，也可以多点对多点通信。它在同一传输线 路上承载了多种媒体信息：视频、音频和数据等，实现多点实时交互式通信同 时也可以将不同地点与会人员的活动情况、会议内容及各种文件以可视新闻的形 式展现在各个分会场。这是一种快速高效、r 益增长、广泛应用的新的通信业务。 视频会议系统的结构如图2 1 所示，它主要由视频会议终端、多点控制器、 信道( 网络) 及控制管理软件组成。 h 2 6 l 磊赢i 习- 厂磊蕊 g 7 1 1 、g ，7 2 2 、g 7 2 8 童矍! ! ! 堡垒h 童婴塑兰里堡l 笙兰 t 1 2 0 系列 数据通信子系统 h 2 4 2 、h 2 3 0 、h 2 2 1 、h 2 4 3 系统 控制 端剑端信令 端剑网络信令4 0 0 系州 碰捌会i 义终端a m u x t d m u x 网 络 州 户 接 口 g 4 0 3 歧 4 0 0 系列 蚓2 i 视频会议系统结构框i 鳘i 视频会 议终端 c 习百 碳 信l 道信l 道 视频会 议终端 b 视频会 议终端 d 视频会议系统终端的主要功能是：完成视频信号的采集、编辑处理及显示输 爵频信号的采集、编辑处理及输出，视频音频数字信号的压缩编码和解码， 6 皿l 论立挂j 软件编峭的税频会议系缆 最后将符合国际标准的瓜缩码流经线路接口送到信道，或从信道上将标准压缩码 流经线路接门送到终端。此外，终端还要形成通信的各种控制信息：同步控制和 指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规 砟、加密标准、传送密钥及密钥的管理标准等。 多点控制单元m c u ( m u l t i p o i n tc o n t r o lu n i t ) 是视频会议系统的关键设备，它 的t 要功能是对视频、语音及数据信号进行切换，例如它会把传送到m c u 某会场 发i 者的图像信号切换到所有会场。对于语音信号，若同时有几个发言，可以对 它们进行混合处理，选出最高的音频信号，切换到其它会场。m c u 的主要组成部 分是：网络接口u g - ) t ：、呼叫控制单元、多路复用和解复用单元、音频处理器、视 + 频处理器、数据处理器、控制处理器、密钥处理分发器及呼叫控制处理器。 视频会议系统的服务质量q o s ( q u a l i t yo fs e r v i c e ) 是满足视频会议系统需求 的核心问题。视频会议系统要把用户的服务请求映射成预先规定的q o s 参数，进 而与系统和网络资源对应起来，通过资源的分配和调度满足用户的应用需要。资 源的分配和调度可以选用资源的静态管理和动态管理去完成。资源的静态管理包 括：q o s 的协商和解释，资源许可( a d m i s s i o n ) ，资源的保留和分配及资源的释 放。资源的动态管理包括：进程管理，缓冲区管理，传输率和流量控制及差错控 制。 2 2 视频会议系统的标准 在2 0 世纪8 0 年代，i t u 就专门成立了一个小组研究视频会议，从那时起建立 了一系列的建议和标准。关于视频会议晟著名的标准是h 3 2 0 和j * n t 1 2 0 系列建 议。h 系列建议是专门针对交互式电视会议业务而制定的，而t 系列是针对其它媒 体的管理功能作出规定。两种协议的组合使多媒体会议的通信有更完善的依据。 h 3 2 0 是会议系统中应用最早、最为成熟的挤议，支持i s d n 、e l 、t 1 ，带宽 从6 4 k b p s ：至l j 2 m b p s 。几乎所有会议系统厂家都采用，甚至目前许多l a n 会议系统 产品! t h i n t e l p r o v i s i o n ，i n s o f t 的c o m n l u n i q u e 等也采用h 3 2 0 。 ， h 3 2 0 虽然在今天的会议电视系统巾被广泛应用，但因为其只适合于i s d n 、 e j 、t l 等高速率纳数字网，而并不适合于在窄带网上使用。因此 t u t 又着手 制定了适合) ：微低速率通信网络的h 3 2 4 建议。本文所使片j 的证是这一标准。图 2 2 给出了h 3 2 4 建议的系统框图。 j 第一章视频会议系统简介 h 2 6 3 视频输入犏u5 卜一视频编解吗 暂频输入输山 t 1 2 0 j h 户戊h 数据 系统控制 g 7 2 3 ( g 7 3 0 ) + i 丽曝 数据防议 h2 2 3 多路 复川 解复 h j 幽2 2h 3 2 4 建议系统框幽 网络 接口 g s t n 网 m c u h 3 2 4 是低速率多媒体通信终端( t e r r a i n a lf o rl o wb i t r a t em u l t i m e d i a c o m m u n i c a t i o n ) 用于在g s t n ( g e n e r a ls w i t c ht e l e c o m m u n i c a t i o nn e t w o r k ) 上用 v 3 4m o d e m 传输实时语音、视频、数据的会议系统标准，它包括如下五部分： 视频 音频 复用： 托! f | ；i | h 2 6 3这是低码率图像压缩编码算法。采用分块、d c t 变 换、。运动估值和运动补偿、熵编码的基本结构。由于采用 了半像素搜索等更好的处理方法，h 2 6 3 的编码效率比h 2 6 1 高一倍。 g 7 2 3 1这是一种窄带语音编码建议。编码方法为多脉冲 最大似然量化和代数码书激励线性预测编码，可以把8 k h z 采样的模拟语音信号压缩成5 3 或6 3 k b p s 的数字信号。 h 2 2 3数据复接和分路协议。在发送端把控制数据、语 音数据、图像数据和其他数据合成一路数据让调制解调器 传输。在接收端再分丌这些数据。t t 2 2 3 分成复接( m u x ) 和 自适应( l ) 两个层次m u x 与调制解调器接口而a l 与数据来 源接 1 。a 1 层分为 【1 a l 2 ，a i 。3 三种情况，语音数据和a l 2 n l 芙联，图像数据和 l 3 斗l i 关联，有关h 2 4 5 的控制数据则 - u a i 1 十臼关联。 h 2 4 5系统控制协议。通过阱议定义的消息和过程，通 信舣办州交换信息，决定如何传送语音、图像和数据， 如何处理错误。i i 2 4 5 分成对消息编解码和对各个消息处理 的状态转换机制两个部分。语音和图像采用的算法及选项 出 i2 4 5 的交换信息决定。 坝 论j ：【= 璀十软件编码的呲额会汪系统 安全保密：h 2 3 3视听服务的安全系统 h 2 3 4视听服务的密钥管理和验证系统 表2 i 描述了一些视频会议系统国际标准的组成部分及应用场合。 终端类掣h 3 2 0 系列h 3 2 4 系列h 3 2 3 1 h 3 2 2 系列h 3 2 1 系列机坝盒 支持环境 n i s d n p s t n i p s d nl a n a t m 、b - l s d n h f c p t t c 音频编码 g 7 1g 7 2 3 q 7 1 1 、q 7 2 2q ，、c o 7 2 2 h 2 6 2 g 7 2 2a v 2 5 y c a 7 2 8g 7 2 8 g 7 2 8 h 2 6 2 税频编码 h 2 6 l h 2 6 3 、h 2 6 4 h 2 6 】 h 2 6 i 、h 2 6 2 h 2 2 2 0 复 j h 2 2 jh 2 2 3h 2 2 3 h 2 2 1 、h 2 2 2 o h 2 2 2 1 h 2 2 2 1 嗣络接口 n l s d n 、j 3 4l a na a l a t m 也缆 m o d e m 表2f视频会议系统的国际标准 t 1 2 0 系列是国际电信联盟通信标准部丌i 发的系列国际标准。此标准是为多 点和多媒体会议系统中发送数据而制定的。t 1 2 0 也为连接白板和非会议电视应 用及文件传输提供了应用规范。由于本文所讨论的系统中没有涉及到数据传输， 所以就不对t 1 2 0 系列作进一步的介绍了。 酸，自，j ：；， ： ；， 。扎，“【，；鼠。 ， l 第王章d i r e c t x 技术q 第三章d i r e c t x 技术 3 1o i r e c t x 和组件对象模型c o m 3 1 1d i r e c t x 技术简介 d i r e c t x 是m i c r o s o r 公司推出的一个软件丌发工具包( s d k ) 。它包台了编制 高级计算机游戏和多媒体应用程序的最新技术工具为广大的程序员提供了一整 套的应用程序接e i a p i ，使程序员能够设计出高性能实时的应用程序。d i r e c t x 使 运行在m i c r o s o f tw i n d o w s 操作系统下的游戏比运行在m s - - d o s 操作系统下的具有 更高的性能和更好的交互性。 m i c r o s o f t 开发d i r e c t x 的首要目的就是要让图形图像、动画、多媒体以及 游戏程序丌发人员在w i n d o w s 环境下很容易地编制高级程序。在此之前，个人电 脑上的大部分游戏都是基于m s - - d o s 的，游戏丌发人员必须针对不同的硬件接 口卡编制不同的程序。尽管代码类似，仍不可避免许多重复劳动。利用d i r e c t x ， 可以获得d i r e c t x 的硬件独立性的优点，同时又可以直接访问硬件。d i r e c t x 可以 提供m s - - d o s 中直接的硬件访问特性，同时又去掉了个人电脑中添加新硬件时 所带来的硬件识别问题。 因为硬件的升级是不可避免的，所以d i r e c t ) ( 实际上也提供了一种即插即用的 方法。因此，利用d i r e c t x 可以开发出高性能实时的应用程序，该程序能直接访问 计算机中的硬件和将来系统中可能会具有的硬件设备。d i r e c t x 在硬件和应用之日j 提供了一致的接门以减少安装和配置的复杂性并且使得对硬件的利用达到最 优。利用d i r e c t x 提供的接口，程序员能充分利用硬件的特性而不需要考虑其具体 细节。 d i r e c t x 主要包含有六个部分： d i r e e t d r a w ：通过支持访问屏外显示内存一 位蹦的软硬件加速技术，町 利川硬件的化块传输和缓冲区翻转功能r 陕述卣接存取。 d i r e c t s o u n d ：提供软硬件声音混合的录音再尘功能。 d i r e e t p l a y ：使游戏在调制解调器和网络之间的连接更加简单方便。 d i r e c t 3 d ：提供了高级保留模式( r e t a i n e d - - m o d e ) 接口和低级即时模 式( i m m e d i a t e - - m o d e ) 接口。两者允许程序很容易地完成个完全的三 维图形系统，后者使程序能完全控制着色管道。 ，j j j 论史幕十轼件编妈的搅频会泣系统 d i r e c t l n p u t ：提供了基于w i n d o w s 的图形图像、游戏输入的a p i 和驱动 程序，它不仅支持目f i 的键盘、鼠标和操纵杆，也支持将束的基于w i n d o w s 莳输入设备。 d i r e c t s e t u p ：提供了d i r e c t x 的次性安装过程。 m i c r o s o f t 一直在剥d i r e c t ) ( 进行升缴，从d i r e c t x ，d i r e c t x2 d i r e c t x3 到d i r e c t x 5 ，d i r e c t x6 ，直至最新的d i r e c t x7 。事实上，d i r e c t x5 已经包含了d i r e c t x 几乎 所有的功能。相对于d i r e c t x3 束醅，d i r e c t x5 提供了不少新的功能和服务，不过 利用d i r e c t x3s d k 编写的程序不需要修改就可以成功地编译和运行。同样用 d i r e c t x5s d k 编写的程序也可以平滑地移植至l j d i r e c t x6s d k 上。本文介绍的语 音处理程序中使用的就是d i r e c t x5s d k 3 1 2 组件对象模型c o m c o m p o n e n to b j e c tm o d e l ( c o m ) 是软件组件互相通讯的一种方式，它使得编 程的对象或组件在二进制代码级兼容。 c o m 是基于对象的，c o m 对象被很好地封装起来，外部无法访问对象的内 部实现细节，无法知道对象使用了什么数据结构。在这种状况下，我们想与c o m 对象进行通信，就只能通过接口柬实现。 接口就是指向对象的指针。接口并不直接指向对象，实际是指向一个虚拟函 数表，该虚拟函数表只包含与该接口有关的方法( 函数和过程) 。每个对象拥有 各具特点的多重接口。图31 为c o m 对象接口模型。 ix 方法卜 对象a ( 对象a 的 各种方法1 l 嘲法卜 瑚3 1c o m 对象接口 个对象可能有很多接口，为了弄清楚这个对象是否支持一个特定接口，可 以直接闯这个对象：你支持接口x 吗? 如果该对象支持接口x 则对象回答：是； 否则对象就回答：示。如果对象回答支持某个特定接口，则问题变为：怎样能够 获得这个接口? 此时，对象会返回所需要的接口指针。我们要询问的这个接口就 被称作1 u n k n o w n 。每个对象都需要i u n k n o w n 每个接口也都需要它。它们之间 惠、e 第i 章d i r e c t x 技术 的天系如图3 2 所打：。 披 廿 u n k n o w n 对象a 斗 划3 2 堂2 1 、对蒙年i u n k n o w n 实际上，所有的c o m 接口都是出i u n k n o w n 接口派生而柬的。i u n k n o w n 接 口提供了对对象生存期的控制和操作多接口的能力，i u n k n o w n 含有三个方法： a d d r e f 当一个接1 2 或另一个应用捆绑到某一个对象上时，就使用 a d d r e f 方法将该对象的索引值加1 。 q u e r y i n t e r f a c e通过指向特定接口的指针查询对象所支持的特性。 r e l e a s e 将对象的索引值减l 。当索引值变为0 时，该对象就从内存 中释放。 其中，q u e r y l m e r f a c e 方法测定一个对象是否支持指定的接口。如果支持， q u e r y t n t e r f a c e 就返回该接1 3 的指针，然后可以使用该接口包含的方法同对象通 信。如果q u e r y i n t e r f a c e 成功地返回接口的指针，它就会自动调用a d d r e f 方法增 d h x , _ i - 象的索引值。在撤销接口指针之时，必须调用r e l e a s e 方法来减少对象的索 引值。 q u e r y i n t e r f a c e 的实际句法为： h r e s u l t l u n k n o w n ：q u e r y i n t e r f a c e ( r e f l l dr i i d ，l p v o i df a r + p p v o b j ) r i i d 是所查询的接口i d ( 1 i d ) 如果所请求的r i i d 被支持，则p p v o b j 是指向 浚接l 1 的指针，而如果浚接口不被支持，p p v o b j 则为n u l l 。 a d d r e f 和r e l e a s e 方法负责维护对象的索引值。a d d r e f 用柬在对象上保持 。个索引位( r e f e r e n c ec o u n t ) ，索引值是刚来确定应该在f f q l l , f ，j 消除一个肘象。存： 程序设计时一个生要原则是：与分配一个接【 时，它就保持彳f 效直到谚；对蒙被 消除为i i ：。对象是在本身，1 ；f 嘻被弓i 用时被消除的，姆奇调用a d d r e f 时，对象的 索引值就增加1 ，而调f t jr e l e a s e 时，对象的索引值就减少1 。当对豫的索q l 值达 到0 时垓对象就被撤销，该时缘的所有接都耳：可阿j f j 。 a d d r e f , i ir e l e a s e 的实际f u 法分别为： u l o n g i u n k n o w n ：a d d r e f ( v o i d ) ； u l o n g i u n k n o w n ：r e l e a s e ( v o i d ) ； l 一一1 了一 蛐3 罐。 扛：批铺i 躲 ， i 倾l j 沦殳堆十软件编码的州蜊会议系统 3 1 3d i r e c t x c o m 接 d i r e c t x 中的夫部分a p i 都由基于c o m 的对象和接口组成。许多d i r e c t xa p i 都有创建c o m 对象的实例。可以将一个对象看作一个黑盒子，对象通过接口与 对象通信。通过c o m 接f 发送给对象或从对象接收的命令称为方法( m e t h o d ) 。 例如，i d i r e c t d r a w 2 ：g e t d i s p l a y m o d e 方法是通过i d i r e c t d r a w 2 接口从d i r e c t d r a w 对象获得当前的显示模式。 d i r e c t x 中的接口是用最基本的c o m 编程创建的。表征设各对象的每个接i 都出i u n k n o w nc o m 接口派生而来，如i d i r e c t d r a w 2 ，i d i r e c t s o u n d i d i r e c t p l a y 都是这样。基本对象的创建工作由动态链接库( d l l ) 中的特殊函数来处理。比较 一般的情况是，d i r e c t x 对象模型为每个设备提供了一个主对象，其它支持服务 的对象由主对象派生而来。例如，d i r e c t d r a w 对象就表征了显示适配器。用户可 以利用d i r e c t d r a w 来创建表征显示内存的d i r e c t d r a w s u r f a c e 对象和表征硬件调 色板的d i r e c t d r a w p a l e t t e 对象。同理，d i r e c t s o u n d 对象代表了声卡，利用它可以 创建代表音源的d i r e c t s o u n d b u f f e r 对象。 除了能够产生子对象外，设备的主对象还能测定它所表征的设备特性，如屏 幕的大小和颜色数，声卡是否支持波表合成等。 3 2 1d i r e c t s o u n d 简介 3 2 d i r e c t s o u n d 作为d i r e c t x 的一部分，d i r e c t s o u n d 就是专门处理游戏中的声音的。利用 d i r e c t s o u n d 应用程序接口，可以使用d i r e e t x 提供的设备无关性来绕过声音硬件 的细节规范，尽可能发挥硬件的最佳性能。d i r e c t s o u n d 提供了低延迟合成，硬件 竺芝! i 曼对声音设= 喜接存耿的功能，同时又保持与当前设备驱动程序的兼容 性。 利用d i r e c t s o u n d ，还可以简化自己的工作。例如：在运行时对给定的硬件配 置进行检测找! i ；最佳解决方案；属性集可以利用硬件的扩展功能，即使这些硬件 不直接被d i r e c t s o u n d 所支持：提供快速反应能力的音频流的低延迟合成；开发3 d 音效：声音捕获等。 瓢r _ _ 第二章d i r e c t x 技术 3 2 2d i r e c t s o u n d 的体系结构 d i r e c t s o u n d 使用了新的模型柬播放和捕获数字声音采样及合成采样源。同 d i r e c t xa p 的其它部分一样，d i r e c t s o u n d 会尽量使用硬件的最高性能。如果当 i i i 碰件不其备某类特性时，d i r e c t s o u n d 会使用软件柬仿真。 d i r e c t s o u n d 口放建立于i d i r e c t s o u n dc o m 接口和另外一些处理声音缓冲和 3 d 效果的接口基础之上，这些接口是i d i r e c t s o u n d b u f f e r 、i d i r e c t s o u n d 3 d b u f f e r 和i d i r e c t s o u n d 3 d l i s t e n e r 。 d i r e c t s o u n d 声音捕获建立于i d i r e c t s o u n d c a p t u r e 和i d i r e c t s o u n d c a p t u r e b u f f e r c o m 接口之上。c o m 接口i k s p r o p e r t y s e t 提供了一些方法允许应用程序充分利 用声音硬件的扩展能力：i d i r e c ：t s o u n d n o t i f y 接口则用于指定当缓冲区声音的播放 或捕获到达某点时所发出的事件。 以下分别介绍d i r e c t s o u n d 体系中的各个组成部分。 回放( p l a y b a c k ) d i r e c t s o u n d 缓冲区对象表征了一个缓冲区。该缓冲区包含了以脉冲编码调制 ( p c m ) 格式存储的声音数据。缓冲区对象用于声音回放的开始、停止和暂停， 也可以丹j 于设置声音的频率和格式等属性。 声音缓冲区包括主缓冲区和次缓冲区两个部分。主缓冲区内含用户将要听到 的音频，每一个次缓冲区都包含一段单一的声音或音频流。d i r e c t s o u n d 会自动创 建一个主缓冲区，而次缓冲区需要用户自己创建。当播放次缓冲区中的声音时， d i r e c t s o u n d 将它们在主缓冲区中合成，然后送到输出设备。d i r e