（计算机应用技术专业论文）基于流媒体技术的计算机屏幕捕捉与传输系统.pdf

摘要 摘要 随着网络通信的迅速发展，流媒体技术在网络教学、视频会议、视频监控 等领域的应用给人们带来了极大的便利和乐趣。在上述这些应用中，如何将本 地计算机的屏幕显示数据实时、清晰、流畅地传输到远程端是必须要解决的问 题。本文以微软流媒体传输系统为基础，采用流媒体相关技术、w i n d o w sm e d i a 编程技术，以及多线程等技术对计算机屏幕的捕捉与传输进行了研究与实现。 本文所研究的技术当前主要应用于北京工业大学课堂直播与交互系统中， 与当前市场上相关技术相比，其主要优点如下：首先，当前市场上的普通p c 机 即可支持其运行，无需购买额外的硬件；其次，网络流量较低，不会对校园网 带宽造成大量占用；最后，支持w e b 模式，可运行于当前主流版本的w i n d o w s 操 作系统上，通过在网页中嵌入w i n d o w s 媒体播放器给用户提供友好美观的界面， 用户不需要安装额外的脚本或者a c t i v e x 控件即可观看。该技术可推广到视频 会议、计算机监控等多个领域，应用广泛且具有很大的商业价值。 本文主要的研究内容如下： 1 、 首先分析网络流媒体应用中常用的流媒体技术，以及各个流媒体技术 的相应特点，根据本课题实际情况选择合适的流媒体技术。 2 、 本文通过介绍流媒体技术原理、微软特有流媒体协议m m s ，并根据当 前课堂直播与交互系统的现状，提出了计算机屏幕捕捉与传输系统的 模型及技术路线。 3 、本文所实现的主要功能包括屏幕内容捕捉、屏幕位图数据的压缩编 码、屏幕捕捉内容的即时预览、屏幕视频流保存为本地文件、网络实 时传输以及屏幕采集软件的性能统计等。屏幕内容捕捉模块将 w i n d o w s 系统的钩子技术和定时器技术相结合，动态触发，采用创建 屏幕d c 的方法采集屏幕图像，优化了捕捉效率；屏幕捕捉模块得到 的位图数据存储在缓冲区队列中，运用生产者消费者的多线程模型 使得屏幕内容采集和压缩编码并行处理。在压缩编码的过程中，可实 时预览编码效果，同时可将屏幕视频流保存为本地文件，为以后的点 播提供素材。编码形成的屏幕视频流通过“拉传递”和“推传递 的 方式传输至流媒体服务器，客户端通过w i n d o w s 媒体播放器连接流媒 体服务器即可实时观看。同时，系统提供了各种参数对其性能进行统 计，通过这些参数可清晰地了解系统运行的状况，为以后的系统优化 提供了依据。 北京t 业人学r 学坝i 学位论义 本文主要通过微软的w i n d o w sm e d i a 技术，开发了计算机屏幕捕捉与传输 系统，将其嵌入到北工大原有课堂直播与交互系统中，是对原有系统的重大优 化和完善。该课题系统达到了预期效果，成本低、清晰度高、运行稳定，且适 用于当前主流w i n d o w s 操作系统。 关键词流媒体；课堂直播；计算机屏幕捕捉；w i n d o w sm e d i a i i a b s t r a c t 皇鲁曼皇皇皇皇曼曼量曼皇i 舅舅曼! 曼曼曼曼曼! 曼曼曼寰皇! 曼皇曼曼蔓鼍曼! ! 舅曼曼! 曼曼! 曼曼! 曼曼曼曼曼曼曼曼! 曼! 蔓曼曼! 曼量曼曼曼曼皇曼皇曼基曼曼! 曼皇 a b s t r a c t a si n c r e a s i n g l y r a p i dd e v e l o p m e n tt h en e t w o r kc o m m u n i c a t i o ni s ，t h e a p p l i c a t i o no fs t r e a m i n gm e d i at e c h n o l o g ym a k e sp e o p l em o r ec o n v i n c e da n df u ni n t h ef i e l do fo n l i n ee d u c a t i o n 、v i d e oc o n f e r e n c e 、v i d e om o n i t o r i n ga n ds oo n i n t h e s ea p p l i c a t i o n sa b o v e ，t h ei s s u e ，w h i c hi sn e c e s s a r yt os o l v e ，i st h a th o wt o t r a n s m i tt h ed a t af r o mt h el o c a lc o m p u t e r ss c r e e nt ot h er e m o t et e r m i n a l s t h i sp a p e r r e s e a r c h e sa n di m p l e m e n t st h et e c h n o l o g yo fc o m p u t e rs c r e e n c a p t u r ea n d t r a n s m i s s i o n ，w h i c hi sb a s e do nt h em i c r o s o f ts c r e a m i n gm e d i at r a n s m i s s i o ns y s t e m a n du s e st h er e l a t e ds t r e a m i n gm e d i at e c h n o l o g y 、w i n d o w sm e d i ap r o g r a m m i n g t e c h n i q u e sa n dm u l t i - t h r e a dt e c h n o l o g ye t c t h et e c h n o l o g yt h i sp a p e ri n v o l v e di s a p p l i e dt ot h ec u r r e n tl i v et e l e c a s t c l a s s r o o ma n di n t e r a c t i v es y s t e mo fb e o i n gu n i v e r s i t yo ft e c h n o l o g y c o m p a r e d w i n lo t h e rt e c h n i q u e sr e l a t e di nc u r r e n t m a r k e t ，i t h a st h e f o l l o w i n gc h i e f a d v a n t a g e s ： f i r s t l y , t h ec o m m o np e r s o n a lc o m p u t e ri nc u r r e n tm a r k e tc a ns u p p o r tt oo p e r a t e ， w i t h o u tp u r c h a s i n ga d d i t i o n a lh a r d w a r e s e c o n d l y , t h i st e c h n o l o g ym a k e st h ei n t e m e tf l o wl o w e ra n dw i l ln o tc a u s ea l a r g en u m b e ro fo c c u p i e db a n d w i d t ho nt h ec a m p u sn e t w o r k l a s t l y , i tc a ns u p p o r tt h ew e bm o d e l ，w h i c hc a nb eu s e di n t h ec u r r e n t m a i n s t r e a mv e r s i o no ft h ew i n d o w so p e r a t i n gs y s t e m ，i ta l s oc a np r o v i d eu s e r sw i t h f r i e n d l ya n da t t r a c t i v ei n t e r f a c eb ye m b e d d i n gt h ew i n d o w sm e d i ap l a y e ri nw e b p a g e s ，u s e r s c a nw a t c ht h e mw i t h o u ti n s t a l l i n ga d d i t i o n a l s c r i p t s o ra c t i v e x c o n t r o l s t h i st e c h n o l o g yc a np r o m o t et ot h ef i e l do fv i d e oc o n f e r e n c e 、c o m p u t e r m o n i t o r i n ga n ds oo n ，i tc a na l s oa p p l ye x t e n s i v e l ya n dh a sg r e a tc o m m e r c i a lv a l u e t h em a i nc o n t e n t so ft h i sp a p e ra r ea sf o l l o w s ： i nt h ep a p e r , f i r s to fa l l ，i ta n a l y s e st h ef r e q u e n t l y u s e d s t r e a m i n gm e d i a t e c h n o l o g yi nt h ea p p l i c a t i o no fn e t w o r ks t r e a m i n gm e d i aa n dt h e i rc o r r e s p o n d i n g c h a r a c t e r i s t i c s ，t h e nc h o o s e st h ea p p r o p r i a t es t r e a m i n gm e d i at e c h n o l o g ya c c o r d i n g t ot h ea c t u a ls i t u a t i o no ft h es u b je c t b a s e do nt h es t a t u sq u oo ft h ec u r r e n tl i v et e l e c a s tc l a s s r o o ma n di n t e r a c t i v e s y s t e m ，i ti n t r o d u c e s t h em o d e la n dt e c h n o l o g yf r a m e w o r ko fc o m p u t e rs c r e e n c a p t u r ea n dt r a n s m i s s i o ns y s t e mt h r o u g he x p a t i a t i n go nt h ep r i n c i p l eo fs t r e a m i n g i i i 北京t 业人学丁学坝 j 学位论文 m e d i at e c h n o l o g y 、m i c r o s o f ts c r e a m i n gm e d i as p e c i f i cp r o t o c o li nt h ep a p e r i nt h ep a p e r , t h em a i nf u n c t i o n si n c l u d e dt h ec o n t e n t so ft h es c r e e nc a p t u r e 、t h e c o d e cc o m p r e s s i o no fs c r e e nb i t m a pd a t a ，t h er e a l - t i m ep r e v i e wo fc o n t e n t sf r o mt h e s c r e e nc a p t u r e ，s a v i n gs c r e e nv i d e os t r e a m i n ga sl o c a lf i l e s ，r e a l t i m en e t w o r k t r a n s m i s s i o n ，a sw e l la st h ep e r f o r m a n c es t a t i s t i c so fs c r e e nc a p t u r i n gs o f t w a r e e t c t h em o d u l eo ft h es c r e e nc o n t e n tc a p t u r ec o m b i n e st h ew i n d o w ss y s t e mh o o k t e c h n i q u e sw i t ht i m e rt e c h n o l o g y , t r i g g e r i n gd y n a m i c ，a n du s e st h em e t h o do f c r e a t i n gs c r e e nd c t oc a p t u r es c r e e ni m a g e s ，o p t i m i z i n gt h ec a p t u r ee f f i c i e n c y ；t h e b i t m a pd a t ac a p t u r e df r o mt h es c r e e nm o d u l ea r es t o r e di nt h eb u f f e rq u e u e ，t h e nt h e c o n t e n t so fs c r e e na r ec o l l e c t e da n de n c o d e dc o m p r e s s i n gt op r o c e s si np a r a l l e lb y t h em o d e lo fm u l t i - t h r e a d i n gp r o d u c e r c o n s u m e r i nt h ep r o c e s so fc o m p r e s s i o n c o d i n g ，t h ec o m p r e s s e dc o d ec a nb ep r e v i e w e di nr e a l - t i m e ，w h i l et h es c r e e nv i d e o s t r e a m i n gc a nb es a v e da sl o c a lf i l e si nt h em e a n t i m eo n d e m a n df o rp r o v i s i o no f m a t e r i a li nf u t u r e e n c o d e ds c r e e nv i d e os t r e a m i n gt r a n s f e rt ot h es t r e a m i n gm e d i a s e r v e ri nt h ew a yo f p u l lt r a n s m i s s i o n “a n d p u s ht r a n s m i s s i o n ”，w h i l ec l i e n tc a n w a t c hi nr e a l t i m eb yc o n n e c t i n gt h ew i n d o w sm e d i ap l a y e rt os t r e a m i n gm e d i a s e r v e a tt h es a m et i m e ，t h es y s t e mo f f e r sav a r i e t yo fp a r a m e t e r st ot a k es t a t i s t i c so n i t sp e r f o r m a n c e ，w ec a nr e a l i z ec l e a r l ya b o u tt h eo p e r a t i o n a ls t a t u so ft h es y s t e m ，a s w e l la si tc a np r o v i d et h eb a s i sf o rs y s t e mo p t i m i z a t i o ni nf u t u r et h r o u g ht h e s e p a r a m e t e r s i nt h i sp a p e r , c o m p u t e rs c r e e nc a p t u r et e c h n o l o g ya n dt r a n s m i s s i o ns y s t e mw i l l b ed e v e l o p e dt h r o u g hm i c r o s o f t sw i n d o w sm e d i at e c h n o l o g y , w h i c hw i l lb e e m b e d d e di n t oo r i g i n a ll i v et e l e c a s tc l a s s r o o ma n di n t e r a c t i v es y s t e mo fb e i j i n g u n i v e r s i t yo ft e c h n o l o g ya n dw i l lo p t i m i z ea n di m p r o v et h eo r i g i n a ls y s t e m e n o r m o u s l y t h es u b j e c th a sr e a c h e dt h ee x p e c t a t i o ne f f e c t ，l o wc o s t ，h i g h d e f i n i t i o n ， s t a b l eo p e r a t i o na n da p p l i e dt ot h ec u r r e n tm a i n s t r e a mw i n d o w so p e r a t i n gs y s t e m k e yw o r d ss t r e a m i n gm e d i a ；l i v et e l e c a s tc l a s s r o o m ；c o m p u t e rs c r e e nc a p t u r e ； w i n d o w sm e d i a i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：昼：。、易魄竺互： ： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：椭导师签名：同期： 第l 幸绪论 1 1 课题研究背景 第1 章绪论 随着网络技术的迅速发展，特别是宽带技术在国内外的普及，基于中高速 网络的流媒体技术由此诞生，且取得了长足的发展，这推动了互联网整体架构 的革新，同时赋予宽带应用更多的互动性和娱乐性。流媒体是指运用可变带宽 技术，在数据网络上按时间先后次序传输和播放的连续音视频数据的一种格式。 流媒体采用“边下载，边传输”的流式传输，开始时会有一些延迟，在播放前 只将部分内容缓存，并不下载整个文件，在数据流传送的同时，用户可在计算 机上利用相应的播放器或其它的硬件、软件对压缩的动画、视音频等流式多媒 体文件解压后进行播放，这样就节省了下载等待时间和存储空间，使时延大大 减少，而多媒体文件的剩余部分将在后台的服务器内继续下载。可以发现，流 媒体数据流具有连续性、实时性、时序性三大特点，具有严格的前后时序关系 。正是由于流媒体技术的这些特点，其已经在网络教学、视频会议、新闻发 布、电子商务、手机电视等多个领域得到了广泛地应用。同时，随着3 g 乜1 市场 的启动，对流媒体技术在无线终端设备上的广泛应用起到了推波助澜的作用。 流媒体的应用系统、国际标准和基础研究正成为目前产业界和科研机构研究的 重点。 现代信息网络技术的快速发展催生了以交互式多媒体宽带网络为教育信息 传输平台的网络教育。所谓网络教育，就是利用多媒体通信网络来实现时空分 离的由教师和学生共同来完成的教育、教学活动，以有效促进学生学习，从而 达到预期学习目标的一种新型教育方式口1 。网络教育除具备教与学相分离的特 征外，更体现了个性化教育。网络教育几乎融入了2 0 世纪8 0 年代以来通信信 息领域所有的最新技术，其建立在计算机技术、网络技术、多媒体技术、双向 电子通信技术及教育传播理论和现代学习理论紧密结合的基础上，以多媒体计 算机网络承载和传播包括图、文、声、像在内的覆盖整个教学系统的各种要素 信息，形成交互式的教学模式。网络教育可以实现实时“面对面”远程授课、 视频课件点播、同步课程辅导、远程交流讨论、交互式答疑等丰富的教学功能， 突破了课堂教学和课本教学信息单一化的局限，能充分开发、组合和利用各种 教育信息资源，将多学科、多层次的丰富信息通过多种途径传播，有利于全方 位培养人才。但是如何实时、清晰、流畅地传输音视频等丰富多彩的多媒体课 件是网络教育设计中的主要技术难题。应用流媒体传输多媒体文件是当前使用 北京t 业人学t 学顺l 。学位论义 的较先进的技术，流媒体技术为网络教学提供了强有力的支持。 1 2国内外当前研究现状 当前，国内外市场上有不少关于计算机屏幕捕捉与传输的产品，例如微软 公司的多媒体通信系统n e t m e e t i n g 提供了屏幕共享功能，并且提供了 s d k ( s o f t w a r ed e v e l o p m e n tk i t ) 使用户可以方便地进行二次开发。但是 n e t m e e t i n g 的每个客户端在获得主机端的屏幕内容前，必须和主机端建立t c p 连接，这使得当客户端的数量增加时，网络带宽的占用也会直线上升，而且主 机端计算机的速度明显减慢；同时，n e t m e e t i n gs d k 给程序员提供的开发接 口仅限于应用层，不便于利用n e t m e e t i n g 的框架结构和其它的底层接口相结 合，也不便于在网络层截取图像，并对其进行实时处理。例如：无法将主机端 的屏幕信息保存下来，以备以后的工作需要。类似的，腾讯公司的实时聊天工 具q q 中的远程协助功能也采用t c p 连接技术实现。当前市场上的计算机屏幕捕 捉与传输产品主要分为两类：一类是提供额外的硬件产品进行捕捉，这种方式 在捕捉内容清晰度和捕捉效率上都值得肯定，但是无疑增加了用户的经济负担， 且使用不方便；另外一类需要在客户端安装特定的软件才能正常接收主机端的 屏幕内容，采用c s 模式，这种方式在一定程度上阻碍了软件的推广和用户的 使用。 1 3 流媒体技术发展现状 流媒体技术应用是近几年网络技术与多媒体技术共同发展的产物，目前流 媒体技术应用主要有三个：r e a l n e t w o r k s 公司的r e a ls y s t e m 、a p p l e 公司的 q u i c k t i m e 和m i c r o s o f t 公司的w i n d o w sm e d i a 晦1 。 r e a l n e t w o r k s 公司在2 0 世纪9 0 年代中期首先推出了流媒体技术，并随着 互联网的急速发展而壮大了自身，在市场上处于主动地位，并拥有最多的用户 数量，应该说r e a l n e t w o r k s 的市场和技术在同类产品中还处于相对领先的位 置。r e a l m e d i a 发展的时间比较长，因此具有很多先进的设计，例如，s c a l a b l e v i d e ot e c h n o l o g y 可伸缩视频技术可以根据用户电脑速度和连接质量而自动调 整媒体的播放质量。t w o - p a s se n c o d i n g 两次编码技术可通过对媒体内容进行 预扫描，再根据扫描的结果来编码从而提高编码质量。特别是s u r e s t r e a m 自适 应流技术，可通过一个编码流提供自动适合不同带宽用户的流播放。r e a l m e d i a 音频部分采用的是r e a la u d i o ，该编码在低带宽环境下的传输性能非常突出。 r e a l m e d i a 通过基于s m i l 并结合自己的r e a l p i x 和r e a l t e x t 技术来达到一定 的交互能力和媒体控制能力，不过相比q u i c k t i m e 来说还有一段距离。 2 第l 千绪论 a p p l e 公司的q u i c k t i m e 是一个非常老牌的媒体技术集成，是数字媒体领 域事实上的工业标准。q u i c k t i m e 包含了各种各样的流式或者非流式的媒体技 术，它是最早的视频工业标准，1 9 9 9 年发布的q u i c k t i m e4 0 版本开始支持真 正的流式播放。由于q u i c k t i m e 本身也存在着平台的便利( m a co s ) ，因此也拥 有不少的用户。q u i c k t i m e 在视频压缩上采用的是s o r e n s o nv i d e o 技术，音频 部分则采用q d e s i g nm u s i c 技术。q u i c k t i m e 最大的特点是其本身所具有的包 容性使得它是一个完整的多媒体平台，因此基于q u i c k t i m e 可以使用多种媒体 技术来共同制作媒体内容。同时，它在交互性方面是三者之中最好的。例如， 在一个q u i c k t i m e 文件中可同时包含m i d i 、动画g i f 、f l a s h 和s m i l 等格式 的文件，配合q u i c k t i m e 的w i r e ds p r i t e s 互动格式，可设计出各种互动界面 和动画。 相比之下，m i c r o s o f t 公司是三家之中起步最晚的，但利用其操作系统的 便利很快便取得了一定的市场份额。w i n d o w sm e d i a 编码方案的目前版本为9 0 ， 视频方面的w i n d o w sm e d i av i d e o9 采用的是m p e g - 4 视频压缩技术，音频方面 采用的是微软自己开发的w i n d o w sm e d i aa u d i o 技术。w i n d o w sm e d i a 的关键 核心是删s 协议( m i c r o s o f tm e d i as e r v e rp r o t o c 0 1 ) 和a s f ( a d v a n c e d s t r e a m i n gf o r m a t ) 数据格式，m m s 用于网络传输控制，a s f 则用于媒体内容和 编码方案的打包。 总的来说，r e a l n e t w o r k s 公司是世界领先的网上流式音视频解决方案的提 供者，提供从制作端到服务端到客户端的所有产品。a p p l e 公司面向专业视频 编缉、w e b 网站创建等领域，广泛应用于m a co sx 。m i c r o s o f t 公司的w i n d o w s m e d i a 技术以其方便性、先进性、集成性、低费用等特点，跻身于流媒体领域， 提供了整套的流媒体制作、发布和播放的产品。m i c r o s o f t 公司的w i n d o w sm e d i a 产品集成于w i n d o w s 产品中，不需要额外购买，还提供了s d k 供二次开发使用， 对于节约资金的用户，使用微软的解决方案是一个不错的选择。另外，m i c r o s o f t 公司提供了w i n d o w sm e d i as d k ，w i n d o w sm e d i as d k 是用于支撑w i n d o w sm e d i a 技术的应用和扩展的软件开发包。开发者可以使用这些s d k 扩展w i n d o w sm e d i a 系列各部分的功能，或者根据具体的应用要求定制不同的系统。w i n d o w sm e d i a 提供了一系列的s d k ，其中w i n d o w sm e d i af o r m a ts d k 对w i n d o w s 媒体格式提 供了支持，通过使用w i n d o w sm e d i a 音视频编解码组件，实现对w i n d o w sm e d i a 媒体内容的生成、读取、编辑三大功能。支持的编程语言为c c + + 。 1 4 课题来源及研究意义 本课题来源于北京工业大学教育教学研究项目一一北京工业大学网上教学 3 北京丁业：学丁学硕i j 学位论文 系统的建设。目前该项目已经嵌入到北京工业大学课堂直播与交互系统中使用， 运行稳定，取得了较好的应用效果。 北京工业大学网上教学系统近几年取得了飞速的发展，为全校师生的网上 教学活动提供了优质的服务，为常规教学起到了重要的辅助作用。结合我校的 实际情况，北京工业大学现代教育技术中心先后开发了视听课堂、精品课程、 教育在线等众多平台。作为教育在线的一个重要分支一一课堂直播与交互系统 提供了实时的音视频交流，在时间和空间上打破了传统的文本模式，但是在该 系统中，能否将教师机屏幕上显示的内容实时、清晰、流畅地传输到学生端直 接影响到该系统的使用效果和推广。通过分析当前市场上类似产品的优缺点， 课题研究与实现了基于流媒体技术的计算机屏幕捕捉与传输系统，是对课堂直 播与交互系统的重大改进与优化。 1 5 文章组织结构 本论文由摘要、正文、结论、参考文献和致谢等几个部分组成，其中论文 的正文由6 个章节进行整体论述。 论文的绪论介绍了课题的研究背景、国内外当前研究现状、流媒体技术发 展现状以及课题的来源与研究意义。 论文的主体部分首先介绍了流媒体技术及系统开发工具，为以后的阐述奠 定了基础；然后对系统的整体架构、各个功能模块的实现技术、系统运行过程 中各个性能参数的设置作了详细说明；最后，通过系统在不同参数设置和机器 配置条件下运行的相关数据，进一步说明了系统的运行情况。 4 第2 章流媒体技术简介 第2 章流媒体技术简介 2 1 流媒体的基本概念 网络音视频的传输方式主要有两种：下载传输和流式传输。所谓下载，就 是将全部音视频文件通过服务器传输到客户机，并保存到客户机硬盘的过程。 只有当下载的文件完全传送到客户机后才能开始播放。由于音视频文件一般都 比较大，因此需要的存储容量也较大；同时，由于网络带宽的限制，下载常常 要花数分钟甚至数小时，故这种传输方式的延迟也很大。流式传输方式就是将 音视频等多媒体文件经过特殊的压缩方式分解成一个个压缩包，再经服务器向 用户计算机连续地、实时地传送信息的一种传输技术。在流式传输系统中，用 户不必像非流式传输那样等到整个文件全部下载完毕后才能播放其中的内容， 而只需要经过几秒或几十秒的启动延时，即可在用户的计算机上利用相应的播 放器( 或其它的硬件、软件) 对压缩的音视频等流式多媒体文件进行解压然后播 放，多媒体文件上的剩余部分将通过后台的服务器继续下载。 流媒体其实是一种多媒体文件，其在网络上传输的过程中应用了流技术。 流媒体系统大致有以下几个组件：转档转码工具( e n c o d e r ) ，用于压缩转档； 服务器( s e r v e r ) ，管理并传送大量多媒体文件；脚本编码器( s c r i p t e r ) ，可 整合多媒体，并以互动方式呈现；播放器( p l a y e r ) ，在用户端呈现流的内容。 2 2 流媒体的传输方式 流媒体实现的关键技术就是流式传输，而流式传输有两种传输方法：顺序 流式传输( p r o g r e s s i v es t r e a m i n g ) 和实时流式传输( r e a lt i m es t r e a m i n g ) 呻1 。一般来说，如果音视频为实时广播，或使用流式传输媒体服务器，或应用 实时流协议，即为实时流式传输。如果使用h t t p 服务器传输文件，即通过顺序 流发送。采用哪种传输方法依赖实际的需求，当然，流式文件也支持在播放前 完全下载到硬盘。 2 2 1 顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给 定时刻，用户只能观看己下载的那部分，而不能跳到还未下载的部分，顺序流 北京t 业人学t 学】f i , ) i 学位论义 式传输和实时流式传输不同，在传输期间不会根据用户的连接速度做调整。由 于标准的h t t p 服务器可发送这种形式的文件，并不需要其它特殊协议，因此它 经常被称作h t t p 流式传输。顺序流式传输比较适合高质量的短片段，如片头、 片尾和广告，由于该文件在播放前的部分是无损下载的，这种方法保证了电影 播放的最终质量。这意味着用户在观看前，必须经历延迟，对较慢的连接尤其 如此。顺序流式文件放在标准的h t t p 或f t p 服务器上，易于管理。顺序流式传 输不适合长片段和有随机访问要求的视频，如讲座、演说等。同时，它也不支 持现场广播。 2 2 2 实时流式传输 实时流式传输主要用于实时直播的情况，北工大课堂直播与交互系统就采 用了这种传输方式。实时流式传输保证媒体信号带宽与网络连接带宽相匹配， 使媒体可被实时观看到。实时流与h t t p 流传输方式不同，它需要专用的流媒 体服务器与传输协议。理论上，实时流一经播放就可以不停止，但实际上，如 果带宽不够则可能发生暂停。实时流式传输必须匹配连接带宽，如果以调制解 调器速度连接时图像质量将会比较差。而且，由于出错丢失的信息被忽略掉， 网络拥挤或出现问题时，视频质量很差。实时流式传输一般需要特定流媒体服 务器支持，如w i n d o w sm e d i as e r v e r 、r e a ls e r v e r 等。这些服务器可以用 来对媒体发送进行更多级别的控制，因而系统设置、管理比标准h t t p 服务器更 复杂。实时流式传输还需要特殊的网络协议，如：实时传输协议r t p ( r e a lti m e t r a n s p o r tp r o t o c 0 1 ) 与实时传输控制协议r t c p ( r e a lti m et r a n s p o r tc o n t r o l p r o t o c 0 1 ) 、实时流协议r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) ，还有微软专 用的m m s 协议。课堂直播与交互就用到了m m s 、r t p r t c p 协议。r t p 是针对网 络上传输多媒体数据流的传输协议，适用于在一对一或一对多的传输情况下工 作，可以提供时间信息并实现流同步；实时传输控制协议r t c p 和r t p 配合工作， 提供流量控制和拥塞控制服务。 2 3 流媒体的传输协议 常见的流媒体协议有r t p 、r t c p 、r t s p h 吲和m m s 协议，分别介绍如下。 r t p ( r e a lt i m et r a n s p o r tp r o t o c 0 1 ) 是用于i n t e r n e t 上针对多媒体数 据流的一种传输协议。r t p 被定义为在一对一或一对多的传输情况下工作，其 目的是提供时间信息和实现流同步。r t p 通常使用u d p 来传送数据，但r t p 也 可以在t c p 或a t m 等其它协议之上工作。当应用程序开始一个r t p 会话时将使 用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包 6 第2 荦流嫘 术技术砑介 提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服 务。通常r t p 算法并不作为一个独立的网络层来实现，而是作为应用程序代码 的一部分。 r t c p ( r e a lt i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 和r t p 一起提供流量控制 和拥塞控制服务。在r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包 中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务 器可以根据这些信息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适 合传送网上的实时数据。 r t s p ( r e a lt i m es t r e a m in gp r o t o c 0 1 ) 是由r e a l n e t w o r k s 和n e t s c a p e 共 同提出的，是一种实时流协议。该协议定义了一对多应用程序如何有效地通过 i p 网络传送多媒体数据。r t s p 在体系结构上位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传输。与h t t p 相比，h t t p 传送h t m l ，而r t s p 传送的是多媒体 数据，h t t p 请求由客户机发出，服务器做出响应。使用r t s p 时，客户机和服 务器都可以发出请求，即r t s p 可以是双向的。 m m s 协议，m m s 的全称是“m i c r o s o f tm e d i as e r v e r ”( 微软媒体服务器) ， 这种协议由微软制定，用来访问并且用于流式接收w i n d o w sm e d i a 服务器中的 流文件，也是连接w i n d o w sm e d i a 单播服务的默认方法。详见3 1 2 节中关于 w i n d o w sm e d i a 服务协议的具体描述。 2 4 流式传输的基本原理 流式传输的实现需要缓存。因为i n t e r n e t 以包传输为基础进行断续的异步 传输，对一个实时音视频源或存储的音视频文件，在传输中它们要被分解为许 多包，由于网络是动态变化的，各个包选择的路由可能不尽相同，故到达客户 端的时i 叫延迟也就不等，甚至先发的数据包还有可能后到n 引。为此，使用缓存 系统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能 连续输出，而不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量 并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃己经播放的内 容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太 适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制 信息，而用r t p u d p 来传输实时数据。 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w e b 浏览器 与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传输的实时数据从 7 北京t 业人学t 学坝i 学位论义 原始信息中检索出来；然后客户机上的w e b 浏览器启动音视频h e l p e r 程序，使 用h t t p 从w e b 服务器检索相关参数对h e l p e r 程序初始化。这些参数可能包括 目录信息、音视频数据的编码类型或与音视频检索相关的服务器地址。音视频 h e l p e r 程序及音视频服务器运行实时流控制协议( r t s p ) ，以交换音视频传输 所需的控制信息。与c d 播放机或v c r s 所提供的功能相似，r t s p 提供了操纵播 放、快进、快倒、暂停及录制等命令的方法。音视频服务器使用r t p u d p 协议 将音视频数据传输给音视频客户程序( 一般可认为客户程序等同于h e l p e r 程 序) ，一旦音视频数据抵达客户端，音视频客户程序即可播放输出1 。 需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通信 协议与音视频服务器建立联系，是为了能够把服务器的输出重定向到一个不同 于运行音视频h e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专 用服务器和播放器，其基本原理如图2 1 所示。 w e b 铷览嚣 冤 文 件 膏视频播放器 硝下芎聊t c p 控制信息 r t s p r c e ( ud p ) 数据信息r t p u d p w e b 服务器 定 位 裔视频服务器 图2 - 1 流媒体传输基本原理 f i g u r e2 - 1t h ef u n d a m e n t a lp r i n c i p l e so fs t r e a m i n gm e d i at r a n s m i s s i o n 2 。5 流媒体文件格式 流媒体文件格式是支持采用流式传输及播放的媒体格式。 2 5 1 压缩媒体文件格式 由于视频、音频媒体经数据化后，数据量很大，形成的媒体文件要占用