（通信与信息系统专业论文）基于流媒体技术的远程教学系统研究与实现.pdf

华中科技大学硕士学位论文 摘要 随着人类的进步，社会的发展，知识经济时代的到来，人们越来越深刻地认识到 只有通过不断地学习新的知识技能才能跟上时代的步伐。旧的知识传播途径已经不能 满足更多人的需求，而远程教育突破了传统教学在时间和空间上的限制，增加学习机 会，降低学习成本，学生可以按照自己的需要进行学习，从而提高教学质量。远程教 育已经成为学校教育的补充和扩展。 本文从远程教学的实际应用着手，聚焦于改进教学系统中的视音频直播方面，结 合流媒体的开发平台_ d i r e c t s h o w ，实现纯软件的远程教学系统。文章首先分析网络 多媒体应用中常用的流媒体技术，对流媒体的技术原理和播放方式进行了深入探讨， 研究了视音频数据的同步问题。其次分析了m p e g - 4 系统和视音频编码方式与编解码 器结构，因为系统涉及到网络上的传输，因而也对适合网络传输的视频编码做了综述。 理论研究部分最后讨论的是视频传输的控制技术，文章指出t c p f l p 支持多媒体传输的 不足之后深入分析r t p r t c p 的特点、内容，认为该协议非常适合视频信息的网上传 输。而后给出视频传输框架，对传输的m p e g 4 视频流做了结构上的分析。 文章研究的另外一个方面是系统的设计和实现部分。首先介绍设计实现系统的技 术基础d i r e c t s h o w 以及涉及到的c o m 技术，研究d i r e c t s h o w 体系结构、基本原理和 基本构件，并对开发的关键部分f i l t e r 开发做了分析。然后按照视音频采集、编码、传 输、回放这一顺序，依次进行逻辑上的设计和代码上的实现。本文使用d i r e c t s h o w 技 术，以纯软件方式实现的远程教学系统，降低了远程教育成本，增加了配置灵活性、 兼容性以及扩展性。另外，视频传输的理论部分研究，对于视频直播系统在其他行业 中的应用也有一定参考价值。 关键宇：流媒体远程教学m p e g 4r t pd i r e c t s h o w 华中科技大学硕士学位论文 a b s t r a c t i nt h i sa g eo fk n o w l e d g ee c o n o m y , p e o p l ea r ei n c r e a s i n g l yf e e l i n gi tam u s tt o c o n s t a n t l yr e p l e n i s ht h e mw i t he v e r - c h a n g i n gk n o w l e d g ea n ds k i l l st ok e e pp a c ew i t ht h e p r o g r e s so fh u m a ns o c i e t y t h et r a d i t i o n a lw a y o fk n o w l e d g e d e l i v e r yi sf a rf r o ma d e q u a t e l o n g d i s t a n c ee d u c a t i o nh a sr i s e nt ot h eo c c a s i o na n db e c o m ea ni n t e g r a ls u p p l e m e n ta n d e x p a n s i o no fc a m p u se d u c a t i o n ，b r e a k i n gt h r o u g ht h et i m ea n ds p a t i a l r e s t r a i n t sa n d e x p o s i n gl e a r n e r st om o r el c a m i n go p p o r t u n i t i e sa n dp o s s i b i l i t i e so fc u s t o m i z i n gt h e i rs t u d y a tl o w e rc o s t w i t hr e f e r e n c et ot h ep r a c t i c a la p p l i c a t i o no fr e m o t ei n s t r u c t i o n s ，t h i sp a p e ra i m st o i m p r o v et h el i v ev i d e oa n da u d i ob r o a d c a s tt e c h n o l o g ya n dw o r ko u ta s o f t w a r e - c o n t r o l l e d r e m o t ei n s t r u c t i o ns y s t e mb a s e do l las t r e a m i n gm e d i ad e v e l o p m e n tp l a t f o r m ：d i r e c t s h o w f i r s t l y , t h ef r e q u e n t l yu s e ds t r e a m i n gm e d i at e c h n o l o g yi nn e t w o r km u l t i m e d i aa p p l i c a t i o n s i sd i s c u s s e d , w i t hd e e pe x p l o r a t i o no ft h et e c h n o l o g i c a lb a s i sa n db r o a d c a s t i n gm e t h o d sa n d t h ev i d e o & a u d i od a t as y n c h r o n i z i n g s e c o n d l y , i na d d i t i o nt oag e n e r a li n t r o d u c t i o nt o m p e g 一4s y s t e m ，v i d e oe n c o d i n gm e t h o d sa n dd e c o d i n gs t r u c t u r e s ，t h ev i d e oe n c o d i n g s p e c i f i c a l l yt on e t w o r kd e l i v e r yi sa n a l y z e d t h el a s tp a r to ft h e o r e t i c a ls t u d y f o c u s e so nt h e c o n t r o lt e c h n o l o g yo fv i d e ot r a n s m i s s i o na n dr t p r t c p , i nc o n t r a s tt ot h ei n a d e q u a c yo f 1 c p 艘f o rm u l t i m e d i at r a n s m i s s i o n ，i sc o n s i d e r e da sab e t t e rc h o i c e f o rv i d e od a t a t r a n s m i s s i o no v e rn e t w o r kw i t hp r o v e nf e a t u r e sa n a l y s i s 。t h ev i d e ot r a n s m i s s i o nf r a m e w o r k f o l l o w e do f f e r sag l i m p s et oas t r u c t u r a la n a l y s i so ft h et r a n s m i t t e dm p e g 一4v i d e o s t r e a m i n g t h es e c o n dp a r to ft h i sp a p e rd i s c u s s e st h es y s t e md e s i g na n da c t u a l i z a t i o n t h e u n d e r l y i n gt e c h n o l o g i e sd i r c a s h o wa n dc o m a r ei n t r o d u c e dw i t hd e t a i l e dp r e s e n t a t i o no f t h ed i r e c t s h o ws t r u c t u r e ，b a s i cp r i n c i p l e sa n dc o m p o n e n t s t h ec r i t i c a lp a r ti nt h es y s t e m d e v e l o p m e n t ，f i l t e r , i sa n a l y z e d t h e n t h el o g i c d e s i g na n dc o d e sc o m p i l a t i o n f o r 华中科技大学硕士学位论文 v i d e o a u d i od a t ac o l l e c t i o n ，e n c o d i n g ，t r a n s m i s s i o na n dp l a y b a c ka r ed i s c u s s e di nt u r n t h i s d i r e c t s h o w - b a s e ds o f t w a r e c o n t r o l l e dr e m o t ei n s t r u c t i o ns y s t e mi sac o s t - e f f e c t i v ew a yf o r l o n gd i s t a n c ee d u c a t i o nw i t hm o l ec o n f i g u r a t i o no p t i o n sa n dc o m p a t i b i l i t ya n ds c a l a b i l i t y b e s i d e s ，t h et h e o r e t i c a ls t u d yo fv i d e ot r a n s m i s s i o no f f e r su s e f u li n p u t sf o rt h ea p p l i c a t i o no f v i d e ol i v eb r o a d c a s ts y s t e mt oo t h e rf i e l d s k e y w o r d s ：s t r e a m i n gm e d i a d i s t a n c ee d u c a t i o nm p e g 一4r t p d i r e c t s h o w 独创性声明 y 1 0 1 g 2 7 4 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已 经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名勘疗 日期；如年o 月玎i t 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采 用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密口，在年解密后适用本授权书。 不保密匹扎 ( 请在以上方框内打。4 ”) 学位论文作者签名：如在 日期：0 即5 年f o 月巧一，日 指导教师签名。q 罚 日期：伽6 年i o 月z r 日 华中科技大学硕士学位论文 1 1 引言 l 绪论 随着人类的进步，社会的发展，知识经济时代的到来，人们越来越深刻地认识到 只有通过不断地学习新的知识技能才能跟上时代的步伐。旧的知识传播途径已经不能 满足更多人的需求，而远程教育突破了传统教学在时间和空间上的限制，增加学习机 会，降低学习成本，学生可以按照自己的需要进行学习，从而提高教学质量。远程教 育已经成为学校教育的补充和扩展，国家教育部在全国6 7 所高校设立了网络教育学院， 为教育事业服务f 1 1 。 远程教学系统是能够继承传统教学模式的优点，再现课堂真实场景基础上的有着 更多优点的系统，其功能中最重要的部分是教学授课功能部分。目前，可以通过现代 通信网络传输教师的图像、声音和电子教案给学生，同时回送学生的声音和图像给教 师，来完成授课和师生之间的交互功能。 对远程教学系统而言，最关键的是对视频信号的实时编解码和实时传输，其次要 关注的问题是对传输的控制以及接收端的视音频同步等。目前的解决方案可以从硬件 和软件两个方面考虑【习，虽然硬件方案是较多采用的一种方案，但是纯硬件的产品投资 比较大，性价比不高，容易出现故障且不易维护，硬件系统的升级换代也不容易。因 而，纯软件的实现方案代表着远程教学系统的发展方向。 在系统的设计与现实中，不可回避的问题是需要传输的视音频信息体积庞大，除 了采用视音频的压缩这种方式之外，必须采用先进的网络播放技术来实现边发送边播 放，不久前发展起来的流媒体技术为网上实现视音频的开发、传输提供了强大的支持。 本文的主要工作就是研究流媒体及其相关技术，并在此基础上开发纯软件的远程教学 系统。 1 2 目前研究现状 目前的纯软件远程教学系统方案多使用的是多媒体视频会议的软件，代表性的有： 华中科技大学硕士学位论文 n e t s c a p ec o n f e r e n c e 、m i c r o s o f tn e t m e e t i n g 等。其中，n e t m e e t i n g 在功能实现上更为全 面。 n e t m e e t i n g 实现在两个口之间建立视音频数字会议，双方或者多方可以交换文件， 使用白版交流，视音频交互以及共享桌面等。n e t m e e t i n g 支持i t u 的h 3 2 3 标准和t 1 2 0 标准，以及i e t f 的l d a _ p 目录服务标准。由于n e t m e e t i n g 是基于c o m 组件技术实现 的，提供的大量编程接1 2 使得n e t m e e t i n g 的二次开发变得非常容易，n e t m e e t i n g 把所 有的底层技术都封装在c o m 组件里，只要通过访问接口就可以实现全部功能。 n e t m e e t i n g 的网络构成如图1 1 所示。 图1 1 n e t m e e t i n g 网络构成 但是，在实际的运用中，n e t m e e t i n g 有很多不足之处：n e t m e e t i n g 使用的视音频 2 华中科技大学硕士学位论文 标准主要针对低码率编码，所以视音频的质量不高；n e t m e e t i n g 只能实现点对点的通 讯模式，参与教学的个体如果是多个，则只有两个点能进行视音频的交互 3 】：n e t m e e t i n g 在视音频捕获时采用的是v f w ( v i d e o f o r w i n d o w ) j 塞种己经被淘汰的技术，不能适应最 新的发展需要。另外，n e t m e e t i n g 不支持异步教学所需要的视频点播功能。正因为存 在这些不足，需要设计开发新的远程教学系统来解决这些问题。 另一方面，为了使网络视频传输更加流畅，近年来，流媒体( s t r e a m i n gm e d i a ) 技术得到了广泛的关注。流媒体技术是一种可以使视频、音频和其它多媒体在i n t e m e t 及i n t r a n e t 上以实时的、无需下载等待的方式进行播放的技术。流媒体技术发端于美 国，国际上主要厂商有m i c r o s o f t 、r e a l n e t w o r k s 和a p p l e 公司，相应的产品是w i n d o w s m e d i a 、r e a ls y s t e m 和q u i c k t i m e l 4 1 t s l 。 r e a ln e t w o r k s 公司所制定的r e a ls y s t e m 由媒体内容制作工具、服务器端和客户端 软件组成，所采用的自适应流技术可以自动并持续地调整数据流量以适应实际应用中 各种不同带宽需求。r e a ln e t w o r k s 的视音频压缩规范称为r e a lm e d i a ，是目前在i n t e r n e t 上相当流行的跨平台客户服务器结构的多媒体应用标准，它采用音频视频流和同步回 放技术来实现在i n t r a n e t 上全带宽地提供最优质的多媒体，同时也能够在i n t e m e t 上以 2 8 8 k b p s 的传输速率提供立体声和连续视频。r e a lm e d i a 包括三类文件：r e a la u d i o 、 r e a lv i d e o 及r e a lf l a s h 。 a p p l e 计算机公司的q u i c k t i m e 是数字媒体领域事实上的工业标准，可以通过 i n t e m e t 提供实时的数字化信息流、工作流与文件回放功能，它由三个不同部分所组成： o u i c k t i m e 电影( m o v i e ) 文件格式、q u i c k t i m e 媒体抽象层以及q u i c k t i m e 内置媒体 服务系统。 m i c r o s o f t 公司也推出一整套包括流媒体制作，发布和播放的信息流式播放方案 m i c r o s o f tm e d i at e c h n o l o g y 。m e d i at o o l s 提供了一系列的工具，帮助用户生成a s f ( a d v a n c e ds t e a m i n gf o r m a t ) 格式的多媒体流。a s f 是一个独立于编码方式的、在 i n t e m e t 实时传播多媒体的技术标准，m i c r o s o f t 公司希望用a s f 取代q u i c k t i m e 之类 的技术标准以及w a v 、a v i 之类的文件扩展名，并打算将a s f 用作将来的w i n d o w s 版本中所有多媒体内容的标准文件格式。 华中科技大学硕士学位论文 另外，k e y n o t es y s t e m s 和i b m 等公司也分别利用各自的优势向流媒体领域扩张。 据统计，目前i n t e m e t 上每周约有4 8 0 0 小时的广播节目，近半数的跨国企业公司在内 都使用流媒体实现w e b 广播。从英国n t lb r o a d c a s t 公司对流媒体发展潜力进行的调 查发现，8 0 以上的广播机构和节目提供者对流媒体的未来充满信心。大多数认为采 用流媒体是一种获得新的观众和听众的途径。 在网上开展远程教学活动，需要解决的一个主要问题是视频数据的传输。由于视 频数据的大量信息和有限的传输带宽，使得视频的压缩编码、传输信道和网络协议的 选择成为视频传输应用中的关键技术。流媒体技术为网上实现视频、音频的开发和传 输提供了有利的支持，已逐渐成为互联网中视频、音频传输的核心技术。在国内市场 上，对于i e g s 推荐r t p r t c p 协议和m p e g 4 基础上的视频编码的研究和应用比较少， 国内的媒体播放通常采用微软的多媒体编程接口，这也是需要改进的地方。 1 3 论文研究的意义和所做的工作 本文从远程教学的实际应用着手，聚焦于改进教学系统中的视音频直播方面，结 合流媒体的开发平台_ d i r c c t s h o w ，实现纯软件的远程教学系统。文章首先分析网络 多媒体应用中常用的流媒体技术，对流媒体的技术原理和播放方式进行了深入探讨， 研究了视音频数据的同步问题。其次分析了m p e g 4 系统和视频编码方式与编解码器 结构，因为系统涉及到网络上的传输，因而也对适合网络传输的视频编码做了综述。 理论研究部分最后讨论的是视频传输的控制技术，文章指出t c p i p 支持多媒体传输的 不足之后深入分析r t p r t c p 的特点、内容，认为该协议非常适合视频信息的网上传 输。而后给出视频传输框架，对传输的m p e g 4 视频流做了结构上的分析。 文章研究的另外一个方面是系统的设计和实现部分。首先介绍设计实现系统的技 术基础d i r e c t s h o w 以及涉及到的c o m 技术，研究d i r e e t s h o w 体系结构、基本原理和 基本构件，并利用该平台对开发的关键部分f i l t e r 开发做了分析。然后按照视音频采集、 编码、传输、回放这一顺序，依次进行逻辑上的设计和代码上的实现。本文使用 d i r e c t s h o w 技术，以纯软件方式实现的远程教学系统，降低了远程教育成本，增加了 配置灵活性、兼容性以及扩展性。另外，视频传输的理论部分研究，对于视频直播系 4 华中科技大学硕士学位论文 统在其他行业中的应用也有一定参考价值。 1 4 论文的结构 论文的结构安排如下： 第一章绪论，简述论文的研究对象、研究目的和所完成的工作等基本情况。 第二章流媒体及其同步技术，介绍流媒体的基本概念，研究流媒体的技术原理和 播放方式，分析影响流媒体同步的因素并给出同步的参考模型控制方法。 第三章m p e g - 4 与编码技术，概述m p e g 系列压缩标准之后介绍m p e g 4 系统， 分析视频的数据结构、编码以及编解码器结构，研究了音频编码方式，对应用于传输 的视频编码做了分析比较。 第四章视频传输控制技术，分析t c p i p 在支持多媒体方面的不足，介绍 r t p r t c p 协议以及基于r t p 的视频流传输框架，而后分析视频数据打包和组帧算法 使之更适合网络传输。 第五章远程教学系统实现，介绍d i r e c t s h o w 技术构架和过滤器的开发技术，论述 系统的设计思想和实现方法。 第六章结论和将来的工作，总结本文所做工作，计划将来的研究方向。 华中科技大学硕士学位论文 2 流媒体及其同步技术 2 1 流媒体的概念 目前，主要有下载和流式传输两种方式在网络上传输视音频等多媒体信息。采取 下载方式时，视音频文件一般较大，加上网络带宽的限制，下载需要花费很多的时间， 这种处理方式的延迟很大。采用流式传输时，视音频等媒体由视音频服务器向用户计 算机连续、实时地传送，用户端只需要经过很短时间地启动延迟即可进行观看。 流媒体是应用流技术在网络上传输的连续时基媒体。比如音频、视频或多媒体文 件。流技术就是把连续的视音频等多媒体信息经过压缩处理后放在服务器上，让用户 一边下载一边观看、收听，而不需要等到整个压缩文件下载到自己机器后才可以观看 的网络传输技术。 实现流式传输有两种方法：顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 和实时流式传 输( r e a l t i m es t r e a m i n g ) 。顺序流式传输是顺序下载，在下载文件的同时用户可观看在 线媒体，在给定时刻，用户只能观看已下载的部分，而不能跳到还未下载的部分。比 如使用m 1 甲服务器，文件就是通过顺序流传输方法发送的。实时流式传输指保证媒 体信号带宽与网络连接相匹配，使媒体可被实时观看的传输方式。实时流与h ，r r p 流 式传输不同，它需要专用的流媒体服务器与传输协议。比如使用流式传输媒体服务器 或使用实时协议的应用，运用的就是实时流式传输。 2 2 流媒体的技术原理 i n t e m e t 是以包传输为基础进行断续的异步传输，在传输中一个实时视音频源要被 分解为许多包，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等， 甚至先发的数据包有可能后到。为此，流式传输的实现需要缓存系统来弥补延迟和抖 动的影响，并保证数据包的顺序正确，从而使多媒体数据能连续输出，而不会因为网 络暂时拥塞使播放出现停顿。通常的高速缓存所需容量并不大，高速缓存使用环形链 表结构来存储数据，通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间 6 华中科技大学硕士学位论文 来缓存后续尚未播放的内容，如图2 1 所示 量出 图2 1 流缓冲示意图 流式传输的实现需要合适的传输协议。在流式传输中，一般采用h t i v t c p 来传 输控制信息，而用r t p r j d p 来传输实时多媒体数据。以一个基于w e b 的应用为例， 当用户选择某一流媒体服务后，w e b 浏览器与w e b 服务器之间使用h t y p t c p 交换控 制信息，以便把需要传输的实时数据从原始信息中检索出来，然后客户机上的w e b 浏 览器启动a vh e l p e r 程序，使用h 1 t r p 从w e b 服务器检索相关参数对h e l p e r 程序初始 化，a vh e l p e r 程序及a v 服务器运行实时流控制协议，以交换a v 传输所需的控制 信息。a v 服务器使用r t p u d p 协议将a v 数据传输给a v 客户程序，一旦a v 数 据抵达客户端，a n 客户程序即可播放输出。流媒体传输的基本原理如图2 2 所示。 a m 数据r t p u d p 图2 2 流式传输基本原理 与传统的下载一回放方式相比，这种对多媒体文件边下载边播放的流媒体传输方式 具有以下突出的特点1 6 l ： 启动延时大幅度地缩短，用户不用等待所有内容下载到本地才开始浏览，而是采 取一边下载一边播放的策略，因此缩短了等待时间；虽然流媒体传输仍需要缓存，但 由于不需要把所有内容全都下载到缓存中，因此对缓存的要求大大降低；需要传输的 7 多 淼入丈 流的 华中科技大学硕士学位论文 多媒体数据量非常庞大，而且在传输过程中经常会发生突发性；多媒体文件中不同数 据部分在重要性上分布不均匀；视频流数据在网上传输不仅对丢包和比特错误敏感， 对传输延迟和实时性也同样敏感；以特定的实时传输协议传输。另外，表2 - l 列出的 是部分媒体可接受差错率和服务质量，其中b e r ( b i te r r o rr a t e ) 表示可接受的差错率， p e r ( p a c k e te r r o rr a t e ) 表示可接收的分组差错率，表中的内容和数据说明流媒体传 输在一定程度上允许错误，甚至以局部错误换取整体效率和质量。 表2 - 1 部分媒体的可接受差错率及服务质量 信息类型对网络要求 b e rp e r 语音实时性；延时、抖动敏感；误码相对不敏感 l f f l 1 0 。1 图象实时要求不高，但要求高的带宽 1 0 。 1 0 。9 视频高的带宽、并对实时性要求严格，允许有误码 1 0 2 1 0 3 2 3 流媒体的播放方式 2 3 i 流媒体的三种播放方式 流媒体有单播、广播和组播这三种播放方式。在客户端与媒体服务器之间需要建 立一个单独的数据通道，从一台服务器送出的每个数据包只能传输给一个客户机，这 种传输方式称为单播。这种方式下，每个用户必须分别对媒体服务器发送单独的查询， 而媒体服务器必须向每个用户发送所申请的数据包拷贝。广播这种播放方式中，服务 器端向所有客户端发送数据流，客户端只是被动接收流，不能使用暂停、快进或后退 等方式控制流。采用组播方式，组播路由器一次将数据包复制到多个通道上，单台服 务器能够用几十万台客户机同时发送连续数据流而无延时。需要注意的是媒体服务器 只需要发送一个信息包，而不是多个；所有发出请求的客户端共享统一信息包。这样 一来，信息可以发送到任意地址的客户机，减少网络上传输的信息包总量。 单播方式会造成服务器沉重的负担，响应需要很长时阃，甚至停止播放，而使用 广播方式发送，数据包的单独一个拷贝将发送给网络上的所有用户，而不管用户是否 需要。单播和广播这两种传输方式会非常浪费网络带宽。组播结合上述两种发送方式 的长处，克服上述两种发送方式的弱点，将数据包的单独一个拷贝发送给需要的那些 8 华中科技大学硕士学位论文 客户，组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不需要 它的那些客户，即在一个网络内的工作站中，只有符合其条件的成员才能获得组播资 源，这样就保证了网络上多媒体应用占用网络的最小带宽同。 2 3 2 组播 组播通信具有两个层面的重要特征：控制层面( c o n t r o lp l a n e ) 和数据层面( d a t a p l a n e ) 前者定义了组成员的组织方式；后者定义了在不同成员之间数据如何传输。它们 都具“有根的”( r o o t e d ) 和“无根的”( n or o o t e d ) 特征。 图2 3 有根控制层面 在一个有根的控制层面中。如图2 3 所示，存在着一个特殊的组播成员根节点 ( e _ r o o t ) ，剩余的每个组成员都叫做叶节点( c _ i e a o l 负责组播组的建立，其间涉及到建 立同任意数量的c _ l e a f 的连接，c - l e a f 也对在以后的某个时间申请加入一个特定的组播 组。对任意一个组播组来说，根节点是唯一的。 图2 4 无根控制层面 9 华中科技大学硕士学位论文 对于“无根的”控制层面来说，如同2 4 所示，允许任何成员加入一个组。所在组 成员都是c _ l e a f 节点，每个成员都有资格加入一个组播组。口组播是无根控制层面的 一个典型例子。 数据层面也存在“有根的”和“无根的”两种形式。对一个大根数据层面而言， 它有一个参与者根节点( d _ r o o t ) ，数据传输只能在d l o o t 和组播会话的其他所有成员 叶节点( d 一1 e a r ) 之间进行，这种传输可以是单向，也可以是双向进行。但是来自一个 dl e a f 的数据只会被d w o t 接受到，而来自d _ r o o t 发出的数据会传送到每个d _ l e a f 。 而在一个无根节点的数据层面上，所有组成员都能将数据发送给组播的其他成员，至 于谁能接收数据或发送数据，则不存在任何限制。 m 组播采用主机组模式，它用一个特殊的i p 地址来标识一组目标主机。i p v 4 版 本中，组播地址是一个3 2 位的d 类地址，在i p v 6 版本中，组播地址是一个前缀为f f h 的1 2 8 位地址。r f c l l l 2 推荐了一些支持组播的应用程序接口，在具体应用中，可以 限制组播范围，加入组播，退出组播。这里不再论述。 2 4 流媒体同步技术 流媒体传输的数据主要为视频和音频，各媒体对象在时间和空间上彼此关联，互 相约束。在连续视频流或音频流中，少见数据帧的丢失或不能及时处理，并不会导致 服务质量的下降，但是，对同步技术要求却很强，否则会造成一幅画面中一个人说话 和动作的不协调，或者声音与画面存在相对时延等。因此，研究流媒体同步技术有很 重要的意义。 2 4 1 流媒体同步的四层参考模型 多媒体数据内部有三种约束关系，即基于内容的约束关系，空域约束关系和时域 约束关系。基于内容的约束关系指的是使用不同的媒体对象代表同一内容的不同表现 形式时，内容与形式之间所具有的约束关系。为了支持这种约束关系，在多媒体数据 的更新过程中要确保不同的媒体对象所包含的信息具有一致性。空域约束关系用来定 义在多媒体数据显示过程中某一时刻不同媒体对象在输出设备上的空间位置关系。时 域约束关系反映媒体对象在时间上的相对依赖关系，主要有连续媒体对象中各个数据 华中科技大学硕士学位论文 单元之间的相对时间关系和各个媒体对象之间的相对时间关系，即流内同步和流间同 步。三种约束关系中，最重要的是时域约束关系。 为了解决流媒体同步问题，用2 5 所示的四层参考模型提出了思路，即通过层次化 分析以理解各相关因素，从而找出满足需求的解决方法。其中，流媒体应用生成的场 景是规范层的处理对象，规范层的核心是时域定义方案，其接口为用户提供使用时间 模型描述流媒体数据时域约束关系的工具。规范层产生的同步描述数据和同步容限， 经对象层适当转换后进入由对象层、流层和媒体层构成的同步机制。为实现同步所做 的规划称为调度，同步机制首先依照同步描述数据生成某种调度方案，调度方案与将 要进行的对流媒体数据的处理有直接的关系；其次，同步机制需要根据同步容限及流 媒体数据的特点申请必要的资源；执行调度方案过程中，同步机制按照同步容限要求 完成对偏差的控制，使流媒体数据的时域关系得以维持。 高 抽 象 层 底 图2 5 流媒体同步的四层参考模型 媒体层的处理对象是来自连续码流的逻辑单元，在媒体层接口，该层负责向上提 供与设备无关的操作。媒体层主要完成两项任务，一是申请必要的资源和系统服务， 为该层各项功能的实施提供支持；二是访问各类设备的接口函数，获取或提交一个完 整的逻辑数据单元。实际上，媒体层是同步机制与底层服务系统之间的接口，其内部 不包含任何的同步控制操作。 流层的处理对象是连续流或码流组，其内部主要完成流内同步和流间同步。在接 口处，流层向用户提供开始、停止等功能函数，这些函数将连续码流作为一个整体看 待，即对该层用户来说，流层利用媒体层的接口功能对逻辑数据单元所作的各种处理 1 1 华中科技大学硕士学位论文 是透明的。流层对码流或码流组进行处理前，先要根据同步容限决定逻辑数据单元的 大小以及对各逻辑数据单元的处理方案。此外，流层还要向媒体层提交必要的服务质 量要求。 对象层能对不同类型的媒体对象进行统一处理，使用户不必考虑连续媒体对象和 非连续媒体对象的差异。该层处理流媒体对象前先要完成两项工作：第一，从规范层 提供的同步描述数据出发，推导出必要的调度方案；第二， 进行必要的初始化工作， 完成这两项工作后，对象层开始执行调度方案，通过使用流层的接口函数，对象层执 行调度方案中有关连续媒体对象的部分，对象层的接1 ：3 提供准备、执行等功能函数， 这些函数通常以一个完整的流媒体对象为参数。 2 4 2 影响流媒体同步的因素 在应用系统中，信源产生的流媒体数据需经过传输才能到达信宿，传输过程中有 很多因素影响流媒体数据的时域约束关系，导致不能正常播放。下面是一些可能的影 响因素： 1 ) 延时抖动：系统的很多部分都可能产生延时抖动。例如从数据库中提取流媒体 数据时，由于存储位置不同导致寻道时间的差异，各数据块经历的提取延时不同，在 网络传输中同样存在许多因素使传输延时出现抖动。 2 ) 时钟偏差：流媒体数据的播放是由信宿端的本地时钟驱动的。若信宿时钟频率 高于信源本地时钟频率，经过一段时间后在收端可能产生数据不足现象，导致连续媒 体播放的不连续性。反之，可能造成收端缓存溢出，引起数据丢失，长时间的收发时 钟漂移将破坏时钟。 3 ) 不同的采集播放起始时间：多个信源情况下，信源必须同时开始采集、传输信 息，反之，即可带来不同步现象。在播放端也有此情况，要求用户的播放起始时间相 同。 4 ) 数据丢失：传输过程中数据的丢失相当于该数据单元没按时到达播放器，从而 会破坏同步。 5 ) 网络传输条件变化：网络的平均延时、数据的丢失率与网络负载有关，因而通 信起始已同步的数据流可能因为网络条件的变化而失去同步。 华中科技大学硕士学位论文 2 4 3 流问同步控制 实现一个流间同步最简单的方法是将不同媒体流中相互关联的媒体单元整合在一 起发送，也就是将多个相互同步的相关的媒体流混和成一个媒体流。但是，由于多个 媒体具有各自不同的业务需求，混和在一个媒体流中传出很难描述媒体流的业务质量 需求，也不便各个媒体流单独处理，在一个实际系统中，要求视频源v 发送的视频流 和音频源a 发送的音频流在接收端r 1 0 = a ，2 ，n ) 同步播放，这就是一个流间同步的 实例。假设发送端视频源v 和音频源a 是同步的，因为一些原因，不能同时到达信宿， 这就要在信宿端重新进行同步。为了使不同组内信源和信宿有共同时间基准，系统启 动时，由启动器s 向v 、a 和r j 发送有关控制信息，如参考起始时间t o ，同步区间的 起始时间t - 等，s 可安装在任一个信源或信宿。t o 要保证所有信宿和信源都能接收到控 制信息后才开始，从t o 到t l 的时间为同步预备时间，如图2 6 所示，这段时间里信宿 r j 与同步组中的所有其他信宿交换有关信息，如信源到信宿的延时d 自( i = l ，2 ；j = 1 ，2 n ) 等。d l j ，d 2 j ，分别为信源v 、a 到信宿r 。的延时，t o 到t 1 的时间应足够长以保证这些信 息的交换。 t o t 。， 7 、 d 1 、 7 二- - 、 、_ 气一 ： p o ) t 1 ( j ) 1 2 ( i ) a 1 ( i ) a 2 ( i ) p ( i ) 图2 6 各媒体流之间的同步 从t 1 开始，信源v 、a 向外发送逻辑数据单元，并根据本地时间给每个单元打上 时间戳t ( i ) ，t ( i ) 为该逻辑数据单元发送时刻对应的本地时钟周期数。在信宿端，为保证 不同码流的同步，将各个流码的第i 个逻辑数据单元提交给播放器的时刻p “) 规定为 p ( i ) = 呼) + j ，这里a j = m a x d l jik ( 1 ，2 ) ) 。设a l ( i ) 是第k ( 1 ，2 ) 条码流的第i 个逻辑 数据单元到达信宿时，信宿本地的时钟周期，则d i j = a k ( i ) t ( i ) 。 华中科技大学硕士学位论文 若通信过程中，延迟d i i 发生变化，同步过程可分为若干个同步区间自适应地进行， 启动器s 在t o 时刻将同步区间的长度发送给各同步组内所有成员。任一同步区间内， 各个信宿r j 根据p ( i ) = t ( i ) 十j 进行同步播放，并将接收到的逻辑数据单元携带 的时间戳t ( i ) 与本地时钟比较得到对当前延时d i j 的估计值，将此估计值在下一个同步预 备时间内发送给组内其他信宿。下一个同步区间开始时，所有信宿将用d “的当前估计 值根据p ( i ) = 砸) + j 进行播放调度，通过上述的同步控制策略和自适应机制，实现流间 的同步。 如何测量评价上述算法实现的同步效果的优劣也是需要讨论的问题。现实中，视 频和音频等相关信息单元总是存在时间差的，这个时间差被称为偏移( s k e w ) ，对偏移和 抖动限制一个合适的范围。如果在这个范围内，就被认为是同步。研究表明，如果偏 移量在一8 0 m s ( 音频滞后视频) 至1 + 8 0 m s ( 音频超前视频) 之间时，多数观众不会感 到偏移的存在，这就是同步区域；如果偏移量1 6 0 m s 至1 + 1 6 0 m s 时，观众就对播放不满 意，称为不同步区域；偏移量在同步和不同步区域之间时，观众离播放点越近，则越 容易感觉到偏移，称为临界区，如图2 7 所示。 口 ， ： 音频 t 二三三习! 堕墨匡 二：三戛a 监昼匿 三云 - 1 6 0 - 8 0 o8 01 6 0 图2 7 同步测量示意图 在判断出媒体是否同步后，还可以测量比较媒体同步性能和失步程度。 2 5 本章小结 本章介绍了流媒体的基本概念，分析流媒体的技术原理和播放方式，总结影响媒 体同步的因素并给出同步的参考模型，最后研究并分析了一种同步控制方法。 1 4 华中科技大学硕士学位论文 3 m p e g 4 与编码技术 3 1m p e g 系列压缩标准概述 i s o 组织先后制定m p e g 一1 、m p e g 2 和m p e g 4 等压缩编码标准以满足人们在不 同时期、不同领域中对多媒体数据的编码要求。1 9 9 1 和1 9 9 5 年分别制定视音频编码的 国际标准m p e g - 4 和m p e g 2 ，这两个标准是m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 组织制定的第一代视音频压缩标准，主要采用的压缩编码方法是预测编码、变换编码、 熵编码以及运动补偿。 m p e g 1 s l 9 l 【10 l 全称是用于速率在1 5 m b p s 以下的数字媒体的动态图像和伴音编码 ( c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rd i g i t a ls t o r a g em e d i aa tu pt oa b o u t 1 5 m b p s ) ，图像采用c i f 格式( 3 5 2 t 2 8 8 或3 5 2 2 4 0 ) ，每秒3 0 帧，两路立体声伴音的 质量接近c d 音质。m p e g 一2 1 8 1 1 9 1 1 1 】全称是活动图像及有关声音信息的通用编码( g e n e 血 c o d i n go fm o v i n gp i c t u r ea s s o c i a t e da u d i oi n f o r m a t i o n ) ，主要应用于数字视频广播，高清 晰度电视、数字视盘和通信领域，它的传输率为2 m b p s - - 4 0 m b p s 。这两个标准的主要 目标是提高多媒体数据的压缩比，改善视音频质量。其应用相对单一，缺乏交互性， 而且其数据流不适合在i n t e m e t 上传播。 为了适应网络上多媒体业务发展的需要。1 9 9 8 年1 1 月国际标准化组织发布了 m p e g