（微电子学与固体电子学专业论文）流媒体传输和播放技术研究.pdf

华中科技大学硕士学位论文 摘要 i n t e m e t 的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒体业 务正日益流行。流媒体技术广泛用于互联网多媒体新闻发布、在线直播、网络广告、 视频点播、远程教育、远程医疗、实时视频会议等互联网信息服务的方方面面。流媒 体技术的应用将为网络信息的交流带来革命性的变化，对人们的工作和生活将产生深 远的影响。本文主要研究流媒体相关的技术，涉及流媒体的压缩、流媒体的传输、流 媒体的终端解码和基于c o m 技术的解码组件的开发，并讨论了几种流媒体的实现平台。 本文首先回顾了流媒体的发展和现状，在此基础上讨论了流媒体压缩技术、流媒 体的传输方式、流媒体的实现平台、流媒体的终端解码。设计了流媒体软解码器的总 体框架，实现软解码器的功能模块、并开发了符合c o m 规范的解码组件a 本文在深入了解m p e g 一2 国际协议标准的基础上，运用面向对象的程序设计思想， 设计了解码器的整体框架，所开发的软解码器符合m p e g 一2 协议规范要求，其中的系 统流解复用模块、视频解码模块、音频解码模块功能相对独立，三者之间的调用接口 清晰。本文重点讨论了m p e g 2 传输码流中的时间信息( 传输层中的节目参考时钟， p e s 层的显示时间标签和解码时间标签) 在音视频同步中的作用，对理想解码器中的 音频、视频同步原理作出了分析，指出了实际解码器实现音视频同步的困难之处并提 出了解决办法，对实际解码中出现音视频失同步的情况，通过对解码器的控制达到重 复帧和丢帧的效果，从而重新实现了音、视频的同步。并运用c o m 和d i r e c t x 技术开 发了解码器组件，所开发的解码器组件在流媒体系统中具有广泛的应用a 关键词：流媒体m p e g解码器 c o m解码组件 华中科技大学硕士学位论文 a b s t r a e t t h er a p i dd e v e l o p m e n ta n dp o p u l a r i z a t i o no fi n t e r a c th a sp r o v i d e dm i g h t ym a r k e tf o r s t r e a m i n gm e d i as e r v i c e sa n dt h es t r e a m i n gm e d i as e r v i c e sh a v eb e e nm o r ea n dm o r e p o p u l a r t h es t r e a m i n gm e d i at e c h n o l o g yh a sb e e nu s e dw i d e l yi nn e t w o r km u l t i m e d i a s e r v i c e ss u c ha s l i v i n gb r o a d c a s t ， n e t w o r k a d v e r t i s e m e n t ， a n dv i d e oo n d e m a n d ， t e l e e d u c a t i o n ，t e l e - m e d i c a lt r e a t m e n ta n dr e a lv i d e oc o n f e r e n c ea n ds oo n t h ea p p l i c a t i o n o f s t r e a m i n g m e d i a t e c h n o l o g y h a s b r o u g h tr e v o l u t i o n a r y i n f l u e n c eo nn e t w o r k c o m m u n i c a t i o na n d p e o p l e sl i f e t h ec o r r e l a t i v et e c h n o l o g yw a s d i s c u s s e dw i t hs t r e a m i n g m e d i as u c ha ss t r e a m i n gm e d i a c o m p r e s s ，s t r e a m i n gm e d i at r a n s p o r ta n ds t r e a m i n gm e d i a c o d e c t h ed e v e l o p m e n to fd e c o d e rc o m p o n e n tw a sa l s od i s c u s s e db a s e do nc o m t e c h n o l o g y s o m ei m p l e m e n tp l a t f o r m so fs t r e a m i n gm e d i a w e r ei n t r o d u c e di nt h i sp a p e r f i r s t l y , t h ed e v e l o p m e n ta n ds t a t u sq u oo fs t r e a m i n gm e d i a w e r el o o kb a c ka n dt h e n s o m ei s s u e sw e r ed i s c u s s e do ns t r e a m i n gm e d i as u c ha s s t r e a m i n gm e d i ac o m p r e s s ， s t r e a m i n gm e d i at r a n s p o r t ，t h ei m p l e m e n tp l a t f o r m sa n ds t r e a m i n gm e d i a c o d e c t h ew h o l e s k e l e t o no fs t r e a m i n gm e d i ad e c o d e rw a sd e s i g n e d ，a n ds o m ef u n c t i o n a lm o d u l e sw e r e i m p l e m e n t e d t h ed e c o d e rc o m p o n e n t s w e r e d e v e l o p e d b a s e do nc o m t e c h n o l o g y t h es o f t w a r ed e c o d e ra c c o r d s 砸t hm p e g - 2s t a n d a r d ，u s i n go o dm e t h o db a s e do n t h e t h o r o u g hu n d e r s t a n d i n g o fm p e g - 2 t h e s ed e c o d em o d u l e s k e e pr e l a t i v e l y i n d e p e n d e n c ea n dp r o v i d es o m e i n t e r f a c e sf o re a c ho t h e r t h et i m ei n f o r m a t i o n ( p c ri nt h e t sl a y e r , p t sa n dd t si nt h ep e sl a y e r ) i nt h em p e g - 2t r a n s p o r ts t r e a mi sd i s c u s s e di n t h i sp a p e r , a n di t sf u n c t i o ns y n c h r o n i z i n gt h ev i d e oa n da u d i oi nad e c o d e ri sp o i n t e do u t t h ep r i n c i p l eo fs y n c h r o n i z i n gt h ev i d e oa n da u d i oi na ni d e a ld e c o d e ri sd i s c u s s e d t h e d i f f i c u l t yt or e a l i z et h i si nap r a c t i c a ld e c o d e ra n d t h ec o r r e s p o n d i n gm e t h o dt oo v e r c o m ei t a r ep o i n t e do u t u s i n gt h er e p e a tf r a l n ea n ds k i pf r a m em a r i n e rt om a k ei tr e s y n c h r o n i z e w h e nl o s i n gs y n c h r o n i z a t i o nw i t ha u d i oa n dv i d e oi nd e c o d i n gp r o c e s s t h e s ed e c o d e r c o m p o n e n t s ，w h i c ha r eu s e dw i d e l yi ns t r e a m i n gm e d i as y s t e m ，a r ei m p l e m e n t e du s i n g c o ma n dd i r e c t xt e c h n o l o g y k e y w o r d s ：s t r e a m i n g m e d i am p e gd e c o d e rc o md e c o d ec o m p o n e n t i i 华中科技大学硕士学位论文 1 1引言 l 绪论 在网上学完大学课程，在网上身临其境般购买称心如意的商品，在家通过网络与 远在美国的老板开一个视频会议，在网上花五块钱点一场新的美国大片来看，伴随着 新经济浪潮和信息时代的来临，以国际互联网为代表的新技术革命正在深刻地改变我 们地生活。 流媒体市场的发展是随着i n t e r n e t 的发展而发展的。影响流媒体市场发展的主 要因素如下： 互联网用户 i n t e r n e t 起步于2 0 世纪8 0 年代初，近2 0 年来，i n t e r n e t 发展非常迅猛。截至 到2 0 0 0 年底，全球i n t e r n e t 用户到达5 5 亿，i n t e r n e t 用户以6 3 的年增长率发 展，到2 0 0 2 年底就达到1 0 亿。 我国i n t e r n e t 发展起步较晚，近几年来，i n t e r n e t 用户呈几何级数增长，1 9 9 7 年底全国上网用户达到6 2 万户，这比1 9 9 6 年六月底增长了5 倍，到1 9 9 8 年底全国 上网用户达到1 1 5 万户，比上年增长了近一倍；到1 9 9 8 年底全国上网用户达到2 1 0 万户，这又比9 8 年上半年增长近一倍：到1 9 9 9 年上半年，全国网络用户达到4 0 0 万 户，比1 9 9 8 年增长近一倍：1 9 9 9 年底，全国网民达到8 9 0 万户，又比1 9 9 9 年上半年 增长一倍多：到2 0 0 0 年上半年，全国网络用户已突破1 6 9 0 万户，2 0 0 0 年全国网络用 户达2 2 5 0 万人“1 。 流媒体应用 随着互联网络的迅猛发展，以及人们对互联网内容的多样化需求，尤其对多媒体 数据的需求日益增长，电子商务、信息化社区、视频点播、视频邮件、可视电话、远 程教育、网上远程医疗、实时视频会议、网络游戏等应用的推波助澜，多媒体数据大 有一统i n t e r n e t 之势。有专家预计，用不了多长时间多媒体数据业务将超过话音业 务，也就是说，1 0 0 年来始终占据绝对主导地位的话音业务将让位给多媒体业务，这 将是百年来电信网所经历的最大变化，对电信业的各个方面都将产生难以估量的深远 影响。 流媒体自身技术 多媒体数据一般比较大，2 0 分钟的电影在6 4 k b p s 速率的网络上下载需要1 小时 华中科技大学硕士学位论文 左右的时间，按照常规文件的操作，用户必须等1 个小时左右的时间才能观看电影， 而且用户端也需要大量的空间来存储这些多媒体数据。这就会大大阻碍多媒体业务的 发展，所幸的是人们已经发明了一种新的技术流媒体技术( s t r e a m i n gm e d i a ) 。 流媒体技术的开发创意是从传统的t c p i p 协议对通过网络传送信息的控制方法中得 到的。当我们通过t c p i p 协议下载文件时，服务器会按照一定的次序将文件分成若 干个独立的数据包，然后以次发送出去，而客户端的程序会将这些数据包重新组装起 来，最终形成和原来完全一样的完整的文件。这时候，我们就可以对这些文件进行任 何可能的操作了。流技术则不然，流技术能够按照特定的顺序将文件发送出去，而播 放程序则可以边接受数据边播放。为了使播放更加稳定连贯，通常客户端通过为接受 数据开辟缓存区的方法来解决网络拥堵的问题。只需要在缓存区充满前等待几秒钟， 就可以开始欣赏了。文件的剩余部分将在后台从服务器内继续下载。流式传输不仅使 启动延时成十倍、百倍地缩短，而且不需要太大的缓冲容量。这种在 i n t e r n e t i n t r a n e t 中使用流式传输技术的连续时基媒体就称为流媒体 3 】 “。 1 2 流媒体应用及其市场 1 2 1 流媒体应用前景无限 i n t e m e t 的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒体业 务正日益流行。流媒体技术广泛用于互联网多媒体新闻发布、在线直播、网络广告、 视频点播、远程教育、远程医疗、实时视频会议等互联网的信息服务的方方面面。流 媒体技术的应用将为网络信息交流带来革命性的变化；对人们的工作和生活将产生深 远的影响。下面列举流媒体技术在中国的几个典型的应用： 流媒体技术在在线直播上的应用，如中央电视台采用r e a l n e t w o r k 公司的流媒体 技术实现了视听在线、清华大学的校园新闻直播系统等等。 流媒体技术在视频点播上的应用，如湖南电视台、中国大饭店、望京小区等地采 用o r a c l e 公司的o v s 系统( 支持机定盒) 实现视频点播。 流媒体技术在电子商务、远程医疗等方面的应用都有很多成功的实例。 正因为如此，许多著名的公司都调整自己的战略方向，为使自己在流媒体市场大 战中占取有利地位。 1 ) 盖茨：未来属于流媒体 9 9 西方流媒体会议在加利福尼亚圣何塞市举行。m i c r o s o f t 董事长盖茨在会上发 表了主题演讲。在演讲中，盖茨宣布m i c r o s o f t 在成功地通过视窗操作系统使个人电 华中科技大学硕士学位论文 脑走进千家万户之后，目前正处于重要的软件开发关头，这种软件使互联网上的多媒 体内容成为人们日常生活不可缺少的一部分。盖茨说流媒体是m i c r o s o f t 真正看好的 发展方向。它必将成为个人电脑和网络设备应用的主流。盖茨在演讲中展示了一个新 的应用软件一视窗电影制作器( w m d o w m o v i em a k e r ) 。这将是视窗盛世千年( m i c r o s o f t w i n d o w sm i l l e n n i u m ) 操作系统的一个组件。通过该软件，使用者可将手持摄像机中拍 摄的影像传输到个人电脑中进行编辑和发布| 4 i 。 2 ) 康柏，i n t e l ，m i c r o s o f t 共同投资串流媒体业 在2 0 0 1 年6 月，串流媒体商d 酒t a li s i a n d 与康柏计算机，i n t e l ，m i c r o s o f t 三家 公司合作，在未来的两年内建构8 0 0 0 台串流媒体服务器。这计划预计在全球3 5 0 个 主要城市设立据点，其中超过2 5 0 个城市位于美国本土以外，并可以同步处理7 5 0 万 个串流声讯或视讯资料。d i g i t a li s l a n d 的总裁r u a r mk e m s t 说：“这是网际网络史上 第一次能与电视网络媲美的手笔。” 3 ) i b m 的u n i x 服务器捆绑r e a ls y s t e m 技术 i b m 公司目前宣布同r e a ls y s t e m 公司达成一项交易，将把r e a l n e t w o r k s 的r e a l s y s t e m 技术用于i b m 的u n i x 服务器系列，此举旨在满足服务器提供商客户日益增 强的对音频、视频流性能的需求。r e a ls y s t e m8 可以直接用于i b m 的r s 6 0 0 0 系统 和新的e s e r v e r ，p s e r i e s 系列u n i x 服务器产品，r e a ls y s t e m8 是一个包含流行的 r e a l s e r v e r ，r e a l p r o d u c e r 和r e a l p l a y e r 产品家族的捆绑平台，它与操作系统无关，支 持4 0 多中媒体数据类型。 看到以上公司的行动，可以想象流媒体应用的前景。当这只是冰山一角，还有很 多的公司正在开发流媒体的新技术，不断地挖掘流媒体的新应用，让人们的生活变得 越来越丰富多彩。 1 2 2 流媒体市场谁与争锋 1 1 流媒体市场的广阔发展前景 收视率调查的权威尼尔逊( n i e l s e n n e t r a t i n g s ) 发布一个令人雀跃的数字：单就 1 9 9 9 年来看，在网上访问流媒体内容的人数足足增加6 5 ，显示对丰富媒体的需求 必定将推动整体架构的革新。这份报告指出，2 0 0 0 年1 1 月访问流式内容的访客高达 3 5 0 0 万次，表示超过三分之一的互联网用户曾阅读过流式内容。尼尔逊表示，此惊人 成长可归功于几件国际大事，像悉尼奥运、美国总统大选等等，成千上万的读者在活 动期间上网读取随时更新的音频和视频报导。更由于流式媒体趋向成熟，抢分媒体的 大饼的时候到了。 华中科技大学硕士学位论文 尼尔逊指出，流式媒体的增长是必然的。预料在不久的将来，内容供应商将运用 各种高新技术满足网络用户日益挑剔的要求。而不同媒体之间汇聚融合更有助于多方 面接触目标受众，达成传播目标。报告中亦指出，拥有高速连接的网络用户较其他用 户接受流式媒体信息的比例要多5 0 。尼尔逊进一步预测，网络流式媒体在2 0 0 4 年 美国将达到2 1 0 亿美金的市场规模，比起1 9 9 9 年成长超过两倍。这份调查的样本是7 万名网络用户，其中6 2 万在家上网，另外8 千人由工作地点上网i s l l 6 1 。 2 ) 流媒体市场竞争激烈 各相关厂商彼此间展开了激烈地竞争。想要在流媒体领域称雄的m i c r o s o f t 公司 称，已经有4 5 家企业选择w i n d o w sm e d i a 媒体播放器作为自己选用的流媒体软件， 并参加了m i c r o s o f t 发起的w i n d o w s 媒体宽带启动协议，这是一个支持w i n d o w s m e d i a 媒体播放器软件的企业联盟。这说明已经有越来越多的i n t e r a c t 媒体内容提供商开始 选择m i c r o s o f t 的技术，以取代r e a l n e t w o r k s 公司暂时处于领先地位的流媒体技术。 h p 公司也表示，它将把m i c r o s o f t 的w i n d o w sm e d i a 媒体播放器用于自己的员工和合 作伙伴之间进行的企业和商业营销通讯，如产品发布和销售人员培训等。w i n d o w s m e d i a 媒体播放器的另外一个新支持者一通用仪器公司表示，它将把w i n d o w sm e d i a 媒体播放器集成到自己的d c t5 0 0 0 机顶盒终端里，用来通过有线电视网络传输 i n t e r a c t 上的a v 流媒体内容。 面对m i c r o s o f t 公司咄咄逼人的攻势，r e a l n e t w o r k s 公司新近发布的一份调查报 告显示，r e a l n e t w o r k s 的r e a l p l a y e r 的用户数是a p p l e 公司q i c k t i m e 的4 倍，是 m i c r o s o f t 公司w i n d o w s m e d i a p l a y e r 的1 0 倍。而r e a l n e t w o r k s 公司新版的r e a l p l a y e r 8 发布仅1 个月就有7 0 0 万套被用户下载，目前其r e a l p l a y e r 的用户已经到1 9 2 0 0 万。 此外，r e a l n e t w o r k s 公司近期还推出了与i n t e l 联合开发的r e a l p r e s e n t e r g 2 的流媒体 软件，供公司通过i n t e r a c t 传输流式幻灯片显示。 a p p l e 公司则力推其流媒体播放软件q u i c k t i m e ，该公司正力图将这一深受用户 欢迎的软件变成真正的摇钱树。为此，该公司演示了可以在q u i c k t i m e 中自动插播广 告的新技术，这种技术将大大增强该软件的电子商务能力。a p p l e 公司的这一举动显 示了它正力图将q u i c k t i m e 从一个只会花钱没有具体效益的产品转换成一个新的利润 增长点。此外，a p p l e 公司还为q u i c k t i m e 提供更多的工具，使i c p 能够通过采用 q u i c k t i m e 为用户提供更多的内容。例如，网上最受欢迎的新闻网站之一c n n c o m 就采用q i c k t i m e 束为用户播放流媒体新闻。 可以预见，随着厂商对流媒体技术的不断发展和完善，以及用户对流媒体需求的 增加，流媒体技术定会更上层楼。流媒体业务市场将越来越大。 4 华中科技大学硕士学位论文 1 3 流媒体当前研究热点 当今，网络技术发展迅速，主干网与宽带接入技术日益成熟，从网上浏览多媒体 内容，成为因特网应用的新一代亮点。多媒体内容主要包括电影、新闻剪辑、电台、 电视广播、网络游戏，网络视频是其中最重要的应用。视频帧中每个象素需要颜色和 亮度来描述，除了视频信息，可能还有声音信息，有时甚至包含图像数据和其他文件 格式信息，未经压缩的视频文件数据量很大。一般广播级图像每帧有6 4 0 4 8 0 个象 素点，每秒2 5 帧，如采用2 4 位颜色，每秒产生2 4 兆字节数据，1 0 g 的硬盘也就能 存储约7 分钟的视频，更不用说在网络上实时传输。事实上，原始视频数据中存在着 大量冗余，通过压缩技术可以使数据量大为减少。 网上播放多媒体内容时，若采用网络上数据传输的通常方法，即文件下载，用户 将不得不准备大量磁盘空间，并花费大量时间等特下载完毕。为了提高视频数据在网 络上传输效率，并实现视频的实时播放，各厂商争相开发流文件与流式传输技术，边 下载边播放。 对海量视频数据存储、运行、检索的要求促进人们开始了对多媒体数据的本质进 行研究，提出基于内容的管理、查询思想，促进了视频数据库的发展。视频播放的实 时f 生要求高，数据处理量大，这对服务器软硬件技术，网络技术都提出极高的挑战， 促使播放系统的体系结构向专业化发展，并相继制定了网络实时传输与质量保证协 议，确保高质量、流畅地播放视频流1 8 l 【纠。 1 4 本课题研究的主要内容 本课题主要研究流媒体相关的技术，涉及流媒体的压缩、流媒体的传输、流媒体 的终端解码，并讨论了几种流媒体的实现平台。其主要内容为以下几个方面： 讨论了流媒体网络视频技术：流媒体数据压缩技术、流媒体传输方式及流媒体传 输协议。介绍了几种典型的流媒体实现平台，并对这些平台进行了比较。 实现了m p e g 流媒体软解码器，设计并实现了解复用模块、音频解码模块、视频 解码模块，并讨论了三者之间的调用关系。 讨论了m p e g 一2 传输码流中的时间信息在音视频同步中的作用对理想解码器中 的音频、视频同步原理作出了分析，指出了实际解码器实现音视频同步的困难之 处并提出了解决办法。 运用c o m 和d i r e e t x 技术，遵循组件开发的标准流程开发了解码器组件：解复用 组件、视频解码组件、音频解码组件。 华中科技大学硕士学位论文 2 - 1 流媒体技术 2 1 1 流式传输的基础 2 流媒体网络视频技术 在网络上传输音视频等多媒体信息，目前主要有下载和流式传输两种方案。a v 文件一般都很大，所以需要的存储容量也很大；同时由于网络带宽的限制，下载常常 要花数分钟甚至数小时，所以这种处理方法延时也很大。流式传输时，声音、影像或 动画等时基媒体由音视频服务器向用户计算机的连续、实时传送，用户不必等到整个 文件全部下载完毕，而只需经过数秒或十几秒的启动延时即可进行观看。当声音等时 基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。流式不仅 使启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。流式传输避免了用户 必须等特整个文件全部从i n t e r n e t 上下载才能观看的缺陷。 流媒体是指在i n t e r n e t i n t r a n e t 中使用流式传输技术的连续时基媒体，如：音 频、视频或多媒体文件。流式媒体在播放前并不下载整个文件，只将开始部分内容存 入内存，流式媒体的数据流随时传送播放，只是在开始时有一些延时。流媒体实现的 关键技术就是流式传输。 流式传输定义很广泛，现在主要指通过网络传送媒体( 如视频、音频) 的技术总称。 其特定含义为通过i n t e r n e t 将影视节目传送到p c 机。实现流式传输有两种方法：实 时流式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 。一般 说来，如视频为实时广播，或使用流式传输媒体服务器，或应用如r t s p 的实时协议， 即为实时流式传输。如使用h t t p 服务器，文件即通过顺序流发送。采用哪种传输方 法取决于用户的需求。当然，流式文件也支持在播放前完全下载到硬盘。 1 ) 顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻， 用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流式传输不像 实时流式传输在传输期间根据用户连接的速度做调整。由于标准的h t t p 服务器发送 这种形式的文件，也不需要其他特殊协议，它经常被称为h t t p 流式传输。顺序流式 传输比较适合高质量的断片段，如片头、片尾和广告，由于该文件在播放前观看的部 分是无损下载的，这种方法保证电影播放的播放最终质量。这意味着用户在观看前， 必须经历延迟，对较慢的连接尤其如此。 6 华中科技大学硕士学位论文 对通过调制解调器发布短片段，顺序流式传输显得很实用，它允许用比调制解调 器更高的数据速率创建视频片段。尽管有延迟，毕竟可发布高质量的视频片段。顺序 流式文件是放在标准h t t p 或f t p 服务器上，易于管理，基本上与防火墙无关。顺序 流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说和演示。它也不支 持现场广播，严格来说，它是一种点播技术。 2 ) 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看到。实 时流与h t t p 流式传输不同，它需要专用的流媒体服务器与传输协议。实时流式传输 总是实时传送的，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前 面或后面的内容。理论上，实时流一经播放就可不停止，但实际上可能发生周期暂停。 实时流式传输必须配匹连接带宽，这意味着在以调制解调器速度连接时图像质量 较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。 如欲保证视频质量，顺序流式传输也许更好。实时流式传输需要特定服务器，如 q u i c k t i m es t r e a m i n gs e r v e r ，r e a ls e r v e r 与w i n d o w sm e d i as e r v e r 。这些服务器 允许用户对媒体发送进行更多级别的控制，因而系统设置、管理比标准h t t p 服务器 更复杂。实时流式传输还需要特殊网络协议，如：r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 或删s ( m i c r o s o f tm e d i as e r v e r ) 。这些协议在有防火墙时有时会出现问题，导致用 户不能看到一些地点的实时内容o ”。 2 1 2 流媒体技术原理 流式传输的实现需要缓存。因为i n t e r n e t 以包传输为基础进行断续的异步传输， 对一个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包，由于网络是 动念变化的，各个包选择的路由可能不尽相同，故到达客户端的时间延时也就不等， 甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并 保证数据包的顺序正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播 放出现停顿。通常高速缓存所需要的容量并不大，因为高速缓存使用环形链表结构来 存储数据，通过丢弃已经播放的内容，流可以重新利用空出的高速缓存空间来缓存后 续尚未播放的内容。 流式传输的实现需要合适的传输协议。由于t c p 需要较多的开销，故不太适合传 输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传输控制信息，而用 r t p u d p 来传输实时声音数据。流式传输的过程一般是这样的：用户选择某流媒体 服务器后，w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，以便把需要传 华中科技大学硕士学位论文 输的实时数据从原始信息中检索出来；然后客户机上的w e b 浏览器启动a v h e l p e r 程 序，使用h t t p 从服务器检索相关参数对h e l p e r 程序初始化。这些参数可能包括目录 信患、a v 数据的编码类型或与a v 检索相关的服务器地址。 a v h e l p e r 程序及a v 服务器运行实时流控制协议( r t s p ) ，以交换m v 传输所需的 控制信息。与c d 播放机或v c r s 所提供的功能相似，r t s p 提供了操纵播放、快进、快 退、暂停等命令的方法。a v 服务器使用r t p u d p 协议将a v 数据传输给a v 客户程 序( 一般可认为客户程序等同于h e l p e r 程序) ，一旦a v 数据抵达客户端，a v 客户程 序即可播放输出。需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不 同的通信协议与a v 服务器建立联系，是为了能够把服务器的输出重定向到一个不同 于运行a v h e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专用服务器 和搔放器，其基本原理如图2 1 所示。 图2 1 流式传输基本原理 2 2 流媒体文件与视频压缩技术 2 2 1 流媒体体系结构 对于流媒体，几个最重要的方面是同步、管理和播放：在可管理数量的空间存储 文件同时，使视频和声音组件尽量小，可在计算机或通过网络连接正确播放。为有效 解决这些问题，开发出两种技术：流体系结构和编码解码器( c o d e e ) 。体系结构为媒 体发布提供整体架构和同步机制，编码解码器是体系结构内更小的组件。例如， q u i c k t i m e 与w i n d o w sm e d i a 属体系结构，而s o r e n s o nv i d e o 与m p e g 一4 为视频编码 解码器，r e a l a u d i o 和w 姒是声音编码解码器。多媒体体系结构涉及数字视频的处理 和同步。多媒体体系结构有时被称为格式，其实这是一种误解，格式指特定体系结构 下采用某种编码算法生成的文件结构。除此之外，体系结构还控制计算机如何处理流 8 华中科技大学硕士学位论文 媒体，如文件转换，视像如何在屏幕上播放。尽管不同体系结构有着诸多共同点，其 矧也存在很多差别。有些用于网页视频回放，有些更适合于v c d ，并且在特定系列计 算机上发挥最佳，没有一个最好的体系结构，只有最适合应用的体系结构。 计算机上不同文件都有它自己的格式，相应处理软件理解它的格式。格式定义数 据在文件中安排方式，而协议是一套规则。协议通常是描述网络发送数据所用方法的 规则。视频文件类型较多，根据应用目的可分为两种：压缩媒体文件，流式媒体文件 l 阳 1 ) 压缩媒体文件格式 压缩格式有时被称为压缩媒体格式，包含了描述一段声音和图像的同样信息，尽 管它的文件大小被处理得更小，很明显，压缩过程改变了数据位的编排。在压缩媒体 文件再次成为媒体格式前，其中数据需要解压缩。由于压缩过程自动进行并内嵌在媒 体文件格式中，通常我们在存储文件时没有注意到这点，该过程如图2 2 所示。 犬：j 件 霎嚣蔫羹号嚣藩芦 匡薹雾 匡雾雪 重蚕蚕蚕薰雪 橱i 准燃体 文件擒甓 图2 2 文件压缩过程 2 ) 流式文件格式 流式文件格式经过特殊编码，使其适合在网络上边下载边播放，而不是等到下载 完整文件才能播放。可以在网上以流的方式播放标准媒体文件，但效率不高。将压缩 媒体文件编码成流式文件，必须加入一些附加信息，如记时、压缩和版权信息。编码 过程如图2 3 所示。 女女# * _ 镕 ：t # - ，t 巴冒营营冒国冒国 焉葛器：品m e _ * 寓忤* t 图2 3 流式文件编码过程 9 华中科技大学硕士学位论文 2 3 支持流媒体传输的网络协议 2 31 实时传输协议r i p r t p 被定义为传输音频、视频、模拟数据等实时数据的传输协议。最初设计是为 了数据传输的多播，但是它也用于单播的。与传统的注重的高可靠的数据传输的运输 层协议相比，它更加侧重的数据传输的实时性。此协议提供的服务包括时间载量标识、 数据序列、时戳、传输控制等。r t p 与辅助控制协议r t c p 一起得到数据传输的一些相 关的控制信息。 r t p 协议就是提供了时间标签，序列号以及其它的结构用于控制实时数据的流放。 在流的概念中”时间标签”是最重要的信息。发送端依照即时的采样在数据包里隐蔽 地设置了时间标签。在接受端收到数据包后，就依照时间标签按照正确的速率恢复成 原始的数据。不同的媒体格式属性是不一样的。但是r t p 本身并不负责同步，r t p 只 是传输层协议，为了简化运输层处理，提高该层的效率，将部分运输层协议功能( 比 如流量控制) 上移到应用层完成。同步就是属于应用层协议完成的。它没有运输层协 议的完整功能，不提供任何机制来保证实时地传输数据，不支持资源预留，也不保证 服务质量。r t p 协议和u d p 二者共同完成运输层协议功能。u d p 协议只是传输数据包， 是不管数据包传输的时间顺序。r t p 的协议数据单元是用u d p 分组来承载的。在承载 r t p 数据包的时候，有时候一帧数据被分割成几个包具有相同的时间标签，则可以知 道时间标签并不是必须的。而u d p 的多路复用让r t p 协议利用支持显式的多点投递， 可以满足多媒体会话的需求。r t p 协议通常根据一个具体的应用来提供服务，r t p 只 提供协议框架，开发者可以根据应用的具体要求对协议进行充分的扩展。目前，r t p 的设计和研究主要是用来满足多用户的多媒体会议的需要，另外它也适用于连续数据 的存储，交互式分布仿真和一些控制、测量的应用中。基于r t p 的实验和商业产品也 层出不穷“。 2 3 2 实时传输控制协议r t c p 协议 r t c p ( r e a l ti m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 是设计和r t p 一起使用的进行 流量控制和拥塞控制的服务控制协议 当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控 制，它依靠r t c p 提供这些服务。在r t p 的会话之间周期的发放一些r t c p 包以用来传 l o 华中科技大学硕士学位论文 输监听服务质量和交换会话用户信息等功能。r t c p 包中含有已发送的数据包的数量、 丢失的数据包的数量等统计资料。因此，服务器可以利用这些信息动态地改变传输速 率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开 销使传输效率最佳化，因而特别适合传送网上的实时数据。根据用户间的数据传输反 馈信息，可以制定流量控制的策略，而会话用户信息的交互，可以制定会话控制的策 略1 。 2 3 。3 实时流协议r t s p 协议 r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 协议定义了如何有效地通过i p 网络传 送多媒体数据，是一种客户端到服务器端的多媒体描述协 义。r t s p 是一个非常类似于 h t t p 的应用层协议。每个发布和媒体文件也被定义为r t s pu p l 。而媒体文件的发布 信息被书写进一个被称为媒体发布文件里。在这个文件说明的包括编码器，语言， r t s pu l s ，地址，端口号以几其它参数。这个发布文件可以在客户端通过e m a i l 形式 或者h t t p 形式获得。r t s p 是由r e a l n e t w o r k s 和n e t s c a p e 以及哥伦比亚大学共同提 出的。它是从r e a l n e t w o r k s 的”r e a l a u d i 0 ”和n e t s c a p e 的”l i v e m e d i a ”的实践和经 验发展来的。第一份r t s p 协议是由i e t f 在1 9 9 6 年8 月9 日正式提交后作为i n t e r n e t 的标准，n e t s c a p e ，a p p l e ，i b m ，s i l i c o ng r a p h i c s ，v x t r e m e ，s u n 还有其它公司 都宣称它们的在线播放器支持r t s p 协议，不过微软一直都坚持不支持此协议，不知 道这种局面还会持续多久。 r t s p 是应用层协议，与r t p 、r s v p 一起设计来完成流式服务。r t s p 有很大的灵活 性，可被用在多种操作系统上，它允许客户端和不同厂商的服务平台交互。r t s p 在体 系结构上位于r t p 和r t c p 之上，它使用r t p 完成数据传输。它将流式媒体数据可控 制地通过网络传输到客户端。r t s p 可以保持用户计算机与传输流业务服务器之间的固 定连接，用于观看者与单播( u n i c a s t ) 服务器通信并且还允许双向通信，观看者可 以同流媒体服务器通信“。 2 4 流媒体的传输方式 i p 支持三种地址类型：单播、广播和组播。单播设计成传输一个信息包到一个单 独的目标，广播用来发送一个数据包到整个子网，而组播用来发送一个数据包到一组 分散在各个子网中的组播组成员。 华中科技大学硕士学位论文 2 4 1 单播 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的 每个数据包只能传送给一个客户机，这种传送方式称为单播。单播传输本质是点对点 传输，如图2 4 所示，如一个节点要发送相同的信息给多个目标，必须给每个接收者 发送一份完全相同的拷贝，单播避免了发送数据给不需要的人，但每个拷贝经过网络 传送，占用很高的带宽和资源，效率极低。 2 4 2 广播 图2 4 单播传输 广播能够传送一个单独的数据流到整个子网，路由器和接线器传播广播，占用资 源和带宽，并且无法知道其他网络上节点是否需要广播数据，如图2 5 所示。广播消 耗发送者资源不比单播多，但无效的消耗网络资源。为阻止广播风暴淹没网络，通常 设置路由器来阻止广播的传播，将广播限制在一个物理或逻辑的网络分段上。 图2 5 广播传输 章誓囊 华中科技大学硕士学位论文 2 4 3 组播 使用单播发送时，需要将数据包复制多个拷贝，以多个点对点的方式分别发送到 需要它的那些用户，而使用广播方式发送，数据包的单独一个拷贝将发送给网络上的 所有用户，而不管用户是否需要，上述两种传输方式会非常浪费网络带宽。组播吸收 了上述两种发送方式的长处，克服了上述两种发送方式的弱点，将数据包的单独一个 拷贝发送给需要的那些客户。组播不会复制数据包的多个拷贝传输到网络上，也不会 将数据包发送给不需要它的那些客户，保证了网络上多媒体应用占用网络的最小带 宽。组播是一种在传播中到达多个接收者的方法( 如图2 6 ) 。组成员接收组播包，其 他节点过滤掉硬件层的组播信息。组播是发送到一组自选择的接收者的处理过程，可 明确分开，通常比全部接收者少得多，组播接收者的动态组可以迅速建立和解散。 图2 6 组播传输 华中科技大学硕士学位论文 3 流媒体视频平台及其实现方式 3 1r e a i n e t w o r k s 公司的r e a is y s t e m r e a l n e t w o r k s 公司是世界领先的网上音视频解决方案的提供者，提供从制作端、 服务器端到客户端的所有产品。它的客户端播放器r e a l p l a y e r