（通信与信息系统专业论文）基于流媒体技术的音视频直播和点播系统设计与实现.pdf

武汉理工大学硕士学位论文 摘要 流媒体技术是目前十分流行的一种多媒体技术。使用流媒体，用户无需在 观看音视频信息前先耗费大量时间下载一个大文件，因为流媒体以一种恒定的 速率发送，具有一边到达一边显示的优势。用预先构造的流文件或实时编码器 对现场信息进行编码得到的现场流比原始信息的数据量要小，从而节省了大量 的时间和空间。 近些年，随着高等教育的快速发展，师资和教学设备都十分紧缺。而利用 网络教学可突破传统教育在教育资源和教学方法方面的限制，实现优秀教育资 源和教育方法不受时间和空间等约束的共享。受教育者还可以根据自己的水平 和时间情况安排自己的学习计划和学习进度，实现传统教育无法做到的“个性 化教育”。同时，教学过程中能充分利用文本、图像、音频和视频等多媒体进行 交互，激发学习兴趣，提高教学质量。但是要克服网络带宽的限制，流媒体无 疑是一种最佳的选择。 本论文以流媒体技术在网络教学中的应用作为研究对象，通过研究，主要 完成了以下工作： 1 深入研究了流媒体技术的原理，包括流媒体的系统组成和技术原理，流 媒体的网络协议、播放方式、文件格式以及对目前最流行的三种流媒体平台的 比较。 2 深入研究了w i n d o w s 平台下开发流媒体的各种技术，包括媒体控制接口、 音视频压缩管理器、v f w 、d i r e c t s h o w 、w m ps d k 和w i n s o c k 等技术。 3 设计了网络音视频点播和直播系统的整体解决方案； 4 研究并实现系统的六个核心功能模块：音频点播、视频点播、视频直播、 屏幕直播、语音直播和音频直播； 论文着重研究了视频直播和屏幕直播的实现，视频直播采用了d i r e c t s h o w 技术，屏幕直播采用“帧间预测+ 颜色分辨率变化+ l z 7 7 压缩”的方案。使网 络流量大大减小，同时又兼顾了直播的效果。经过理论分析和实践检验，该网 络音视频直播和点播的设计完全满足网络教学的需求，是一个可行的、有效的 解决方案。 关键词：流媒体；视频点播；屏幕直播；d i r e c t s h o w ；l z 7 7 武汉理t 大学硕士学位论文 a b s t r a c t c u r r e n t l y ，s t r e a m i n gm e d i ai sar e a l l yp r e v a l e n tm u l t i m e d i at e c h n o l o g y s e n tb y a ni n v a r i a b l ev e l o c i t y , m e d i ai sa b l et or e n d e rw h i l ea r r i v i n g u s e r sn e e dn o t d o w n l o a dal a r g ef i l ew i t hh u g et i m eo v e r h e a db e f o r ee n j o y i n gi t i tc a ns a v eal a r g e a m o u n to ft i m ea n ds p a c ea ss t r e a m i n gf i l ec o n s t r u c t e dp r e v i o u s l yo rl i v es t r e a m c o d e db yl i v ec o d e ri st r e m e n d o u s l yl e s st h a no r i g i n a ld a t a i nr e c e n ty e a r s t e a c h e r sa n dt e a c h i n gd e v i c e sa r ei n s u f f i c i e n tw i t ht h ef a s t i m p r o v e m e n to fc o l l e g e w i t hn e t w o r k ，l o t so fm e ne d u c a t e dc a nb r e a kt h r o u g h r e s t r i c t i o no fe d u c a t i o nr e s o u r c ea n dt e a c h i n gm e t h o da n ds h a r et h e mw i t h o u tt i m e a n ds p a c er e s t r i c t i o n a l s o ，t h e yc a na r r a n g et h e i rs t u d yp l a na n dp r o g r e s sa c c o r d i n g t ot h e i ra b i l i t ya n ds c h e d u l e ，r e a l i z i n g ”i n d i v i d u a le d u c a t i o n t h a tt r a d i t i o n a l e d u c a t i o nc a nn o t m e a n w h i l e ，m u l t i - m e d i as u c ha st e x t s ，p i c t u r e s ，g r a p h s ，a u d i oa n d v i d e oi sa v a i l a b l ef o ri n t e r a c t i o n ，w h i c hi n s p i r e st h e i rs t u d yi n t e r e s t sa n de n h a n c e s t e a c h i n gq u a l i t y b e c a u s eo ft h el i m i to fb a n d w i d t h ，s t r e a m i n gm e d i ai sa no p t i m a l c h o i c e p a p e rc h o o s e sa p p l i c a t i o no fs t r e a m i n gm e d i at e c h n o l o g y i nn e t w o r kt e a c h i n ga s r e s e a r c ho b j e c t i ta c c o m p l i s h e sf o u rw o r k sa sf o l l o w s ： 1 g od e e pi n t ot h ep r i n c i l ：l l eo fs t r e a m i n gm e d i at e c h n o l o g y , i n c l u d i n gi t s s y s t e mc o n s t i t u t i o n ，t e c h n o l o g i c a lp r i n c i p l e ，n e t w o r kp r o t o c o l ，p l a ym a n n e r , f i l e f o r m a ta n dc o m p a r i s o no f t h r e ep l a t f o r mw h i c hi sp o p u l a rc u r r e n t l y ； 2 r e s e a r c hi nd e t a i l so fv a r i o u sd e v e l o p i n gs k i l l su n d e rw i n d o w sp l a t f o r m ， i n c l u d i n gm e d i ac o n t r o li n t e r f a c e ，a u d i oc o m p r e s s i o nm a n a g e gv i d e oc o m p r e s s i o n m a n a g e r , v f w ：d i r e c t s h o w , w m ps d k a n dw m s o c kt e c h n o l o g i e s ； 3 p r e s e n tc o m p l e t es c h e m eo f n e t w o r ka u d i o v i d e ob r o a d c a s t i n ga n do nd e m a n d s y s t e m ； 4 r e s e a r c ha n di m p l e m e n ts i xk e ym o d u l e s ：a u d i oo nd e m a n d ，v i d e oo nd e m a n d ， v i d e ob r o a d c a s t i n g ，s c r e e nb r o a d c a s t i n g ，v o i c eb r o a d c a s t i n ga n da u d i ob r o a d c a s t i n g ； t h ek e yp r o b l e mi sr e a l i z a t i o no fv i d e oa n ds c r e e nb r o a d c a s t i n g v i d e o b r o a d c a s t i n g a d o p t sd i r e c t s h o wt e c h n o l o g ya n ds c r e e nb r o a d c a s t i n g - ”i n t e r f r a m e e x p e c t + c o l o rp i x e lv a r y i n g + l z 7 7c o m p r e s s ”。b yt h i sw a y , n e t w o r kp a c k e t sr e d u c e n u m e r o u s l yb u ts y s t e ma l s ob e h a v e sw e l l a f t e rt e s t so ft h e o r ya n de x p e r i m e n t ，t h i s d e s i g ni sp r o v e dt ob ef e a s i b l ea n de f f i c i e n t k e yw o r d s ：s t r e a m i n gm e d i a ，v o d ，s c r e e nb r o a d c a s t i n g ，d i r e e t s h o w , l z 7 7 i i 独创性声明 y8 6 1 0 9 5 本人声明，所呈交的论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写的成果，也不包 含为获得武汉理工大学或其它教育机构学位证书而使用过的材 料。与我一起工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 签名：丝! ! ：堕日期：丝! ：兰：望 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规 定，即学校有权保留、送交论文的复印件，允许论文被查阅和借 阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印 或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：墼：! ：叠导师签名：日期：丝! ：! ：1 2 半 武汉理工大学硕十学位论文 第1 章绪论 多媒体信息已成为网络信息的主要组成部分之一，网络传输多媒体信息主要 有下载和流式传输两种方案。音视频文件一般都较大，所以需要的存储容量也 较大，同时由于网络带宽的限制，传输质量的不稳定，下载常常要花数分钟甚 至数小时。近年来，为解决文件下载时间过长的问题，适应网络多媒体化的发 展趋势，一种新兴技术应运而生，这就是遵守特定网络协议的流媒体( s t r e a m i n g m e d i a ) 技术。 流媒体技术是当前十分流行的多媒体技术，其基础是多媒体通信技术。流媒 体一般是指通过i p 网络传送媒体( 如视频、音频) 的技术总称。广义的涵义是使 音频和视频形成稳定丽连续的传输流和回放流的一系列技术、方法和协议的总 称。狭义上讲，流媒体是相对于传统的“下载+ 回放”方式而言的一种新的从 i n t e m e t 上获得音频和视频等流媒体数据的方式，这种方式支持多媒体数据流的 实时传输和实时播放。 使用流视频或流媒体，一个w e b 用户无需在观看视频或听声音前先耗费大 量时间苦苦等待下载一个大文件，而是媒体以种恒定的速率发送，具有一边 到达一边显示的优势，节省了大量的存储空间预先构造的流文件或用实时编码 器对现场信息进行编码得到的现场流都比原始信息的数据量要小，重要的是用 户不必将所有下载的数据都同时存储在本地存储器上，从而节省了大量的磁盘 空间。 1 1 流媒体技术发展现状及其应用 从1 9 9 5 年推出第一个互联网流媒体播放器以来，流媒体应用有了爆炸性增 长。据统计，目前互联网每周约有4 5 万小时的广播节目，5 8 个美国电视台提 供w e b 广播，3 4 个电视台提供点播服务。有近半数的跨国公司在内部使用流媒 体实现w e b 广播。中国电信推出的v n e t 互联星空宽带项目，是目前v n e t 最具 有宽带特色的网上应用服务，也是最能吸引用户使用宽带的亮点。 武汉理工大学硕士学位论文 正如几年前的i p 网络和w e b 技术，流媒体应用正处于持续高速增长时期。 来自国际权威机构的调查显示，2 0 0 3 年在网上访问流媒体的人数增加了6 5 ， 西方网络发达国家访问流媒体的人数已达到1 8 亿，约占网民的1 3 ，在亚洲流 媒体的访问用户也迅速增加到3 5 0 0 万人将近网民的1 6 。 与用户增长相呼应，去年互联网上视频流媒体技术应用增长幅度达2 5 1 。 据j u p t e rc o m m u n i c a t i o n s 预测，流媒体市场将呈现巨大的收入潜能，其中为消 费者服务将创收9 0 亿美元。这样巨大的市场正吸引越来越多的企业参与竞争。 目前，流媒体技术主要的应用如下： 1 远程教育 将信息从教师端传递到远程的学生端，需要传递的信息包括各种类型的数 据：如视频、音频、文本、图片等。由于当前网络带宽的限制，流媒体无疑是 最佳的选择。 除去实时教学以外，使用流媒体中的视频点播v o d f v i d e oo n d e m a n d ) 技 术，更可以达到因材施教、交互式的教学目的。 2 宽带视频点播 随着计算机的发展，v o d 技术逐渐应用于局域网及有线电视网中，虽然 v o d 技术趋于完善，但音、视频信息的庞大容量阻碍了v o d 技术的发展。 由于流媒体经过了特殊的压缩编码，使得它很适合在互联网上传输，在视 频点播方面我们完全可以遗弃局域网而使用互联网。随着宽带网和信息家电的 发展，流媒体技术会越来越广泛地应用于视频点播系统。 3 互联网直播 ( 1 ) 从互联网上直接收看体育赛事、重大庆典、商贸展览等。网络带宽问题 一直困扰着互联网直播的发展，随着宽带网的不断普及和流媒体技术的不断改 进，互联网直播已经从试验阶段走向了实用阶段，并能够提供较满意的音、视 频效果。 ( 2 ) 流媒体技术在互联网直播中充当着重要的角色。无论从技术还是市场上 考虑，现在互联网直播是流媒体众多应用中最成熟的一个。 4 视频会议 市场上的视频会议系统有很多，这些产品基本都支持t c p i p 网络协议，但 采用流媒体技术作为核心技术的系统并不占多数。流媒体并不是视频会议必须 的选择，但是流媒体技术的出现为视频会议的发展起了很重要的作用。 2 武汉理工人学硕士学位论文 1 2 研究的目的及意义 多媒体辅助教学有着众多的优越性，使之已经成为新一代教育的发展方向。 市场上的多媒体辅助教学产品层出不穷。很大程度上丰富了学生的课程外的教 育，如某一学科的辅导软件等。但是这还远远没有达到人们预想的效果，也还 远远没有达到计算机教育能实现的程度。那就是多媒体教学必须与网络结合起 来。没有网络，多媒体辅助教学系统就只能是单机的、学生自主学习的、没有 教师辅导的学习方式，这显然不能满足正规化日常教学生活的需要。因此，迫 切的需要把多媒体计算机技术和网络通信技术紧密结合，构建基于计算机网络 的多媒体网络系统，使之既具有多媒体信息处理和人机交互功能，又实现网上 多媒体信息传递、资源共享和同步交流，大大扩展单机多媒体系统的功能，从 而构成支撑多媒体网络教学理想的协同教学环境。特别是近几年，国家高校普 遍扩招，发展迅速，造成师资、教学设备等紧缺。利用网络教学，广大受教育 者可突破传统教育在教育资源( 师资、教材、实验和演示设备等) 和教学方法( 统 一进度、集中式和单向传授等) 方面的限制，实现优秀教育资源和教育方法不受 时间和空间等约束的共享，受教育者可以根据自己的水平和时间情况安排自己 的学习计划和学习进度，实现传统教育无法做到的“个性化教育”，同时由于多媒 体技术的运用，教学过程中能充分利用文本、图像、图形、音频和动画等多媒 体进行交互，从而激发学习兴趣，提高教学质量。 1 3 本文的主要工作与组织结构 本论文以流媒体技术在网络教学中的应用作为研究对象，通过研究，主要 完成了以下工作： 1 深入研究了流媒体技术的原理，包括流媒体的系统组成和技术原理，流 媒体的网络协议、播放方式、文件格式以及对目前最流行的三种流媒体平台的 比较。 2 深入研究了w i n d o w s 平台下开发流媒体的各种技术，包括媒体控制接口、 音视频压缩管理器、v f w 、d i r e c t s h o w 、w m ps d k 和w i n s o c k 等技术。 3 设计了网络音视频点播和直播系统的整体解决方案； 4 研究并实现系统的六个核心功能模块：音频点播、视频点播、视频直播、 武汉理工人学硕士学位论文 屏幕直播、语音直播和音频直播； 论文着重研究了视频直播和屏幕直播的实现，视频直播采用了d i r e c t s h o w 技术，屏幕直播采用“帧间预测+ 颜色分辨率变化+ l z 7 7 压缩”的方案。使网 络流量大大减小，同时又兼顾了直播的效果。经过理论分析和实践检验，该网 络音视频直播和点播的设计完全满足网络教学的需求，是一个可行的、有效的 解决方案。 组织结构上，全文分为五章： 第一章主要介绍了流媒体技术的发展现状和主要应用，然后阐述了研究课 题的来源、目的和意义，特别是在网络教学方面发挥的重要作用。 第二章阐述了流媒体技术的相关概念和理论，包括流媒体的系统组成，技 术原理，流媒体的网络协议、播放方式、文件格式等，最后对目前最流行的三 种流媒体平台进行了介绍和比较。 第三章主要讨论了在w h l d o w s 平台下开发流媒体应用所涉及到的各种技 术，有媒体控制接口，音视频压缩管理器，v f w ，d i r e c t s h o w ，w m ps d k 和 w i n s o c k 等技术。 第四章提出了音视频直播和点播系统的整体解决方案和详细设计过程，并 给出了具体实现和最终的实验结果。主要围绕系统的六个核心模块展开论述： 音频点播，视频点播，视频直播，屏幕直播，语音直播和音频直播。 第五章对全文进行了总结，并指出了系统存在的问题和下一步的工作，同 时对流媒体技术的前景进行了展望。 武汉理工大学硕：e 学位论文 第2 章流媒体技术 流媒体技术 1 , 1 4 i 是一种当前十分流行的多媒体技术。使用流媒体，用户无需 在观看视频或听声音前先耗费大量时间等待下载一个大文件，而是媒体以一种 恒定的速率发送，具有一边到达一边显示的优势，预先构造的流文件或用实时 编码器对现场信息进行编码得到的现场流都比原始信息的数据量要小，节省了 大量的时间和空间。本章主要阐述了流媒体的基本原理和技术，包括系统组成， 网络协议，播放方式，文件格式以及现有解决方案的比较。 2 1 流媒体系统组成 一个完整的流媒体系统包括编码工具、流媒体数据、服务器、网络和播放 器等几个组成部分。 2 1 1 媒体服务器硬件平台 视频服务器把存储在存储系统中的视频信息以视频流的形式通过网络接口 发送给相应的客户，响应客户的交互请求，保证视频流的连续输出。视频信息 具有同步性要求，一方面必须以恒定的速率播放，否则引起画面的抖动，如 m p e g 1 视频标准要求以1 5 m b s 左右的速度播放视频流。另一方面，在视频 流中包含的多种信号必须保持同步，如画面的配音必须和口型相一致。另外， 视频具有数据量大的特点，它在存储系统上的存放方式，直接影响视频服务器 提供的交互服务，如快进和快倒等功能的实现。因此视频服务器必须解决视频 流特性提出的各种要求。 视频服务器响应客户的视频流后，从存储系统读入一部分视频数据到对应 于这个视频流的特定的缓存中，然后此缓存中的内容送入网络接口发送到客户。 当一个新的客户请求视频服务时，服务器根据系统资源的使用情况，决定是否 响应此请求。其中，系统资源包括存储i o 的带宽、网络带宽、内存大小和c p u 的使用率等。 武汉理工大学硕士学位论文 2 1 2 媒体服务器软件平台 网络视频软件平台包括媒体内容制作、发行与管理模块、用户管理模块、 视频服务器。内容制作涉及视频采集、编码。发行模块负责将节目提交到网页， 或将视频流地址邮寄给用户。内容管理主要完成视频存储、查寻；节目不多时 可使用文件系统，当节目量大时，就必须编制数据库管理系统。用户管理可能 包括用户的登记和授权。视频服务器将内容通过点播或直播的方式播放，对于 范围广、用户多的情形，可在不同的区域中心建立相应的分发中心。 2 2 流媒体技术原理 流媒体是指在网络中使用流式传输技术的连续时基媒体，如：音频、视频和其 它多媒体文件。流媒体技术就是把连续的影像和声音信息经过压缩处理后放在 网站服务器上，让用户边下载边观看、收听，而不需要等整个文件全部下载完毕后 才可以观看的技术。 流媒体技术不是单一的技术，它是建立在很多基础技术之上的技术。它的基 础技术包括：网络通信、多媒体数据采集、多媒体数据压缩、多媒体数据存储、 多媒体数据传输。然而，流媒体实现的关键技术就是流式传输。由于目前的网 络带宽还不能完全满足巨大的a v 、3 d 等多媒体数据流量的要求所以在流媒体 技术中，要实现流式传输应首先对a v 、3 d 等多媒体文件数据进行预处理。预处 理主要包括降低质量和采用先进高效的压缩算法两个方面。 其次与下载方式相比，尽管流式传输降低了系统缓存容量的要求，但它的实 现仍需要缓存。这是因为i n t e m e t 是以包传输为基础进行断续的异步传输，数据 在传输中要被分解为许多包，但网络又是动态变化的，各个包选择的路由可能不 尽相同，故到达用户计算机的时间延迟也就不同。所以，使用缓存系统是用来弥补 延迟和抖动的影响，并保证数据包传输顺序的正确，使媒体数据能连续输出，不会 因网络暂时阻塞而使播放出现停顿。 流式传输的实现还需要合适的传输协议。在流式传输的实现方案中，一般采 用h t t p t c p 来传输控制信息，而用r t p u d p 来传输实时声音视频数据。一般来 说，流式传输的过程包括三个步骤： 武汉理工大学硕士学位论文 ( 1 ) 用户选定一流媒体服务后，w e b 浏览器与w e b 服务器之间使用h t t p t c p 交换控制信息，得到需要传输的实时数据。然后客户机上的w e b 浏览器启动a v h e l p e r 程序，使用h t t p 从w e b 服务器检索相关参数对h e l p e r 程序初始化。这些 参数可能包括目录信息、a ，v 数据的编码类型或与a v 检索相关的服务器地址。 ( 2 ) a vh e l p e r 程序及a 服务器运行实时流协议( r t s p ) ，以交换a v 传输所 需的控制信息。r t s p 提供了操纵播放、快进、快退、暂停及录制等命令的方法。 ( 3 ) a v 服务器使用r t p u d p 协议将a v 数据传输给a v 客户程序( 一般可 认为客户程序等同于h e l p e r 程序) ，一旦a ，v 数据抵达客户端，a ，v 客户程序即可 播放输出。在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通信协议与 a v 服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行a v h e l p e r 程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和播放 器，其基本原理如图2 1 所示。 图2 1 流式传输的基本原理 2 3 流媒体传输协议 2 3 1 实时传输协议r t p r t p 9 1 2 1 是一种提供端对端传输服务的实时传输协议，用来支持在单目标广 播和多目标广播网络服务中传输实时数据，而实时数据的传输则由r t c p 协议 来监视和控制。 武汉理工大学硕士学位论文 r t p 定义在r f c l 8 8 9 中。信息包的结构包含广泛用于多媒体的若干个域， 包括声音点播( a u d i oo nd e m a n d ) 、影视点播( v i d e oo nd e m a n d ) 、因特网电话 ( i n t e m e tt e l e p h o n y ) 和电视会议( v i d e o c o n f e r e n c i n g ) 。r t p 的规格没有对声音和电 视的压缩格式制定标准，它可以被用来传输普通格式的文件。例如，w a v 或者 g s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n s ) 格式的声音、m p e g 1 和m p e g - 2 的电视，也可以用来传输专有格式存储的声音和电视文件。 使用r t p 协议的应用程序运行在r t p 之上，而执行r t p 的程序运行在u d p 的上层，目的是为了使用u d p 的端口号和检查和。r t p 可以看成是传输层的子 层。由多媒体应用程序生成的声音和电视数据块被封装在r t p 信息包中，每个 r t p 信息包被封装在u d p 消息段中，然后再封装在i p 数据包中。 从应用开发人员的角度来看，可把r t p 执行程序看成是应用程序的一部分， 因为开发人员必需把r t p 集成到应用程序中。在发送端，开发人员必需把执行 r t p 协议的程序写入到刨建r t p 信息包的应用程序中，然后应用程序把r t p 信 息包发送到u d p 的套接接口( s o c k e ti n t e r f a c e ) ：同样，在接收端，r t p 信息包通 过u d p 套接接口输入到应用程序，因此开发人员必需把执行r t p 协议的程序写 入到从r t p 信息包中抽出媒体数据的应用程序。 现以用r t p 传输声音为例来说明它的工作过程。假设音源的声音是6 4k b s 的p c m 编码声音，并假设应用程序取2 0 毫秒的编码数据为一个数据块( c h u n k ) ， 即在一个数据块中有1 6 0 个字节的声音数据。应用程序需要为这块声音数据添 加r t p 标题生成r t p 信息包，这个标题包括声音数据的类型、顺序号和时间戳。 然后r t p 信息包被送到u d p 套接接口，在那里再被封装在u d p 信息包中。在 接收端，应用程序从套接接口处接收r t p 信息包，并从r t p 信息包中抽出声音 数据块，然后使用r t p 信息包的标题域中的信息正确地译码和播放声音。 如果应用程序不使用专有的方案来提供有效载荷类型( p a y l o a dt y p e ) 、顺序号 或者时间戳，而是使用标准的r t p 协议，应用程序就更容易与其他的网络应用 程序配合运行，这是大家都希望的事情。例如，如果有两个不同的公司都在开 发因特网电话软件，他们都把r t p 合并到他们的产品中，这样就有希望使用不 同公司电话软件的用户之间能够进行通信。 这里需要强调的是，r t p 本身不提供任何机制来确保把数据及时递送到接 收端或者确保其他的服务质量，它也不担保在递送过程中不丢失信息包或者防 武汉理工大学硕士学位论文 止信息包的次序不被打乱。的确，i p 的封装只是在系统端才能看到，中间的 路由器并不区分那个i p 数据报是运载r t p 信息包的。 r t p 允许给每个媒体源分配一个单独的r t p 信息包流，例如，摄像机或者 麦克风。例如，有两个团体参与的电视会议，这就可能打开4 个信息包流：两 台摄像机传送电视流和两个麦克风传送声音流。然而，许多流行的编码技术， 包括m p e g 一1 和m p e g 一2 在编码过程中都把声音和电视图像捆绑在一起以形成 单一的数据流，一个方向就生成一个r t p 信息包流。 r t p 信息包没有被限制只可应用于单目标广播，它们也可以在一对多 ( o n e t o - m a n y ) 多目标广播树或者在多对( m a n y t o - m a n y ) 的多目标广播树上传 送。例如，多对多的多目标广播，在这种应用场合下，所有发送端通常都把他 们的r t p 信息包流发送到具有相同多目标广播地址的多目标广播树上。 r 1 p 标题由4 个信息包标题域和其他域组成：有效载荷类型_ 3 ( p a y l o a dt y p e ) 域，顺序号( s e q u e n c en u m b e r ) 域，时间戳( t i m e s t a m p ) 域和同步源标识符 ( s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e r ) 域等。 1 有效载荷类型 r t p 信息包中的有效载荷域( p a y l o a dt y p ef i e l d ) 唧的长度为7 位，因此r t p 可支持1 2 8 种不同的有效载荷类型。对于声音流，这个域用来指示声音使用的 编码类型，例如p c m 、自适应增量调制或线性预测编码等等。如果发送端在会 话或者广播的中途决定改变编码方法，发送端可通过这个域来通知接收端。对 电视流，有效载荷类型可以用来指示电视编码的类型，例如m o t i o nj p e g m p e g 1 ，m p e g 一2 或者h 2 3 1 等等。发送端也可以在会话或者期间随时改变电 视的编码方法。 2 顺序号 顺序号( s e q u e n c e n u m b e r f i e l d ) 9 1 域的长度为1 6 位。每发送一个r t p 信息包 顺序号就加1 ，接收端可以用它来检查信息包是否有丢失以及按顺序号处理信息 包。例如，接收端的应用程序接收到一个r t p 信息包流，这个r t p 信息包在顺 序号8 6 和8 9 之间有一个间隔，接收端就知道信息包8 7 和8 8 已经丢失，并且 采取措施来处理丢失的数据。 3 时间戳 武汉理工大学硕士学位论文 时间戳( t i m e s t 咖域【9 】的长度为3 2 字节。它反映r t p 数据信息包中第一个 字节的采样时刻( 时间) 。接收端可以利用这个时间戳来去除由网络引起的信息包 的抖动，并且在接收端为播放提供同步功能。 4 同步源标识符 同步源标识符( s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e r ，s s r c l 9 1 域的长度为3 2 位。 它用来标识r t p 信息包流的起源，在r t p 会话或者期间的每个信息包流都有一 个清楚的s s r c 。s s r c 不是发送端的i p 地址，而是在新的信息包流开始时源端 随机分配的一个号码。 2 3 2 实时流控制协议r t c p 实时传输控制协议( r e a l t i m ec o n t r o lp r o t o c o l ，r t c p ) 1 9 , 2 2 】也定义在1 9 9 6 年 提出的r f c1 8 8 9 中。多媒体网络应用把r t c p 和r t p 一起使用，尤其是在多目 标广播中更具吸引力。当从一个或者多个发送端向多个接收端广播声音或者电 视时，也就是在r t p 会话期间，每个参与者周期性地向所有其他参与者发送 r t c p 控制信息包。r t c p 用来监视服务质量和传送有关与会者的信息。对于r t p 会话或者广播，通常使用单个多目标广播地址，属于这个会话的所有r t p 和 r t c p 信息包都使用这个多目标广播地址，通过使用不同的端口号可把r t p 信 息包和r t c p 信息包区分开来。 r t c p 的主要功能是为应用程序提供会话质量或者广播性能质量的信息。每 个r t c p 信息包不封装声音数据或者电视数据，而是封装发送端和，或者接收端 的统计报表。这些信息包括发送的信息包数目、丢失的信息包数目和信息包的 抖动等情况，这些反馈信息对发送端、接收端或者网络管理员都是很有用的。 r t c p 规格没有指定应用程序应该使用这个反馈信息做什么，这完全取决于应用 程序开发人员。例如，发送端可以根据反馈信息来修改传输速率，接收端可以 根据反馈信息判断问题是本地的、区域性的还是全球性的，网络管理员也可以 使用r t c p 信息包中的信息来评估网络用于多目标广播的性能。 2 3 3 实时流协议r t s p 实时流协议( r e a l t i m es t r e a m i n gp r o t o c o l ，r t s p ) 2 2 , 2 4 1 被描述在r f c9 2 3 2 6 文件中。r t s p 是应用级的实时流协议，它主要目标是为单目标广播和多目标广 1 0 武汉理工大学硕士学位论文 播上的流式多媒体应用提供牢靠的播放性能，以及支持不同厂家提供的客户机 和服务机之间的协同工作能力。 播放的数据流被分成许多信息包，信息包的大小很适用于客户机和服务器 之间的带宽。当客户机已经接收到足够多的信息包之后，用户软件就可开始播 放一个信息包，同时对另一个信息包解压缩和接收第三个信息包。这样用户就 不需要把整个媒体文件从服务器上下载之后就可立即播放。广播源可以是现场 的数据流也可以是存储的数据流。 r t s p 协议想要提供控制多种应用数据传送的功能，提供一种选择传送通道 的方法，例如u d p ，t c p ，i p 多目标广播通道，以及提供一种基于r t p 协议的递 送方法。r t s p 工作在r t p 的上层，用来控制和传送实时的内容。r t s p 能够与 资源保留协议一起使用，用来设置和管理保留带宽的流式会话或者广播。 2 3 4 资源预留协议r s v p 资源预留协议( r c s o u r c er e s e r v a t i o np r o t o c o l ，r s v p ) 2 2 1 是网络控制协议，运 行在传输层。由于音视频流对网络的时延比传统数据更敏感，因此在网络中除 带宽要求外还需满足其它的条件。在i n t e m e t 上开发的资源预留协议可以为流媒 体的传输预留一部分网络资源，从而保证服务质量( q o s ) 。 2 4 流媒体播放方式 2 4 1 单播 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器 送出的每个数据包只能传送给一个客户机，这种传送方式称为单播。每个用户必 须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请 的数据包拷贝。这种巨大冗余首先造成服务器沉重的负担，响应需要很长时间， 甚至停止播放；管理人员也被迫购买硬件和带宽来保证一定的服务质量。 2 4 2 组播 i p 组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制 到多个通道上。采用组播方式，单台服务器能够对几十万台客户机同时发送连 武汉理工大学硕士学位论文 续数据流而无延时。媒体服务器只需要发送一个信息包，而不是多个；所有发 出请求的客户端共享同一信息包。信息可以发送到任意地址的客户机，减少网 络上传输的信息包的总量。网络利用效率大大提高，成本大为下降。 2 4 3 广播 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制 流。例如，用户不能暂停、快进或后退该流。广播方式中数据包的单独一个拷 贝将发送给网络上的所有用户。使用单播发送时，需要将数据包复制多个拷贝， 以多个点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数 据包的单独一个拷贝将发送给网络上的所有用户，而不管用户是否需要，上述 两种传输方式会非常浪费网络带宽。组播吸收了上述两种发送方式的长处，克 服了上述两种发送方式的弱点，将数据包的单独个拷贝发送给需要的那些客 户。组播不会复制数据包的多个拷贝传输到网络上，也不会将数据包发送给不 需要它的那些客户，保证了网络上多媒体应用占用网络的最小带宽。 2 4 4 点播 点播连接是客户端与服务器之间的主动的连接。在点播连接中，用户通过 选择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停 流。点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服 务器，却会迅速用完网络带宽。 2 5 流媒体文件格式 2 5 1r e a l m e d i a 文件格式 r e a l n e t w o r k s 公司的r e a l m e d i a 包括r e a l a u d i o 、r e a l v i d e o 和r e a l f l a s h 三 类文件，其中r e a l a u d i o 用来传输接近c d 音质的音频数据，r e a l v i d e o 用来传 输不间断的视频数据，r e a l f l a s h 则是r e a l n e t w o r k s 公司与m a c r o m e d i a 公司新 近联合推出的一种高压缩比的动画格式r e a l m e d i a 文件格式的引入了，它使得 r e a l s y s t e m 可以通过各种网络传送高质量的多媒体内容。第三方开发者可以通 过r e a l n e t w o r k s 公司提供的s d k 将它们的媒体格式转换成r e a l m e d i a 文件格式。 武汉理工大学硕士学位论文 2 5 2 高级流格式a s f m i c r o s o f t 公司的w i n d o w sm e d i a 的核心是a s f ( a d v a n c e ds t r e a mf o r m a t ) 。 微软将a s f 定义为同步媒体的统一容器文件格式。a s f 是一种数据格式，音频、 视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形 式传输，实现流式多媒体内容发布。 a s f 最大优点就是体积小，因此适合网络传输，使用微软公司的最新媒体播 放器( m i c r o s o f tw i n d o w sm e d i ap l a y e r ) 可以直接播放该格式的文件。用户可以将 图形、声音和动画数据组合成一个a s f 格式的文件，当然也可以将其他格式的 视频和音频转换为a s f 格式，而且用户还可以通过声卡和视频捕获卡将诸如麦 克风、录像机等等外设的数据保存为a s f 格式。另外，a s f 格式的视频中可以 带有命令代码，用户指定在到达视频或音频的某个时间后触发某个事件或操作。 a s f 文件允许制作者很容易地定义新的媒体类型。a s f 格式提供了非常有效 的灵活地定义符合a s f 文件格式定义的新的媒体流类型。任一存储的媒体流逻 辑上都是独立于其他媒体流的，除非在文件头部分明显地定义了其与另一媒体 流的关系。 特定的有关播放部件的信息( 如，解压缩算法和播放器) 能够存储在a s f 文件 头部分，这些信息能够为客户机用来找到合适的所需的播放部件的版本如 果它们没有在客户机上安装。 a s f 是设计用来表示可伸缩的媒体类型的带宽之间的依赖关系。a s f 存储 各个带宽就像一个单独的媒体流。媒体流之间的依赖关系存储在文件头部分， 为客户机以一个独立于压缩的方式解释可伸缩的选项提供了丰富的信息流的优 先级化一现代的多媒体传输系统能够动态地调整以适应网络资源紧张的情况 ( 如，带宽不足) 。多媒体内容的制作者要能够根据流的优先级表达他们的参考信 息，如最低保证音频流的传输。随着可伸缩媒体类型的出现，流的优先级的安 排变得复杂起来，因为在制作的时候很难决定各媒体流的顺序。a s f 允许内容 制作者有效地表达他们的意见( 有关媒体的优先级) ，甚至在可伸缩的媒体类型出 现的情况下也可以。 a s f 设计为支持多语言，媒体流能够可选地指示所含媒体的语言。这个功 能常用于音频和文本流。一个多语言a s f 文件指的是包含不同语言版本的同一 内容的一系列媒体流，其允许客户机在播放的过程中选择最合适的版本。 武汉理工人学硕士学位论文 a s f 提供可继续扩展的目录信息的功能，该功能的扩展性和灵活性都非常 好。所有的目录信息都以无格式编码的形式存储在文件头部分，并且支持多语 言，如果需要，目录信息既可预先定义，也可以是制作者自定义。目录信息功 能既可以用于整个文件也可以用于单个媒体流。 2 5 3m o v i e 文件格式 a p p l e 公司的q u i c k t i m e 电影文件现已成为是数字媒体领域的工业标准。 q u i c k t i m e 电影文件格式定义了存储数字媒体内容的标准方法，使用这种文件格 式不仅可以存储单个的媒体内容( 如视频帧或音频采样) ，而且能保存对该媒体作 品的完整描述；q u i c k t i m e 文件格式被设计用来适应为与数字化媒体一同工作需 要存储的各种数据。因为这种文件格式能用来描述几乎所有的媒体结构，所以 它是应用程序间( 不管运行平台如何) 交换数据的理想格式。q u i c k t i m e 文件格式 中媒体描述和媒体数据是分开存储的，媒体描述或元数据( m e t a