第一章流媒体

多媒体网络和流媒体技术

MultimediaNetworkandStreamingMediaTechnology海南大学信息信息学院参考资料《流媒体技术宝典》SteveMack著，电子工业出版社《流媒体技术与应用完全手册》肖磊等著，清华大学出版社《多媒体通信技术》李小平等著，北京航空航天大学出版社内容介绍1.流媒体技术概述2.流媒体技术的主流产品3.适应流式应用的多媒体编码解码技术

4.流式文本文件的制作5.同步多媒体集成语言SMIL6.流媒体的网络传输与控制协议7.流媒体的平台搭建8.流媒体的制作和发布9.移动流媒体技术概述10.流媒体相关硬件与产品实验内容1.各种流媒体文件格式的熟悉2.流媒体节目的制作3.流媒体的转换4.SMIL的编程5.流媒体服务器的安装和运行6.流媒体的嵌入Chapter1流媒体综述1.多媒体技术利用计算机技术把文本、图形、图像、动画、音频及视频等多种媒体综合一体化，使之建立起逻辑上的联系，并能够对它们进行获取、编码、编辑、处理、存储、传输和再现。1.1流媒体的概念1.1.1多媒体2.多媒体技术的基本特征信息载体的多样性（采集、传输、存储、处理、呈现）集成性（如文本、图形、图像、视频、音频）交互性协同性和实时性3.多媒体关键技术：视频/音频数据的压缩和解压缩技术多媒体数据存储技术多媒体数据库技术超文本与超媒体技术基于内容的多媒体信息检索多媒体通信网络技术虚拟现实技术（涉及三维实时图形显示、三维定位跟踪、触觉及传感技术、人工智能等）

多媒体计算机的软、硬平台4.多媒体传播途径信息存储媒体网络5.多媒体信息特征数据量庞大：码率可变、突发性强复合性信息多，同步性、实时性要求高1.1.2流媒体概念流媒体：指在Internet/Intranet网络中使用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。简单来说，应用流技术在网络上传输的多媒体文件。流媒体技术：一种可以使音频、视频和其他多媒体文件能在Internet及Intranet上以实时的、无需下载等待的方式进行播放的技术。1.1.3流媒体的发展历史(1)

1994年美国公司RealNetworks成立后，流媒体开始在互联网上应用。1997年该公司相继发布了多款应用非常广泛的流媒体播放器---realplayer,之后微软也推出了自己全新格式的流媒体产品WindowsMedia,并开始了和RealNetworks的竞争。

随着市场激烈的竞争，微软不断进行技术改进，将WindowsMedia9series捆绑到2003年发布的Wserves,在编码和解码方面都做了不小的改进。

1.1.3流媒体的发展历史(2)

目前，流媒体技术在国内逐步扩大应用，诸如中央电视台采用RealNetworks公司的流媒体技术实现了在线视听、网上现场直播；湖南卫视、中国大饭店、望京地区等采用Oracle公司的系统实现视频点播；流媒体技术在电子商务、产品发布、信息广播、远程教育、远程医疗、远程监控等方面都有很成功的应用实例媒体系统结构现存流媒体解决方案采用的技术是多样的，但其体系结构的本质是相近的。流媒体的体系构成：①编码工具：用于创建、捕捉和编辑多媒体数据，形成流媒体格式；②流媒体数据；③服务器：存放和控制流媒体的数据；④网络：适合多媒体传输协议甚至实时传输协议的网络；⑤播放器：供客户端浏览流媒体文件（通常是独立的播放器和ActiveX方式的插件）。1.1.4流媒体体系结构RealPlayer播放器1.1.5流媒体的播放器（常见）WindowsMedia媒体播放器Apple公司的QuickTime播放软件（1）采用视频捕获装置对事件进行录制；（2）对获取的内容进行编辑，然后利用视频编辑硬件和软件对它进行数字化处理；（3）经数字化的视频和音频内容被编码为流媒体（如.rm）格式。（4）媒体文件或实况数据流被保存在安装了流媒体服务器软件的宿主计算机上；（5）用户点击网页请求视频流或访问流内容的数据库；（6）宿主服务器通过网络向最终用户提交数字化内容；（7）最终用户利用桌面或移动终端上的显示媒体内容的播放程序（如Realplayer）进行回放和观看。1.1.6流媒体技术的实现过程1.2流式传输的基础主要指通过网络传送媒体（如音频、视频）的技术总称。其特定含义为通过Internet将影视节目传送到PC机。1.2.1流式传输的定义1.2.2支持流媒体传输的网络协议实时传输协议RTP实时传输控制协议RTCP实时流协议RTSP资源预留协议RSVP多用途Internet邮件扩展协议MIME(MultipurposeInternetMailExtensions)——识别流媒体类型的途径1.2.3流式传输的方式1.顺序流式传输顺序下载，并在下载文件的同时播放在线媒体；在给定时刻，用户只能播放已下载的部分，而不能跳到还未下载的部分HTTP流式传输文件播放的部分是无损下载点播技术2.实时流式传输实时传送，特别适合现场事件；支持随机访问，用户可快进或后退，以观看前面或后面的内容需要专用的流媒体服务器与传输协议匹配连接宽带实时流式传输：视频为实时广播，或使用流式传输媒体服务器，或应用如RTSP的实时协议顺序流式传输：使用HTTP服务器1.3流媒体工作原理

由于目前的存储容量和网络带宽还不能完全满足巨大的A/V，3D等多媒体数据流量的要求，所以对A/V，3D等多媒体数据一般要进行预处理后才能进行存储或传输。预处理主要包括采用先进高效的压缩算法和降低质量（有损压缩）两个方面。同样，在流媒体技术中，进行流式传输的多媒体数据应首先经过特殊的压缩，然后分成一个个压缩数据包，由服务器向用户计算机连续、实时传送。1.3.1流式传输典型结构WebBrowserWebServerA/VPlayerA/VServerRTSP(RTP)/TCP(UDP)HTTP/TCPMetaFileOrientation流程：（1）Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息,以便把需要传输的实时数据从原始信息中检索出来。（2）用HTTP从Web服务器检索相关数据，A/V播放器进行初始化。（3）从Web服务器检索出来的相关服务器的地址定位A/V服务器。（4）A/V播放器与A/V服务器之间交换A/V传输所需要的实时控制协议。（5）一旦A/V数据抵达客户端,A/V播放器就可以播放了。1.3.2流媒体应用系统的关键技术1）音视频压缩编码多速率编码与码流的切换可伸缩编码（ScalableCoding或LayeredCoding)2)应用层Qos控制拥塞控制

*结合传输层TCP的拥塞控制*基于速率的拥塞控制*拥塞检测*媒体流的速率调整差错控制

*结合传输层差错控制*编码层差错控制3）媒体同步技术流内同步（利用接受缓冲器同步）*缓存器容量的设计*自适应微调播放速率流间同步

*基于全局时钟的时间戳法*基于反馈的主从同步法4）流服务器操作系统有关技术*任务调度*资源管理*磁盘调度存储子系统有关技术*数据分布存储方式*层次化存储结构*其他5）内容分发服务在IP网络上提供服务和传输媒体数据基于IP网构建内容分发网络（CDN）1.4流媒体的网络播放方式单播组播点播广播客户端与服务器之间的点到点连接，在客户端与媒体服务器之间建立一个单独的数据通道。通过启用组播网络传递内容流，网络中的所有客户端共享同一流。用户被动接收流。客户端与服务器之间的主动的连接。1.4流媒体的网络播放方式（cont’d）点播单播广播单播广播组播客户端连接到服务器以接收特定内容，该内容也只传往一个客户端。客户端通过发布点上的别名访问流。被动的用户通过监视特定的IP地址接收组播ASF流。1.5流式技术的主要解决方案组成：RealProducer,RealServer,ClientSoftware流媒体文件：RealAudio,RealVideo,RealPresentation,RealFlashSureStream技术：自动地并持续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求；在网上实现音频、视频和三维动画的回放1.5.1RealSystem1.5.2WindowsMediaTechnologyASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。组成：MediaTools,MediaServer,MediaPlayer保证文件的保密性，不被未授权下载，使每个使用者都能以最佳的影片品质浏览网页，具有多种文件发布形式和监控管理功能。提供流信息的播放功能1.5.3QuickTime组成：QuickTimeStreamingServer,QuickTimePlayer,QuickTimePro,PictureViewer,QuickTimePlug-inUnit支持流类型：实时流和快速启动流RTP传输数据HTTP/FTP传输数据Macromedia的Shockwave技术在Web页面中加入图像、动画以及交互式界面等操作产品：Flash,ShockwaveforAuthorware,ShockwaveforDirectorMeataCreation的MetaStream技术在网上创建、发布及浏览被缩放的3D图形eg.游戏开发厂商、页面设计者、电子商务补：1.5.4FMS（AdobeFlashMediaServer）Adobe的FMS是一个多媒体应用平台，在这个平台上，可以实现多媒体流的点播、直播、交互等多种应用，由于Adobe公司在网络多媒体应用上的雄厚实力，以及AdobeFlashPlayer在网络上应用的广泛性，因此，FMS成为诸多多媒体应用的服务器端主要应用平台。如Youtube、tudou等。FMS是一个应用平台，同时更是一个二次开发平台，在这个平台上，可以实现多种网络多媒体内容的传播和交互应用。MacromediaFlashMediaServer与传统的媒体平台相比有哪些优势?通过Flash平台并借助FlashMediaServer交付音频和视频能使发布者创建各种体验。通过无所不在的FlashPlayer实现跨平台和浏览器的一致性。无缝集成到播放器中的网站上,并保留该网站的外观和品牌。进行深入的交互式体验。有哪些可用的应用?已构建了各种富媒体应用,包括视频点播、网上直播、音频/视频消息、音频/视频博客、实时音频/视频、文本聊天室、实时数据广播、多用户游戏以及更多应用。1.6流媒体文件格式1.6.1压缩媒体文件格式常用视频、音频压缩文件类型文件压缩过程1.6.2流式文件格式常用流式文件格式流式文件编码过程1.6.3媒体发布格式常用媒体发布格式1.7流媒体系统的构成包括媒体采集与编码转档/转码软件：可将普通格式的音频、视频或动画媒体文件通过压缩转换为流服务器进行流式传输的流格式文件。（RealProducer,WindowsMediaEncoder）流媒体编辑软件：对流媒体文件进行编辑，常与转档/转码软件捆绑在一起。合成软件：可将各类图片、声音、文字、视频、幻灯片或网页同步，并合成为一个流媒体文件。（RealSlideShow,RealPresenter,WindowsMediaAuthor）编程软件：可开发流式传输的新数据类型，创建客户端应用，自定义流媒体系统。（SDK）1.7.1媒体内容制作1.7.2媒体内容管理包括流媒体文件的存储、查询及节目管理、创建和发布。视频业务管理媒体发布系统：包括广播和点播的管理，节目管理，创建、发布及计费认证服务，提供定时按需录制、直播、传送节目的解决方案，管理用户访问及多服务器系统负载均衡调度的服务。媒体存储系统：必须配备大容量的磁盘阵列，具有高性能的数据读写能力，访问共享数据，高速传输外界请求数据，并具有高度的可扩展性、兼容性，支持标准的接口。媒体内容自动索引检索系统：对媒体源进行标记，捕捉音频、视频文件并建立索引，建立高分辨率媒体的低分辨率代理文件。1.7.3用户管理涉及用户的登记、授权、计费和认证用户身份验证：限制非法用户使用系统计费系统：根据用户访问的内容或时间进行相应的费用统计媒体数字版权加密系统（DRM）：允许内容提供商在其发布的媒体或节目中对指定的时间段、观看次数及其内容进行加密和保护。1.7.4视频服务器网络视频的核心采用时间片调度算法存储量大，数据率高，具备接纳控制、请求处理、数据检索、按流传送等功能存储设备多采用SCSI接口，以确保高速、并行、多重I/O总线能力流媒体系统通常支持多服务器协同工作，服务器之间能自动进行负载均衡1.7.5客户端系统支持实时音频、视频直播和点播可嵌入到流行的浏览器中可播放多种流行的媒体格式支持流媒体中的多种媒