流媒体技术基础

1、第二章第二章 流媒体技术基础流媒体技术基础2.1 Windows Media 2.1 Windows Media 2.2 Real Media2.2 Real Media2.3 QuickTime2.3 QuickTime2.4 2.4 其他流媒体技术其他流媒体技术FlashFlash流格式动画流格式动画2.1 Windows Media2.1 Windows Media Windows Media TechnologyWindows Media Technology是是MicrosoftMicrosoft提出的信息提出的信息流式播放方案，旨在流式播放方案，旨在InternetInternet

2、和和IntranetIntranet上实现包括上实现包括音频、视频信息在内的多媒体流信息的传输。音频、视频信息在内的多媒体流信息的传输。 其其技术核心技术核心是是ASFASF（Advanced Stream Format Advanced Stream Format 高高级流格式）文件，级流格式）文件，ASFASF是一种包含音频、视频、图像是一种包含音频、视频、图像以及控制命令、脚本等多媒体信息的数据格式，通过以及控制命令、脚本等多媒体信息的数据格式，通过分成分成一个个的网络数据包一个个的网络数据包在在InternetInternet上传输，实现流上传输，实现流式多媒体内容发布，因此，我们把在

3、网络上传输的内式多媒体内容发布，因此，我们把在网络上传输的内容就称为容就称为ASF StreamASF Stream。 ASFASF支持任意的压缩支持任意的压缩/ /解压缩编码方式，并可以使解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。用任何一种底层网络传输协议，具有很大的灵活性。2.1.1 Windows Media 2.1.1 Windows Media 技术平台概述技术平台概述Windows Media Windows Media 技术平台由技术平台由Media ToolsMedia Tools，Media Media ServerServer和和Media Pl

4、ayerMedia Player工具构成。工具构成。 1 1）Media ToolsMedia Tools是整个方案的重要组成部分，它是整个方案的重要组成部分，它提供了一系列的工具帮助用户生成和编辑提供了一系列的工具帮助用户生成和编辑ASFASF格式的格式的多媒体流（包括实时生成的多媒体流）；多媒体流（包括实时生成的多媒体流）； 2 2）Media ServerMedia Server可以保证文件的保密性，不被下可以保证文件的保密性，不被下载，并使每个使用者都能以最佳的影片品质浏览网载，并使每个使用者都能以最佳的影片品质浏览网页，同时具有多种文件发布形式和监控管理功能；页，同时具有多种文件发布

5、形式和监控管理功能； 3 3）Media PlayerMedia Player则提供强大的流信息的播放功能。则提供强大的流信息的播放功能。 1.Windows Media1.Windows Media工具工具创建、编辑工具；创建、编辑工具； 2.Windows Media2.Windows Media服务器服务器单播、组播（广播）；单播、组播（广播）； 3.Windows Media3.Windows Media播放。播放。l 创建工具：创建工具： 生成生成ASFASF格式的多媒体流格式的多媒体流l 编辑工具：编辑工具：l MediaMedia播放播放将实时或存储的视频、音频内容转化将实时或存

6、储的视频、音频内容转化为为ASFASF流，经服务器在网络中传送。流，经服务器在网络中传送。编码：编码：Media EncoderMedia Encoder创作：创作：Media AuthorMedia Author演示音频演示音频转换：转换：VidToAsfVidToAsf、WavToAsfWavToAsf 声音、电影文件声音、电影文件AsfAsf格式格式对对ASFASF格式的流信息进行编辑与管理格式的流信息进行编辑与管理后期制后期制作工具，作工具， ASF CheckASF Check、 ASF ChopASF Chop用于检用于检验、修复或新增与删除验、修复或新增与删除asfasf要素。要

7、素。可以播放单播、组播（广播）提供的内容可以播放单播、组播（广播）提供的内容2.1.2 Windows Media 2.1.2 Windows Media 组件组件2.1.3 ASF2.1.3 ASF格式格式ASFASF是一种数据格式，音频、视频、图形、动画以及控是一种数据格式，音频、视频、图形、动画以及控制命令脚本等多媒体信息通过此格式，以网络数据制命令脚本等多媒体信息通过此格式，以网络数据包的形式传输，实现流式多媒体内容发布。包的形式传输，实现流式多媒体内容发布。 ASFASF的技术特点的技术特点: : 主要视频部分采用主要视频部分采用MPEG-4MPEG-4压缩算法；压缩算法； 音频部分

8、采用音频部分采用WMAWMA算法；算法； 压缩比和视、音频的质量均好。压缩比和视、音频的质量均好。 ASFASF最大的最大的优点优点就是就是体积小、适合网络传输。体积小、适合网络传输。特点：特点： (1)(1)可扩展的媒体类型（可扩展的媒体类型（ASFASF文件允许制作者很容易的定义文件允许制作者很容易的定义新的媒体格式类型）。新的媒体格式类型）。 (2)(2)部件下载（具有特定的有关播放的信息，这些信息能部件下载（具有特定的有关播放的信息，这些信息能够为客户机找到合适的所需的播放部件）。够为客户机找到合适的所需的播放部件）。 (3)(3)可伸缩的媒体类型（可伸缩的媒体类型（ASFASF是设计

9、用来表示可伸缩的媒体是设计用来表示可伸缩的媒体类型的类型的“带宽带宽”之间的依赖关系）。之间的依赖关系）。 (4)(4)流的优先级化（流的优先级化（ASFASF允许制作者有效的表达他们的意见允许制作者有效的表达他们的意见（有关媒体的优先级）甚至在可伸缩媒体类型出现的情况下（有关媒体的优先级）甚至在可伸缩媒体类型出现的情况下也可以）。也可以）。 (5)(5)多语言（多语言（ASFASF设计支持多语言）。设计支持多语言）。 (6)(6)目录信息（目录信息（ASFASF提供可继续扩展的目录信息的功能）。提供可继续扩展的目录信息的功能）。ASFASF文件格式文件格式： ASF ASF 格式文件基本的组

10、织单元称为格式文件基本的组织单元称为ASFASF对象对象，其结构包括：，其结构包括：全球唯一的全球唯一的对象标识符对象标识符（Object IDObject ID）16B=12816B=128位；位；对象大小对象大小（Object SizeObject Size）8B=648B=64位；位；和和可变长的对象数据可变长的对象数据（Object DataObject Data）XBXB。ASFASF文件逻辑上是由三个高层对象组成文件逻辑上是由三个高层对象组成: :头对象头对象（Header ObjectHeader Object）数据对象数据对象(Data Object)(Data Object)

11、和和索引对象索引对象(Index Object)(Index Object) ASFASF文件的三个高层对象文件的三个高层对象ASFASF连接对象连接对象头对象头对象头对象数据对象数据对象索引对象索引对象其他对象其他对象ASF ASF 头对象头对象 在在ASFASF的三个高层对象中，头对象是唯一包含其他的三个高层对象中，头对象是唯一包含其他ASF ASF 对象的对象。头对象可能包含以下对象：对象的对象。头对象可能包含以下对象： l文件属性对象文件属性对象全局文件属性。全局文件属性。 l流属性对象流属性对象定义一个媒体流和其属性。定义一个媒体流和其属性。 l内容描述对象内容描述对象包含所有目录信

12、息。包含所有目录信息。 l部件下载对象部件下载对象提供播放部件信息。提供播放部件信息。 l流组织对象流组织对象逻辑上把多个媒体流组织在一起。逻辑上把多个媒体流组织在一起。 l可伸缩对象可伸缩对象定义媒体流之间的可伸缩的关系。定义媒体流之间的可伸缩的关系。 l优先级对象优先级对象定义相关流的优先级。定义相关流的优先级。 l相互排斥对象相互排斥对象定义排斥关系如语言选择。定义排斥关系如语言选择。 l媒体相互依赖对象媒体相互依赖对象定义混合媒体流之间的相互定义混合媒体流之间的相互依赖关系。依赖关系。 l级别对象级别对象根据根据W3C PICSW3C PICS定义文件的级别。定义文件的级别。 l索引参

13、数对象索引参数对象提供必要的信息以重建提供必要的信息以重建ASFASF文件文件的索引。的索引。ASFASF数据对象数据对象 数据对象包含一个数据对象包含一个ASF ASF 文件的所有多媒体数据。文件的所有多媒体数据。多媒体数据以多媒体数据以ASFASF数据单元的形式存储，每一个数据单元的形式存储，每一个ASFASF数据单元都是可变长的，且包含的数据必须是同一数据单元都是可变长的，且包含的数据必须是同一种媒体流。种媒体流。ASFASF索引对象索引对象 ASFASF索引对象包含一个嵌入索引对象包含一个嵌入ASFASF文件的多媒体数文件的多媒体数据的基于时间的索引。据的基于时间的索引。2.2 Rea

14、l Media2.2 Real Media1 1、Real NetworksReal Networks公司是世界领先的网上流式视音频公司是世界领先的网上流式视音频解决方案的提供者，提供从制作端、服务器端到客解决方案的提供者，提供从制作端、服务器端到客户端的所有产品。它的户端的所有产品。它的客户端播放器客户端播放器 RealplayerRealplayer的的全球注册人数全球注册人数已经达到已经达到4 4亿人。亿人。Rea NetworksRea Networks公司最新的网上流式视音频解决方案叫公司最新的网上流式视音频解决方案叫RealSystem IQRealSystem IQ，其优点其优点

15、是是容易安装容易安装，在，在高低带宽均高低带宽均可可提供良好的视音频质量，但提供良好的视音频质量，但价格较贵价格较贵。作为流媒。作为流媒体领域的主导厂商，体领域的主导厂商，Rea NetworksRea Networks公司凭借其优秀公司凭借其优秀的技术的技术, ,占领了一多半的网上流式视音频点播市场。占领了一多半的网上流式视音频点播市场。RealMediaRealMedia发展的时间比较长，因此具有很多先进的设发展的时间比较长，因此具有很多先进的设计，例如：计，例如：可伸缩视频技术可伸缩视频技术：可以根据用户计算机速度和链接质：可以根据用户计算机速度和链接质量而自动调整媒体的播放质量。量而自

16、动调整媒体的播放质量。两次编码技术两次编码技术：可通过对媒体内容进行预扫描，再根：可通过对媒体内容进行预扫描，再根据扫描的结果来编码从而提高编码质量。据扫描的结果来编码从而提高编码质量。自适应流技术自适应流技术：可通过一个编码流提供自动适合不同：可通过一个编码流提供自动适合不同带宽用户的流播放。带宽用户的流播放。2.2.1 Real system2.2.1 Real system系统组成系统组成Real SystemReal System由由媒体内容制作工具媒体内容制作工具Real ProducerReal Producer、服务器端服务器端RealServerRealServer、客户端软件

17、客户端软件（Client Client SoftwareSoftware）3 3部分组成部分组成。 Real SystemReal System采用采用SureStreamSureStream技术技术，自动地并持，自动地并持续地调整数据流的流量以适应实际应用中的各种续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求，轻松实现视音频和三维动画不同网络带宽需求，轻松实现视音频和三维动画的回放。的回放。2.2.2 Real Media2.2.2 Real Media文件格式文件格式在在Real Media Real Media 规范中主要包括三类文件：规范中主要包括三类文件：lRealAud

18、ioRealAudio：传输接近：传输接近CDCD音质的音频数据音质的音频数据lRealVideoRealVideo：传输不间断的视频数据：传输不间断的视频数据lRealFlashRealFlash：高压缩比的动画格式：高压缩比的动画格式RealMedia RealMedia 文件格式；使文件格式；使RealSystemRealSystem可以通可以通 过各种网络传送高质量的多媒体过各种网络传送高质量的多媒体 内容。内容。 1. 1. 加标志的文件格式加标志的文件格式 使用四字符编码来标识文件元素。使用四字符编码来标识文件元素。文件的基本部件是块（文件的基本部件是块（chunkchunk）每个

19、块包括下面字段：每个块包括下面字段： ID:ID:指明块标识符的四字符编码；指明块标识符的四字符编码； Size:Size:块中限定数据大小的块中限定数据大小的3232位数值；位数值； Data:Data:数据块部分。数据块部分。依类型的不同，上层的块可以包含子对象。依类型的不同，上层的块可以包含子对象。2. 2. 报头部分报头部分 一般情况下，一般情况下，RealMedia RealMedia 的报头部分有下面四种：的报头部分有下面四种： RealMediaRealMedia文件报头文件报头RealMediaRealMedia文件的第一个块文件的第一个块 属性报头（属性报头（Properti

20、es Header Properties Header ） 媒体属性报头（媒体属性报头（Media Properties Header Media Properties Header ） 内容描述报头（内容描述报头（Content Description Header Content Description Header ） RealMedia RealMedia 文件报头以后，其它报头的出现可以任何次序。文件报头以后，其它报头的出现可以任何次序。 3. 3. 数据部分（数据部分（Data SectionData Section） 由数据部分报头和后面排列的媒体数据包组成。由数据部分报头和后面

21、排列的媒体数据包组成。数据块报头标志数据块的开始，媒体数据包是流媒体数据的数数据块报头标志数据块的开始，媒体数据包是流媒体数据的数据包。据包。4. 4. 索引部分（索引部分（Index SectionIndex Section） 由描述索引区内容的索引块报头和一串索引记录组成由描述索引区内容的索引块报头和一串索引记录组成2.2.3 Real System2.2.3 Real System中的数据通信中的数据通信RealProducerRealServerRealPlayerTCPUDPTCPUDPRAM2.2.4 Real System 2.2.4 Real System 系统中系统中 RTS

22、P RTSP 通信通信RTSP ServerRTSP ServerTCPTCP控制信道控制信道单工单工UDPUDP信道信道(provide media data)(provide media data)全双工全双工UDPUDP信道信道(provide synchronization)(provide synchronization)Odd PortOdd PortRTSP ClientRTSP ClientEven PortEven PortOdd PortOdd PortRTSP ServerRTSP ServerTCPTCP控制信道控制信道单工单工UDPUDP信道信道(provide me

23、dia data)(provide media data)单工单工UDPUDP重发请求重发请求服务器端口服务器端口缺省值：缺省值：554554RTSP ClientRTSP Client2.2.5 Real Server2.2.5 Real Server中的多播技术中的多播技术将一个将一个现场直播流现场直播流同时传递给多个客户端，而无需为同时传递给多个客户端，而无需为每一客户的连结发送一个单独的数据流每一客户的连结发送一个单独的数据流, ,客户端只需客户端只需连结到这个数据流，而不是连结到连结到这个数据流，而不是连结到 Real ServerReal Server，从而降低带宽的使用。从而降低

24、带宽的使用。为了利用多播技术的优势，在服务器和客户端之间的为了利用多播技术的优势，在服务器和客户端之间的所有设备必须是支持多播技术的，包括路由器、交所有设备必须是支持多播技术的，包括路由器、交换机和其他的网络设备。换机和其他的网络设备。一般用在一般用在IntranetIntranet环境中。环境中。1. Back-Channel Multicast1. Back-Channel Multicast（反向信道多播）（反向信道多播）l在客户端和服务器之间保持一个用于统计和控制信在客户端和服务器之间保持一个用于统计和控制信息交互的控制信息息交互的控制信息l双向传输双向传输lRTSPRTSP或或PNA

25、PNA协议：提供验证和连接统计功能协议：提供验证和连接统计功能2. Scalable Multicast2. Scalable Multicast（可伸缩多播）（可伸缩多播）l无控制信道无控制信道l用户统计只能在多播结束或用户停止播出或关闭用户统计只能在多播结束或用户停止播出或关闭Real PlayerReal Player时进行时进行l单向传输单向传输lUPLUPL格式格式lSDPSDP（会话描述协议）（会话描述协议）2.2.6 Real Server2.2.6 Real Server中的分流技术中的分流技术一般用于网络直播一般用于网络直播TransmitterTransmitter（发送服

26、务器）通过（发送服务器）通过UDPUDP单播、单播、UDPUDP组播和组播和TCPTCP将直播媒体流发送到分布在各地的多个接收服务器，客户将直播媒体流发送到分布在各地的多个接收服务器，客户端可以就近访问服务器获得较高质量的媒体流。端可以就近访问服务器获得较高质量的媒体流。减少带宽使用减少带宽使用TransmitterTransmitter与与ReceiverReceiver（接收服务器）之间由高速链路（接收服务器）之间由高速链路连接。连接。2.2.7 Sure Stream2.2.7 Sure Stream存在问题：通过低速率调制解调器与存在问题：通过低速率调制解调器与InternetInte

27、rnet连接；限制发布连接；限制发布媒体质量或连接人数。媒体质量或连接人数。解决方法：一、服务器减少发送给客户端的数据而阻止再缓冲，解决方法：一、服务器减少发送给客户端的数据而阻止再缓冲，在在Real System 5.0Real System 5.0中，称为中，称为“视频流瘦化视频流瘦化”；二、根据不；二、根据不同连接速率创建多个文件，根据用户连接，服务器发送相应同连接速率创建多个文件，根据用户连接，服务器发送相应文件。文件。Sure StreamSure Stream技术：一、确立一个编码框架，允许不同速率的技术：一、确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中；二、

28、采用一种复杂多个流同时编码，合并到同一个文件中；二、采用一种复杂客户客户/ /服务器机制探测带宽变化。服务器机制探测带宽变化。2.3 Quick Time2.3 Quick Time2.3.1 Quick Time 2.3.1 Quick Time 文件格式文件格式媒体描述和媒体数据分开存储媒体描述和媒体数据分开存储媒体描述或元数据（媒体描述或元数据（Meta-DataMeta-Data）MovieMovie：包含：包含轨道数目、视频压缩格式和时间信息，媒体数据轨道数目、视频压缩格式和时间信息，媒体数据存储区域的索引存储区域的索引媒体数据：所有的采样数据，如视频帧和音频采样媒体数据：所有的采样

29、数据，如视频帧和音频采样媒体数据可与媒体数据可与QuickTime movieQuickTime movie存储在同一个文件存储在同一个文件中，也可在一个单独的文件或者在几个文件中中，也可在一个单独的文件或者在几个文件中1. Atom1. Atom2. QuickTime Atom Containers2. QuickTime Atom Containers数据类型数据类型数据大小信息数据大小信息DataData报头报头数据数据数据类型数据类型子原子子原子叶原子叶原子数据大小信息数据大小信息DataData数据大小信息数据大小信息原子原子IDID原子类型原子类型数据类型数据类型DataData

30、数据大小信息数据大小信息数据类型数据类型双亲原子双亲原子2.3.2 Quick Time 2.3.2 Quick Time 文件结构一群原子的集合文件结构一群原子的集合不规定原子的次序不规定原子的次序2.3.3 Quick Time Movie2.3.3 Quick Time MovieVideo Media Video Media 信息信息Music Media Music Media 信息信息Text Media Text Media 信息信息TracksTracksMoviesMovies2.3.4 Quick Time 2.3.4 Quick Time 制作技术制作技术媒体制作软件媒体

31、制作软件 Quick Time ProQuick Time Pro制作虚拟环境的工具软件制作虚拟环境的工具软件 Quick Time VRQuick Time VR2.3.5 Quick Time 2.3.5 Quick Time 发布技术发布技术点播、实时广播、非实时广播点播、实时广播、非实时广播RTP/RTSPRTP/RTSP（高带宽用户）；（高带宽用户）；HTTPHTTP（低带宽用户）（低带宽用户）不支持不支持 Sure Stream Sure Stream 技术技术2.3.6 Quick Time 2.3.6 Quick Time 播放技术播放技术Quick Time PlayerQu

32、ick Time Player2.4 Flash2.4 Flash流媒体流媒体交互式矢量动画标准交互式矢量动画标准 采用矢量作图技术：各元素均为矢量；只用少量的数采用矢量作图技术：各元素均为矢量；只用少量的数据就可以描述一个复杂的对象据就可以描述一个复杂的对象 体积小，加载速度快，采用流控制技术（易于网上流体积小，加载速度快，采用流控制技术（易于网上流传）传） 由时间发展为先后顺序排列的一系列编辑帧组成由时间发展为先后顺序排列的一系列编辑帧组成 除传统的除传统的“帧帧帧帧”动画变形，还支持动画变形，还支持过渡变形过渡变形技术，技术，包括移动变形和形状变形包括移动变形和形状变形 交互性：通过交互性：通过 Action Script Action Script 实现实现 服务端服务端 Flash Media Server Flash Media Server 包括四个部分：交互服务器、版权保护、媒体包括四个部分：交互服务器、版权保护、媒体流服务器、编码服务器。流服务器、编码服务器。 制作端制作端Flash, Flash Video EncoderFlash