第九节-多媒体流技术

第九节多媒体流技术一、网上多媒体流技术原理1·多媒体流的特点多媒体流(MultimediaStream)就是多媒体数据在网络上传输时的数据流，它不同于一般的文件下载数据。多媒体流有以下特点:A. 数据量大:多媒体数据，尤其是视频数据，数据量很大，必须使用特殊多媒体传输协议才能保证顺利传输。B. 对带宽要求高:由于多媒体数据量大，虽然经过压缩，仍然需要大量带宽。C. 数据的忽略:在不影响播放效果的前提下，允许忽略一些数据;这为在低中带宽网络下实现多媒体数据流的查询提供了可能。D. 流式传送:所谓流(Streaming)，也叫"流式"或"串流"，是一种传输数据信息的方式。采用这种方式，数据能够用稳定的速率从发送端传转至接收端，而接收端可以在发送端还没有完全传输完毕之前即可开始处理这些数据信息，这特别适合于实现网络广播。E. 当采用流式技术传送时，可以让计算机一边接收，一边处理，节约了时间和存储空间。F. 多数流式传送技术使用专门的数据格式和缓冲系统，以实现连续播放。2·实时多媒体流

实时多媒体流就是实时采集、压缩并传送，茌客户端实时接收的多媒体数据流。具体说，就是使用特定的视频/音频采集设备，采集实时数据，并立即遵从某些特定的标准进行压缩，同时在网络上传输。客户端缓冲区不断更新用以接收压缩后的数据，即时解压缩并播放。

在目前的Internet上，由于多种因素的影响，要实现完全的实时传输还不可能，只能是近似实时的，这是由于多媒体数据流传送的端到端延迟较大的缘故。它的实际概念是:当前的实时多媒体数据在一定时间内可传送到发出请求的客户端，并且视频和音频保持同步关系。这个延时的具体时间由服务器端的多媒体数据的压缩速度、采用的压缩方法以及网络传输的实际情况决定的。文件格式扩展名媒体类型与名称压缩情况movQuicktimeVideo(Apple)可以mpgMPEG-IVideo有mp3MPEGLayer-3Audio有wavWaveAudio没有aifAudioInterchangeFormat没有sndSoundAudioFileFormat没有auAudioFileFormat(SunOS)没有aviAudioVideoInterleaved(MicrosoftWindows)可以3·网络模型和相关协议A. 多媒体流技术在网络上的应用，可概括为"多媒体服务器——客户端"的模式。B. 通常，在WWW服务器端，多媒体服务器与Web服务器集成在一起，而WWW客户端则只需Web浏览器和播放多媒体数据的浏览器插件。C. 多媒体服务器主要起客户端进行通信和传输多媒体数据的作用。D. 在网络上传送多媒体数据流涉及不同的协议，包括:·TCP/IP-传输控制协议，是在WWW客户与Web之间建立可靠的连接协议。Web浏览器与Web服务器之间通过HTTP，协议进行通信。·UDP:用户数据包协议，它是TCP的一种替代协议，是无连接的，没有TCP的差错纠正，允许丢弃那些被破坏的或迟到的数据包，所以它更适合传输连续多媒体数据。·RTP:实时协议，它是专门为Internet实时数据传输指定的协议，它使用专门时序重建方法来保证多种媒体的同步。·RTSP:实时流协议。RTSP设计了客户端与服务器之间特定的通讯方式，专门用于数据流的传输。·RSVP:它允许为那些严重增加网络负荷的数据流指定优先级，通过优先级来为它们预留一定带宽，以达到某个QoS。4·网上多媒体服务的过程用户进行网上多媒体活动时，其一般过程可描述为:·客户端通过Web浏览器发送HTTP请求给指定的WWW服务器。·服务器受到客户请求，做出响应，发送已收到的信息给客户。·客户端在收到请求情况下，激活浏览器的插件，向指定的多媒体服务器发送请求。·多媒体服务器收到客户端的请求，通过UDP协议开始向客户端发送数据。·客户端收到数据，进行顺序化、解压缩后播放。例1：校园网视频点播、直播和广播系统系统支持B/S架构，支持安全认证，远程管理，远程上传节目等功能，针对流媒体在校园网中应用的特点，特别对系统进行了优化，可以更方便的实现，课堂直播、电视直播、以及课件、电影的点播，广泛的应用在网络教学、校园电视台、校园广播、校园监控、校园电影点播中。例2：酒店VOD系统酒店VOD（VideoOnDemand）系统，出现于90年代中期。它是旅游服务业和现代计算机网络宽带科技发展的产物。在国外VOD服务、信息服务已广泛应用于各大星级酒店和高档住宅小区、娱乐场所、有线电视台，成为其提高服务水准，增加竞争力的必备设施。美国、日本普及率全在90%以上，香港也在80%以上。现代酒店顾客已不止满足于视频点播的需要，还需要更多更方便的信息服务。为顺应社会、科技的发展需要，我们将具有VOD系统功能及能提供更多信息服务的系统，统称为“客房信息服务系统HISS”。也便于区别局限于单纯的VOD系统。5·单点传送和多点传送

客户机/服务器模型的通信只描述了点对点连接的情形。实际上每个客户都可与服务器建立点对点的连接，这种方式即单点传送(Unicast)。单点传送的一个明显弊病是Web服务器、多媒体服务器与数量较多的客户进行通信时，性能会明显下降，客户端将需要很长的响应时间和很低的传输速率。

多点传送(Multicast)则解决了上述问题，主机使用IP地址中的D类地址向网络中的一组能识别D类地址的主机发送数据，即多点传送需要主机网卡和路由器的支持。通常，路由器中保存组成员的信息，它能根据多点传送的数据包目的地址，把它转发到相应的组中。由于多点传送的发送方只需要发送依次数据包，不必为每个请求都建立相应的连接，因此降低了对网络带宽的需求，提高了传输的质量。6.视频/音频压缩l

1980年以来，国际电话咨询委员会陆续完成了各种数据压缩和通讯标准，与数字视频压缩相关的有:JPEG、H.261、H.263、MPEG-1、MPEG-2、MPEG音频压缩方法有:MPEG-1、G.723。二、流媒体软件目前几种典型的流产品为:·Microsoft公司的WindowsNTServerNetShowServices.(WindowsMedia)·RealNetworks公司的RealSystemG2.·Macromedia公司的Shockwave.1.Netshow1) Netshow是一个在网络上提供流式多媒体服务的平台，它既适用于拨号接入的Internet网络，也适用于带宽富裕的局域网。2) 利用Netshow，开发人员可以快捷地开发出需要多媒体服务的网络应用，满足培训、英语学习、娱乐、及广告等领域的需要。3) 在客户端的播放器为WindowsMediaPlayer，可播放ASF、AVI、MP3等格式的网上视音频。4) MicroSoft的Netshow提供了两种服务类型:NetshowServiceforWindowsNT和NetShowTheaterServer系统，其中后者是使用在ATM和快速以太网上。5) NetShowService是使用在中低带宽网络中传输多媒体数据流，是一个纯软件环境，其主要特点是:·支持Multicast，可以通过创建"站(Station)"来建立Multicast通信。·与视频音频压缩/解压缩方法相独立，通过ASF(ActiveStreamFormat)文件来实现压缩、解压缩方法的自动下载。·支持多种协议，包括TCP.UDP和HTTP.·提供了多媒体内容制作工具，包括实时视频音频压缩工具，以及Netshow服务器管理器。6)NetShow提供了Unicast和Multicast两种传输模式服务。多媒体数据点播和实时多媒体流都可通过这两个方式传给对方，它的服务模式如图所示：MicrosoftMediaServer2·RealSystema) RealNetworks公司的RealSystemG2的目的是使任何基于TCP/IP协议的网络都可以使用视频和音频流技术。b) 它是第一个基于开放、扩展标准的流式媒体系统。通过它的同步性和对多种媒体的重播，用户可体验到全新的多媒体感觉。c) 新的StreamSmart传输技术使实际网络环境下的重播更为可靠稳定。d) 新加入的两种媒体格式(Realtext和Realpix)与同步性多媒体集成语言(SMIL)相结合便可使大量的多媒体程序在窄带网络上传输。e) 它采用流传输方式是基于Internet的流式传输协议RTSP(实时同步传输协议).f) RealSystemG2系统作为一个客户机/服务器架构的流媒体系统，产品包括客户端软件:.RealplayerG2及RealplayerplusG2，用于播放Real流式媒体特有的格式;流媒体生成软件:RealProduceProG2及RealProducePlusG2，用于制作生成流媒体;服务器端软件RealServerG2，用于控制Real系统。新的系统支持AVI.MPEG和WAV及SWF等格式。3.ShocKwave1) Shockwave流技术与普通HTTP，(超文本传输协议)紧密结合，网上多媒体内容可由Macromedia公司的Director、Authorwave、Flash软件制作。2) Macromedia与Microsoft、Netscape达成协议，将ShocKwave技术嵌入在它们的网络浏览器中，正式成为网络多媒体标准。现在Shockwave已成为Internet上多媒体的标准。3) Snockwave的内容可以满足Web上丰富的内容而不必在乎Internet的传输速度。4) Shockwave对于交互式多媒体处理有着十分重要的作用，在教育上使用的一些网上多媒体应用与它关系紧密。5) 以著作工具Autnorwave的网上多媒体作品制作为例，一般做法为:·压缩原文件，资源放在外部，引用格式为甙、Jpg、swa等。·重新编译原文件为A4R。·切割处理，生成映射文件AAM、分段文件AAS，每段4k-500k，按网络通讯速度设置，将AAM文件嵌到HTML网页中。·将AAM、AAS文件和外部文件放到服务器上。·客户端安装ShockkwaveforrAuthorwave插件，内容流式传送进行交互学习。6）新的Authorwave5Attain进展是向"智能化"发展，出现了"知识流"(KnowledgeStreeam)技术，知识流是一种智能流式技术，它能预测并在适当时间预先下载所需要的应用片段，与标准的流式技术不同的是，知识流针对具有复杂分支结构的交互式多媒体学习应用进行了优化。三、流技术在网上教学中的应用a) Netshow和RealSystemG2能使我们在网上方便地实现音视频点播及实时广播。b) Shockwave则能使我们容易地在网上实现交互式多媒体学习。c) 通过集成视频流和传统远程教学及培训，WebFORCEMediaBase已使教室和公司环境下的网上教学和培训成为现实。利用WebFORCEMediaBase。技术，得克萨斯大学和3Com公司的工程师们已经开始进行网上教学和培训项目。d) WebFORCEMediaBase将音频流和视频流输出到桌面，在学生和老师之间用Web环境架设了一座桥梁。e) 这种按需选课的好处在于学生既可以接受现场的教学，也可以课后再听取这些课程。这种实时的Web广播的特性在于，学生有充分的自主性，通过桌面类似于浏览器的一些工具，就可以在异地看到现场的讲解。使用DDN或专网，一般运行在300kbps-2mbps速率下。提供高质量的多点控制会议服务，配有高档摄像、音响与显示设备，具有高质量的多媒体效果例：多媒体流技术应用产品（一）——高档会议室型

使用DDN或专网，一般运行在300kbps-2mbps速率下。提供高质量的多点控制会议服务，配有高档摄像、音响与显示设备，具有高质量的多媒体效果产品（二）——桌面会议系统；较高档的通常在DDN与ISDN环境中运行。在112-768kbps速率下，可提供每秒25-30帧CIF或QCIF图像；低档的通常在LAN/WAN环境中运行。384kbps速率下提供每秒15-20帧图像质量产品（三）——可视电话型运行在Internet和普通公共电话网（PSTN）上，在28.8kbps或33.6kbps等速率下，一般可提供5-10帧QCIF格式的图像。视频会议系统多点视频会议系统视频输入输出视频视频编解码器音频输入输出视频音频编解码器时延信息通信设备系统控制多路复用/信号分离设备会议电视终端设备B会议电视终端设备C用户/网络接口MCUH.320建议H.261H.221G.703G.711,G.722,G.728T.120系列H.200/AV.270H.242,H.230,H.221,H.243,H.281会议电视终端设备A传输信道MCU为多点控制器视频编、解码器及附属设备视频部分有输入（摄像机）、输出设备（电视机或监视器）。数据码流视频信号模拟视频信号

图像显示终端设备的核心部件是视频解码器，应符合

ITU的H.261标准，设置CIF

数字化，压缩信道传送解码音频编、解码器及附属设备音频部分同样有输入（话筒）、输出（扬声器）设备。音频解码部分主要有符合ITU标准G.711建议、G.722建议、G.728建议的音频编、解码器。在音频编、解码中必须对编码的音频信号增加适当的时延，以使解码器中的视频信号和音频信号同步。信息通信设备信息通信设备是指有关静态图像的传输设备。一些信息通信设备应符合ITU-TT.120系列标准的有关静态图像和加释规程、多点二值文件传输规程。还包括传真机、书写电话等另一类信息通信设备。多路复用/信号分离设备本设备是能把视频、音频、数据等数字信号按照H.211建议规格组合成64-1920kbps数字码流，是与用户/网路接口兼容的信号格式。用户/网路接口为用户端的终端设备与网络信道的连接点（接口），且为数字电路接口。对于接口的物理与电气个性应满足ITU-TG.703建议，进入PCM信道的视频会议信号的时隙的配置应符合ITU-TG.704建议的信道帧结构的要求。多点控制设备（MCU）MCU是一个数字处理单元，也具有交换的功能，端口一般可以为8、12个。MCU在数字域中实现音频、视频、数据、信令等数字信号的混合与切换，并确定将某一会场终端的视频、音频信号分配到哪些会场。符合ITU-TH.231规范。系统控制部分包括端到端的通信规程。两终端互通的约定、协商，大家按照统一的规程去进行，一经完成握手协议的要求，便建立起正常的通信。符合H.242建议的要求；在多通信时，有MCU时的通信规程应符合H.243建议的要求。会议系统的标准产生在80年代，国际电信联盟（ITU）专门成立了一个小组研究视频会议，从那时起建立了一系列的建议和标准，关于视频会议最著名的标准是H.320系列和T.120系列建议。H系列的建议和标准是专门针对交互式电视会议业务而制定的，而T系列是针对其他媒体的管理功能做出规定，连中协议的结合将使多媒体会议的通信有更完善的依据。

1994年以Intel为首的90多家计算机和通信公司联合制定了一个个人会议标准PCS（PersonalConferencingSpecification）。

H.320标准

H.320系列标准是会议系统中应用最早，最为成熟的协议，支持ISDN，E1，T1，带宽从64Kbps到2Mbps，几乎所有的会议系统厂家都支持。甚至许多LAN会议系统的产品也支持H.320.H.320标准包括视频、音频的压缩和解压缩、静止图像、多点会议、加密等特性。

H.320可分为五个部分：通用系统，音频，多点会议，加密，数据传送等。

H.320标准

包括的15个标准（一）H.221定义了视听服务中64K-1290K信道的帧结构，后又增加了多点会议及加密内容。

H.230传递帧同步控制和指示信号，负责处理基于H.320的CODEC设备之间传送的控制信息。H.242描述了在高至2M的数字信道上，会议电视终端之间建立通信和设置呼叫的规程，定义了基于H.320设备之间传送压缩食品和音频信号的协议。

H.320标准

包括的15个标准（二）H.261又称Px64,它是视频编辑解码器的标准，采取中间格式兼容不同电视制式间的差异，是一种有运动补偿的帧间预测编码+变换编码（ZDDCT）+量化+可变长编码+传输缓存器控制的混合编码方式。视频编码器按照图像内容进行帧内/帧间判决和处理。G.71164KbpsPCM电话质量（3.5kHz）语言压缩标准。

G.72248/56/64KbpsADPCM高保真质量（7kHz）语音压缩标准。G.72816kbpsLD-CELP语音压缩标准。H.320标准

包括的15个标准（三）H.231定义了多点控制单元及如何连接3个或更多的基于H.320CODEC设备。H.243主要处理多个终端之间建立通信的过程，它定义了H.320CODEC与MCU之间控制过程。H.244是使用H.221LSD/HSD/MCP信道的远端摄像机控制协议。H.281与H.244相同也是远端摄像机控制协议，指示采用数据链路协议。H.233提供H.320设备加密标准。H.234确定了如何在不同点之间传送密钥管理标准。H.323标准H.323是为在局域网、广域网上运行多媒体系统而设计的。它描述了将实时的语音、图像数据传输到PC机和视频电话中所需要提供的设备和服务。H.323提供多层次的多媒体通信，包括局域网上声音、视频以及数据通信，可以建立点播型、交互式多媒体会议，在共享数据的同时，用户可互相听到和看到对方。H.323是一个伞式标准，它参考了其他ITU－T标准，提供了系统和组件描述，呼叫模型描述以及呼叫信号处理。H.323系列视频。H.261:Px64kbps下音频视频业务的视频编码解码器；H.263:低速率通信的视频编码解码器。音频。G.711,G.722,G.728同上；G.723:5.3kbps和6.3kbps多媒体通信的双速率语音编码，将改名G.723.1。

H.324标准H.324是运行在低速率传统电话线和无线通信信道上的视频会议框架标准。其视频标准采用H.263，音频标准用G.723.1.1。多路复用/分接协议H.223把音频视频和数据集众道一个流中，按逻辑通道传输，用H.245协议控制。网络访问用V.34调制解调器。H.324/M是无线网络上超低比特率可视通信的标准基本功能基本功能各会议点的多媒体终端反映各会场的场景、人物及相关资料以及声音同时进行数字化压缩。根据控制模式，经过数字通信系统，沿指定方向进行传输。各会点的多媒体计算机上，通过数字通信系