流媒体技术及其应用黄克斌

1、v流媒体的兴起和简单应用 v流媒体和流媒体技术的概念 v流媒体系统的组成 v流媒体传输协议 v流媒体文件格式的分类 v单播、组播、点播、广播技术 流媒体的应用 目录 流媒体的兴起和简单应用 v在20世纪80年代后期，被称为20世纪最伟大发 明之一的Internet出现，改变了一直利用纸张传 递信息的方式，采用更加快捷，方便的网络来 传输信息，整个世界变得密切起来了。 v随着频宽的改善，WWW协议的出现，以及 NetScape的大量风行，图片大量的出现在各大 网站。依照静态媒体（文字、图片）进化到动 态媒体（音乐、影片）的历史进程来说，线上 音乐，线上电视是理所当然的。 v在线音乐或影片的不通畅

2、 v原因： v1宽频问题 v实际中的网络速度是理论上值的10 % -30%之间 v2不稳定的连接速度 v网络服务端、线路、接受端不稳定性 网络带宽 制约带宽的三个因素： 1、服务端接入带宽 2、客户端接入带宽 3、从服务端到客户端 之间的带宽 q 中国宽带网络发展迅速、宽带到户已经不是梦想 q 宽带网上的应用相对滞后，还处于探索阶段 q 视频点播、网络电视、网上音乐台、远程医疗、远程 教育等业务应用前景光明 q 在宽频互联网上，基于WEB、实时传输、信息安全加 密、数据存贮等技术的宽带商务系统将把宽频业务推 向大众 q 大量高质量的服务在有限的带宽上传送 q 实时视频数据在IP网络上传送如何保

3、证服务质量 q 视频压缩技术：不同的应用采用不同的压缩技术在码率 和图象质量间得到平衡 q 网络实时传送技术：应用层的控制协议，用于预留系统 资源、检测网络状况、控制视/音频实时到达等 多媒体压缩标准 v1988年ISO组织了一批媒体专家于1990年制定 了图象标准JPEG (Joint Picture Experts Group 联 合图象专家组) v1992年制定了MPEG标准 (Moving Picture Experts Group 运动图象专家组) v1996年制定了MPEG-2，针对高清晰度电视的 需要而提出。 v1999年制定了MPEG-4，超低码率压缩标准。 q MPEG-1:

4、 码率(1.5Mbps)、广泛应用于VCD；120分 钟节目约需1.2GB q MPEG-2:码率(315Mbps)、广泛应用于DVD；120分 钟节目约需48GB空间，但图象清晰度佷高 q MPEG-4:支持可变速码率，可以利用很窄的带宽通 过帧重建技术压缩和传输数据，从而能以最少的数 据获得最佳的图像质量 ，其质量高于SVCD接近 DVD,面向娱乐和欣赏方面的市场,120分钟节目只需 600MB q Real Video:一开始便定位于视频流应用，最新版本可 支持在1Mbps的带宽上传送接近DVD质量的影片 q RTVP（the Resource Reservation Protocol

5、）：资源保留协议 q RTP（Realtime Transport Protocol）：实时传输协议。 q RTCP(Real-Time Control Protocol)：实时控制协议。 q RTSP(Real-Time Streaming Protocol)：实时流控协议。 流媒体和流媒体技术的概念 vStream Media、 v窜流（音乐、影片） v线上电影、线上音乐 vOn-line，宽频、 商都宽频 百度在线音乐 流媒体简单来说就是应用流技术在网络上传输的 多媒体文件，而流技术就是把连续的影象和声音信息 经过压缩处理后放上网站服务器。 用户一边下载一边观看、收听，而不需要等整个 压

6、缩文件下载到自己机器后才可以观看的网络传输技 术。 流媒体技术先在使用者端的电脑上创造一个缓冲 区，于播放前预先下载一段资料作为缓冲，于网路实 际连线速度小于播放所耗用资料的速度时，播放程序 就会取用这一小段缓冲区内的资料，避免播放的中断， 也使得播放品质得以维持。 v 1 概述概述 v 流媒体流媒体 (Streaming Media)是一种新兴的网络传输技术是一种新兴的网络传输技术, 在互联网上实时顺序地传输和播放视在互联网上实时顺序地传输和播放视/音频等多媒体内音频等多媒体内 容的连续时基数据流，流媒体技术包括流媒体数据采集、容的连续时基数据流，流媒体技术包括流媒体数据采集、 视视/音频编

7、解码、存储、传输、播放等领域。音频编解码、存储、传输、播放等领域。 v一般来说，流包含两种含义，广义上的流是使音频和视一般来说，流包含两种含义，广义上的流是使音频和视 频形成稳定和连续的传输流和回放流的一系列技术、方频形成稳定和连续的传输流和回放流的一系列技术、方 法和协议的总称，我们习惯上称之为流媒体系统；而狭法和协议的总称，我们习惯上称之为流媒体系统；而狭 义上的流是相对于传统的下载回放（义上的流是相对于传统的下载回放（Download- Playback）方式而言的一种媒体格式，它能从）方式而言的一种媒体格式，它能从Internet 上获取音频和视频等连续的多媒体流，客户可以边接收上获取

8、音频和视频等连续的多媒体流，客户可以边接收 边播放，使时延大大减少。边播放，使时延大大减少。 v v与下载方式相比与下载方式相比, 流式传输具有显著的优点：一方面流式传输具有显著的优点：一方面 大大地缩短了启动延时大大地缩短了启动延时,同时也降低了对缓存容量的同时也降低了对缓存容量的 需求；另一方面，又可以实现现场直播形式的实时需求；另一方面，又可以实现现场直播形式的实时 数据传输，这是下载等方式无法实现的，同时有助数据传输，这是下载等方式无法实现的，同时有助 于保护多媒体数据的著作权。于保护多媒体数据的著作权。 v vP2P开创网络媒体新时代开创网络媒体新时代 v2004年年6月是互联网历史

9、上的分水岭，视频流量首次月是互联网历史上的分水岭，视频流量首次 超过音频流量。这表明巨大的无形的超过音频流量。这表明巨大的无形的P2P文件共享文件共享 网络正在被用来分发电视节目和电影网络正在被用来分发电视节目和电影(IDG报告报告) v互联网宽带互联网宽带“对等广播对等广播”（“peercasting”）的）的 兴起兴起 v它对视听媒体的影响就像互联网对印刷媒体的影响它对视听媒体的影响就像互联网对印刷媒体的影响 一样一样 v媒体网媒体网Medianet观念的兴起观念的兴起 v知识产权保护问题知识产权保护问题 v正在发展不用集中服务器的正在发展不用集中服务器的VoD v流媒体系统结构流媒体系统

10、结构 v 现存流媒体解决方案采用的技术是多样的，但现存流媒体解决方案采用的技术是多样的，但 其体系结构的本质是相近的。其体系结构的本质是相近的。 v 流媒体的体系构成：编码工具：用于创建、流媒体的体系构成：编码工具：用于创建、 捕捉和编辑多媒体数据，形成流媒体格式；流媒体捕捉和编辑多媒体数据，形成流媒体格式；流媒体 数据；服务器：存放和控制流媒体的数据；网络：数据；服务器：存放和控制流媒体的数据；网络： 适合多媒体传输协议甚至实时传输协议的网络；播适合多媒体传输协议甚至实时传输协议的网络；播 放器：供客户端浏览流媒体文件（通常是独立的播放放器：供客户端浏览流媒体文件（通常是独立的播放 器和器和

11、ActiveX方式的插件）。方式的插件）。 宽带流媒体平台典型规划工程规划图宽带流媒体平台典型规划工程规划图 VOD服务：利用WEB浏览页的格式，为用户提供操作简单方便、界面 友好的视频点播功能。 NVOD服务：利用IBS 的直播服务软件来实现NVOD服务，可以用于 NVOD服务和网络电视音乐台的直播 网络电视功能：利用实时压缩编码设备，完成对卫星电视节目的数字编 码，实现节目的直播 网络音乐频道：系统将提供实时音频压缩工具，可以将电台节目进行实 时压缩和传送. 网管功能： 完成用户的管理、节目的管理、网络的管理、资源管理等功 能 工程实现的功能工程实现的功能 服务器端（Server） 网管系

12、统(NMS) 制作工具(Tools) 播放器(Player) 工程系统的组成工程系统的组成 Web浏览器Web服务器 流媒体播放器流媒体服务器 v流媒体技术流媒体技术 v流媒体传输流程流媒体传输流程 v 流媒体的具体传输流程如图所示：流媒体的具体传输流程如图所示： v v HTTP/TCP v 控制信息控制信息 v RTSP/TCP(UDP) v 数据流数据流 RTP/UDP v流媒体传输协议流媒体传输协议 v 流式传输的实现需要合适的传输协议。流式传输的实现需要合适的传输协议。TCP需要较需要较 多的开销，故不太适合传输实时数据。在流式传输的实多的开销，故不太适合传输实时数据。在流式传输的实

13、 现方案中，一般采用现方案中，一般采用HTTP/TCP来传输控制信息，而用来传输控制信息，而用 RTP/UDP来传输实时多媒体数据。来传输实时多媒体数据。 （1）实时传输协议）实时传输协议RTP （Real time Transport Protocol） 与与RTCP （Real time Control Protocol） RTP是用以传输实时视是用以传输实时视/音数据，音数据，1995年年11月月22 日日,IETF通过并成为推荐标准通过并成为推荐标准 （RFC1889、RFC1890) 。 RTP通常使用通常使用UDP来传送数据，但来传送数据，但RTP也可以在也可以在TCP或或 ATM

14、等其他协议上工作。等其他协议上工作。 RTCP：实时控制协议。和：实时控制协议。和RTP捆绑一起的传输控制捆绑一起的传输控制 协议，提供时间信息和实现流同步，主要用以声音同步协议，提供时间信息和实现流同步，主要用以声音同步 和和Qos管理等。管理等。 v(2) 实时流协议实时流协议RTSP v 实时流协议实时流协议RTSP由由Real Networks和和Netscape共共 同提出，该协议定义了一对多应用程序如何有效通过同提出，该协议定义了一对多应用程序如何有效通过 IP网络传送多媒体数据。网络传送多媒体数据。RTSP在体系结构上位于在体系结构上位于 RTP和和RTCP之上，它使用之上，它使

15、用TCP或或RTP完成数据传输。完成数据传输。 HTTP与与RTSP相比，相比，HTTP传送传送HTML，而，而RTP传送传送 的是多媒体数据。的是多媒体数据。HTTP请求由客户机发出，服务器请求由客户机发出，服务器 作出响应；使用作出响应；使用RTSP时，客户机和服务器都可以发时，客户机和服务器都可以发 出请求，即出请求，即RTSP可以是双向的。可以是双向的。 v（3）资源预订协议）资源预订协议RSVP （Resource Reserve Protocol） v 由于音频和视频数据流比传统数据对网络由于音频和视频数据流比传统数据对网络 的延时更敏感，要在网络中传输高质量的音频、的延时更敏感，

16、要在网络中传输高质量的音频、 视频信息，除带宽要求之外，还需其他更多的视频信息，除带宽要求之外，还需其他更多的 条件。条件。RSVP是是Internet上的资源预订协议，使上的资源预订协议，使 用用RSVP预留一部分网络资源（即带宽），能预留一部分网络资源（即带宽），能 在一定程度上为流媒体的传输提供在一定程度上为流媒体的传输提供QoS。 如果安装正确，在浏览器中输入如下格式的地址，即会调用 RealOne Player播放指定的视频。 rtsp:/00:554/real9video.rm 这里采用RTSP连接方式进行播放的，其中 “00”是服务

17、器的IP地址，“554”是端口号，而 real9video.rm就是媒体文件的文件名。 对于ASF、WMV之类的媒体文件，需要通过“mms /服务器IP地址:1755/目录名/文件名”方式来播放。 1. 部署流媒体服务 2.安装流媒体服务 v通过“添加删除程序”安装流媒体服务 v通过“管理您的服务器”安装流媒体服 务 3.创建流媒体发布点 v管理工具Windows Media Server右击发 布点添加发布点 v发布点类型选“点播” v在“源”设置多媒体文件的位置 v在“公告”可见播放多媒体文件的URL使 用mms协议 4. 测试流媒体服务测试流媒体服务 v用用Web浏览器，在地址栏输入发布

18、流媒体浏览器，在地址栏输入发布流媒体 的网站的的网站的URL。 v用用Windows Media Player ，用，用mms访问流访问流 媒体服务器上的流媒体文件的媒体服务器上的流媒体文件的URL。 流媒体服务器的硬件配置（处理器）流媒体服务器的硬件配置（处理器） v由于流媒体应用对服务器硬件的占用情况比较复杂，因 此，选择流媒体服务器需特别关注以下硬件资源。 v一是处理器 v如果服务器的处理能力已可以满足要求，这时，增加更 多的处理器也不能明显提高服务器的吞吐量，虽然微软 媒体服务可以从1路系统扩展到8路系统，但当超过2颗 CPU时，性能的增加幅度逐渐减小，投资回报比开始降 低。 流媒体服

19、务器的硬件配置（内存）流媒体服务器的硬件配置（内存） v二是内存 v当CPU、磁盘和网络I/O都不是系统的瓶颈时，添加足够 多的RAM给Windows Media服务器，可以增加同时响应 客户端的数量，但由于微软媒体服务并不使用系统内存 来保存文件系统数据，所以增加更多的内存无法解决因 磁盘I/O问题而产生的瓶颈。 v对于高可用的媒体服务器，最佳内存配置为1Gb。 流媒体服务器的硬件配置（网络）流媒体服务器的硬件配置（网络） v三是网络 v为了从每个服务器获得最佳效果，网络连接应该采用专 用的交换式以太网段，并考虑使用多网卡，其中一个网 卡专用来向客户端提供流媒体，另一个网卡专门负责远 程管理

20、、监视、复制、从编码服务器获得数据流，以及 流的分发，使得当客户网段流量出现饱和时，不会影响 到对服务器的远程管理； 流媒体服务器的硬件配置（磁盘）流媒体服务器的硬件配置（磁盘） v四是磁盘 v由于磁盘输出性能对于流媒体点播是至关重要的因素， 所以必须优化磁盘的“读”性能，为此可以采用由高转 速、低延迟硬盘组成的阵列系统，增加磁盘阵列控制器 上的缓存，提高控制器访问相同数据的性能。 流媒体服务器的硬件配置流媒体服务器的硬件配置 v同时，由于流媒体服务器的负载比其它应用服务 器更大，因此，流媒体服务器以水平扩展模式为 设计原则，由多台服务器来分担网络的负载，避 免当仅有一台高端服务器时，因无法分

21、担网络负 载而产生瓶颈，消除“单点故障”问题，提高系 统的整体可靠性。在方案设计时，除了考虑计算 流媒体文件的动态大小，以满足后端存储适应点 播的需求，以及考虑数据存储流量对网络性能的 影响之外，还要考虑并发任务对系统平台的要求。 流媒体的三大平台公司 vMicrosoft vRealNetworks vApple RealNetworks v最早的流媒体播放软件是RealNetworks的 RealPlayer。 vRealPlayer 最早称为RealAudio，仅播放音乐文 件。 v兼并了Xing公司（第一个采用串流式通道影音 播放程序Streamworks）。 vRealPlayer7

22、.0、8.0、9.0、. vRealOne Player与Realplayer同属于Real公司 产品。 vRealONE Player是新的视音频流播放系统，用 以取代该公司三种主打产品，即RealPlayer、 RealJukebox和GoldPass。 RealONE一大特点就是多层画面功能，即当一 个屏幕播放影碟或歌曲的时候，旁边将有一个 侧屏幕提供有关影碟或歌曲的信息或广告。 vRealONE Player是RealPlayer和RealJukebox 的结合体，与XP系统兼容性很好。 vRealONE在播放网络视音频流时，表现更佳 vRealPlayer10.6 Real流式音视频

23、解决方案流式音视频解决方案 vReal流媒体技术的实现基础是需要3个软件的支持的。 RealPlayer 播放器 RealProducer 编辑制作 RealServer 服务器 RealPlayer，这是大家众所周知的软件，从早期的RealPlayer 发展到RealPlayer8.0，RealPlayer9.0，现在已经升级到 RealOne和RealOnePlayerGold版本。Real所特有的格式为 *.rm,*.ra,*.ram。所占用的空间极小，并且有较好的影音质量， 被广泛地传播在互联网上。 vRealProducer，是一款编辑制作Real特有文件的软件，我们 下载到的*.r

24、m,*.ra,*.ram，文件都是从原始的影音文件，通 过软件转化过来的，RealProducer还有一个最大特点，而且 也是我们做Real服务器必须的，就是它可以将影音文件转 化成多流的影音文件，这种文件是可以根据浏览者的网速 而传送不同质量的影音文件 vRealServer也是整个流媒体架设平台的核心软件，通过 RealServer的建立，可以使浏览者访问服务器上的影音文件， 由此实现网上在线视听。 Microsoft vWindowsMediaPlayer4.0、5.0、6.0、7.0、8.0、 9.0、10.0、 vWindowsMediaPlayer11-windows xp WMP

25、9.0 Apple vQuickTime6 vQuickTime Pro For Windows v7.1.0 流媒体的应用 v互联网的迅猛发展和普及为流媒体业务发展 提供了强大的市场动力，流媒体业务正变得 日益流行。 v远程教育 v宽带网络视频点播 v互联网直播 v视频会议 远程教育 v在远程教育中，最基本的要素是把信息发送到 学生那一段去，而传送的数据是多元化的，视 频，音频，文字，图片等。 v传递的速度等问题。 v流媒体下的教育信息化水平。 宽带网络视频点播 v宽带网络视频点播（VOD，Video On Demand）。 v最初应用于局域网和有线电视网中。 v存在问题：数据量、传输的速率

26、、服务器 v流媒体的集群和解码技术 互联网直播 卫星直播、现场直播等之外的直播手段之一。 体育直播。 新浪体育直播。 视频会议 v视频会议是流媒体的一种商业用途。 v通过流媒体可以实现点对点的通讯，最常用的 就是视频电话。 流媒体文件格式的分类 vRM/RA RealNetworks vASF Microsoft （Advanced Stream Format） vMOV-QuickTime 1、RM格式：这是由Real Networks公司开发的一种 新型流式视频文件格式。 2、MOV格式：MOV也可以作为一种流文件格式。 QuickTime能够通过Internet提供实时的数字化信息流、

27、工作流与文件回放功能。 3、ASF格式：这是由微软公司开发的流媒体格式，是 一个在Internet上实时传播多媒体的技术标准。 vSwf-flash vMts-Authorware vAam-MetaStream vAvi-Microsoft vMpeg/Mpg/Dat v视频文件VS流媒体文件 视频文件 (avi 720576) ENCODER编码 （256KBPS） 流媒体文件 (.asf 320240) 10M 900K 全屏清晰、流畅 清晰流畅（320240） 全屏较清晰 一般播放器 Windows 播放器 安装插件的其它播放器 传输技术 v点播 v组播 v广播 流媒体的传输技术主要有

28、三种：1、点播 (unicast)、2、组播(Multicast)又称为多址广播 和3、广播(Broadcast) 。 点播 v点对点点对点的特点是流媒体的源和目的地是一一对应 的，即流媒体从一个源(服务器端的应用)发送出去 后只能到达一个目的地(客户端应用)。 组播 v组播组播是一种基于组的广播，其源和目的地是一对多 的关系，但这种一对多的关系只能在同一个组内建 立，也就是说，流媒体从一个源(服务器端的应用)发 送出去后，任何一个已经加入了与源同一个组号的 目的地(客户端应用)均可以接收到，但该组以外的其 他目的地(客户端应用)均接收不到。 广播 广播广播的源和目的地也是一对多的关系，但这种

29、一对多 的关系并不局限于组，也就是说，流媒体从一个源(服 务器端的应用)发送出去后，同一网段上的所有目的地 (客户端应用)均可以接收到，广播可以看作组播的一 个特例。 视频服务器原理 视频服务器把存储在存储系统中的视 频信息以视频流的形式通过网络接口发送给 相应的客户，响应客户的交互请求，保证视 频流的连续输出。 视频服务器响应客户的视频流后，从存 储系统读入一部分视频数据到对应于这个视 频流的特定的缓存中，然后此缓存中的内容 送入网络接口发送到客户。 媒体制作流程 主要流媒体服务器产品 vWindows Media Services vHelix Server 数字化 采集 1、自主采集、拍

30、摄（DV） 1、数字化采集 2、各种录像带转录 3、DVD/VCD转录 剪辑 编辑 线性编辑：SONY-betacam 非线：Premiere/stormedit 2、剪辑编辑 P4 2.6G /1G内存 /160G硬盘 视频采集卡：Canopus 音频采集卡：DMX-6fire 硬件 软件 流媒体 编码 操作系统：WIN2000/XP 编码软件：windows meida Encoder 9 3、流媒体编码 P4 2.6G /512M内存/80G 硬盘 硬件 软件 测试 及正式 发布 操作系统：WIN2000/2003 SERVER 流媒体SERVER：windows meida servi

31、ces 4/9 4/5、测试及正式发布 P4 2.6G /512M内存/80G 硬盘 硬件 软件 网络带宽 客户端 操作系统：WIN98/2000/ME/XP 视频播放器：WINDOWS MEDIA PLAYER 9 6、客户端 P266 (MHz)/64M/10G硬件 软件 接入INTERNET 流媒体 工作 图示 编码软件 编码软件介绍 播放窗口 页面制作 流媒体服务器 搭建 Windows Media Encoder是一套容 易使用，而且功能强大的软件，提供使 用者自行录制影像的功能，可以从影像 捕捉设备或桌面画面录制，亦提供文件 格式转换的功能。 1 1、主流格式介绍、主流格式介绍 2 2、视频文件、视频文件VSVS流媒体文件流媒体文件 页面制作 客户端如何在WEB页 面嵌入Windows media player控件，来收看视音 频文件案例。 1、页面示例； 2、