流媒体技术PPT教程第一章 流媒体综述

1、南京工程学院南京工程学院计算机工程学院计算机工程学院徐梦溪徐梦溪v流媒体技术宝典流媒体技术宝典steve mack 著，电子著，电子工业出版社工业出版社v流媒体技术与应用完全手册流媒体技术与应用完全手册肖磊肖磊 等等 著，著，清华大学出版社清华大学出版社v多媒体通信技术多媒体通信技术李小平李小平 等等 著，北京航空著，北京航空航天大学出版社航天大学出版社vhttp:/v1. 1. 流媒体技术概述流媒体技术概述v2. 2. 流媒体技术的主流产品流媒体技术的主流产品v3. 3. 适应流式应用的多媒体编码解码技术适应流式应用的多媒体编码解码技术 v4. 4. 流式文本文件的制作流式文本文件的制作 v

2、5. 5. 同步多媒体集成语言同步多媒体集成语言 smil smil v6. 6. 流媒体的网络传输与控制协议流媒体的网络传输与控制协议v7. 7. 流媒体的平台搭建流媒体的平台搭建 v8. 8. 流媒体的制作和发布流媒体的制作和发布 v9. 9. 移动流媒体技术概述移动流媒体技术概述v10. 10. 流媒体相关硬件与产品流媒体相关硬件与产品 v1. 各种流媒体文件格式的熟悉各种流媒体文件格式的熟悉 v2. 流媒体节目的制作流媒体节目的制作 v3. 流媒体的转换流媒体的转换 v4. smil的编程的编程 v5. 流媒体服务器的安装和运行流媒体服务器的安装和运行 v6. 流媒体的嵌入流媒体的嵌入

3、 chapter 1 流媒体综述流媒体综述1. 多媒体技术多媒体技术v利用计算机技术把文本、图形、图像、动画、利用计算机技术把文本、图形、图像、动画、音频及视频等多种媒体综合一体化，音频及视频等多种媒体综合一体化，v使之建立起逻辑上的联系，使之建立起逻辑上的联系，v并能够对它们进行获取、编码、编辑、处理、并能够对它们进行获取、编码、编辑、处理、存储、传输和再现。存储、传输和再现。1.1.1 多媒体多媒体2. 多媒体技术的基本特征多媒体技术的基本特征v信息载体的多样性（采集、传输、存储、信息载体的多样性（采集、传输、存储、处理、呈现）处理、呈现）v集成性（如文本、图形、图像、视频、音集成性（如文

4、本、图形、图像、视频、音频）频）v交互性交互性v协同性和实时性协同性和实时性3. 多媒体关键技术：多媒体关键技术：v视频视频/音频数据的压缩和解压缩技术音频数据的压缩和解压缩技术v多媒体数据存储技术多媒体数据存储技术v多媒体数据库技术多媒体数据库技术v超文本与超媒体技术超文本与超媒体技术v基于内容的多媒体信息检索基于内容的多媒体信息检索v多媒体通信网络技术多媒体通信网络技术v虚拟现实技术（涉及三维实时图形显示、三虚拟现实技术（涉及三维实时图形显示、三维定位跟踪、触觉及传感技术、人工智能等）维定位跟踪、触觉及传感技术、人工智能等） v多媒体计算机的软、硬平台多媒体计算机的软、硬平台v信息存储媒体

5、信息存储媒体v网络网络v数据量庞大：数据量庞大：v码率可变、突发性强码率可变、突发性强v复合性信息多，同步性、实时性要求高复合性信息多，同步性、实时性要求高1.1.2 流媒体概念流媒体概念v流媒体：指在流媒体：指在internet/intranet网络中使网络中使用流式传输技术的连续时基媒体，如音频、用流式传输技术的连续时基媒体，如音频、视频或多媒体文件。视频或多媒体文件。v简单来说，应用流技术在网络上传输的多简单来说，应用流技术在网络上传输的多媒体文件。媒体文件。v流媒体技术：一种可以使音频、视频和其流媒体技术：一种可以使音频、视频和其他多媒体文件能在他多媒体文件能在internet及及in

6、tranet上以上以实时的、无需下载等待的方式进行播放的实时的、无需下载等待的方式进行播放的技术。技术。real player 播放器播放器1.1.3 流媒体的发展历史流媒体的发展历史windows media 媒体播放器媒体播放器apple公司的公司的 quick time 播放软件播放软件1.2 流式传输的基础流式传输的基础v主要指通过网络传送媒体（如音频、视频）主要指通过网络传送媒体（如音频、视频）的技术总称。的技术总称。v其特定含义为通过其特定含义为通过internet将影视节目传送将影视节目传送到到pc机。机。 1.2.1 流式传输的定义流式传输的定义1.2.2 支持流媒体传输的网络

7、协议支持流媒体传输的网络协议v实时传输协议实时传输协议rtpv实时传输控制协议实时传输控制协议rtcpv实时流协议实时流协议rtspv资源预留协议资源预留协议rsvpv多用途多用途internet邮件扩展协议邮件扩展协议mime (multipurpose internet mail extensions)识别流媒体类型的途径识别流媒体类型的途径1.2.3 流式传输的方式流式传输的方式v顺序下载，并在下载文件的同时播放在线媒体；顺序下载，并在下载文件的同时播放在线媒体；在给定时刻，用户只能播放已下载的部分，而不在给定时刻，用户只能播放已下载的部分，而不能跳到还未下载的部分能跳到还未下载的部分v

8、http流式传输流式传输v文件播放的部分是无损下载文件播放的部分是无损下载v点播技术点播技术v实时传送，特别适合现场事件；支持随机访问，实时传送，特别适合现场事件；支持随机访问，用户可快进或后退，以观看前面或后面的内容用户可快进或后退，以观看前面或后面的内容v需要专用的流媒体服务器与传输协议需要专用的流媒体服务器与传输协议v匹配连接宽带匹配连接宽带视频为实时广播，视频为实时广播，或使用流式传输媒体服务器，或使用流式传输媒体服务器，或应用如或应用如rtsp的实时协议的实时协议使用使用http服务器服务器1.3 流媒体实现流媒体实现v预处理预处理v缓存（环形链表结构）缓存（环形链表结构）v传输协议

9、：传输协议：http/tcp传输控制信息；传输控制信息；rtp/udp传输实时声音数据传输实时声音数据v流式传输的基本原理流式传输的基本原理webbrowserwebservera/v playera/v serverrtsp(rtp)/tcp(udp)http/tcpmeta fileorientation1.4 流媒体的网络播放方式流媒体的网络播放方式v单播单播v组播组播v点播点播v广播广播客户端与服务器之间的点到点连接，在客户端客户端与服务器之间的点到点连接，在客户端与媒体服务器之间建立一个单独的数据通道。与媒体服务器之间建立一个单独的数据通道。通过启用组播网络传递内容流，网络中的所有通

10、过启用组播网络传递内容流，网络中的所有客户端共享同一流。客户端共享同一流。用户被动接收流。用户被动接收流。客户端与服务器之间的主动的连接。客户端与服务器之间的主动的连接。1.4 流媒体的网络播放方式（流媒体的网络播放方式（contd）v点播单播点播单播v广播单播广播单播v广播组播广播组播客户端连接到服务器以接收特定内容，客户端连接到服务器以接收特定内容，该内容也只传往一个客户端。该内容也只传往一个客户端。客户端通过发布点上的别名访问流。客户端通过发布点上的别名访问流。被动的用户通过监视特定的被动的用户通过监视特定的ip地址接收地址接收组播组播asf流。流。1.5 流式技术的主要解决方案流式技术

11、的主要解决方案v组成：组成：real producer, real server, client softwarev流媒体文件：流媒体文件：real audio, real video, real presentation, real flashvsure stream技术：自动地并持续地调整数技术：自动地并持续地调整数据流的流量以适应实际应用中的各种不同网据流的流量以适应实际应用中的各种不同网络带宽需求；在网上实现音频、视频和三维络带宽需求；在网上实现音频、视频和三维动画的回放动画的回放1.5.1 real system1.5.2 windows media technologyvasf是一

12、种数据格式，音频、视频、图像以是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体以网络数据包的形式传输，实现流式多媒体内容发布。内容发布。v组成：组成：media tools, media server, media player保证文件的保密性，保证文件的保密性，不被未授权下载，不被未授权下载，使每个使用者都能以最佳的影片品质使每个使用者都能以最佳的影片品质浏览网页，浏览网页，具有多种文件发布形式具有多种文件发布形式和监控管理功能。和监控管理功能。提供提供流信息的流信息的播放功能播放功能1.

13、5.3 quick timev组成：组成：quick time streaming server, quick time player, quick time pro, picture viewer, quick time plug-in unitv支持流类型：实时流和快速启动流支持流类型：实时流和快速启动流rtp传输数据传输数据http/ftp传输数据传输数据 在在web页面中加入图像、动画以及交互式页面中加入图像、动画以及交互式界面等操作界面等操作 产品：产品：flash, shockwave for authorware, shockwave for director 在网上创建、发布及

14、浏览被缩放的在网上创建、发布及浏览被缩放的3d图形图形 eg. 游戏开发厂商、页面设计者、电子商游戏开发厂商、页面设计者、电子商务务1.6 流媒体文件格式流媒体文件格式1.6.1 压缩媒体文件格式压缩媒体文件格式常用视频、常用视频、音频压缩音频压缩文件类型文件类型文件压缩过程文件压缩过程 1.6.2 流式文件格式流式文件格式常常用用流流式式文文件件格格式式流式文件编码过程流式文件编码过程 1.6.3 媒体发布格式媒体发布格式常用媒体发布格式常用媒体发布格式 1.7 流媒体系统的构成流媒体系统的构成v包括媒体采集与编码包括媒体采集与编码v转档转档 / 转码软件：可将普通格式的音频、视频或动转码软

15、件：可将普通格式的音频、视频或动画媒体文件通过压缩转换为流服务器进行流式传输画媒体文件通过压缩转换为流服务器进行流式传输的流格式文件。（的流格式文件。（real producer, windows media encoder）v流媒体编辑软件：对流媒体文件进行编辑，常与转流媒体编辑软件：对流媒体文件进行编辑，常与转档档 / 转码软件捆绑在一起。转码软件捆绑在一起。v合成软件：可将各类图片、声音、文字、视频、幻合成软件：可将各类图片、声音、文字、视频、幻灯片或网页同步，并合成为一个流媒体文件。灯片或网页同步，并合成为一个流媒体文件。（real slide show, real presenter

16、, windows media author）v编程软件：可开发流式传输的新数据类型，创建客编程软件：可开发流式传输的新数据类型，创建客户端应用，自定义流媒体系统。（户端应用，自定义流媒体系统。（sdk）1.7.1 媒体内容制作媒体内容制作1.7.2 媒体内容管理媒体内容管理v包括流媒体文件的存储、查询及节目管理、创包括流媒体文件的存储、查询及节目管理、创建和发布。建和发布。v视频业务管理媒体发布系统：包括广播和点播视频业务管理媒体发布系统：包括广播和点播的管理，节目管理，创建、发布及计费认证服的管理，节目管理，创建、发布及计费认证服务，提供定时按需录制、直播、传送节目的解务，提供定时按需录制

17、、直播、传送节目的解决方案，管理用户访问及多服务器系统负载均决方案，管理用户访问及多服务器系统负载均衡调度的服务。衡调度的服务。v媒体存储系统：必须配备大容量的磁盘阵列，媒体存储系统：必须配备大容量的磁盘阵列，具有高性能的数据读写能力，访问共享数据，具有高性能的数据读写能力，访问共享数据，高速传输外界请求数据，并具有高度的可扩展高速传输外界请求数据，并具有高度的可扩展性、兼容性，支持标准的接口。性、兼容性，支持标准的接口。v媒体内容自动索引检索系统：对媒体源进行标媒体内容自动索引检索系统：对媒体源进行标记，捕捉音频、视频文件并建立索引，建立高记，捕捉音频、视频文件并建立索引，建立高分辨率媒体的

18、低分辨率代理文件。分辨率媒体的低分辨率代理文件。1.7.3 用户管理用户管理v涉及用户的登记、授权、计费和认证涉及用户的登记、授权、计费和认证v用户身份验证：限制非法用户使用系统用户身份验证：限制非法用户使用系统v计费系统：根据用户访问的内容或时间进行计费系统：根据用户访问的内容或时间进行相应的费用统计相应的费用统计v媒体数字版权加密系统（媒体数字版权加密系统（drm）：允许内容）：允许内容提供商在其发布的媒体或节目中对指定的时提供商在其发布的媒体或节目中对指定的时间段、观看次数及其内容进行加密和保护。间段、观看次数及其内容进行加密和保护。1.7.4 视频服务器视频服务器v网络视频的核心网络视

19、频的核心v采用时间片调度算法采用时间片调度算法v存储量大，数据率高，具备接纳控制、请求存储量大，数据率高，具备接纳控制、请求处理、数据检索、按流传送等功能处理、数据检索、按流传送等功能v存储设备多采用存储设备多采用scsi接口，以确保高速、并接口，以确保高速、并行、多重行、多重i/o总线能力总线能力v流媒体系统通常支持多服务器协同工作，服流媒体系统通常支持多服务器协同工作，服务器之间能自动进行负载均衡务器之间能自动进行负载均衡1.7.5 客户端系统客户端系统v支持实时音频、视频直播和点播支持实时音频、视频直播和点播v可嵌入到流行的浏览器中可嵌入到流行的浏览器中v可播放多种流行的媒体格式可播放多

20、种流行的媒体格式v支持流媒体中的多种媒体形式支持流媒体中的多种媒体形式v带宽充裕时，可自动侦测视频服务器的连接带宽充裕时，可自动侦测视频服务器的连接状态，选用更适合的视频状态，选用更适合的视频 在同一时间可多点点播相同或不同的节目在同一时间可多点点播相同或不同的节目 eg. 视频点播（视频点播（vod），电子商务，网络广告，远），电子商务，网络广告，远程教育程教育 用户只能观看播放的内容，无法进行控制用户只能观看播放的内容，无法进行控制 eg. internet的多媒体新闻发布，重大体育赛事，重的多媒体新闻发布，重大体育赛事，重大时事的视频直播大时事的视频直播 一般双方都要有包括媒体采集的硬件和软件，还有一般双方都要有包括媒体采集的硬件和软件，还有流传输技术流传输技术 eg. 会议研讨，会议研讨，ip可视电话，实时视频会议可