流媒体技术基础与制作

回顾第一次课的内容1多媒体与流媒体的区别与联系2流式传输包含哪两种？3四大主流流媒体公司是什么，他们的流媒体格式分别是什么？4流媒体技术的三个方面是什么？5简述流媒体的传输过程。第一页，共七十二页。​第二章

流媒体技术基础与制作数字媒体教研室傅慧第二页，共七十二页。​流媒体技术不是一种单一的技术，它是网络技术及视音频技术的有机结合。在网络上实现流媒体技术，需要解决流媒体的制作，发布，传输及播放等方面的问题。第三页，共七十二页。​主要内容：2.1流媒体关键技术2.2四大流媒体平台2.2.1(公司）2.2.2(公司）2.2.3（公司）2.2.4（公司）2.3流媒体的制作第四页，共七十二页。​2.1流媒体关键技术1、流媒体制作技术方面解决的问题

网络上进行流媒体传输所传文件必须制作成适合流式传输的格式文件。将文件格式压缩成流媒体格式文件，选用适当的压缩算法。需要向文件中添加流式信息。第五页，共七十二页。​2、流媒体传输方面需要解决的问题:无法实时传输：实时传输为什么要在协议而不在协议上进行实时数据传输呢？第六页，共七十二页。​3、流媒体传输中需要缓存的支持流媒体文件被压缩分割成很多数据包，由于网络传输的不稳定性，各个包选择的路由不同，所以到达客户端的时间次序可能发生改变，甚至出现丢包现象。必须利用缓存对到达的数据包进行正确排序，以便正确播放。缓存中的数据是动态的，不断更新的。第七页，共七十二页。​4、流媒体播放方面需要解决的问题流媒体的播放需要浏览器的支持。浏览器采用来识别各种不同的简单文件格式。:用来标记在上传输的任何文件类型。

所有的浏览器都支持协议，在协议内部建有。浏览器通过来识别流媒体的类型，并调用相应的程序或插件来处理。如果浏览器不清楚调用哪种插件系统，它会告诉用户缺少某插件，或者直接选择某现有插件来试图读取接受到的文件，后者可能会导致系统的崩溃。第八页，共七十二页。​简介

（多功能邮件扩充服务）它是一种多用途网际邮件扩充协议，在1992年用于电子邮件系统，后来也应用到浏览器中。服务器会将它们发送的多媒体数据的类型告诉浏览器，而通知手段就是说明该多媒体数据的类型。从而让浏览器知道接受到的信息哪些是3文件，哪些是文件等。第九页，共七十二页。​是由（开发技术的公司）开发的多媒体播放器系列。可以通过播放和收看文件，并且效率更高，效果更好。同一样，也需要插件支持。是专门播放使用制作的网页的外挂软件，像是在网页上看到的互动游戏、电影短片等等，亦包括，也可以观看所制作的网页。第十页，共七十二页。​2.2四大流媒体平台2.2.1与相抗衡技术涵盖了一整套关于流媒体处理的组件和特性，其主要目的是在和（企业内部网）上实现基于流技术的数字视音频的传输，并且涉及到数字媒体的许多新领域，如数字版权管理（）等。第十一页，共七十二页。​一、组件整个技术平台的主要组件包括；;1、:用于帮助用户生成格式的多媒体流（包括实时多媒体流），分为创建工具和编辑工具两种，创建工具：、、、编辑工具：与、.第十二页，共七十二页。​2、对外提供流媒体的网络发布服务。包扩两大基本服务模块:(单播服务）(电台服务)::点播：广播第十三页，共七十二页。​3、提供强大的流信息播放功能，支持多种常见的数字媒体格式。既可以独立使用，也可以方便的以X控件形式嵌入到浏览器或其他应用程序中.既可以播放提供的内容，也可以播放提供的广播内容。第十四页，共七十二页。​二、版权管理技术通过版权管理，内容所有者可以方便，快速的将他们的内容放到上和大家分享，并且同时能够保护产品或作品的版权利益。媒体文件一经加密，没有许可证就无法进行播放，此外，许可证也不能被共享或成功复制。核心组件是.软件开发者使用版权管理，可以制作用于加密和分发许可证的程序。第十五页，共七十二页。​1、数字版权管理()技术:本质上就是许可证管理。首先，数字内容提供者（如网校、信息网站、音乐网站、数字图书馆等）利用工具将原始的视音频文件或文本文件进行加密，添加文件头，加密的同时还可以添加版权信息。打包后的数字文件就放在站点的服务器上，也可压制光盘来发行。接下来，当合法用户点击网站或打开光盘内容时，相关的媒体播放器会自动地检查有没有相应的许可证。第十六页，共七十二页。​2、基本工作方式1）打包包括：编码、压缩、用密钥对媒体文件进行加密处理，用来自数字证书的密钥为它签名.生成的打包媒体文件以格式保存。2）发布打包的的媒体文件与播放它的许可证是分开的，可以用不同的方式发布。3）获取许可证要播放媒体文件，客户端必须获得许可证。其中包含密钥用于解锁打包的内容。第十七页，共七十二页。​3、版权管理组件:用于打包媒体:注册客户并颁发许可证数据库：存储有关媒体文件，事物，许可证和注册信息站点:此站点的网页包含了的全部功能。第十八页，共七十二页。​2.2.220世纪90年代中期提出了流媒体技术，目前编码主要技术是9.具有很多先进的技术：:可伸缩视频技术：两次通过编码技术:智慧流技术音频部分采用的是,该编码在低带宽环境下的传输性能非常突出。通过基于并结合自己的和技术来达到一定的交互能力和媒体控制能力。第十九页，共七十二页。​可伸缩视频技术可伸缩视频编码技术：传统的视频编码技术是在码率固定的情况下对视频序列进行处理,使其能够达到最大的压缩,但这样的编码系统提供的数据流无法根据用户需求和网络条件进行动态调整,因而不太适合当前的网络传输。可伸缩视频编码技术()是一种新技术,它所产生的数据流能够不经过重新编码而适应不同的需求,克服了传统编码系统中的缺点和不足。第二十页，共七十二页。​两次通过编码技术是指在第一次通过时分析内容，然后在第二次通过时根据第一次通过时收集的数据进行编码。两次通过编码可以生成质量更好的内容，这是因为编码器有充足时间根据画面的组成找出最佳的比特率、帧速率、缓冲区大小和图像质量的组合。但是，由于编码器要两次处理全部内容，所以这种编码方式所需的时间更长。第二十一页，共七十二页。​自适应流技术:智能流技术：自动检测网络状况，然后根据响应降低影像的码率，如果没有网络信号的时候，客户端甚至会不放视频，而只播放声音（因为音频流要求的码率更低）。第二十二页，共七十二页。​缺点：

这些设计当然很好，但是他们都有天生的不足。他们都只能用于流控，就是说并不能渐进下载。而编码器也不要求影视节目严格的对齐，只是要求关键帧（)对齐，这就导致了在同一视频不同码率的流之间作平滑切换变得很困难。媒体流出来的时候都是以固定的码率的，服务器不知道客户端的真实网络情况，要想准确地预测客户端的带宽就几乎不可能了，尤其是在要求实时播放的情况下就更难了。因为，差的网络带宽检测出来的时候就已经滞后了，这时客户端的播放器又不得不暂停下来，选择更合格的低码率的流重新进行缓冲。第二十三页，共七十二页。​现在：基于协议的方式分发开始流行起来。

过去几年流媒体发展的一个趋势就是希望能转为使用基于的方式进行内容分发，而不再使用传统的流媒体协议，，等等。目前已经有很多视频网站已经在使用基于的渐进式下载()技术进行媒体分发了。第二十四页，共七十二页。​现今网络上的流媒体分发大致有三种方式：传统的流控渐进式下载自适应流。第二十五页，共七十二页。​

a)传统的流控技术

实时流控协议（）是传统流控协议最好的例子。是有状态的协议，从客户端从一开始连接到流控服务器直到最后和流控服务器断开连接，服务器要保持跟踪客户端的状态。客户端通过发送播放，暂停和断开命令向服务器传送自己的状态。第二十六页，共七十二页。​一旦客户端和服务器的会话（）建立了，服务器就将媒体固定地传送成一个个小()包(这些包的格式是按协议封装的)。通常一个包的大小是1452字节，这意味着视频会编成每秒钟1兆字节的流，每个包里大约有11毫秒的视频内容。在协议下，这些包会通过或者网络协议进行传送，当网络防火墙或者网络代理阻挡了包的时候才会用协议进行传送，因为包传送的时候会不断重试，直到客户端收到为止，所以用传很明显会增加网络的延迟，而网络延迟增大，就会影响影视的播放质量。第二十七页，共七十二页。​

像这种最传统的流控协议有如下特点：1）服务器向客户端发送数据包的时候只以某个实时的码率，就是媒体编码时候的码率。例如，一个视频编码成500的视频要求的客户端的接收带宽大约也是500。2）服务器只能提前发送足够多的数据让客户端进行缓冲。通常情况下客户端会缓冲1到5秒钟的影视流。也就是说，如果你把一个节目暂停了10分钟，你重新开始播放的时候还要等大约5秒钟影视流完全下载到了客户端的时候才能看。第二十八页，共七十二页。​b)

渐进式下载()

如今另一种通过服务器分发媒体的方式就是渐进式下载，渐近式下载其实也就是一种简单的从服务器进行文件下载的普通方式。大多数媒体播放器和平台都支持渐进式下载，比如说，以及媒体播放机。“渐进”这个术语源于播放器客户端允许媒体文件还正在下载的时候就开始播放，不用等到整个文件下载都完成写到磁盘上之后，通常情况下播放内容都是先直接放在浏览器的缓存里的。第二十九页，共七十二页。​

不像流媒体服务器，几乎都只传送差不多十秒钟的数据给客户端。服务器会在媒体文件下载完成之前一直在传送数据流。如果一开始播放时你就暂停了一个渐进式下载的视频，然后在那等着，就会把整视频个文件都下载到浏览器的缓存里面，这样就可以不停顿、平滑地把整个视频都看完。

码率节阀（)的技术第三十页，共七十二页。​c)基于的自适应流控

自适应流控是一种杂交了流控技术和基于渐进式下载的分发技术。自适应流控是使用了而不是新协议的先进的概念。

在典型的自适应流控实现中，视频和音频源被切分成很多短的片断（““流控块），然后被编码成需要的分发格式。流控块通常有两到四秒长。在视频编码级别，这通常意识着每个流控块被切分成一个视频图像组（（)）边界（每个流控块都包含一个关键帧），于是就不用依赖过去或者将来的流控块的任何图像组的信息了。这样每个流控块之间就可以独立于其他流控进行解码。第三十一页，共七十二页。​

这些编码好的流控块放到服务器上。客户端使用普通的渐进式下载的方式从服务器上以线性的方式下载它们然后使用。一旦流控块下载到一客户端，客户端就可以顺序的方式对流控块进行播放。因为流控块很小心地进行编码，之间没有任何间隔和重叠，流控块播放起来就是平滑视频了。

当视频源用N种码率进行编码，生成N个两到四秒的不同大小的流控块之后，“自适应”部分的解决方案就有用了。客户端现在可以选择不同大小的流控块进行播放。因为服务器只管按照网络带宽尽快地分发数据，客户端可以很容易地计算出用户端的带宽，就可以提前决定下载是大的还是小的流控块。播放和下载的缓冲的大小是完全由客户端定制的。第三十二页，共七十二页。​一、系统组成1制作端产品编码器，主要用于压缩制作多媒体内容文件。它提供两种编码格式选择：和,能充分利用服务器的服务功能。实时压缩技术还提供现场直播和实时广播的功能。有初级版()和高级版（）两个版本。第三十三页，共七十二页。​2、服务器产品()是目前国际上最强有力的上的流传播服务器引擎。公司对外开放自己的的内部结构，提供二次开发的接口，允许第三方厂商对作进一步的开发来增加客户自己的功能需求。根据应用方案的不同，分为：\\\几个版本。代理软件提供专用的安全的流媒体服务代理，能使有效降低带宽需求。第三十四页，共七十二页。​3、客户端产品可独立运行，也可作为插件在浏览器中运行通过方式与服务器通信实现过程：客户通过网页上的超链接与通信。将产生一个很小的元文件()发送至浏览器浏览器接受到这个元文件（扩展名为*），包含了同通信的地址。由元文件中的地址找到。直接以流的方式与进行通信。第三十五页，共七十二页。​4、文件格式公司所制定的音频视频压缩规范称作文件格式。主要包括：

第三十六页，共七十二页。​2.2.3系列的流媒体技术，除了它的播放器有平台的版本外，其他的软件大都是基于平台的。采用了一种称为技术的虚拟现实技术，用户通过鼠标或键盘的交互控制，可以观察某一地点360度的景象，或者从空间任何角度观察某一物体。第三十七页，共七十二页。​一、文件格式将媒体描述和媒体数据分开存储，媒体描述/元数据()叫做电影(),包含轨道数目，视频压缩格式和时间信息，索引。媒体数据是所有的采样数据，如视频帧和音频采样。媒体数据可以与电影存储在同一个文件中，也可以在一个单独的文件中或在多个文件中。第三十八页，共七十二页。​二、制作技术:可以将其他格式的媒体文件转换成系列的流媒体文件()。还可以制作，类似于系列的文件，将一组图片文件根据一定的播放顺序，时间以及切换效果组合到一起。不同的是，它把所有的图片集和在一起生成一个文件。:制作虚拟环境的工具软件。可以模拟真实的或虚拟的物体和环境。与其他的虚拟现实应用不同的是，进入不需要专用的手套和头盔，也不需要传统的3D插件。第三十九页，共七十二页。​怎么实现？将一组经过横向和纵向校准拍摄而成的某个场所的照片，比如一个广场，通过排列和融合在一起，即生成电影文件。用媒体播放器播放时，只要上下左右拖拽鼠标，就会产生置身其中，360度环视以及120度仰视和俯视的效果。通过点击缩放按钮，还可以产生在该场所前进和后退的效果。这在网络教学，电子商务以及网上展示等方面都有较高的应用价值。第四十页，共七十二页。​:通过将一组照片组合在一起，可以使用户通过拖拽鼠标，感受到搬动，旋转该物体，或者从各个不同的角度观察该物体的感觉。第四十一页，共七十二页。​三、发布技术:被包含在系列的服务器软件中。它所采用的数据发布方式也是三种：即点播、实时和非实时广播。与相比，它没有那么强大的流媒体发布功能，它不支持技术。第四十二页，共七十二页。​四播放技术可以是独立的也可以作为浏览器插件结合在页面中。播放器支持的文件格式：，3。第四十三页，共七十二页。​2.2.4第四中流媒体技术平台。一、流媒体文件格式:和1、文件格式：随着的推出发展而来的视频格式。文件极小，加载速度极快，它的出现有效解决了视频文件导入中，使导出的文件体积过于庞大，不能在网络上很好使用等缺点。因此，在国内外著名视频网站得到广泛应用。第四十四页，共七十二页。​2、文件格式特点：在屏幕上即时显示。可扩展性：播放器能够兼容早期版本网络发布：二进制文件，位压缩，可选字段式结构等方法来减小文件尺寸。简易性文件独立：文件显示不依赖任何诸如字体之类的扩展资源可变性：在有限的硬件环境下很好的工作速度：快速和高质量播放支持脚本：支持一种叫(动作脚本)的语言第四十五页，共七十二页。​是可以执行的唯一文件格式。其他任何文件资源如3等，都必须内嵌于文件，或通过其加载。动画是基于矢量技术制作的，因此不管将画面放大多少倍，画面不会因此而有任何损害。通过一些特定工具，和之间可以相互转换。第四十六页，共七十二页。​二、创建工具使用发布的软件来创建三、播放器、

很多网上的各个版本和种类的文件格式播放器，其核心都是编写的解码器。只要播放器包含该解码器即可播放文件。10是与4套装融为一体的。向搜索引擎开放了技术，使其可以索引内嵌在文件中的信息，即用户今后可以轻松的通过搜索引擎查找资源了。第四十七页，共七十二页。​四、服务器():交互服务器版权保护媒体流服务器编码服务器第四十八页，共七十二页。​新功能：让每台服务器流量数增加近一倍；在9上支持业界标准的H.264视频及音频；保护传输的视频内容；强化新闻、音乐会、体育赛事及社会媒体服务的实时视频支持第四十九页，共七十二页。​2.3流媒体的制作不提供免费版本的编码器，其编码软件包含在中，我们可以从的网站购买。提供免费的，并且也提供P1。如果你计划做关于编码的上作，那么P1可以提供方便的高级功能。媒体编码器是免费产品。除了媒体编码器，还可以下载和安装媒体资源工具包第五十页，共七十二页。​Ⅰ、编码媒体文件(一）使用编码使用媒体编辑器编码媒体文件。第一次使用编码时使用向导设置。用媒体编码器编码文件涉及到任务设置，可以指定输入、输出，并且选择编码配置文件，用于决定编码文件的比特率和品质设置。在指定了所有的设置后，点击(开始)按钮编码你的文件第五十一页，共七十二页。​最新版9中文版主要功能是将实况或者预先录制好的音频和视频转换为格式的流媒体文件。可以提供音频和视频内容的实时源包括播放器、话筒、、摄像机或视频播放器。被保存的源是音频或视频文件。用户可以用或任何使用9开发的应用程序来查看基于编码的内容。第五十二页，共七十二页。​编码器支持的文件格式格式文件扩展名

,,

,,3图片第五十三页，共七十二页。​操作1编码器界面2流媒体制作流程

会话：一个完整的编码任务称为“会话”，对于编码会话可以通过会话向导进行创建和修改，也可以通过自定义会话并保存。中创建并保存的会话可以以一个独立的文件保存在计算机中，该文件的扩展名是第五十四页，共七十二页。​1）使用向导转换文件例：将ｍｐ３文件转换成流媒体格式然翁御剑3第五十五页，共七十二页。​２）使用向导创建自定义会话源：一个会话中必须包含一个源。

源有三种来源，并且有三种类型。

脚本包括三种媒体：字幕，ＵＲＬ和自定义脚本命令。第五十六页，共七十二页。​２）使用向导创建自定义会话压缩选项卡选出一个预先设置好的配置文件即可。

这些配置文件有单比特率的编码配置，也有多比特率的编码配置。多比特率的配置可以同时适应预先设定的不同的网络状况下传输文件。分别适应不同的网络带宽第五十七页，共七十二页。​２）使用向导创建自定义会话输出选项卡右下角有“索引文件”选项。该选项的功能是使输出的流媒体文件在使用播放的时候可以实现快进和快退，并且用户可以通过拖动播放滑块来控制媒体文件的播放。所以只有选中这个选项，生成的文件才能被添加索引，并实现上述功能。但在实况广播时，索引功能是不可用的。第五十八页，共七十二页。​２）使用向导创建自定义会话时间压缩可以提高或降低回放时内容播放的速度。提高内容的速度能减少查看整个视频或收听整个音频文件所需要的时间，并且在需要使内容符合指定时间间隙的情况下很有用。降低内容的速度在内容涉及高科技材料或非母语语言时能有助于理解。选中时间压缩选项，激活右侧的属性按钮，出现对话框。第五十九页，共七十二页。​２）使用向导创建自定义会话通过拖动滑块可以对加速系数进行调整，数值在0.5-2.5之间变化。选中“启用停顿删除”选项，可以将文件中既无声音又无视频的片断删除。第六十页，共七十二页。​例2：将视频文件进行流媒体编码例：第六十一页，共七十二页。​３）计算机实时屏幕捕捉编码１选择操作类型——屏幕捕捉2设置媒体来源——屏幕捕捉3设置屏幕捕获的属性——整个屏幕4设置音频第六十二页，共七十二页。​（二）流媒体编辑软件1熟悉操作界面2流媒体文件的剪裁3两个文件的拼接4修复不能拖放的或文件5视频文件格式转化第六十三页，共七十二页。​１安装,熟悉界面浏览窗口：类似于资源管理器，通过它可以迅速的找到需要处理的流媒体文件。当用鼠标双击该文件时，软件会调用来进行预览。功能菜单文件列表选项按钮快捷工具栏第六十四页，共七十二页。​功能菜单：基本，修复，转化和其它基本功能：包括了文件裁剪、拼接等功