流媒体概述课件

浙江工业大学软件学院多媒体与流媒体浙江工业大学软件学院多媒体与流媒体1多媒体（Multimedia）媒体（ITU-T定义分五类)感知媒体图形、图像、声音、动画、文本表示媒体为有效加工、处理和传输感知媒体而构造的媒体数据编码：声音编码、图像编码显示媒体进行信息输入、输出的媒体显示器、打印机、键盘存储媒体信息存储的媒体硬盘、光盘传输媒体用于承载信息，将信息进行传输的媒体光纤、无线电链路多媒体（Multimedia）媒体（ITU-T定义分五类)2多媒体技术多媒体技术：计算机交互使综合处理多媒体信息－文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是具有集成性、实时性和交互性的计算机综合处理声音、文字、图像信息的技术。国内一般定义为：能对多种载体（媒介）上的信息和多种存储（媒介）上的信息进行处理的技术。多媒体技术多媒体技术：3多媒体技术特性1集成性结合文字、图形、影像、声音、动画等各种媒体的应用，并且建立在数字化处理的基础上。利用电脑技术处理和整合各种媒体系统。主要有电脑技术、超文本技术、光盘存储技术、影像绘制技术等。2交互性3非循序性超文本连接多媒体技术特性1集成性4多媒体关键技术1MMX技术MultiMediaeXtension多媒体扩展指令集。Intel推出的对CPU系统处理增加4个新数据类型、8个64位寄存器和57条多媒体指令，采用SIMD（单指令多数据流）技术。提供对多媒体的并行处理能力2音频信息技术音频信息转换：音频信号的采样－模/数转换成数字信号－数/模转换还原成模拟信号（声卡）MIDI（MusicIntrumentDigitalInterface)技术：应用于音乐制作与合成领域。多媒体关键技术1MMX技术5多媒体关键技术3视频信息技术图像分辨率颜色模式图像处理与动画制作技术4数据压缩和解压缩技术及其标准音频编码标准：MPEG系列和DOLBY推出的AC系列图像压缩标准：JPEGH.261,H.263,H264标准：视频图像压缩编码标准，用于视频电话和电视会议。MPEG标准：数字音频、视频压缩标准。解决视频图像压缩、音频压缩及多种压缩数据流的复合与同步。5超媒体链接技术多媒体关键技术3视频信息技术6多媒体信息特征数据量庞大四类信息单媒体信息文本、图像、静止图像、运动图像、声音。多媒体和超媒体信息属于结构化的信息脚本信息特定应用信息码率可变、突发性强码率随信息内容、时间变化复合性信息多、同步性实时性要求高多媒体信息特征数据量庞大7流媒体Internet上传输多媒体信息1）数据量大，对网络要求高2）必须将多媒体信息完整下载到本地才能使用3）版权问题“流式传输”：CPU缓存将多媒体信息经过特殊的压缩方式分成一个一个压缩包，由视频服务器向用户计算机连续、实时传送。流媒体Internet上传输多媒体信息8流媒体StreamMedia指在Internet/Intranet网络中使用流式传输技术的连续时基媒体。如音频、视频或多媒体文件等。流媒体属于多媒体，它是在Internet/Intranet网络环境下使用了特殊传输方式的多媒体。流媒体技术不是单一的技术，是建立在多种技术之上的技术。其基础技术包括网络通信、多媒体数据采集、多媒体数据压缩、多媒体数据存储和传输。流媒体StreamMedia9流媒体的发展起源于窄带互联网时期1994年ProgressiveNetworks成立。1995年推出c/s架构的音频接收系统RealAudio，1997年公司更名为RealNetworks.2000年下半年，RealNetworks、Microsoft和Apple公司均推出流媒体技术的宽带解决方案。流媒体的发展起源于窄带互联网时期10流媒体的发展流媒体应用VoD（video-on-demand）视频点播CiscoIPTV,nCUBEMediaCUBE,OracleOVS,MediaCenter,HPMediaStream,Stream21等视频会议(videoconference）PictureTel，NetMeeting远程教育（distancelearning）系统数字图书馆视频广播、视频监视、电视上网、在线电台流媒体的发展流媒体应用11流媒体的发展流媒体应用系统基于Internet的流媒体系统有微软的WindowMediaPlayer苹果的AppleQucikTimeRealNetworks的RealSystem流媒体的发展流媒体应用系统12流媒体的实现原理通过高效的压缩算法，在降低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合流式传输；然后通过构建流媒体服务器，修改MIME标志，通过各种实时协议传输流数据。编码器流媒体服务器流媒体播放器源媒体流式传输流式传输流媒体的实现原理编码器流媒体流媒体源媒体流式传输流式传输13流媒体的实现1预处理（编码器）采用高效的压缩算法加入附加信息将压缩媒体转换为适合流式传输的文件格式。2支持流媒体传输的网络协议（1）实时传输协议（RealtimeTransportProtocol,RTP）Internet上针对多媒体数据流的传输协议，提供时间信息和实现流的同步。（2）实时传输控制协议（RTCP）和RTP一起提供流量控制和拥塞控制的服务（3）实时流协议（RTSP）定义一对多的应用程序如何有效的通过IP网络传送。（4）资源预订协议（RSVP）考虑音频视频数据量对网络延时敏感，使用RSVP预留部分资源流媒体的实现1预处理（编码器）14流媒体系统的基本构成媒体内容制作转码软件、流媒体编辑软件、合成软件、编程软件媒体内容管理视频业务管理媒体发布系统流媒体存储系统媒体内容自动索引检索系统用户管理视频服务器客户端播放系统流媒体系统的基本构成媒体内容制作15浙江工业大学软件学院数字视频基础浙江工业大学软件学院数字视频基础16电视传像基本原理电视传像过程：发送端：摄像机光－电转换：将景物的亮度B、色度C（色调λ和饱和度s）转换成电信号接收端：电视机电－光转换：电视图像的分解和传送二维光学信息分解成像素彩色：亮度和色度黑白：亮度传送同时传输制：很难实现，需要过多的传输通道顺序传输制：扫描传统电影没有顺序传输和扫描概念，但数字化电影引入。电视传像基本原理电视传像过程：17电视扫描原理视觉惰性有建立惰性和消失惰性（视觉暂留特性），是现代电影和电视的基础视觉暂留时间0.05-0.2s。电影的24格和电视的25帧（PAL制）避免闪烁：帧频>=45.8Hz电影：放映时重复投光2次或3次。电视：？电视扫描方式从左到右，从上到下。扫描方式：行扫描：逐行扫描和隔行扫描帧扫描：垂直扫描。二者同时进行，且行扫描速度大于帧扫描电视采用隔行扫描帧频仍然为25帧。但场频为50帧电视扫描原理视觉惰性18黑白全电视信号图像信号在行扫描或场扫描的正程期间传送处理的声音最高频率为20kHz，图像最高频率为6MHz复合消隐信号复合消隐脉冲：扫描逆程期间传送使显像管中的扫描电子束截止，消除行、场回归线，使其不干扰正程的图像信号。复合同步信号保证正确重现图像，要求收、发两端扫描同步。复合同步脉冲：也在扫描逆程期间传送。叠加在复合消隐脉冲上。黑白全电视信号图像信号19彩色电视机的三基色原理彩色的三要素亮度：彩色光对人眼刺激程度的强弱色调：彩色颜色的类别取决于可见光谱中的光波波长色饱和度某种色调的浓淡或深浅程度与彩色光中掺入的白光比例有光。彩色电视机的三基色原理彩色的三要素20三基色原理根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢复原有的光谱成分，只需获得相同的彩色感觉即可。三基色原理内容1）三种不同颜色的单色光按一定比例混合，可以获得绝大多数的彩色。2）三基色必须相互独立3）混合色的色调由三基色混合比例决定4）混合色的亮度等于各分量亮度之和5）补色是实现彩色电视的重要理论基础三基色原理根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢21电视的三基色和亮度方程电视的三基色：红、绿、蓝采用三基色荧光粉亮度方程Y=0.299R+0.587G+0.114BR红，G绿，B蓝产生等能白光时，对应的光通量为0.299,0.587,0.114光瓦。电视的三基色和亮度方程电视的三基色：红、绿、蓝22彩色电视信号亮度信号和色差信号采用三基色信号显示，但不直接传送三基色信号。恒定亮度原理：采用全部的视频带宽传送一个独立的亮度信号，使其不受传送色度信号影响。(考虑到黑白电视要求）大面积着色原理和高频混合原理色度信息，用较窄的带宽传送较低频率的分量，即只传送粗线条的彩色图像；细节即高频部分由亮度信息补足。优点：降低彩色分量的分辨率，压缩数据。采用一个亮度信号和两个色差信号Y、R－Y、B－Y彩色电视信号亮度信号和色差信号23彩色电视信号彩色全电视信号传输带宽色差信号带宽为亮度信号(6MHz)的1/4-1/5即1.1-1.3MHz.我国电视标准为1.3MHz包括亮度信号、已调色差信号、复合消隐信号、复合同步信号和色同步信号。彩色图像信号：亮度信号和已调色差信号色同步信号：用于传送色度副载波的基准频率和相位信息。彩色电视信号彩色全电视信号24电视信号的类型根据传输方式不同分三种复合电视信号包含亮度信号、色差信号和所有定时信号的单一信号全电视信号分量电视信号将三基色信号或亮度和每个色差分量作为独立的信号三个分量：Y、U、VY/C信号亮度和色差分离的信号分离电视信号电视信号的类型根据传输方式不同分三种25彩色电视制式NTSC525行/帧，30帧/秒隔行扫描，一帧2场525行/60场，每帧有效行数485行YIQPAL625行/帧，25帧/秒隔行扫描，一帧2场625行/50场，每帧有效行数576行YUVSECAM彩色电视制式NTSC26视频信号的数字化数字电视优点抗干扰性强稳定可靠能够借助计算机辅助技术能够使用高效的压缩技术数字化方法视频信号采集：对模拟信号通过模/数转换，三个过程。取样：将时间上连续的模拟信号在时间上离散化量化：将幅度上连续的样值在幅度上离散化编码：将离散化的样值按编码规则转成二进制码。数字电视标准清晰度电视（SDTV）高清晰度电视（HDTV）视频信号的数字化数字电视优点27取样取样结构指取样点在图像空间和时间上的分布位置固定正交结构取样值在图像垂直方向上按行、场、帧以固定的周期排列。取样频率＝n×行频亮度信号的取样频率分量编码方式分别对亮度信号和两个色差信号进行取样、量化和编码，得到三个数字分量的电视信号ITU－R标准：13.5MHz每行取样点625行/50场：864个;525行/60场：858个每行有效像素数：720个取样取样结构28取样色度信号的取样格式4：4：4格式对每个采样点，亮度Y、色差U、V各取一个样本亮度信号和色差信号的取样频率和取样结构均相同三者具有相同的水平和垂直分解力具有较高质量的信号源（如S－Video源），可以保证其色彩质量，但信息量大4：2：2格式在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点和第三点的样本值，共8个样本。色差信号的取样频率为亮度信号取样频率的1/2给信号的转换留有一定余量，效果更好一些。这是通常所用的方式取样色度信号的取样格式29取样色度信号的取样格式4：1：1格式在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点的样本值，共6个样本色差信号的取样频率为亮度信号取样频率的1/4色差信号在垂直方向上分解力与亮度信号相同这种方式的采样比例与全电视信号中的亮度、色度的带宽比例相同，数据量较小4：2：0格式在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别隔行取其第一点和第三点的样本值，共6个样本。色差信号的取样频率为亮度信号取样频率的1/2色差信号的水平和垂直方向均为亮度信号的1/2量化均采用8bit（10bit），分为256个量化级取样色度信号的取样格式30数据率数据率取决于各分量的取样频率和量化比特数4:2:2的PAL制，采用8bit量化总数据率：216Mbit/s亮度信号：13.5MHz*8(bit)=108Mbit/s两个色差信号：13.5/2*8=54Mbit/s有效数据率：166Mbit/s亮度信号：720*576*25*8=83Mbit/s两个色差信号：360*576*25*8=41.5Mbit/s数据率数据率取决于各分量的取样频率和量化比特数31浙江工业大学软件学院多媒体与流媒体浙江工业大学软件学院多媒体与流媒体32多媒体（Multimedia）媒体（ITU-T定义分五类)感知媒体图形、图像、声音、动画、文本表示媒体为有效加工、处理和传输感知媒体而构造的媒体数据编码：声音编码、图像编码显示媒体进行信息输入、输出的媒体显示器、打印机、键盘存储媒体信息存储的媒体硬盘、光盘传输媒体用于承载信息，将信息进行传输的媒体光纤、无线电链路多媒体（Multimedia）媒体（ITU-T定义分五类)33多媒体技术多媒体技术：计算机交互使综合处理多媒体信息－文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是具有集成性、实时性和交互性的计算机综合处理声音、文字、图像信息的技术。国内一般定义为：能对多种载体（媒介）上的信息和多种存储（媒介）上的信息进行处理的技术。多媒体技术多媒体技术：34多媒体技术特性1集成性结合文字、图形、影像、声音、动画等各种媒体的应用，并且建立在数字化处理的基础上。利用电脑技术处理和整合各种媒体系统。主要有电脑技术、超文本技术、光盘存储技术、影像绘制技术等。2交互性3非循序性超文本连接多媒体技术特性1集成性35多媒体关键技术1MMX技术MultiMediaeXtension多媒体扩展指令集。Intel推出的对CPU系统处理增加4个新数据类型、8个64位寄存器和57条多媒体指令，采用SIMD（单指令多数据流）技术。提供对多媒体的并行处理能力2音频信息技术音频信息转换：音频信号的采样－模/数转换成数字信号－数/模转换还原成模拟信号（声卡）MIDI（MusicIntrumentDigitalInterface)技术：应用于音乐制作与合成领域。多媒体关键技术1MMX技术36多媒体关键技术3视频信息技术图像分辨率颜色模式图像处理与动画制作技术4数据压缩和解压缩技术及其标准音频编码标准：MPEG系列和DOLBY推出的AC系列图像压缩标准：JPEGH.261,H.263,H264标准：视频图像压缩编码标准，用于视频电话和电视会议。MPEG标准：数字音频、视频压缩标准。解决视频图像压缩、音频压缩及多种压缩数据流的复合与同步。5超媒体链接技术多媒体关键技术3视频信息技术37多媒体信息特征数据量庞大四类信息单媒体信息文本、图像、静止图像、运动图像、声音。多媒体和超媒体信息属于结构化的信息脚本信息特定应用信息码率可变、突发性强码率随信息内容、时间变化复合性信息多、同步性实时性要求高多媒体信息特征数据量庞大38流媒体Internet上传输多媒体信息1）数据量大，对网络要求高2）必须将多媒体信息完整下载到本地才能使用3）版权问题“流式传输”：CPU缓存将多媒体信息经过特殊的压缩方式分成一个一个压缩包，由视频服务器向用户计算机连续、实时传送。流媒体Internet上传输多媒体信息39流媒体StreamMedia指在Internet/Intranet网络中使用流式传输技术的连续时基媒体。如音频、视频或多媒体文件等。流媒体属于多媒体，它是在Internet/Intranet网络环境下使用了特殊传输方式的多媒体。流媒体技术不是单一的技术，是建立在多种技术之上的技术。其基础技术包括网络通信、多媒体数据采集、多媒体数据压缩、多媒体数据存储和传输。流媒体StreamMedia40流媒体的发展起源于窄带互联网时期1994年ProgressiveNetworks成立。1995年推出c/s架构的音频接收系统RealAudio，1997年公司更名为RealNetworks.2000年下半年，RealNetworks、Microsoft和Apple公司均推出流媒体技术的宽带解决方案。流媒体的发展起源于窄带互联网时期41流媒体的发展流媒体应用VoD（video-on-demand）视频点播CiscoIPTV,nCUBEMediaCUBE,OracleOVS,MediaCenter,HPMediaStream,Stream21等视频会议(videoconference）PictureTel，NetMeeting远程教育（distancelearning）系统数字图书馆视频广播、视频监视、电视上网、在线电台流媒体的发展流媒体应用42流媒体的发展流媒体应用系统基于Internet的流媒体系统有微软的WindowMediaPlayer苹果的AppleQucikTimeRealNetworks的RealSystem流媒体的发展流媒体应用系统43流媒体的实现原理通过高效的压缩算法，在降低文件大小的同时伴随质量的损失，让原有的庞大的多媒体数据适合流式传输；然后通过构建流媒体服务器，修改MIME标志，通过各种实时协议传输流数据。编码器流媒体服务器流媒体播放器源媒体流式传输流式传输流媒体的实现原理编码器流媒体流媒体源媒体流式传输流式传输44流媒体的实现1预处理（编码器）采用高效的压缩算法加入附加信息将压缩媒体转换为适合流式传输的文件格式。2支持流媒体传输的网络协议（1）实时传输协议（RealtimeTransportProtocol,RTP）Internet上针对多媒体数据流的传输协议，提供时间信息和实现流的同步。（2）实时传输控制协议（RTCP）和RTP一起提供流量控制和拥塞控制的服务（3）实时流协议（RTSP）定义一对多的应用程序如何有效的通过IP网络传送。（4）资源预订协议（RSVP）考虑音频视频数据量对网络延时敏感，使用RSVP预留部分资源流媒体的实现1预处理（编码器）45流媒体系统的基本构成媒体内容制作转码软件、流媒体编辑软件、合成软件、编程软件媒体内容管理视频业务管理媒体发布系统流媒体存储系统媒体内容自动索引检索系统用户管理视频服务器客户端播放系统流媒体系统的基本构成媒体内容制作46浙江工业大学软件学院数字视频基础浙江工业大学软件学院数字视频基础47电视传像基本原理电视传像过程：发送端：摄像机光－电转换：将景物的亮度B、色度C（色调λ和饱和度s）转换成电信号接收端：电视机电－光转换：电视图像的分解和传送二维光学信息分解成像素彩色：亮度和色度黑白：亮度传送同时传输制：很难实现，需要过多的传输通道顺序传输制：扫描传统电影没有顺序传输和扫描概念，但数字化电影引入。电视传像基本原理电视传像过程：48电视扫描原理视觉惰性有建立惰性和消失惰性（视觉暂留特性），是现代电影和电视的基础视觉暂留时间0.05-0.2s。电影的24格和电视的25帧（PAL制）避免闪烁：帧频>=45.8Hz电影：放映时重复投光2次或3次。电视：？电视扫描方式从左到右，从上到下。扫描方式：行扫描：逐行扫描和隔行扫描帧扫描：垂直扫描。二者同时进行，且行扫描速度大于帧扫描电视采用隔行扫描帧频仍然为25帧。但场频为50帧电视扫描原理视觉惰性49黑白全电视信号图像信号在行扫描或场扫描的正程期间传送处理的声音最高频率为20kHz，图像最高频率为6MHz复合消隐信号复合消隐脉冲：扫描逆程期间传送使显像管中的扫描电子束截止，消除行、场回归线，使其不干扰正程的图像信号。复合同步信号保证正确重现图像，要求收、发两端扫描同步。复合同步脉冲：也在扫描逆程期间传送。叠加在复合消隐脉冲上。黑白全电视信号图像信号50彩色电视机的三基色原理彩色的三要素亮度：彩色光对人眼刺激程度的强弱色调：彩色颜色的类别取决于可见光谱中的光波波长色饱和度某种色调的浓淡或深浅程度与彩色光中掺入的白光比例有光。彩色电视机的三基色原理彩色的三要素51三基色原理根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢复原有的光谱成分，只需获得相同的彩色感觉即可。三基色原理内容1）三种不同颜色的单色光按一定比例混合，可以获得绝大多数的彩色。2）三基色必须相互独立3）混合色的色调由三基色混合比例决定4）混合色的亮度等于各分量亮度之和5）补色是实现彩色电视的重要理论基础三基色原理根据人眼彩色视觉特性，对彩色重现过程中，并不需要恢52电视的三基色和亮度方程电视的三基色：红、绿、蓝采用三基色荧光粉亮度方程Y=0.299R+0.587G+0.114BR红，G绿，B蓝产生等能白光时，对应的光通量为0.299,0.587,0.114光瓦。电视的三基色和亮度方程电视的三基色：红、绿、蓝53彩色电视信号亮度信号和色差信号采用三基色信号显示，但不直接传送三基色信号。恒定亮度原理：采用全部的视频带宽传送一个独立的亮度信号，使其不受传送色度信号影响。(考虑到黑白电视要求）大面积着色原理和高频混合原理色度信息，用较窄的带宽传送较低频率的分量，即只传送粗线条的彩色图像；细节即高频部分由亮度信息补足。优点：降低彩色分量的分辨率，压缩数据。采用一个亮度信号和两个色差信号Y、R－Y、B－Y彩色电视信号亮度信号和色差信号54彩色电视信号彩色全电视信号传输带宽色差信号带宽为亮度信号(6MHz)的1/4-1/5即1.1-1.3MHz.我国电视标准为1.3MHz包括亮度信号、已调色差信号、复合消隐信号、复合同步信号和色同步信号。彩色图像信号：亮度信号和已调色差信号色同步信号：用于传送色度副载波的基准频率和相位信息。彩色电视信号彩色全电视信号55电视信号的类型根据传输方式不同分三种复合电视信号包含亮度信号、色差信号和所有定时信号的单一信号全电视信号分量电视信号将三基色信号或亮度和每个色差分量作为独立的信号三个分量：Y、U、VY/C信号亮度和色差分离的信号分离电视信号电视信号的类型根据传输方式不同分三种56彩色电视制式NTSC525行/帧，30帧/秒隔行扫描，一帧2场525行/60场，每帧有效行数485行YIQPAL625行/帧，25帧/秒隔行扫描，一帧2场625行/50场，每帧有效行数576行YUVSECAM彩色电视制式NTSC57视频信号的数字化数字电视优点抗干扰性强稳定可靠能够借助计算机辅助技术能够使用高效的压缩技术数字化方法视频信号采集：对模拟信号通过模/数转换，三个过程。取样：将时间上连续的模拟信号在时间上离散化量化：将幅度上连续的样值在幅度上离散化编码：将离散化的样