多媒体技术与应用视频

多媒体技术与应用视频第1页，共38页，2023年，2月20日，星期四第8章视频22第2页，共38页，2023年，2月20日，星期四基础知识视频的定义

人类接受的信息70%来自视觉,其中活动图像是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频（Video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。

从数学角度描述，视频指随时间变化的图像，或称为时变图像。内容随时间而变化伴随有与画面动作同步的声音(伴音)3第3页，共38页，2023年，2月20日，星期四视频和图像图像与视频是两个既有联系又有区别的概念静止的图片称为图像（Image），运动的图像称为视频（Video）。此外，两者的信源方式不同，图像的输入要靠扫描仪、数字照相机等设备；而视频的输入是电视接收机、摄象机、录象机、影碟机以及可以输出连续图像信号的设备。

4第4页，共38页，2023年，2月20日，星期四计算机能处理生动的图形、图像和动画使得多媒体计算机更具有影响力。视频和基于计算机的动画已成为多媒体系统的基本媒体并且是多媒体计算机的关键技术之一。通常用活动图像表示视频，活动图形表示动画。也就是说，计算机动画和视频的主要差别类似图形与图像的区别，即帧图像画面的产生方式有所不同。在多媒体应用中视频图像的处理也是最困难的部分。所谓视频信号的处理主要包括视频图像的获取、压缩和存储，各种编码技术、变换技术和传输技术等。按处理方式的不同，视频分为模拟视频和数字视频。视频和动画5第5页，共38页，2023年，2月20日，星期四模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。早期视频的记录、存储和传输都是采用模拟方式。

模拟视频具有以下特点：

以模拟电信号的形式来记录

依靠模拟调幅的手段在空间传播

使用盒式磁带录象机将视频作为模拟信号存放在磁带上5.1模拟视频6第6页，共38页，2023年，2月20日，星期四

传统的模拟信号处理设备

直接广播卫星（DBS））

模拟视频的不足：不适合网络传输，在传输效率方面先天不足；图像随时间和频道的衰减较大；不便于分类、检索和编辑。7第7页，共38页，2023年，2月20日，星期四1、视频的形成原理视频是由于视觉的时间域响应特性而产生的。视觉的时间域响应特性：指的是让观察者观察按时间重复的亮度脉冲，如果闪烁频率比较低，人眼就有一亮一暗的感觉；如果闪烁频率足够高，人眼看到的则是一个恒定的亮点。闪烁感刚好消失的重复频率叫做临界闪烁频率，经测定为46HZ。如果场频大于50次每秒，人眼就感觉不到闪烁。8第8页，共38页，2023年，2月20日，星期四2、黑白电视信号（1）电视原理电视摄像机的作用就是将视频图像转换为电信号。同样也是采用动画的视觉原理构造而成的，其基本原理为逐行扫描和传输图像信号，然后在接收端同步再现。任何时刻，电信号只有1个值（一维）。但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的。光栅扫描方式主要有逐行扫描和隔行扫描两种。隔行扫描：扫描一幅完整的画面分为两场，称为奇数场和偶数场，每帧画面需要扫描两次，一次奇数场、一次偶数场。逐行扫描：电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整的图像。逐行扫描一次为一帧。9第9页，共38页，2023年，2月20日，星期四

奇数场偶数场一帧

目前的电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。但逐行扫描有以下优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率等等。计算机显示图像时一般都采用逐行扫描。其缺点是：数码率高，行扫描频率增高，硬件难度加大。逐行扫描能获得更好的图像质量和更高的清晰度，不过是以增加带宽和成本为代价的。光栅扫描的四个重要参数：扫描线、帧、水平回扫期和垂直回扫期10第10页，共38页，2023年，2月20日，星期四2、黑白电视信号（2）模拟视频信号的重要参数主要包括垂直清晰度、宽高比、场频和帧频。其中，垂直清晰度是指眼睛可分辨的水平线数目。（与扫描行数密切相关）宽高比是指扫描行的长度与在图像垂直方向上的所有扫描行所跨过的距离之比。在电视信号中，场频值为帧频值的两倍。（3）全电视信号电视信号中除了图像信号（视频信号）外，还包括复合校隐信号和复合同步信号。一帧电视信号称为一个全电视信号，它又由奇数行信号和偶数场行信号顺序构成。11第11页，共38页，2023年，2月20日，星期四3、彩色电视信号问题：如何实现彩色与黑白电视的兼容？使亮度和色度信号分开传送——用YUV空间表示法YUV模型Y表示亮度，U，V用来表示色差，是构成彩色的两个分量。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。采用YUV模型的优点之一是亮度信号和色差信号是分离的，使彩色电视系统与黑白电视机亮度信号兼容。12第12页，共38页，2023年，2月20日，星期四PAL彩色电视制式中采用YUV模型来表示彩色图像YUV13第13页，共38页，2023年，2月20日，星期四4、彩色电视的制式电视信号是视频处理的重要信息源。传送电视信号所采用的技术标准也称为电视的制式。目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等，因此互相并不通用。目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC制及法国等国所使用的SECAM制。14第14页，共38页，2023年，2月20日，星期四NTSC制

NTSC(NationalTelevisionStandardCommitte)是美国国家电视系统委员会在1952年制定的一种兼容的彩色电视制式，在美国、日本和其他国家广为使用。定义了彩色电视机对所接受的电视信号的解码方式、色彩的处理方式、屏幕的扫描频率。NTSC制规定水平扫描线有525条，以每秒30帧速率传送。NTSC采用隔行扫描方式，每一帧画面由两次扫描完成，每一次扫描画出一个场需要1/60秒,两个场构成一帧。15第15页，共38页，2023年，2月20日，星期四PAL制PAL(PhaseAlternateLock)是联邦德国1962年制定的一种兼容电视制式。PAL意指“相位逐行交变”，我国和大部分西欧国家都使用这种制式。PAL制规定水平扫描625行、每秒25帧、隔行扫描、每场需要1/50秒。16第16页，共38页，2023年，2月20日，星期四SECAM制SECAM(SEquentialColorAndMemory)称为顺序传送彩色与存储，是用于法国、俄罗斯及几个东欧国家的彩色电视制式。基本技术及广播方式与NTSC和PAL有很大的区别。625行，25Hz17第17页，共38页，2023年，2月20日，星期四全制式多制式不同制式的电视机只能接收和处理其对应制式的电视信号。多制式或全制式的电视机，为处理和转换不同制式的电视信号提供了极大的方便。全制式电视机可在各国各地区使用，而多制式电视机一般为指定范围的国家生产。18第18页，共38页，2023年，2月20日，星期四三种彩色电视制式的主要技术指标TV制式NTSCPALSECAM帧频(Hz)302525行/帧525625625像素值/行700864864亮度带宽(MHz)4.26.06.0彩色幅载波(MHz)3.584.434.25声音载波(MHz)4.56.56.5调制方式AMAMFM19第19页，共38页，2023年，2月20日，星期四5、模拟视频标准模拟视频信号主要包括五种成分：亮度信号、色度信号、色同步信号、复合同步信号和伴音信号，根据不同的信号源，模拟视频标准有以下三种类型：复合视频：包含亮度信号、色差信号和所有定时同步信号的单一电视信号，占用单倍带宽传输。分量视频：每个分量都是一个单独的单色视频信号，三个分量（R、G、B）完全同步。分离视频：前面两种的折中，将色度信号组合后加上亮度信号共两个信号参与传输。20第20页，共38页，2023年，2月20日，星期四1、数字视频的概念视频数字化是将模拟视频信号经模数转换和彩色空间变换转为计算机可处理的数字信号。模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩模型的转换、光栅扫描的转换及分辨率的统一。5.2数字视频21第21页，共38页，2023年，2月20日，星期四RGB色彩模型根据三基色原理，用基色光单位来表示光的量，则在RGB色彩模型，任意色光都可以用R、G、B三色不同分量的相加混合而成：

R(红色的百分比)＋G(绿色的百分比)＋B(蓝色的百分比)＝颜色22第22页，共38页，2023年，2月20日，星期四模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB空间。计算机彩色视频信号发送与接收的原理如下图所示：23第23页，共38页，2023年，2月20日，星期四与音频信号数字化类似，计算机也要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化图像。24第24页，共38页，2023年，2月20日，星期四数字视频的采样格式根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。如果用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。25第25页，共38页，2023年，2月20日，星期四为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，国家无线电咨询委员会（CCIR）制定了广播级质量的数字电视编码标准，称为CCIR601标准(现在的ITU-R标准)。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定。根据实验，人眼对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。ITU-R建议使用了4:2:2采样结构。数字视频标准26第26页，共38页，2023年，2月20日，星期四相对于模拟视频有以下特点：易于处理。传输稳定、抗干扰能力强，不失真。交互能力强，集成各种视频应用。按照需要和传输能力改变图像质量和传输速率。2、数字视频的特点27第27页，共38页，2023年，2月20日，星期四3数字视频的格式AVI格式

AVI（AudioVideoInterleave）是一种音频视像交插记录的数字视频文件格式，是一种有损压缩格式。1992年初微软公司推出了AVI技术及其应用软件VFW（VideoforWindows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备,在读取视频数据流时能更有效地从存储媒介得到连续的信息。AVI文件结构不仅解决了音频和视频的同步问题，而且具有通用和开放的特点。它可以在任何Windows环境下工作，而且还具有扩展环境的功能。用户可以开发自己的AVI视频文件格式，在Windows环境下可随时调用。可以用一般的视频编辑软件如AdobePremiere进行编辑和处理。28第28页，共38页，2023年，2月20日，星期四MOV、QT格式

Apple公司在其生产的Macintosh机也推出了相应的视频格式，即Moviedigitalvideo的文件格式，其文件以MOV为后缀，相应的视频应用软件为Apple'sQuickTimeforMacintosh。随着大量原本运行在Macintosh上的多媒体软件向PC/Windows环境的移植，导致了QuickTime视频文件的流行。Apple公司也推出了适用于PC机的视频应用软件Apple‘sQuickTimeforWindows，因此在PC机上也可以播放MOV视频文件。MOV格式的视频文件可以采用不压缩或压缩的方式QuickTime还采用了一种称为QuickTimeVR的虚拟现实（VR，VirtualReality）技术，用户只需通过鼠标或键盘，就可以观察某一地点周围360度的景象，或者从空间任何角度观察某一物体。

29第29页，共38页，2023年，2月20日，星期四MEPG文件-MPEG/MPG/DAT格式将MPEG算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准文件：MPG文件。MPG格式文件在1024786的分辩率下可以用每秒25帧（或30帧）的速率同步播放全运动视频图像和CD音乐伴音，并且其文件大小仅为AVI文件的六分之一。MPEG-2压缩技术采用可变速率（VBR-VariableBitRate）技术，能够根据动态画面的复杂程度，适时改变数据传输率获得较好的编码效果，目前使用的DVD就是采用了这种技术。MPEG的平均压缩比为50∶1，最高可达200∶1。同时图像和音响的质量也非常好。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分，MP3音频文件就是MPEG音频的一个典型应用，而VCD、SVCD、DVD则是全面采用MPEG技术所产生出来的新型消费类电子产品。30第30页，共38页，2023年，2月20日，星期四RAM格式很多视频数据通过Internet来进行实时传输，视频文件的体积往往比较大，而现有的网络带宽却往往比较“狭窄”，客观因素限制了视频数据的实时传输和实时播放，于是一种新型的流式视频(StreamingVideo)格式应运而生了。流式视频采用一种“边传边播”的方法，即先从服务器上下载一部分视频文件，形成视频流缓冲区后实时播放，同时继续下载，为接下来的播放做好准备。这种方法避免了用户必须等待整个文件从Internet上全部下载完毕才能观看的缺点。31第31页，共38页，2023年，2月20日，星期四5.3数字电视数字电视系统是将活动图像、声音和数据，通过数字技术进行压缩、编码、传输/存储，而实时发送/广播或者通过记录媒体的传播，供观众接收/播放的视听系统。它可以划分为3大部分：信源部分（发送端）、信道部分（传输/存储过程）和信宿部分（接收端）。数字电视系统业务可以按照其活动的图形比特率的大小，粗略划分为标准清晰度数字电视（SDTV）和高清晰度数字电视（HDTV）32第32页，共38页，2023年，2月20日，星期四5.4多媒体视频与音频同步在多媒体对象中，音频对象的表现具有优先权，即视频与其他媒体的表现时间要以音频的表现为准，视频及其他多媒体对象在表现时要同步于音频对象。视频数据播放快于音频数据时，