多媒体视频信息处理课件

多媒体视频信息处理

视觉是人类感知外部世界一个最重要的途径，而计算机视频技术是把我们带到近于真实世界的最强有力的工具。在多媒体技术中，视频信息的获取及处理无疑占有举足轻重的地位，视频处理技术在目前以至将来都是多媒体应用的一个核心技术。5.1视频基础知识

5.1.1视频的定义

人类接受的信息70%来自视觉,其中活动图像是信息量最丰富、直观、生动、具体的一种承载信息的媒体。视频（Video）就其本质而言，实际上就是其内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。

从数学角度描述，视频指随时间变化的图像，或称为时变图像。时变图像是一种时-空（颜色）密度模式（spatial-temporalintensitypattern），可以表示为s(x,y,t)，其中(x,y)是空间变量，t是时间变量。

视频信号具有以下特点：

内容随时间而变化伴随有与画面动作同步的声音(伴音)

图像与视频是两个既有联系又有区别的概念：静止的图片称为图像（Image），运动的图像称为视频（Video）。此外，两者的信源方式不同，图像的输入要靠扫描仪、数字照相机等设备；而视频的输入只能是电视接收机、摄象机、录象机、影碟机以及可以输出连续图像信号的设备。

传统的模拟信号处理设备

直接广播卫星（DBS））

模拟视频具有以下特点：

以模拟电信号的形式来记录

依靠模拟调幅的手段在空间传播

使用盒式磁带录象机将视频作为模拟信号存放在磁带上

传统上，视频都以模拟方式进行存贮和传送，然而模拟视频不适合网络传输，在传输效率方面先天不足，而且图像随时间和频道的衰减较大，不便于分类、检索和编辑。

数字视频（DigitalVideo-DV）

要使计算机能够对视频进行处理，必须把视频源--即来自与电视机、模拟摄像机、录像机、影碟机等设备的模拟视频信号，转换成计算机要求的数字视频形式并存放在磁盘上，这个过程称为视频的数字化过程（包括采样、量化和编码）。

数字视频克服了模拟视频的局限性，这是因为数字视频可以大大降低视频的传输和存贮费用、增加交互性（数字视频可通过光纤等介质高速随机读取）及带来精确再现真实情景的稳定图像。

如今，数字视频的应用已经非常广泛，并带来一个全新的应用局面。首先，包括直接广播卫星（DBS）、有线电视、数字电视在内的各种通信应用均需要采用数字视频。其次，一些消费产品，如VCD和DVD，数字式便携摄像机，都是以MPEG视频压缩为基础的。

便于计算机编辑处理

模拟信号只能简单调整亮度、对比度和颜色等，极大地限制了处理手段和应用范围。而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。

数字视频的缺陷是处理速度慢，所需的数据存储空间大，从而使数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间，光盘技术的应用也使得大量视频信息的存储成为可能。

5.1.4视频的应用领域广播电视

地面、卫星电视广播

有线电视（CATV:CommunityAntennaTV）

数字视频广播(DigitalVideoBroadcast）

交互式电视（ITV:InteractiveTV）

高清晰度电视（HDTV）

通信

可视电话（Videophone）

视频会议（Videoconferencing）

视频点播（VOD:VideoOnDemand）

视频数据库

个人娱乐录象节目

VCD（VideoCompactDisk）

DVD（DigitalVersatileDisk）

电视购物

家庭摄象

视频游戏

5.2电视信号及其标准

5.2.1彩色电视信号制式

电视信号是视频处理的重要信息源。电视信号的标准也称为电视的制式。目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新速度、颜色编码系统和传送频率等。目前世界上常用的电视制式有中国、欧洲使用的PAL制，美国、日本使用的NTSC制及法国等国所使用的SECAM制。

PAL制

PAL(PhaseAlternateLock)是联邦德国1962年制定的一种兼容电视制式。PAL意指“相位逐行交变”，我国和大部分西欧国家都使用这种制式。PAL制规定水平扫描625行、每秒25帧、隔行扫描、每场需要1/50秒。

SECAM

SECAM(SequentialColorandMemory)称为顺序传送彩色与存储，是用于法国、俄罗斯及几个东欧国家的彩色电视制式。但基本技术及广播方式与NTSC和PAL有很大的区别。

不同制式的电视机只能接收和处理其对应制式的电视信号。也有多制式或全制式的电视机，这为处理和转换不同制式的电视信号提供了极大的方便。全制式电视机可在各国各地区使用，而多制式电视机一般为指定范围的国家生产。

表5-1三种彩色电视制式的主要技术指标

TV制式NTSCPALSECAM帧频(Hz)302525行/帧525625625亮度带宽(MHz)4.26.06.0彩色幅载波(Hz)3.584.434.25声音载波(MHz)4.56.56.55.2.2电视视频信号的扫描方式

电视摄像机的作用就是将视频图像转换为电信号。任何时刻，电信号只有1个值，即是一维的。但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的。扫描方式主要有逐行扫描和隔行扫描两种。

隔行扫描行的集合称为场。因此，一帧由两个场组成。逐行扫描有以下优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率，等等。其缺点是：数码率高，行扫描频率增高，硬件难度加大。

目前的电视系统大都采用隔行扫描，因为隔行扫描能节省频带，且硬件实现简单。但逐行扫描能获得更好的图像质量和更高的清晰度，不过这是以增加带宽和成本为代价的。

5.2.3YUV与RGB彩色模型YUV模型

在PAL彩色电视制式中采用YUV模型来表示彩色图像。其是Y表示亮度，U，V用来表示色差，是构成彩色的两个分量。与此类似，在NTSC彩色电视制式中使用YIQ模型，其中的Y表示亮度，I，Q是两个彩色分量。YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。采用YUV模型的优点之一是亮度信号和色差信号是分离的，容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容。

PAL彩色电视制式中采用YUV模型来表示彩色图像YUVRGB模型

RGB分别代表红（Red）、绿(Green)、蓝（Blue）三种基本颜色。电视机和计算机显示器使用的阴极射线管(CathodeRayTube，CRT)是一个有源物体。CRT使用3个电子枪分别产生红、绿和蓝三种波长的光(RGB三种电子束)，分别产生并以相对强度轰击CRT的荧光涂层屏幕以产生颜色。并以各种不同的相对强度综合起来产生颜色。组合这三种光波以产生特定颜色称为相加混色，或称为RGB相加模型。相加混色是计算机应用中定义颜色的基本方法。

YUV与RGB彩色空间变换

由于所有的显示器都采用RGB值来驱动，这就要求在显示每个像素之前，需要把YUV彩色分量值转换成RGB值。这种转换需要花费一定的计算时间。这是一个在设计软硬件视频处理系统要综合考虑的问题。

在考虑人的视觉系统和阴极射线管(CRT)的非线性特性之后，RGB和YUV的对应关系可以近似地用下面的方程式表示：

Y=0.299R+0.587G+0.114B

U=-0.169R-0.331G+0.5B

V=0.500R-0.419G-0.081B

或者写成矩阵的形式:

5.2.4彩色电视的信号类型

电视频道传送的电视信号主要包括亮度信号、色度信号、复合同步信号和伴音信号，这些信号或者可通过频率域，或者可通过时间域相互分离出来。电视接收机能够将所接收到的高频电视信号还原成视频信号和低频伴音信号，并能够在其荧光屏上重现图像，在其扬声器上重现伴音。

根据不同的信号源，电视接收机的输入、输出信号有三种类型：高频或射频信号

为了能够在空中传播电视信号，必须把视频全电视信号调制成高频或射频（RF－RadioFrequency）信号，每个信号占用一个频道，这样才能在空中同时传播多路电视节目而不会导致混乱。PAL制每个频道占用8MHz的带宽；NTSC制每个频道的带宽为4MHz。有线电视CATV（CableTelevision）的工作方式类似，只是它通过电缆而不是通过空中传播电视信号。

电视机在接收到某一频道的高频信号后，要把全电视信号从高频信号中解调出来，才能在屏幕上重现视频图像。

图7-7复合视频线及接口分量视频信号与S－Video

为保证视频信号质量，近距离时可用分量视频信号(componentvideosignal)传输,分量信号是指每个基色分量(R,G,B或Y,U,V)作为独立的电视信号传输。计算机输出的VGA视频信号，即为分量形式的视频信号。

S－Video

是一种两分量的视频信号，它把亮度和色度信号分成两路独立的模拟信号，用两路导线分别传输并可以分别记录在模拟磁带的两路磁轨上。这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰，水平分解率可达420线。与复合视频信号相比，S－Video可以更好地重现色彩。

5.3.1视频信号的采样对视频采样的基本要求

对视频信号进行采样时必须满足三个方面的要求。

要满足采样定理。对于PAL制电视信号。视频带宽为6MHz，按照CCIR601建议，亮度信号的采样频率为13.5MHz，色度信号为6.75MHz。

采样频率必须是行频的整数倍。这样可以保证每行有整数个取样点，同时要使得每行取样点数目一样多，具有正交结构，便于数据处理。

要满足两种扫描制式。

数字视频信号的采样频率和格式现行的扫描制式主要有625行/50场和525行/60场两种，它们的行频分别为15625Hz和15734.265Hz。ITU(国际电信联盟）建议的分量编码标准的亮度抽样频率为13.5兆赫，这恰好是上述两种行频的整数倍。按照国际现行电视制式，亮度信号最大带宽是6MHz。根据奈奎斯特抽样定理，抽样频率至少要大于2×6＝12MHz，因此取13.5MHz也是合适的。

数字视频的采样格式

根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时对信号的色差分量的采样率低于对亮度分量的采样率。如果用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4:1:1、4:2:2和4:4:4三种。

电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。

4:2:2采样格式

模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。

模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB空间。

4:2:2采样格式

图7-134:2:2采样格式示意为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，国家无线电咨询委员会（CCIR）制定了广播级质量的数字电视编码标准，称为CCIR601标准(现在的ITU-R标准)。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定。根据实验，人眼对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。ITU-R建议使用了4:2:2采样结构。所谓“4:2:2”是指色度信号取亮度信号取样频率的一半。即此时信号是用一个亮度分量，两个色度分量来表达的。

根据ITU推荐的采样率，可计算出在不同的采样格式下数字视频的数据量:

由表中看出，未压缩的数字视频数据量十分巨大，对于目前的计算机和网络存储或传输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频的压缩技术。

采样格式(Y:U:V）数据量(Mbyte/s）4:2:2274:4:4405.3.2量化

采样过程是把模拟信号变成了时间上离散的脉冲信号，量化过程则是进行幅度上的离散化处理。因此在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差，量化所引入的误差是不可避免的同时也是不可逆的，由于信号的随机性这种误差大小也是随机的，这种表现类似于随机噪声效果，具有相当宽度的频谱，因此我们又把量化误差称为量化噪声。但量化误差与噪声是有本质的区别的。

如果视频信号量化比特率为8Bit，信号就有个量化值。若最大信号正好用足８比特的话，小于1/256的信号就只能当零处理了。而且每二个相邻数字的差距也必需大于1/256才能分得开，当二个原来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就成为量化噪声。所以，比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的。亮度信号用８比特量化，灰度等级最多只有256个，如果RGB三个色度信号都用８比特量化，就可以获得256×256×256＝16777216，即近17万种色彩。

5比特量化有32个灰度等级8比特量化有256个灰度等级量化比特率愈高，层次就分得愈细，但数据量也成倍上升。每增加一个比特，数据量就翻一翻，例如ＤＶＤ播放机视频量化位数多为10比特，灰度等级达到1024个，然而数据量是８比特量化的４倍。

量化的过程是不可逆的，这是因为量化本身给信号带来的损伤是不可弥补的。量化时比特数选取过小则不足以反映出图像的细节，比特数选取过大则会产生庞大的数码率，从而占用大量的频带，给传输带来困难。有一种方法可以用小比特数量化而获得大比特数量化时的效果。降低量化误差的方法最直接的就是增加量化级数减小最小量化间隔，但由此带来码率的增加从而要求更大的处理带宽，一般现在的视频信号均采用8比特、10比特，在信号质量要求较高的情况下采用12比特量化。

正如模拟音频信号传输过程中采用不均匀量化一样。在视频信号的量化过程中也可以采用不均匀量化方式，即将模拟信号先进行对数变换，其目的是让变化量大的地方变化小，让变化量小的地方变化大，然后，再进行普通的8比特量化，经传输后再恢复出来的模拟信号可以通过指数变换予以还原，此时，信号传输的效果类似于12比特量化的效果。

5.3.3视频信号的压缩与编码

抽样、量化后的信号转换成数字符号才能进行传输，这一过程称为编码。视频压缩编码的理论基础是信息论。信息压缩就是从时间域、空间域两方面去除冗余信息，将可推知的确定信息去掉。

在通信理论中，编码分为信源编码和信道编码两大类。所谓信源编码是指将信号源中多余的信息除去，形成一个适合用来传输的信号。为了抑制信道噪声对信号的干扰，往往还需要对信号进行再编码，使接收端能够检测或纠正数据在信道传输过程引起的错误，这称为信道编码。

视频编码技术主要包括MPEG与H.261标准，编码技术主要分成帧内编码和帧间编码。前者用于去掉图像的空间冗余信息，后者用于去除图像的时间冗余信息。

5.3.4数字视频DV格式

数字视频（DigitalVideo-DV）是定义压缩图像和声音数据记录及回放过程的标准。DV格式是一种国际通用的数字视频标准，是由10余家公司共同制定的标准。

DV格式具有如下视频特点：高清晰度，水平分辨率可达500线；

宽色度带宽，还原色彩绚丽的图像；当前有三种常用DV格式：miniDV、DVCPro和DVCam。miniDV最常见，通常是家用摄像机使用的格式。DVCPro和DVCam为专业格式。DV格式数字摄像机对视频采用4:1:1数字分量采样标准，8比特量化，基于离散余弦变量DCT的5:1帧内压缩，数据传输率为24.948Mbps对音频信号采用两种PCM脉冲调制编码方式：一是采样频率48kHz、16比特量化的双声道立体声方式。另一种是采样频率为32kHz、12比特量化的四声道方式，这种方式可方便后期编辑中的配音配乐。

目前DV格式数字摄录机，其记录图像的水平分辨率为500线。在记录过程中，亮度信号Y与两个色差信号U、V，三者不在同一频带传输并分别记录，避免了相互串扰和影响。此外，视频和音频信号在输出时先要进入数字存储器，然后以新的时间码标准输出，这样就消除了使用模拟机常见的图像抖动、扭曲等时间码误差，使图像和声音更加稳定。使用数字存储器还能有效的进行信号失落补偿，消除模拟机播放录像时常见的“雪花”现象。同时，由于对声音的处理采用了与音乐CD和数字录音带相同的编码方式，所以图像清晰度高、色彩还原逼真、音响效果好。

5.4基于多媒体计算机的视频处理系统

在多媒体计算机系统中，视频处理一般是借助于一些相关的硬件和软件，在计算机上对输入的视频信号进行接收、采集、传输、压缩、存储、编辑、显示、回放等多种处理。视频信号主要是指来自电视机、录/放像机、摄像机等视频设备的信号，也可以是来自影碟机的影视节目。

5.4.1数字视频系统的组成

从硬件平台的角度分析，一个视频采集系统要包括视频采集设备、视频信号源设备、大容量存储设备、以及配置有相应视频处理软件的高性能计算机系统。

提供模拟视频输出的设备有录像机、电视机、影碟机等；对模拟视频信号进行采集、量化和编码的设备由视频采集卡来完成；最后，由计算机接收和记录编码后的数字视频数据。在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字数据的功能。

5.4.2视频采集卡的工作原理

视频采集卡是一个安装在计算机扩展槽上的一个硬卡。它可以汇集多种视频源的信息，如电视、影碟、录像机和摄像机的视频信息，对被捕捉和采集到的画面进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放功能等。视频卡为多媒体视频处理提供了强有力的硬件支持。

视频采集卡的工作原理如图5-1所示。视频卡一般具有多种视频接口，可接收来自摄像机、录像机、VCD机等多种视频信号，通过视频软件可选择所需的视频源。

从彩色摄像机、录像机或其他视频信号源得到的彩色电视信号，经视频接口送入视频采集卡，信号首先经过A/D转换，然后送到多制式数字解码器进行解码。模数转换器（ADC）又是一个视频解码器，其任务是对视频信号解码和数字化。采用不同的颜色空间可选择不同的视频输入解码器芯片。

图5-1视频卡的工作原理框图

经ADC解码后得到的YUV信号格式。当以4：2：2格式采样时，每4个连续的采样点中取4个亮度Y、2个色差U、2个色差V的样本值，共8个样本值。YUV信号经过转换可变成RGB信号。

RGB信号然后被送入视频处理芯片，对其进行剪裁，变化等处理。视频处理芯片是用于视频捕获、播放、显示用的专用控制芯片，主要功能可分为PC总线接口、视频输入剪裁、变化比例、与VGA信号同步、色键控制以及对帧存储器VRAM的读写和刷新控制。

视频信息可实时地存到VRAM中，计算机可以通过视频处理器对帧存储器的内容进行读写操作，帧存储器的视频像素信息读到计算机后，通过编程可以实现各种算法，完成视频图像的编辑与处理。

视频采集卡主要有两种控制方式把视频信号与VGA信号叠加显示，即色键方式和窗口方式。视频输出的RGB信号与VGA显示卡引过来的RGB信号是完全同步的，用适当的方法交替切换两路信号，即可实现两路输出的叠加。上述两种RGB信号经过DAC（数模转换器）转换变成模拟信号，并在显示器的窗口中显示。

由于视频信息量巨大，如果直接存储，会占用大量的存储空间。以电视图像为例，电视上一秒钟的画面，其实是由几十幅连续所组成的，如果直接将这些视频信息存储起来，至少也要十几MB的容量。所以视频卡又提供了对视频数字信号的压缩功能，并以压缩的图像文件格式进行存储。当在计算机上播放视频图像时还得经过解压缩过程，使其还原成图像信息才能播放。5.4.3视频采集卡的性能指标

根据不同的应用、不同的适用环境和不同的技术指标，目前有多种规格的视频采集卡。可以归纳出以PC机为硬件环境的视频采集卡的主要功能和技术指标：

接口

视频采集卡的接口包括视频与PC机的接口和与模拟视频设备的接口。目前PC视频采集卡通常采用32位的PCI总线接口，它插到PC机主板的扩展槽中，以实现采集卡与PC机的通信与数据传输。

视频采集卡至少要具有一个复合视频接口（VideoIn）以便与模拟视频设备相连。高性能的采集卡一般具有一个复合视频接口和一个S－Video接口。一般的采集卡都支持PAL和NTSC两种电视制式。

视频采集卡如果不具备电视天线接口和音频输入接口，就不能用视频采集卡直接采集电视射频信号，同时也不能直接采集到模拟视频中的伴音信号。要采集伴音，PC机上必需要装有声卡，视频采集卡通过PC机上的声卡获取数字化的伴音并把伴音与采集到的数字视频同步到一起。

一般而言,视频采集卡有单工卡和双工卡两种。单工卡只提供视频输入接口,双工卡还提供输出接口。如果只需在PC机上编辑数字化视频,单工卡就可以了。若想把数字化编辑过后的影像拷贝到录像带上,就需要双工卡。

具有多种接口的视频采集卡与视频源的连接实时压缩功能

由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入PC系统。因此，实现实时采集的关键是每一帧所需的处理时间。如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间，则要出现数据的丢失，也即丢帧现象。采集卡都是把获取的视频序列先进行压缩处理，然后再存入硬盘，也就是说视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便。不同档次的采集卡具有不同质量的采集压缩性能。

大多数视频采集卡都具备硬件压缩的功能，在采集视频信号时首先在卡上对视频信号进行压缩，然后再通过接口把压缩的视频数据传送到主机上。视频采集卡采用帧内压缩的算法把数字化的视频存储成AVI文件，高性能的视频采集卡还能直接把采集到的数字视频数据实时压缩成MPEG格式的文件。

视频捕获卡一般都采用专业级的专用芯片来处理视频的压缩，例如:intel的i750。同时由于图像采集要处理大量数据（１分钟的AVI文件大约占30MB空间），所以对计算机硬件平台的要求也较高。如果用软件的方式进行数据压缩，则对计算机的性能有很高的要求，否则抓取的画面及播放画面的速度便会受到相应的影响。采集分辨率及帧频

视频采集卡按照其用途可以分为广播级视频采集卡，专业级视频采集卡，民用级视频采集卡。他们的区别主要是采集的图像指标不同。

广播级视频采集卡属高档设备，主要用于电视台制作节目。广播级视频采集卡的最高采集分辨率一般720576(CCIR推荐值),PAL制,每秒25帧；或分辨率为640480，NTSC制，每秒30帧。最小压缩比一般在4:1以内。这一类产品的特点是采集的图像分辨率高，视频信噪比高，缺点是视频文件庞大，每分钟数据量至少为200MB。

专业级视频采集卡比广播级视频采集卡的性能稍微低一些，分辨率两者是相同的，但压缩比稍微大一些，其最小压缩比一般在6:1以内，输入输出接口为AV复合端子与S端子，此类产品适用于广告、多媒体节目制作及多媒体软件开发。

民用级的视频采集卡的动态分辨率一般最大为384288，PAL制式，帧频为每秒25帧。

驱动和应用程序

视频采集卡一般都配有硬件驱动程序以实现PC机对采集卡的控制和数据通信。根据不同的采集卡所要求的操作系统环境，各有不同的驱动程序。采集卡只有在正确安装了驱动程序以后才能正常工作。也可以采用通用的软件，例如数字视频编辑软件AdobePremiere。

5.4.4视频设备及其连接

视频信号源及设备

摄像机、录像机等设备都带有复合视频输出端口，有的带有分量视频输出端口。由于视频采集卡提供复合视频输入和分量视频输入口，因此只要具有复合视频输出或S－Video输出端口的设备都可以为采集卡提供视频信号源，把这些输出端口与采集卡相应的视频输入端口相连就可实现信号的连接。

视频的质量在很大程度上取决于模拟视频信号源的质量及视频采集卡的性能。根据不同的模拟视频信号源应分别选择相应的设备。摄像机可以实时获取动态实景。获取的实景可以记录在与摄像机配套的磁录像带上，也可以直接通过摄像机的输出端口输出，有的摄像机还具有播放功能，可以播放其录像带上的信号并通过输出端口输出。磁带录像机及录像带是提供模拟视频信号源的最常用设备。不同档次和规格的录像机对使用的磁带有不同的要求，如VHS的磁带仅适用于VHS录像机。

视频设备与PC的连接

准备好了模拟视频信号源及其相应的设备，剩下的工作就是把模拟视频设备与PC机上的采集卡相连接。模拟设备与采集卡的连接包括模拟设备视频输出端口与采集卡视频输入端口的连接，以及模拟设备的音频输出端口与MPC声卡的音频输入端口的连接。

如果采集卡只具有视频输入端口而没有伴音输入端口，要同步采集模拟信号中的伴音，必须使用带声卡的计算机，通过声卡来采集同步伴音。

视频采集卡有两种视频输入接口，要注意它们之间的区别，一种是具有标准复合视频输入接口(RCA，俗称莲花接口)，标准视频信号在输出时要进行编码，将信号压缩后输出，接收时还要进行解码。这样会损失一些信号。还有一种是S视频输入接口(S-Video)。由于S视频信号不需要进行编码、解码，所以没有信号损失，因此使用S－Video端口可以获取更好的图像质量。

兼有复合视频接口和S-Video接口的视频卡S-video电缆线及接口复合视频插头视频采集的过程

采集视频的过程主要包括如下几个步骤：

设置音频和视频源，把视频源外设的视像输出与采集卡相连、音频输出与MPC声卡相连。

准备好MPC系统环境，如硬盘的优化、显示设置、关闭其他进程等。

启动采集程序，预览采集信号，设置采集参数。启动信号源，然后进行采集。

播放采集的数据，如果丢帧严重可修改采集参数或进一步优化采集环境，然后重新采集。

由于信号源是不间断地送往采集卡的视频输入端口的，可根据需要，对采集的原始数据进行简单的编辑。如剪切掉起始和结尾处无用的视频序列，剪切掉中间部分无用的视频序列等，以减少数据所占的硬盘空间。

5.4.4数字视频的输出

数字视频的输出是数字视频采集的逆过程，也即把数字视频文件转换成模拟视频信号输出到电视机上进行显示，或输出到录像机记录到磁带上，这需要专门的设备来完成数字数据到模拟信号之间的转换。根据不同的应用和需要，这种转换设备也有多种。目前已有集模拟视频采集与输出于一体的视频卡，可以与录像机等设备相连，提供高质量的模拟视频信号采集和输出。这种设备可以用于专业级的视频采集、编辑及输出。

5.5其他功能的视频卡5.5.1视频输出卡-TVCoder

经过计算机加工处理的视频数据以视频文件的格式进行存储和交流，但不能以录像带的形式进行传播或者直接在电视机上收看。视频输出卡的功能是将计算机显示卡输出的VGA信号转换为标准的视频信号，以PAL和NTSC两种制式输出，从而可在电视上观看计算机显示器上的画面，或将其通过录像机录制到录像带上。对计算机的VGA显示卡输出的以RGB形式表示的视频数据进行编码，将其转换成可供录象机和电视机输入和显示的复合视频信号的接口卡叫视频输出卡或编码卡（TVCoder）。

TVCoder的功能是把计算机显示器上显示的内容实时地转换为模拟视频信号并输出到电视机或录像机上，这对于多媒体演示和多媒体教育培训有很大帮助。还可以把多媒体演示的内容记录到磁带上。

TVCoder具有以下几种接口：VGA输入端口：TVCoder的输入信号取自于PC机的VGA显示输出端。输出制式开关：TVCoder支持NTSC和PAL制式输出，由制式选择开关可选择所需的输出信号的制式。

模拟输出端口：TVCoder

可提供复合视频输出，两分量的S－Video输出以及三分量RGB输出。Video和S－Video输出可与具有相应视频输入端口的电视或录像机相连；RGB输出可以与RGB显示器或其他具有RGB输入端口的设备，如投影仪等相接。

VGA输出：由于TVCoder要占用计算机主机的VGA输出端口，因此它还提供一个VGA输出端口以便与计算机的显示器连接。

5.5.2MPEG卡

MPEG是能将大量视频信息进行压缩的国际标准。在该标准的支持下，一套74分钟的完整录像画面以及具有CD音质的音频信号，只要一张CD光盘即可存储。由于MPEG将活动的图像与声音信号一体存储，因此大大提高了播放质量。

MPEG卡实际上分为两类：MPEG压缩卡和解压卡。MPEG压缩卡用于将视频影像压缩成MPEG的格式。它首先将模拟音视频信号数字化，然后按MPEG标准的压缩算法分别对数字音视频信号进行压缩编码，产生一个码率约为1.5mbit/s的MPEG复合音视频码流，最后再转变为.mpg格式的文件储存在硬盘上。根据所支持的信号输入方式，MPEG压缩设备可分为专业型和普及型；专业型MPEG压缩卡可以支持YUV、S－Video和复合视频等多种输入。它们一般还带有数字滤波预处理和专业分量型录像机控制等功能。预处理功能除了能减小视频信号中的噪声外，还可限制视频信号的动态范围，使信号更容易压缩，有效地降低了压缩算法引起的压缩失真，可大大提高图像的主观清晰度。

MPEG解压卡是采用硬件方式将压缩后的VCD影碟数据解压后进行回放。当计算机将CD-ROM内的数据传送到MPEG卡上时，通过卡上的MPEG解码器，将已压缩的数据进行解压。品质较好的MPEG卡可播放每秒30帧的电影画面，速度和NTSC制式一样。有些MPEG卡还提供了视频输出端口（VideoOut）和音频输出端口（AudioOut）,可以将VCD画面播放到大屏幕彩色电视机上或其他录象设备上，具备了视频输出卡的功能。

MPEG编码卡

5.5.3电视接收卡

电视卡（TVTUNER)从工作原理上看相当于一台数字式电视机。它首先将从天线接收下来的射频信号变换成视频信号，然后经A/D转换器变为数字信号，再经变换电路变为RGB数字信号，最后通过D/A转换变为模拟RGB信号送显示器上显示。

因为电视卡采用逐行扫描方式，加上计算机显示点距小，分辨率高，所以整个电视图像看上去清晰稳定，完全可以与电视机媲美。电视卡的硬件部分是电视频道的选台电路，在MPC上安装此卡后，允许用户在MPC上用遥控器或鼠标进行操作，对电视频道进行选择。不同的电视卡所能选择的频道数量各异，一般能达到100个左右。有些TVTUNER卡配有声音输出的接口，以供用户连接到音箱或转接到声卡的输入口。除频道选择之外，电视接收卡还可以进行频道预设、亮度及音量调节、彩色调整等。

外置式(左)与内置式（右）电视卡5.5.4视频卡的发展趋势

系统集成是现代技术的主要趋势，多媒体本身就是技术集成的产物。近年来，多媒体视频硬件主要在两个领域发展。

第一是与网络通信技术结合，由视频采集卡附加网络通信卡构成的多媒体视频会议、S可视电话、视频邮件、多媒体通信终端等。基于宽带多媒体通信网络的交互式电视（ITV）、点播电视（VOD）以及远程教育系统、远程医疗诊断系统、远程电子图书馆等新技术正在普及实施，通过交互电视的机顶盒（STB）实现网络浏览、电视购物、收看VOD节目等，最终走向电视、电脑与电信的三电合一的目的。

第二方面是与影视制作技术结合，构成集压缩/解压缩、合成输出、特技效果为一体的影视制作非线形编辑系统。视频处理硬件最终将从高档系统的选件转变为标准系统的组件。

从技术上看，电子器件的集成度越来越高；从应用角度看，综合处理多媒体功能的需求越来越普遍，因此“集成到芯片中，设计在主板上”将会是新一代视频/图像处理硬件的发展趋势。

5.6视频文件的类型

5.6.1AVI文件

AVI（AudioVideoInterleave）是一种音频视像交插记录的数字视频文件格式。1992年初微软公司推出了AVI技术及其应用软件VFW（VideoforWindows）。在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种按交替方式组织音频和视像数据，可使得读取视频数据流时能更有效地从存储媒介得到连续的信息。

AVI文件结构不仅解决了音频和视频的同步问题，而且具有通用和开放的特点。它可以在任何Windows环境下工作，而且还具有扩展环境的功能。用户可以开发自己的AVI视频文件，在Windows环境下可随时调用。AVI一般采用帧内有损压缩，可以用一般的视频编辑软件如AdobePremiere进行再编辑和处理。

在AVI文件中，运动图像和伴音数据是以交织的方式存储，并独立于硬件设备。这种音频和视像的交织组织方式与传统的电影相似，在电影中包含图像信息的帧顺序显示，同时伴音声道也同步播放。5.6.2MOV文件

Apple公司在其生产的Macintosh机也推出了相应的视频格式，即Moviedigitalvideo的文件格式，其文件以MOV为后缀，相应的视频应用软件为Apple'sQuickTimeforMacintosh。随着大量原本运行在Macintosh上的多媒体软件向PC/Windows环境的移植，导致了QuickTime视频文件的流行。同时Apple公司也推出了适用于PC机的视频应用软件Apple'sQuickTimeforWindows，因此在MPC机上也可以播放MOV视频文件。

MOV格式的视频文件可以采用不压缩或压缩的方式，其压缩算法包括Cinepak、IntelIndeoVideoR3.2和Video编码。其中Cinepak和IntelIndeoVideoR3.2算法的应用和效果与AVI格式中的应用和效果类似。而Video格式编码适合于采集和压缩模拟视频，支持16位图像深度的帧内压缩和帧间压缩，帧率可达每秒10帧以上。

QuickTime还采用了一种称为QuickTimeVR的虚拟现实（VR，VirtualReality）技术，用户只需通过鼠标或键盘，就可以观察某一地点周围360度的景象，或者从空间任何角度观察某一物体。

QuickTime以其领先的多媒体技术和跨平台特性、较小的存储空间要求、技术的独立性以及系统的高度开放性，目前已成为数字媒体软件技术领域的事实上的工业标准。国际标准化组织(ISO)最近选择QuickTime文件格式作为开发MPEG4规范的统一数字媒体存储格式。

5.6.3MEPG文件-MPEG/MPG/DAT格式

将MPEG算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准文件：MPG文件。MPG格式文件在1024786的分辩率下可以用每秒25帧（或30帧）的速率同步播放全运动视频图像和CD音乐伴音，并且其文件大小仅为AVI文件的六分之一。MPEG-2压缩技术采用可变速率（VBR-VariableBitRate）技术，能够根据动态画面的复杂程度，适时改变数据传输率获得较好的编码效果，目前使用的DVD就是采用了这种技术。

MPEG的平均压缩比为50∶1，最高可达200∶1，压缩效率之高由此可见一斑。同时图像和音响的质量也非常好。MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分，MP3音频文件就是MPEG音频的一个典型应用，而VCD、SVCD、DVD则是全面采用MPEG技术所产生出来的新型消费类电子产品。

5.6.4RAM格式

目前，很多视频数据要求通过Internet来进行实时传输，视频文件的体积往往比较大，而现有的网络带宽却往往比较“狭窄”，客观因素限制了视频数据的实时传输和实时播放，于是一种新型的流式视频(StreamingVideo)格式应运而生了。这种流式视频采用一种“边传边播”的方法，即先从服务器上下载一部分视频文件，形成视频流缓冲区后实时播放，同时继续下载，为接下来的播放做好准备。这种“边传边播”的方法避免了用户必须等待整个文件从Internet上全部下载完毕才能观看的缺点。

RealNetworks公司所制定的音频视频压缩规范称为RealMedia，是目前在Internet上的跨平台的客户/服务器结构的多媒体应用标准，它采用音频/视频流和同步回放技术来实现在Internet上流媒体技术，能够在Internet上以28.8kb/s的传输速率提供立体声和连续视频。

RealMedia包括三类文件：RealAudio、RealVideo及RealFlash，RealAudio用来传输接近CD音质的音频数据，RealVideo用来传输连续视频数据，而RealFlash则是RealNetworks公司与Macromedia公司新近合作推出的一种高压缩比的动画格式。

RealMedia根据网络数据传输速率的不同制定了不同的压缩比率，现在大多使用其中的14.4kb/s、28.8kb/s以及ISDN56kb/s这三种不同速率下的RealMedia流格式。

整个Real系统由三个部分组成：服务器、编码器和播放器。RealEncoder负责将已有的音频和视频文件或者现场的音频和视频信号实时转换成RM格式，服务器负责广播RM格式的音频或视频，而播放器则负责将传输过来的RM格式的音频或视频数据流实时播放出来。目前，Internet上已有不少网站利用RealVideo技术进行重大事件的实况转播。

5.7非线性编辑系统

非线性编辑系统是随着多媒体技术的飞速发展而产生的，它以计算机为平台，配以专用板卡和高速硬盘，由相应软件控制完成视音频节目制作。由于非线性编辑具有传统线性编辑无法比拟的优点，因此，使用视音频非线性编辑系统已经成为电视节目后期制作、电子出版物和多媒体课件制作的发展方向。5.7.1线性编辑与非线性编辑

线性编辑(LinearEditing)指的是传统方式下的声像编辑技术。不管是录像带还是录音带，它存储的信息是以时间顺序记录的。当使用者要选取不同的视频素材或某一片段，需要频繁地倒带，从录像带的一部分找到另外一部分，甚至更换录像带。完成一个编辑经常需要反复按顺序寻找需要的片段，其过程费时费力，效率较低。

传统的线性编辑

非线性编辑是将传统视频编辑系统要完成的工作全部或部分放在计算机上实现的技术，是传统设备同计算机技术结合的产物。计算机数字化地记录所有视频片段并将它们存储在硬盘上。由于计算机对媒体的交互性，人们可以对存储的数字文件反复地更新或编辑。从本质上讲，非线性技术提供了一种分别存储许多单独素材的方法，使得任何片段都可以立即观看并随时任意修改。它利用了计算机软件提供的多种灵活的过渡和特殊效果，可高效地完成“原始编辑”，如剪辑、切换、动画处理等，再由计算机完成数字视频的生成与计算，并将生成的完整视频回放到视频监视设备或转移到录像带上。由于计算机交互性及资源的数字化特性突破了传统线性编辑的局限，使视频编辑工作更加随心所欲和富有创造性。

非线性编辑系统与传统方式的在实际应用中有许多明显的优点。

编辑制作方便。传统线性编辑中剪辑与增加特技要交替顺序进行，非线性编辑可以先编好镜头的顺序，然后根据要求在需要的编辑点添加特技。

有利于反复编辑和修改。在实际工作中，发现不理想或出现错误可以恢复到若干操作步骤之前。可在任意编辑点插入一段素材，切入点以后的素材可被自动向后推，同样删除一段素材，切出点以后的素材可以自动向前递补，重组素材段。所有这些操作可以在几秒钟内完成。

制作图像画面的层次多。每一段素材都相当于传统编辑系统中一台放机播放的视频信号，而素材数量是无限的，这使得节目编辑中的连续特技可一次完成无限多个，它不仅提高了编辑效率而且丰富了画面的效果。

图像与声音的同步对位准确方便。图像通过加帧减帧可拉长或缩短镜头片断，随意改变镜头的长度。声音可不变音调而改变音长（即保持声音频率不变，延长或缩短时间节奏）。因此，在实际制作过程中，在一段音乐与一段图像相配时，很容易把它们的长度编成一致。这在传统的线性编辑方式中是不太容易做到的。非线性编辑系统是一个计算机多媒体技术为依托的开放式结构，用户可以任选硬件和软件搭建适合各自专业需求和资金条件的系统。只要选用好的多媒体硬件，满意的图像质量与实时特性都是可以实现的。但要让系统稳定高效地运行，真正发挥出系统的最高效能，软件系统也起着重要的作用。所以说，软件系统是非线性编辑系统的灵魂。

5.7.2非线性编辑系统技术特性

随着计算机技术和电视数字技术的发展，非线性编辑系统不仅能够完成视音频的非线性编辑，而且在编辑过程中可同时完成多通道特技、字幕叠加、配音、配乐等电视制作手法。能够集数字特技切换器、字幕机、编辑机、编辑控制器及功能较完备的调音台为一体。

非线性编辑系统技术的技术特性表现在以下几个方面:

有联机线性编辑和脱机非线性编辑两种方式。其中，联机线性编辑功能较强，图像质量可满足广播级的要求，适合于采用非线性粗编辑（即压缩比在100:1以上非线性编辑，又称草稿编辑）与线性精编辑相结合的工作方式。

采用了MPEG、JPEG压缩技术和合理的压缩比及完善的视频电路，具有两路实时非线性通道，一个实时图文层，两个以上键层，实时双通道数字特技。另外，DSP技术的应用和图形图像硬件处理技术设计的特技加速卡的出现，使软件数字特技时间加快了近20倍，可调整压缩比，从无损失压缩到预览压缩，从而提供多种分辨率的图像质量，可适用于电视节目制作过程中粗编与精编两个不同的场合。

可兼容Windows平台下所有的音频、视频及多媒体制作软件。例如Premiere、StudioMAX等。音频系统有多轨实时音频通道，真正做到了在回放视频的同时完成录音功能（即实时配音）。

视频有模拟复合信号、S—视频、RGB和模拟分量信号的接口。上述这些接口都为配制编辑系统提供了非常灵活的选择性。

可实现多机联网，在部分终端分别进行非线性粗编辑及字幕动画制作的同时，主终端进行联机实时线性编辑。

非线性编辑系统目前正处于不断发展阶段，许多方面有待于改进、完善。例如，计算机的运算速度需要进一步提高，增加实时处理多通道视频数据的能力，减少运算处理数据等待时间。图像数据压缩技术需要进一步提高，以求在广播级图像质量的标准下达到更大的数据压缩比。还要发展高速率、大容量、低成本的便携存储设备，使它将有利于提高非线性主机的使用效率和方便节目交换。

5.7.3非线性视频编辑系统处理视频的过程

非线性视频编辑系统是将传统视频编辑系统要完成的工作全部或部分在计算机上实现的技术，它需要相应的计算机硬件和软件来配合。在非编系统上处理视频的过程主要有以下几个步骤：视频素材的准备和搜集

视频素材可以来自于传统视频设备的原始视频资料，如摄像设备、录放像设备、影碟机等视频源，当然也包括计算机本身获得或生成的图形