第7章-多媒体视频处理技术课件

第七章多媒体视频处理

视频是多幅静止图像（每幅画面称为一图像帧）与连续的音频信息在时间轴上同步运动的混合媒体，多帧图像随时间变化而产生运动感，因此视频也被称为运动图像。从应用层面看，图像运动的方式与快慢完全取决于与之混合的音频的内容和长度，两者的有机配合可产生直观、生动、富有想象的听觉和视觉冲击效果。按视频的存储和处理方式的不同，可分为模拟视频和数字视频两种。7.1模拟视频模拟视频是以连续的模拟信号方式存储、处理和传输的视频信息，其所用的存储介质、处理设备以及传输网络都是模拟的。模拟视频图像具有成本低和还原度好的优点。其缺点是经长期存放后，视频质量会下降，经多次复制后，图像会有明显失真。在传输方面，模拟视频图像会随频道和距离的变化产生较大的衰减，且不适合网络传输。与数字视频相比，模拟视频不便于编辑、检索和分类。7.1.1模拟视频的信号类型模拟视频信号主要包括亮度信号、色度信号、复合同步信号和伴音信号。1、复合视频信号（也称AV信号）复合视频信号（CompositeVideoSignal）是指包含亮度信号、色度信号和所有定时信号的单一模拟信号，不包括伴音信号，带宽较窄。大多数视频卡都提供这种类型的视频接口。RCA插头（俗称莲花头RCA端子）它是一种混合视频信号，没有经过RF射频信号那些调制、放大、检波、解调等过程，信号保真度相对较好AV接口实现了音频和视频的分离传输，这就避免了因为音/视频混合干扰而导致的图像质量下降；由于AV接口的传输是一种亮度/色度(Y/C)混合的视频信号，需要显示设备对其进行亮/色分离和色度解码才能成像，这种先混合再分离的过程必然会造成色彩信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的图像质量。AV还具有一定生命力，但由于它本身Y/C混合这一不可克服的缺点因此无法在一些追求视觉享受极限的场合中普及。AV信号的优缺点:2、分量视频信号分量视频信号（ComponentVideoSignal）是指每个基色分量作为独立的电视信号。每个基色既可以用R、G、B表示，也可以用亮度—色差表示,如Y、I、Q或Y、U、V等。使用分量视频信号是表示颜色的最好办法，但需要比较宽的带宽和同步信号。计算机输出的VGA视频信号即为分量形式的视频信号。VGA（VideoGraphicsArray）接口，也叫D-SUB接口VGA接口传输的仍然是模拟信号，对于以数字方式生成的显示图像信息，通过数字/模拟转换器转变为R、G、B三基色信号和行、场同步信号，信号通过电缆传输到显示设备中。VGA接口是显卡上应用最为广泛的接口类型，多数的显卡都带有此种接口。有些不带VGA接口而带有DVI接口的显卡，也可以通过一个简单的转接头将DVI接口转成VGA接口，通常没有VGA接口的显卡会附赠这样的转接头。通用的DVI转VGA接头3、分离视频信号是分量视频信号和复合视频信号的折中方案。它将色度信号组合后加上亮度信号共两个信号参与传输。S指的是“Separated（分离）”，将亮度Y和色差信号C分离，即减少了亮度信号和色差信号之间的交叉干扰，又可提高亮度信号的带宽。S端子实际上是一种五芯接口，由两路视亮度信号、两路视频色度信号和一路公共屏蔽地线共五条芯线组成。色差端子是在S端子的基础上，把色度（C）信号里的蓝色差（b）、红色差（r）分开发送，其分辨率可达到600线以上。它通常采用YPbPr

和YCbCr两种标识，前者表示逐行扫描色差输出，后者表示隔行扫描色差输出。现在很多电视类产品都是靠色差输入来提高输入讯号品质，色差信号作为S-Video的进阶产品，色差输出将S-Video传输的色度信号C分解为色差Cr和Cb，这样就避免了两路色差混合译码并再次分离的过程，也保持了色度信道的最大带宽，只需要经过反矩阵译码电路就可以还原为RGB三原色信号而成像，这就最大限度地缩短了视频源到显示器成像之间的视频信号信道，避免了因繁琐的传输过程所带来的影像失真。4、射频信号

RF射频端子是最早在电视机上出现的，原意为无线电射频（RadioFrequency）。它是目前家庭有线电视采用的接口模式。为了实现模拟视频信号的远距离传输，必须把包括亮度信号、色度信号、复合同步信号和伴音信号在内的全电视信号调制成射频信号才能进行传输，每个信号占用一个频道。当视频接收设备接收到射频信号时，先从射频信号中解调出全电视信号，再还原成图像和声音信号。RF的成像原理是将视频信号(CVBS)和音频信号(Audio)相混合编码后输出，然后在显示设备内部进行一系列分离/解码的过程输出成像。由于步骤繁琐且音视频混合编码会互相干扰，所以它的输出质量也是最差的。电视盒RF射频端子7.1.2模拟视频标准

为了便于模拟视频的处理、传输和存储，国际上形成了相关的模拟视频标准------广播视频标准，来规范和统一模拟视频体系。世界上最常用的模拟广播视频标准（也称制式）有3个：NTSC、PAL、SECAM。不同标准之间的主要区别在于刷新速度、颜色编码系统以及传送频率等有所差异。制式帧频（FPS）行数/帧场频（Hz）颜色频率（MHz）声音频率（MHz）PAL2562550.004.436.5NTSC3052559.943.584.5SECAM2562550.004.436.5隔行扫描是“先奇后偶”，“一屏两次”。会造成屏幕闪烁。（P136）逐行扫描是“一屏一次”。屏幕稳定性好。7.2数字视频数字视频（DigitalVideo）是以离散的数字信号方式表示、存储和传输的视频信息，所用的存储介质、处理设备以及传输网络都是数字化的。存储介质大约可以分为硬盘类、光盘类、DV带类、存储卡类这四大类。硬盘DV的优势就在于存储空间大，可以方便的将录制的节目存储到电脑中或者直接利用配套的DVD刻录设备将碟片刻出，光盘介质的DV采用了DVD光盘作为存储介质，当结束拍摄的时候，只需要将DVD直接取出就可以在任何一台DVD播放器上进行播放。DV磁带是最常见介质的，早期的DV都是用它来存储的，优点就是价格便宜，且画面清晰度高，电脑编辑比较方便，缺点是磁带保存的时间短，而且拍摄的视频导出电脑时速度慢。存储卡介质的产品一般集中在使用SD卡上，相比其他存储介质的卡而言，此类机器的体积最为小巧，携带最为方便，缺点就是比较费电，待机时间短，镜头性能一般。数字视频有两层涵义：一是将模拟视频信号输入计算机进行数字化视频编辑，最后制成数字化视频产品；二是视频图像由数字摄像机拍摄下来，从信号源开始，就是无失真的数字视频。当输入计算机时，不再考虑视频质量的衰减问题，然后进行视频编辑，制成产品。现在的数字视频技术主要是指第一层涵义，即模拟视频的数字化。当视频信号数字化后，就克服了模拟视频的缺点，可以不失真地无限次拷贝，可以用许多新方法对数字视频进行创造性的编辑，如增加电视特技等，可以真正实现将视频融进计算机系统中以及实现用计算机播放电影节目。与模拟视频相比，数字视频的优点1、可以计算机编辑处理：视频信息可以方便的在多媒体计算机中进行采集、编码、编辑、存储、传输等处理，也可通过专门的视频编辑软件进行各种效果编辑处理。2、再现性好：由于模拟信号是连续变化的，所以不管复制时采用的精确度有多高，总会产生失真现象。经过多次复制之后，失真现象更明显。数字视频可以不失真地进行无限制复制，其抗干扰能力是模拟信号所无法比拟的。此外，数字视频不会因存储、传输和复制而产生图像质量的退化，从而能准确地再现图像。3、适合于数字网络：在网络环境中，数字视频信息可以很方便地实现资源的共享。通过网络，数字视频可以很方便地从一个地方传到另一个地方。且支持不同的访问方式（点播、广播等）数字视频信号可长距离传输而不会产生信号衰减。7.3视频的数字化视频的数字化就是指在一段时间内以一定的速度对视频信号进行捕获并加以采样、量化、编码后形成数字化数据的处理过程。各种制式的普通电视信号都是模拟信号，然而计算机只能处理数字信号，因此必须将模拟信号的视频转化为数字信号的视频。视频信号数字化与音频信号数字化一样，要经过采样、量化（A/D转换）、解码和彩色空间变换等处理过程。将视频数字化的过程也常称为捕获。7.3.1视频数字化有复合数字化和分量数字化两种复合数字化：是指先用一个高速的模/数（A/D）转换器对全彩色电视信号进行数字化，然后在数字域中分离亮度和色度，以获得YCrCb

分量、YUV分量或YIQ分量，最后再转换成RGB分量。分量数字化：是指先把视频信号中的亮度和色度进行分离，得到YUV或YIQ分量，然后用3个模/数转换器对3个分量分别进行数字化，最后再转换成RGB分量。分量数字化是采用较多的一种模拟视频数字化方法。Y是亮度，UV分别对应Cb和Cr，即蓝色和红色，UV合称彩度，用C做标记。

7.3.2视频信号的数字化过程录像机摄像头电视机VCD机DVD机……分量或复合视频信号视频采样隔行、逐行转换量化彩色空间转换编码、压缩数字视频NTSC：525/60PAL：625/50SECAM：625/50视频图像采集有两种采样方法：

A、使用相同的采样频率对图像的亮度信号和色差信号进行采样，这种采样将保持最好的图像质量，但数据量大；B、对亮度信号和色差信号分别采用不同的采样频率进行采样一般色差信号的采样频率低于亮度信号的采样频率，这种采样可减少采样数据量，同时不会明显影响人们的视觉效果。视频采样的基本原理是依据人的视觉系统所具有的两个特征：1、人眼对色度信号的敏感程度比对亮度信号的敏感度低，利用这个特征可把图像中表达颜色的信号去掉一些而使人察觉不到；2、人眼对图像细节的分辨能力有一定的限度，利用这个特征可以把图像中高频信号去掉而使人不易觉察。数字视频常用的采样格式分别为4：4：44：2：24：1：14：2：0Y：U：VY：U：V＝4：4：4

在这种方式中，对每个采样点，亮度Y、色差U、V各取一个样本。这种方式对于原本就具有较高质量的信号源（如S－Video源），可以保证其色彩质量，但信息量大。Y：U：V＝4：2：2

这种方式是在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点和第三点的样本值，共8个样本。这种方式能给信号的转换留有一定余量，效果更好一些。这是通常所用的方式。Y：U：V＝4：1：1

这种方式是在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点的样本值，共6个样本。这种方式的采样比例与全电视信号中的亮度、色度的带宽比例相同，数据量较小。Y：U：V＝4：2：0

这种方式是在采样位置与以上不同，它是指在水平和垂直两个方向上每2个连续的（共4个）采样点上各取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。常用的DV、MPEG-1、MPEG-2等均使用该格式。时间采样时间采样就是每隔一定时间进行一次空间（帧）上的采样。一个可动的视频图像是通过对信号在周期性的时间间隔上进行快照得到的。重放这一系列的帧会得到一个运动的效果。PAL制式的采样帧速率为25帧/秒NTSC制式的采样帧速率为30帧/秒2、视频量化：视频量化也是进行图像幅度上的离散化处理。eg:信号量化精度为8位二进制位，信号就有28=256个量化等级亮度信号用8位量化，则对应的灰度等级最多只有256级。如果R、G、B三个色度信号都用8位量化，就可获得约1700万种色彩。（256*256*256=16777216）视频采样量化采样量化7.3.3数字视频的不同格式数字视频有非压缩和压缩两种格式。非压缩格式一般是指通过高档数字录像机直接拍摄的数字视频，具体格式有D1、D2、D3、D5等。非压缩格式的数字视频以原有信号码率直接记录输入信号，保持了信号的原有水平，为无损记录。通常所说的数字视频格式主要是指采用了压缩技术的数字视频，具体格式有DigitalBetacam、Digital-S、DVCPro、DVCam和家用DV。它们都采用分量数字化方式。7.4数字视频编码压缩视频数据压缩方法主要是帧内压缩（空间压缩）和帧间压缩两种。在研究视频数据压缩的同时，一种适合于互联网实时传输音/视频信息的技术------流技术正在广泛使用。主要目的是在网络上提供适当质量的低带宽实时视频信息。视频压缩编码标准MPEG标准类别标准名特点数据率应用MPEG系列标准MPEG-1运动图像和伴音合成的单一数据流1.5MbpsVCD和Mp3MPEG-2单个或多个数据流，框架与结构更灵活3~15MbpsDVD和数字电视MPEG-4基于对象的音/视频编码5Kbps~5Mbps多种行业MPEG-7多媒体内容描述不涉及基于内容检索MPEG-21多媒体内容管理不涉及网络多媒体7.5数字视频文件格式数字视频体系包括多媒体计算机对视频文件进行编码的格式以及识别和播放此格式文件的播放器。目前，主要的数字视频格式体系有苹果公司的QuickTime、微软的Windows媒体格式、RealNetwork公司的RealMedia格式以及国际标准规定的MPEG格式。与这些体系相关的视频文件格式有QuickTime（.mov）、音频视频交叉（.avi）、RealMedia（.rm）以及.mpg或.dat文件，对应的播放器分别为QuickTime、WindowsMediaPlayer、RealOnePlayer以及一些第三方开发的媒体播放器。1、数字视频体系DAT文件有两种类型，一种是数据文件，另外一种是VCD的媒体文件。多数情况下，.dat文件是程序使用的数据，它只是开发者为了清楚文件的意思而自己定义的，也可以命名成别的扩展名！AVI文件是一种音、视频交插记录的数字视频文件格式。它最直接的优点就是兼容好、调用方便而且图象质量好。但它的缺点也是十分明显的：体积大。在AVI文件中，运动图象与伴音数据是以交替的方式存储，且与硬件设备无关。在按交替方式组织音频和视频数据时，可在读取视频数据流时能更有效地从存储媒介达到连续的信息。根据不同的应用要求，AVI的分辨率可以随意调。窗口越大，文件的数据量也就越大。降低分辨率可以大幅减低它的体积，但图象质量就必然受损。2、数字视频文件格式MPEG文件-----MPEG/MPG/DAT格式

MPEG文件是采用MPEG压缩算法压缩后得到的视频文件格式，具体格式后缀可以是MPEG、MPG或DAT。MPEG文件所占用的磁盘空间比AVI文件小的多，其压缩效率高（平均压缩比为50：1，最高可达200：1）。MPEG标准包括MPEG视频、MPEG音频和MPEG系统（视频、音频同步）。MPEG压缩标准是针对运动图像而设计的，其基本方法是：在单位时间内采集并保存第一帧信息，然后只存储其余帧相对第一帧发生变化的部分，从而达到压缩的目的。MOV文件

MOV文件是Apple公司开发的一种用于保存音频和视频信息的视频文件格式，统称为QuickTime视频格式。它具有跨平台、存储空间要求小的技术特点，而采用了有损压缩方式的MOV格式文件，画面效果较AVI格式要稍微好一些。它支持AppleMacOS、MicrosoftWindows95/98/NT等平台。该格式可以采用压缩或非压缩两种方式。RM文件

RealMedia的缩写，出现最早的视频流格式。它可以是一个离散的单个文件，也可以是一个视频流。它在压缩方面做得非常出色。ASF文件ASF的全称是AdvancedStreamingFormat，是微软为Windows98所开发的串流多媒体文件格式。ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。WMV文件WMV是微软推出的一种流媒体格式，它是在“同门”的ASF（AdvancedStreamFormat）格式升级延伸来得。在同等视频质量下，WMV格式的体积非常小，因此很适合在网上播放和传输。DivX格式DivX格式应用MPEG-4技术的数字视频编解码器（Codec）。该文件格式是将高质量视频压缩为小到足以在互联网传播的视频，从而满足广大用户的实际需求。DAT文件DAT是VideoCD

或KaraokeCD

数据文件的扩展名。这种文件的结构与MPG文件格式基本相同。目前市场流行的VCD光盘中的节目大多以DAT文件格式存放。DAT文件中的片断可以通过某些解压软件提供的摄像功能来截取并转换成MPG文件。Dir文件Dir（DirectorMoves）是Macromedia公司使用的

Director多媒体著作工具产生的电影文件格式。3、视频采集卡1、按性能分类（区别主要是采集的图像指标不同

）：

广播级视频采集卡、专业级视频采集卡、普通视频采集卡广播级视频采集卡的最高采集分辨率一般或720X576PAL制25帧每秒或640X480/720X480NTSC制30帧每秒,最小压缩比一般在4:1以内。这一类产品的特点是采集的图像分辨率高，缺点是视频文件庞大。广播级模拟信号采集卡都带分量输入输出接口，用来连接摄/录像机。

专业级视频采集卡的级别比广播级视频采集卡的性能稍微低一些，分辨率两者是相同的，但压缩比稍微大一些，其最小压缩比一般在6:1以内，输入输出接口为AV复合端子与S端子民用级视频采集卡的动态分辨率一般最大为384X288，PAL制25帧每秒。视频采集卡视频采集卡是将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号等输出的视频数据或者视频音频的混合数据输入电脑，并转换成电脑可辨别的数字数据，存储在电脑中，成为可编辑处理的视频数据文件。

视频输出卡计算机显卡输出的视频信号，一般不能直接用作电视机或录象机视频输入信号。视频输出卡可以将计算机中的数字视频信号进行编码，转换成NTSC或PAL标准的电视视频信号，再输出带电视机中播放或录制到录象机的磁带中。2、按功能分类：视频采集卡、视频输出卡、TV卡、压缩/解压缩卡、数字视频卡TV卡TV卡是用来接收和采集电视节目的。它有一个高频调谐器和一个射频信号接口，可以将电视高频信号接入多媒体计算机并转换成数字视频信号，实现在多媒体计算机的显示器上收看电视节目等功能。目前市场电视卡的种类颇多，有二合一：一般是AV+TV，它不仅可以看电视还可以把你录像带通过AV接口转换成MPEG格式，刻录成VCD/DVD；三合一：AV+TV+DV，此卡几乎可以把市面上常见的输出设备通吃。压缩/解压缩卡一般来说，一个视频卡可同时具有压缩和解压缩功能。常见的压缩卡的有硬件压缩卡，它的压缩比一般不超过1:6，软件压缩卡就不同了，它的压缩比由软件而定几比几就没有标准了，压缩一般有帧内压缩和帧间压缩.硬件压缩卡的优点就是不需占要ＰＣ资源，故较低配置的PC机也可以采集出好质量的视频文(VCD/DVD)，软件压缩就不同了，它需要有较高的PC配置，硬件压缩卡的性能和价格都要比软件压缩卡高。

但目前，由于MPC的CPU速度很快，处理能力增强，通过软件就可以实现压缩和解压缩功能，所以解压缩卡已经很少在个人多媒体计算机中使用。数字视频卡（DV卡）数字视频卡实际上是一个数字接口---IEEE1394，在苹果系列机上称为火线接口FireWire，索尼公司的叫法是i.Link。同USB一样，IEEE1394也支持外设热插拔，可为外设提供电源，省去了外设自带的电源，能连接多个不同设备，支持同步数据传输。IEEE1394分为两种传输方式：Backplane模式和Cable模式。Backplane模式最小的速率也比USB1.1最高速率高，分别为12.5Mbps/s、25Mbps/s、50Mbps/s，可以用于多数的高带宽应用。Cable模式是速度非常快的模式，分为100Mbps/s、200Mbps/s和400Mbps/s几种，在200Mbps/s下可以传输不经压缩的高质量数据电影。

目前市场上有两种1394(DV)卡，一种是1394A，一种是1394B，1394A的传输速率为400MB/S，1394B