第二章-数字视频描述(数字视频基础)

数字视频技术唐浩漾thaoyang@第二部分数字视频基础

第二讲

数字视频描述

第三讲数字视频采集第四讲数字视频模型第二章数字视频描述视频捕捉和显示模拟视频数字视频颜色感知和表示第二章数字视频描述2.1颜色感知和表示

视频信号是一个二维图像序列，它是运动的三维场景在摄像机图像平面上的投影。我们得到的画面中任一点的颜色是与所观察场景中特定的三维点处发出或反射的光相关联的。彩色的表示

光和彩色的属性2.1颜色感知和表示一、光和彩色的属性1、光的基础知识光是电磁波的一部分，人眼可以感觉的光其波长在380～780纳米（nm）范围内。光的彩色感知决定于其光谱成分(即它的波长组成)。2.1颜色感知和表示光源类型：发射光源和反射光源发射光源是能发射电磁波的光源包括太阳、灯泡、电视监视器等。对颜色的感知依赖于发射光的频率。遵循相加规则：几个混和的发射光源的彩色感知取决于所有光源光谱的总和。R+G+B=White反射光源是能反射入射光的光源其中包括彩色染料和颜料等。对颜色的感知依赖于入射光的光谱成分和反射光的频率。反射光源遵循相减规则：几种混和的反射光源的彩色感知取决于剩余的、未被吸收的波长。R+G+B=Black人类的感觉视觉、听觉、嗅觉、味觉和触觉“第六感觉”

内部因素：人眼——人类视觉系统外部因素：可见光72.1颜色感知和表示2、HVS(人类视觉系统)对彩色的感知

2.1颜色感知和表示光有两个属性：亮度和色度。亮度：指光的明亮程度，与可见波段的总能量成正比。色度：指光的颜色和深浅，依赖于光的波长成分。

色调：指彩色的颜色色度饱和度：指彩色的纯度HVS(人类视觉系统)人类获取外界图像、视频信息的工具。涉及光学、色度学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学等科学领域。视觉光辐射刺激人眼所引起的复杂的生理和心理变化。人类最重要最完美的感知手段。92.1颜色感知和表示

HVS(人类视觉系统)

视网膜有两种类型感光细胞锥状细胞:在亮光下起作用，感知颜色的色调。

含有三种类型的锥状细胞。杆状细胞:在暗一些的光强下工作，只能感知亮度信息。

照相机与人眼睛的比较照相机眼睛透镜角膜快门虹膜，瞳孔底片、CCD视网膜传输电缆视神经巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜2.1颜色感知和表示三类锥状细胞其峰值分别位于红色(570nm附近)、绿色(535nm附近)和蓝色(445nm附近)波长，它们的组合可以使人类感知任何彩色，这就是彩色视觉的三感光细胞原理。图2.1人眼视网膜中三类锥状细胞的光吸收通带函数2.1颜色感知和表示其中人类视网膜中三类锥状细胞的频率响应与亮度效率函数之间的关系如下图所示。我们可以看到绿色波长对亮度感觉的贡献最大，其次是红色波长，而蓝色波长最小。2.1颜色感知和表示3、彩色混合的三基色原理三基色原理：任何一种颜色可以通过三基色

按不同比例混合得到。

照明光源的基色系包括红色、绿色和蓝色，称为RGB基色。

反射光源的基色系包括青色、品色和黄色，称为CMY基色。

RGB和CMY基色系是互补的，也就是说混合一个色系中的两种彩色会产生另外一个色系中的一种彩色。2.1颜色感知和表示

RGB基色系CMY基色系色调表示（色轮）2.1颜色感知和表示二、彩色的表示

1、颜色空间模型基于三基色的颜色模型（红色、绿色和蓝色，显示系统）（青色、品色和黄色，打印机）基于亮度与色度的颜色模型

（亮度、色调、饱和度）

（亮度、色度，PAL制式的彩色电视）

（亮度、色度，NTSC制式的彩色电视）

（数字彩色电视）RGBCMYHSIYIQYCbCrYUV2.1颜色感知和表示

（红色、绿色和蓝色，显示系统）显示器中的电子枪可分别产生出红绿蓝三种波长的光，通过适当比例的组合用以激发显示屏幕上的荧光粉，从而能合成显示所需要的任意颜色。

RGB2.1颜色感知和表示R

G

B2.1颜色感知和表示

（青色、品色和黄色，用于打印和印刷）彩色打印机可以通过以适当比例混合具有所选基色的三种颜料来产生不同的彩色。多数打印机采用CMY基色，为了更鲜艳和宽范围的彩色再现，一些彩色打印机在CMY基色中增加了黑色(K)，从而采用4种基色，这就是所谓的CMYK基色，它能更真实地再现黑色。

CMY2.1颜色感知和表示C

M

Y

K2.1颜色感知和表示

（亮度、色调、饱和度）

HIS彩色空间为多媒体计算机彩色图像实时处理和特技提供了有效方法，HIS三个彩色分量分别存放在三个存储器中，在处理彩色图像时相互是独立的，分别提供解释彩色图像非常有用的信息。但是尽管HIS能清楚地分离光的不同属性，HIS的各分量与激励值是非线性关系并且很难计算。HSI2.1颜色感知和表示

（亮度、色度，PAL制式的彩色电视）

在现代彩色电视系统中，通常采用光电管摄像机或电耦合器件（CCD）摄像机，它把摄得的彩色图像信号，经过色棱镜分成R0G0B0三个分量的信号，分别经过放大和γ校正得到RGB，再经过矩阵变换电路得到亮度信号Y、色度信号R-Y、B-Y,最后发送端将Y、R-Y及B-Y三个信号进行编码，用同一信道发送出去，这就是常用的YUV彩色空间。采用YUV彩色空间的好处如下：YUV2.1颜色感知和表示1、亮度信号Y解决了彩色电视机与黑白电视机的兼容问题。2、试验证明，人眼对彩色图像细节的分辨率比对黑白图像要低得多，因此对色度U、V

信号可以采用“大面积着色原理”，即用亮度信号Y传送细节，用色度信号U、V信号进行大面积涂色。因此彩色图像的清晰度由亮度信号的带宽保证，而把色度信号的带宽变窄。2.1颜色感知和表示

（亮度、色度，用于视频传输和压缩）YUVY

U

V2.1颜色感知和表示

（亮度、色度，NTSC制式的彩色电视）

美国、日本等国的彩色电视采用NTSC制式选用了YIQ彩色空间，Y表示亮度信号，I和Q表示色差信号。其中I和Q分量是U和V分量旋转后的结果，这样使I对应橙色到青色范围的颜色，Q对应绿色到紫色的范围。采用YIQ彩色空间的好处是：人眼对绿色到紫色范围内的变化与橙色到青色范围内的变化相比不敏感，即I分量人眼最敏感，Q分量人眼最不敏感。因此，在传送分辨力弱的Q信号时，可用较窄的频带；而传送分辨力较强的I信号时，可用较宽的频带。YIQ2.1颜色感知和表示原图像Y分量图像

I分量图像Q分量图像2.1颜色感知和表示

（数字彩色电视）

ITU-RBT.60l数字视频标准定义了一个YCbCr数字彩色坐标空间，Y、Cb

、Cr分量是模拟Y、U和V分量的伸缩和移位形式。YCbCr2.1颜色感知和表示RGB颜色空间&YUV颜色空间对照

2.1颜色感知和表示2、彩色空间的相互转换

①

RGB与YUV和YIQ之间的转换

彩色摄像机最初得到的是经过γ校正的RGB信号，为了和黑白电视机兼容及压缩编码，因此，在传送过程中要将RGB转换为亮度和色度信号，即YUV或YIQ信号。它们之间的转换关系如下：2.1颜色感知和表示=YIQ0.30.590.110.6-0.28-0.320.21-0.520.31RGB=YUV

0.30.590.11-0.15-0.290.440.61-0.520.31RGB2.1颜色感知和表示②RGB与YCbCr之间的转换数字视频定义的YCbCr数字彩色信号与模拟RGB信号之间的转换关系如下：=YCbCr0.2570.5040.098-0.148-0.2910.4390.439-0.368-0.071RGB16128128+=RGB1.1640.0001.5961.164-0.392-0.8131.1642.0170.000Y-16Cb-128Cr-128第二章数字视频描述2.2视频捕捉和显示视频摄像机视频显示视频捕捉2.2视频捕捉和显示一、视频捕捉采集自然图像时需要光源E(x,y,z,λ)场景中每点有一个反射光函数r(x,y,z,λ)成像设备采样入射光和反射光c(x,y,z,λ)=E(x,y,z,λ)xr(x,y,z,λ)2.2视频捕捉和显示二、视频摄像机

目前所有的模拟摄像机都是一帧一帧地捕捉视频，帧与帧之间有一定的时间间隔，摄像机镜头把场景中的图像聚焦到摄像机的光敏表面，然后由它将光信号转换成电信号。当前摄像机有两类基本类型：1、基于光电管的摄像机，例如光导摄像管、氧化铅摄像管或正析摄像管。2、基于固态传感器的摄像机，例如电荷耦合器件(CCD)。

2.2视频捕捉和显示图2.4专业彩色视频摄像机示意图2.2视频捕捉和显示三、视频显示视频显示最普通的设备是阴极射线管(CRT)。在CRT监视器中，电子枪一行一行地发射电子束以激励屏幕上的荧光粉，其发射电子束的强度正比于在相应位置上视频信号的强度。为了显示彩色图像，三个电子枪发射三个电子束，在每个位置以期望的强度组合激励红色、绿色和蓝色荧光粉。目前流行的显示设备是液晶显示器(LCD)。2.2视频捕捉和显示图2.5彩色显象管产生颜色的原理第二章数字视频描述2.3模拟视频视频光栅特性模拟彩色电视系统

逐行扫描和隔行扫描

模拟视频信号格式2.3模拟视频一、逐行扫描和隔行扫描现在的模拟电视系统使用光栅扫描进行视频摄取和显示，在这种光栅扫描机制中，又包括逐行和隔行扫描。

2.3模拟视频视频扫描中要将每一帧的二维图像变成一维的像素串数据流，或者将一维像素串数据流变换为原图像的过程，在电视技术中称为扫描。

1、逐行扫描按次序对各行进行扫描，即一行紧跟一行的扫描方式称为逐行扫描，电脑显示器一般都采用逐行扫描。每行扫描实际上是稍微倾斜的，且底行比同一帧的顶行大约晚一帧的时间间隔。然而，为了分析的目的，通常假设一帧中所有的行是同时被采样的，并且每行是完全水平的。2.3模拟视频2、隔行扫描

将一帧图像分为两场进行扫描，第一场扫奇数行，第二场扫偶数行，并把扫奇数行的场称为奇数场，扫偶数行的场称为偶数场，这种方式称为隔行扫描，普通电视系统一般均采用隔行扫描。在隔行扫描中，一帧中两个相邻的行在时间上是以场间隔分开的。采用隔行扫描的目的是在给定时间内，给定总行数的条件下，用牺牲垂直分辨率来提高时间分辨率。

2.3模拟视频典型的隔行扫描光栅信号的波形2.3模拟视频典型的光栅信号的频谱2.3模拟视频二、视频光栅特性光栅是用两个基本参数描述的：1、帧率（帧/秒

或

fps或

Hz）——

帧率是指时间方向上的采样率，是决定视频质量的重要参数之一。电视业采用帧率为25～30Hz的隔行扫描，

有效的时间刷新速率是50～60Hz。运动图片业（即电影）采用的帧率是24Hz。在计算机业，72Hz已经成为事实上的标准。2.3模拟视频2、行数（行/帧或行/高）——

行数是指垂直方向上的采样率，它也是影响视频质量的关键因素。在模拟电视中，采用的行数大约为

500～600。计算机显示器则采用更高的行数

(例如SVGA显示器有1024行)。2.3模拟视频3、从这两个参数导出的其它重要参数①行率（行/秒）——＝x②图像幅型比（IAR）

——视频帧的宽对高度的比率标准清晰度TV（SDTV）和计算机的

IAR＝4:3

宽银幕电影IAR＝2.2:1HDTV的IAR＝16:9更高IAR可以产生更具戏剧性的视觉感受。

2.3模拟视频三、模拟彩色电视系统

目前，世界范围内有三个不同的电视系统：

NTSC系统用于北美和包括日本在内的部

分亚洲国家和地区。

PAL系统用于大多数西欧国家和包括中国

以及中东的亚洲国家。

SECAM系统用于前苏联、东欧、法国以及

一些中东国家。2.3模拟视频表2.1三个模拟彩色电视系统的参数2.3模拟视频模拟彩色电视系统：视频产生、传送和接收

2.3模拟视频1、彩色空间三种彩色电视系统都采用隔行扫描来摄取和显示视频图像，但三个电视系统的彩色空间却不同：PAL系统采用YUV彩色空间；NTSC

系统采用

YIQ彩色空间；SECAM

系统采用YDbDr

彩色空间。2.3模拟视频①PAL系统采用YUV彩色空间根据RGB基色与YUV基色之间的关系，能由RGB的值确定亮度分量Y的值，两个色度值U和V分别正比于色差信号B-Y和R-Y。所谓色差信号是指由基色信号和亮度信号之差组成的信号，即（B-Y）和（R-Y）。2.3模拟视频这里，，是归一化的伽马校正后的值，因此（，，）=（1，1，1）。2.3模拟视频②NTSC系统采用YIQ彩色空间③SECAM系统采用YDbDr

彩色空间2.3模拟视频为什么不直接使用RGB?

模拟彩色电视系统并不直接传送三个RGB基色信号，而是将RGB基色信号变换成YC1C2（一个亮度信号和两个色度信号）分量后再进行传输。①RGB各分量之间存在相关性，单独传递会有冗

余，不能有效地利用带宽。②将RGB变换成YC1C2分量后，YC1C2各分量

之间不存在相关性，且亮度信号Y解决了彩色

电视机与黑白电视机的兼容问题，传送C1和

C2分量可用较窄的频带。2.3模拟视频2、亮度、色度和音频的复用为了使彩色电视信号与黑白电视系统兼容，现有的三个模拟电视系统都采用复合视频格式，其中三个彩色分量以及音频分量被复用为一个信号。构成复合信号要求色度信号具有比亮度分量小得多的带宽。2.3模拟视频NTSC系统中复合信号的总频谱组成2.3模拟视频亮度、色度以及音频信号的复用过程：首先，将I和Q两个色度信号应用正交幅度调

制（QAM）组合成一个色度信号；其次，选定颜色副载波频率，将亮度信号和

色度信号复合到一起；最后，音频信号用的音频副载波进行频率调

制(FM),并把它加到复合视频信号中，

形成最终的多路复用信号。2.3模拟视频四、模拟视频信号格式1、分量视频信号对三个彩色分量分别进行存储/传输可采用RGB、YUV、YIQ或YCbCr

彩色分量一般只用于专业的视频设备2、复合视频信号（也称为全电视信号）将RGB转换为YUV或YIQ彩色空间将YUV或YIQ三个彩色分量复用为一个信号用于大多数模拟视频系统（现有模拟电视系统均采用复合视频格式）2.3模拟视频3、分离视频信号（S-video）

对Y和C（正交幅度调制I和Q分量）分量

分别进行存储/传输用于许多高级消费类视频摄像机和显示设备第二章数字视频描述2.4数字视频数字视频标准数字视频文件格式数字视频基础2.4数字视频一、数字视频基础1、数字化方法数字视频可以通过采样光栅扫描（对模拟视频信号的数字化）或直接用数字摄像机获得。所有数字摄像机都使用CCD传感器，数字摄像

机把成像景物采样成离散的帧，每一帧由水

平和垂直都离散化的CCD阵列的输出值组成。通常数字视频系统采用彩色信号的分量表示

方法，对模拟彩色电视图像的数字化常采用

“分量数字化”法，即对彩色空间的每一个

分量进行数字化。2.4数字视频2、数字视频参数数字视频是由帧率，行数和每行的样点数定义的。通常用来表示数字视频，其中x表示列标号，y表示行标号，t表示帧数。由此可得数字视频的码率为

R=xxx单位是比特/秒（bps），或千比特/秒（kbps）或兆比特/秒（Mbps）。其中表示一个像素值的比特数2.4数字视频二、数字视频标准对于不同的产品和应用之间交换数字视频，就需要统一的数字视频格式标准。在TV行业有数字化演播室标准在计算机行业有显示分辨率标准在通信行业有网络协议标准2.4数字视频1、全数字演播室标准

——ITU-601数字视频标准

前国际无线电咨询委员会（CCIR）于1982年2月通过了全数字演播室标准——CCIR-601建议书，即现在的ITU-601标准(ITU：国际电信联盟)，这是用于电视演播室等级的标准。

2.4数字视频①ITU-601信号的空间分辨率

ITU-601数字视频标准指定了幅型比为4:3和16:9的两种数字视频格式。

SDTV的幅型比为4:3

HDTV的幅型比为16:9NTSC、PAL和SECAM系统都采用13.5MHz的采样率对于NTSC

系统，每行的像素数为858，

其视频格式为525/60信号对于PAL/SECAM系统，每行的像素数为864，

其视频格式为625/50信号2.4数字视频

（a）525/60：60field/s（b）625/50：50field/s

NTSC系统PAL/SECAM系统图2.10ITU—601视频格式2.4数字视频②彩色坐标和色度的亚采样

ITU-60l数字视频标准定义了一个YCbCr数字彩色坐标空间。其中Y

是亮度分量，伸缩后范围是（16～235）；

Cb、Cr是色度分量，分别表示色差B-Y和R-Y

伸缩后的形式。=YCbCr0.2570.5040.098-0.148-0.2910.4390.439-0.368-0.071RGB16128128+=RGB1.1640.0001.5961.164-0.392-0.8131.1642.0170.000Y-16Cb-128Cr-1282.4数字视频视频信号的空间采样率通常是指亮度分量Y，对于色度分量Cb和Cr一般采用亚采样方式。ITU-60l定义了四种色度亚采样格式：

Y像素Cb和Cr像素图2.11ITU-601色度亚采样格式注意：在任何一个格式中两个相邻的行属于两个不同的场4：4：4每2x2个Y像素对应4个Cb和4个Cr像素（无亚采样）4：2：2每2x2个Y像素对应2个Cb和2个Cr像素（只水平2：1亚采样）4：1：1每2x2个Y像素对应1个Cb和1个Cr像素（只水平4：1亚采样）4：2：0每2x2个Y像素对应1个Cb和1个Cr像素（水平和垂直都4：1亚采样）2.4数字视频③其它数字视频格式和应用

ITU-601的数据码率是216Mpbs，这个速率对大多数应用太高，所以CCIT专家组建议了一种新的数字视频格式，被称为通用中间格式（CIF）。实际上，在压缩或传输之前，通常将视频信号转换为这一种中间格式。除此之外，还定义有QCIF，SIF，SMPTE等几种数字视频格式。2.4数字视频CIF：通用媒体格式，ITU-T规定的视频格

式。在水平和垂直维上的分辨率都大约是ITU-6014:2:0信号的一半

(352x288)，采用逐行扫描。它是为视频会议应用而开发的。2.4数字视频QCIF：ITU-T规定的视频格式。在水平和垂

直维上的分辨率是CIF的一半(176

x144),采用逐行扫描。主要用于可视电话及类似的应用场

合。2.4数字视频SIF：源媒体格式，ISO-MPEG规定的视频格

式。有效区尺寸是ITU-601信号的四分

之一，大致与CIF相当。这种格式定位在

中等质量的视频应用，如视频游戏和CD

电影之类。采用隔行扫描。SMPTE：也称HDTV格式，SMPTE规定的视频格

式。显著特点是幅型比较宽，为16:9，

在水平和垂直维上都具有两到三倍的图

像分辨率，且采用逐行扫描。2.4数字视频表2.2不同应用的数字视频格式2.4数字视频2、计算机视频显示分辨率的标准VGA：640像素/行×480行TARGA：512像素/行×480行S-VGA：1280像素/行×1024行

1024像素/行×768行图像刷新速率为72帧/秒

2.4数字视频3、通信网络协议的标准表2.3某些网络协议及其比特率范围网络比特率普通电话0.3～56kbps宽带电话基本单元（DS-0）56kbpsISDN（综合业务数字网）64～144kbps（px64）个人计算机局域网30kbpsT-11.5Mbps乙太网10MbpsB-ISDN100～200Mbps2.4数字视频三、数字视频文件格式1、MPEG数字视频文件格式

MPEG不是简单的文件格式，而是一种运动图像压缩算法的国际标准，MPEG标准包括MPEG视频、MPEG音频和MPEG系统(视频、音频同步)三个部分。MP3音频文件就是MPEG音频的一个典型应用，而VideoCD(VCD)、SuperVCD(SVCD)、DVD(DigitalVersatileDisk)则是全面采用MPEG技术所产生出来的数字视频文件格式。MPEG的平均压缩比为50∶1，最高可达200∶1。2.4数字视频①MPEG-1

文件格式的扩展名包括*.mpg、*.mlv、

*.mpe、*.mpeg及VCD光盘中的*.dat文件等。广泛应用在V