第二章___数字视频描述(数字视频基础)

1、 视频捕捉和显示视频捕捉和显示 模拟视频模拟视频 数字视频数字视频 颜色感知和表示颜色感知和表示2.1 2.1 颜色感知和表示颜色感知和表示 视频信号是一个二维图像序列，它是运动的视频信号是一个二维图像序列，它是运动的三维场景在摄像机图像平面上的投影。我们得到三维场景在摄像机图像平面上的投影。我们得到的画面中任一点的颜色是与所观察场景中特定的的画面中任一点的颜色是与所观察场景中特定的三维点处发出或反射的光相关联的。三维点处发出或反射的光相关联的。v 彩色的表示彩色的表示v 光和彩色的属性光和彩色的属性一、光和彩色的属性一、光和彩色的属性1 1、光的基础知识、光的基础知识 光是电磁波的一部分，人

2、眼可以感觉的光其波长光是电磁波的一部分，人眼可以感觉的光其波长在在380380780780纳米（纳米（nmnm）范围内。光的彩色感知决定于）范围内。光的彩色感知决定于其光谱成分其光谱成分( (即它的波长组成即它的波长组成) )。光源类型：光源类型：发射光源发射光源 和和 反射光源反射光源发射光源发射光源是能发射电磁波的光源是能发射电磁波的光源 包括太阳、灯泡、电视监视器等。包括太阳、灯泡、电视监视器等。 对颜色的感知依赖于发射光的频率。对颜色的感知依赖于发射光的频率。 遵循相加规则：几个混和的发射光源的彩色感遵循相加规则：几个混和的发射光源的彩色感知取决于所有光源光谱的总和。知取决于所有光源光

3、谱的总和。 R+G+B=White反射光源反射光源是能反射入射光的光源是能反射入射光的光源 其中包括彩色染料和颜料等。其中包括彩色染料和颜料等。 对颜色的感知依赖于入射光的光谱成分和反射对颜色的感知依赖于入射光的光谱成分和反射光的频率。光的频率。 反射光源遵循相减规则：几种混和的反射光源反射光源遵循相减规则：几种混和的反射光源的彩色感知取决于剩余的、未被吸收的波长。的彩色感知取决于剩余的、未被吸收的波长。 R+G+B=Black 人类的感觉人类的感觉视觉、听觉、嗅觉、味觉和触觉视觉、听觉、嗅觉、味觉和触觉“第六感觉第六感觉” 内部因素：内部因素：人眼人眼人类视觉系统人类视觉系统 外部因素：外部

4、因素：可见光可见光72、HVS(人类视觉系统人类视觉系统)对彩色的感知对彩色的感知 光有两个属性：光有两个属性：亮度亮度 和和 色度色度。亮度亮度：指光的明亮程度，与可见波段的总能：指光的明亮程度，与可见波段的总能 量成正比。量成正比。色度色度：指光的颜色和深浅，依赖于光的波长：指光的颜色和深浅，依赖于光的波长 成分。成分。 色调：色调： 指彩色的颜色指彩色的颜色 色度色度 饱和度：指彩色的纯度饱和度：指彩色的纯度HVS(HVS(人类视觉系统人类视觉系统) ) 人类获取人类获取外界图像、视频外界图像、视频信息的工具。信息的工具。 涉及涉及光学、色度学、视觉生理学、视觉心理学、解剖学、光学、色度

5、学、视觉生理学、视觉心理学、解剖学、神经科学和认知科学神经科学和认知科学等科学领域。等科学领域。 视觉视觉光辐射刺激人眼所引起的复杂的生理和心理变化。光辐射刺激人眼所引起的复杂的生理和心理变化。人类最重要最完美的感知手段。人类最重要最完美的感知手段。9 HVSHVS( (人类视觉系统人类视觉系统) ) 视网膜有两种视网膜有两种类型感光细胞类型感光细胞锥状细胞锥状细胞: :在亮光下起作用，感知颜色的色调。在亮光下起作用，感知颜色的色调。 含有三种类型的锥状细胞。含有三种类型的锥状细胞。杆状细胞杆状细胞: :在暗一些的光强下工作在暗一些的光强下工作，只能感知，只能感知 亮度信息。亮度信息。照相机与

6、人眼睛的比较照相机眼睛透镜角膜快门虹膜，瞳孔底片、CCD视网膜传输电缆视神经巩膜虹膜角膜瞳孔透镜结膜玻璃体脉络膜视神经视网膜中区视网膜 三类锥状细胞其峰值分别位于红色三类锥状细胞其峰值分别位于红色(570nm(570nm附附近近) )、绿色、绿色(535nm(535nm附近附近) )和蓝色和蓝色(445nm(445nm附近附近) )波波长，它们的组合可以使人类感知任何彩色，这长，它们的组合可以使人类感知任何彩色，这就是彩色视觉的三感光细胞原理。就是彩色视觉的三感光细胞原理。 图图2.1 2.1 人眼视网膜中三类锥状细胞的光吸收通带函数人眼视网膜中三类锥状细胞的光吸收通带函数其中人类视网膜中三类

7、锥状细胞的频率响应与亮其中人类视网膜中三类锥状细胞的频率响应与亮度效率函数之间的关系如下图所示。度效率函数之间的关系如下图所示。我们可以看到绿色波长对亮度感觉的贡献最大，我们可以看到绿色波长对亮度感觉的贡献最大，其次是红色波长，而蓝色波长最小。其次是红色波长，而蓝色波长最小。3 3、彩色混合的三基色原理、彩色混合的三基色原理三基色原理三基色原理：任何一种颜色可以通过三基色：任何一种颜色可以通过三基色 按不同比例混合得到。按不同比例混合得到。 照明光源照明光源的基色系包括红色、绿色和蓝色，的基色系包括红色、绿色和蓝色， 称为称为RGBRGB基色。基色。 反射光源反射光源的基色系包括青色、品色和黄

8、色，的基色系包括青色、品色和黄色， 称为称为CMYCMY基色。基色。 RGBRGB和和CMYCMY基色系是互补的，也就是说混基色系是互补的，也就是说混合一个色系中的两种彩色会产生另外一个色合一个色系中的两种彩色会产生另外一个色系中的一种彩色。系中的一种彩色。 RGBRGB基色系基色系 CMYCMY基色系基色系色调表示（色轮）二、彩色的表示二、彩色的表示 1 1、颜色空间模型、颜色空间模型 基于三基色的基于三基色的颜色颜色模型模型v （红色、绿色和蓝色，显示系统）（红色、绿色和蓝色，显示系统）v （青色、品色和黄色，打印机）（青色、品色和黄色，打印机）基于亮度与色度的基于亮度与色度的颜色颜色模型

9、模型v （亮度、色调、饱和度）（亮度、色调、饱和度）v （亮度、色度，亮度、色度，PAL PAL 制式的彩色电视）制式的彩色电视）v （亮度、色度，亮度、色度，NTSCNTSC制式的彩色电视）制式的彩色电视）v （数字彩色电视）（数字彩色电视） （红色、绿色和蓝色，显示系统（红色、绿色和蓝色，显示系统） 显示器中的电子枪可分别产生出红绿蓝显示器中的电子枪可分别产生出红绿蓝三种波长的光，通过适当比例的组合用以激三种波长的光，通过适当比例的组合用以激发显示屏幕上的荧光粉，从而能合成显示所发显示屏幕上的荧光粉，从而能合成显示所需要的任意颜色。需要的任意颜色。 （青色、品色和黄色，（青色、品色和黄色，

10、 用于打印和印刷）用于打印和印刷） 彩色打印机可以通过以适当比例混合具彩色打印机可以通过以适当比例混合具有所选基色的三种颜料来产生不同的彩色。有所选基色的三种颜料来产生不同的彩色。多数打印机采用多数打印机采用CMYCMY基色，为了更鲜艳和宽范基色，为了更鲜艳和宽范围的彩色再现，一些彩色打印机在围的彩色再现，一些彩色打印机在CMYCMY基色中基色中增加了黑色增加了黑色(K)(K)，从而采用，从而采用4 4种基色，这就是种基色，这就是所谓的所谓的CMYKCMYK基色，它能更真实地再现黑色。基色，它能更真实地再现黑色。 （亮度、色调、饱和度）（亮度、色调、饱和度） HISHIS彩色空间为多媒体计算机

11、彩色图像实彩色空间为多媒体计算机彩色图像实时处理和特技提供了有效方法，时处理和特技提供了有效方法，HISHIS三个彩色三个彩色分量分别存放在三个存储器中，在处理彩色分量分别存放在三个存储器中，在处理彩色图像时相互是独立的，分别提供解释彩色图图像时相互是独立的，分别提供解释彩色图像非常有用的信息。但是尽管像非常有用的信息。但是尽管HISHIS能清楚地分能清楚地分离光的不同属性，离光的不同属性，HISHIS的各分量与激励值是非的各分量与激励值是非线性关系并且很难计算。线性关系并且很难计算。 （亮度、色度，（亮度、色度，PAL PAL 制式的彩色电视）制式的彩色电视） 在现代彩色电视系统中，通常采用

12、光电在现代彩色电视系统中，通常采用光电管摄像机或电耦合器件（管摄像机或电耦合器件（CCDCCD）摄像机，它把）摄像机，它把摄得的彩色图像信号，经过色棱镜分成摄得的彩色图像信号，经过色棱镜分成R R0 0G G0 0B B0 0三个分量的信号，分别经过放大和三个分量的信号，分别经过放大和校正得校正得到到RGBRGB，再经过矩阵变换电路得到亮度信号，再经过矩阵变换电路得到亮度信号Y Y、色度信号色度信号R-YR-Y、B-Y,B-Y,最后发送端将最后发送端将Y Y、R-YR-Y及及 B-YB-Y三个信号进行编码，用同一信道发送出去，三个信号进行编码，用同一信道发送出去，这就是常用的这就是常用的YUV

13、YUV彩色空间。采用彩色空间。采用YUVYUV彩色空彩色空间的好处如下：间的好处如下：1 1、亮度信号、亮度信号Y Y 解决了彩色电视机与黑白电视解决了彩色电视机与黑白电视 机的兼容问题。机的兼容问题。2 2、试验证明，人眼对彩色图像细节的分辨率、试验证明，人眼对彩色图像细节的分辨率 比对黑白图像要低得多，因此对色度比对黑白图像要低得多，因此对色度U U、V V 信号可以采用信号可以采用“大面积着色原理大面积着色原理”，即用，即用亮亮 度信号度信号Y Y传送细节，用色度信号传送细节，用色度信号U U、V V信号信号 进行大面积涂色。因此彩色图像的清晰度进行大面积涂色。因此彩色图像的清晰度 由亮

14、度信号的带宽保证，而把色度信号的由亮度信号的带宽保证，而把色度信号的 带宽变窄。带宽变窄。 （亮度、色度，用于视频传输和压缩）（亮度、色度，用于视频传输和压缩） （亮度、色度，（亮度、色度，NTSCNTSC制式的彩色电视）制式的彩色电视） 美国、日本等国的彩色电视采用美国、日本等国的彩色电视采用NTSCNTSC制式选制式选用了用了YIQYIQ彩色空间，彩色空间，Y Y表示亮度信号，表示亮度信号，I I和和Q Q表示色表示色差信号。差信号。其中其中I I和和Q Q分量是分量是U U和和V V分量旋转分量旋转 后的后的结果，这样使结果，这样使I I对应橙色到青色范围的颜色，对应橙色到青色范围的颜色

15、，Q Q对对应绿色到紫色的范围。应绿色到紫色的范围。采用采用YIQYIQ彩色空间的好处彩色空间的好处是：人眼对是：人眼对绿色到紫色范围内的变化与橙色到青绿色到紫色范围内的变化与橙色到青色范围内的变化相比色范围内的变化相比不敏感，即不敏感，即I I分量人眼最敏分量人眼最敏感，感，Q Q分量人眼最不敏感。因此，在传送分辨力分量人眼最不敏感。因此，在传送分辨力弱的弱的Q Q信号时，可用较窄的频带；而传送分辨力信号时，可用较窄的频带；而传送分辨力较强的较强的I I信号时，可用较宽的频带。信号时，可用较宽的频带。o33 原图像原图像 Y Y 分量图像分量图像 I 分量图像分量图像 Q 分量图像分量图像

16、（数字彩色电视）（数字彩色电视） ITU-R BT.60lITU-R BT.60l数字视频标准定义了一个数字视频标准定义了一个YCbCrYCbCr数字彩色坐标空间，数字彩色坐标空间，Y Y、Cb Cb 、Cr Cr 分量分量是模拟是模拟 Y Y、U U 和和 V V 分量的伸缩和移位形式。分量的伸缩和移位形式。 2 2、彩色空间的相互转换、彩色空间的相互转换 RGB RGB与与YUVYUV和和YIQYIQ之间的转换之间的转换 彩色摄像机最初得到的是经过彩色摄像机最初得到的是经过校正的校正的RGBRGB信号，为了和黑白电视机兼容及压缩编码，信号，为了和黑白电视机兼容及压缩编码，因此，在传送过程中

17、要将因此，在传送过程中要将RGBRGB转换为亮度和色转换为亮度和色度信号，即度信号，即YUVYUV或或YIQYIQ信号。它们之间的转换信号。它们之间的转换关系如下：关系如下：=YIQ0.3 0.59 0.110.6 -0.28 -0.320.21 -0.52 0.31RGB=YUV 0.3 0.59 0.11-0.15 -0.29 0.44 0.61 -0.52 0.31RGB RGB RGB与与YCbCrYCbCr之间的转换之间的转换 数字视频定义的数字视频定义的YCbCrYCbCr数字彩色信号与模拟数字彩色信号与模拟RGBRGB信号之间的转换关系如下信号之间的转换关系如下：=YCbCr0.

18、257 0.504 0.098-0.148 -0.291 0.4390.439 -0.368 -0.071RGB16128128+=RGB1.164 0.000 1.5961.164 -0.392 -0.8131.164 2.017 0.000Y - 16Cb -128Cr -1282.2 2.2 视频捕捉和显示视频捕捉和显示 视频摄像机视频摄像机 视频显示视频显示 视频捕捉视频捕捉一、视频捕捉一、视频捕捉采集自然图像时需要光源采集自然图像时需要光源 E(x,y,z,)E(x,y,z,)场景中每点有一个反射光函数场景中每点有一个反射光函数 r(x,y,z,)r(x,y,z,)成像设备采样入射光

19、和反射光成像设备采样入射光和反射光c(x,y,z,) = E(x,y,z,) x r(x,y,z,)c(x,y,z,) = E(x,y,z,) x r(x,y,z,)二、视频摄像机二、视频摄像机 目前所有的模拟摄像机都是一帧一帧地目前所有的模拟摄像机都是一帧一帧地捕捉视频，帧与帧之间有一定的时间间隔，捕捉视频，帧与帧之间有一定的时间间隔，摄像机镜头把场景中的图像聚焦到摄像机的摄像机镜头把场景中的图像聚焦到摄像机的光敏表面，然后由它将光信号转换成电信号。光敏表面，然后由它将光信号转换成电信号。当前摄像机有两类基本类型：当前摄像机有两类基本类型： 1 1、基于光电管的摄像机，例如光导摄像管、基于光

20、电管的摄像机，例如光导摄像管、 氧化铅摄像管或正析摄像管。氧化铅摄像管或正析摄像管。2 2、基于固态传感器的摄像机，例如电荷耦合、基于固态传感器的摄像机，例如电荷耦合 器件器件(CCD)(CCD)。 图图2.4 2.4 专业彩色视频摄像机示意图专业彩色视频摄像机示意图三、视频显示三、视频显示 视频显示最普通的设备是阴极射线管视频显示最普通的设备是阴极射线管(CRT)(CRT)。在。在CRTCRT监视器中，电子枪一行一行地监视器中，电子枪一行一行地发射电子束以激励屏幕上的荧光粉，其发射发射电子束以激励屏幕上的荧光粉，其发射电子束的强度正比于在相应位置上视频信号电子束的强度正比于在相应位置上视频信

21、号的强度。为了显示彩色图像，三个电子枪发的强度。为了显示彩色图像，三个电子枪发射三个电子束，在每个位置以期望的强度组射三个电子束，在每个位置以期望的强度组合激励红色、绿色和蓝色荧光粉。合激励红色、绿色和蓝色荧光粉。 目前流行的显示设备是液晶显示器目前流行的显示设备是液晶显示器( (LCD) )。图图2.5 2.5 彩色显象管产生颜色的原理彩色显象管产生颜色的原理2.3 2.3 模拟视频模拟视频 视频光栅视频光栅特性特性 模拟彩色电视系统模拟彩色电视系统 逐行扫描和隔行扫描逐行扫描和隔行扫描 模拟视频信号格式模拟视频信号格式 一、逐行扫描和隔行扫描一、逐行扫描和隔行扫描 现在的模拟电视系统使用光

22、栅扫描进行现在的模拟电视系统使用光栅扫描进行视频摄取和显示，在这种光栅扫描机制中，视频摄取和显示，在这种光栅扫描机制中，又包括逐行和隔行扫描。又包括逐行和隔行扫描。 视频扫描中要将每一帧的二维图像变成视频扫描中要将每一帧的二维图像变成一维的像素串数据流，或者将一维像素串数一维的像素串数据流，或者将一维像素串数据流变换为原图像的过程，在电视技术中称据流变换为原图像的过程，在电视技术中称为扫描。为扫描。 1 1、逐行扫描、逐行扫描 按次序对各行进行扫描，即一行紧跟一行的按次序对各行进行扫描，即一行紧跟一行的扫描方式称为逐行扫描，电脑显示器一般都采用扫描方式称为逐行扫描，电脑显示器一般都采用逐行扫描

23、。每行扫描实际上是稍微倾斜的，且底逐行扫描。每行扫描实际上是稍微倾斜的，且底行比同一帧的顶行大约晚一帧的时间间隔。然而，行比同一帧的顶行大约晚一帧的时间间隔。然而，为了分析的目的，通常假设一帧中所有的行是同为了分析的目的，通常假设一帧中所有的行是同时被采样的，并且每行是完全水平的。时被采样的，并且每行是完全水平的。2 2、隔行扫描、隔行扫描 将一帧图像分为两场进行扫描，第一场将一帧图像分为两场进行扫描，第一场扫奇数行，第二场扫偶数行，并把扫奇数行扫奇数行，第二场扫偶数行，并把扫奇数行的场称为奇数场，扫偶数行的场称为偶数场，的场称为奇数场，扫偶数行的场称为偶数场，这种方式称为隔行扫描，普通电视系

24、统一般这种方式称为隔行扫描，普通电视系统一般均采用隔行扫描。均采用隔行扫描。 在隔行扫描中，一帧中两个相邻的行在在隔行扫描中，一帧中两个相邻的行在时间上是以场间隔分开的。采用隔行扫描的时间上是以场间隔分开的。采用隔行扫描的目的是在给定时间内，给定总行数的条件下，目的是在给定时间内，给定总行数的条件下，用牺牲垂直分辨率来提高时间分辨率。用牺牲垂直分辨率来提高时间分辨率。 典型的隔行扫描光栅信号的波形典型的隔行扫描光栅信号的波形典型的光栅信号的频谱典型的光栅信号的频谱二、视频光栅特性二、视频光栅特性光栅是用两个基本参数描述的：光栅是用两个基本参数描述的：1 1、帧率（帧、帧率（帧/ /秒秒 或或

25、fps fps 或或 HzHz） 帧率是指时间方向上的采样率，是决定帧率是指时间方向上的采样率，是决定视频质量的重要参数之一。视频质量的重要参数之一。 电视业采用帧率为电视业采用帧率为252530Hz30Hz的隔行扫描，的隔行扫描， 有效的时间刷新速率是有效的时间刷新速率是505060 Hz60 Hz。 运动图片业（即电影）采用的帧率是运动图片业（即电影）采用的帧率是24 Hz24 Hz。 在计算机业，在计算机业，72 Hz72 Hz已经成为事实上的标准。已经成为事实上的标准。, s tf2 2、行数（行、行数（行/ /帧帧 或或 行行/ /高）高） 行数是指垂直方向上的采样率，它也是行数是指

26、垂直方向上的采样率，它也是影响视频质量的关键因素。影响视频质量的关键因素。 在 模 拟 电 视 中 ， 采 用 的 行 数 大 约 为在 模 拟 电 视 中 ， 采 用 的 行 数 大 约 为 500500600600。 计 算 机 显 示 器 则 采 用 更 高 的 行 数计 算 机 显 示 器 则 采 用 更 高 的 行 数 ( (例如例如SVGASVGA显示器有显示器有10241024行行) )。, s yf3 3、从这两个参数导出的其它重要参数、从这两个参数导出的其它重要参数 行率（行行率（行/ /秒）秒） x x 图像幅型比（图像幅型比（IARIAR） 视频帧的宽对高度的比率视频帧的

27、宽对高度的比率 标准清晰度标准清晰度TVTV（SDTVSDTV）和计算机的）和计算机的 IAR IAR 4:34:3 宽银幕电影宽银幕电影IAR IAR 2.2 : 12.2 : 1 HDTV HDTV的的IAR IAR 16 : 916 : 9更高更高IARIAR可以产生更具戏剧性的视觉感受。可以产生更具戏剧性的视觉感受。 lf, s tf, s yf三、模拟彩色电视系统三、模拟彩色电视系统目前，世界范围内有三个不同的电视系统：目前，世界范围内有三个不同的电视系统：l NTSCNTSC系统系统用于北美和包括日本在内的部用于北美和包括日本在内的部 分亚洲国家和地区。分亚洲国家和地区。l PAL

28、PAL系统系统用于大多数西欧国家和包括中国用于大多数西欧国家和包括中国 以及中东的亚洲国家。以及中东的亚洲国家。l SECAMSECAM系统系统用于前苏联、东欧、法国以及用于前苏联、东欧、法国以及 一些中东国家。一些中东国家。表表2.1 2.1 三个模拟彩色电视系统的参数三个模拟彩色电视系统的参数 模拟彩色电视系统：视频产生、传送和接收模拟彩色电视系统：视频产生、传送和接收 1 1、彩色空间、彩色空间 三种彩色电视系统都采用隔行扫描来摄三种彩色电视系统都采用隔行扫描来摄取和显示视频图像，但三个电视系统的彩色取和显示视频图像，但三个电视系统的彩色空间却不同：空间却不同：PAL PAL 系统采用系

29、统采用 YUV YUV 彩色空间；彩色空间；NTSCNTSC 系统采用系统采用 YIQ YIQ 彩色空间；彩色空间；SECAMSECAM 系统采用系统采用 YDbDr YDbDr 彩色空间。彩色空间。 PAL PAL系统采用系统采用 YUV YUV 彩色空间彩色空间 根据根据 RGB RGB 基色与基色与 YUV YUV 基色之间的关系，基色之间的关系，能由能由 RGB RGB 的值确定亮度分量的值确定亮度分量 Y Y 的值，两个的值，两个色度值色度值 U U 和和 V V 分别正比于色差信号分别正比于色差信号 B-Y B-Y 和和 R-Y R-Y 。所谓色差信号是指由基色信号和亮度信号之所谓

30、色差信号是指由基色信号和亮度信号之差组成的信号，即（差组成的信号，即（B-YB-Y）和（）和（R-YR-Y）。）。这里这里 ， ， 是归一化的伽马校正后的是归一化的伽马校正后的值，因此（值，因此（ ， ， ）= =（1 1，1 1，1 1）。）。BGRVUY100.0515.0615.0436.0289.0147.0114.0587.0299.0VUYBGR001.0032.2000.1581.0395.0000.1140.1000.0000.1RGBRGB NTSC NTSC系统采用系统采用 YIQ YIQ 彩色空间彩色空间 SECAM SECAM系统采用系统采用 YDbDr YDbDr 彩

31、色空间彩色空间BGRQIY311.0523.0212.0321.0275.0596.0114.0587.0299.0QIYBGR700.1108.1000.1647.0272.0000.1620.0956.0000.1VDUDrb169.2,059.3为什么不直接使用为什么不直接使用 RGB ?RGB ? 模拟彩色电视系统并不直接传送三个模拟彩色电视系统并不直接传送三个RGBRGB基色基色信号，而是将信号，而是将RGBRGB基色信号变换成基色信号变换成 YC1C2YC1C2（一个（一个亮度信号和两个色度信号）分量后再进行传输。亮度信号和两个色度信号）分量后再进行传输。 RGB RGB各分量之间

32、存在相关性，单独传递会有冗各分量之间存在相关性，单独传递会有冗 余，不能有效地利用带宽。余，不能有效地利用带宽。 将将RGB RGB 变换成变换成 YC1C2 YC1C2 分量后，分量后，YC1C2YC1C2各分量各分量 之间不存在相关性，且亮度信号之间不存在相关性，且亮度信号Y Y解决了彩色解决了彩色 电视机与黑白电视机的兼容问题，传送电视机与黑白电视机的兼容问题，传送C1C1和和 C2C2分量可用较窄的频带。分量可用较窄的频带。2 2、亮度、色度和音频的复用、亮度、色度和音频的复用 为了使彩色电视信号与黑白电视系统兼为了使彩色电视信号与黑白电视系统兼容，现有的三个模拟电视系统都采用复合视容

33、，现有的三个模拟电视系统都采用复合视频格式，其中三个彩色分量以及音频分量被频格式，其中三个彩色分量以及音频分量被复用为一个信号。构成复合信号要求色度信复用为一个信号。构成复合信号要求色度信号具有比亮度分量小得多的带宽。号具有比亮度分量小得多的带宽。NTSCNTSC系统中复合信号的总频谱组成系统中复合信号的总频谱组成亮度、色度以及音频信号的复用过程：亮度、色度以及音频信号的复用过程：首先，将首先，将I I和和Q Q两个色度信号应用正交幅度调两个色度信号应用正交幅度调 制（制（QAMQAM）组合成一个色度信号；）组合成一个色度信号；其次，选定颜色副载波频率，将亮度信号和其次，选定颜色副载波频率，将

34、亮度信号和 色度信号复合到一起；色度信号复合到一起；最后，音频信号用的音频副载波进行频率调最后，音频信号用的音频副载波进行频率调 制制(FM),(FM),并把它加到复合视频信号中，并把它加到复合视频信号中， 形成最终的多路复用信号。形成最终的多路复用信号。四、模拟视频信号格式四、模拟视频信号格式 1 1、分量视频信号分量视频信号 对三个彩色分量分别进行存储对三个彩色分量分别进行存储/ /传输传输 可采用可采用 RGBRGB、YUVYUV、YIQ YIQ 或或 YCbCr YCbCr 彩色分量彩色分量 一般只用于专业的视频设备一般只用于专业的视频设备2 2、复合视频信号复合视频信号（也称为全电视

35、信号）（也称为全电视信号） 将将 RGB RGB 转换为转换为 YUV YUV 或或 YIQ YIQ 彩色空间彩色空间 将将 YUV YUV 或或 YIQ YIQ 三个彩色分量复用为一个信号三个彩色分量复用为一个信号 用于大多数模拟视频系统用于大多数模拟视频系统 （现有模拟电视系统均采用（现有模拟电视系统均采用复合视频复合视频格式）格式）3 3、分离视频信号分离视频信号 （ S-video S-video ） 对对 Y Y 和和 C C（正交幅度调制（正交幅度调制 I I 和和 Q Q分量）分量分量）分量 分别进行存储分别进行存储/ /传输传输 用于许多高级消费类视频摄像机和显示设备用于许多高

36、级消费类视频摄像机和显示设备2.4 2.4 数字视频数字视频 数字视频标准数字视频标准 数字视频文件格式数字视频文件格式 数字视频基础数字视频基础一、数字视频基础一、数字视频基础1 1、数字化方法、数字化方法 数字视频可以通过采样光栅扫描（对模拟视数字视频可以通过采样光栅扫描（对模拟视频信号的数字化）或直接用数字摄像机获得。频信号的数字化）或直接用数字摄像机获得。 所有数字摄像机都使用所有数字摄像机都使用CCDCCD传感器，数字摄像传感器，数字摄像 机把成像景物采样成离散的帧，每一帧由水机把成像景物采样成离散的帧，每一帧由水 平和垂直都离散化的平和垂直都离散化的CCDCCD阵列的输出值组成。阵

37、列的输出值组成。 通常数字视频系统采用彩色信号的分量表示通常数字视频系统采用彩色信号的分量表示 方法，对模拟彩色电视图像的数字化常采用方法，对模拟彩色电视图像的数字化常采用 “ “分量数字化分量数字化”法，即对彩色空间的每一个法，即对彩色空间的每一个 分量进行数字化。分量进行数字化。2 2、数字视频参数、数字视频参数 数字视频是由帧率数字视频是由帧率 ，行数，行数 和每和每行的样点数行的样点数 定义的。通常用定义的。通常用 来来 表示数字视频，其中表示数字视频，其中 x x 表示列标号，表示列标号，y y表示行表示行标号，标号，t t表示帧数。由此可得数字视频的码率为表示帧数。由此可得数字视频

38、的码率为 R = x x x R = x x x 单位是比特单位是比特/ /秒（秒（bpsbps），或千比特），或千比特/ /秒（秒（kbpskbps）或或 兆比特兆比特/ /秒（秒（MbpsMbps）。）。其中其中 表示一个像素值的比特数表示一个像素值的比特数 xsf,tsf,ysf,),(tyxfbNbNbNbNtsf,xsf,ysf,bNbN二、数字视频标准二、数字视频标准 对于不同的产品和应用之间交换数字视对于不同的产品和应用之间交换数字视频，就需要统一的数字视频格式标准。频，就需要统一的数字视频格式标准。 在在TVTV行业有数字化演播室标准行业有数字化演播室标准 在计算机行业有显示分

39、辨率标准在计算机行业有显示分辨率标准 在通信行业有网络协议标准在通信行业有网络协议标准1 1、全数字演播室标准、全数字演播室标准 ITU-601 ITU-601数字视频标准数字视频标准 前国际无线电咨询委员会（前国际无线电咨询委员会（CCIRCCIR）于）于19821982年年2 2月通过了全数字演播室标准月通过了全数字演播室标准 CCIR-601CCIR-601建议书，即现在的建议书，即现在的ITU-601ITU-601标准标准(ITU(ITU：国际电信联盟：国际电信联盟) )，这是用于电视演播，这是用于电视演播室等级的标准。室等级的标准。 ITU-601 ITU-601信号的空间分辨率信号

40、的空间分辨率 ITU-601ITU-601数字视频标准指定了幅型比为数字视频标准指定了幅型比为4:34:3和和16:916:9的两种数字视频格式。的两种数字视频格式。 SDTV SDTV 的幅型比为的幅型比为4:34:3 HDTV HDTV 的幅型比为的幅型比为16:916:9NTSCNTSC、PALPAL和和SECAMSECAM系统都采用系统都采用13.5MHz13.5MHz的采样率的采样率 对于对于 NTSCNTSC 系统，每行的像素数为系统，每行的像素数为 858858， 其视频格式为其视频格式为 525/60525/60信号信号 对于对于 PAL/SECAMPAL/SECAM系统，每行

41、的像素数为系统，每行的像素数为 864864， 其视频格式为其视频格式为 625/50625/50信号信号 （a a） 525/60525/60：60 field/s 60 field/s （b b） 625/50625/50：50 field/s50 field/s NTSC NTSC 系统系统 PAL / SECAM PAL / SECAM 系统系统图图2.10 ITU6012.10 ITU601视频格式视频格式 彩色坐标和色度的亚采样彩色坐标和色度的亚采样 ITU-60lITU-60l数字视频标准定义了一个数字视频标准定义了一个YCbCrYCbCr数字数字彩色坐标空间。彩色坐标空间。其中

42、其中 Y Y 是亮度分量，伸缩后范围是（是亮度分量，伸缩后范围是（1616235235）；）； CbCb、CrCr是色度分量，分别表示色差是色度分量，分别表示色差B-YB-Y和和R-YR-Y 伸缩后的形式。伸缩后的形式。=YCbCr0.257 0.504 0.098-0.148 -0.291 0.4390.439 -0.368 -0.071RGB16128128+=RGB1.164 0.000 1.5961.164 -0.392 -0.8131.164 2.017 0.000Y - 16Cb -128Cr -128 视频信号的空间采样率通常是指亮度分量视频信号的空间采样率通常是指亮度分量Y Y

43、，对于色度分量对于色度分量CbCb和和CrCr一般采用亚采样方式。一般采用亚采样方式。 ITU-60lITU-60l定义了四种色度亚采样格式：定义了四种色度亚采样格式： Y Y像素像素 CbCb和和CrCr像素像素图图2.11 ITU-6012.11 ITU-601色度亚采样格式色度亚采样格式注意：在任何一个格式中两个相邻的行属于两个不同的场注意：在任何一个格式中两个相邻的行属于两个不同的场4 4：4 4：4 4每每2x22x2个个Y Y像素对应像素对应4 4个个CbCb和和4 4个个CrCr像素像素（无亚采样）（无亚采样）4 4：2 2：2 2每每2x22x2个个Y Y像素对应像素对应2 2

44、个个CbCb和和2 2个个CrCr像素像素（只水平（只水平2 2：1 1亚采样）亚采样）4 4：1 1：1 1每每2x22x2个个Y Y像素对应像素对应1 1个个CbCb和和1 1个个CrCr像素像素（只水平（只水平4 4：1 1亚采样）亚采样）4 4：2 2：0 0每每2x22x2个个Y Y像素对应像素对应1 1个个CbCb和和1 1个个CrCr像素像素（水平和垂直都（水平和垂直都4 4：1 1亚采样）亚采样） 其它数字视频格式和应用其它数字视频格式和应用 ITU-601ITU-601的数据码率是的数据码率是216 Mpbs216 Mpbs，这个速，这个速率对大多数应用太高，所以率对大多数应

45、用太高，所以CCITCCIT专家组建议专家组建议了一种新的数字视频格式，被称为通用中间了一种新的数字视频格式，被称为通用中间格式（格式（CIFCIF）。实际上，在压缩或传输之前，）。实际上，在压缩或传输之前，通常将视频信号转换为这一种中间格式。除通常将视频信号转换为这一种中间格式。除此之外，还定义有此之外，还定义有QCIFQCIF，SIFSIF，SMPTESMPTE等几种等几种数字视频格式。数字视频格式。CIFCIF： 通用媒体格式，通用媒体格式，ITU-TITU-T规定的视频格规定的视频格 式。在水平和垂直维上的分辨率都式。在水平和垂直维上的分辨率都大约是大约是 ITU-601 4:2:0I

46、TU-601 4:2:0信号的一半信号的一半 (352 x288)(352 x288)，采用逐行扫描。，采用逐行扫描。 它是为视频会议应用而开发的。它是为视频会议应用而开发的。QCIFQCIF：ITU-TITU-T规定的视频格式。在水平和垂规定的视频格式。在水平和垂 直维上的分辨率是直维上的分辨率是CIFCIF的一半的一半(176 (176 x 144),x 144),采用逐行扫描。采用逐行扫描。 主要用于可视电话及类似的应用场主要用于可视电话及类似的应用场 合。合。SIFSIF：源媒体格式，：源媒体格式，ISO-MPEGISO-MPEG规定的视频格规定的视频格 式。有效区尺寸是式。有效区尺寸

47、是ITU-601ITU-601信号的四分信号的四分 之一，大致与之一，大致与CIFCIF相当。这种格式定位在相当。这种格式定位在 中等质量的视频应用，如视频游戏和中等质量的视频应用，如视频游戏和CDCD 电影之类。采用隔行扫描。电影之类。采用隔行扫描。SMPTESMPTE：也称：也称HDTVHDTV格式，格式，SMPTESMPTE规定的视频格规定的视频格 式。显著特点是幅型比较宽，为式。显著特点是幅型比较宽，为16:916:9， 在水平和垂直维上都具有两到三倍的图在水平和垂直维上都具有两到三倍的图 像分辨率，且采用逐行扫描。像分辨率，且采用逐行扫描。表表2.2 2.2 不同应用的数字视频格式不

48、同应用的数字视频格式2 2、计算机视频显示分辨率的标准、计算机视频显示分辨率的标准 VGAVGA： 640640像素像素/ /行行480480行行 TARGATARGA： 512512像素像素/ /行行480480行行 S-VGAS-VGA： 12801280像素像素/ /行行10241024行行 10241024像素像素/ /行行768768行行 图像刷新速率为图像刷新速率为7272帧帧/ /秒秒 3 3、通信网络协议的标准、通信网络协议的标准 表表2.3 2.3 某些网络协议及其比特率范围某些网络协议及其比特率范围网络网络比特率比特率普通电话普通电话0.30.356kbps56kbps宽带

49、电话基本单元（宽带电话基本单元（DS-0DS-0） 56kbps56kbpsISDNISDN（综合业务数字网）（综合业务数字网）6464144kbps144kbps（p x 64p x 64）个人计算机局域网个人计算机局域网30kbps30kbpsT-1T-11.5Mbps1.5Mbps乙太网乙太网10Mbps10MbpsB-ISDNB-ISDN100100200Mbps200Mbps三、数字视频文件格式三、数字视频文件格式1 1、MPEGMPEG数字视频文件格式数字视频文件格式 MPEGMPEG不是简单的文件格式，而是一种运动图不是简单的文件格式，而是一种运动图像压缩算法的国际标准，像压缩算

50、法的国际标准，MPEGMPEG标准包括标准包括MPEGMPEG视频、视频、MPEGMPEG音频和音频和MPEGMPEG系统系统( (视频、音频同步视频、音频同步) )三个部分。三个部分。MP3MP3音频文件就是音频文件就是MPEGMPEG音频的一个典型应用，而音频的一个典型应用，而Video CD (VCD)Video CD (VCD)、Super VCD (SVCD)Super VCD (SVCD)、DVD DVD (Digital Versatile Disk)(Digital Versatile Disk)则是全面采用则是全面采用MPEGMPEG技技术所产生出来的数字视频文件格式。术所产

51、生出来的数字视频文件格式。MPEGMPEG的平均的平均压缩比为压缩比为501501，最高可达，最高可达20012001。 MPEG-1 MPEG-1 文件格式的扩展名包括文件格式的扩展名包括* *.mpg.mpg、* *.mlv.mlv、 * *.mpe.mpe、* *.mpeg.mpeg及及VCDVCD光盘中的光盘中的* *.dat.dat文件等。文件等。 广泛应用在广泛应用在 VCD VCD 的制作，也被用于数字电话的制作，也被用于数字电话 网络上的视频传输。网络上的视频传输。 MPEG-2 MPEG-2 视频文件格式的扩展名包括视频文件格式的扩展名包括 * *.mpg.mpg、* *.mpe.mpe、 * *.mpeg.mpeg、* *.m2v.m2v及及DVDDVD光盘上的光盘上的* *.vob.vob文件等。文件等。 广泛应用在广泛应用在 DVD DVD 制作方面，除此之外还用于制作方面，除此之外还用于 为广播、有线电视网、电缆网络以及卫星直播为广播、有线电视网、电缆网络以及卫星直播 提供广播级的数字视频。提供广播级的数字视频。 MPEG-4 MPEG-4 视频文件格式的扩展名包括视频文件格式的扩展名包括* *.asf.asf、* *.mov.mov、