ch3-视频信息的获取与处理

1、多媒体技术基础多媒体技术基础蔡宇辉蔡宇辉湖南大学软件学院湖南大学软件学院rj_2第三章第三章 视频信息的获取与处理视频信息的获取与处理3第三章的内容第三章的内容视觉媒体：图像与视频视觉媒体：图像与视频彩色空间表示及其转换：彩色空间表示及其转换：颜色的本质、特颜色的本质、特性，彩色空间及其转换性，彩色空间及其转换视频：模拟视频视频：模拟视频/电视信号、数字视频、视电视信号、数字视频、视频的数字化频的数字化视频的编码标准视频的编码标准视频卡视频卡图像文件格式图像文件格式常用软件常用软件4第一节第一节 视觉媒体视觉媒体 人类获取的信息中来自听觉的只有人类获取的信息中来自听觉的只有10%左右，但至少有

2、左右，但至少有70%来自视觉。来自视觉。 利用视觉传递信息的媒体利用视觉传递信息的媒体称为称为视觉媒体视觉媒体，如文字和，如文字和符号、位图、矢量图形、符号、位图、矢量图形、视频、动画等。视频、动画等。 本章主要介绍位图和视频。本章主要介绍位图和视频。51.1 位图位图 位图是由位图是由nm个像素点排列成的图片，个像素点排列成的图片，也称点阵图像或光栅图像。也称点阵图像或光栅图像。 一幅位图就像是一个矩阵，矩阵中的每一幅位图就像是一个矩阵，矩阵中的每一个元素对应图片中的一个点，相应的一个元素对应图片中的一个点，相应的值表示该点的灰度或颜色等级。值表示该点的灰度或颜色等级。 像素是赋予颜色和亮度

3、的最小单位。像素是赋予颜色和亮度的最小单位。 位图适用于逼真照片或要求精细细节的位图适用于逼真照片或要求精细细节的图片。图片。6一幅位图图像由许多像素组成一幅位图图像由许多像素组成 7分辨率分辨率 有两个分辨率的概念，需要区分：有两个分辨率的概念，需要区分： 显示分辨率（设备分辨率）：屏幕在横纵两显示分辨率（设备分辨率）：屏幕在横纵两个方向上能够显示的像素数，如个方向上能够显示的像素数，如800600。 图像分辨率：一幅图像在横纵两个方向上的图像分辨率：一幅图像在横纵两个方向上的像素数，是像素密度的度量方法。像素数，是像素密度的度量方法。 对同样尺寸的一幅图，如果图像的分辨对同样尺寸的一幅图，

4、如果图像的分辨率越高，则说明组成该图的像素数目越率越高，则说明组成该图的像素数目越多，看起来就越逼真。多，看起来就越逼真。8像素深度像素深度 位图矩阵中，每个元素的值就是对应像位图矩阵中，每个元素的值就是对应像素点的颜色素点的颜色/灰度值。灰度值。 每个像素点所用的存储位数就称为每个像素点所用的存储位数就称为像素像素深度深度。 像素深度决定了灰度图像中每个像素可像素深度决定了灰度图像中每个像素可能有的灰度级数，或者彩色图像中每个能有的灰度级数，或者彩色图像中每个像素可能有的颜色数。像素可能有的颜色数。9像素深度和颜色数目像素深度和颜色数目 10单色图单色图 如果位图的像素深如果位图的像素深度只

5、有度只有1位，则该位，则该位图内的像素只能位图内的像素只能用用0或或1表示，即要表示，即要么绘制，要么不绘么绘制，要么不绘制，这类位图就是制，这类位图就是单色图。单色图。 通常的单色图表现通常的单色图表现出来只有黑、白两出来只有黑、白两色，也称黑白图。色，也称黑白图。单色图单色图11灰度图灰度图 在黑白两种颜色的基础在黑白两种颜色的基础上添加亮度信息，形成上添加亮度信息，形成具有黑白灰的灰度图。具有黑白灰的灰度图。 灰色有深浅之分，最深灰色有深浅之分，最深为黑，最浅为白，其数为黑，最浅为白，其数目就是灰度等级。目就是灰度等级。 如如8位灰度图，灰度级位灰度图，灰度级数为数为256。灰度图灰度图

6、 12彩色图彩色图 使用不同灰度的红使用不同灰度的红绿蓝三色，可以调绿蓝三色，可以调配出各种颜色。配出各种颜色。 如如24位彩色图，用位彩色图，用8位表示红，位表示红，8位表位表示绿，示绿，8位表示蓝。位表示蓝。彩色图彩色图 13141516思考思考 从信号处理的角度出发，表示位图的信从信号处理的角度出发，表示位图的信号是模拟信号还是数字信号？号是模拟信号还是数字信号？ 位图是数字信号：位图是数字信号： 离散的像素点。离散的像素点。 像素位数决定了只有多少种取值。像素位数决定了只有多少种取值。 有没有模拟的图像？有没有模拟的图像？171.2 模拟图像模拟图像 思考：思考：声音是时间和响度上连续

7、的信号，那么声音是时间和响度上连续的信号，那么照片之类的模拟静止图像呢？其连续性照片之类的模拟静止图像呢？其连续性主要指哪些方面的连续？主要指哪些方面的连续？ 模拟的静止图像是在模拟的静止图像是在空间空间上和上和颜色颜色/亮度亮度上连续的信号。上连续的信号。18模拟图像的数字化模拟图像的数字化 模拟的静止图像可以经过数字化变成数模拟的静止图像可以经过数字化变成数字图像。字图像。 和音频的数字化一样，图像的数字化过和音频的数字化一样，图像的数字化过程也分成：程也分成：采样采样、量化量化/编码编码。 采样和量化过程使得在空间和颜色值上采样和量化过程使得在空间和颜色值上都连续的图像变成离散图像。都连

8、续的图像变成离散图像。 由于图像的数据量也很大，一般也要进由于图像的数据量也很大，一般也要进行行压缩压缩编码。编码。19采样采样 对图像进行采样即在空间上离散化。对图像进行采样即在空间上离散化。 设设f(x,y)是连续的模拟彩色图像函数，如是连续的模拟彩色图像函数，如下采样：下采样： 沿沿x方向以等间隔方向以等间隔x采样，采样点数为采样，采样点数为N； 沿沿y方向以等间隔方向以等间隔y采样，采样点数为采样，采样点数为M。 得到一个得到一个N*M的离散样本阵列的离散样本阵列f(n,m)，这就是一幅空间上离散化了的图像。这就是一幅空间上离散化了的图像。20采样频率采样频率 和音频一样，为了尽量减少

9、失真，使得和音频一样，为了尽量减少失真，使得能从采样后的数据中还原出原数据，对能从采样后的数据中还原出原数据，对图像采样时也应满足采样定理对采样频图像采样时也应满足采样定理对采样频率的要求（率的要求（f采采2fmax）。）。 图像的采样频率：即采样密度，由间隔图像的采样频率：即采样密度，由间隔x与与y决定。决定。 图像信号的频率：即图像颜色值图像信号的频率：即图像颜色值/亮度的变亮度的变化频率。化频率。21量化量化 对采样后每个离散点的颜色对采样后每个离散点的颜色/亮度值进行亮度值进行归类、取整。归类、取整。 如黑白灰度图的量化：如黑白灰度图的量化：灰度级灰度级1282566412832641

10、632816482412量化级量化级87654321221.3 视频视频 视频：由一幅幅单独的画面序列组成，视频：由一幅幅单独的画面序列组成，这些画面以一定的速率依次显示，使观这些画面以一定的速率依次显示，使观察者具有图像连续运动的感觉。察者具有图像连续运动的感觉。 从数学的角度看，视频是随时间变化的从数学的角度看，视频是随时间变化的图像，或称为时变图像、运动图像、活图像，或称为时变图像、运动图像、活动图像。动图像。 视频是携带的信息量最为丰富、直观、视频是携带的信息量最为丰富、直观、生动、具体的一种媒体。生动、具体的一种媒体。23视频信号的特点和分类视频信号的特点和分类 视频信号具有以下的特

11、点：视频信号具有以下的特点： 内容随时间而变化；内容随时间而变化； 伴随有与画面动作同伴随有与画面动作同步的声音步的声音(伴音伴音)。 视频信号可分成：视频信号可分成： 模拟视频模拟视频 数字视频数字视频24第二节第二节 彩色空间表示及其转换彩色空间表示及其转换 颜色是人脑对物体的一种反映，是人的颜色是人脑对物体的一种反映，是人的一种感觉。一种感觉。 研究颜色时，将涉及到物理学、生物学、研究颜色时，将涉及到物理学、生物学、心理学和材料学等多门学科。心理学和材料学等多门学科。 如何用数学方法来描述人对于颜色的这如何用数学方法来描述人对于颜色的这类感觉呢？类感觉呢？目前主要是使用颜色空间（彩色目前

12、主要是使用颜色空间（彩色空间）。空间）。252.1 光与颜色光与颜色 颜色是视觉系统颜色是视觉系统对可见光的感知对可见光的感知结果，所感知到结果，所感知到的颜色由光波的的颜色由光波的频率频率/波长决定。波长决定。 纯颜色常使用光纯颜色常使用光的波长来定义，的波长来定义，称之为光谱色。称之为光谱色。26 可见光是指波长在可见光是指波长在380nm780nm之间的之间的电磁波。电磁波。 人们看到的大多数光是由许多不同波长人们看到的大多数光是由许多不同波长的光组合成的。的光组合成的。 牛顿的三棱镜试验证明，白光包括了所牛顿的三棱镜试验证明，白光包括了所有可见光谱的波长。有可见光谱的波长。27视觉系统

13、视觉系统 眼睛的成像原眼睛的成像原理与照相机一理与照相机一样，光线照射样，光线照射在物体上，经在物体上，经过反射后射入过反射后射入眼睛，通过眼眼睛，通过眼球后在视网膜球后在视网膜上成像。上成像。28 视网膜通过神经元来感知外部世界的颜视网膜通过神经元来感知外部世界的颜色，神经元分成两大类：色，神经元分成两大类： 锥体细胞：又可以分成三种，分别对红锥体细胞：又可以分成三种，分别对红/绿绿/蓝有着不同的敏感度。蓝有着不同的敏感度。 杆状体细胞：在光功率极低的条件下才起作杆状体细胞：在光功率极低的条件下才起作用，对颜色不敏感。用，对颜色不敏感。 三种锥体细胞对不同频率三种锥体细胞对不同频率/波长的光

14、的感波长的光的感知程度不同，对不同亮度的颜色感知程知程度不同，对不同亮度的颜色感知程度也不同。度也不同。29三种锥体细胞的光谱敏感示意图三种锥体细胞的光谱敏感示意图30视觉对波长、亮度的感知度视觉对波长、亮度的感知度31 辐射功率相同但辐射功率相同但波长不同的光，波长不同的光，给人的给人的亮度感觉亮度感觉不相同。不相同。 在同一亮度环境在同一亮度环境中，辐射功率相中，辐射功率相同的条件下，波同的条件下，波长等于长等于555nm的的黄绿光对人的亮黄绿光对人的亮度觉最大，并令度觉最大，并令其亮度感觉灵敏其亮度感觉灵敏度为度为1。32三基色原理三基色原理 自然界中常见的各种颜色光，都可以由自然界中常

15、见的各种颜色光，都可以由红红(R)、绿绿(G)、蓝蓝(B)这三种颜色光按不这三种颜色光按不同比例混合而成，这就是色度学中最基同比例混合而成，这就是色度学中最基本的原理本的原理三基色原理。三基色原理。 实际上，也可以选择另外三种颜色作为实际上，也可以选择另外三种颜色作为基色，但要求这三种颜色是基色，但要求这三种颜色是相互独立相互独立的，的，即其中的任意一种颜色不能由另外两种即其中的任意一种颜色不能由另外两种颜色混合得到。颜色混合得到。33青青Cyan 黄黄Yellow品红品红Magenta 白白三基色相加混色三基色相加混色34产生波长不同的光所需要的三基色值产生波长不同的光所需要的三基色值基色波

16、长：基色波长：700nm(红红)、546.1nm(绿绿)、435.8nm(蓝蓝) 35三原色和三补色三原色和三补色 红红+青青=绿绿+品红品红=蓝蓝+黄黄=白白 青色和红色互为补色青色和红色互为补色 品红和绿色互为补色品红和绿色互为补色 黄色和蓝色互为补色黄色和蓝色互为补色 三原色：通常指红、绿、蓝三种颜色。三原色：通常指红、绿、蓝三种颜色。 三补色：通常指青色、品红和黄色。三补色：通常指青色、品红和黄色。36减色原理减色原理 不同的物体，其表面对于不同波长的光不同的物体，其表面对于不同波长的光有着不同的吸收量和反射量，被反射的有着不同的吸收量和反射量，被反射的光进入人的眼睛，使人感受到各种颜

17、色光进入人的眼睛，使人感受到各种颜色的物体。的物体。 这是典型的减色过程，其基本原理就是这是典型的减色过程，其基本原理就是从混合光（如白光）中去掉某些波长的从混合光（如白光）中去掉某些波长的光波，剩下波长的光波对人眼的刺激，光波，剩下波长的光波对人眼的刺激，形成颜色的感觉。形成颜色的感觉。 37加色加色减色减色38相加色与相减色关系相加色与相减色关系相加混色相加混色相减混色相减混色生成的颜色生成的颜色RGBCMY000111黑黑001110蓝蓝010101绿绿011100青青100011红红101010品红品红110001黄黄111000白白39立方体表示立方体表示402.2 颜色的特性颜色的

18、特性 国际照明委员会国际照明委员会CIE使用三个颜色的特使用三个颜色的特性来定义人眼对颜色的感觉：性来定义人眼对颜色的感觉： 亮度、色调、饱和度亮度、色调、饱和度 这三个特征是颜色所固有的并且是截然这三个特征是颜色所固有的并且是截然不同的特性。不同的特性。 人眼看到的任一彩色光都是这三个特性人眼看到的任一彩色光都是这三个特性的综合效果。的综合效果。412.2.1 亮度亮度(Luminance) 亮度是光线作用于人眼所引起的明亮程度的感亮度是光线作用于人眼所引起的明亮程度的感觉，与光的强度有关。觉，与光的强度有关。 国际照明委员会的亮度定义：亮度是用反映视国际照明委员会的亮度定义：亮度是用反映视

19、觉特性的光谱敏感函数加权之后得到的辐射功觉特性的光谱敏感函数加权之后得到的辐射功率，并在率，并在555nm处达到峰值。处达到峰值。 光强越大，亮度就越大，越偏向于白色；光强光强越大，亮度就越大，越偏向于白色；光强越小，亮度就越小，越偏向于黑色。越小，亮度就越小，越偏向于黑色。 另外，不同颜色的光线，即使是同样的光强，另外，不同颜色的光线，即使是同样的光强，给人的亮度感觉也会不一样。给人的亮度感觉也会不一样。42432.2.2 色调色调(Hue) 色调：也称色相，是视觉系统对光线主波色调：也称色相，是视觉系统对光线主波长所产生的颜色感觉，常用红、橙、黄、长所产生的颜色感觉，常用红、橙、黄、绿、青

20、、蓝、紫等词语来描述。绿、青、蓝、紫等词语来描述。 色调反映了颜色的种类，是决定颜色的基色调反映了颜色的种类，是决定颜色的基本特性。本特性。 颜色的种类很多，人眼可分辨的色调约有颜色的种类很多，人眼可分辨的色调约有300400种。种。 黑、白、灰属于非彩色，没有色调属性。黑、白、灰属于非彩色，没有色调属性。44颜色环颜色环45绿色调绿色调红色调红色调462.2.3 饱和度饱和度(Saturation) 饱和度是指颜色的纯度，即掺入白光的饱和度是指颜色的纯度，即掺入白光的程度，或者说是颜色的深浅程度。程度，或者说是颜色的深浅程度。 对于同一色调的彩色光，饱和度越深，对于同一色调的彩色光，饱和度越

21、深，颜色就越鲜明。颜色就越鲜明。 没有掺入白光时所呈现的颜色称为完全没有掺入白光时所呈现的颜色称为完全饱和的颜色。饱和的颜色。47饱和度最低饱和度最低饱和度最高饱和度最高482.2.4 颜色特性的关系颜色特性的关系 色调和饱和度通称为色度色调和饱和度通称为色度(chroma)，表，表示颜色的类别与深浅程度。示颜色的类别与深浅程度。 思考：色调、饱和度、亮度的关系？思考：色调、饱和度、亮度的关系？ 在完全饱和的彩色光中增加白光，则该种颜色在完全饱和的彩色光中增加白光，则该种颜色的饱和度有所降低，但由于白光的加入增加了的饱和度有所降低，但由于白光的加入增加了光能，画面变得更亮，亮度提高了。光能，画

22、面变得更亮，亮度提高了。 在完全饱和的彩色光中增加其他颜色的光，则在完全饱和的彩色光中增加其他颜色的光，则会导致色调发生变化。会导致色调发生变化。49牛顿色圆图牛顿色圆图50垂直轴表示法垂直轴表示法512.3 彩色空间表示彩色空间表示 彩色空间，也称做颜色模型，是一种表彩色空间，也称做颜色模型，是一种表示颜色的数学方法，用来指定和产生颜示颜色的数学方法，用来指定和产生颜色，使颜色形象化。色，使颜色形象化。 不同的颜色表示（即颜色模型）都对应不同的颜色表示（即颜色模型）都对应一个空间（彩色空间），一种颜色就是一个空间（彩色空间），一种颜色就是相应彩色空间中的一个点或矢量。相应彩色空间中的一个点或

23、矢量。52 目前有多种彩色空间，如：目前有多种彩色空间，如： 计算机显示采用计算机显示采用RGB彩色空间；彩色空间； 彩色印刷采用彩色印刷采用CMYK彩色空间；彩色空间； 彩色全电视信号采用的是彩色全电视信号采用的是YUV/YIQ彩彩色空间；色空间； 为了便于色彩处理和识别，视觉系统又为了便于色彩处理和识别，视觉系统又经常采用经常采用HSI彩色空间。彩色空间。53彩色空间的分类彩色空间的分类 按照和按照和RGB模型的关系，彩色空间可分模型的关系，彩色空间可分成两大类：成两大类： 线性颜色空间：是线性颜色空间：是RGB模型的线性变换，模型的线性变换，如如RGB、CMY、XYZ、YIQ、YUV、Y

24、CrCb。 非线性颜色空间：是非线性颜色空间：是RGB模型的非线性变模型的非线性变换，如换，如Nrgb、Nxyz、L*a*b*、L*u*v*、HSI(HSV)。542.3.1 RGB彩色空间彩色空间 因彩色因彩色CRT显示器的显示原理（显示器的显示原理（RGB三种颜色三种颜色的荧光物质），在计算机技术中使用得最多的的荧光物质），在计算机技术中使用得最多的就是就是RGB彩色空间。彩色空间。 RGB彩色空间利用的是彩色空间利用的是加色加色原理。原理。 在在RGB彩色空间中，任意颜色的光彩色空间中，任意颜色的光F，其配色，其配色方程可写成：方程可写成：F= rR+ gG+bB 其中其中r、g、b为三

25、种颜色的系数，表示所占的为三种颜色的系数，表示所占的百分比，百分比，r+g+b=1。55RGB色度图色度图 RGB色度图：用色度图：用r和和g构造直色坐标系。构造直色坐标系。562.3.2 CMY/CMYK彩色空间彩色空间 CMY/CMYK和和RGB一样，都是直接使用颜色一样，都是直接使用颜色描 述 ， 但描 述 ， 但 R G B 利 用 的 是 相 加 混 合 ， 而利 用 的 是 相 加 混 合 ， 而CMY/CMYK利用的是利用的是减色减色原理：原理： CMY：C为青，为青，M为品红，为品红，Y为黄色。为黄色。 CMYK：在：在CMY的基础上增加黑色的基础上增加黑色K。 在彩色打印和彩

26、色印刷处理过程中，最常用的在彩色打印和彩色印刷处理过程中，最常用的是是CMYK彩色空间，使用青、品红、黄、黑四彩色空间，使用青、品红、黄、黑四种颜色的油墨。种颜色的油墨。572.3.3 YUV/YIQ彩色空间彩色空间 在彩色电视制式中常使用在彩色电视制式中常使用YUV和和YIQ彩彩色空间：色空间： 在在PAL彩色电视制式（欧洲、中国大陆）中彩色电视制式（欧洲、中国大陆）中使用的是使用的是YUV模型，模型，Y表示亮度，表示亮度，U、V表表示色差，是构成彩色的两个分量；示色差，是构成彩色的两个分量； 在在NTSC彩色电视制式（美、日）中使用的彩色电视制式（美、日）中使用的是是YIQ模型，模型，Y表

27、示亮度，表示亮度，I、Q表示色差，表示色差，是构成彩色的两个分量。是构成彩色的两个分量。58YUV彩色空间彩色空间 摄像得到的信号由分色棱镜分成摄像得到的信号由分色棱镜分成R0、G0、B0三个分量信号，经放大、校正后得到三个分量信号，经放大、校正后得到RGB信号，再变换成亮度信号信号，再变换成亮度信号Y和色差和色差信号信号R-Y、B-Y，最后编码发送，这就是，最后编码发送，这就是常用的常用的YUV彩色空间表示。彩色空间表示。Y = 0.222R+0.707G+0.071BU=B-Y=-0.222R-0.707G+0.929BV=R-Y=0.778R-0.707G-0.071B59由于人眼对彩色

28、图像细节的分辨能力比由于人眼对彩色图像细节的分辨能力比对黑白的低得多，因此可用亮度信号对黑白的低得多，因此可用亮度信号Y传送细节，而用色差信号传送细节，而用色差信号U、V进行大进行大面积涂色。面积涂色。使用使用YUV的好处：的好处：亮度信号亮度信号Y解决了彩色电视信号与黑白电解决了彩色电视信号与黑白电视机的兼容问题；视机的兼容问题；彩色图像的清晰度由亮度信号的带宽保证，彩色图像的清晰度由亮度信号的带宽保证，色度信号的带宽可变窄，减少了数据量，色度信号的带宽可变窄，减少了数据量，例如例如: Y带宽：带宽：4.43MHz1. U、V带宽：带宽：1.3MHz60 在数字化时对在数字化时对YUV三个信

29、号采用不同的位数进三个信号采用不同的位数进行编码：要让图像清晰，细节较多，则行编码：要让图像清晰，细节较多，则Y信号使信号使用较多位数，而用较多位数，而U、V信号可以少一些位数。信号可以少一些位数。 常用的位数分配方式有：常用的位数分配方式有：Y:U:V=8:4:4或或8:2:2。 假设一幅假设一幅24位的彩色位图，采用位的彩色位图，采用RGB模型或模型或YUV模型时位数如何分配？模型时位数如何分配？ 若采用若采用RGB模型，则每个像素需要模型，则每个像素需要24位；位； 若采用若采用YUV模型，则每个像素只需要模型，则每个像素只需要16位位/12位即可。位即可。 YUV减小了数据量，实现了数

30、据压缩，而人的减小了数据量，实现了数据压缩，而人的眼睛并感觉不出来。眼睛并感觉不出来。61YIQ彩色空间彩色空间 YIQ彩色空间与彩色空间与YUV彩色空间很类似，只是采彩色空间很类似，只是采用了不同的色差信号。用了不同的色差信号。 在色度矢量图中，人眼对相角为在色度矢量图中，人眼对相角为123的橙色和的橙色和303的青色有着最大的彩色分辨力。的青色有着最大的彩色分辨力。I轴即为通轴即为通过过123和和303的线，表示人眼最敏感的色轴；的线，表示人眼最敏感的色轴；与与I正交的为正交的为Q轴，表示人眼最不敏感的色轴。轴，表示人眼最不敏感的色轴。 亮度信号亮度信号Y的带宽：的带宽：4.2MHz 最敏

31、感的最敏感的I轴带宽：轴带宽：1.31.5MHz 最不敏感的最不敏感的Q轴带宽：轴带宽：0.5MHz62IQ和和UV的关系的关系 I、Q相互正交，构相互正交，构成的坐标轴与成的坐标轴与U、V构成的正交坐标轴构成的正交坐标轴之间有之间有33的夹角。的夹角。 Y=0.299R+0.587G+ 0.114B I=Vcos33-Usin33 Q=Vsin33+Ucos33632.3.4 YCrCb彩色空间彩色空间 YCrCb彩色空间是从彩色空间是从YUV派生出的一种派生出的一种彩色空间，但它是数字域而非模拟域的，彩色空间，但它是数字域而非模拟域的，主要用于数字电视系统，是数字视频信主要用于数字电视系统

32、，是数字视频信号的世界标准。号的世界标准。 Y表示亮度；表示亮度； Cr反映了反映了RGB输入信号红色部分与输入信号红色部分与RGB信信号亮度值之间的差异（号亮度值之间的差异（R-Y）；）； Cb反映的是反映的是RGB输入信号蓝色部分与输入信号蓝色部分与RGB信号亮度值之同的差异（信号亮度值之同的差异（B-Y）。）。 642.3.5 HSI彩色空间彩色空间 HSI彩色空间：彩色空间： 颜色色调颜色色调H 饱和度饱和度S 光强光强I 采用采用HSI彩色空间表示具有如下优点：彩色空间表示具有如下优点： 更接近人对色彩的认识和解释。更接近人对色彩的认识和解释。 减少了彩色图像处理的复杂性，加快了处理

33、减少了彩色图像处理的复杂性，加快了处理速度。速度。65662.4 彩色空间的转换彩色空间的转换 为了满足各种不同用途的需求，人们开发为了满足各种不同用途的需求，人们开发了多种彩色空间，但几乎所有的彩色空间了多种彩色空间，但几乎所有的彩色空间都是从都是从RGB导出的。导出的。 本课程主要考虑本课程主要考虑RGB彩色空间到彩色空间到YUV/YIQ彩色空间之间的转换。彩色空间之间的转换。 为了方便起见，统一取亮度的简化方程：为了方便起见，统一取亮度的简化方程：Y = 0.3R + 0.59G + 0.11B67RGB转换到转换到YUV Y = 0.3R + 0.59G + 0.11B U = B -

34、 Y = - 0.3R - 0.59G + 0.89B V = R Y = 0.7R - 0.59G - 0.11B 为了防止幅度失真，为了防止幅度失真，UV信号常需乘上一信号常需乘上一个小于个小于1的压缩系数：的压缩系数： U=m(B-Y)=0.493(B-Y) V=n(R-Y)=0.877(R-Y)68 代入后得到最终的转换方程：代入后得到最终的转换方程： Y = 0.3R + 0.59G + 0.11B U = - 0.15R- 0.29G + 0.44B V = 0.61R - 0.52G - 0.096B 写成矩阵形式：写成矩阵形式：BGR096. 052. 061. 044. 02

35、9. 015. 011. 059. 03 . 0VUY69RGB转换到转换到YIQ 将将 U = - 0.15R- 0.29G + 0.44B V = 0.61R - 0.52G - 0.096B Sin33 = 0.545 Cos33 = 0.839 代入：代入： I = Vcos33 - Usin33 Q = Vsin33 + Ucos3370 得到转换方程：得到转换方程： Y = 0.3R + 0.59G + 0.11B I = 0. 6R - 0.28G - 0.32B Q = 0.21R - 0.52G + 0.31B 写成矩阵形式：写成矩阵形式：BGRQIY31. 052. 021

36、. 032. 028. 06 . 011. 059. 03 . 071附：附：RGB与与HSI HSI和和RGB是同一物理量的不同表示法，其转是同一物理量的不同表示法，其转换关系如下：换关系如下：3),min(1),180;, 0()3arctan(903601BGRIIBGRSBGBGFHB-GB-G-2RF:其中72第三节第三节 视频视频 视频即运动的图像，是携带信息量最多视频即运动的图像，是携带信息量最多的一种媒体，一般和音频一起存在。的一种媒体，一般和音频一起存在。 如电视节目、片头、电影都是最常见的如电视节目、片头、电影都是最常见的视频，还有大量的视频广告等。视频，还有大量的视频广告

37、等。 和音频、静止图像一样，视频信号也分和音频、静止图像一样，视频信号也分成模拟视频和数字视频。成模拟视频和数字视频。 在多媒体计算机中使用的是数字视频。在多媒体计算机中使用的是数字视频。733.1 模拟视频模拟视频 模拟视频是一种用于传输图像和声音的模拟视频是一种用于传输图像和声音的并且随时间连续变化的电信号。并且随时间连续变化的电信号。 早期视频的记录、存储和传输都是采用早期视频的记录、存储和传输都是采用模拟方式，例如：模拟方式，例如：电视信号就是以一种模拟电信号的形电视信号就是以一种模拟电信号的形式来记录的，录制时使用盒式磁带进式来记录的，录制时使用盒式磁带进行存储，并依靠模拟的调制手段

38、在空行存储，并依靠模拟的调制手段在空间传播。间传播。74传统的模拟信号处理设备传统的模拟信号处理设备直接广播卫星直接广播卫星DBS75模拟电视信号模拟电视信号 电视信号是一种重要的视频。电视信号是一种重要的视频。 由于模拟电视技术发展的时间较长、技由于模拟电视技术发展的时间较长、技术较为成熟，了解电视信号的一些概念，术较为成熟，了解电视信号的一些概念，有助于学习数字视频。有助于学习数字视频。 早期的模拟电视信号调制后在空中传播，早期的模拟电视信号调制后在空中传播，电视机接收后再解调成电信号，该信号电视机接收后再解调成电信号，该信号在时间上连续不断地产生，其幅度值也在时间上连续不断地产生，其幅度

39、值也是连续的。是连续的。76扫描方式扫描方式 电视机播放视频信号时，需要将电视机播放视频信号时，需要将一维的一维的电信号电信号转换成二维的图像，这一过程是转换成二维的图像，这一过程是通过光栅扫描实现的。通过光栅扫描实现的。 扫描方式主要有扫描方式主要有两种：两种：逐行扫描逐行扫描隔行扫描隔行扫描77奇数场奇数场偶数场偶数场隔行扫描时，行的集隔行扫描时，行的集合称为合称为场场。一帧由两个场（奇数一帧由两个场（奇数场、偶数场）组成。场、偶数场）组成。78 隔行隔行扫描利用了人眼视觉暂留的心理作扫描利用了人眼视觉暂留的心理作用，只需一半带宽资源就可获得较稳定用，只需一半带宽资源就可获得较稳定的图像，

40、但显示会有闪烁。的图像，但显示会有闪烁。 逐行扫描的每一场就是整幅图像，画面逐行扫描的每一场就是整幅图像，画面清晰、稳定。清晰、稳定。 目前的电视设备（如电视机、摄像机）目前的电视设备（如电视机、摄像机）一般都是采用的隔行扫描，而电脑的显一般都是采用的隔行扫描，而电脑的显示器已基本都采用逐行扫描了。示器已基本都采用逐行扫描了。79电视信号的类型电视信号的类型 电视信号中主要包括亮度信号、色度信号、复电视信号中主要包括亮度信号、色度信号、复合同步信号、复合消隐信号和伴音信号，这些合同步信号、复合消隐信号和伴音信号，这些信号可通过频域或时域上的解调分离出来。信号可通过频域或时域上的解调分离出来。

41、电视接收机将所接收到的高频电视信号还原成电视接收机将所接收到的高频电视信号还原成视频信号和音频信号，并在荧光屏上重现图像，视频信号和音频信号，并在荧光屏上重现图像，通过扬声器重现伴音。通过扬声器重现伴音。 根据不同的信号源，电视接收机的输入、输出根据不同的信号源，电视接收机的输入、输出信号有四种类型：高频或信号有四种类型：高频或射频信号射频信号RF、复合复合视频信号视频信号、分量视频信号分量视频信号，以及，以及S-Video。80 4 3 2 1 C Y 地 复合视频接口复合视频接口S端子端子 81电视制式电视制式 电视制式：电视信号的标准。电视制式：电视信号的标准。 目前存在多种电视制式，其

42、主要区别在目前存在多种电视制式，其主要区别在于不同的刷新速度、颜色编码系统和传于不同的刷新速度、颜色编码系统和传送频率等：送频率等： PAL制：中国、大部分欧洲国家使用制：中国、大部分欧洲国家使用 NTSC制：美国、日本等国使用制：美国、日本等国使用 SECAM制：法国、俄罗斯等国使用制：法国、俄罗斯等国使用82TV制式制式NTSCPALSECAM帧频帧频(Hz)302525行行/帧帧525625625亮度带宽亮度带宽(MHz)4.24.436.0色度带宽色度带宽(MHz)I：1.31.5Q：0.5U/V：1.31.0声音载波声音载波(MHz)4.56.56.5电视制式的主要技术指标电视制式的

43、主要技术指标83YUVPAL彩色电视制式中采用彩色电视制式中采用YUV模型来表示彩色图像。模型来表示彩色图像。843.2 数字视频数字视频 在多媒体计算技术中，使用的都是数字在多媒体计算技术中，使用的都是数字视频信号。视频信号。 由于模拟视频存在一些缺点：由于模拟视频存在一些缺点： 传输过程中易被干扰传输过程中易被干扰 长距离传输时信号易衰减长距离传输时信号易衰减 长时间存储或多次复制后画面失真较明显长时间存储或多次复制后画面失真较明显 因此，数字视频备受推广，如数字电视、因此，数字视频备受推广，如数字电视、数码摄像机、数码摄像机、DVD电影等。电影等。853.3 视频的数字化视频的数字化 模

44、拟视频既在时间上连续，也在空间中模拟视频既在时间上连续，也在空间中连续，同时其信号值也是连续的。连续，同时其信号值也是连续的。 除了上述三个方面的连续性，模拟视频除了上述三个方面的连续性，模拟视频有着隔行和逐行两种扫描方式。有着隔行和逐行两种扫描方式。 另外，对于电视视频还存在着多种不同另外，对于电视视频还存在着多种不同的电视制式。的电视制式。 因此，视频的数字化过程比扫描仪扫描因此，视频的数字化过程比扫描仪扫描静止图像的方式要复杂得多。静止图像的方式要复杂得多。86 那么如何才能把模拟的视频信号转换成那么如何才能把模拟的视频信号转换成数字视频形式呢？数字视频形式呢？ 模拟视频信号实际上是连续

45、传送的电信模拟视频信号实际上是连续传送的电信号，其内容是复合的视频信号，包括了号，其内容是复合的视频信号，包括了亮度信息、色度信息、同步信息等。亮度信息、色度信息、同步信息等。 模拟视频一般采用模拟视频一般采用分量数字化分量数字化方式，先方式，先把复合视频信号中的亮度和色度分离，把复合视频信号中的亮度和色度分离，得到得到YUV或或YIQ分量，然后用三个模分量，然后用三个模/数数转换器对三个分量分别进行数字化，最转换器对三个分量分别进行数字化，最后再转换成后再转换成RGB空间。空间。87 实际上，视频的数字化过程除了和音频实际上，视频的数字化过程除了和音频一样需要进行采样、量化一样需要进行采样、

46、量化/编码以外，还编码以外，还需要注意分辨率的统一、隔行扫描组合需要注意分辨率的统一、隔行扫描组合成逐行、成逐行、YUV/YIQ彩色空间到彩色空间到RGB彩彩色空间的转换等。色空间的转换等。883.3.1 采样采样 对视频信号进行采样时必须满足三个方对视频信号进行采样时必须满足三个方面的要求：面的要求： 满足满足采样定理采样定理：即采样频率应大于等于视频：即采样频率应大于等于视频信号中最高频率的信号中最高频率的2倍。倍。 采样频率必须是采样频率必须是行频的整数倍行频的整数倍：以保证扫描：以保证扫描时每行都有整数个采样点，且每行的采样点时每行都有整数个采样点，且每行的采样点数目一样，形成正交，对

47、应到各像素点。数目一样，形成正交，对应到各像素点。 满足满足逐行和隔行逐行和隔行两种扫描方式。两种扫描方式。 89TV制式制式NTSCPALSECAM帧频帧频(Hz)29.972525行行/帧帧525625625行频行频15734.251562515625亮度亮度(MHz)4.24.436.0色度色度(MHz)I：1.31.5Q：0.5U/V：1.31.0CCIR601建议建议亮度采样频率：亮度采样频率：13.5MHz色度采样频率：色度采样频率：6.75或或13.5MHz13.5MHz是上述两种行频的整数倍；是上述两种行频的整数倍；亮度频率最大为亮度频率最大为6MHz，13.562=12。如果

48、是隔行扫描，只需重新排列成逐行即可。如果是隔行扫描，只需重新排列成逐行即可。90分辨率的统一分辨率的统一 对于对于PAL和和SECAM制式：制式： 行行/帧为帧为625，即一帧画面中有，即一帧画面中有625行，除去一些同步行，除去一些同步消隐的回扫行，实际影像为消隐的回扫行，实际影像为575行；行； 每行的采样点为：每行的采样点为：13.5MHz/(625*25)=864个，取有个，取有效的显示像素点效的显示像素点720个。个。 对于对于NTSC制式：制式： 行行/帧为帧为525，即一帧画面中有，即一帧画面中有525行，除去一些同步行，除去一些同步消隐的回扫行，实际影像为消隐的回扫行，实际影像

49、为480行；行； 每行的采样点为：每行的采样点为：13.5MHz/(525*30)=858个，取有个，取有效的显示像素点效的显示像素点720个。个。91采样格式采样格式 根据电视视频信号的特征，以及电视制根据电视视频信号的特征，以及电视制式的规定，亮度信号的带宽通常是色度式的规定，亮度信号的带宽通常是色度信号带宽的两倍以上。因此采样时，对信号带宽的两倍以上。因此采样时，对色差分量的采样率可以低于对亮度分量色差分量的采样率可以低于对亮度分量的采样率。的采样率。 以以YUV为例，如果用为例，如果用Y:U:V来表示三分来表示三分量的采样比例，常用的数字视频采样格量的采样比例，常用的数字视频采样格式有

50、式有4:4:4、4:2:2、4:1:1、4:2:0四种。四种。92Y:U:V = 4:4:4 对每个像素点均对每个像素点均取取3个样本值，其个样本值，其中包含有中包含有1个亮度个亮度Y样本、样本、1个色差个色差U样本和样本和1个色差个色差V样本。样本。Y/U/V样本样本93Y:U:V = 4:2:2 每每4个连续的像素个连续的像素点共取点共取8个样本值，个样本值，其中每个点都取其中每个点都取1个亮度个亮度Y的样本，的样本，第第1、3点均取色差点均取色差U、V各各1个样本值。个样本值。Y/U/V样本样本仅仅Y样本样本94Y:U:V = 4:1:1 每每4个连续的像素个连续的像素点共取点共取6个样

51、本值，个样本值，其中每个点都取其中每个点都取1个亮度个亮度Y的样本，的样本，而色差而色差U、V则只则只有第有第1个像素点取个像素点取样本。样本。Y/U/V样本样本仅仅Y样本样本95Y:U:V = 4:2:0 在水平和垂直方向在水平和垂直方向上，每上，每22个连续个连续的像素点共取的像素点共取6个样个样本值，其中每个点本值，其中每个点都取都取1个亮度个亮度Y的样的样本，而色差本，而色差U、V则则实行亚采样，再通实行亚采样，再通过计算得到一个过计算得到一个U和一个和一个V。Y/U/V样本样本仅仅Y样本样本963.3.2 量化量化 对亮度和色差信号分别进行采样后，还需对亮度和色差信号分别进行采样后，

52、还需要将样本值量化编码。要将样本值量化编码。 信号的量化位数决定了颜色的灰度等级。信号的量化位数决定了颜色的灰度等级。5bit的量化位数：的量化位数：32级级8bit的量化位数：的量化位数：256级级97 若量化位数过小，则不足以反映出图像若量化位数过小，则不足以反映出图像的细节；的细节； 若量化位数过大，则数码量过多，占用若量化位数过大，则数码量过多，占用大量频带资源，传输困难。大量频带资源，传输困难。 由于由于YUV信号的特征，常对信号的特征，常对YUV三个信三个信号采用不同的位数进行编码：号采用不同的位数进行编码： Y信号让信号让图像清晰，可使用较多位数，而图像清晰，可使用较多位数，而U

53、、V信信号负责大面积染色，可减少位数。号负责大面积染色，可减少位数。 常用的位数分配方式有：常用的位数分配方式有：Y:U:V=8:4:4或或8:2:2。98 视频信号在进行量化时也可以采取非均视频信号在进行量化时也可以采取非均匀量化的方式。匀量化的方式。 量化将引入不可避免的量化噪音。量化将引入不可避免的量化噪音。 电视视频信息中的亮度信号和色差信号电视视频信息中的亮度信号和色差信号经采样和量化后，再转换成经采样和量化后，再转换成RGB信息，信息，从而得以在计算机上播放、处理。从而得以在计算机上播放、处理。99附：宽高比附：宽高比 在一帧图像中，水平扫描线的长度与在在一帧图像中，水平扫描线的长

54、度与在图像垂直方向上所有扫描线所跨过的距图像垂直方向上所有扫描线所跨过的距离之比，就称为宽高比。离之比，就称为宽高比。 常规电视机的扫描宽高比标准为常规电视机的扫描宽高比标准为4 3。 现在，电视机系统还支持现在，电视机系统还支持16 9的宽高比，的宽高比，以符合宽银幕电影的播放需求。以符合宽银幕电影的播放需求。100思考题思考题 采用采用PAL电视制式，采用隔行扫描，场频为电视制式，采用隔行扫描，场频为50Hz、行、行/帧为帧为625，屏幕宽高比为，屏幕宽高比为4:3。 一幅静止的画面含有多少个像素？一幅静止的画面含有多少个像素？6254/3625520625个像素个像素 如果每个像素用如果

55、每个像素用24位表示，则每帧需要的信息位表示，则每帧需要的信息量是多少？量是多少？52062524/8=1561875byte1.5MB 不压缩时，一分钟需传送多少数据量？不压缩时，一分钟需传送多少数据量？1.550/260=2250MB=2.2GB101第四节第四节 图像图像/视频压缩编码标视频压缩编码标准准 图像图像/视频信息经采样量化后，数据量仍然很视频信息经采样量化后，数据量仍然很大。和音频一样，通常需要使用压缩算法对视大。和音频一样，通常需要使用压缩算法对视频进行编码。频进行编码。 图像图像/视频数据能够被压缩的主要依据有两点：视频数据能够被压缩的主要依据有两点： 图像图像/视频数据

56、中有许多重复的数据，使用视频数据中有许多重复的数据，使用数学方法来表示这些重复数据就可以减少数数学方法来表示这些重复数据就可以减少数据量；据量； 人的眼睛对图像人的眼睛对图像/视频中细节和颜色的辨认视频中细节和颜色的辨认能力有限，把超过极限的部分去掉也可以压能力有限，把超过极限的部分去掉也可以压缩数据量。缩数据量。102图像压缩算法图像压缩算法103视频的编码标准视频的编码标准 视频编码标准主要有：视频编码标准主要有： H.26*系列标准、系列标准、MPEG标准等。标准等。 ITU-T与与ISO/IEC是制定视频编码标准的是制定视频编码标准的两大组织。两大组织。 ITU-T的标准包括的标准包括

57、H.261、H.263、H.264等等H.26*系列，主要应用于实时的视频通信领系列，主要应用于实时的视频通信领域，如电视会议。域，如电视会议。 ISO/IEC制定的是制定的是MPEG系列标准，主要应系列标准，主要应用于视频存储用于视频存储(如如DVD)、广播电视、因特网、广播电视、因特网或无线网上的流媒体等。或无线网上的流媒体等。104第五节第五节 视频卡视频卡 多媒体计算机中处理视频的适配器通称为多媒体计算机中处理视频的适配器通称为视频卡。视频卡。 目前，目前，MPC一般都配备有显示适配器（如一般都配备有显示适配器（如普通显卡、图形加速卡），但它只能实现普通显卡、图形加速卡），但它只能实现

58、基本的视频播放功能。基本的视频播放功能。 除了普通的显卡，还有多种视频卡，如：除了普通的显卡，还有多种视频卡，如：视频采集卡、电视编码卡、电视接收卡、视频采集卡、电视编码卡、电视接收卡、MPEG压缩压缩/解压卡等。解压卡等。 1055.1 视频采集卡视频采集卡 视频采集卡：也称作视频信号获取器，可以将视频采集卡：也称作视频信号获取器，可以将多种视频源（如电视机、影碟机、录像机、摄多种视频源（如电视机、影碟机、录像机、摄像机等）的视频信息进行捕捉和采集，并转换像机等）的视频信息进行捕捉和采集，并转换成计算机可处理的视频数据文件。成计算机可处理的视频数据文件。 视频采集卡常常集多种卡的功能于一身，

59、如捕视频采集卡常常集多种卡的功能于一身，如捕捉当前视频（视频捕捉卡）、接收电视信号捉当前视频（视频捕捉卡）、接收电视信号（电视卡）、视频的解压（电视卡）、视频的解压（MPEG卡）等。卡）等。 视频采集卡为多媒体视频处理提供了强有力的视频采集卡为多媒体视频处理提供了强有力的硬件支持。硬件支持。106107视频采集卡的工作原理框图视频采集卡的工作原理框图108工作原理工作原理 视频采集卡一般具有多种视频接口，可接收来视频采集卡一般具有多种视频接口，可接收来自摄像机、录像机、自摄像机、录像机、VCD机等多种视频信号，机等多种视频信号，通过视频软件可选择所需的视频源。通过视频软件可选择所需的视频源。

60、视频采集卡将采集到的视频信号先送往视频采集卡将采集到的视频信号先送往ADC进进行行A/D转换，并将获得的信号转换到转换，并将获得的信号转换到RGB彩色彩色空间中，然后送到视频处理芯片进行处理。空间中，然后送到视频处理芯片进行处理。 视频处理芯片可实时地将视频信息存入帧存储视频处理芯片可实时地将视频信息存入帧存储器器VRAM中。中。 输出时需先将输出时需先将RGB信号经信号经DAC进行转换。进行转换。1091105.2 电视编码卡电视编码卡 计算机中的数字视频信息并不能直接在计算机中的数字视频信息并不能直接在模拟电视机上播放。模拟电视机上播放。 电视编码卡（电视编码卡（TV Coder）：能将计