数字视频技术2

1、 数字视频技术第二章视觉特性与颜色空间2010年9月2.1 光的特性光就是电磁波，只不过不同波长范围的光其行为有所不同，例如：长波长的光具有绕射能力适合做无线电传播；红外线波段的光较易转换为热能常作健康治疗使用；X-RAY波段的光穿透力强常作透视使用。104 106 108 1010 1012 1014 1016 频率(Hz) 104 102 100 10-2 10-4 10-6 10-8 波长(m)无线电波 微波 红外线 紫外线 射线可见光可见光：780nm380nm波长颜色红色橙色黄色绿色青色蓝色紫色波长7006205805464804363802.1 光的特性2.2 色彩的感觉光具有强度

2、、波长、频率、偏振、等特性，颜色的由来是人眼对不同波长的光所产生的反应，所以光的色彩是人类自己的一种感觉；当光的强度越强，感觉越亮；当红、绿、蓝色光的强度到达一个平衡点时，眼睛会感觉这时的光线是白色。2.2 色彩的感觉当我们看到一个物体的颜色时，是外界的光照射到该物体，经过吸收与反射后的结果，这时经物体反射而投射到眼睛的，往往不是单一颜色的光，而是连续波长的光。2.2 色彩的感觉红色光源或红色物体反射的光，除了红光之外还含有黄、绿、蓝光，只不过其强度不同，因此所谓红光不是单纯一色的红光，而是由许多颜色的光混合而成的，只是由于红光强度最强，混合后感觉以红色为主；在现实世界里，单一波长的光很少见，

3、只有雷射光或某些特制的灯泡才能造出单一波长的光，一般的光都是由许多不同波长光所合成。2.2 色彩的感觉 同样是红光，成分不同颜色也不同2.2 色彩的感觉标准光源A色温2854k的白光，光谱偏红，相当于充气钨丝白炽灯所产生的光标准光源B色温4874k的白光，近似于中午直射的太阳光标准光源C色温6774k的白光，相当于白天的自然光，是NTSC制的白光标准光源标准光源D色温6504k的白光，相当于白天的平均光照，是PAL制的白光标准光源标准光源E色温为5500k的等能量白光，它为简化色度学计算而采用的一种假想光源，实际不存在2.2 色彩的感觉同一物体在不同光源照射下呈现的颜色也有所不同2.2 色彩的

4、感觉日常所见的光多是由多种波长光混合而成，不同的混合比率，会呈现不同色彩；一个光源所含的各种波长的强度分布（即混合比率）为该光源的光谱，仪器所测叫光谱，眼睛看到就是色彩；直射光的光谱就是组成它的各种波长光之强度分布，反射光的光谱被照射所反射出来的所有波长的光之强度分布。2.3 光的组成不同的色光组合可以构成不同的颜色及亮度，产生万紫千红的世界。色相（Hue）：色彩的种类，也就是所有颜色的集合；亮度（Brightness）：光作用于人眼产生的明亮程度的感觉，彩色光的光功率大则感觉亮，反之暗；饱和度（Saturation）：彩色光所呈现彩色深浅程度（或浓度），同一色相饱和度越高颜色越深；色相与饱和

5、度又合成为色度，既说明彩色光的颜色类别，又说明颜色的深浅程度。2.3.1 色相由图可见，这些光都是以峰值高的光来呈现颜色的；较特别的是洋红色光出现双峰值现象。2.3.2 亮度相同份量的三原色光会构成灰色的光，因此其强度影响到的是亮度；在RGB中加入灰色的亮度，会变得更亮，但一般颜料加了灰色后，则会变暗，是由于前一个符合加色原理后一个符合减色原理。2.3.3 饱和度各色光的强度差异越大，饱和度越高2.4 色彩的数值化色彩模型 人眼能看到火红的跑车，鲜艳的花朵，这些“感觉” 必须以数值化方式来描述才能用电脑加以处理。这种以数值化方式来描述光与色彩的方法，就是所谓的色彩模型(Color Model)

6、； 常见的色彩模型有:RGB 模型、CMYK 模型、HSB模型、L*a*b 模型等几种。 依应用目的不同，适合使用的色彩模型也不同；2.4 色彩的数值化色彩模型色空间（色域），就是一个色彩模型所能呈现的所有颜色的集合，因各种色彩模型的颜色总数不同，色空间就不相同；理想的色空间就是自然界的色空间，各种色彩模型都以此为目标，但往往由于材料或设备的限制，使得色彩模型的色空间都比自然界的颜色少。2.4.1 RGB模型RGB模型是以三原色光来组合成RGB的色空间，适用于直接光源的场合，例如：CRT 、LCD荧幕等；在RGB模型中，色空间里所有的颜色都是由R、G、B (红、绿、蓝)三种光依不同的比例相加而

7、成。RGB的每一色光，含有亮度成分，例如R的成分越多，表示越红越亮。各色光混合后，会比原来单独的色光还亮，称为加色法混色(Additive colors)；适合在以主动光源显示影像的场合使用，如电视、电脑、投影等。2.4.1 RGB模型相加混色的几种方法：空间混色法利用人眼空间细节分辨力差的特点，将三种基色光在同一平面的对应位置充分靠近，只要三个基色光点足够小且充分近，人眼在离开一定距离处将会感到是三种基色光混合后所具有的颜色。时间混色法利用人眼的视觉惰性，顺序地让三种基色光出现在同一表面的同一处，当相隔的时间间隔足够小时，人眼会感到这三种基色光是同时出现的，具有三种基色相加后所得颜色的效果。

8、这种相加混色方法是顺序制彩色电视的基础。生理混色法人的两眼同时分别观看不同颜色的同一彩色景像时，使之同时获得两种彩色印像，两种彩色印像在大脑中产生相加混色的效果。空间混色法 当三基色光点很小且距离很近时，由于人眼视觉分辨率有限，将呈现混合色的色调。2.4.1 RGB模型时间混色法利用人类眼睛视觉暂留的特点,在时域实现混色。三基色光按顺序轮流快速出现2.4.1 RGB模型2.4.1 RGB模型在RGB色彩模型里，所有颜色都是由RGB 3色之中的2色或1色组成，3色组合就变成灰色了！(255,255,128)这个是三色组合（灰色）么？(255,255,128)= (127,127,0)+ (128

9、,128,128)加入灰色光不是变灰暗, 而是增加亮度。2.4.1 RGB模型色轮的径向还代表该颜色的浓度,愈往外缘愈浓,往内则愈淡。2.4.1 RGB模型优缺点：选择RGB颜色空间简化了系统的架构与设计；由于RGB颜色空间使用了多年，采用RGB颜色空间设计的系统可以利用大量已有的软件模块；处理现实世界图像时，生成任何一种颜色RGB三个分量都需要占用相同带宽，使得每个颜色分量的帧缓冲需要同样的像素深度和显示分辨率，不是很有效；为了修改给定像素的亮度或颜色值，必须同时从帧缓冲中读出颜色的三个分量，重新计算颜色和亮度，执行修改计算新的RGB值写回帧缓冲，不是很有效，若能直接以亮度和颜色格式存储图像

10、会更有效。2.4.1 RGB模型绿分量蓝分量红分量习题： 彩色电视屏幕上出现如图所示的彩色图像，试分别画出三个基色光栅的红、绿、蓝光像。黄品青绿灰色白红蓝黑解答：红红黑黑浅红红红黑黑绿黑绿绿浅绿绿黑黑黑黑蓝蓝黑浅蓝蓝黑蓝黑红基色光栅为绿基色光栅为蓝基色光栅为2.4.2 CMYK模型CMYK模型代表由：青色(Cyan)、洋红(Magenta)、黄色(Yellow)及黑色(Black)4色油墨组成的色彩模型；CMYK模型采用的是反射光减色法原理，以青色油墨来说，它会由白光当中吸收红光（减去红光），而将蓝光和绿光反射回来，就看到了青色。2.4.2 CMYK模型当白光分别减去红、绿、蓝时就会产生青(C

11、yan)、洋红(Magenta)、黄(Yellow)三种颜色，CMY是减色法的三原色；颜料是愈混颜色愈来愈暗，证明CMYK色彩模型的减色(Subtractive color)特性；CMYK模型适用于如印刷物之类的反射光场合使用。2.4.2 CMYK模型2.4.2 CMYK模型RGB三色光照到黄色物体，黄色物体会吸收（减去）蓝光，只剩下红、绿光，而红、绿光会组成黄光；2.4.2 CMYK模型2.4.2 CMYK模型2.4.2 CMYK模型CMYK色彩模型的成色原理：色光三原色两两相互混合时，产生的颜色就是原料三原色(CMY)。2.4.2 CMYK模型理论上CMY是颜料的三原色，由减色原理可知：将

12、这三原色混合在一起时应该产生黑色，但实际上由于颜料的特性与纯度，往往只能产生深褐色而非黑色；为了产生纯粹的黑色，在CMY三色之外再加上黑色(K)，以表现纯黑色，并可以籍此减少其它油墨的使用量；CMYK模型适用于印刷专业场合，其它场合并不会使用到。2.4.2 CMYK模型检色器交谈窗中CMY色为最大值100%时的RGB值都不是最大值2552.4.2 CMYK模型由检色器来实验，C100G255+B255， C100= G174+B239；M100=R236+B140、Y100=R255+G242 ；由色轮也可看出，Y并不在60度上，而是偏R；C不在180度上，而是偏B；M则偏R；由此可知，CMY

13、并非理想上由RGB以简单比率组合而成，它们之间的转换比想象中复杂（这就是Photoshop的价值）。2.4.2 CMYK模型注意：CMY在最饱和100时，RGB255！这代表CMY已达到极致时，RGB仍有未表现的空间；RGB色空间大于CMY色空间。2.4.2 CMYK模型目前常见的相片印表机也是使用CMYK四色印刷（有的使用6到7色印刷以提高颜色数量），但在修整相片时，还是要用到RGB模式，等到列印相片时印表机的驱动程式会自动把RGB影像转换成6至7色的颜料来印刷，这种转换过程叫做RIP (Raster Image Procession)。2.4.2 CMYK模型2.4.2 CMYK模型 RG

14、B CMYRGB和CMY值都归一到【0，1】2.4.3 HSB模型HSB模型是最符合人类思考逻辑的色彩模型，与RGB及CMYK最大不同之处在于：HSB模型将亮度B (Brightness) 由色彩参数中抽离出来，也就是说色彩只是色彩，不带有亮度的成分，因此混色时不会有加减亮度的情形发生；至于色彩部分则又分为彩色的种类(Hue，色相) 和色彩的饱和度(Saturation，饱和度)2个参数来描述色彩，广泛用于计算机视觉，视频检索；从Photoshop的检色器(color picker) 中设定一个H 值，就等于从色空间当中选定一个颜色，至于S值 则是用来设定该颜色的饱和度。2.4.3 HSB模型

15、2.4.3 HSB模型2.4.3 HSB模型BBB2.4.3 HSB模型 RGB HSB2.4.3 HSB模型 RGB图像和与之对应的HSB图像分量2.4.4 L*a*b模型2.4.4 L*a*b模型1931 CIE颜色空间上X+Y+Z=1的平面CIE 1931 XYZ颜色空间2.4.4 L*a*b模型(a) 色度图(b) 轮廓图2.4.4 L*a*b模型CIE 1931 xyY色度图的缺点：明度没有反映感知非均匀两种颜色之间的距离与这对两种颜色感知的色差有差异在不同区域中的线段长度不相等表示对颜色的感知不均匀。较短的线段表示对颜色的变化较敏感长度差别表示色度图中各部分之间的畸变量 CIE 1

16、931 xyY色度图的感知均匀性2.4.4 L*a*b模型CIE 1976 LAB是什么CIE 1931 XYZ颜色空间的一种数学变换使用最广泛的物体颜色度量方法，并作为度量颜色的国际标准可简写为CIELAB，也称CIE 1976 L*a*b* (简写为CIE L*a*b*)颜色空间，或称为CIELAB/CIEL*A*B*色差制(CIELAB color difference metric) CIE 1976 L*a*b*和CIE 1931 XYZ颜色空间相同之处使用相同的基本原理，即颜色是光、物体和观察者组合的结果三种基色值是用CIE定义的光、物体和观察者的数据进行计算得到的2.4.4 L*

17、a*b模型不同之处CIE 1976 L*a*b*是建筑在对色视觉理论(opponent color theory of vision)之上的颜色空间，CIE 1931 XYZ是建筑在三基色理论之上的颜色空间注：对色视觉理论Ewald Hering理论 Ewald Hering(1834-1918)是德国籍奥地利的生理和心理学家与Helmholtz的三色理论相反的成对出现的四色理论19世纪70年代，他认为基本色调的数目不是红、绿和蓝三种，而是红、黄、绿和蓝四种基色，红绿和黄蓝构成两对对立色调(opponent hue)，黑-白是另外一对红和黄认为是“暖色(warm color)”，而绿和蓝是冷色

18、(cool color)与长期被人们接受的三基色刺激理论不兼容通过对眼睛中的颜色感受器的研究，以及对感受器在视网膜上相互连接的复杂性的研究，现代的颜色视觉观点已经开始接受这种理论2.4.4 L*a*b模型L*a*b模型是由一个明度(L，Luminance，即亮度B) 和a 、b 两个彩度参数组成；a彩度参数的范围是由绿到红色，b彩度参数则是由蓝到黄色；L*a*b模型是目前各色彩模型中，能描述出最多色彩（最大色空间）的模型；因此Photoshop将它定为整个软件的内在标准色彩模型，不论用哪个色彩模型，还是如何转换色彩模型，都会先经过L*a*b色彩模型来比对色彩，这样可以把色彩的误差降到最低，也就

19、是最能保持影像原来的色彩。2.4.4 L*a*b模型2.4.4 L*a*b模型2.4.4 L*a*b模型2.4.4 L*a*b模型X,Y,Z试样的三刺激值；Xn,Yn,Zn全反射漫射体的三刺激值2.4.4 L*a*b模型 均匀彩色空间是一个同样大小的彩色坐标变化对应同样大小的可识别的可见彩色色调和饱和度变化的彩色空间； 国际照明委员会建议将CIE1976L*a*b*彩色空间作为均匀彩色空间的近似。2.4.4 L*a*b模型 优势：不像 RGB 和CMYK 色彩空间，Lab 颜色被设计来接近人类视觉；致力于感知均匀性，L 分量密切匹配人类亮度感知。因此可以被用来通过修改a和b 分量的输出色阶来做

20、精确的颜色平衡，或使用L分量来调整亮度对比，这在RGB和CMYK中是困难的或不可实现的；Lab空间比计算机显示器、打印机甚至比人类视觉的色域都要大，表示为Lab的位图比RGB或CMYK位图获得同样的精度要求更多的每像素数据；Lab空间内的很多“颜色”超出了人类视觉的色域，纯碎是假想的，这些“颜色”不能在物理世界中再生。2.4.5 YUV模型 YUV是被欧洲电视系统所采用的一种颜色编码方法，采用YUV色彩空间的重要性是它的亮度信号和色度信号是分离的，解决彩色电视和黑白电视兼容的问题； YUV主要用于优化彩色视频信号的传输，只需占用极少的频宽。2.4.5 YUV模型2.4.5 YUV模型 RGB

21、YUV2.4.6 YIQ模型 YIQ颜色空间是由YUV推导而来，NTSC复合颜色视频标准有选择的使用YUV颜色空间； I代表“同相”，Q代表“正交”，它们指的是用于发射颜色信息的调制方法； I、Q是通过将U、V轴逆时针旋转33度获得的。2.4.6 YIQ模型2.4.6 YIQ模型 RGB YIQ2.4.7 YCbCr模型 随着世界范围内数字分量视频标准的发展，YCbCr颜色空间作为ITU-R.BT.601的一部分发展起来了，它是YUV颜色空间的缩放和偏移版本； Y定义为具有8位，标称表示颜色范围为16235，Cb和Cr标称表示颜色范围为16240；2.4.7 YCbCr模型2.4.7 YCbC

22、r模型 RGB YCbCr2.4.7 YCbCr模型注意： 当YCbCr向RGB转换时，得到的RGB标称范围16235，取值可能偶尔会偏移到015和236255的范围内，这是由于视频处理和噪声的缘故，Y和CbCr分别会偶尔超出16235和16240的范围。2.4.7 YCbCr模型数值范围白黄青绿品红红蓝黑SDTVY16 23518016213111284653516Cb16 2401284415672184100212128Cr16 2401281424458198212114128HDTVY16 23518016814513363512816Cb16 2401284414763193109

23、212128Cr16 24012813644522042121201282.4.7 YCbCr模型应用举例：在RGB空间里人脸的肤色受亮度影响相当大，所以肤色点很难从非肤色点中分离出来，也就是说在此空间经过处理后，肤色点是离散的点，中间嵌有很多非肤色，这为肤色区域标定(人脸标定、眼睛等)带来了难题；如果把RGB转为YCrCb空间的话，可以忽略Y(亮度)的影响，因为该空间受亮度影响很小，肤色会产生很好的类聚。这样就把三维的空间将为二维的CrCb，肤色点会形成一定得形状，如：人脸的话会看到一个人脸的区域，手臂的话会看到一条手臂的形态，对处理模式识别很有好处；根据经验某点的CrCb值满足：133Cr

24、173，77Cb127 那么该点被认为是肤色点，其他的就为非肤色点。 2.4.7 YCbCr模型颜色空间的转换关系电视系统的颜色空间2.5 视觉特性 人们对物体产生某种光的感觉，一方面取决于电磁辐射对眼睛的物理刺激，另一方面取决于眼睛的视觉特性； 对颜色的标定最终要符合人眼的视觉特性，因此，计算颜色的一些基本数据都是来自于许多观察者的颜色视觉实验结果。2.5 视觉特性视觉是由眼接收外界光刺激，通过视神经、大脑中的视觉中枢的共同活动来完成的。外界物体发出或反射的光线，从眼睛的角膜、瞳孔进入眼球，穿过如放大镜的晶状体，使光线聚焦在眼底的视网膜上，形成物体的像。图像刺激视网膜上的感光细胞，产生神经冲

25、动，沿着视神经传到大脑的视觉中枢，在那里进行分析和整理，产生具有形态、大小、明暗、色彩和运动的视觉。由于晶状体的凸度可以由睫状肌调节，因此在一定范围内，不同远近的物体，都可以形成清晰的图像落在视网膜上。2.5.1 人眼的构造 眼睛获取信息的途径光敏细胞杆状细胞： 灵敏度较高，能帮助我们看到较暗环境下的景物，但只能分辨出景物的明亮程度，不能分辨出其颜色。锥状细胞： 灵敏度较低，既能分辨出景物的明亮程度，又能分辨出其颜色。总的来说，人眼对亮度的敏感程度比对色度的敏感程度高。2.5.1 人眼的构造杆、锥状细胞数中央凹耳侧鼻侧盲点2.5.1 人眼的构造明视觉暗视觉中介视觉颜色适应310-5cd/m23

26、cd/m23105cd/m2暗视觉明视觉中介视觉2.5.1 人眼的构造人既有视杆细胞，又有视锥细胞，所以既能在夜间看到物体的形态，又能在白天看到物体的颜色。猫头鹰只有视杆细胞，没有视锥细胞，所以它在夜间视觉敏锐，一到白天就什么也看不见，它也不能感觉色彩，是个十足的色盲。与猫头鹰相反，鸽子和鸡却只有视锥细胞，没有视杆细胞，所以是天生的夜盲。 2.5.1 人眼的构造 两种细胞有着各自不同的光谱灵敏度曲线：杆状细胞对短波成分更敏感；锥状细胞对长波成分更敏感；由它们综合作用而形成的人眼相对灵敏度曲线也会发生变化，随亮度的下降，向短波方向移动，正是杆状细胞作用不断增强的表现。2.5.1 人眼的构造对于辐

27、射功率相同而波长不同的光人眼有不同的光亮感觉，这一特性称为视敏特性。描述人眼视敏特性的物理量为视敏函数和相对视敏函数。在人眼得到相同亮度感觉的情况下,对某波长光所需的辐射功率Pr()越大，说明人眼对它越不敏感；反之所需的辐射功率越小，人眼对它越敏感。视敏函数 K()=1/Pr()实验表明，明亮环境中人眼对波长为555nm的黄绿光最敏感。2.5.1 人眼的构造 对视野（周边视觉范围）的研究：在相同的亮度水平下，不论明视觉还是暗视觉，短波成份多的蓝绿色比长波成分多的红白色光源有更大的视野；随着亮度水平的不断下降，长波视野的减小程度要远远高于短波，因为杆状细胞对周边视觉的作用。2.5.1 人眼的构造

28、 杆状细胞对运动物体的感应作用：人眼的视觉分为两种渠道：维持型和短暂型；前者主要对物体的颜色和细节区分起作用，后者则是对暂时性的明亮改变更敏感；对运动的感知是一种短暂型视觉渠道，实验发现：在对运动感知的主观判断上以长波为观察背景的得分要比短波为背景的低很多;锥状细胞的暂时分辨能力很差，而对短波成分敏感的杆状细胞暂时分辨力较好。2.5.2 人的视觉模型 一、点光源的表示函数：点源可用函数表示；任意一幅图像可表示为：2.5.2 人的视觉模型 二、光学成像系统的表示f(x,y)光学成像系统Tg(x,y)2.5.2 人的视觉模型 三、人的视觉模型f1低通对数高通f4h1(x)H1(w)H2(w)h2(

29、x)log(x)f2f32.5.3 人的视觉特性 一、视觉范围人眼视觉系统对亮度的响应具有对数性质，是单调的非线性系统。实验证明，这一非线性接近1/3的幂指数函数。人眼通过这一对数性质，达到宽达108的视觉亮度范围。但在固定背景光的条件下，适应范围并不宽，约几十个灰度级。2.5.3 人的视觉特性 二、视亮度亮度感觉人眼的亮度感觉是一个主观量，它不仅取决于景物给出的亮度值，而且还与人眼对周围环境的平均亮度的适应特性有关。眼睛对光强的响应是非线性的。一块光强为I+ I的小块被背景强度I所包围，则可觉察的差值I是I的函数，即对视觉敏感的是对比度，而不是亮度值本身。对比度景物或重现图像最大亮度和最小亮

30、度的比值。2.5.3 人的视觉特性人眼的视亮度差别决定于相对亮度变化，视亮度增量可用相对亮度增量来衡量，即：经积分得到视亮度：视亮度与亮度的对数成线性关系费赫涅尔定律。2.5.3 人的视觉特性曲线中较长一段是线性的；曲线下部有相交的两分支，表示两种光敏细胞的感觉不同；曲线表明人眼的视觉范围相当宽；穿过实线上某些点的虚线反映当眼睛适应该点亮度后，能分辨的不同亮度的视觉范围（如虚线所示）小得多；当眼睛适应于不同平均亮度时，其视觉范围不同；同一亮度在不同条件下对人眼可引起不同的视亮度；视亮度与亮度的关系曲线2.5.3 人的视觉特性 人眼的适应性暗适应当我们进入黑洞洞的暗房，什么也看不见，但一会儿眼睛

31、就适应 ；亮适应半夜起床开了灯的瞬间, 由于人眼不能马上适应亮度的变化, 会处于暂时失明的状态。人眼需要一定的时间来重新达到最大灵敏度, 并恢复辨别物体的细微特征的能力。 局部适应由于视网膜对局部区域有较高的灵敏度，人眼能够观察到高对比度的场景。局部适应性使人眼在明亮和阴暗的区域仍然可观察到细节。 2.5.3 人的视觉特性适应性引起的对比效应 亮度对比效应人眼对亮暗程度所形成的“黑”、“白”感觉具有相对性，即按对比度感觉物体亮度对比。2.5.3 人的视觉特性重现景物的亮度范围无需与实际景物的相等，只需保持二者对比度相同；人眼不能察觉的亮度差别，在重现景象上也无需精确复制出来；只要重现景物与实际景物对主观感觉来说具有相同的对比度和亮度层次（亮度差别级数），就能给人以真实的感觉。这给电视图像的传输与重现