图像处理与理解(第二章)

1、“眼见为实眼见为实”吗？吗？视觉特性视觉特性马赫带效应马赫带效应虽然条带强度恒定，但感觉每个条带不是均匀分布，感虽然条带强度恒定，但感觉每个条带不是均匀分布，感觉每个条带右边比左边亮，看到了一幅带有觉每个条带右边比左边亮，看到了一幅带有毛边毛边（特别（特别是靠近边界处）的亮度图形。是靠近边界处）的亮度图形。马赫带不是由于刺激能量的分布，而是由于神经网络对视觉信息进行加工的结果。 这种在图形轮廓部分发生的主观明度对比加强的现象，称为边缘对比效应。边缘对比效应总是发生在亮度变化最大的边界区域。 同时对比度效应第二章第二章 图像信息基本知识图像信息基本知识一、一、 人眼视觉特性人眼视觉特性 引起视觉

2、的外周感受器官是引起视觉的外周感受器官是眼眼，它由含有，它由含有感光细胞的视网膜和作为附属结构的折光系统感光细胞的视网膜和作为附属结构的折光系统等部分组成。人眼的适宜刺激是波长等部分组成。人眼的适宜刺激是波长370-370-740nm740nm的电磁波；在这个可见光谱的范围内，的电磁波；在这个可见光谱的范围内，人脑通过接受来自视网膜的传入信息，可以分人脑通过接受来自视网膜的传入信息，可以分辨出视网膜像的辨出视网膜像的不同亮度和色泽不同亮度和色泽，因而可以看，因而可以看清视野内发光物体上反光物质的轮廓、形状、清视野内发光物体上反光物质的轮廓、形状、颜色、大小、远近和表面细节等情况。颜色、大小、远

3、近和表面细节等情况。1 1 人眼构造简介人眼构造简介人眼的基本结构如下图所示。人眼的基本结构如下图所示。 人眼的结构和照相机相似：人眼的结构和照相机相似：瞳孔瞳孔的直径可的直径可在在2-82-8毫米间调节毫米间调节-光圈光圈；扁球形弹性；扁球形弹性透明体透明体（晶状体）（晶状体）-透镜透镜；使不同距离的景物在视网；使不同距离的景物在视网膜上成像，膜上成像，视细胞视细胞受到光的刺激产生电脉冲，受到光的刺激产生电脉冲，电脉冲沿着电脉冲沿着神经纤维神经纤维传递到传递到视神经中枢视神经中枢，由于，由于各细胞产生的电脉冲不同，各细胞产生的电脉冲不同，大脑大脑就形成了景象就形成了景象的的感觉感觉。 当用光

4、学原理分析眼的折光特性时，首先当用光学原理分析眼的折光特性时，首先遇到的一个困难是，眼球并非一个薄透镜或单遇到的一个困难是，眼球并非一个薄透镜或单球面折光体，而是球面折光体，而是由一系列曲率半径和折光指由一系列曲率半径和折光指数都不相同的折光体所组成的折光系统数都不相同的折光体所组成的折光系统。 研究表明，正常成人眼处于安静而不进行研究表明，正常成人眼处于安静而不进行调节的状态时，它的折光系统的后主焦点的位调节的状态时，它的折光系统的后主焦点的位置，正好是其视网膜所在的位置。置，正好是其视网膜所在的位置。 这一解剖关系对于理解正常眼的折光成这一解剖关系对于理解正常眼的折光成像能力十分重要。它说

5、明，凡是位于眼前方像能力十分重要。它说明，凡是位于眼前方6m6m以外直至无限远处以外直至无限远处的物体，由于由它们发的物体，由于由它们发出或反射出的光线在到达眼的折光系统时已出或反射出的光线在到达眼的折光系统时已近于近于平行平行，因而都可以在视网膜上形成基本，因而都可以在视网膜上形成基本清晰清晰的像，这正如放置于照相机主焦点处的的像，这正如放置于照相机主焦点处的底片，可以拍出清晰的远景一样。底片，可以拍出清晰的远景一样。 当然，人眼不是无条件的看清任何远处当然，人眼不是无条件的看清任何远处的特体，例如，人眼可以看清楚月亮（或其的特体，例如，人眼可以看清楚月亮（或其他更远的星体）和它表面较大的阴

6、影，但不他更远的星体）和它表面较大的阴影，但不能看清楚月球表面更小的物体或特征。能看清楚月球表面更小的物体或特征。为什么？为什么？造成后一限制的原因有二：造成后一限制的原因有二：一是，如果来自某物体的一是，如果来自某物体的光线过弱光线过弱，或它们在，或它们在空间传播时被散射或吸收，那么它们到达视网空间传播时被散射或吸收，那么它们到达视网膜时已减弱到膜时已减弱到不足以兴奋感光细胞不足以兴奋感光细胞的程度，这的程度，这样就不可能被感知；样就不可能被感知；二是，如果物体过小或它们离眼的二是，如果物体过小或它们离眼的距离过大距离过大，则它们在视网膜上形成的大小，将会则它们在视网膜上形成的大小，将会小到

7、视网小到视网膜分辨能力的限度以下膜分辨能力的限度以下，因而也不能感知。，因而也不能感知。 如果安静状态的眼的折光能力正好把如果安静状态的眼的折光能力正好把6m6m以外的物体成像在视网膜上，那么来自以外的物体成像在视网膜上，那么来自较较6m6m为近为近的物体的光线将是不同程度呈辐的物体的光线将是不同程度呈辐射状的，它们在折射后的成像位置将在射状的，它们在折射后的成像位置将在主主焦点焦点，亦即视网膜的，亦即视网膜的位置之后位置之后；由于光线；由于光线到达视网膜时到达视网膜时尚未聚焦尚未聚焦，因而，因而物像是模糊物像是模糊的，由此也只能引起一个模糊的视觉形象。的，由此也只能引起一个模糊的视觉形象。

8、但正常眼在看近物时为什么也十分清但正常眼在看近物时为什么也十分清楚？楚？ 这是由于眼在看近物时已进行了调节，这是由于眼在看近物时已进行了调节，使进入眼内的光线经历较强的折射，结果也使进入眼内的光线经历较强的折射，结果也能成像在视网膜上。人眼的调节亦即折光能能成像在视网膜上。人眼的调节亦即折光能力的改变，主要是靠晶状体形状的改变。力的改变，主要是靠晶状体形状的改变。眼调节前后睫状体位置和晶状体形状的改变眼调节前后睫状体位置和晶状体形状的改变 瞳孔和瞳孔对光反应瞳孔和瞳孔对光反应 瞳孔指虹膜中间的开孔，是光线进入眼内的瞳孔指虹膜中间的开孔，是光线进入眼内的门户；它在亮光处缩小，在暗光处散大。门户；

9、它在亮光处缩小，在暗光处散大。瞳孔大小随光照强度而变化的反应，是一种瞳孔大小随光照强度而变化的反应，是一种神经反射，称为神经反射，称为瞳孔对光反射瞳孔对光反射。引起此反射的感。引起此反射的感受器就是视网膜，传入纤维在视神经中，但这部受器就是视网膜，传入纤维在视神经中，但这部分纤维在进入中枢后不到达外侧膝状体，而在在分纤维在进入中枢后不到达外侧膝状体，而在在中脑的顶盖前区换神经元，然后到同侧和对侧的中脑的顶盖前区换神经元，然后到同侧和对侧的动眼神经核，传出纤维主要是动眼神经中的副交动眼神经核，传出纤维主要是动眼神经中的副交感纤维，效应器也主要是瞳孔约肌。感纤维，效应器也主要是瞳孔约肌。 有关有关

10、“视网膜的结构和两种感光换能系视网膜的结构和两种感光换能系统统 ”、“视杆细胞的感光换能机制视杆细胞的感光换能机制 ”、“视视锥系统的换能和颜色视觉锥系统的换能和颜色视觉 ”、“视网膜的信视网膜的信息处理息处理 ”等不作介绍，感兴趣的同学可查阅等不作介绍，感兴趣的同学可查阅相关文献相关文献2 2 人眼视觉模型人眼视觉模型（1 1） 点扩展函数和调制转移函数点扩展函数和调制转移函数冲激函数经过光学系统后的成像称为冲激函数经过光学系统后的成像称为点扩展函数点扩展函数（PSFPSF）或冲激响应函数；）或冲激响应函数；经线性移不变系统后得到的图像是原图像经线性移不变系统后得到的图像是原图像与点扩展函数

11、的卷积；与点扩展函数的卷积；称为光学系统的称为光学系统的调制转移函数调制转移函数（MTFMTF）；）；和可以表征一个线性移不变的光和可以表征一个线性移不变的光学系统学系统),;,(yxh),(yxg),(yxf),(yxh),(vuH),(yxh),(vuH（2 2） 人眼视觉模型人眼视觉模型人眼类似一个光学系统。由于神经系统人眼类似一个光学系统。由于神经系统的调节，它又不是普通意义上的光学系统。的调节，它又不是普通意义上的光学系统。建立视觉模型就是力图用线性光学系统的概建立视觉模型就是力图用线性光学系统的概念来解释某些视觉特性，并可进行一些定量念来解释某些视觉特性，并可进行一些定量的分析和预

12、测。的分析和预测。 与波长有关的感受体线性系统（低通）)(1H点非线性（对数）线性系统（带通）)(2H线性系统（延时）)(3fH神经信号1 1）作为一个光学器件，从空间频率的角度来说，）作为一个光学器件，从空间频率的角度来说，是一个低通型线性系统。表明：人眼的分辨力是是一个低通型线性系统。表明：人眼的分辨力是有限的。（瞳孔一定的几何尺寸及视细胞有一定有限的。（瞳孔一定的几何尺寸及视细胞有一定的大小。）的大小。）2 2）人眼对于亮度的响应具有对数性质。人眼正）人眼对于亮度的响应具有对数性质。人眼正是通过这一对数性质来接受宽达倍的亮度范是通过这一对数性质来接受宽达倍的亮度范围。人所能觉察到的亮度增

13、量的度量是以围。人所能觉察到的亮度增量的度量是以B B为底为底的对数增量形式，而不是线性增量：的对数增量形式，而不是线性增量：yyyLLBBlog)(log,218103 3）由于神经系统的作用，从空间频率的角度）由于神经系统的作用，从空间频率的角度来说，人眼又具有带通型线性系统的特性，又来说，人眼又具有带通型线性系统的特性，又称为侧抑制效应。加权求和运算将有带通滤波称为侧抑制效应。加权求和运算将有带通滤波器的效应。器的效应。4 4）从时间上说，人眼对亮度的响应有一定的）从时间上说，人眼对亮度的响应有一定的延时。这是由神经系统时间响应上的限制引起延时。这是由神经系统时间响应上的限制引起的。的。

14、 （3 3）人眼调制转移函数和对数）人眼调制转移函数和对数- -线性系统线性系统 图像处理中大量是静止图像，因此上述模图像处理中大量是静止图像，因此上述模型中的型中的1 1），），2 2），），3 3）三个子系统将起作用。）三个子系统将起作用。为了抵消人眼对亮度响应的对数性质，为了抵消人眼对亮度响应的对数性质，测试人眼视觉系统的实际亮度应当是指数性测试人眼视觉系统的实际亮度应当是指数性的，这样人眼视觉系统可以的，这样人眼视觉系统可以“线性化线性化”，直，直接可测出调制转移函数。接可测出调制转移函数。亮暗在空间上作正弦变化条纹图像的物亮暗在空间上作正弦变化条纹图像的物理对比度和感觉对比度之比随空

15、间频率变化理对比度和感觉对比度之比随空间频率变化而变化的曲线，称为调制转移函数（而变化的曲线，称为调制转移函数（MTFMTF）。）。 3 . 3 . 视觉系统对颜色的感知视觉系统对颜色的感知 可见光的波长范围为可见光的波长范围为380nm380nm780nm780nm，大多数，大多数自然光都是由不同波长的光组合而成。自然光都是由不同波长的光组合而成。 人的视网膜有对红、绿、蓝颜色敏感程度不人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，因此颜色只低的条件下才起作用的杆状体细胞，因此颜色只存

16、在于眼睛和大脑中。存在于眼睛和大脑中。颜色是视觉系统对可见光颜色是视觉系统对可见光的感知结果。的感知结果。 红、绿和蓝三种锥体细胞对不同频率的光的红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，感知程度不同，对不同亮度的感知程度也不同，因此不同组成成分的可见光就呈现出不同的颜色因此不同组成成分的可见光就呈现出不同的颜色. .视觉系统对颜色和亮度的响应特性曲线视觉系统对颜色和亮度的响应特性曲线（各个波长的光的强度相等）（各个波长的光的强度相等）上面的颜色响应曲线表明，人类眼睛对蓝光上面的颜色响应曲线表明，人类眼睛对蓝光的灵敏度远远低于对红光和绿光的灵敏度。的灵敏度

17、远远低于对红光和绿光的灵敏度。亮度响应曲线表明人眼对波长为亮度响应曲线表明人眼对波长为550nm550nm左右的左右的黄绿色最为敏感。黄绿色最为敏感。 许多具有不同光谱分布的光产生的视觉效许多具有不同光谱分布的光产生的视觉效果（颜色）是一样的。即果（颜色）是一样的。即光谱与颜色的对应是光谱与颜色的对应是多对一的多对一的。 光谱分布不同而看上去相同的两种颜色称光谱分布不同而看上去相同的两种颜色称为为条件等色条件等色（匹配等色）。（匹配等色）。 绝大部分可见光谱对眼睛的刺激效果都可绝大部分可见光谱对眼睛的刺激效果都可以用红（以用红（700nm700nm）, ,绿（绿（546.1546.1）, ,蓝

18、（蓝（435.8nm435.8nm）三色光按不同比例和强度的混合来等效表示。三色光按不同比例和强度的混合来等效表示。（三刺激理论三刺激理论）从人的主观感觉角度，颜色包含从人的主观感觉角度，颜色包含三个要素三个要素：(1)(1)色调色调（huehue）：色调反映颜色的类别，如红）：色调反映颜色的类别，如红色、绿色、蓝色等。色调大致对应光谱分布中色、绿色、蓝色等。色调大致对应光谱分布中的主波长。的主波长。(2)(2)饱和度饱和度（SaturationSaturation） 饱和度是指彩色光所呈现颜色的深浅或纯洁饱和度是指彩色光所呈现颜色的深浅或纯洁程度。对于同一色调的彩色光，其饱和度越高，颜程度。

19、对于同一色调的彩色光，其饱和度越高，颜色就越深，或越纯；而饱和度越小，颜色就越浅，色就越深，或越纯；而饱和度越小，颜色就越浅，或纯度越低。高饱和度的彩色光可因掺入白光而降或纯度越低。高饱和度的彩色光可因掺入白光而降低纯度或变浅，变成低饱和度的色光。低纯度或变浅，变成低饱和度的色光。100%100%饱和度饱和度的色光就代表完全没有混入白光的纯色光。的色光就代表完全没有混入白光的纯色光。(3)(3)明亮度明亮度（luminanceluminance） 明亮度是光作用于人眼时引起的明亮程度的感明亮度是光作用于人眼时引起的明亮程度的感觉。一般来说，彩色光能量大则显得亮，反之则暗。觉。一般来说，彩色光能

20、量大则显得亮，反之则暗。 大量试验表明，人的眼睛能分辨大量试验表明，人的眼睛能分辨128128种不同的色种不同的色调，调，10103030种不同的饱和度，而对亮度非常敏感。种不同的饱和度，而对亮度非常敏感。人眼大约可以分辨人眼大约可以分辨3535万种颜色。万种颜色。4. 4. 颜色模型颜色模型 颜色模型（颜色模型（color modelcolor model）是用来精确标定和）是用来精确标定和生成各种颜色的生成各种颜色的一套规则和定义一套规则和定义。 某种颜色模型所标定的所有颜色就构成了一个某种颜色模型所标定的所有颜色就构成了一个颜色空间颜色空间。 颜色空间通常用三维模型表示，空间中的颜色颜色

21、空间通常用三维模型表示，空间中的颜色通常使用代表三个参数的三维坐标来指定通常使用代表三个参数的三维坐标来指定 对于人来说，可以通过色调、饱和度和亮度来对于人来说，可以通过色调、饱和度和亮度来定义颜色（定义颜色（HSLHSL颜色模型）；颜色模型）； 对于显示设备来说，可以用红、绿、蓝磷光体对于显示设备来说，可以用红、绿、蓝磷光体的发光量来描述颜色（的发光量来描述颜色（RGBRGB颜色模型）；颜色模型）； 对于打印设备来说，可以使用青色、品红、黄对于打印设备来说，可以使用青色、品红、黄色和黑色颜料的用量来指定颜色（色和黑色颜料的用量来指定颜色（CMYKCMYK颜色模型）。颜色模型）。(1) RGB

22、(1) RGB颜色模型颜色模型 理论上绝大部分可见光谱都可用红、绿和蓝理论上绝大部分可见光谱都可用红、绿和蓝 (RGB) (RGB) 三色光按不同比例和强度的混合来表示。三色光按不同比例和强度的混合来表示。L LR R( (红色的百分比红色的百分比) )G G( (绿色的百分比绿色的百分比) ) B B( (蓝色的百分比蓝色的百分比) )如如L L0.3R+0.6G+0.1B 0.3R+0.6G+0.1B 当然，这里的系数只是近似的，它具体的值依当然，这里的系数只是近似的，它具体的值依赖于显示器所采用的磷粉标准，以赖于显示器所采用的磷粉标准，以NTSCNTSC视频信号标视频信号标准，则三个系数

23、依次为：准，则三个系数依次为：0.2990.299、0.5870.587、0.114 0.114 RGB RGB模型称为相加混色模型，用于光照、视频和模型称为相加混色模型，用于光照、视频和显示器。例如，显示器通过红、绿和蓝荧光粉发射显示器。例如，显示器通过红、绿和蓝荧光粉发射光线产生彩色。光线产生彩色。(2) CMYK(2) CMYK颜色模型颜色模型在理论上，绝大多数颜色都可以用三种基本颜料（青色在理论上，绝大多数颜色都可以用三种基本颜料（青色cyancyan、品红、品红magentamagenta、和黄色、和黄色yellowyellow）按一定比例混合得）按一定比例混合得到。到。理论上，青色

24、、品红和黄色三种基本色素等量混合能得理论上，青色、品红和黄色三种基本色素等量混合能得到黑色。但实际上，因为所有打印油墨都会包含一些杂到黑色。但实际上，因为所有打印油墨都会包含一些杂质，这三种油墨混合实际上产生一种土灰色，必须与黑质，这三种油墨混合实际上产生一种土灰色，必须与黑色色 (K) (K) 油墨混合才能产生真正的黑色，所以再加入黑色油墨混合才能产生真正的黑色，所以再加入黑色作为基本色形成作为基本色形成CMYKCMYK颜色模型。颜色模型。CMYKCMYK模型称为相减混色模型。模型称为相减混色模型。RGB彩色空间和CMY彩色空间的表示法颜色模型的空间表示颜色模型的空间表示(3)HSL(3)H

25、SL颜色模型颜色模型在在HSLHSL模型中，模型中，H H定义色调；定义色调；S S定义颜色的深浅程度或定义颜色的深浅程度或饱和度；饱和度；L L定义亮度。定义亮度。RGBRGB模型和模型和CMYKCMYK模型主要模型主要是面向设备的，而是面向设备的，而HSLHSL模模型更容易被人理解和控制。型更容易被人理解和控制。（4 4）YIQYIQ颜色模型颜色模型我们也可以将我们也可以将RGBRGB颜色模型转化为颜色模型转化为亮度亮度- -色度色度空间。空间。在在NTSCNTSC视频信号视频信号中使用了中使用了YIQYIQ颜色模型。这是一种颜色模型。这是一种由由RGBRGB转化来的亮度转化来的亮度- -

26、色度模型，该模型中色度模型，该模型中Y Y代表了代表了光源的光源的亮度亮度，而，而色度色度则包含在则包含在I I、Q Q两个参数里。在两个参数里。在参数参数I I中包含了橙中包含了橙- -青的色彩信息，青的色彩信息，Q Q中包含了绿中包含了绿- -品品红的色彩信息。红的色彩信息。由于人眼对于亮度的敏感程度大于对于色度的敏由于人眼对于亮度的敏感程度大于对于色度的敏感程度，因此感程度，因此将最大的带宽分给将最大的带宽分给Y Y信号信号，并且由于，并且由于Y Y信号包含了亮度信号，所以在黑白电视机中就只使信号包含了亮度信号，所以在黑白电视机中就只使用用Y Y信号。信号。下面是下面是RGBYIQRGB

27、YIQ的变换公式：的变换公式： （5 5）YUVYUV颜色模型颜色模型 YUVYUV颜色模型和颜色模型和YIQYIQ颜色模型类似。颜色模型类似。 事实上事实上YUVYUV只是一类颜色模型只是一类颜色模型(YCrCb)(YCrCb)的总称。其的总称。其中中Y Y的定义是相同的，色度信息也是组合在的定义是相同的，色度信息也是组合在CrCr、CbCb中，中，其中其中CrCr代表了光源中的红色分量，代表了光源中的红色分量，CbCb代表了光源中代表了光源中的蓝色分量，因此它的变换公式：的蓝色分量，因此它的变换公式： 二、二、 图像质量评价图像质量评价可懂度可懂度逼真度逼真度1.1.图像质量评估方法与标准

28、图像质量评估方法与标准当前对图像质量的评估方法主要分成两类：主观当前对图像质量的评估方法主要分成两类：主观评价和客观测量。主观评价的方法与标准已相对评价和客观测量。主观评价的方法与标准已相对完善，而客观测量则处于热点研究中。完善，而客观测量则处于热点研究中。1 1）主观评价）主观评价 主观评价的方法是将待评价的图像序列播放给评论主观评价的方法是将待评价的图像序列播放给评论者观看，并记录他们的打分，然后对所有评论者的者观看，并记录他们的打分，然后对所有评论者的打分进行统计，得出平均分作为评价结果。打分进行统计，得出平均分作为评价结果。 很显然，主观评价有几个显著的不足之处：很显然，主观评价有几个

29、显著的不足之处： (1)(1)观察者一般需要是一个群体，并且经过培训观察者一般需要是一个群体，并且经过培训以准确判定主观评测分，人力和物力投入大，为以准确判定主观评测分，人力和物力投入大，为时较长；时较长；(2)(2)图像内容与情节千变万化，观察者个体差异图像内容与情节千变万化，观察者个体差异大，容易发生主观上的偏差；大，容易发生主观上的偏差；(3)(3)主观评价无法进行实时监测；主观评价无法进行实时监测；(4)(4)仅仅只有平均分，如果评测分数低，无法确仅仅只有平均分，如果评测分数低，无法确切定位问题出在哪里。切定位问题出在哪里。 2 2）客观测量）客观测量 客观测量基于仿人眼视觉模型的原理对图像质客观测量基于仿人眼视觉模型的原理对图像质量进行客观评估，并给出客观评价分。近几年，量进行客观评估，并给出客观评价分。近几年，随着人们对人眼视觉系统研究的深入，客观测量随着人们对人眼视觉系统研究的深入，客观测量的方法和工具不断被开发出来，其测量结果也与的方法和工具不断被开发出来，其测量结果也与主观评价较吻合。国际上也成立了主观评价较吻合。国际上也成立了ITU-RITU-R视频质量视频质量专家组专家组(ITU-RVQEG(ITU-RVQEG：VideoQualityExpe