图像与视觉基础

图像与视觉基础第一页，共一百零四页，2022年，8月28日1.采样和量化●一幅图像必须在空间和灰度上都离散化计算机才可以处理。空间采样―空间坐标的离散化。

灰度量化－灰度的离散化。第二页，共一百零四页，2022年，8月28日1.1均匀采样和量化例如:只取交叉点象素的灰度值，记为：f(x,y)，构成图像文件→数字图像若Δx，Δy不变－均匀采样。

△y△x第三页，共一百零四页，2022年，8月28日1.1均匀采样和量化●图像空间分辨率N：M×N－采样。图像f(x,y)中0≤x≤M，0≤y≤N265x180133x9066x4533x22第四页，共一百零四页，2022年，8月28日1.1均匀采样和量化●图像密度分辨率K：灰度级G－量化256灰度级16灰度级8灰度级4灰度级第五页，共一百零四页，2022年，8月28日1.2非均匀采样●若M×N固定，改变Δx，Δy。比如：对人的脸Δx，Δy取小，背景Δx，Δy取大。●原则：在灰度变化大时用较密的采样。●缺点：①要确定边缘。②对含有较少均匀区域的图像也不使用，例如人群照片。

第六页，共一百零四页，2022年，8月28日1.3非均匀量化●人眼在灰度变化剧烈区估计灰度的能力差。－较少的灰度级,对边缘用较少的灰度级。

●在灰度变化平缓区估计灰度的能力好。－较多的灰度级

第七页，共一百零四页，2022年，8月28日1.3非均匀量化马赫带效应

(Machbandeffect)第八页，共一百零四页，2022年，8月28日1.3非均匀量化原因：T亮度感觉实际①突变时有放大作用――警灯闪的原因②视觉暂留

第九页，共一百零四页，2022年，8月28日2.图像的颜色模型

2.1、视觉系统对颜色的感知

颜色是视觉系统对可见光的感知结果。可见光是波长在380nm-780nm之间的电磁波。

第十页，共一百零四页，2022年，8月28日2.1视觉系统对颜色的感知第十一页，共一百零四页，2022年，8月28日2.1视觉系统对颜色的感知

●我们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，杆状细胞主要提供视野的整体视象，对低照度较敏感。

第十二页，共一百零四页，2022年，8月28日2.1视觉系统对颜色的感知●红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，如图2.2所示。

第十三页，共一百零四页，2022年，8月28日2.2常用颜色模型

常用颜色模型分为两类：●面向设备如：CMY、RGB、YUV、YIQ、YCrCb

●面向视觉系统如：HSV、HIS等●面向计算如：CIE-XYZ第十四页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型

●计算机显示器使用的阴极射线管CRT(cathoderaytube)是一个有源物体。CRT使用3个电子枪分别产生红(Red)、绿(Green)和蓝(Blue)三种波长的光，并以各种不同的相对强度综合起来产生颜色。

第十五页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型第十六页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型

●从理论上讲，任何一种颜色都可用三基色按不同的比例混合得到。它们的比例不同，我们看到的颜色也就不同。某一种颜色和这三种颜色之间的关系可用下面的式子来描述：

某一彩色＝rR＋gG＋bB

其中r,g,b分别为RGB分量的份数第十七页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型●当三基色等量相加时，得到白色；●等量的红绿相加而蓝为0值时得到黄色（Yellow）；●等量的红蓝相加而绿为0时得到品红(magenta)；●等量的绿蓝相加而红为0时得到青色(cyan)。●三基色相加的结果如图所示。第十八页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型●象素值，它表示特定颜色的强度。一个象素值往往用R、G、B三个分量表示。第十九页，共一百零四页，2022年，8月28日2.2.1RGB相加混色模型

RGB彩色空间也可以由图所示的立方体来表示。第二十页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型

●用彩色墨水或颜料进行混合，这样得到的颜色称为相减色。在理论上说，任何一种颜色都可以用三种基本颜料按一定比例混合得到。这三种颜色是青色(Cyan)、品红(Magenta)和黄色(Yellow)，通常写成CMY，称为CMY模型。用这种方法产生的颜色之所以称为相减色，乃是因为它减少了为视觉系统识别颜色所需要的反射光。第二十一页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型在相加混色中：●白色－R＝G＋B＝CRC互补色。

（青色颜料吸收红光，显示青色）●白色－G＝R＋B＝MGM互补色。●白色－B＝R＋G＝YBY互补色第二十二页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型这些三基色相减结果如图所示C＋Y＝白－R－B＝GC＋M＋Y＝白－R―G―B＝黑

第二十三页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型●彩色打印机采用的就是这种原理，印刷彩色图片也是采用这种原理。由于彩色墨水和颜料的化学特性，用等量的三基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色(blackink)，所以CMY又写成CMYK。第二十四页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型●相加色与相减色之间有一个直接关系，如下表所示。利用它们之间的关系，可以把显示的颜色转换成输出打印的颜色。相加混色和相减混色之间成对出现互补色。例如，当RGB为1∶1∶1时，在相加混色中产生白色，而CMY为1∶1∶1时，在相减混色中产生黑色。从另一个角度也可以看它们的互补性。从表中可以看到，在RGB中的颜色为1的地方，在CMY对应的位置上，其颜色值为0。例如RGB为0∶1∶0时，对应CMY为1∶0∶1。第二十五页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型

相加混色

相减混色

生成的颜色

RGBCMY000111黑K001110蓝B010101绿G011100青C100011红R101010品红M110001黄Y111000白W第二十六页，共一百零四页，2022年，8月28日2.2.2CMY相减混色模型

CMY彩色空间也可以使用图示的立方体来表示。第二十七页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型●在彩色电视制式中，使用YUV和YIQ模型来表示彩色图像。电视信号在发射时，转换成YUV或YIQ形式，接收时再还原成RGB三基色信号，由显像管显示。●

YUV：Y表示亮度，UV用来表示色差，U、V是构成彩色的两个分量；(PAL制和SECAM)●YIQ：其中的Y表示亮度，I、Q是两个彩色分量。(NTSC制)第二十八页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型●优点：(1)YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。此外，黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性。第二十九页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型(2)可以利用人眼的特性来降低数字彩色图像所需要的存储容量。人眼对彩色细节的分辨能力远比对亮度细节的分辨能力低。若把人眼刚能分辨出的黑白相间的条纹换成不同颜色的彩色条纹，那末眼睛就不再能分辨出条纹来。由于这个原因，就可以把彩色分量的分辨率降低而不明显影响图像的质量，因而就可以把几个相邻象素不同的彩色值当作相同的彩色值来处理，从而减少所需的存储容量。第三十页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型例如：要存储RGB8∶8∶8的彩色图像，即R、G和B分量都用8位二进制数表示，图像的大小为640×480象素，那末所需要的存储容量为640×480×3＝921600字节。如果用YUV来表示同一幅彩色图像，并且Y、U、V分量仍然各用8位表示，而对每四个相邻象素(2×2)的U、V值分别用相同的一个值表示，那末存储同样的一幅图像所需的存储空间就减少到640×480×1+640×480×2/4=460800字节。这实际上也是图像压缩技术的一种方法。第三十一页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型●

RGB和YUV的对应关系可以近似地用下面的方程式表示：

Y=0.299R+0.587G+0.114BU=-0.147R-0.289G+0.436BV=0.615R-0.515G-0.100B第三十二页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型或者写成矩阵的形式：第三十三页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型●

RGB和YIQ的对应关系用下面的方程式表示：

Y=0.299R+0.587G+0.114BI=0.596R-0.275G-0.321BQ=0.212R-0.523G+0.311B第三十四页，共一百零四页，2022年，8月28日2.2.3YUV与YIQ模型或者写成矩阵的形式：第三十五页，共一百零四页，2022年，8月28日2.2.4YCrCb模型●数字域中的彩色空间与模拟域的彩色空间(YIQ、YUV)不同。它们的分量使用Y、Cr和Cb来表示，是JPEG数字图像标准和MPEG数字视频标准。它是从YUV系统衍生出来的。其中Y还是指亮度，Cr和Cb是将U、V作少量调整而得到的。适用于计算机用的显示器。第三十六页，共一百零四页，2022年，8月28日2.2.4YCrCb模型它与RGB空间的转换关系如下：

Y＝0.299R＋0.578G＋0.114BCr＝(0.500R－0.4187G－0.0813B)＋128Cb=(-0.1687R－0.3313G＋0.500B)＋128第三十七页，共一百零四页，2022年，8月28日2.2.4YCrCb模型或者写成矩阵的形式：

或写成如下的形式：

第三十八页，共一百零四页，2022年，8月28日●

这个模型基于两个重要的事实：其一，I分量与图像的彩色信息无关；其二，H和S分量与人感受颜色的方式是紧密相连的。这种彩色系统格式的设计反映了人类观察彩色的方式。如：红色又分为浅红和深红色等等。

2.2.5HSI模型第三十九页，共一百零四页，2022年，8月28日●

I（Intensity）－亮度。表示光照强度。它确定了像素的整体亮度，而不管其颜色是什么。通常用0％（黑色）－100％（白色）的百分比来度量。若I从0％－100％，即从黑变到白。对任一个I，R=G=B。（灰度图）降低亮度时，颜色就暗，相当于掺入黑色。

2.2.5HSI模型第四十页，共一百零四页，2022年，8月28日●

H（Hue）－色调。反映了该颜色的光谱波长。在HIS模型中由角度表示。0o为红色，120o为绿色，240o为蓝色。0o到240o覆盖了所有可见光谱的颜色，240o到300o是人眼可见的非光谱色（紫色）。2.2.5HSI模型第四十一页，共一百零四页，2022年，8月28日●

S（Saturation）－饱和度。它反映的是纯色中加入白光的多少。饱和度参数是色环的原点到彩色点的半径长度。在环的外围圆周是纯的或称饱和的颜色，其饱和度值为1。在中心是中性（灰）影调，即饱和度为0。2.2.5HSI模型第四十二页，共一百零四页，2022年，8月28日2.2.5HSI模型第四十三页，共一百零四页，2022年，8月28日

1.RGB到HSI的转换：2.2.5HSI模型第四十四页，共一百零四页，2022年，8月28日2.HSI到RGB的转换1）2.2.5HSI模型第四十五页，共一百零四页，2022年，8月28日2.HSI到RGB的转换2）2.2.5HSI模型第四十六页，共一百零四页，2022年，8月28日2.HSI到RGB的转换3）2.2.5HSI模型第四十七页，共一百零四页，2022年，8月28日2.2.6CIE色度图●前已说明了几种选择三基色的方法，实用中要求三基色必须容易获得，且配出的颜色要尽可能多。为此国际照明委员会（CIE）规定红、绿、蓝三原色的波长分别为700nm、546.1nm、435.8nm。

第四十八页，共一百零四页，2022年，8月28日2.2.6CIE色度图●在颜色匹配实验中，当这三原色光的相对亮度比例φR:φG:φB=1.0000：4.5907：0.0601时就能匹配出等能白光，所以CIE选取这一比例作为红、绿、蓝三原色的单位量。即（R）：（G）：（B）=1：1：1。●尽管这时三原色的亮度值并不等，但CIE却把每一原色的亮度值作为一个单位看待，所以色光加色法中红、绿、蓝三原色光等比例混合结果为白光，即1（R）+1（G）+1（B）=白。任一颜色可表示为：C=rR+gG+bB第四十九页，共一百零四页，2022年，8月28日2.2.6CIE色度图●这种物理三基色使用起来不便，用它计算各种彩色时，三色系数有时会出现负值（这是因为待配色为单色光，其饱和度很高，而三原色光混合后饱和度必然降低，无法和待配色实现匹配）。为此，CIE提出了一种虚拟的计算三基色——（XYZ）标准色度系统。第五十页，共一百零四页，2022年，8月28日2.2.6CIE色度图●定义了虚拟的三基色(X),(Y),(Z)。任一颜色可表示为：

C=X(X)+Y(Y)+Z(Z)(X)(Y)(Z)与(R)(G)(B)的转换关系为：(X)(Y)(Z)0.4185-0.09120.0009-0.15870.2524-0.0025-0.08280.01570.1786(R)(G)(B)＝第五十一页，共一百零四页，2022年，8月28日2.2.6CIE色度图用m=X+Y+Z来归一化：

x=X/m y=Y/mz=Z/m

则：x+y+z=1第五十二页，共一百零四页，2022年，8月28日2.2.6CIE色度图●用x,y,z画出相对色系数图称为：XYZ色度图。由于x+y+z=1，所以只要画出x,y坐标，z的坐标可以计算出来。

第五十三页，共一百零四页，2022年，8月28日2.2.6CIE色度图●在色度图中：①舌形图中每点对应一种可见颜色。②边界上的点为饱和色（纯色），非边界上的点为非饱和色。第五十四页，共一百零四页，2022年，8月28日2.2.6CIE色度图作用：（1）测量任一种颜色的主波长和饱和度。BAMNλA＝λBA色与B色的色调相同A色的饱和度＝AC/BC第五十五页，共一百零四页，2022年，8月28日2.2.6CIE色度图作用：（2）确定互补色MN互为互补色

BAMN对N点的波长只能用互补色的波长来表示。第五十六页，共一百零四页，2022年，8月28日2.2.6CIE色度图作用：（3）确定若干种颜色能混合出的色域色度图中任意两点的连线表示这两种颜色能混和出来的颜色。CMY与RGB色域不同。

第五十七页，共一百零四页，2022年，8月28日3

象素间的联系

3.1象素的邻域

对于坐标为（x,y）的象素P，与它在水平与垂直方向上相邻的有四个象素，这些象素组成了（x,y）的4-邻域，记为如图：P第五十八页，共一百零四页，2022年，8月28日3.1象素的邻域●象素P的4个对角近邻象素与P的4-邻域象素一起，组成P的8－邻域，记为如图：

P

PND（P）N8（P）第五十九页，共一百零四页，2022年，8月28日3.2象素的连接●要确定两个象素是否连接有两个条件：①两个象素是否接触（例如是否为4－近邻象素）；②灰度值是否满足特定的相似准则（如灰度相同）。

●用V来定义连接的灰度集合。例如在一幅灰度图中，考虑灰度在8－16之间象素的连通性。则V=｛8，9，10，11，12，13，14，15，16｝第六十页，共一百零四页，2022年，8月28日3.2象素的连接定义：①4－连接：2个象素p和r在V中取值，且r在中②8－连接：2个象素p和r在V中取值，且r在中③m－连接：2个象素p和r在V中取值且满足下列条件之一：

a）r在

b）r在中，且∩为空集第六十一页，共一百零四页，2022年，8月28日3.2象素的连接例如V=｛1,2｝1120001它是一个8－连接，不是一个4－连接由于允许8－连接就产生了歧义性（即中心象素与右上角象素之间有两条连线）用m－连接即可消除（斜线的m－连接不成立）第六十二页，共一百零四页，2022年，8月28日3.2象素的连接m－连接1120001第六十三页，共一百零四页，2022年，8月28日3.3连通性

●设p和q是1个图像子集S中的两个象素，如果存在1条完全由在S中象素组成的从p到q的通路，那么称p在S中与q相连通。

●对S中的任1个象素p，所有与p相连通又在S中的象素的集合（包括p）称为S的1个连接成分。

第六十四页，共一百零四页，2022年，8月28日3.3连通性

●在二值图像连接成分的场合，若“1”象素用8－连接/4－连接，那么“0”象素必须用相反的4－连接/8－连接，否则会出错。

0000001100010100111000000“1”用8－连接，“0”就必须用4－连接。否则被包围的“0”象素就会与右上角的“0”象素相连第六十五页，共一百零四页，2022年，8月28日3.3连通性

●在“0”的连接成分中，若存在和图像外围的1行或1列的“0”象素不相连的成分，则称为孔。包含孔的“1”的连接成分叫多重连接成分。不包含孔的“1”的连接成分叫单连接成分。第六十六页，共一百零四页，2022年，8月28日3.3连通性

单连通成分0000000000001110000100001011000111001111100111101000100111101111100000000000000010000000000000000

多连通成分孔第六十七页，共一百零四页，2022年，8月28日3.3连通性

欧拉数E＝连通成分数C－孔数C

上例中E=1

第六十八页，共一百零四页，2022年，8月28日3.4象素间的距离●

给定三个象素p、q、r，坐标分别为(x,y)，(s,t)，(u,v)，则其距离度量函数应满足如下三个条件：

1）（当且仅当p=q）

2）

3）

第六十九页，共一百零四页，2022年，8月28日3.4象素间的距离①点p(x,y),q(s,t)之间的欧式距离定义为：

根据这个距离度量，与（x,y）的距离小于或等于某个值d的象素都包括在以（x,y）为中心的以d为半径的园中。第七十页，共一百零四页，2022年，8月28日2121012123.4象素间的距离欧式距离第七十一页，共一百零四页，2022年，8月28日3.4象素间的距离②D4距离（城区距离）：

根据这个距离度量，与（x,y）的D4距离小于或等于某个值d的象素组成以（x,y）为中心的菱形。第七十二页，共一百零四页，2022年，8月28日3233212321012321233233.4象素间的距离D4距离第七十三页，共一百零四页，2022年，8月28日3.4象素间的距离③D8距离（棋盘距离）：

根据这个距离度量，与（x,y）的距离小于或等于某个值d的象素组成以（x,y）为中心的正方形。第七十四页，共一百零四页，2022年，8月28日22222211122101221112222223.4象素间的距离D8距离第七十五页，共一百零四页，2022年，8月28日4.图像的运算4.1算术和逻辑运算

算术运算一般用于灰度图像。两个象素p、q间的算术运算有：加法记为p+q

减法记为p-q

乘法记为p*q(pq或p×q)

除法记为P÷q

第七十六页，共一百零四页，2022年，8月28日4.1算术和逻辑运算图像加法一般用于对同一场景的多幅图像求平均效果，以便有效地降低具有叠加性质的随机噪声。给一幅图像的每一个象素加上一个常数，可以使图像的亮度增加。生成图象叠加效果。第七十七页，共一百零四页，2022年，8月28日4.1算术和逻辑运算图像减法是医学成像中的基本工具之一，主要用来去除固定的背景信息，检测变化及运动物体。（左图：背景中图：前景右图：变化区域）第七十八页，共一百零四页，2022年，8月28日4.1算术和逻辑运算图像乘法主要用于校正由于照明或传感器非均匀造成的图像灰度阴影。例如给图像乘以一个常数k，若k>1，可以增加图像的亮度，若k<1，可以使图像变暗。因为这种操作能更好的维持图像的相关对比度，所以它可以产生比简单添加象素偏移量自然的多的明暗效果。也可以用来实现掩模处理，即屏蔽掉图像的某些部分。第七十九页，共一百零四页，2022年，8月28日4.1算术和逻辑运算除法运算可用于校正成像设备的非线性影响，在特殊形态的图像（如断层扫描等医学图像、遥感图像）处理中用到。也可以用来检测两幅图像间的区别，但是除法操作给出的是相应象素的比率，而不是绝对差异，所以也称为比率变换。

第八十页，共一百零四页，2022年，8月28日4.1算术和逻辑运算逻辑运算：

与ANDpANDq

或ORPORq

非（补）NOTp逻辑运算只用于二值图像。第八十一页，共一百零四页，2022年，8月28日4.2几何运算●二维几何变换：平移、旋转、比例、镜象变换，转置等

●与图形学中所讲的变换公式相同，但是有图像的特点。第八十二页，共一百零四页，2022年，8月28日4.2.1平移(translation)平移变换是几何变换中最简单的一种。第八十三页，共一百零四页，2022年，8月28日4.2.1平移(translation)平移公式：x1y1110tx01ty001x0y01=第八十四页，共一百零四页，2022年，8月28日4.2.1平移(translation)●图形变换只需要知道坐标，而对图像不仅需要知道坐标，还需要知道平移后的图像中每个像素的颜色。例如我们想知道，新图中左上角点的RGB值是多少？很显然，该点是原图中的某一点经过平移后得到的，这两点的颜色肯定是一样的，所以只要知道了原图那点的RGB值即可。那么到底新图中的左上角点对应原图中的哪一点呢？第八十五页，共一百零四页，2022年，8月28日4.2.1平移(translation)用上述变换的逆变换：

x0y0110－tx01－ty001x1y11=第八十六页，共一百零四页，2022年，8月28日4.2.1平移(translation)问题①：如果新图中有一点（x1,y1），按照公式(2)得到的(x0,y0)不在原图中该怎么办？通常的做法是，把该点的RGB值统一设成(0,0,0)或者(255,255,255)。

第八十七页，共一百零四页，2022年，8月28日4.2.1平移(translation)问题②：平移后的图像是否要放大？一种做法是不放大，移出的部分被截断。这种处理，文件大小不会改变。左图为原图，右图为移动后的图。第八十八页，共一百零四页，2022年，8月28日4.2.1平移(translation)还有一种做法是：将图像放大，使得能够显示下所有部分。这种处理，文件大小要改变。第八十九页，共一百零四页，2022年，8月28日4.2.2旋转(rotation)旋转有一个绕着什么转的问题。通常以图像的中心为圆心旋转。将一个点绕原点顺时针旋转a角后的坐标变换公式以矩阵的形式表示：x1y11cos(α)sin(α)0-sin(α)cos(α)0001x0y01＝第九十页，共一百零四页，2022年，8月28日4.2.2旋转(rotation)通常旋转是以图像的中心为原点，向右为x轴正方向，向上为y轴正方向（坐标系II）。而屏幕上显示图像的坐标系I以左上角点为原点，向右为x轴正方向，向下为y轴正方向。第九十一页，共一百零四页，2022年，8月28日4.2.2旋转(rotation)x2y2110-0.5w0-10.5h001x1y11=x1y11100.5w0-10.5h001x2y21＝它们之间的转换关系：设图像的宽为w,高为h,容易得到逆变换为第九十二页，共一百零四页，2022年，8月28日4.2.2旋转(rotation)●有了上面的公式，我们可以把旋转变换分成3步：①将坐标系I变成II；②将该点顺时针旋转a角；③将坐标系II变回I。这样，我们就得到了变换矩阵，是上面三个矩阵的级联。第九十三页，共一百零四页，2022年，8月28日4.2.2旋转(rotation)100.5Wnew0-10.5Hnew00110－0.5Wold0－10.5Hold001x1y11x0y01cos(α)sin(α)0-sin(α)cos(α)0001＝要注意的是，因为新图变大，所以公式中出现了Wold，Hol