《光电图像处理》07－图像分割

1、光电图像处理 （七）图像分割电子工程学院光电子技术系17.1 图像分割 7.2 边缘检测7.3 轮廓跟踪与提取 7.4 图像匹配 主 要 内 容237.1 图像分割 7.2 边缘检测7.3 轮廓跟踪与提取 7.4 图像匹配 主 要 内 容4图像分析系统的构成知识库表示与描述预处理分割低级处理高级处理中级处理识别与解释结果图像获取问题57.1 图像分割 7.1.1 图像分割基本概念 7.1.2 灰度阈值法分割 7.1.3 面向区域的分割67.1.1 图像分割基本概念基元：图像经过分解之后得到的具有某种特征的最小成分。图像特征：指图像中可用作标志的属性，它可分为图像的统计特征和图像的视觉特征两类。

2、图像的统计特征：一些人为定义的特征，通过变换才能得到，如图像的直方图、矩、频谱。图像的视觉特征：指人的视觉可直接感受到的自然特征，如区域的亮度、纹理或轮廓等。图像分割：利用图像的视觉特征和统计特征把图像分解成为一系列有意义的目标或区域的过程称为图像的分割。7图像分割的概念把图像分解成构成它的部件和对象的过程。有选择性地定位感兴趣对象在图像中的位置和范围。8 定义：图像分割是将图像划分成若干个互不相交的小区域的过程。 小区域：是某种意义下具有共同属性的像素的连通集合。如不同目标物体所占的图像区域、 前景所占的图像区域等。 连通：指集合中任意两个点之间都存在着完全属于该集合的连通路径。94连通和8

3、连通 10图像分割的基本思路1. 从简到难，逐级分割；2. 控制背景环境，降低分割难度；3. 把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上。11图像分割的基本策略图像分割的基本策略，基于灰度值的两个基本特性：不连续性区域之间相似性区域内部12 根据图像像素灰度值的相似性 通过选择阈值，找到灰度值相似的区域 区域的外轮廓就是对象的边 根据图像像素灰度值的不连续性 先找到点、线、边 再确定区域13区域法：将各像素划归到相应物体或区域的像素聚类方法。边界方法：是通过直接确定区域间的边界来实现分割的。边缘检测：首先检测边缘像素，再将边缘像素连接起来构成边界形成分割。 图像分割有三种不同的途径：

4、14 常用的图像分割方法是把图像灰度分成不同的等级， 然后用设置灰度门限（阈值）的方法确定有意义的区域或分割物体的边界。常用的阈值化处理就是图像的二值化处理， 即选择一阈值，将图像转换为黑白二值图像， 用于图像分割及边缘跟踪等预处理。 图像阈值化处理的变换函数表达式为 ：7.1.2 灰度阈值法分割15阈值分割法的基本思想： 确定一个合适的阈值T（阈值选定的好坏是此方法成败的关键）； 将大于等于阈值的像素作为物体或背景，生成一个二值图像。 If f(x,y) T set 255Else set 016阈值变换曲线 17阈值分割法的特点： 适用于物体与背景有较强对比的情况，重要的是背景或物体的灰度

5、比较单一。（可通过先求背景，然后求反得到物体） 这种方法总可以得到封闭且连通区域的边界。灰度值f(x0,y0)T18 不同阈值对阈值化结果的影响(a) 原始图像； (b) 阈值T=91； (c) 阈值T=130； (d) 阈值T=43(a)(b)(c)(d)19上图（a）图像的直方图 20 分析该直方图可知， 该直方图具有双峰特性，图像中的目标（细胞）分布在较暗的灰度级上形成一个波峰，图像中的背景分布在较亮的灰度级上形成另一个波峰。 此时，用其双峰之间的谷低处灰度值作为阈值T进行图像的阈值化处理，便可将目标和背景分割开来。 211. 通过直方图得到阈值2. 通过边界特性选择阈值3. 基于多个变

6、量的阈值确定阈值的方法:221. 通过直方图得到阈值基本思想:边界上的点的灰度值出现次数较少。取值的方法： 取直方图谷底(最小值)的灰度值为阈值T。T23缺点：会受到噪音的干扰，最小值不是预期的阈值，而偏离期望的值；改进：取两个峰值之间某个固定位置，如中间位置上。由于峰值代表的是区域内外的典型值，一般情况下，比选谷底更可靠，可排除噪音的干扰。 对直方图进行平滑处理，改善噪声。T242. 通过边界特性选择阈值基本思想： 如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择阈值。 为了改善直方图的波峰形状，我们只把区域边缘的像素绘入直方图，而不考虑区域中间的像素。 用微分算子，处

7、理图像，使图像只剩下边界中心两边的值。25 在前景和背景所占区域面积差别很大时，不会造一个灰度级的波峰过高，而另一个过低。 边缘上的点在区域内和区域外的概率是相等的，因此可以增加波峰的对称性。 基于梯度和拉普拉斯算子选择的像素，可以增加波峰的高度。这种方法有以下优点：261）对图像进行梯度计算，得到梯度图像。2）得到梯度值最大的那一部分（比如10%）的像素直方图。3）通过直方图的谷底，得到阈值T。算法的实现:27基本思想：把前面的方法扩展到多维空间，则寻找波谷的过程，变为寻找点簇的过程。算法实现：各维分量波谷之间进行逻辑与运算，从波谷重合的点，得到实际的阈值T。应用场合：有多个分量的颜色模型，

8、如RGB模型、CMYK模型、HSI模型。3. 基于多个变量的阈值287.1.3 面向区域的分割1. 基本概念2. 像素集合的区域增长3. 区域分裂与合并291. 面向区域的分割基本概念 目标：将区域R划分为若干个子区域R1,R2,Rn，这些子区域满足5个条件： 连通性：每个Ri都是一个连通区域 独立性：对于任意ij，RiRj= 单一性：每个区域内的灰度级相等，P（Ri）= TRUE，i = 1,2,n 互斥性：任两个区域的灰度级不等，P（Ri Rj）= FALSE，ij 完备性：302. 像素集合的区域增长算法实现：1）根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点

9、簇中心的点。2）选择一个描述符（条件）。3）从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合。4）上一过程进行到不再有满足条件的新结点加入集合为止。31条件：邻近点的灰度级与当前点的灰度级的差小于2。32 上图给出一个简单的例子。此例的相似性准则是邻近点的灰度级与物体的平均灰度级的差小于2。图中被接受的点和起始点均用下划线标出，其中（a）图是输入图像;（b）图是第一步接受的邻近点;（c）图是第二步接受的邻近点;（d）图是从6开始生成的结果。 333. 区域分裂与合并 对图像中灰度级不同的区域，均分为四个子区域。 如果相邻的子区域所有像

10、素的灰度级相同，则将其合并。反复进行上两步操作，直至不再有新的分裂与合并为止。347.1 图像分割 7.2 边缘检测7.3 轮廓跟踪与提取 7.4 图像匹配 主 要 内 容357.2 边 缘 检 测 7.2.1 图像检测主要方法7.2.2 边缘检测与微分运算7.2.3 高斯拉普拉斯（LOG）算子36ACCACBDCC37 （1）空间曲面上的不连续点。如标为A的边缘线，这些边缘线为两个不同曲面的或平面的交线，该点处物体表面的法线方向不连续，在A类边缘线的两边，图像的灰度值有明显的不同。 （2）B类边缘线。B类边缘线是由不同材料或相同材料不同颜色产生的。图中桌面由两种不同材料组成，由于它们对光的反

11、射系数不同， 使B边缘线的两侧灰度有明显不同。 ACCACBDCC38 （3）C类边缘线。C类边缘线是物体与背景的分界线。图中圆柱上有两条C类边缘线，这类边缘线一般称为外轮廓线。在C类边缘点上，三维物体表面的法线方向是连续的，出现边缘点是由于从一定视角看物体时，C类边界点是物体与背景的交界处。由于物体与背景在光照条件与材料反射系数等方面差异很大， 因此在C类边缘两侧，图像的灰度也有很大差异。图中标以C的边缘，即是物体与背景的交界处，也是物体上表面法线的不连续处，但引起它两侧灰度跃变的原因是前者。 （4）D边缘。D是阴影引起的边缘。由于物体表面某一部分被另一物体遮挡，使它得不到光源的照射，从而引

12、起边缘点两侧灰度值有较大的差异。 397.2.1 图像检测主要方法1. 点的检测2. 线的检测3. 边的检测401. 点的检测用空域的高通滤波器来检测孤立点例：88881288888图像-1-1-1-18-1-1-1-1模板R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 106设 ：阈值：T = 64 R T41 设定阈值 T，如T = 32、64、128等,并计算高通滤波值R； 如果R值等于0，说明当前检测点的灰度值与周围点的相同； 当R的值足够大时，说明该点的值与周围的点非常不同，是孤立点。通过阈值T来判断： |R| T

13、 检测到一个孤立点。算法描述：422. 线的检测通过比较典型模板的计算值，确定一个点是否在某个方向的线上:-1-1-1222-1-1-1水平模板-1-12-12-12-1-145度模板-12-1-12-1-12-1垂直模板2-1-1-12-1-1-12135度模板43111555111111555111111555111例：图像用4种模板分别计算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 044线的检测算法描述依次计算4个方向的典型检测模板，得到Ri ，i=1,2,3,4；如 |Ri| |

14、Rj| 对于所有的j i，那么这个点被称为在方向上更接近模板i 所代表的线。设计任意方向的检测模板可能大于33；模板系数和为0；感兴趣的方向的系数大。 453. 边的检测 边界的定义：两个具有相对不同灰度值特性的区域的边界线。 适用于： 假定问题中的区域是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定。 不适用于： 当假定不成立时，阈值分割技术一般来说比边缘检测更加实用。46 基本思想：计算局部微分算子截面图边界图像47 一阶微分：用梯度算子来计算 特点：对于亮的边，边的变化起点是正的，结束是负的。对于暗边，结论相反。常数部分为零。 用途：用于检测图像中边的存在。48二阶微分：

15、通过拉普拉斯来计算 特点：二阶微分在亮的一边是正的，在暗的一边是负的。常数部分为零。 用途：二次导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。 0跨越，确定边的准确位置。49边缘点是信号“变化剧烈”的地方，以一维信号为例，定义一个准确的边缘数学模型。7.2.2 边缘检测与微分运算A50图像中不同类型的边界（a） 边界； （b） 线； （c） 折线变化； （d） 缓慢的平滑变化 (a)(b)(d)(c)51 用Prewitt算子进行边缘检测的结果 52用Sobel算子进行边缘检测的结果 53 各种梯度模板54 把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平滑掉噪声，再进行边缘检测

16、，所以效果更好。 常用的LOG算子是55的模板： 7.2.3 高斯-拉普拉斯(LOG)算子55 LOG算子中心点的距离与位置加权系数的关系56 若将上图绕y轴作旋转一周后，LOG算子很像一顶墨西哥草帽， 所以，LOG又叫墨西哥草帽滤波器。在图像边缘检测中， 还有Wallis算子、 过零点检测（Marr-Hildreth算子）、 Canny边缘检测方法、 SUSAN（Smallest Univalue Segment Assimilating Nucleus）边缘检测等。 577.1 图像分割 7.2 边缘检测7.3 轮廓跟踪与提取 7.4 图像匹配 主 要 内 容587.3 轮廓跟踪与提取7.

17、3.1 轮廓跟踪 在识别图像中的目标时，往往需要对目标边缘作跟踪处理， 也叫轮廓跟踪。 轮廓跟踪：通过顺序找出边缘点来跟踪边界的。若图像是二值图像或图像中不同区域具有不同的像素值，但每个区域内的像素值是相同的，则可完成基于4连通或8连通区域的轮廓跟踪。 59基本方法：先根据某些严格的“探测准则”找出目标物体轮廓上的像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其他像素。 首先找到第一个边界像素的“探测准则”是：按照从左到右，从下到上的顺序搜索，找到的第一个黑点一定是最左下方的边界点，记为A。它的右、右上、上、左上四个邻点中至少有一个是边界点，记为B。 从B开始找起，按右、右

18、上、上、左上、左、左下、下、右下的顺序找相邻点中的边界点C。如果C就是A点，则表明已经转了一圈，程序结束；否则从C点继续找，直到找到A为止。判断是不是边界点很容易：如果它的上下左右四个邻点都不是黑点则它即为边界点。60 首先按照上面所说的“探测准则”找到最左下方的边界点。以这个边界点起始由于边界是连续的，所以每一个边界点都可以用这个边界点对前一个边界点所张的角度来表示。 因此可以使用下面的跟踪准则： 1.从第一个边界点开始，定义初始的搜索方向为沿左上方；如果左上方的点是黑点，则为边界点，否则搜索方向顺时针旋转45度。这样一直到找到第一个黑点为止。 2. 把这个黑点作为新的边界点，在当前搜索方向

19、的基础上逆时针旋转90度，继续用同样的方法继续搜索一个黑点，直到返回最初的边界点为止。 61轮廓跟踪算法62轮廓跟踪示例637.3.2 轮廓提取 二值图像轮廓提取的算法非常简单， 就是掏空内部点： 如果原图像中有一点为黑，且它的8个邻点都是黑色时，说明该点是内部点，将该点删除（置为白色像素值255）。对图像中所有像素点执行该操作便可完成图像轮廓的提取。64轮廓提取示例657.1 图像分割 7.2 边缘检测7.3 轮廓跟踪与提取 7.4 图像匹配 主 要 内 容667.4 图 像 匹 配 图像匹配：在机器识别过程中，把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像

20、在空间上对准，或根据已知模式到另一副图中寻找相应的模式。应用：1. 地物分类 2. 分析物体变化像点 3. 估算物体深度信息677.4.1 模板匹配 模板匹配是指用一个较小的图像，即模板与源图像进行比较， 以确定在源图像中是否存在与该模板相同或相似的区域， 若该区域存在， 还可确定其位置并提取该区域。 模板匹配常用的一种测度为：模板与原图像对应区域的误差平方和。设f(x,y)为MN的原图像，t(j,k)为JK(JM，KN)的模板图像，则误差平方和测度定义为： (1)68将(1)式展开可得： (2)69令： 70 DS(x, y)称为原图像中与模板对应区域的能量，它与像素位置(x, y)有关，

21、但随像素位置(x, y)的变化， DS(x, y)变化缓慢。 DST(x, y)称为模板与原图像对应区域的互相关，它随像素位置(x, y)的变化而变化，当模板t(j, k)和原图像中对应区域相匹配时取得最大值。 DT(x, y)称为模板的能量，它与图像像素位置(x, y)无关，只用一次计算便可。 显然，用(2)式计算误差平方和测度可以减少计算量。 71 基于上述分析，若设DS(x,y)也为常数，则用DST(x,y)便可进行图像匹配，当DST(x,y)取最大值时，便可认为模板与图像是匹配的。但假设DS(x,y)为常数会产生误差， 严重时将无法正确地完成匹配，因此可用归一化互相关作为误差平方和测度

22、， 其定义为 ：(3) 72 下图给出了模板匹配的示意图，其中假设原图像f(x,y)和模板图像t(k,l)的原点都在左上角。对任何一个f(x,y)中的(x,y)， 根据式（3）都可以算得一个R(x,y)值。 当x和y变化时，t(j,k)在原图像区域中移动并得出R(x,y)所有值。R(x, y)的最大值便指出了与t(j,k)匹配的最佳位置，若从该位置开始在原图像中取出与模板大小相同的一个区域， 便可得到匹配图像。 73模板匹配示意图 74 用归一化互相关求匹配的计算工作量非常大，因为模板要在(MJ1)(NK1)个参考位置上做相关计算，其中，除最佳匹配点外， 其余做的都是无效运算， 所以有必要对其

23、进行改进， 以提高运算速度。 常用的方法有：序贯相似性检测算法、幅度排序相关算法、FFT相关算法、分层搜索序贯判决算法等。 模板匹配的主要局限性在于它只能进行平行移动，如原图像中要匹配的目标发生旋转或大小变化，该算法无效。另外，如原图像中要匹配的目标只有部分可见，该算法也无法完成匹配。 75序贯相似性检测算法 通过人为设定一个固定阈值，及早地终止在不匹配位置上的计算，以此减小计算量，达到提高运算速度的目的。其步骤如下：（1）选取一个误差准则，作为终止不匹配点计算的标准，通常可选取绝对误差；（2）设定一个不变阈值；（3）在子图象中随机选取一点，计算它与模板中相应点的绝对误差值， 将每一随机点对的

24、误差累加起来，若累加到第r次时误差超过设定阈值，则停止累加，记下此时的累加次数r；（4） 对于整 幅图像计算误差e，可得到一个由r值构成的曲面，曲面最大值处对应的位置即为模板最佳匹配位置。这是因为该点需要多次累加误差才能超过阈值，因此相对于其它点，它最有可能是匹配位置。76模板匹配示例777.4.2 直方图匹配 颜色是描述图像内容的一个重要特征。人们已经提出了多种借助颜色特征对图像进行检索的方法。 常用的颜色空间有RGB和HSI。 实际上，利用HSI颜色空间进行检索的效果更好一些，但以下讨论主要以RGB空间为例。 为利用图像的颜色特征描述图像，可借助图像特征的统计直方图，这便是直方图匹配。78

25、HSI颜色空间的优势！在HSI模型中亮度分量与色度分量是分开的； 色调与饱和度的概念与人的感知联系紧密。 791. 直方图相交法 设HQ(k)和HD(k)分别为查询图像Q和数据库图像D的特征统计直方图，则两图像之间的匹配值d(Q, D)为 ：(4) 802. 欧几里得距离法 为减少计算量，可采用直方图的均值来粗略地表达颜色信息，对图像的R、G、 B三个分量，匹配的特征矢量f是： (5) 式中, R、G、B分别是R、G、B三个分量直方图的0阶矩。 此时查询图像Q和数据库图像D之间的匹配值为 (6) 81 3. 中心矩法 对直方图来说，均值为0阶矩，更高阶的矩也可使用。设用分别表示查询图像Q的R、

26、G、B三个分量直方图的i(i3)阶中心矩；用 分别表示数据库图像D的R、G、B三个分量直方图的i(i3)阶中心矩，则它们之间的匹配值为： 式中，WR，WG，WB为加权系数。 (7) 824. 参考颜色法 欧几里得距离法太粗糙，直方图相交法计算量太大，一种折衷的方法是将图像颜色用一组参考色表示，这组参考色应能覆盖视觉上可感受到的各种颜色。参考色的数量要比原图像少， 这样可计算简化的直方图， 所以匹配的特征矢量是：f=r1, r2rNT (8)式中：ri是第i种颜色出现的频率，N是参考颜色表的尺寸。加权后的查询图像Q和数据库图像D之间的匹配值为 ：(9)83式中： 前面4种方法中，后3种主要是从减

27、少计算量的角度对第1种方法进行简化，但直方图相交法还有另外一个问题。当图像中的特征并不能取遍所有的可取值时，统计直方图中会出现一些零值。这些零值的出现会给直方图的相交带来影响，从而使得由式(4)求得的匹配值并不能正确反映两图间的颜色差别。 845. 闵可夫斯基距离法 若两幅图像Q和D的直方图分别为HQ和HD，则颜色直方图匹配的计算方法可以利用度量空间的闵可夫斯基 (=1, 也叫“街坊”（City Block）距离)， 按如下方法进行匹配 (10) 85 R、G、B图像颜色是由不同亮度的红、绿、蓝三基色组成， 因此(10)式可以改写成： (11) 式(11)在具体实施时，必须从所读取的各像素颜色

28、值中分离出R、G、B三基色的亮度值。86 由于直方图丢失了颜色的位置信息，因此两幅图像可能内容完全不同，但直方图相似。所以，仅用简单的颜色直方图匹配也容易造成误识别。一种改进的方法是将图像划分成若干子块，分别对各子块进行匹配。1991年，A.Nagasaka和Y.Tanaka提出了一种将视频帧或图像分割成44相同大小的子块并比较相应子块的方法。这种方法对两幅视频帧或图像的相应子块进行比较，废弃差别最大的一对，其余的比较结果参与最后的识别。B.Shahraray也曾提出类似的方法：将视频帧或图像分割成子块并进行块匹配，对所有子块匹配的结果采用一种非线性的统计算法进行综合评价。由于子块的位置固定，

29、各子块的直方图在一定程度上反映了颜色的位置特征，因此子块划分与匹配的方法可以对物体运动、摄像机运动、镜头缩放等情况有更好的适应性。 876. X2直方图匹配X2直方图匹配的计算公式如下： (12) 对于R、G、B图像，X2直方图匹配的计算公式又可以变为 (13) 88 X2直方图匹配与模板匹配或颜色直方图匹配相比具有更好的识别率，识别镜头切换(Abrupt Scene Change)上效果良好。 A.Nagasaka和Y.Tanaka通过对灰度和、灰度模板匹配、灰度直方图匹配、彩色模板匹配、颜色直方图匹配和X2直方图匹配六种匹配方法进行了实验比较。结果表明，采用图像分块加上X2直方图匹配在镜头切换识别上具有很好的效果，但对镜头渐变识别效果不好。 897.4.3 形状匹配 形状也是描述图像内容的一个重要特征，形状常与目标联系在一起，所以相对于颜色，形状特征可以看作是更高层次的图像特征，利用形状进行匹配需要考虑三个问题。90 要获得有关目标的形状参数，首先对图像进行分割，所以形状特征会受图像分割效果的影响; 其次，目标形状的描述是一个非常复杂的问题，至今还没有找到能与人的感觉相一致的图像形状的确切数学定义; 最后，从不同视角获取的图像中目标形状可能会有很大差别，为准确进行形状匹配，需要解决平移、 尺度、 旋转变换不变性的问题。 91 目前，常用的