第5章_图像分割

1、第五章 图像分割与边缘检测 第五章第五章 图像分割与边缘检测图像分割与边缘检测 5.1 图像分割图像分割 5.2 边缘检测边缘检测 5.3 轮廓跟踪与提取轮廓跟踪与提取 5.4 图像匹配图像匹配 5.5 投影法与差影法投影法与差影法 第五章 图像分割与边缘检测 5.1 图图 像像 分分 割割 5.1.1 概述概述 图像分割是将图像划分成若干个互不相交的小区域的过程，图像分割是将图像划分成若干个互不相交的小区域的过程， 小区域是某种意义下具有共同属性的像素的连通集合。如不同小区域是某种意义下具有共同属性的像素的连通集合。如不同目标物体所占的图像区域、目标物体所占的图像区域、 前景所占的图像区域等

2、。连通是指前景所占的图像区域等。连通是指集合中任意两个点之间都存在着完全属于该集合的连通路径。集合中任意两个点之间都存在着完全属于该集合的连通路径。对于离散图像而言，连通有对于离散图像而言，连通有4连通和连通和8连通之分。连通之分。 第五章 图像分割与边缘检测 4连通和连通和8连通连通 (a)(b)第五章 图像分割与边缘检测 图像分割有三种不同的途径：其一是将各像素划归到相应图像分割有三种不同的途径：其一是将各像素划归到相应物体或区域的像素聚类方法物体或区域的像素聚类方法, 即即区域法区域法；其二是通过直接确定区；其二是通过直接确定区域间的边界来实现分割的域间的边界来实现分割的边界方法边界方法

3、；其三是首先检测边缘像素，；其三是首先检测边缘像素， 再将再将边缘像素连接起来构成边界形成分割边缘像素连接起来构成边界形成分割。在图像分割技术中，。在图像分割技术中， 最常用的是利用阈值化处理进行的图像分割。最常用的是利用阈值化处理进行的图像分割。 第五章 图像分割与边缘检测 5.1.2 灰度阈值法分割灰度阈值法分割 常用的图像分割方法是把图像灰度分成不同的等级，常用的图像分割方法是把图像灰度分成不同的等级， 然后然后用设置灰度门限（阈值）的方法确定有意义的区域或分割物体用设置灰度门限（阈值）的方法确定有意义的区域或分割物体的边界。常用的阈值化处理就是图像的二值化处理，的边界。常用的阈值化处理

4、就是图像的二值化处理， 即选择一即选择一阈值，将图像转换为黑白二值图像，阈值，将图像转换为黑白二值图像， 用于图像分割及边缘跟踪用于图像分割及边缘跟踪等预处理。等预处理。 图像阈值化处理的变换函数表达式为图像阈值化处理的变换函数表达式为 TyxfTyxfyxg),(255),(0),(第五章 图像分割与边缘检测 阈值变换曲线阈值变换曲线 2550T255gf第五章 图像分割与边缘检测 在图像的阈值化处理过程中，在图像的阈值化处理过程中， 选用不同的阈值其处理结果选用不同的阈值其处理结果差异很大。阈值过大，差异很大。阈值过大， 会提取多余的部分；会提取多余的部分； 而阈值过小，又而阈值过小，又会

5、丢失所需的部分因此，阈值的选取非常重要。会丢失所需的部分因此，阈值的选取非常重要。第五章 图像分割与边缘检测 通过直方图的双峰特性确定阈值。如下面的例子，分通过直方图的双峰特性确定阈值。如下面的例子，分析该直方图可知，析该直方图可知， 该直方图具有双峰特性，图像中的该直方图具有双峰特性，图像中的目标（细胞）分布在较暗的灰度级上形成一个波峰，目标（细胞）分布在较暗的灰度级上形成一个波峰，图像中的背景分布在较亮的灰度级上形成另一个波峰。图像中的背景分布在较亮的灰度级上形成另一个波峰。此时，用其双峰之间的谷低处灰度值作为阈值此时，用其双峰之间的谷低处灰度值作为阈值T进行进行图像的阈值化处理，便可将目

6、标和背景分割开来。图像的阈值化处理，便可将目标和背景分割开来。1. 双峰法双峰法第五章 图像分割与边缘检测 不同阈值对阈值化结果的影响不同阈值对阈值化结果的影响(a) 原始图像；原始图像； (b) 阈值阈值T=91； (c) 阈值阈值T=130； (d) 阈值阈值T=43(a)(b)(c)(d)第五章 图像分割与边缘检测 图像的直方图图像的直方图 第五章 图像分割与边缘检测 2. 判别分析法确定最佳阈值（最大类间方差法；判别分析法确定最佳阈值（最大类间方差法；OTSU法）法） 判别分析法确定最佳阈值的准则，判别分析法确定最佳阈值的准则， 是使进行阈值处理后分离是使进行阈值处理后分离的像素类之间

7、的的像素类之间的类间方差最大。类间方差最大。判别分析法只需计算直方图的判别分析法只需计算直方图的0阶矩和阶矩和1阶矩，是图像阈值化处理中常用的自动确定阈值的方法。阶矩，是图像阈值化处理中常用的自动确定阈值的方法。 设图像总像素数为设图像总像素数为N，灰度值为，灰度值为i的像素数为的像素数为Ni，则至灰度级，则至灰度级K的灰度分布的的灰度分布的0阶矩及阶矩及1阶矩分别定义为阶矩分别定义为 0阶矩：阶矩： KiiNNk0)(第五章 图像分割与边缘检测 1阶矩：阶矩： KiiNNik0)( 当当K=L-1时，时，(L-1)=1；(L-1)T，T称为图像的平均灰称为图像的平均灰度。度。 设有设有M-1

8、个阈值：个阈值：0k1k2KM-1L-1。 将图像分割成将图像分割成M个灰度值的类个灰度值的类Cj（Cjkj-1+1, , kj; j=1, 2, , M ; k0=0, kM=L），则各类），则各类Cj的发生概率的发生概率j和平均值和平均值j为为 )()()()()()(111jjjjjjjjkkkkkk式中式中, (0)=0，(0)=0。 第五章 图像分割与边缘检测 由此可得各类的类间方差为由此可得各类的类间方差为 MjrjjMkkk121212)(),( 将使上式的将使上式的2值为最大的阈值组值为最大的阈值组(k1, k2， , kM1)， 作为作为M值化的最佳阈值组。值化的最佳阈值组。

9、 第五章 图像分割与边缘检测 5.1.3 区域生长区域生长 分割的目的是把一幅图像划分成一些区域，分割的目的是把一幅图像划分成一些区域， 最直接的方法就最直接的方法就是把一幅图像分成满足某种判据的区域，也就是说，是把一幅图像分成满足某种判据的区域，也就是说， 把点组成区把点组成区域。为了实现分组，域。为了实现分组， 首先要确定区域的数目，首先要确定区域的数目， 其次要确定一个其次要确定一个区域与其他区域相区别的特征，区域与其他区域相区别的特征， 最后还要产生有意义分割的相似最后还要产生有意义分割的相似性判据。性判据。 第五章 图像分割与边缘检测 要解决的三个问题：要解决的三个问题：（1）选择或

10、确定一组能正确代表所需区域的）选择或确定一组能正确代表所需区域的种子象素种子象素。（2）确定在生产过程中能将相邻象素包括近来的）确定在生产过程中能将相邻象素包括近来的准则准则。（3）制定让生长）制定让生长停止的条件或准则停止的条件或准则。第五章 图像分割与边缘检测 给出一个简单的例子。此例的相似性准则是邻近点的灰度级给出一个简单的例子。此例的相似性准则是邻近点的灰度级与物体的平均灰度级的差小于与物体的平均灰度级的差小于2。图中被接受的点和起始点均用。图中被接受的点和起始点均用下划线标出，下划线标出， 其中（其中（a）图是输入图像；（）图是输入图像；（b）图是第一步接受）图是第一步接受的邻近点；

11、的邻近点； （c）图是第二步接受的邻近点；）图是第二步接受的邻近点； （d）图是从）图是从6开始开始生成的结果。生成的结果。 第五章 图像分割与边缘检测 区域生长示例区域生长示例 第五章 图像分割与边缘检测 当生成任意物体时，接收准则可以结构为基础，当生成任意物体时，接收准则可以结构为基础， 而不是以而不是以灰度级或对比度为基础。为了把候选的小群点包含在物体中，灰度级或对比度为基础。为了把候选的小群点包含在物体中， 可以检测这些小群点，而不是检测单个点，可以检测这些小群点，而不是检测单个点， 如果它们的结构与如果它们的结构与物体的结构足够相似时就接受它们。物体的结构足够相似时就接受它们。 第五

12、章 图像分割与边缘检测 5.1.4 分裂合并分裂合并 当事先完全不了解区域形状和区域数目时，可采用分裂合并当事先完全不了解区域形状和区域数目时，可采用分裂合并法。其基本思想是从整幅图像开始通过不断分裂得到各个区域。法。其基本思想是从整幅图像开始通过不断分裂得到各个区域。然后再合并或分裂这些区域以满足分割的要求。然后再合并或分裂这些区域以满足分割的要求。基于四叉树基于四叉树的思想。的思想。第五章 图像分割与边缘检测 分裂合并法的具体步骤：分裂合并法的具体步骤：（1）初始分割：）初始分割：（2）合并处理：按预先给定的原则，对象素块进行检查，符合）合并处理：按预先给定的原则，对象素块进行检查，符合合

13、并原则，则进行合并。合并原则，则进行合并。（3）分裂处理：在某象素块内不符合均匀性原则，则进行再次）分裂处理：在某象素块内不符合均匀性原则，则进行再次分裂。分裂。（4）组合处理：以每块为中心，检查相邻各块，若符合均匀性）组合处理：以每块为中心，检查相邻各块，若符合均匀性规则则再次合并。规则则再次合并。（5）消失小区：）消失小区：第五章 图像分割与边缘检测 5.2 边边 缘缘 检检 测测 5.2.1 边缘检测与微分运算边缘检测与微分运算 边缘点是信号边缘点是信号“变化剧烈变化剧烈”的地方，但这么说并不准确，需的地方，但这么说并不准确，需要定义一个准确的边缘数学模型。要定义一个准确的边缘数学模型。

14、第五章 图像分割与边缘检测 图像中不同类型的边界图像中不同类型的边界（a） 边界；边界； （b） 线；线； （c） 折线变化；折线变化； （d） 缓慢的平滑变化缓慢的平滑变化 (a)(b)(d)(c)第五章 图像分割与边缘检测 一阶微分一阶微分二阶微分二阶微分截面图截面图边界图像边界图像第五章 图像分割与边缘检测 边的检测边的检测一阶微分：用梯度算子来计算一阶微分：用梯度算子来计算 特点：对于亮的边，边的变化起点是正的，特点：对于亮的边，边的变化起点是正的，结束是负的。对于暗边，结论相反。常数结束是负的。对于暗边，结论相反。常数部分为零。部分为零。 用途：用于检测图像中边的存在用途：用于检测图

15、像中边的存在第五章 图像分割与边缘检测 边的检测边的检测二阶微分：通过拉普拉斯来计算二阶微分：通过拉普拉斯来计算 特点：常数部分为零。二阶微分在亮的一边是负特点：常数部分为零。二阶微分在亮的一边是负的，在暗的一边是正的。的，在暗的一边是正的。 用途：用途：1）二次导数的符号，用于确定边上的像素是）二次导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。在亮的一边，还是暗的一边。2）0跨越，确定边的准确位置。跨越，确定边的准确位置。第五章 图像分割与边缘检测 用用Prewitt算子进行边缘检测的结果算子进行边缘检测的结果 第五章 图像分割与边缘检测 5.2.2 高斯高斯-拉普拉斯拉普拉斯(

16、LOG)算子算子 噪声点对边缘检测有较大的影响，噪声点对边缘检测有较大的影响， 效果更好的边缘检测器是高效果更好的边缘检测器是高斯斯-拉普拉斯拉普拉斯(LOG)算子。它把高斯平滑滤波器和拉普拉斯锐化滤算子。它把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先平滑掉噪声，再进行边缘检测，所以效果更好。波器结合起来，先平滑掉噪声，再进行边缘检测，所以效果更好。 常用的常用的LOG算子是算子是55的模板：的模板： 244424080448*24844080424442第五章 图像分割与边缘检测 5.3 轮廓跟踪与提取轮廓跟踪与提取5.3.1 轮廓跟踪轮廓跟踪 在识别图像中的目标时，往往需要对目标边缘作

17、跟踪处理，在识别图像中的目标时，往往需要对目标边缘作跟踪处理， 也叫轮廓跟踪。顾名思义，轮廓跟踪就是通过顺序找出边缘点来也叫轮廓跟踪。顾名思义，轮廓跟踪就是通过顺序找出边缘点来跟踪边界的。跟踪边界的。第五章 图像分割与边缘检测 首先按从上到下，从左到右的顺序搜索，找到的第一个首先按从上到下，从左到右的顺序搜索，找到的第一个黑点一定是最左上方的边界点，记为黑点一定是最左上方的边界点，记为A A。它的右，右下，下，。它的右，右下，下，左下四个邻点中至少有一个是边界点，记为左下四个邻点中至少有一个是边界点，记为B B。从。从B B开始找起，开始找起，按右，右上，上，左上，左，左下，下，右下的顺序找相

18、邻按右，右上，上，左上，左，左下，下，右下的顺序找相邻点中的边界点点中的边界点C C。如果。如果C C就是就是A A点，则表明已经转了一圈，程序点，则表明已经转了一圈，程序结束。结束。 否则从否则从C C点继续找，直到找到点继续找，直到找到A A为止。为止。 判断是不是边判断是不是边界点很容易：如果它的上下左右四个邻居都是黑点则不是边界点很容易：如果它的上下左右四个邻居都是黑点则不是边界点，否则是边界点。界点，否则是边界点。二值图象闭合边界的轮廓跟踪算法：二值图象闭合边界的轮廓跟踪算法：第五章 图像分割与边缘检测 轮廓跟踪示例轮廓跟踪示例第五章 图像分割与边缘检测 5.3.2 轮廓提取轮廓提取

19、 二值图像轮廓提取的算法非常简单，二值图像轮廓提取的算法非常简单， 就是掏空内部点：就是掏空内部点： 如如果原图像中有一点为黑，且它的果原图像中有一点为黑，且它的8个邻点都是黑色时，说明该点个邻点都是黑色时，说明该点是内部点，是内部点， 将该点删除（置为白色像素值将该点删除（置为白色像素值255）。对图像中所有）。对图像中所有像素点执行该操作便可完成图像轮廓的提取。像素点执行该操作便可完成图像轮廓的提取。 第五章 图像分割与边缘检测 5.4 图图 像像 匹匹 配配 5.4.1 模板匹配模板匹配 模板匹配是指用模板与源图像进行比较，模板匹配是指用模板与源图像进行比较， 以确定在源图像中以确定在源

20、图像中是否存在与该模板相同或相似的区域，是否存在与该模板相同或相似的区域， 若该区域存在，若该区域存在， 还可确还可确定其位置并提取该区域。定其位置并提取该区域。 模板匹配常用的一种测度为模板与原图像对应区域的误差平模板匹配常用的一种测度为模板与原图像对应区域的误差平方和。设方和。设f(x, y)为为MN的原图像，的原图像，t(j,k)为为JK(JM，KN)的模的模板图像，则误差平方和测度定义为板图像，则误差平方和测度定义为 10102),(),(),(JjKkkjtkyjxfyxD第五章 图像分割与边缘检测 令令 10102101010102),(),(),(),(2),(),(),(JjK

21、kJjKkJjKkkjtyxDTkyjxfkjtyxDSTkyjxfyxDSDST(x, y)称为模板与原图像对应区域的互相关，它随像素位置称为模板与原图像对应区域的互相关，它随像素位置(x, y)的变化而变化，当模板的变化而变化，当模板t(j, k)和原图像中对应区域相匹配时和原图像中对应区域相匹配时取得取得最大值最大值。第五章 图像分割与边缘检测 用归一化互相关作为误差平方和测度，用归一化互相关作为误差平方和测度， 其定义为：其定义为： 10210102101010),(),(),(),(),(KkJjKkJjKkJjkjtkyjxfkyjxfkjtyxR第五章 图像分割与边缘检测 模板匹

22、配的局限性：模板匹配的局限性： 它只能进行平行移动，如原图像中要匹配的目标发生旋转或它只能进行平行移动，如原图像中要匹配的目标发生旋转或大小变化，该算法无效。另外，如原图像中要匹配的目标只有部大小变化，该算法无效。另外，如原图像中要匹配的目标只有部分可见，该算法也无法完成匹配。分可见，该算法也无法完成匹配。 第五章 图像分割与边缘检测 5.4.2 直方图匹配直方图匹配 颜色是描述图像内容的一个重要特征。人们已经提出了多颜色是描述图像内容的一个重要特征。人们已经提出了多种借助颜色特征对图像进行检索的方法。常用的颜色空间有种借助颜色特征对图像进行检索的方法。常用的颜色空间有R、 G、B和和H、S、

23、I。实际上，利用。实际上，利用H、S、I颜色空间进行检索的颜色空间进行检索的效果更好一些，但以下讨论主要以效果更好一些，但以下讨论主要以R、G、B空间为例。为利用空间为例。为利用图像的颜色特征描述图像，可借助图像特征的统计直方图。利图像的颜色特征描述图像，可借助图像特征的统计直方图。利用直方图进行图像的匹配，这便是直方图匹配。用直方图进行图像的匹配，这便是直方图匹配。第五章 图像分割与边缘检测 1. 直方图相交法直方图相交法 设设HQ(k)和和HD(k)分别为查询图像分别为查询图像Q和数据库图像和数据库图像D的特征统计的特征统计直方图，则两图像之间的匹配值直方图，则两图像之间的匹配值d(Q,

24、D)为为 1010)()(),(min),(LkQLkDQkHkHkHDQd第五章 图像分割与边缘检测 2. 欧几里得距离法欧几里得距离法 为减少计算量，可采用直方图的均值来粗略地表达颜色信为减少计算量，可采用直方图的均值来粗略地表达颜色信息，对图像的息，对图像的R、G、 B三个分量，匹配的特征矢量三个分量，匹配的特征矢量f是是 TBGRf式中式中, R、G、B分别是分别是R、G、B三个分量直方图的三个分量直方图的0阶距。阶距。 此时查询图像此时查询图像Q和数据库图像和数据库图像D之间的匹配值为之间的匹配值为 2,2)()(),(DQBGRDQffDQd第五章 图像分割与边缘检测 3. 中心矩

25、法中心矩法 设用设用分别表示查询图像分别表示查询图像Q的的R、G、B三个三个分量直方图的分量直方图的i(i3)阶中心矩；用阶中心矩；用 分别表示分别表示数据库图像数据库图像D的的R、G、B三个分量直方图的三个分量直方图的i(i3)阶中心矩，则阶中心矩，则它们之间的匹配值为它们之间的匹配值为 iQBiQGiQRMMM,iDBiDGiDRMMM,31313122)()()(),(iiiiDBiQBBiDGiQGGiDRiQRRMMWMMWMMWDQd式中，式中，WR，WG，WB为加权系数。为加权系数。 第五章 图像分割与边缘检测 4. X2直方图匹配直方图匹配X2直方图匹配的计算公式如下：直方图匹

26、配的计算公式如下： 102)()()(),(LkDDQkHkHkHDQd 对于对于R、G、B图像，图像，X2直方图匹配的计算公式又可以变为直方图匹配的计算公式又可以变为 10222)()()()()()()()()(),(LkbDbDbQgDgDgQrDrDrQkHkHkHkHkHkHkHkHkHDQd第五章 图像分割与边缘检测 直方图匹配的局限性与改进：直方图匹配的局限性与改进： 由于直方图丢失了颜色的位置信息，由于直方图丢失了颜色的位置信息， 因此两幅图像可能内容因此两幅图像可能内容完全不同，但直方图相似。所以，仅用简单的颜色直方图匹配也完全不同，但直方图相似。所以，仅用简单的颜色直方图匹

27、配也容易造成误识别。一种改进的方法是将图像划分成若干子块，分容易造成误识别。一种改进的方法是将图像划分成若干子块，分别对各子块进行匹配。别对各子块进行匹配。第五章 图像分割与边缘检测 5.4.3 形状匹配形状匹配 形状也是描述图像内容的一个重要特征，形状也是描述图像内容的一个重要特征， 利用形状进行匹利用形状进行匹配需要考虑三个问题。配需要考虑三个问题。（1）形状特征可以看作是更高层次的图像特征。要获得有关目）形状特征可以看作是更高层次的图像特征。要获得有关目标的形状参数，常常要先对图像进行分割，标的形状参数，常常要先对图像进行分割， 所以形状特征会受所以形状特征会受图像分割效果的影响。图像分

28、割效果的影响。（2）目标形状的描述是一个非常复杂的问题。）目标形状的描述是一个非常复杂的问题。（3）从不同视角获取的图像中目标形状可能会有很大差别，为）从不同视角获取的图像中目标形状可能会有很大差别，为准确进行形状匹配，需要解决平移、准确进行形状匹配，需要解决平移、 尺度、尺度、 旋转变换不变性的旋转变换不变性的问题。问题。 第五章 图像分割与边缘检测 5.5 投影法与差影法投影法与差影法 5.5.1 投影法投影法 投影法就是把图像在某一方向（常用的是水平方向和垂直方投影法就是把图像在某一方向（常用的是水平方向和垂直方向）上进行投影。在投影图上可反映出图像中目标对象的位置、向）上进行投影。在投

29、影图上可反映出图像中目标对象的位置、尺寸等信息。投影法经常和阈值化一起使用。由于噪声点对投影尺寸等信息。投影法经常和阈值化一起使用。由于噪声点对投影有一定的影响，所以处理前最好先做一次平滑，去除噪声，然后有一定的影响，所以处理前最好先做一次平滑，去除噪声，然后进行阈值化处理，再对阈值化后的二值图像在某个方向上进行投进行阈值化处理，再对阈值化后的二值图像在某个方向上进行投影运算。影运算。 第五章 图像分割与边缘检测 投影法投影法第五章 图像分割与边缘检测 华盛顿纪念碑图华盛顿纪念碑图 第五章 图像分割与边缘检测 阈值化后的华盛顿纪念碑阈值化后的华盛顿纪念碑 第五章 图像分割与边缘检测 垂直方向投

30、影垂直方向投影 第五章 图像分割与边缘检测 第五章 图像分割与边缘检测 5.5.2 差影法差影法 1. 图像的代数运算图像的代数运算 图像的代数运算是指对两幅输入图像进行点对点的加、减、图像的代数运算是指对两幅输入图像进行点对点的加、减、 乘、乘、 除四则运算而得到输出图像的运算。如果记输入图像为除四则运算而得到输出图像的运算。如果记输入图像为A(x, y)和和B(x, y)，输出图像为，输出图像为C(x, y)，则四种图像代数运算的表达式，则四种图像代数运算的表达式如下：如下：C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y)C(x, y)A(x, y)B(x, y) 第