数字图像处理与分析-8图像分割课件

1、第8章 图像分割图像分割（Image segmentation）是一种重要的图像技术，有着广泛的应用。比如：在线产品检测，文档图像处理，遥感和生物医学图像分析等。在对这些图像的研究和应用中，人们往往对图像中的某些部分感兴趣，这些区域被称为前景或目标-具有独特性质的区域。定义：把图像分成各具特性的区域并提取出感兴趣目标的技术和过程-将图像细分为子区域或对象。图像分割算法一般是基于象素值的下述两个特性之一：不连续性和相似性。不连续性：指区域之间象素值差别比较大，在边界上具有某种不连续性。-基于边界的分割方法相似性：指区域内部象素值之间具备一定的相似性。 -基于区域的分割方法利用区域之间的不连续性分

2、割涉及如下三个问题：间断检测-检测点，线和边缘边缘组装-组合成边界门限处理-在边缘检测时，需要定义区分不同区域的特征，那么特征值的分界点就是一个门限。8.1 间断检测间断检测技术包括点检测，线检测和边界检测三种。寻找间断最一般的方法是模板检测。计算模板所包围区域的灰度级与模板系数的乘积之和。图像中任意点的模板响应公式(33模板)：其中 是与模板系数 相联系的象素的灰度级。R是相对于模板中心位置的象素的响应。图10.1 3*3模板8.1.1 点检测使用右图所示的模板，如果 (10.1.2) 则认为在模板中心的位置检测到一个点。T是非负门限。孤立点：该点的灰度级与其背景的差异相当大，并且它所在的位

3、置是一个均匀的或者近似均匀的区域。基本思想：如果一个孤立点与它周围的点很不相同，则很容易被上述模板检测到。在灰度级为常数的区域，模板响应R为0。8.1.2 线检测线模板：第一个模板对水平方向的线条（单象素宽）有更强的响应。第二个模板对于45度方向线有最佳响应。第三个模板对垂直线有最佳响应。第四个模板对于-45度线有最佳响应。每个模板系数相加总和为0，保证了在灰度级恒定的区域，模板响应为0。图10.3 线模板将该点与分别与四个模板卷积，那么该点与|R|值最大的那个模板关联的线更相关。应用：特定方向上的线检测。使用与该方向有关的模板，并设置该模板的输出门限。那么整幅图像与模板卷积之后，留下的点就是

4、点就是响应最强的点。如何判断一个点与哪条线更相关？8.1.3 边缘检测-最为普遍的检测方法由于两个具有不同灰度值的相邻区域之间总存在灰度边缘，而灰度边缘是灰度值不连续（或突变）的结果，这样这种不连续常常可以利用求导数来检测到。一般常用一阶和二阶导数来检测边缘。边缘建模：图10.5 (a)理想的数字边缘模型，斜坡数字边缘模型。斜坡部分与边缘的模糊程度成比例。（a）（b）灰度剖面图灰度级剖面图的一阶二阶导数（a）（b）图10.6 （a）由一条垂直边缘分开的两个不同区域，（b）边界附近的细节，显示了一个灰度级剖面图和一阶与二阶导数的剖面图当沿着剖面线从左到右经过时，在进入和离开斜面的变化点，一阶导数

5、为正。在灰度级不变的区域一阶导为零。在边缘与黑色一边相关的跃变点二阶导数为正，在边缘与亮色一边相关的跃变点二阶导为负。沿着斜坡和灰度为常数的区域为零。结论：一阶导数可以用于检测图像中的一个点是否是边缘点； 二阶导数的符号可以用于判断一个边缘像素是在边缘亮的一边还是暗的一边。例题：8.3在有噪声的边缘附近的一阶和二阶导数性质图10.7中第一列的图像分割显示了分割左右黑白区域的4个斜坡边缘的特写图。分别被均值为0且=0.0,0.1,1.0,10.0 的随机高斯噪声污染。第二列是一阶导数图像和灰度级剖面线。第三列为二阶导数图像和灰度级剖面线。图10.7梯度算子 一幅数字图像的一阶导数是基于各种二维梯

6、度的近似值。图像f(x,y)在位置(x,y)的梯度定义为下列向量： 向量的大小： 给出了在梯度方向上每增加单位距离后f(x,y)值增大的最大变化率。 梯度向量在(x,y)点的方向： 那么边缘在该点处的方向与梯度方向垂直。 梯度大小的计算方法就是先求出象素点的偏导数，然后代入（10.1.4）。由于计算平方和和平方根需要大量计算，常常使用绝对值对梯度进行近似： （10.1.3）（10.1.4） 一阶偏导数的算子： Robert prewitt Sobel 例题：8.4梯度和它的分量说明 图10.10说明了梯度的两个分量|Gx| 和|Gy|的响应与这两个分量之和生成的梯度图像。使用sobel水平和垂

7、直模板 图10.11显示了图10.10中相同的图像序列，但对原图首次使用了一个55的均值滤波器进行了平滑处理，然后再使用sobel水平和垂直模板。 图10.12显示的是对角Sobel模板的绝对响应。 图10.10 (a)原图，(b)|Gx|,x方向上的梯度分量，(c) |Gy|,y方向上的梯度分量，(d)梯度图像|Gx|+|Gy|(a)(b)(c)(d)可以看到(b)(c)中两个分量的方向性是很明显的。(b)中屋瓦、砖块的水平接缝和窗户的水平分段的图像非常清晰。(c)中表现出了垂直部分，诸如墙附近的拐角、窗户的垂直部分等的。图10.11显示了图10.10中相同的图像序列，但对原图首次使用了一个

8、55的均值滤波器进行了平滑处理。可以看到边缘模糊了，也就是说边缘响应被削弱。图10.11图10.12显示的是对角Sobel模板的绝对响应。从图中可以看到两个模板对水平和垂直的边缘具有相似的响应，但要比图10.10(b)和图10.11中(c)显示的在这两个方向上的响应要弱。图10.12 对角边缘检测。(a) 用图10.9(c)模板的结果，(b)用图10.9(d)模板的结果，两种情况的输入都为图10.11(a)拉普拉斯算子 二维函数f(x,y)的拉普拉斯算子是如下定义的二阶导数： 近似方法：10.1.1310.1.1410.1.15图10.13 用于分别实现式(10.1.14)和(10.1.15)

9、的拉普拉斯算子模板拉普拉斯算子一般不以其原始形式用于边缘检测，原因在于：(1)它是一个二阶导数，对噪声非常敏感。(2)拉普拉斯算子的幅值产生双边缘。(最大负值和最大正值)(2)不能检测边缘的方向。（无方向模版）那么它在分割中所起的作用:(1)利用它的零交叉性质进行边缘定位-该算子与平滑过程一起利用零交叉作为找到边缘的前兆。(2)确定一个象素在边缘暗的一边还是亮的一边。 LoG函数的三维曲线、图像和LoG函数的横界面图10.14 高斯型的拉普拉斯算子，(a)三维曲线，(b)图像(黑色是负值区域，灰色是零值平面，白色是正值区域),(c)零交叉的横截面显示，(d)图形(a)近似的5*5模板。例题：8

10、.5通过零交叉寻找边缘图10.15(a)显示了血管造影图像。(b)显示了这幅图像的Sobel梯度。(c)是一个用于得到2727的空间平滑处理模板的空间高斯型函数。(d)是空间模板。(e)是通过对原图使用高斯型平滑模板进行平滑处理，然后使用拉普拉斯算子模板后得到的LoG图像(f)对LOG设置门限后的结果(g)零交点 8.2 边缘连接和边界检测 从理论上讲，前面一节中讨论的方法仅得到处在边缘上的像素点。实际上，由于噪声、不均匀照明而产生的边缘间断以及其他由于引入虚假的亮度间断所带来的影响，使得到的一组像素很少能完整地描绘一条边缘。这样，典型的做法是在使用边缘检测算法之后，使用连接过程将边缘像素组合

11、成有意义的边缘。 这也就这节所要讲的边缘连接和边界检测问题。8.2.1 局部处理方法：分析图像中每个边缘点(x,y)的一个小领域内像素的特点，将所有相似点连接起来，这样就形成由共同满足一定准则的像素组成的一条边缘。确定边缘像素相似性的性质： (1)用于生成边缘像素的梯度算子的响应强度。 如果满足 则处在预先定义的(x,y)邻域内坐标为(x0,y0)的边缘像素，在幅度上相似于位于(x,y)位置的像素。E为非负门限。 (2)梯度向量的方向。 如果满足 则处在预定义的(x,y)邻域内的坐标为(x0,y0)的边缘像素具有相似于位于(x,y)的像素的角度。A为非负角门限。如果大小和方向准则得到满足，那么

12、就可以将两点连接起来。 (10.2.1)(10.2.2)例题：8.6 基于局部处理的边缘点连接 图10.16(a)显示了一幅汽车尾部的图像。目的是找到适合牌照大小的矩形。通过检测清晰的水平和垂直边缘就可以构成矩形。 (b)和(c)显示了通过使用水平和垂直Sobel算子得到的相应边缘。 (d)显示了连接同时具有大于25的梯度值且梯度方向差不超过150的所有点的结果。图10.16 (a)输入图像，(b)梯度的Gy分量，(c)梯度的Gx分量，(d)边缘连接的结果8.2.2 通过霍夫变换进行整体处理霍夫变换(hough变换)是利用图像的全局特性而直接检测目标轮廓。前边一节中讲的是采用一个点周围的邻点是

13、否满足一定的规则，来判断两点是否构成边缘，这节从像素之间的整体关系出发，检测目标边界。比如在图像中给出n个点，假设我们希望找到这些点中位于直线上的点组成的子集。一种可行的方法就是先寻找所有由每对点确定的直线，然后找到所有接近待定直线的点组成的子集。该过程涉及寻找n(n-1)/2至n2条直线，并且对每个点要与所有直线执行(n)n(n-1)/2至n3次比较。这种方法在计算上是不可行的，且没有什么价值。霍夫在1962年提出一种替代方法。霍夫变换的基本原理 基本思想是点-线的对偶性(duality)。图像变换前在图像空间，变换后在参数空间。在图像空间XY里，所有过点(x,y)的直线都满足方程：y=ax

14、+b ，也可以写成：b=-ax+y, 那么该式就可看作是参数空间ab中过点(a,b)的一条直线。如下图所示。(a)为图像空间，(b)为参数空间。在图像空间中，过点(xj,yj)的通用直线方程可以写为：yi=axi+b,也可写成b=-axi+yi，后者表示在参数空间里的一条直线。同理，过点(xj,yj)有yj=axj+b,也可写成b=-axj+bj,它表示参数空间里的另一条直线。设参数空间中两线相交于点(a,b)，那么点(a,b)对应于图像空间中一条过(xi,yi) ， (xj,yj)的直线。因为它满足 yi=axi+b 和yj=axj+b。由此可见图像空间XY中过点(xi,yi)和(xj,yj

15、)的直线上的每个点都对应参数空间ab里的一条直线，且这些直线相交于点(a,b).由此可知，在图像空间中共线的点对应在参数空间里的相交的线。反过来，在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点-线对偶性。根据点-线对偶性，当给定图像空间中的一些边缘点，就可通过霍夫变换确定连接这些点的直线方程。霍夫变换把在图像空间中的直线检测问题转换成参数空间里对点的检测问题，通过在参数空间里进行简单的累加统计完成检测任务。如图10.18(amax,amin)和(bmax,bmin)分别为斜率和截距值期望的范围。位于坐标(i,j)的单元具有累加值A(i,j)，并对应于参数空间坐标

16、(ai,bj)相关的矩形。初始值全为0。然后对图像平面中的每个点(xk,yk),令参数a等于a轴上每个允许的细分值，同时使用等式得到相应的b.然后对得到的b值进行舍入得到b轴上允许的近似的值。如果一个ap值得到解bq，就令A(p,q)=A(p,q)+1。最后，A(i,j)中的值Q就对应xy平面上直线y=aix+bj上的点Q。在ab平面中细分的数目决定了这些点共线性的精确度。如果以K为增量对a轴进行细分，那么对所有点(xk,yk)，有K个b值对应K个可能的a值。由于有n个图像点，所以这种方法需要nK次计算。除非K接近或超过n时，否则nK是不会达到刚才讨论的计算量的。使用等式y=ax+b表示一条直

17、线带来的一个问题是，当直线接近垂直时，斜率接近无穷大。也就是说a的最大接近于无穷。解决的方法是采用直线的标准式：与直线不同，这个公式的轨迹是平面上的正玄曲线。的取值为正负90度。(10.2.3)例题：8.7霍夫变换的说明图10.20(a)显示了一幅带有5个标记点的图像。(b)显示了每个点映射到平面上的结果。(c)说明了霍夫变换的共性检测性质。(d)说明了霍夫变换展示了参数空间左右边缘的反射式的邻接关系。点A代表xy图像平面上内对应于点1、3、5的曲线的交点。点A的位置表示这三个点在一条过原点 且方向为-45度的直线上。图10.20 霍夫变换的说明霍夫变换也适用于任何形式为g(v,c)=0的函数

18、，这里v是坐标向量，c是系数向量。基于霍夫变换的边缘连接方法： 1.计算图像的梯度并对其设置门限得到一幅二值图像。 2.在平面内确定再细分。 3.对像素高度集中的地方检验其累加器单元的数目。 4.检验选择的单元中像素之间的关系（主要针对连续性）例题：8.8使用霍夫变换进行边缘连接图10.21(a)显示了一幅航拍的红外线图像。(b)是设置了门限的梯度图像。(c)显示了梯度图像的霍夫变换。(d)显示了依据一定准则判断为相连的像素集合。准则：像素属于3个具有最高计数的累加器单元；没有长于5个像素的间隙。8.2.3 通过图论技术进行全局处理使用图形方式来表达边缘线段的连接。基本定义：图：G=(N,U)

19、由一个非空节点集合N与一个同N性质不同的无序点对集合U。U中的每对(ni,nj)称为一条弧。后继节点：如果一条弧从节点ni指向nj，则称nj为父亲节点ni的后继节点。节点序列n1,n2,nk称为从n1到nk的路径，其中每个节点ni是节点ni-1的后继节点。整条路径的开销为：边缘元素：像素p,q之间的边界，由点对 (xp,yp),(xq,yq)来标识，p,q为四邻接象素点。边缘定义为相连的边缘元素序列。边缘元素的开销：H为图像中最高的灰度值，f(p)和f(q)分别为p和q的灰度值。图10.22 象素p和q之间的边缘元素图示：图10.23 (a)一个3*3图像区域，(b)边缘线段和相应的开销，(c

20、)对应于图10.24中显示的最小开销路径的边缘图10.24 图10.23(a)中图象的图，虚线表示最小开销路径。寻找最小开销路径问题的图搜索算法： 1.标记开始节点为“开”并置g(s)=0。 2.如果不存在标记为“开“的节点，则失败，否则继续。 3.标记最接近“开”节点的n为“关”，用 计算得出的此节点的估计值r(n)为最小。 4.如果n为目标节点，通过使用指针进行反向追踪得到解决路径则推出；否则继续。 5.扩展节点n，得到它的所有后继节点,如果没有转到2。 6.如果一个后继节点ni未被标记，则设置 并将它标记为“开”，并直接将指针反向指向n。 7.如果一个后继节点ni被标记为“开”或“关”，

21、通过 更新此节点的值。将标记为“关”的后继节点标记为“开”，其g值被降低，并且从所有g值被降低的节点指针重新指向n。转到步骤2。该算法并不能保证得到一个最小开销路径，优点在于通过试探得到速度优势。例题：8.9通过图搜索寻找边缘 图10.25显示了一幅带干扰的染色体轮廓图和一条使用试探性的图搜索方法找到的边缘。8.3 门限处理单一门限与多门限图10.26(a)所示的灰度级直方图对应于图像f(x,y)。显然，采用一个门限值T就可以将两个模式分离开。对于图(b)这种更一般的情况，需要多个门限分割。图10.26 可以用(a)单一的门限和(b)多门限进行分割的灰度级直方图8.3.1 基础将门限处理看作是

22、下列函数：其中，f(x,y)是点(x,y)的灰度级，p(x,y)表示该点的局部性质。那么经门限处理后的图像g(x,y)定义为:根据T的不同，门限分为：全局门限：T仅取决于f(x,y)局部门限：T取决于f(x,y)和p(x,y)自适应门限：T取决于空间坐标x和y.(10.3.1)(10.3.2)8.3.2 亮度的作用在2.3.4节中，我们曾经介绍了一种简单模型，在该模型中，图像f(x,y)是由反射分量r(x,y)和亮度分量i(x,y)的乘积组成。这节课使用该模型讨论一下亮度对门限处理特别是全局门限处理的影响。考虑图10.27(a)中由计算机生成的反射函数。(b)是该函数的直方图，可以通过在直方图

23、波谷位置设置单一全局门限T进行分割。(c)为亮度函数，与(a)相乘得到图像(d),乘积之后的直方图见(e).这时候就不能使用单一门限进行分割。由于亮度不均匀，造成(e)中直方图有很大失真。失真的原因： 对 取自然对数得到 根据概率理论，如果 和 是独立的随机变量，则z(x,y)的直方图就依据 和 的直方图卷积给出。如果 有稍宽的直方图(不均匀亮度产生的结果),卷积就会抹去 的直方图。失真的程度取决于 直方图的宽度，而 直方图的宽度又取决于亮度函数的不均匀性。(10.3.4)8.3.3 基本全局门限例8.10 全局门限处理10.28(a)显示了一幅简单的图像，(b)显示了它的直方图，(c)显示了

24、使用门限T分割(a)得到的结果。门限T是灰度级最大和最小的平均值。前边的门限是以直方图视觉检测为基础的。下面给出自动获取T的算法。自动获取T的算法： 1.选择一个T的初始估计值。 2.用T分割图像，G1由所有灰度值大于T的像素组成，G2由所有小于或等于T的像素组成。 3.对区域G1和G2中的所有像素计算平均灰度值1和2 。 4.计算新的门限值： 5.重复步骤2到4，直到逐次迭代得到的T值之差小于事先定义的参数T0。例题：8.11使用估计的全局门限进行图像分割 图10.29显示了使用基于前述算法估计的全局门限进行图像分割的例子。(a)是原图。(b)是图像的直方图。(c)显示的是用T=125分割原

25、图所得的结果。8.3.4 基本自适应门限如图10.27中的说明那样，象不均匀亮度这样的成像因素会导致本来可以进行很有效分割的直方图变成用单一全局门限无法有效分割的直方图。一种处理方法是将图像进一步细分为子图像，并对不同的子图像使用不同的门限进行分割。关键问题是如何将图像进行细分和如何为得到的子图像估计门限值。 定义：每个像素的门限取决于像素在子图像中的位置，这类门限处理叫自适应的。例题：8.12基本的自适应门限处理 图10.30(a)显示了原图，(b)显示了用一个全局门限处理后得到的结果。(c)为细分为单个子图的图像。(d)为经过自适应处理后得到的结果。 图10.31(a)为来自图10.30的

26、进行了适当和不适当分割的子图，(b)，(c)为对应的直方图。(d)显示了进一步分割为最小的子图像时失败的子图像。(e)显示了左上角子图像的直方图，(f)为对(d)进行自适应分割的结果。8.3.5 最佳全局和自适应门限最佳门限（具有最低的误差）T的推导： 一幅图像仅包含两个主要的灰度级区域，令z表示灰度级值。 图像整体灰度级变化的混合概率密度函数：P1,P2是两类象素出现的概率。 一幅图像通过将像素灰度级值大于门限T的像素归为背景，其他像素归为对象。主要的目的是选择一个T值，使得在决定一个给定的像素是属于对象还是背景时的平均出错率最小。图10.32 一幅图像中两个区域的灰度级概率密度函数 将一个

27、背景点当作对象点进行分类时，错误发生的概率： 将一个对象点当作背景点进行分类时，错误发生的概率: 出错率的整体概率是： 对E(T)求导并令导数为0，得 (10.3.10)解出的T即为最佳门限。如果P1=P2，则最佳门限位于P1(z)和P2(z)的交点处。 从T的表达式知，为了求取T，需要知道两个概率密度。在实践中并不是总可以对这两个密度进行估计。通常的做法是利用参数比较易于得到的密度。常考虑使用高斯密度。此时，将该方程用于解式(10.3.10)的一般解得到下列门限T的解：其中：例题：8.13使用门限处理对图像进行分割 在分割之前，进行预处理:(1)每个像素用取对数的方法进行映射以减少由于辐射吸

28、收引起的指数效应;(2)为了去处两幅图像中的脊柱，从注入造影剂后获取的图像中减去使用造影剂前得到的图像;(3)将几张血管造影片相加以便减少随机噪声。图10.33显示了预处理前后的心血管造影照片。 图10.34(a)和(b)是图10.33(b)中标记为A和B的区域的直方图。(a)中的和o是直方图中黑色点表示的适配符号。最佳门限通过式(10.3.12)和(10.3.13)得到。 图10.35显示了叠加在原图上的边界。图10.33图10.34图10.358.3.6 利用边界特性改进直方图和局部门限处理利用梯度和拉普拉斯算子的三级图像： (10.3.16) 图示说明了由式(10.3.16)产生的亮背景

29、下所写的下划线的暗图像打印标记。例题：8.14用局部门限的图像分割 图10.37(a)显示了一张普通的银行支票。图10.38显示了以梯度值为函数并且梯度值大于5的像素的直方图。图10.37(b)显示了使用式(10.3.16)和位于波谷中点附近的T值的条件下得到的分割图像。8.3.7 基于不同变量的门限利用RGB进行图形分割利用颜色信号的色调和饱和度分量进行图像分割。例题：8.15多谱门限处理 图10.39(a)是一幅以单色图显示的彩色照片。 (b)是用直方图中对应于脸部色调的一个簇进行门限处理后得到的。 (c)是对接近于红色轴的簇进行门限处理后得到的图像。8.4 基于区域的分割8.4.1 基本

30、公式将整幅图像区域 R划分成n个子区域，满足的条件： 8.4.2 区域生长基本方法：以一组“种子”点开始将与种子性质相似的相邻像素附加到生长区域的每个种子上。相似性准则的选择:取决于面对的问题； 取决于图像数据的类型。用公式描述终止规则。例题：8.16区域生长在焊缝检测中的应用图10.40(a)显示了一幅焊缝的X射线图像。(b)为值为255的种子点。区域生长的准则：(1)任何像素和种子之间的灰度值绝对差必须小于65,这个数字是根据图10.41中显示的直方图得来的；(2)像素必须与此区域中至少一个像素是8连通的。(c)显示了区域生长的结果。(d)为对有缺陷的焊缝区域进行分割后得到的边界。8.4.

31、3 区域分离与合并步骤： 1.对于任何区域Ri,如果P(Ri)=FALSE,就将每个区域都拆分为4个相连的象限区域。 2.将p(RiRj)=TRUE的任意两个相邻区域Ri和Rj进行聚合。 3.当再无法进行聚合或拆分时操作停止。 Chapter 10Image Segmentation例题：8.17拆分和聚合 图10.43(a)显示了一幅简单的图像。如果在区域Ri内至少有 80%的像素具有|zj-mi| 2i的性质，就定义为P(Ri)=TREU。(b) 为进行拆分聚合的结果。(c)是对(a)进行门限处理得到的结果。基于形态学分水岭的分割1。 分水岭概念：1)地形学三类点： a)具有局部最小值的点

32、 b)当一滴水放在某点的位置时，水会下落到一个单一的最小值点， c)当水处在某个点的位置时，水会等概率的流向不止一个这样的最小值点2)会水盆地:对于一个特定的区域最小值，满足b)的点集，称为这个最小值的会水盆地或分水岭。 分割线或分水线：满足c)的点集Image Segmentation类似细化中的“森林着火”或“波传播定义”Image SegmentationImage Segmentation2。 水坝构造：1)M1,M2表示在两个区域极小值中包含的点的坐标集合，2）Cn-1(M1),Cn-1(M2)：溢出的第n-1阶段与M1,M2联系的处于会水盆地中的点集3） Cn-1表示Cn-1(M1),Cn