第9章-图像分割20160810

第九章图像分割

Chapter9Contents图像分割基础基于边界的分割基于阈值的图像分割基于区域的图像分割分水岭分割图像分割基础图像分割基础：图像分割是将图像划分为若干有意义的区域或部分，或者从图像中提取感兴趣目标的图像处理技术。图像分割的依据是图像中各个组成区域具有不同的特征，这些特征可以是灰度、颜色、纹理等，这些特征在同一区域内表现出一致性或相似性，而在不同区域之间表现出显著区别。1984年，Porter和Duff将

通道的概念引入到数字图像中，并提出图像中每一个像素的灰度值

可以表示为前景灰度值和背景灰度值的线性组合形式，

式中，

通道表示前景与背景叠加的透明度。(a)灰度图像(b)α通道(c)目标区域(d)背景区域图像抠图示例图像分割基础基于边界的分割基于边界的分割：边界存在于目标与背景、不同目标之间，是图像分割所依据的重要特征。基于边缘检测的图像分割方法首先确定图像中的边缘像素，然后将它们连接在一起构成边界。边缘检测：边缘有方向和幅度两个属性，沿边缘方向像素灰度值变化平缓或不发生变化，而垂直于边缘方向像素灰度值变化剧烈。边缘是灰度值不连续的产物，可以利用差分来检测这种不连续性。边缘检测算法可分为两类：(1)一阶差分算子通过寻找图像一阶差分中的最大值来检测边缘，将边缘定位在一阶差分最大的方向；(2)二阶差分算子通过寻找图像二阶差分过零点来定位边缘，最常用的是拉普拉斯过零点。阶跃脉冲斜坡屋顶四种常见类型边缘的剖面图阶跃边缘和斜坡边缘以及相应的水平线灰度级剖面图基于边界的分割(a)阶跃边缘(b)斜坡边缘实际图像的边缘并不是理想的阶跃边缘，成像传感器和光学镜头固有的调制传递函数通常导致边缘模糊。因此，实际图像的边缘具有一定坡度的斜剖面，斜坡部分与边缘模糊的程度成比例。基于边界的分割斜坡边缘及其一阶差分和二阶差分有噪边缘及其一阶差分和二阶差分(a)叠加均值为0、标准差为0.1

(b)叠加均值为0、标准差为1的高斯噪声的斜坡边缘的高斯噪声的斜坡边缘基于边界的分割噪声对于边缘灰度变化的整体趋势几乎是可忽略的，较大噪声的边缘呈现出轻微的波动。然而，一阶差分和二阶差分表现出对噪声的敏感性，因此，在利用差分进行边缘检测时，应慎重考虑噪声的影响。通常在边缘检测之前对有噪图像进行去噪或降噪处理。基于边界的分割一阶差分算子：梯度算子：梯度算子定义在二维一阶导数的基础上，由于数字图像是离散的，常用差分近似偏导数，在像素

处的梯度定义为，式中，

和

分别表示x和y方向上的一阶差分。梯度幅度记为；增加最快的方向称为梯度方向，记为常用的一阶差分算子有Roberts、Prewitt和Sobel算子，用于近似计算偏导数。Sobel算子Prewitt算子Roberts算子(a)灰度图像(b)垂直方向边缘(c)水平方向边缘(d)梯度检测图像

Prewitt模板应用于图像边缘检测基于边界的分割(a)垂直方向边缘(b)水平方向边缘(c)反对角方向边缘(d)对角方向边缘Sobel模板检测图像4个方向的边缘基于边界的分割基于边界的分割方向算子：方向算子使用一组方向差分模板与图像进行模板卷积，在同一像素位置计算多个方向上的一阶差分，并选取全部模板中的最大响应幅度作为该像素的边缘强度，最大响应幅度的方向作为该像素的边缘方向。Kirsch算子由8个方向差分模板组成，记为

，i=0,1,…,7，方向之间的夹角为45°

，模板系数沿逆时针依次循环移位。Kirsch算子Kirsch算子的边缘检测结果(a)灰度图像(b)边缘图像基于边界的分割

(a)K0(b)K1(c)K2(d)K3(e)K4(f)K5(g)K6(h)K7Kirsch算子8个方向的边缘图像基于边界的分割基于边界的分割车道线检测：方向差分模板的边缘检测具有较大的灵活性，根据不同的图像和不同的处理目的，可以设计任意角度任意方向的差分模板。为了检测图像中的车道线，本例使用一种3×9的带状边缘检测模板，也称为褶皱模板。该模板不仅充分考虑了车道线的形状特点，而且避免了乘法运算，提高了运算效率。方向模板方向模板方向模板方向模板方向模板方向模板方向模板方向模板方向模板(a)车道线图像(b)边缘图像(c)二值图像(d)去噪图像利用带状方向差分边缘检测模板进行车道线检测基于边界的分割基于边界的分割二阶差分算子：二阶差分算子在图像分割中的主要作用：(1)二阶差分在边缘处产生零交叉，其过零点可以确定边缘的位置；(2)二阶差分的符号可以确定边缘像素在边缘暗的一边还是亮的一边。拉普拉斯算子：拉普拉斯算子是一个二阶差分算子，也是一个线性算子。4邻域拉普拉斯算子的计算式为，

；8邻域拉普拉斯算子的计算式为，。高斯拉普拉斯(LoG)算子：拉普拉斯算子对噪声极其敏感，一般不使用原始形式，一种常用变形形式为高斯拉普拉斯算子，式中，

为标准差，决定了图像的平滑程度。4邻域8邻域两种拉普拉斯模板高斯函数LoG函数基于边界的分割(a)三维网格图(b)径向剖面图(c)5×5的模板(d)频域响应函数LoG算子LoG算子的边缘检测结果(a)二阶差分图像(b)过零点检测(T=0.5)

(c)过零点检测(T=0.4291)

基于边界的分割基于边界的分割高斯差分(DoG)算子：DoG算子也是一种常用的二阶差分算子，顾名思义，它是两个高斯函数之差的形式。将一幅图像

分别与标准差为

、的高斯函数、

做卷积，可表示为，高斯差分算子

定义为，DoG函数形状DoG算子的三维网格图DoG算子的径向剖面图基于边界的分割Canny算子：Canny算子是一种有效的边缘检测算子，它是在满足一定约束条件下推导出的边缘检测算子，具体包括如下4个步骤：高斯图像平滑：为了抑制噪声，利用高斯函数对图像进行平滑处理，

基于梯度的边缘检测：利用Sobel算子计算每一个像素

处的局部梯度幅度及其梯度方向

，

梯度幅度的非极大值抑制：追踪梯度幅度中所有脊的顶部，并将所有不在脊顶部的像素置为0，保留局部梯度极大值点，而抑制非极大值，从而形成单像素宽度的边缘，这个过程称为非极大值抑制；双阈值法的边缘检测和连接：设置两个不同的阈值T1、T2，T1＜T2。梯度幅度大于T2的像素称为强边缘像素，梯度幅度在其间的像素称为弱边缘像素，将强边缘像素连接成轮廓，当到达间断点时，在低阈值图像的8邻域内寻找可以连接到强边缘的弱边缘像素，直至将强边缘连接起来为止。Canny算子的边缘检测结果基于边界的分割灰度图像基于边界的分割边缘检测算子的比较：

一种好的边缘检测算子应具备3个特点：(1)有效抑制噪声，边缘检测错误率低，同时避免虚假边缘；(2)精确定位边缘，检测出真正的边缘；(3)对同一边缘具有低的响应次数，最好只产生一个响应。Roberts算子利用一阶差分检测边缘，边缘定位精度较高，但抑制噪声能力较差，适用于陡峭边缘且信噪比高的图像。Sobel与Prewitt算子与等效于首先对图像进行加权平滑处理，然后再计算差分，因此，对噪声有一定的抑制能力，但检测出的边缘具有一定宽度，且不能形成闭合、连通的轮廓。拉普拉斯算子对噪声非常敏感，不适合直接用于边缘检测。LoG算子克服了拉普拉斯算子抗噪能力差的弱点，并能产生闭合、连通的轮廓，但在抑制噪声的同时也模糊了边缘，从而造成弱边缘漏检。Canny算子可以形成闭合、连通且单像素宽度的边缘，但也会产生类似意大利式细面条盘子效应的虚假边缘。

(a)灰度图像(b)Roberts算子(c)Prewitt算子

(d)

Sobel算子(e)

Canny算子(f)LoG算子Roberts、Prewitt、Sobel、Canny与LoG算子的边缘检测结果比较基于边界的分割基于边界的分割边界跟踪：边界跟踪是从连通分量的一个边界像素出发，根据某种搜索准则搜索下一个边界像素。8连通边界跟踪算法包括3个步骤：图像进行光栅扫描，若存在未标记的边界像素，则开始一条边界的跟踪；否则，算法结束。在

的8邻域内，从左边相邻的0像素开始，按照逆时针方向搜索下一个边界像素。此时，(1)当其8邻域都是0像素时，边界跟踪结束；(2)在其他情况下，将搜索到的第1个1像素，记为

，作为下一个边界像素。在

的8邻域内，按照逆时针方向，从

的下一个像素开始搜索1像素，记为

；利用同样的方法继续搜索，若搜索到当前边界像素

，且下一像素

，则边界的跟踪结束，此时，序列

形成一条边界；在边界跟踪的过程中，将边界上的像素

标记为已跟踪。返回到步骤1，继续光栅扫描，并准备进行下一条边界的跟踪。步骤2(1)示意图步骤2(2)示意图步骤3基于边界的分割边界跟踪的顺序边界跟踪示意图

(a)目标区域 (b)外边界 (c)内边界 (d)内边界(e)内边界 (f)内边界 (g)内边界 (h)内边界目标区域内外边界的跟踪结果基于边界的分割基于边界的分割Hough变换：Hough变换直线检测是一种参数空间提取直线的方法，它将直线上点的坐标变换到过点的系数域，利用了共线点与直线相交之间的关系，将直线检测问题转换为计数问题。Hough变换直线检测的主要优点是受直线中间隙和噪声的影响较小。Hough变换直线检测基本思想：在O-xy平面上，直线的斜截式方程为，

。式中，u和v分别为直线的斜率和截距，对于给定的一条直线，对应一个数对(u,v)；反之，给定一个数对(u,v)，对应一条直线，这种一一对应关系称为Hough变换。同理，O-xy平面上的一点(x,y)与O-uv平面上的一条直线

也是一一对应关系。Hough变换直线检测就是利用这个重要性质检测共线点，从而提取出直线。O-xy上的直线与O-uv上的数对的对应关系O-xy上的点与O-uv上的直线的对应关系基于边界的分割极坐标系中Hough变换实现：由于直线的斜率可能无穷大，为了使变换域有意义，采用直线的极坐标方程表示为，，式中，

定义了从原点到直线距离的向量。于是，O-xy上的一条直线

与

上的数对

是一一对应关系。同理，O-xy上的一点与

上的一条正弦曲线也是一一对应关系。为了寻找共线点所构成的直线，将

平面量化为小格，使得参数空间中每一个小格对应一个数对

，以及对应一个计数累加器

。对于O-xy上的点(x,y)，计算各个量化值

对应的

值并量化，将相应的计数累加器

加1。将所有点(x,y)变换到参数空间后，对各个小格对应的计数累加器进行统计，落在具有较大计数值的小格中的O-xy上的各点接近于共线，利用最小二乘拟合计算直线方程。这就是利用Hough变换提取直线的原理。受噪声干扰的共线点的Hough变换共线点对应的正弦曲线相交于一点

(a)灰度图像(b)Canny边缘检测Hough变换直线检测结果基于边界的分割(d)参数空间(c)Hough变换直线检测基于边界的分割Hough变换圆检测：Hough变换适用于形式为

的任何函数，其中，x为坐标向量，c为参数向量。二维空间中圆的函数有3个未知参数，圆的标准方程为，。

式中，

为圆心，r为圆的半径。这3个参数构成三维参数空间的计数累加器。根据O-xy平面上的每一个点(x,y)，递增

和

值，计算相应的r值并量化，同时，将相应的计数累加器

加1。显然，Hough变换检测的复杂度随着参数个数的增加呈几何增长。通常，利用Hough变换进行圆检测时，预先估计圆的半径，这样就可以将参数向量降到二维，在二维参数空间中，Hough变换圆检测的复杂度与直线检测的复杂度相同。O-xy平面O-αβ平面,r估计正确O-αβ平面,r估计过大O-αβ平面,r估计过小(a)灰度图像(b)Canny边缘检测(c)参数空间(d)Hough变换圆检测Hough变换圆检测结果基于边界的分割基于阈值的图像分割基于阈值的图像分割：其基本原理是通过设定不同的阈值，将图像中的像素分为两类或多类，具有计算简单、容易实现的优点。该方法适用于目标与背景在灰度上有较强对比度，且目标或背景的灰度比较单一的图像；当背景复杂时，该方法会失效。直方图基础：当一幅图像由亮目标区域和暗背景区域(或反之)组成时，灰度直方图呈现双峰模式。显然，选择一个合适的阈值T就可以将这两个峰分开，这种方法称为阈值法。全局阈值法是指利用全局信息对整幅图像求出最优分割阈值，可以是单一或多个阈值；局部阈值法是将整幅图像划分为若干区域，再对各个区域使用全局阈值法分别求出最优分割阈值。双峰模式直方图(a)二值图像(b)硬币目标单一阈值T=0.3333的全局阈值分割结果基于阈值的图像分割全局阈值法交互方式全局阈值法：交互方式阈值化处理的具体方法描述为如下3个步骤：(1)估计目标区域中的样本值

；(2)试探性选取容许度

；(3)对图像二值化，若

，则标记为目标区域，赋值为1或255，否则，标记为背景区域，赋值为0。P参数法的全局阈值分割结果基于阈值的图像分割灰度图像反转图像P0为30%的分割结果

P0为42%的分割结果P参数法：其基本思想是，根据目标区域在整幅图像中所占的比例来设定阈值，进行二值化处理。设目标为暗区域、背景为亮区域，试探性给出一个阈值T，统计目标区域的像素数，并计算目标区域的像素数与图像像素总数的比值，判断目标区域在整幅图像中所占的比例是否满足要求。若满足要求，则阈值合适；否则，则阈值偏大或偏小，再对阈值进行调整，直至满足要求为止。参数法原理示意图基于阈值的图像分割Otsu阈值法：Otsu阈值法的基本思想是根据图像中像素的灰度特征，将图像中像素分成前景和背景像素两类，两类像素的类间方差最大时的阈值即为最优阈值。设图像的像素总数为n，灰度级数为L，第k个灰度级rk的像素数为nk，计算图像的灰度直方图，根据像素的灰度值利用阈值T将图像中的像素划分为两类，记为C1和C2。两类C1和C2的类内方差定义为，式中，

和

、和分别为两类中像素数在像素总数中所占的比例和像素的灰度均值。两类的总类内方差、类间方差和总方差分别为，基于阈值的图像分割引入Fisher判别分析中类可分离性的判别准则作为评价阈值T分割性能的判别准则，可表示为，，，好的阈值应能够很好地分离两类像素，这样，将寻找最优阈值的图像分割问题转换为搜索最优阈值T*使判别准则达到最大值的最优化问题。求取最优阈值T*的表达式为，MatLab中图像处理工具箱提供的灰度图像阈值函数graythresh函数采用的就是Otsu阈值法。基于阈值的图像分割迭代阈值法：其基本思想是属于同一类别的像素灰度值具有较大的一致性，使用均值和方差作为均匀性度量的数字指标。设图像的像素总数为n，灰度级数为L，第k个灰度级rk的像素数为nk，该方法的具体步骤如下：选取灰度均值或灰度中值作为阈值的初始估计值T0；根据像素的灰度值利用阈值将图像分割成两个区域，记为R1和R2。R1由灰度值在范围

内的像素组成，R2由灰度值在范围

内的像素组成；分别计算区域R1和R2内像素的灰度均值

和

，利用

和

更新阈值，即，

若连续两次迭代的阈值

与

之差小于预设限

，即，

终止迭代；否则，返回步骤2。Ostu阈值法和迭代阈值法的图像分割结果(a)灰度图像(b)Otsu阈值法(c)迭代阈值法基于阈值的图像分割梯度加权直方图示例(a)灰度图像(b)原直方图(c)梯度加权直方图基于阈值的图像分割基于梯度的直方图阈值法：区域内部像素的灰度值具有一定的一致性和相关性，因而梯度较小，而边界部分的像素具有较大的梯度。基于梯度的直方图阈值法利用的局部邻域特征就是像素的梯度。梯度加权直方图阈值法：该方法是一种最简单的基于梯度的直方图阈值法，这种方法给梯度较小的目标和背景区域内部像素赋予较大的权重，而给它们边界上梯度较大的像素赋予较小的权重。设

表示像素

的梯度，在灰度直方图的计算过程中，对图像中像素的灰度值

进行统计时，赋予关于梯度的权重

，梯度加权直方图的计算式为，灰度-梯度二维直方图(a)灰度图像(b)二维直方图的灰度图像显示(c)二维直方图的伪彩色图像显示基于阈值的图像分割灰度-梯度二维直方图阈值法：该灰度-梯度二维直方图阈值法实际上是建立一个二维直方图，横轴表示灰度级，纵轴表示梯度。通常情况下，将图像的梯度压缩到范围

内并量化为整数，使得灰度-梯度二维直方图为L×L的方形。设

为像素

的灰度值，

为其梯度，灰度-梯度二维直方图的计算式为，灰度-梯度二维直方图示意图基于阈值的图像分割多阈值法：对于难以准确定位双峰之间谷底位置的图像分割问题，多阈值法图像分割顾名思义是在图像分割的过程中设定多个阈值来实现复杂双峰形状直方图的图像分割。双阈值法：单阈值法仅使用单一的全局阈值对目标和背景区域进行分割。当一幅图像的灰度直方图呈现明显的双峰特性时，选取两峰之间的谷底作为阈值，可以取得好的分割结果。双阈值法图像分割的思想追溯到Canny边缘检测，在Canny边缘检测中使用两个不同的阈值，高阈值决定强边缘，而低阈值决定弱边缘。两个高斯函数形成的双峰直方图双阈值法示意图局部自适应阈值法的图像分割(a)灰度图像(b)Bradley算法的分割结果基于阈值的图像分割局部阈值法：当图像中存在阴影、照度不均匀、对比度、背景灰度变化等情况时，仅使用固定的单一全局阈值对整幅图像进行分割则无法兼顾图像各处的情况。局部阈值法使用一组与像素坐标相关的阈值，为图像中的各个像素计算不同的分割阈值，也称为动态阈值法或自适应阈值法。Niblack算法是一种局部阈值法，局部阈值

依赖于空间坐标

，其计算式为，。式中，

、分别表示以像素

为中心的邻域内像素的灰度均值与均方差，k为常数。基于区域的图像分割基于区域的图像分割：基于阈值的图像分割方法没有考虑像素的空间位置关系，而同一分割区域的像素应该具有相似的性质，基于区域的图像分割方法充分考虑了像素及其空间邻域像素之间的关系。区域生长法：其基本思想是，在待分割区域内确定一个或多个像素作为种子像素，根据某种相似性准则，由内向外合并具有相同或相似性质的相邻像素，逐步扩展区域，将扩展区域内的所有像素作为新的种子像素，继续合并具有相同或相似性质的相邻像素，直至扩展到整个区域。区域生长法的实现主要包括3个步骤：(1)选取合适的种子像素；(2)确定像素合并的相似性准则；(3)确定终止生长过程的准则。区域生长法要求待分割区域具有相同或相似的性质，且是连通的。区域内像素的相似性度量通常利用灰度、颜色、纹理等特征。区域可分为4连通区域和8连通区域。4连通和8连通像素生长方向4连通和8连通区域连通歧义性解释(a)初始分割集合(b)膨胀集合(c)腐蚀集合(d)最终目标集合单一连通分量的检测基于区域的图像分割基于阈值的图像分割区域标记：区域标记是将一幅图像中的同一个连通分量标记为同一符号，因而也称为连通分量标记。根据区域可分为4连通和8连通区域，区域标记包括4连通和8连通区域标记。通常利用区域生长法提取二值图像中的所有连通分量，使用不同的符号标记不同的连通分量，输出为区域标记矩阵。区域连通分量区域标记多个连通分量检测基于区域的图像分割(c)连通分量的区域标记连通分量连通分量的像素数1357529937941151637381096(a)初始分割集合(b)目标检测结果各个连通分量及连通分量的像素数基于区域的图像分割区域分裂合并法：区域分裂合并法是按照某种一致性准则分裂和合并区域，不需要预先指定种子像素。当区域不满足一致性准则时，通过区域分裂将不同目标的区域分开；当相邻区域性质相同或相似时，通过区域合并将同一目标的相邻区域合并。基于四叉树数据结构的区域分裂合并法的具体实现步骤描述如下：初始区域为整幅图像R0；对于每一个区域R，若

，则将区域分裂成4个子区域；重复步骤2，直至没有可以分裂的区域；对于图像中任意两个相邻区域Ri和Rj，若

，则将这两个区域合并成为一个区域。重复步骤4，直至没有可以合并的相邻区域。

图像分裂四叉树数据结构基于区域的图像分割(f)图像分割结果(e)合并(d)3层分裂(c)2层分裂(b)1层分裂(a)二值图像图像分裂合并过程示意图区域分裂的四叉树数据结构表示(a)灰度图像(b)四叉树数据结构(c)块均值图像基于区域的图像分割

(a)灰度图像(b)子区域最小尺寸1×1

(c)子区域最小尺寸2×2

图像的四叉树数据结构表示以及使用区域分裂合并法的前景(目标)分割结果(1/2)基于区域的图像分割

(a)灰度图像(d)子区域最小尺寸4×4

(e)子区域最小尺寸8×8

图像的四叉树数据结构表示以及使用区域分裂合并法的前景(目标)分割结果(2/2)基于区域的图像分割分水岭分割分水岭分割：分水岭分割是一种特殊应用的图像分割方法。当图像中的目标物体连接在一起时，图像分割会更困难，分水岭分割算法经常用于处理这类问题，通常会取得较好的效果。基本概念：分水岭是指两个盆地或流域之间的山脊。分水岭的概念建立在图像三维模型的基础上，将一幅图像看成是一个拓扑地形，图像中每一个像素的灰度值

对应于地形海拔高度。

(a)灰度图像

(b)分水岭(c)三维地形模型图像对应的拓扑地形分水岭分割分水岭算法：设

表示

的梯度图像，

表示其局部极小值点的集合，

和

分别表示其最小值和最大值，

表示

的像素集合，即

，随着水位线n的不断升高，整个模型将被水淹没。设表示在第n淹没阶段，与极小值点