视觉底层处理课件

7.2视觉的底层处理2010-5-57.2视觉的底层处理视觉的底层处理本节主要内容7.2.1基于局部边缘检测的分割算法7.2.2基于区域的分割7.2.3特征的提取与匹配视觉的底层处理本节主要内容7.2.1基于局部边缘检测的分割视觉的底层处理视觉系统的底层（LowLevel）处理是如何提取三维物体的初始简图，它是视觉系统中高层（HighLevel）处理的基础和能否完成计算机视觉理解的关键。

低层处理通常利用分割算法来实现，其中有两种算法：

1）基于局部边缘的检测分割算法

2）基于区域的分割算法

视觉的底层处理视觉系统的底层（Low7.2.1基于局部边缘检测的分割算法

物体的边界总是以图像灰度的突变形式出现的。视觉系统的实验表明，图像中的边界是识别一个物体最敏感的要素，因而启示人们能否利用边界轮廓来表示物体，同时设计各种不同的算法，直接从图像灰度值找到物体的边界。当物体具有较低的信噪比或边界有复杂的形状时，难以实现。7.2.1基于局部边缘检测的分割算法物7.2.1基于局部边缘检测的分割算法改进：把图像变为有局部灰度突变的形式，然后把这些边缘复合成较精细的边界。常用的边缘检测算子是梯度算子（如LaplaceSobel算子），利用梯度算子检测理想边缘轮廓的实验结果如图7.2所示。

图7.2理想边缘轮廓7.2.1基于局部边缘检测的分割算法改进：7.2.1基于局部边缘检测的分割算法梯度算子

对于一个灰度图像f(x,y),在每一个像素上的梯度可表示为E（x,y）=（Ex2(x,y)+Ey2(x,y)）1/2

梯度方向用表示。梯度算子的简

化式为或者E（x,y）=max(|Ex|,|Ey|).

若采用3*3Sobel算子，如图7.3所示，Ex,Ey为x,y方向的偏导，表示如下：

Ex=(A2+2A3+A4)-(A0+2A7+A8)Ey=(A0+2A1+A2)-(A0+2A5+A4)

7.2.1基于局部边缘检测的分割算法梯度算子7.2.1基于局部边缘检测的分割算法Laplace边缘检测算子数学表达式为

的近似形式。离散Laplace算子形式为图7.3图像的3*3领域7.2.1基于局部边缘检测的分割算法Laplace边缘检测算7.2.1基于局部边缘检测的分割算法实验表明，该算子对线段噪声更敏感。

自然景物中包含不同大小的物体，需选取不同滤波器使边缘检测能多尺度的提取物体边缘目的。因此提出一种多分辨率的边缘检测算法。

Marr等人先用高斯函数对图像进行平滑，然后采用Laplace函数根据二阶导数过零点来检测图像边缘，且可通过连续改变的方法，得到一系列由粗到细的边缘。具体算法如下：首先对图像采用高斯函数卷积滤波，滤波的结果去除了原图噪声点和小尺寸的细节，使得检测到的边缘更可靠。边缘点就是二阶导数的过零点。

7.2.1基于局部边缘检测的分割算法实7.2.1基于局部边缘检测的分割算法

其中高斯滤波函数为▽2代表Laplace运算，*代表卷积运算。把上面两个运算化为一个运算，通常以Log函数与原图像相卷积来完成。上式的对数形式表示为7.2.1基于局部边缘检测的分割算法其中高斯7.2.1基于局部边缘检测的分割算法它在二维坐标系中的图形如图7.4所示.

应用不同的，采用过零技术，做多尺度的边缘检测如图7.5所示。在该图中，水平轴X，垂直轴，显然在增大时，被检测的边缘减少，在某种分辨率下，一定尺度的边缘可被检测出来。在较小时，图中包括了较多的“细”节；反之在较大时，图中的细节则要“粗”的多。

如何将“粗”“细”情节组合成单一形式，则还是一个感兴趣的问题。7.4高斯滤波图7.5多尺度的边缘检测7.2.1基于局部边缘检测的分割算法它在二维坐标系中的图形如7.2.2基于区域的分割

上节讨论了线特征的边界分割法，本节将介绍两种区域分割的方法：阈值区域分割法和分裂与合并。

1、阈值区域分割法对于一个包含物体和背景的图像，通常选取一个阈值将物体从背景中区分出来。如果图像有几个不同的目标区域，则每个区域都有自己的灰度特征，在这种情景下，灰度图像的直方图有几个峰值，每个峰值相应一个或者几个区域，单阈值分割法将不能准确的从灰度图像中分割出不同的区域目标。为了克服上述缺点，可先对图像进行高通滤波以去掉低频的背景变化，再使用原先的阈值法和空间可变的阈值法。7.2.2基于区域的分割上节讨论了7.2.2基于区域的分割

2、分裂与合并利用灰度特征分割图像时，噪声可形成伪边缘，甚至形成假目标。而采用分裂和合并的方法，可以将属于不同物体的目标分开，而把同一物体的目标合并。在分裂和合并过程中，可以采用如下启发信息：合并相邻的具有同类属性的区域。去除疑义边界利用区域之间的拓扑特征关系利用景物中的形状信息利用景物中的语义信息7.2.2基于区域的分割2、分裂与合并7.2.2基于区域的分割分裂合并算法过程：分裂过程：假如一个区域的属性不一致，应当将这个区域加以分裂。有两个问题需要注意：一、如何判断一个区域属性不一致？二、如何将这两个区域分裂开？对于前者，可利用灰度方差和最优函数误差技术来判断同一区域属性是否一致；对于后者，人们采用规则分类算法（四叉树算法）。目前的许多合并算法判断两个区域具有同一属性，它们都是基于区域灰度特征和区域边界特征进行的合并。通常的合并方法有如下两种：7.2.2基于区域的分割分裂合并算法过程：7.2.2基于区域的分割（1）比较他们的灰度平均值，假若两区域灰度平均值低于阈值，可考虑将两区域合并。（2）假如灰度值服从概率分布，根据两个相邻区域灰度是否具有同一概率分布来判断两相邻区域是否合并。例如，有两个相邻区域R1和R2，他们的像素点数分别为m1,m2,假设

有两个区域属于同一物体，他们的灰度分布属于高斯分布。两个区域属于不同物体，每个区域的灰度分布为高斯分布，分别为。7.2.2基于区域的分割（1）比较他们的灰度7.2.2基于区域的分割为了判断两类相邻区域可否合并，定义合并系数

L=两个目标区域概率/同一目标区域概率=P1*P2/P

=若L低于某个阈值，则可合并这两个区域为一个目标区域。7.2.2基于区域的分割为了判断两类相邻区域可否合并，定7.2.3特征提取与匹配

特征提取与匹配是视觉底层处理中的一项极为基本和重要的技术。

1、特征提取

特征提取是基于形状的边界或区域的表示和描述。表示方式是链码，采用链码表示的方式较简易可行。最常用的是如图7.6所示的Freeman码，其次是多边形的分段逼近表示，它采用的算法是把原轮廓分割成几个线段来表示。分段逼近算法可以是基于段合并与段分裂的相结合。段合并首先把轮廓分成足够小的段，然后递归的为这些段应用合并策略，构造较大的段，直到进一步的合并将产生合并程度不好的段为止。

7.2.3特征提取与匹配特征提7.2.3特征提取与匹配（a）四一方向连通（b）八一方向连通（c)(d)分别为边界轮廓图（e）四一链码图（f）八一链码图7.2.3特征提取与匹配（a）四一方向连通（b）八一方向7.2.3特征提取与匹配合并策略可以是顺序的，在这种情况下，单一的初始段作为一个段的“种子”，只要拟合程度满足要求，邻近段就可以加进去。段分裂开始时，先把一条曲线同整个轮廓拟合，如该拟合程度足够好，则算法终止，否则曲线分裂成段，拟合及测试过程递归应用于各段。

边界描述也是物体特征提取的基础，常用的是Fourier描述方法，他利用Fourier级数表示区域边界。这类基于频域的描述方法，包含的系数越多，形状特征的精确性也就越高。7.2.3特征提取与匹配合并策略可以7.2.3特征提取与匹配

Fourier描述方法对于一般形状的物体，仅仅取边界曲线Fourier展开式中几个低阶系数，就可以获得较好的描述。形状和边界描述，对于物体识别起着特别重要的作用。一般来说，特征可分为形状特征，如角点；参考特征，如矩特征。角点、曲线拐点等特征点是非常重要的特征，The和Chin分析和比较了几个特征检测算法，发现基于高曲率处关键点检测算法对于平缓过渡的拐点就不能检测出来（如圆弧与直线的相切点）。为此，这里介绍一种自适应检测关键特征点方法。如图7.7所示。7.2.3特征提取与匹配Fouri7.2.3特征提取与匹配图7.7关键特征点提取过程（a）边界轮廓图（b）曲率信号图（c）曲率信号滤波结果（d）特征点提取7.2.3特征提取与匹配7.2.3特征提取与匹配其中图（a）是图（b）的曲率信号图。显然，基于该曲率的信号变化提取关键特征点是较困难的，有必要先对该曲率进行滤波，滤除噪声信号，然后根据曲率信号的峰和谷，过零检测相应特征点。

下面是曲率信号的滤波过程：假设I0（s）为滤波平滑前曲率信号，It（s）为曲率信号经t次迭代滤波的输出信号，其定义为：

其中C（s+i）为相应I（s+i）变化的权系数，在区域边界点C（s+i）接近0，在区域内部C（s+i)为1，若属于不同区域的两点只能取平均。然而区域的边界并不确定，根据邻近曲率的估计，C（s）可用下式表示：

7.2.3特征提取与匹配其中图（a）7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配2、匹配

7.2.3特征提取与匹配2、匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2.3特征提取与匹配7.2视觉的底层处理2010-5-57.2视觉的底层处理视觉的底层处理本节主要内容7.2.1基于局部边缘检测的分割算法7.2.2基于区域的分割7.2.3特征的提取与匹配视觉的底层处理本节主要内容7.2.1基于局部边缘检测的分割视觉的底层处理视觉系统的底层（LowLevel）处理是如何提取三维物体的初始简图，它是视觉系统中高层（HighLevel）处理的基础和能否完成计算机视觉理解的关键。

低层处理通常利用分割算法来实现，其中有两种算法：

1）基于局部边缘的检测分割算法

2）基于区域的分割算法

视觉的底层处理视觉系统的底层（Low7.2.1基于局部边缘检测的分割算法

物体的边界总是以图像灰度的突变形式出现的。视觉系统的实验表明，图像中的边界是识别一个物体最敏感的要素，因而启示人们能否利用边界轮廓来表示物体，同时设计各种不同的算法，直接从图像灰度值找到物体的边界。当物体具有较低的信噪比或边界有复杂的形状时，难以实现。7.2.1基于局部边缘检测的分割算法物7.2.1基于局部边缘检测的分割算法改进：把图像变为有局部灰度突变的形式，然后把这些边缘复合成较精细的边界。常用的边缘检测算子是梯度算子（如LaplaceSobel算子），利用梯度算子检测理想边缘轮廓的实验结果如图7.2所示。

图7.2理想边缘轮廓7.2.1基于局部边缘检测的分割算法改进：7.2.1基于局部边缘检测的分割算法梯度算子

对于一个灰度图像f(x,y),在每一个像素上的梯度可表示为E（x,y）=（Ex2(x,y)+Ey2(x,y)）1/2

梯度方向用表示。梯度算子的简

化式为或者E（x,y）=max(|Ex|,|Ey|).

若采用3*3Sobel算子，如图7.3所示，Ex,Ey为x,y方向的偏导，表示如下：

Ex=(A2+2A3+A4)-(A0+2A7+A8)Ey=(A0+2A1+A2)-(A0+2A5+A4)

7.2.1基于局部边缘检测的分割算法梯度算子7.2.1基于局部边缘检测的分割算法Laplace边缘检测算子数学表达式为

的近似形式。离散Laplace算子形式为图7.3图像的3*3领域7.2.1基于局部边缘检测的分割算法Laplace边缘检测算7.2.1基于局部边缘检测的分割算法实验表明，该算子对线段噪声更敏感。

自然景物中包含不同大小的物体，需选取不同滤波器使边缘检测能多尺度的提取物体边缘目的。因此提出一种多分辨率的边缘检测算法。

Marr等人先用高斯函数对图像进行平滑，然后采用Laplace函数根据二阶导数过零点来检测图像边缘，且可通过连续改变的方法，得到一系列由粗到细的边缘。具体算法如下：首先对图像采用高斯函数卷积滤波，滤波的结果去除了原图噪声点和小尺寸的细节，使得检测到的边缘更可靠。边缘点就是二阶导数的过零点。

7.2.1基于局部边缘检测的分割算法实7.2.1基于局部边缘检测的分割算法

其中高斯滤波函数为▽2代表Laplace运算，*代表卷积运算。把上面两个运算化为一个运算，通常以Log函数与原图像相卷积来完成。上式的对数形式表示为7.2.1基于局部边缘检测的分割算法其中高斯7.2.1基于局部边缘检测的分割算法它在二维坐标系中的图形如图7.4所示.

应用不同的，采用过零技术，做多尺度的边缘检测如图7.5所示。在该图中，水平轴X，垂直轴，显然在增大时，被检测的边缘减少，在某种分辨率下，一定尺度的边缘可被检测出来。在较小时，图中包括了较多的“细”节；反之在较大时，图中的细节则要“粗”的多。

如何将“粗”“细”情节组合成单一形式，则还是一个感兴趣的问题。7.4高斯滤波图7.5多尺度的边缘检测7.2.1基于局部边缘检测的分割算法它在二维坐标系中的图形如7.2.2基于区域的分割

上节讨论了线特征的边界分割法，本节将介绍两种区域分割的方法：阈值区域分割法和分裂与合并。

1、阈值区域分割法对于一个包含物体和背景的图像，通常选取一个阈值将物体从背景中区分出来。如果图像有几个不同的目标区域，则每个区域都有自己的灰度特征，在这种情景下，灰度图像的直方图有几个峰值，每个峰值相应一个或者几个区域，单阈值分割法将不能准确的从灰度图像中分割出不同的区域目标。为了克服上述缺点，可先对图像进行高通滤波以去掉低频的背景变化，再使用原先的阈值法和空间可变的阈值法。7.2.2基于区域的分割上节讨论了7.2.2基于区域的分割

2、分裂与合并利用灰度特征分割图像时，噪声可形成伪边缘，甚至形成假目标。而采用分裂和合并的方法，可以将属于不同物体的目标分开，而把同一物体的目标合并。在分裂和合并过程中，可以采用如下启发信息：合并相邻的具有同类属性的区域。去除疑义边界利用区域之间的拓扑特征关系利用景物中的形状信息利用景物中的语义信息7.2.2基于区域的分割2、分裂与合并7.2.2基于区域的分割分裂合并算法过程：分裂过程：假如一个区域的属性不一致，应当将这个区域加以分裂。有两个问题需要注意：一、如何判断一个区域属性不一致？二、如何将这两个区域分裂开？对于前者，可利用灰度方差和最优函数误差技术来判断同一区域属性是否一致；对于后者，人们采用规则分类算法（四叉树算法）。目前的许多合并算法判断两个区域具有同一属性，它们都是基于区域灰度特征和区域边界特征进行的合并。通常的合并方法有如下两种：7.2.2基于区域的分割分裂合并算法过程：7.2.2基于区域的分割（1）比较他们的灰度平均值，假若两区域灰度平均值低于阈值，可考虑将两区域合并。（2）假如灰度值服从概率分布，根据两个相邻区域灰度是否具有同一概率分布来判断两相邻区域是否合并。例如，有两个相邻区域R1和R2，他们的像素点数分别为m1,m2,假设

有两个区域属于同一物体，他们的灰度分布属于高斯分布。两个区域属于不同物体，每个区域的灰度分布为高斯分布，分别为。7.2.2基于区域的分割（1）比较他们的灰度7.2.2基于区域的分割为了判断两类相邻区域可否合并，定义合并系数

L=两个目标区域概率/同一目标区域概率=P1*P2/P

=若L低于某个阈值，则可合并这两个区域为一个目标区域。7.2.2基于区域的分割为了判断两类相邻区域可否合并，定7.2.3特征提取与匹配

特征提取与匹配是视觉底层处理中的一项极为基本和重要的技术。

1、特征提取

特征提取是基于形状的边界或区域的表示和描述。表示方式是链码，采用链码表示的方式较简易可行。最常用的是如图7.6所示的Freeman码，其次是多边形的分段逼近表示，它采用的算法是把原轮廓分割成几个线段来表示。分段逼近算法可以是基于段合并与段分裂的相结合。段合并首先把轮廓分成足够小的段，然后递归的为这些段应用合并策略，构造较大的段，直到进一步的合并将产生合并程度不好的段为止。

7.2.3特征提取与匹配特征提7.2.3特征提取与匹配（a）四一方向连通（b）八一方向连通（c)(d)分别为边界轮廓图（e）四一链码图（f）八一链码图7.2.3特征提取与匹配（a）四一方向连通（b）八一方向7.2.3特征提取与匹配合并策略可以是顺序的，在这种情况下，单一的初始段作为一个段的“种子”，只要拟合程度满足要求，邻近段就可以加进去。段分裂开始时，先把一条曲线同整个轮廓拟合，如该拟合程度足够好，则算法终止，否则曲线分裂成段，拟合及测试过程递归应用于各段。

边界描述也是物体特征提取的基础，常用的是Fourier描述方法，他利用Fourier级数表示区域边界。这类基于频域的描述方法，包含的系数越多，形状特征的精确性也就越高。7.2.3特征提取与匹配合并策略