光电图像处理：第七章 图像分割与特征描述

第七章图像分割与特征描述Charpter07Imagesegmentationandfeaturesdescription概述车牌识别

要辨认车牌中的文字，需先将这些文字分选出来，跟字库进行比对。然后与数据库车辆信息进行对比，确定车主信息。概述B842MPB图像识别及应用概述概述图像分析概述图像描述所谓图像分析，就是根据图像中的目标的描述数据对其作定性或定量分析，分析的基础是目标区域的特征。用一组数量或符号来表征图像中被描述的目标的基本特征。图像分析手段之一——图像分割把图像分解成构成它的部件和对象的过程。有选择性地定位感兴趣对象在图像中的位置和范围。

总之，把图像空间按照一定的要求分成一些“有意义”的区域的技术叫图像分割(Segmentation)。概述图像分析系统的构成知识库表示与描述预处理分割低级处理高级处理中级处理识别与解释结果图像获取问题概述主要内容图像边缘检测Hough变换图像的区域分割图像特征及描述目标检测及应用一、边缘检测(Edgedetection)1、图像（物体）的边缘人可以仅满足于边缘提供的信息一、边缘检测(Edgedetection)1、图像（物体）的边缘一、边缘检测(Edgedetection)边缘是图像的最基本特征。所谓边缘是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。边缘广泛存在于物体与背景之间、物体与物体之间、基元与基元之间。因此，它是图像分割所依赖的重要特征。1、图像（物体）的边缘一、边缘检测(Edgedetection)边缘的基本类型：阶跃边缘(Stepedge)

屋顶边缘(Roofedge)脉冲边缘(Pulseedge)1、图像（物体）的边缘阶跃边缘(StepEdge)实际图一、边缘检测(Edgedetection)1、图像（物体）的边缘屋顶边缘(Roofedge)一、边缘检测(Edgedetection)实际图1、图像（物体）的边缘脉冲边缘(Pulseedge)一、边缘检测(Edgedetection)实际图1、图像（物体）的边缘一、边缘检测(Edgedetection)2、基于差分(梯度)算子的边缘检测差分形式：两个方向梯度分量的合成原则：(1)(2)(3)一、边缘检测(Edgedetection)2、基于差分(梯度)算子的边缘检测梯度图对梯度进行二值化得到边缘图一、边缘检测(Edgedetection)2、基于差分(梯度)算子的边缘检测其中，T为给定的阈值；最后得到的结果即为二值化的边缘图。一、边缘检测(Edgedetection)f(x,y)gx(x,y)gy(x,y)g1(x,y)g2(x,y)g3(x,y)一、边缘检测(Edgedetection)Roberts算子Prewitt算子Sobel算子Kirsch算子Frei-ChenedgedetectorLaplacian算子LoG算子Cannyedgedetector3、几种常用的边缘检测算子一、边缘检测(Edgedetection)(1)Roberts算子(1963)(2)Prewitt算子(1970)一、边缘检测(Edgedetection)—x方向梯度—y方向边缘—x方向梯度—y方向边缘一、边缘检测(Edgedetection)(3)Sobel算子(1968)—x方向梯度—y方向边缘—x方向梯度—y方向边缘一、边缘检测(Edgedetection)(4)方向梯度算子——平均差分8方向梯度模板W0(0)W1(45)W2(90)W3(135)W4(180)W5(225)W6(270)W7(360)W1W0W7W6W5W4W3W2一、边缘检测(Edgedetection)(4)方向梯度算子——平均差分8方向梯度模板其中的下标i代表方向模板的序号，Wi表示第i方向的模板，表示第i方向的梯度模值，N代表模板的个数。平均差分8方向梯度算子检测结果一、边缘检测(Edgedetection)(4)方向梯度算子——8方向Sobel算子W0(0)W1(45)W2(90)W3(135)W4(180)W5(225)W6(270)W7(360)W1W0W7W6W5W4W3W2一、边缘检测(Edgedetection)(5)Krisch算子(1971)KirschRA.Computerdeterminationoftheconstituentstructureofbiologicalimages[J].Computersandbiomedicalresearch,1971,4(3):315-328.Born1929–ResidencePortland,Oregon,UnitedStatesEducationBronxHighSchoolofScience(1946),

BEE

NewYorkUniversity

(1950),

SM

HarvardUniversity

(1952),

AmericanUniversity,

MassachusettsInstituteofTechnologyOccupationComputerscientistKnown

forFirstprogrammablecomputer.Firstscanneddigitalimage.一、边缘检测(Edgedetection)(5)Krisch算子(1971)W0(0)W1(45)W2(90)W3(135)W4(180)W5(225)W6(270)W7(360)W1W0W7W6W5W4W3W2一、边缘检测(Edgedetection)原图PrewittSobel平均差分方向梯度Sobel方向梯度Krisch算子Frei和Chen提出,以使水平、垂直和对角边缘的梯度相同。/blog/2011/01/frei-chen-edge-detector/

一、边缘检测(Edgedetection)(6)Frei-Chenedgedetector一、边缘检测(Edgedetection)Foredgedetection,appropriatemasksarechosenandtheimageisprojectedontoit.Theprojectionequationisgivenbelow:WhenweareusingtheFrei-Chenmasksforedgedetectionwearesearchingforthecosinedefinedaboveandweusethefirstfourmasksastheelementsofimportancesothefirstsumabovegoesfromonetofour.一、边缘检测(Edgedetection)OriginalSobelfilterFrei-ChenfilterComparisonofedgedetectors一、边缘检测(Edgedetection)二维函数f(x,y)的拉普拉斯算子是一个二阶的微分算子，定义为：

(7)拉普拉斯(Laplacian)算子orMask一、边缘检测(Edgedetection)(7)拉普拉斯(Laplacian)算子一、边缘检测(Edgedetection)(7)拉普拉斯(Laplacian)算子

是一个二阶导数算子，它将在边缘处产生一个陡峭的零交叉；检测一个像素是在边的亮的一边还是暗的一边；利用零跨越(交叉)，确定边的位置。一、边缘检测(Edgedetection)(7)拉普拉斯(Laplacian)算子应用：拉普拉斯算子不直接用于边的检测，通常只起辅助的角色。缺点：对噪音的敏感；会产生双边效果；不能检测出边的方向（？）。Point,Line,andEdgeDetection1）一阶导数通常产生较粗的边缘；2）二阶导数对精细细节有较强相应；3）二阶导数在灰度斜坡和灰度台阶过渡处产生双边效应；4）二阶导数的符号可用于确定边缘过渡是从亮到暗还是从暗到亮。Example①

PointDetection

②

LineDetection——亮暗双线效应(8)LoG

算子(Marr&Hildreth,1980)理想检测算子：灰度变化与图像尺度无关，因此，检测要求不同尺度的算子。灰度的突然变化：一阶导数中引起波峰或波谷；二阶导数等效地引起零交叉。LoG=LaplacianofGaussian即：高斯滤波+拉普拉斯算子。一、边缘检测(Edgedetection)原理(8)LoG

算子原理(8)LoG

算子Whereistheedge?EffectsofnoiseLaplacianofGaussianWhereistheedge?Lookforpeaksin

Solution:smoothfirstDerivativetheoremofconvolution因为：LaplacianofGaussianoperatorWhereistheedge?Zero-crossingsofbottomgraphLaplacianofGaussian考虑：LaplacianofGaussian（墨西哥草帽）GaussianderivativeofGaussian其中：LaplacianofGaussianLaplacianofGaussian一、边缘检测(Edgedetection)(9)Canny边缘检测算法JohnF.Canny于1986年开发出来的一个多级边缘检测算法。更为重要的是，他创立了边缘检测计算理论（Computationaltheoryofedgedetection）解释这项技术如何工作。[1]Canny,J.,AComputationalApproachToEdgeDetection,IEEETrans.PatternAnalysisandMachineIntelligence,8:679-714,1986.[2]Cannyhomepage:/~jfc/

CannyEdgeDetector

/wiki/John_Canny

一、边缘检测(Edgedetection)

Canny把边缘检测问题转化为检测单位函数极大值问题。在高斯噪声中，一个典型的边缘代表一个阶跃的强度变化。根据这个模型，一个好的边缘检测算子应具有三个指标：

(A)低失误概率；

(B)高位置精度；

(C)对每个边缘有唯一的响应。(9)Canny边缘检测算法算法步骤：①用高斯滤波器平滑图像。一、边缘检测(Edgedetection)为什么用高斯滤波器？平滑去噪和边缘检测是一对矛盾。应用高斯函数的一阶导数，在二者之间获得最佳的平衡。(9)Canny边缘检测算法②用一阶偏导有限差分计算梯度幅值和方向。一、边缘检测(Edgedetection)差分：幅值：方向：③对梯度幅值进行非极大值抑制(Non-MaximumSuppression)。一、边缘检测(Edgedetection)哪个点值是最大的?下一个点在哪里？x’

和x’’

为沿着垂直于某个角度方向的

x的邻域像素。一、边缘检测(Edgedetection)③对梯度幅值进行非极大值抑制(Non-MaximumSuppression)。一、边缘检测(Edgedetection)角度量化：③对梯度幅值进行非极大值抑制(Non-MaximumSuppression)。

取高低两个阈值作用于幅值图|△D|，得到两个边缘图：高阈值和低阈值边缘图。Why?

*阈值太低假边缘;阈值太高部分轮廊丢失。④用双阈值算法检测和连接边缘(HysteresisThresholding，滞后阈值化)。

幅值THTL3.EdgeDetection

TH=2~3TL一、边缘检测(Edgedetection)Canny边缘检测算例一、边缘检测(Edgedetection)Canny边缘检测算例一、边缘检测(Edgedetection)Non-MaximumSuppressionCanny边缘检测算例一、边缘检测(Edgedetection)HysteresisThresholdingCanny边缘检测算例BW=edge(I,'sobel')BW=edge(I,'sobel',thresh)BW=edge(I,'sobel',thresh,direction)[BW,thresh]=edge(I,'sobel',...)BW=edge(I,'prewitt')BW=edge(I,'prewitt',thresh)BW=edge(I,'prewitt',thresh,direction)[BW,thresh]=edge(I,'prewitt',...)BW=edge(I,'roberts')BW=edge(I,'roberts',thresh)[BW,thresh]=edge(I,'roberts',...)BW=edge(I,'log')BW=edge(I,'log',thresh)BW=edge(I,'log',thresh,sigma)[BW,threshold]=edge(I,'log',...)BW=edge(I,'zerocross',thresh,h)[BW,thresh]=edge(I,'zerocross',...)BW=edge(I,'canny')BW=edge(I,'canny',thresh)BW=edge(I,'canny',thresh,sigma)[BW,threshold]=edge(I,'canny',...)边缘检测MATLAB函数I=imread('circuit.tif');imshow(I);BW1=edge(I,'prewitt');BW2=edge(I,'canny');figure,imshow(BW1);figure,imshow(BW2)边缘检测MATLAB函数MATLAB算例原图PrewittSobleCannyMATLAB

ExampleMATLAB

ExampleOriginalimageprewittCannySobelCannyMATLAB

ExampleExample：复杂场景SobelExample：复杂场景CannyExample：复杂场景主要内容图像边缘检测Hough变换图像的区域分割图像特征及描述目标检测及应用Hough变换的提出二、Hough变换在找出边界点集之后，需要连接，形成完整的边界图形描述。Hough变换于1962年由PaulHough提出,并在美国作为专利被发表。它所实现的是一种从图像空间到参数空间的映射关系。图像及其参数空间二、Hough变换ImageSpaceParameterSpace即：图像空间的一条直线对应参数空间的一个点。qP-斜率二、Hough变换ImageSpaceParameterSpace即：图像空间一条直线的多个点对应参数空间多条直线相交于一个点。图像及其参数空间1111111111311111112111112111111量化参数空间

建立一个交点累加器设：

对每一个边缘点

增量:如果

位于一条直线上:找到最大值：

直线检测基本步骤二、Hough变换由于垂直直线p，为无穷大，一般改用极坐标形式：其中：参数平面为,

，对应不是直线而是正弦曲线。二、Hough变换极坐标下的Hough变换二、Hough变换ABCyxA

CBθρρθyxθρ即：直角坐标(x,y)的一条直线对应极坐标(θ,ρ)的一个点；反之亦然。二、Hough变换图像空间Hough空间二、Hough变换图像空间Hough空间二、Hough变换图像空间Hough空间二、Hough变换图像空间Hough空间二、Hough变换OriginalEdgedetectionFoundlinesParameterspace/node/430Art-in-Science/BreathtakingImages

二、Hough变换二、Hough变换Whoiswho?二、Hough变换二、Hough变换Hough变换的扩展Hough变换不只对直线，也可以用于圆：

（x–c1）2+(y-c2)2=c32

这时，需要3个参数的参数空间。二、Hough变换二、Hough变换Hough变换应用—ADI获奖项目主要内容图像边缘检测Hough变换图像的区域分割图像特征及描述目标检测及应用1、区域分割的集合描述三、

图像的区域分割

将区域R划分为若干个子区域R1,R2,…,Rn，这些子区域满足5个条件：

(1)完备性：;

(2)连通性：每个Ri都是一个连通区域;

(3)独立性：对于任意i≠j，Ri∩Rj=Ф;(4)单一性：每个区域内的灰度级相等，即(5)互斥性：任两个区域的灰度级不等，即其中P(Ri)为作用于Ri中所有像素的相似性（一致性）逻辑谓词。三、

图像的区域分割2、域分割的基本策略归结为：图像灰度值的两个最基本特性。(1)区域之间——不连续性；(2)区域内部——相似性。三、

图像的区域分割不连续性

边界分割法三、

图像的区域分割相似性（一致性）

阈值分割法

面向区域的分割

数学形态学分割3、阈值分割法阈值(Threshold)，也叫门限。阈值化(Thresholding),即按给定阈值进行图像的二值化处理。阈值分割法可分为以下几种：简单阈值分割法;阈值分割法;最佳阈值法;最大类间方差法

。三、

图像的区域分割(1)简单阈值分割

许多情况，图像是由具有不同灰度级的两类区域组成。如文字与纸张、地物与云层（航空照片）。特点:直方图具有两个峰，分别与两个灰度级范围相对应。TLN三、

图像的区域分割故可选择一个门限(阈值)，将两个峰分开。阈值Ｔ

指纹图像分割结果三、

图像的区域分割NoiseProblem全局阈值分割存在的问题NonuniformIlluminationProblem全局阈值分割存在的问题三、

图像的区域分割①

取两个峰值之间某个固定位置，如中间位置上。由于峰值代表的是区域内外的典型值，一般情况下，比选谷底更可靠，可排除噪音的干扰。改进措施一：通过直方图修正阈值②

对直方图进行平滑处理。改进措施一：通过直方图修正阈值TLN三、

图像的区域分割即：T取两个波峰的中间位置SelectaninitialestimateforT;SegmenttheimageusingTtogenerate2regions,G1&G2.Computetheaveragegraylevelvaluesm1andm2forregionsG1andG2,respectively.ComputethenewTas(m1+m2)/2.Repeatthesteps②～④untiltheTconverges.改进措施二：

algorithmStep三、

图像的区域分割(2)多阈值分割ABC三、

图像的区域分割双峰法可以推广到不同灰度均值的含有多目标的图像中。假设一幅图像包含两个以上的不同类型的区域，可以使用几个门限来分割图象。如白血球图像，直方图上有细胞核、细胞质、背景三个峰，可使用2个门限来分割图像。即阈值Ｔ1阈值Ｔ2三、

图像区域分割①两峰间谷底值；②计算T(最小错误法)：

P1(x)，P2(x)为两峰出现概率密度函数，且成正态分布，1，2为均值，1，2为标准差，当1=2=时：

其中P1,P2分别表示背景和物体出现的先验概率。

(3)最佳阈值分割三、

图像的区域分割(4)最大类间方差最大类间方差法是由日本学者大津于1979年提出的,是一种自适应阈值确定方法，又叫大津法，简称Otsu。它是按图像的灰度特性，将图像分成背景和目标两部分。Otsu,N.,"AThresholdSelectionMethodfromGray-LevelHistograms,"IEEETransactionsonSystems,Man,andCybernetics,Vol.9,No.1,1979,pp.62-66.三、

图像的区域分割即Otsu灰度阈值算法。图像有L阶灰度，ni是灰度为i的像素数，图像总像素数(3)最大类间方差三、

图像的区域分割0kL-1C1C2→T灰度为i的像素概率：pi=ni/N类间方差：灰度图像阈值:不需要人为设定其他参数，是一种自动选择阈值的方法。无论图像有无明显的双峰，该方法都可以得到较好的分割结果。三、

图像的区域分割Notice:argumentofmaximization

I=imread('coins.png');subplot(121),imshow(I),title(‘原图’);level=graythresh(I);%

Otsuthrehold

BW=im2bw(I,level);subplot(122),imshow(BW),title('分割图');MATLAB

ExampleImproveGlobalThresholdingwithSmoothing

均值滤波，改善Otsu分割效果的例子Otsu分割困难的例子ImproveGlobalThresholdingwithSmoothing

梯度（边缘）处理后，改善Otsu分割效果ImproveGlobalThresholdingwithEdge三、

图像的区域分割一些常用的经验阈值其中，μ为均值，σ为方差，λ为一个经验系数。其中，μ为均值，λ为一个经验系数。（1）均值（2）均值+方差基本思想将具有相似性质的像素集合起来构成区域；串行区域法。4、区域增长法三、

图像的区域分割步骤对每个需要分割的区域找一个种子像素作为生长的起点。将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域内。把新加入的像素作为新的种子继续上面的过程，直到没有满足条件的像素加入区域。（a）给出像素值为‘1’和‘5’的种子;（b）T=3，恰好分成两个区域;（c）T=1，有些像素无法判断;（d）T=6，整个图被分成一个区域.1047510477015552056522564115551155511555115551155511575115771155521555225551111111111111111111111111(a)原图(b)T=1(c)T=1(d)T=6三、

图像的区域分割4、区域增长法选择或确定一组能正确代表所需区域的种子像素具体问题具体分析先验知识（如：红外图像中检测目标时，选最亮的像素作为种子）无先验知识（可根据直方图选取灰度中像素个数多的像素作为种子）确定在生长过程中能将相邻像素合并的准则具体问题相关（目标和背景的像素分布特点）图像数据种类（单色、灰度还是彩色）像素间的连通性和邻近性制定让生长过程停止的条件或规则一般是没有满足生长的像素应考虑图像的局部性质（灰度、纹理和彩色）目标的全局性质（尺寸、形状等）三、

图像的区域分割关键问题生长准则和过程三、

图像的区域分割区域生长的关键是选择合适的生长或相似准则。(1)基于区域灰度差；(2)基于区域灰度分布统计性质；(3)基于区域形状。(1)基于区域灰度差三、

图像的区域分割基本方法：种子像素的灰度值与邻域像素的差。改进：先合并具有相同灰度的像素，然后求出所有邻接区域间的平均灰度差，并合并最小灰度差的邻接区域，重复上述步骤直到没有区域合并。则区域O均匀测度定义为：即：在区域O中，各像素灰度值与均匀值的差不超过某阈值T，则其均匀测度度量为真。相似性检测准则——均匀测度三、

图像的区域分割设某一图像区域O，其中像素数为N，则均值表示为(2)基于区域灰度分布统计性质基本方法：以灰度分布相似性作为生长准则来决定区域的合并步骤：①把图像分成互不重叠的小区域。②比较邻接区域的累积灰度直方图，根据灰度分布的相似性进行区域合并。③重复②，直到满足终止条件。三、

图像的区域分割Smoothed-Difference其中，h1,

h2为相邻两子块的累积灰度直方图。Kolmogorov-Smirnovtest三、

图像区域分割即：合并的是两邻接区域的共同边界中对比度较低部分占整个区域边界份额较大的区域。(3)基于区域形状基本方法：利用对目标形状的检测结果来决定区域的合并。主要步骤：①把图像分割成灰度固定的区域，设两邻接区域的周长分别是p1和p2，把两区域共同边界线两侧灰度差小于给定值的那部分长度设为L,满足下列条件则合并。三、

图像的区域分割②把图像分割灰度固定的区域，设两邻接区域的共同边界长度为B，把两区域共同边界线两侧灰度差小于给定值的那部分长度设为L,满足下列条件则合并。即合并的是两邻接区域的共同边界中对比度较低部分比较多的区域。三、

图像的区域分割利用图像的金字塔或四又树数据结构的层次概念，将图像划分成一组任意不相交的初始区域。即可以从金字塔或四叉树数据结构的任一中间层开始、根据给定的均匀性检测准则进行分裂和合并这些区域，逐步迭代，直到最后将图像分成数量最少的均匀区域为止。5、分裂-合并区域法三、

图像的区域分割基本步骤如下：5、分裂-合并区域法三、

图像的区域分割确定均匀性测试准则P；对任一区域Ri，如果P(Ri)=false，将其分裂成四等份。对相邻的2个区域Ri和Rj,如果P(Ri

Rj)=true,就将它们合并。如果进一步的分裂或合并都不可能了，则结束，否则执行(2)。三、

图像的区域分割RegionSplittingQuadTree(四叉树)QuadTreeR1R3R4R21R22R23R24R1R3R4R21R22R24R2R23R三、

图像的区域分割分裂分裂分裂合并Example6、数学形态学图像分割腐蚀与膨胀开-闭运算击中-击不中变体分水岭法(Watershedalgorithm

)三、

图像的区域分割1345682BoundaryExtraction（边界提取）RegionFilling（区域填充）ExtractionofConnectedComponentsConvexHull（凸边界）Thinning（细化）Thickening（粗化）Pruning（修剪）Skeletons（骨架）7主要内容图像边缘检测Hough变换图像的区域分割图像特征及描述目标检测及应用图像特征分类特征类型特征描述光学特征亮度，清晰度，对比度几何特征面积、周长、边缘、角点…运动学特征速度、位移等统计学特征直方图、标准差、均方差、熵等纹理特征矩量，共生矩阵，分形…信号特征能量、频率、幅度、相位…变换域特征FFT、小波域、KLT/PCA等四、

图像特征及描述1、二值图像的几何特征及描述

设图像已被分割，目标区域的像素的值为1（黑），背景区域的像素为0（白），则目标区域的面积为：四、

图像特征及描述面积为起始点,

则可定义边界长度为：

常见的等效的表示方法有三种：

(1)区域与背景的交界线的长度，采用欧氏距离。(2)区域边界8链码长度；若边界的链码表示为：周长四、

图像特征及描述(3)边界点之和四、

图像特征及描述所谓边界点是指满足如下性质的点:在其8邻域内既有区域内的像素,又有区域外的像素。矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的位置。如果针对已经二值化的图像则称为“形心”xyabcdxcyc形心四、

图像特征及描述位置区域面积A与包围它的最小矩形面积之比：

区域面积A与包围它的最小圆面积之比：

其中，P为周长四、

图像特征及描述圆形度矩形度设为f(x,y)在方向上的投影，它是一个向量。四、

图像特征及描述投影图像特征的描述有以下三种形式：1.表示法设计2.边界描述子3.关系描述子特征表示与描述四、

图像特征及描述表示法设计

链码★多边形逼近外形特征边界分段区域骨架四、

图像特征及描述链码定义2013014672354-链码8-链码四、

图像特征及描述(1)链码是一种边界的编码表示法。(2)用边界的方向作为编码依据。为简化边界的描述,一般描述的是边界点集。例子4-链码：000033333322222211110011四、

图像特征及描述3120例如，4-链码：10103322循环首差为：33133030计算步骤：首差（firstdifference）四、

图像特征及描述3120——用相邻链码的差代替链码。链码：11002122244454466667链码：77660700022232244445首差：20702710020017020001首差：20702710020017020001链码差分的旋转不变性简单描述子形状数傅立叶描述子

矩量★边界描述子四、

图像特征及描述关系描述子四、

图像特征及描述阶梯关系编码骨架关系编码方向关系编码内角关系编码树结构关系编码BuildaPanorama（构建全景图）2、角点(corner,featurepoint,interestingpoint)

四、

图像特征及描述Howdowebuildpanorama?Weneedtomatch(align)images四、

图像特征及描述DetectfeaturepointsinbothimagesMatchingwithFeaturesMatchingwithFeaturesDetectfeaturepointsinbothimagesFindcorrespondingpairsDetectfeaturepointsinbothimagesFindcorrespondingpairsUsethesepairstoalignimagesMatchingwithFeaturesProblem1:Detectthesamepointindependentlyinbothimagesnochancetomatch!WeneedarepeatabledetectorMatchingwithFeaturesProblem2:Foreachpointcorrectlyrecognizethecorrespondingone?WeneedareliableanddistinctivedescriptorMatchingwithFeaturesFeaturepointsareusedalsofor:Imagealignment(homography,fundamentalmatrix)3DreconstructionMotiontrackingObjectrecognitionIndexinganddatabaseretrievalRobotnavigationother…

Moremotivation…

2、角点(corner,featurepoint,interestingpoint)

实际图四、

图像特征及描述Weshouldeasilyrecognizethepointbylookingthroughasmallwindow.Shiftingawindowinany

directionshouldgivealargechangeinintensity.特征检测算法有：Moravec算子(1977)Harris算子(1988)Susan算子(1995)SIFT检测法(2004)SURF特征(2006)四、

图像特征及描述“flat”region:

nochangeinalldirections“edge”:

nochangealongtheedgedirection“corner”:

significantchangeinalldirections

(1)

Moravec(1977)角点检测四、

图像特征及描述Changeofintensityfortheshift[u,v]:IntensityShiftedintensityWindowfunctionorw(x,y)=Gaussian1inwindow,0outside(2)Harris(1988)角点检测四、

图像特征及描述HarrisC,StephensM.Acombinedcornerandedgedetector[C]//Alveyvisionconference.1988,15:50.

如果u,v值很小，即窗口移动位移小，则：HarriscornerdetectorForsmallshifts[u,v]wehaveabilinearapproximation:whereMisa22matrixcomputedfromimagederivatives:Hessianmatrix(海色矩阵)HarrisDetector:MathematicsIntensitychangeinshiftingwindow:eigenvalueanalysis1,2–eigenvaluesofMdirectionoftheslowestchangedirectionofthefastestchange(max)-1/2(min)-1/2Ellipsee(u,v)HarrisDetector:Mathematics12“Corner”

1and2arelarge,

1~2;

Eincreasesinalldirections1and2aresmall;

Eisalmostconstantinalldirections“Edge”

1>>2“Edge”

2>>1“Flat”regionClassificationofimagepointsusingeigenvaluesofM:HarrisDetector:MathematicsMeasureofcornerresponse:k–empiricalconstant,k=0.04-0.06HarrisDetector:Mathematics12“Corner”“Edge”“Edge”“Flat”

RdependsonlyoneigenvaluesofM

Rislargeforacorner

Risnegativewithlargemagnitudeforanedge|R|issmallforaflatregionR>0R<0R<0|R|smallHarrisDetector:Mathematics算法步骤：FindpointswithlargecornerresponsefunctionR(R>threshold);TakethepointsoflocalmaximaofR.HarrisDetector:MathematicsHarrisDetector:Workflow1)ComputecornerresponseR2)Findpointswithlargecornerresponse:R>threshold3)TakeonlythepointsoflocalmaximaofR四、

图像特征及描述角点检测实例角点检测实例四、

图像特征及描述(3)SUSAN角点检测最小吸收核同值区（SmallUnivalueSegmentAssimilatingNucles，SUSAN）原则，最早由Smith和Brady（1995）提出。它可用于边缘检测（一维特征）、角点或拐点检测（二维特征）以及噪声衰减。

模板的核模板的边界暗区域亮区域eabcd四、

图像特征及描述SmithSM,BradyJM.SUSAN—anewapproachtolowlevelimageprocessing[J].Internationaljournalofcomputervision,1997,23(1):45-78.

RotationinvarianceEllipserotatesbutitsshape(i.e.eigenvalues)remainsthesameCornerresponseRisinvarianttoimagerotationHarrisDetector:SomePropertiesBut:non-invarianttoimagescale!AllpointswillbeclassifiedasedgesCorner!HarrisDetector:SomePropertiesCommonapproach:scale=1/2fregionsizeImage1fregionsizeImage2Takealocalmaximumofthisfunction.Observation:regionsize,forwhichthemaximumisachieved,shouldbeinvarianttoimagescale.s1s2Important:thisscaleinvariantregionsizeisfoundineachimageindependently!ScaleInvariantDetectionA“good”functionforscaledetection:

hasonestablesharppeakfregionsizebadfregionsizebadfregionsizeGood!Forusualimages:agoodfunctionwouldbeaonewhichrespondstocontrast(sharplocalintensitychange)ScaleInvariantDetection(4)SIFT方法尺度不变特征变换(ScaleInvarianceFeatureTransform，SIFT)方法从图像中提取出的特征点可以用于一个物体或场景不同视角下的可靠匹配，提取出的特征点对图像尺度和旋转保持不变，对光线变化、噪声、仿射变化都具有鲁棒性。DavidG.Lowe,"Distinctiveimagefeaturesfromscale-invariantkeypoints,"

InternationalJournalofComputerVision,60,2(2004),pp.91-110.

http://www.cs.ubc.ca/~lowe/home.html

四、

图像特征及描述四、

图像特征及描述(4)SIFT步骤与流程：候选特征点过滤低对比度的特征点过滤边缘处特征点稳定特征点尺度空间形成；极值点检测；特征点定位；方向的确定；生成特征描述子。四、

图像特征及描述Harris-Laplacian1

Findlocalmaximumof:Harriscornerdetectorinspace(imagecoordinates)Laplacianinscale1K.Mikolajczyk,C.Schmid.“IndexingBasedonScaleInvariantInterestPoints”.ICCV2001

2D.Lowe.“DistinctiveImageFeaturesfromScale-InvariantKeypoints”.AcceptedtoIJCV2004scalexy

Harris

LaplacianSIFT(Lowe)2

Findlocalmaximumof:DifferenceofGaussiansinspaceandscalescalexy

DoG

DoGScaleInvariantDetectionLowcomputationtime-Onlysubtractionofsmoothedimages!

Scale-spaceRepresentationDifference-of-Gaussian(DoG):DoGPyramidDifferentfrequenciesfeaturesScaleinvariance一组高斯尺度空间图像金字塔的每一层有5幅图像金字塔一共有4层金字塔更高层图像尺寸为上层图像的一半，通过降采样得到σkσk2σk3σk4σDoGPyramidDoGPyramid一组高斯尺度空间图像Xisselectedifitislargerorsmallerthanall26neighbors.ExtractingKeypointsLowcost-onlyseveralusuallychecked.

真正的极值点检测到的极值点极值点精确定位过程初步检测极值点去除低对比度后去除边缘响应ExtractingKeypoints确定关键点的方向采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点对关键点方向生成所作的贡献。局部特征的检测和提取02π方向直方图的生成关键点包含信息位置信息——平移不变性尺度信息——缩放不变性方向信息——旋转不变性关键点方向确定Keypointsdescriptor旋转加尺度变化仿射变化上下颠倒SIFT特征匹配SIFT/DEMO

AutostitichingDEMO四、

图像特征及描述3、纹理(Texture)特征

纹理分析在计算机视觉、模式识别以及数字图像处理中起着重要的作用。但对于纹理的定义，至今国际上尚无一个公认的标准说法。四、

图像特征及描述TextureWhatdefinesatexture?Includes:moreregularpatternsIncludes:morerandompatterns/Scale:objectsvs.textureOftenthesamethingintheworldcanoccurastextureoranobject,dependingonthescaleweareconsidering.两种较常采用的定义：定义一：按一定规则对元素（Elements）或基元（Primitives）进行排列所形成的重复模式。

定义二：如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，则图象中的对应区域具有恒定的纹理。3、纹理(Texture)特征四、

图像特征及描述纹理的基本特征重复性规则性周期性方向性四、

图像特征及描述纹理是区域属性，并且与图像分辨率（或称尺度，ResolutionorScale）密切相关。3、纹理分析方法灰度共生矩阵(基于灰度统计的分析法)

Gabor(或小波变换)纹理分析(基于信号处理)分形纹理分析(基于模型的分析)Markov(或Gibbs)随机场(基于模型的分析法)四、

图像特征及描述

对于具有L个灰度级的图像，受位移矢量d=(dx,dy)控制的灰度级共生矩阵G是一个的L×L矩阵，矩阵行列表示各个灰度级，矩阵元素反映两种灰度在相距一定距离的位置上同时出现的次数。矩阵G的元素为：

GrayLevelCo-occurrenceMatrices(GLCM)HaralickRM.Statisticalandstructuralapproachestotexture[J].ProceedingsoftheIEEE,1979,67(5):786-804.(1)灰度共生矩阵四、

图像特征及描述左边为一幅5×5的图象，具有3个灰度级；右边为灰度共生矩阵，指定位移矢量为d=(dx=1,dy=1)。i

j

2120102112012201220120101222222012012ij012四、

图像特征及描述(1)灰度共生矩阵(1)灰度共生矩阵若d=(1,0),Pd

=?四、

图像特征及描述纹理特征公式墒(entropy)能量(energy)对比度(contrast)均匀度(homegeneity)相关性(correlation)(1)灰度共生矩阵四、

图像特征及描述(1)灰度共生矩阵四、

图像特征及描述(2)分形分析法WhatisaFractal?四、

图像特征及描述Koch曲线（海岸线）四、

图像特征及描述(2)分形分析法四、

图像特征及描述分形图形Exhibitsself-similarityBasedonrecursivealgorithmsUniquedimensionalityScaleindependent分析结果不受纹理图像发生某种类型变化的影响，如几何不变性能适应纹理的几何变换；光照不变性能适应光照的变化等等。

基本方法如前所述，主要解决途径是在这些方法中增加具有不变性的纹理特征。(3)不变性(Invariant)纹理分析四、

图像特征及描述Themomentoforderp+q

p=0,1,2,…;q=0,1,2,…为整数。p,q不同的取值，形