局部不变性特征描述子

关于局部不变性特征描述子第1页，共98页，2022年，5月20日，23点31分，星期三1.图像分析的目的从图像中获取待研究目标的有用信息，让计算机机具有认识、理解、识别图像的能力图像描述：用一组数字量或符号(描述子)来表征图像中被描述物体的某些特征3.1基本概念第2页，共98页，2022年，5月20日，23点31分，星期三图像中的区域(目标)，可用其内部(如组成区域的象素集合)表示，也可用其外部(如组成区域边界的象素集合)表示关心区域的反射性质如灰度、颜色、纹理等关心区域的形状等选定了表达方法，还需要对目标进行描述，使计算机能充分利用所能获得的分割或者其他结果表达是直接具体的表示目标。好的表达方法应具有节省存储空间、易于特征计算等优点描述是较抽象的表示目标。好的描述应在尽可能区别不同目标的基础上对目标的尺度、平移、旋转等不敏感第3页，共98页，2022年，5月20日，23点31分，星期三2.特征提取的广义定义根据待识别的图像的特点，通过计算机的计算产生的一组原始特征来表示原始图像，称之为特征形成，一般称为特征提取。3.狭义定义特征提取：在原始特征基础上选择一些主要特征作为判别用的特征，以达到降低特征空间维数的目的。可区别性、可靠性、独立性好、数量少特征选择：原始样本处于一个高维空间中，采用某种变换技术，将高维特征变换或映射到低维空间，得到最具代表性的较少的综合低维特征。

第4页，共98页，2022年，5月20日，23点31分，星期三色图像特征形颜色特征亮度信息特征（光谱）几何形状边缘特征纹理特征空间关系色调、颜色、阴影、反差形状、大小、空间布局、纹理

图像特征第5页，共98页，2022年，5月20日，23点31分，星期三特征类别像素级特征：从每一个像素点计算的特征，如颜色、位置局部特征：从局部的区域计算的特征，如关键点（兴趣点）、局部区域，等全局特征：从整个图像级提取的特征形态特征vs.纹理特征第6页，共98页，2022年，5月20日，23点31分，星期三纹理特征纹理是一个模糊的概念，无统一的定义由许多互相接近的、互相编织的元素构成，并常富有周期性，如小成分构造，最典型的如纺织品纤维的结构纹理描述很少用到边缘检测特点：不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算局部区域中像素位置之间的相关性第7页，共98页，2022年，5月20日，23点31分，星期三局部特征不是关键，其若干不变性（旋转不变性、尺度不变性、仿射不变性、灰度不变性等）才是局部特征研究发展的关键！熵、能量、部分矩具有旋转不变性，还具有尺度不变性不变性：假设有一个函数f(x)和变换G，如果满足f(G(x))=f(x)，也就是作用在自变量x上的变换并不改变函数的值，则称f具有G不变性。协变性：如果f和G满足交换律，即f(G(x))=G(f(x))，则f对于变换G具有协变性。3.2局部特征第8页，共98页，2022年，5月20日，23点31分，星期三几何变形包括5部分：平移，Euclidean（平移+旋转），相似（平移+旋转+缩放），仿射变换，透视变换图像几何变换的实质：改变像素的空间位置或估算新空间位置上的像素值图像几何变换的一般表达式其中，[u,v]为变换后图像像素的笛卡尔坐标，[x,y]为原始图像中像素的笛卡尔坐标。第9页，共98页，2022年，5月20日，23点31分，星期三1）平移变换

若图像像素点平移到，则变换函数为

写成矩阵表达式为：其中，和分别为x和y的坐标平移量。注意：平移后的景物与原图像相同，但“画布”一定是扩大了。否则就会丢失信息。第10页，共98页，2022年，5月20日，23点31分，星期三2）比例缩放

若图像坐标缩放到()倍，则变换函数为：其中,分别x和y坐标的缩放因子，其大于1表示放大，小于1表示缩小。第11页，共98页，2022年，5月20日，23点31分，星期三3）旋转变换

将输入图像绕笛卡尔坐标系的原点逆时针旋转θ角度，则变换后图像坐标为：这个计算公式计算出的值为小数，而坐标值为正整数这个计算公式计算的结果值所在范围与原来的值所在的范围不同因此需要前期处理：扩大画布，取整处理，平移处理旋转后处理：插值

第12页，共98页，2022年，5月20日，23点31分，星期三4）仿射变换

图像仿射变换提出的意义是采用通用的数学影射变换公式，来表示前面给出的几何变换。平移、比例缩放和旋转变换都是一种称为仿射变换的特殊情况。第13页，共98页，2022年，5月20日，23点31分，星期三仿射变换性质仿射变换有6个自由度（对应变换中的6个系数），因此，仿射变换后互相平行直线仍然为平行直线，三角形映射后仍是三角形。但却不能保证将四边形以上的多边形映射为等边数的多边形。仿射变换的乘积和逆变换仍是仿射变换。仿射变换能够实现平移、旋转、缩放等几何变换。第14页，共98页，2022年，5月20日，23点31分，星期三5）透视变换把物体的三维图像表示转变为二维表示的过程，称为透视变换，也称为投影映射，其表达式为:

透视变换也是一种平面映射，并且可以保证任意方向上的直线经过透视变换后仍然保持是直线。透视变换具有9个自由度（其变换系数为9个），故可以实现平面四边形到四边形的映射。第15页，共98页，2022年，5月20日，23点31分，星期三局部特征性质局部图像特征描述的核心问题是不变性、鲁棒性和可区分性。不变性：指局部特征不随图像大的变形而改变。对于大的图像变形往往需要先对这些变形进行建模，然后再设计不受这些变形影响的特征检测算法。鲁棒性：指局部特征对于小的变形应该不敏感。这类变形包括图像噪声、离散化效应、压缩、图像模糊等，以及由于数学建模而引入的小的几何或成像形变等。可区分性：特征具有区别不同类别的能力。可区分性的强弱往往和其不变性是矛盾的。一个具有众多不变性的特征描述子，其区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。第16页，共98页，2022年，5月20日，23点31分，星期三局部特征应用举例图像配准图像表示目标识别全景图像拼接。。。局部特征的发展趋势快速、低存储第17页，共98页，2022年，5月20日，23点31分，星期三SIFT——里程碑式的工作SURF3.3典型算法第18页，共98页，2022年，5月20日，23点31分，星期三尺度3.3.1尺度空间理论广义尺度制图尺度地图比例尺图上距离与实际距离之比大比例尺→小范围、详细信息地理尺度观测尺度研究的空间范围或大小如：大尺度覆盖大的研究区域分辨率测量尺度区分目标的最小可分辨单元(如：像元)运行尺度有效尺度地学现象发生的空间范围一定环境中发挥效应的尺度如：森林比树的运行尺度大空间尺度时间尺度语义尺度第19页，共98页，2022年，5月20日，23点31分，星期三尺度空间方法的基本思想：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。图像的尺度空间表达指的是图像在所有尺度下的描述。3.3.1尺度空间理论第20页，共98页，2022年，5月20日，23点31分，星期三尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间表示是一种基于区域而不是基于边缘的表达，它无需关于图像的先验知识。尺度空间理论属于CV中图像的多分辨率分析。3.3.1尺度空间理论第21页，共98页，2022年，5月20日，23点31分，星期三金字塔多分辨率一个金字塔表达，通常结合滤波和二次抽样连续地减少图像尺寸来生成。常用的金字塔结构有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一种较老的尺度表示方法，结合了降采样操作和平滑处理，它的一个很大的好处是：自下而上每一层的像素数都不断减少，这会大大减少计算量，而缺点是这种自下而上的金字塔在尺度量化方向显得较为粗糙。第22页，共98页，2022年，5月20日，23点31分，星期三金字塔影像图像金字塔是以多分辨率来解释图像的一种结构。一般按照2n(n=0,1,2…)取平均得到。最底层的影像对应原始影像。通过每2x2=4个像素平均，即可构成2级影像级，如此类推，即可构成多级金字塔影像。每一级(2i)影像的像素总数对于前一级(2i-1)影像以4的倍数缩小(也可通过3x3=9个平均像素来建立影像级)。常采用的是高斯金字塔影像生成算法，构成金字塔的层数，应当根据影像的分辨率、影像可能的噪声、影像的大小及相关计算速度来确定。第23页，共98页，2022年，5月20日，23点31分，星期三图像的多尺度空间表达尺度空间表示是一种基于区域而不是边缘的表达对于一个N维信号，它的尺度空间

定义为:

L(x:t)=K*f(x,t)其中t

为尺度参数，K

为尺度空间核。第24页，共98页，2022年，5月20日，23点31分，星期三图像的多尺度空间表达尺度空间表示通过平滑获得，可描述为

空间，分别为位置参数和尺度参数。尺度参数可以是离散的，也可以是连续的。所有尺度上空间采样点个数是相同的(尺度空间表示法在各个尺度上图像的分辨率都是一样的)。应该具有尺度伸缩等不变性。

第25页，共98页，2022年，5月20日，23点31分，星期三高斯尺度空间高斯函数作为卷积核生成的尺度空间是目前最完善的尺度空间之一，根据Koendrink和Lindeber的研究表明，在多种合理假设前提下，唯一可能的尺度空间核是Gaussian核。因此，一幅二维图像的尺度空间可表示为：

第26页，共98页，2022年，5月20日，23点31分，星期三高斯尺度空间当采用不同尺度的平滑函数对同一图像进行滤波时，得到的一簇图像就是原始图像相对于该平滑函数的尺度空间，σ为尺度空间坐标。构建高斯尺度空间的主要思想是在精细尺度上的信息随着尺度参数值的增加而逐渐地被抑制，尺度从粗到细的变化过程中，不会产生新的结构。在高斯尺度空间下，只是对图像作了卷积，图像的分辨率和像素仍然没有改变，只是细节平滑了，而传统的影像金字塔关键在降采样，显然分辨率降底了。第27页，共98页，2022年，5月20日，23点31分，星期三不同尺度因子下的图像第28页，共98页，2022年，5月20日，23点31分，星期三高斯尺度空间通过高斯滤波得到的尺度空间表示了图像在不同尺度下的低频信号，而代表边缘以及角点等特征的高频信号丢失。可以在不同分辨率层上通过在不同的尺度上应用合适的函数来表示一个特征（如边缘和角点）。在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性带来的含糊性是固有的，不可避免的，不能企求消除，但可以减小。第29页，共98页，2022年，5月20日，23点31分，星期三3.3.2尺度不变特征变换ScaleInvariantFeatureTransform（SIFT）1999年BritishColumbia大学的大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

第30页，共98页，2022年，5月20日，23点31分，星期三SIFT简介将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。OriginalimagecourtesyofDavidLowe第31页，共98页，2022年，5月20日，23点31分，星期三SIFT特点SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对于视角变化、仿射变换、噪声也保持一定程度的稳定性。独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。多量性，即使少数的几个物体也可以产生大量SIFT特征向量。经过优化的SIFT算法可满足一定的速度需求。可扩展性，可以很方便的与其他形式的特征向量进行联合。第32页，共98页，2022年，5月20日，23点31分，星期三SIFT算法可以解决的问题目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。SIFT算法在一定程度上可解决目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声第33页，共98页，2022年，5月20日，23点31分，星期三SIFT算法实现步骤简述SIFT实质可以归为在不同尺度空间上查找特征点（关键点）的问题。第34页，共98页，2022年，5月20日，23点31分，星期三SIFT算法实现步骤检测尺度空间极值点

精确定位极值点

为每个关键点指定方向参数

关键点描述子的生成第35页，共98页，2022年，5月20日，23点31分，星期三关键点检测哪些是关键点（特征点）？

这些点是一些十分突出的点，不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。特征点具有的三个特征：尺度，方向，大小第36页，共98页，2022年，5月20日，23点31分，星期三高斯金字塔高斯金字塔的构建过程可分为两步：

1）对图像做高斯平滑；

2）对图像做降采样。为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。上一组图像的底层是由前一组图像的倒数第二层图像隔点采样生成的。这样可以保持尺度的连续性。第37页，共98页，2022年，5月20日，23点31分，星期三第38页，共98页，2022年，5月20日，23点31分，星期三高斯差分尺度函数为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分（DifferenceofGaussian，DOG）尺度空间DOG在计算上只需相邻尺度高斯平滑后图像相减，因此简化了计算！第39页，共98页，2022年，5月20日，23点31分，星期三高斯差分金字塔可以通过高斯差分图像观察图像上的像素值变化情况。如果没有变化，也就没有特征。特征必须是变化尽可能多的点。DOG图像描绘的是目标的轮廓。第40页，共98页，2022年，5月20日，23点31分，星期三第41页，共98页，2022年，5月20日，23点31分，星期三1）DOG的局部极值点关键点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。一个点如果在DOG尺度空间本层以及上下两层的26个邻域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。第42页，共98页，2022年，5月20日，23点31分，星期三2）精确定位极值点通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点（因为DOG算子会产生较强的边缘响应），以增强匹配稳定性、提高抗噪声能力。第43页，共98页，2022年，5月20日，23点31分，星期三2）精确定位极值点位置1）在检测到极值点后，对差分算子进行二阶泰勒展开，求泰勒公式的极大偏移量，精确定位检测到的极值点。

求导，并令其为0，所得精确位置为：在求出极大偏移量后，若其值大于0.5则表示极值点更靠近相邻的点；若小于0.5则不动。第44页，共98页，2022年，5月20日，23点31分，星期三去除低对比度极值点2）由于线性尺度空间不能保证对比度不变性，因此在精确定位好后，通过上面求得的式子，要去除低对比度点。计算公式如下：在Lowe的论文中提到当D(X)小于0.3时就定义此极值点为低对比度点，此点将被去除掉。第45页，共98页，2022年，5月20日，23点31分，星期三边缘响应的去除3）一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。由于这样的边缘点容易受到图像噪声的影响，因此也要去除这些不稳定的边缘点。

主曲率通过一个2x2的Hessian矩阵H求出，在Hessian特征点检测中有提到如何通过Hessian矩阵求边缘点的方法。

第46页，共98页，2022年，5月20日，23点31分，星期三3）为每个关键点指定方向参数通过尺度不变性求极值点，可以使其具有缩放不变的性质。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

像素的梯度表示：梯度幅值：

梯度方向：第47页，共98页，2022年，5月20日，23点31分，星期三方向直方图的生成

以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距中心点越远的邻域其对直方图的贡献也响应减小。Lowe论文中还提到要使用高斯函数对直方图进行平滑，减少突变的影响。第48页，共98页，2022年，5月20日，23点31分，星期三关键点的主方向与辅方向关键点主方向：极值点周围区域梯度直方图的主峰值，也是特征点方向。关键点辅方向：在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。第49页，共98页，2022年，5月20日，23点31分，星期三关键点检测完毕图像的关键点已检测完毕，每个关键点有三个信息：位置、尺度、方向；同时也就使关键点具备平移、缩放、和旋转不变性。第50页，共98页，2022年，5月20日，23点31分，星期三4）关键点描述子的生成在局部特征的设计中最关键的一步就是特征描述符的设计，而判断一个特征描述符好坏的重要依据就是其高可区分性。在关键点计算后，用一组向量将这个关键点描述出来，这个描述子不但包括关键点，也包括关键点周围对其有贡献的像素点。思路：通过对关键点周围图像区域分块，计算块内梯度直方图，生成具有独特性的向量，这个向量是该区域图像信息的一种抽象，具有唯一性。第51页，共98页，2022年，5月20日，23点31分，星期三SIFT关键点描述子生成步骤旋转主方向：将坐标轴旋转为关键点的方向，以确保旋转不变性。生成描述子：对于一个关键点产生128个数据，即最终形成128维的SIFT特征向量。归一化处理：将特征向量的长度归一化，则可以进一步去除光照变化的影响。第52页，共98页，2022年，5月20日，23点31分，星期三关键点描述子生成举例以关键点为中心取16×16的窗口。每一个小格都代表了特征点邻域所在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长度代表该像素的幅值。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。如下图所示：一个特征点由4个种子点的信息所组成。第53页，共98页，2022年，5月20日，23点31分，星期三Lowe实验结果表明：描述子采用4×4×8＝128维向量表征，综合效果最优（不变性与独特性）。第54页，共98页，2022年，5月20日，23点31分，星期三归一化处理在求出4×4×8的128维特征向量后，此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响。而图像的对比度变化相当于每个像素点乘上一个因子，光照变化是每个像素点加上一个值，但这些对图像归一化的梯度没有影响。因此将特征向量的长度归一化，则可以进一步去除光照变化的影响。对于一些非线性的光照变化，SIFT并不具备不变性，但由于这类变化影响的主要是梯度的幅值变化，对梯度的方向影响较小，因此作者通过限制梯度幅值的值来减少这类变化造成的影响。第55页，共98页，2022年，5月20日，23点31分，星期三描述子具体计算1）确定计算描述子所需的图像区域

描述子梯度方向直方图由关键点所在尺度的模糊图像计算产生。图像区域的半径通过下式计算：

是关键点所在组（octave）的组内尺度，第56页，共98页，2022年，5月20日，23点31分，星期三描述子具体计算2）将坐标移至关键点主方向

那么旋转角度后新坐标为：第57页，共98页，2022年，5月20日，23点31分，星期三描述子具体计算3）将产生的图像区域划分成4×4的小块，对每个小块统计其每个像素的梯度值和方向，形成梯度直方图。整个图像块就表示为4×4×8=128为的特征向量。4）描述子向量元素门限化及门限化后的描述子向量规范化。

第58页，共98页，2022年，5月20日，23点31分，星期三实验结果第59页，共98页，2022年，5月20日，23点31分，星期三原图平滑后图像实验结果——不同尺度第60页，共98页，2022年，5月20日，23点31分，星期三实验结果——旋转不变性第61页，共98页，2022年，5月20日，23点31分，星期三关键点匹配分别对模板图（参考图，referenceimage）和实时图（观测图，observationimage）建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。第62页，共98页，2022年，5月20日，23点31分，星期三关键点匹配穷举匹配原图像目标图像第63页，共98页，2022年，5月20日，23点31分，星期三关键点匹配模板图中关键点描述子：实时图中关键点描述子：任意两描述子相似性度量：要得到配对的关键点描述子，需满足：第64页，共98页，2022年，5月20日，23点31分，星期三关键点匹配关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多。一般都采用一种叫kd树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。Kd树是一个平衡二叉树。第65页，共98页，2022年，5月20日，23点31分，星期三实验结果第66页，共98页，2022年，5月20日，23点31分，星期三SIFT应用——物体识别第67页，共98页，2022年，5月20日，23点31分，星期三SIFT应用——图像拼接第68页，共98页，2022年，5月20日，23点31分，星期三SIFT应用——笔迹鉴定第69页，共98页，2022年，5月20日，23点31分，星期三SIFT应用——匹配

来自网友的创意——周正龙的老虎图1周正龙的华南虎照片与年画上的华南虎照片12点匹配图2周正龙的华南虎照片与真实的华南虎照片0点匹配第70页，共98页，2022年，5月20日，23点31分，星期三改进PCA-SIFTASIFT——AffineSIFTLPP-SIFT。。。第71页，共98页，2022年，5月20日，23点31分，星期三PCA-SIFTPCA-SIFT与标准SIFT有相同的亚像素位置，尺度和主方向。但在第4步计算描述子的设计，采用了主成分分析的技术。用特征点周围的41×41的像素计算它的主元，并用PCA-SIFT将原来的2×39×39维的向量降成20维，以达到更精确的表示方式。它的主要步骤为：对每一个关键点，在关键点周围提取一个41×41的像素于给定的尺度，旋转到它的主方向

；计算39×39水平和垂直的梯度，形成一个大小为3042的矢量；用预先计算好的投影矩阵n×3042与此矢量相乘；这样生成一个大小为n的PCA-SIFT描述子。第72页，共98页，2022年，5月20日，23点31分，星期三3.3.3加速稳健特征Speeded-UpRobustFeatures（SURF）2006年由HerbertBayetal.在ECCV会议提出，是一种稳健的图像识别和描述算法。SURF是SIFT的改进，SURF标准版本比SIFT要快数倍——积分图像Haar求导，并且其作者声称在不同图像变换方面比SIFT更稳健。特点：使用积分图像完成图像卷积（相关）操作;使用Hessian矩阵检测特征值；使用基于分布的描述符（局部信息）。第73页，共98页，2022年，5月20日，23点31分，星期三SURF步骤搜寻图像关键点采用Hessian矩阵的行列式在尺度空间搜寻主要的关键点非极大值抑制设置特征点的方向生成特征向量第74页，共98页，2022年，5月20日，23点31分，星期三Hessian矩阵二维空间函数f(x,y)的Hessian矩阵为函数的偏导数组成：为对称矩阵每一个像素点都可以求出一个Hessian矩阵第75页，共98页，2022年，5月20日，23点31分，星期三Hessian矩阵Hessian矩阵的行列式为：行列式的值是H矩阵的特征值的乘积，可以利用判定结果的符号将所有点分类，根据行列式式取值的正负，来判别该点是或不是极值点：正数为极值点！可以通过设置行列式值的阈值来检测主要的特征点。第76页，共98页，2022年，5月20日，23点31分，星期三Hessian矩阵由于特征点需要具备尺度无关性，所以在进行Hessian矩阵构造前，需要对其进行高斯滤波。经过滤波后再进行Hessian的计算，H(x,σ)在x方向尺度为σ的定义为：

其中，Lxx(x,σ)是高斯二阶偏导数在x处与图像I的卷积。第77页，共98页，2022年，5月20日，23点31分，星期三变换图像特征点是在原图像的变换图像上寻找，然后将其位置反映射到原图中。在SURF中，是由原图每个像素的Hessian矩阵行列式的近似值构成。其行列式近似公式如下：

其中，0.9是作者给出的一个经验值，也称为斑状（Blob）响应。第78页，共98页，2022年，5月20日，23点31分，星期三变换图像求Hessian时要先高斯平滑，然后求二阶导数，这在离散的像素点是用模板卷积完成。两种操作可以合在一起用一个模板代替。

高斯拉普拉斯（LaplaceofGaussian，LoG）模版示例：LxxLyyLxy第79页，共98页，2022年，5月20日，23点31分，星期三DxxDyyDxyLoG近似为了加速卷积运算，从SIFT中用DoG近似LoG的做法得到启示，用盒子型滤波器（boxfilters）代替二阶高斯差分模板进行近似——因为可以采用积分图快速算法！第80页，共98页，2022年，5月20日，23点31分，星期三积分图像积分图像：指当前像素点所在位置距原点（0,0）所包围面的所有灰度之和。绿色的部分为当前像素点，红色为积分区域第81页，共98页，2022年，5月20日，23点31分，星期三积分图像计算图像中任意一块矩形区域的灰度之和S只需要利用矩形4个顶点（A，B，C，D）的积分值Si即可：优点：任何一个垂直矩形区域的面积只需要进行3次+/-法就能计算。卷积可以用积分图实现快速计算。只需要在函数定义之前计算各个坐标点的积分图像，然后就能方便的求出hessian的特征值。第82页，共98页，2022年，5月20日，23点31分，星期三Blob响应实验结果第83页，共98页，2022年，5月20日，23点31分，星期三在尺度空间搜寻主要的关键点SIFT：同一个组（octave）的层中的图片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave中的图片尺寸大小也不相同。即：高斯平滑+降采样。每层图像依赖于前一层图像，并且图像需要重设尺寸，因此，这种计算方法运算量较大。SURF：申请增加图像核的尺寸，这也是SIFT算法与SURF算法在使用金字塔原理方面的不同。允许尺度空间多层图像同时被处理，不需对图像进行二次抽样，从而提高算法性能。第84页，共98页，2022年，5月20日，23点31分，星期三SIFT：在进行高斯模糊时，高斯模板大小是始终不变的，只是在不同的octave之间改变图片的大小。SURF：图片的大小是一直不变的，不同的octave得到的待检测图片是改变高斯模糊尺寸大小（即对bobfilter进行尺度变换）得到的。当然，同一个octave中个的图片用到的高斯模板尺度也不同。SURF采用这种方法节省了降采样过程，其处理速度自然也就提上去了。构建尺度空间第85页，共98页，2022年，5月20日，23点31分，星期三说明：假定初始模版大小为9×9，尺度为1.2，对应于高斯核中的σ=1.2（第一层）。之后，不断增加模版的大小，得到下一层。优点：提高效率（可以利用积分图有关的快速计算）。由于没有对图像进行降采样，所以不存在混叠现象。构建尺度空间第86页，共98页，2022年，5月20日，23点31分，星期三建立高斯金字塔，金字塔分为多个Octaves，每个Octave分为4个Scalelevels。第一级的Octave的模块大小为9、15、21、27（相差6），第二级为15、27、39、51（相差12），第三级为27、51、75、99（相差24）。每一级第一个level的大小为上一级第二个level的大小。继续建立高斯金字塔，直到filter的大小大于原图像的大小为止。构建尺度空间具体步骤第87页，共98页，2022年，5月20日，23点31分，星期三精确定位极值点对于