计算机视觉-第05章2-图像特征提取和匹配

人工智能学院人工智能视觉课程

图像特征提取和匹配2024/1/152Haar-like特征是计算机视觉领域一种常用的特征描述算子也称为Haar特征Haar-like是受到一维haar小波的启示而发明后来又将Haar-like扩展到三维空间(称为3DHaar-Like)用来描述视频中的动态特征多用于人脸检测、行人检测等目标检测知识链接-Haar特征2024/1/153Haar-like特征模板内只有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和Haar特征值反映了图像的灰度变化情况知识链接-Haar特征2024/1/154例如：脸部的一些特征能由矩形特征简单的描述眼睛要比脸颊颜色要深鼻梁两侧比鼻梁颜色要深嘴巴比周围颜色要深等矩形特征只对一些简单的图形结构，如边缘、线段较敏感所以只能描述特定走向（水平、垂直、对角）的结构知识链接-Haar特征2024/1/155知识链接-Haar特征2024/1/156下图中的的特征模板称为“特征原型”特征原型在图像子窗口中扩展（平移伸缩）得到的特征称为“矩形特征”矩形特征的值称为“特征值”矩形特征可位于图像任意位置，大小也可以任意改变，所以矩形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数故类别、大小和位置的变化，使得很小的检测窗口含有非常多的矩形特征如：在24*24像素大小的检测窗口内矩形特征数量可以达到16万个知识链接-Haar特征2024/1/157RapidObjectDetectionusingaBoostedCascadeofSimpleFeaturesCVPR2001integralimage局部矩形求和运算的复杂度从O(MN)下降到了O(4)A[i]赋为该点与图像原点所构成的矩形中所有像素的和D矩形的像素和就等于A[4]–A[2]–A[3]+A[1]知识链接-Haar特征快速计算方法2024/1/158盒式滤波（方框滤波）是一种线性滤波技术又叫方框滤波将计算某个矩阵像素间的和值运算，转化为求矩阵对应边角点的求和差值运算和integralimage的思想类似知识链接-盒式滤波器2024/1/159给定一张图像宽高为（M,N）待求矩形模板的宽高(m,n)，如图紫色矩形图中每个黑色方块代表一个像素红色方块是假想像素知识链接-盒式滤波器2024/1/1510开辟一段大小为M的数组,用来存储计算过程的中间变量，用红色方块表示将矩形模板（紫色）从左上角开始，逐像素向右滑动到达行末时，矩形移动到下一行的开头如此反复，每移动到一个新位置时，计算矩形内的像素和，保存在数组A中知识链接-盒式滤波器2024/1/1511每次紫色矩形向右移动时，实际上就是求对应的蓝色矩形的像素和只要把上一次的求和结果减去蓝色矩形内的第一个红色块再加上它右面的一个红色块，就是当前位置的和了当紫色矩形移动到行末时，需要对buff进行更新知识链接-盒式滤波器2024/1/1512上面两幅图是高斯滤波器的效果下面两幅图是使用盒式滤波器对其近似灰色部分的像素值为0黑色为-2白色为1知识链接-盒式滤波器和高斯滤波器自行查找资料读取“lena02.png”用盒式滤波器进行滤波课堂练习2024/1/1513知识问答2024/1/1514cv2.boxFilter中normalize为True时，其效果等价于？2024/1/1515知识链接-盒式滤波器2024/1/1516构建Hessian矩阵的目的是为了生成图像稳定的边缘点(突变点)跟Canny、拉普拉斯边缘检测的作用类似，为特征提取做准备构建Hessian矩阵的过程对应着SIFT算法中的DoG过程对于图像I(x,y)，其Hessian矩阵如下：知识链接-Hessian矩阵2024/1/1517SURF（Speed-UpRobustFeature）SIFT算法的一种改进使用盒子滤波器对LoG进行近似采用了Haar特征以及积分图像的概念速度提升精度下降知识链接-SURF算法2024/1/1518知识链接-SURF算法FASTFeaturesfromacceleratedSegmentTest只负责检测固定尺度的特征点（角点）速度更快知识链接-FAST算法2024/1/1519选择一个点p，标出其领域内的点圆周点p1-p16知识链接-FAST算法2024/1/1520计算4个圆周点和中心点p的像素差p1、p5、p9、p13定义一个阈值t0-255与阈值t比较是否至少3个差值都大于t或者都小于-t如是，则p为候选角点如否，则p不是角点知识链接-FAST算法2024/1/1521对于候选点p，计算所有圆周点和点p的像素差与阈值t比较，是否至少连续N个大于阈值t或者小于-tN自选，如9、10、11、12如是，则p是角点如否，则p不是角点知识链接-FAST算法2024/1/1522知识链接-FAST算法2024/1/1523计算角点得分q代表圆周点只保留邻域内分数最高的点作为最终角点BRIEFBinaryRobustIndependentElementaryFeatures只负责对已检测到的关键点建立描述符计算速度快，匹配时间短知识链接-BRIEF算法2024/1/1524计算过程高斯滤波，减少噪声干扰选取特征点为中心的邻域窗口，随机选取像素点，比较大小，结果为1或0重复上一个步骤N次，得到长度N的特征向量----描述符知识链接-BRIEF算法2024/1/1525ORBOrientedFASTandRotatedBRIEFFAST+BRIEF的优化版计算速度快旋转不变性知识链接-ORB算法2024/1/1526旋转不变性示意opencv中，ORB算法可以通过cv2.ORB_create()函数进行调用。知识链接-特征提取算法2024/1/1527参数名类型含义nfeaturesint最多返回多少关键点scaleFactorfloat图像金字塔每个层级间的缩放因子知识问答2024/1/1528以下关于ORB算法，正确的是？课堂讨论2024/1/1529千辛万苦完成了特征提取，我们到底得到了什么？特征提取得到了目标图像与待匹配图像的特征点然后根据特征点进行特征描述特征描述符比如一个128维向量知识链接-特征提取之后2024/1/1530课堂讨论2024/1/1531已经搞定了特征提取，接下来计算机要干什么才能判断物体是否相似？特征提取特征点查找描述符生成特征匹配知识链接-图像匹配2024/1/1532

…

…描述符描述符暴力匹配Bruteforce知识链接-特征匹配算法2024/1/1533opencv-python中，暴力搜索算法可以通过cv2.BFMatcher()函数进行创建知识链接-特征匹配算法2024/1/1534参数名含义normType指定要使用的距离测量,默认情况下，它是cv2.NORM_L2.它适用于SIFT，SURF等（cv2.NORM_L1也在那里）.对于基于二进制字符串的描述符，如ORB，BRIEF，BRISK等，应使用cv2.NORM_HAMMINGcrossCheck默认值为False。如果设置为True，则两幅图中的特征点要互相是最优匹配才会返回。KNN邻近算法K最邻近K-NearestNeighbor就是K个最近的邻居的意思图中k=3知识链接-特征匹配算法2024/1/1535FLANNFastApproximateNearestNeighborSearchLibrary性能优化的KNNFLANN算法可以通过cv2.FlannBasedMatcher(indexParams,searchParams)函数进行创建indexParams和searchParams都是dict形式，键值根据用户指定的具体算法而变化知识链接-特征匹配算法2024/1/1536课堂讨论2024/1/1537阅读讲义上的代码，在用KNN取得与待匹配特征点（Logo图）邻近的特征点（可口可乐宣传片里的视频帧，有多个）之后，是怎么最终确定这些特征点是否匹配的？看谁最快找到01项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结硬件条件一台计算机软件条件Windows10，64位PyCharmWindows社区版，Version:2021.1.2OpenCV-Python4.5.3.56、Numpy1.19.5、Matplotlib3.3.4等项目准备2024/1/153901项目导入02项目任务03项目目标04知识链接05项目准备06任务实施07任务拓展08项目小结任务实施-项目任务概述2024/1/1541根据讲义内容，完成上述综合项目如果使用讲义中的代码，播放会出现问题请找到问题，定位相关的代码缺陷，进行修改最后给我看的是能够流畅播放的版本课堂练习2024/1/1542使用摄像头实时拍摄可乐（雪碧）瓶，并显示图像然后完成可乐（雪碧）瓶上的Logo定位课堂练习2024/1/1543任务实施-获取命令行输入2024/1/1544调用方法示例：pythonmain.pyvideo.mp4logo.png任务实施-初始化特征检测和匹配方法2024/1/1545任务实施-logo图片读取和计算特征点2024/1/1546任务实施-视频读取和特征点匹配2024/1/1547任务实施-提取可信的匹配特征对2024/1/1548任务实施-将匹配的特征区域用四边形方式展示2024/1/1549得到logo图片中特征点的包围盒根据透视矩阵画出变换后的包围盒结果视频帧展示任务实施-结果示意图2024/1/155001项目导入0