12数媒毕设班级

1、(设计)（设计）题目:基于知识的图像检索研究姓名赵谦学号201200302053学院山东大学软件学院专业数字技术年级2012 级指导教师张彩明2016 年 5 月 15 日目录摘要1ABSTRACT2第 1 章 绪论31.1 研究背景31.2国内外研究现状41.3解决的主要问题61.4本文的主要工作71.5的组织结构7第 2 章基于知识的图像检索与线框图检索的原理与思想82.1 基于知识的图像检索的原理与思想82.1.1基于知识的图像检索的概念82.1.2CBIR 的检索原理和建立索引的方式92.1.3对于 CBIR 评价102.2 线框图检索的原理与思想112.2.1 关于图像轮廓的提取11

2、2.2.3 轮廓图特征对比14第 3 章 轮廓提取算法与轮廓特征算法的探究163.1 轮廓提取算法163.1.1 Canny 边缘检测算法163.1.2 Berkeley 边界检测算法183.1.3 八邻域轮廓提取算法193.1.4 轮廓提取算法的比较203.2 轮廓特征的提取算法21第 4 章 一个简单手绘图算法的实现与检测234.1 构架概述234.2 主要功能实现244.3 此系统的优劣评价27第 5 章 结论29致谢31参考文献32附录 1 英文原文33附录 2 中文原文35基于知识的图像检索研究摘要随着当代检索技术的发展，简单的文本检索已经不能满足人们多元化检索的需求。由于图像检索具

3、有直观性和简易性的特点，此技术受到了更多研发者的青睐。基于知识的图像检索技术更加符合人们的检索习惯，也使图像检索更加方便准确快捷。线框图检索属于图像检索的一个新兴领域，在手绘设备逐渐普及的当下，线框图检索技术需要得到一定的研究才能满足市场的需求。本文首先讨论了基于知识的图像检索技术和线框图检索技术的主要思想和原理分析比较了三种线框图检索技术的轮廓提取算法：Canny 边缘检测算法、Berkeley 边界检测算法、八邻域轮廓提取算法；介绍了轮廓图像的 HOG 特征提取算法，和几种图像相似度的检测算法；实现了一个简单的线框图检索系统，并对此系统进试和分析。在图像轮廓的提取过程中，Canny 边缘检

4、测算法主要考虑图像的灰度特征因素，Berkeley 边界检测算法综合色彩、亮度、纹理等特征因素，八邻域轮廓提取算法也能很好地实现对于图像轮廓的提取。框图检索系统的实现上，此系统能够很好的实现检索功能关键字：图像检索；轮廓提取；线框图；HOG 算法ABSTRACTWith the development of the contemporary retrieval technology, simple text retrieval already cant satisfy peoples needs for diversified retrieval. Because the image retr

5、ieval has the characteristics of simplicity, this technology has gotten more the favour of developers. Image retrieval technology based on knowledge in line with the retrieval habits, also makes the image retrieval more convenient,more accurate and more quick. Wireframes retrieval belong to an emerg

6、ing field of image retrieval, in the growing popularity of the hand-painted equipment at present, wireframes retrieval technologies need to be a certain amount of research to meet the demand ofthe market.This paper introduces the main ideas and principle of the image retrieval technology based on kn

7、owledge and wireframes retrieval technology; Deeply explore wireframes retrieval technologies; Introduces three kinds of wireframes retrieval technique of contour extraction algorithm Canny algorithm、Berkeley boundary detectionalgorithm、the contour extraction algorithm based on eight neighborhood; a

8、ll three of thesealgorithms are compared and analyzed. Introduces the outline of the image of the HOG featureextraction algorithms, and introduces several kinds of image similarity detection algorithm;Implements a simple wireframe retrieval system, and make a series of tests and analysis to thissyst

9、em.In the process of image contour extraction, Canny edge detection algorithm is mainly considerthe image grayscale characteristics; Berkeley boundary detection algorithm integratedcharacteristics of the factors include of color, brightness, texture; eight neighborhood contourextraction algorithm ca

10、n well realize the image contour extraction. On the implementation of thissystem, wireframes retrieval system can achieve good retrieval functionsKeyword:Image retrieval; Contour Extraction; Wireframe; HOG Features第 1 章 绪论1.1 研究背景近年来，随着互联网技术的飞速发展，多技术的日趋成熟，各种数码设备的大众化普及，数字图像的数量也大幅上升。有效的图像查找在教育、农业、社交等领

11、域具有具有重要的作用1。因此，如何在相当数量的图片库内找到相应数量的图像成为了一个急需解决的问题，图像检索技术成为近年来发展的重要领域之一。从现阶段来看，图像检索技术得到了一定的发展，特别是在图像的检索精准度和图像的检索数量上，图像检索的确得到了很大的进步。在图像的色彩、构图上，现有的图像检索基本上已经能够满足用户的基本需求，但是在某些图像意境的检索上还有很大的进步空间。上世纪 70 年代，图像检索主要是基于文本的图像检索技术（Text-basedImage Retrieval，简称 TBIR）。这种检索方式需要人工对图像进行特征描述，然后通过文本检索的方式来实现检索目的。究其本质，是对于文字

12、标注的检索。首先，此项检索技术需要人工对数据库中的每一幅图像进行文字标注，将图像的客观特征、语义内容、基本信息等作为图像的；其次，用户检索时输入相应的文字检索内容，系统检索特征数据库，返回相应描述的图像。这种检索方式简便易行，更符合用户的检索习惯，因此得到了很好的发展。目前，各大图片检索都支持此种检索方式。但是这种检索方式有两大缺点：其一是，对于图片的人工标注所需的工作量非常大，对于海量的数据库图片来说，这是一项复杂繁琐的工作；其二是，由于每个人对于图片的认识不同，因此，对于每幅图片的文字标注都带有主管色彩，因此这种检索方式的检准率不高。如何有效的提取图像的客观特征，并对客观特征进行有效的检索

13、，是摆在当时技术面前的问题。于是，另一种检索方式基于内容的图像检索技术(Content BasedImage Retrieval，CBIR)被提出，并且越来越受到大家的关注。90 年代，出现了基于图像内容的检索方式，它是根据图像的客观特征，包括图像的色彩、形状、布局等，并以此特征为检索内容，对图像进行检索。它称为基于内容的图像检索技术，简称为 CBIR。此种检索有两类：其一是低层特征，包括图像的色彩、纹理、布局等；其二是语义内容，这需要涉及到人类知识的翻译与解释，例如：大漠孤烟直，长河落日圆等。涉及到人工智能，计算机视觉等相关知识。在此种检索方式中，此系统需要对图像库中的图片进行特征提取，并以

14、此特征为检索内容，返回与用户检索图片特征最为相似的图片。在此项技术迅猛发展的同时，人们对于检索的需求也越来越大，特别是在硬件技术大幅上升，检索的方式也逐渐改变。在科技高速发展的今天，随着智能和平板电脑等触屏设备的普及，对于自己所需的数字图像，用户可以用手绘图的方式来简单表示。相比于基于内容的图像检索，基于手绘草图的图像检索（Sketch Based ImageRetrieval, SBIR）根据图像轮廓进行检索，更符合人们对事物的感知，也更具有创造性。这种手绘简图的方式降低了对于用户的要求，用户不需要掌握高超的绘画技术，只描述外部轮廓进行检索，亦不需要描绘内部特征。本文提到的线框图就是手绘草图

15、。该检索技术具有重要的研究和应用价值2。1.2 国内外研究现状正如前文所提，目前手绘草图检索技术取得了一定的进展。首先是早期对于数字图像的轮廓提取算法的提出，其次是手绘图检索系统的发展。1.2.1 轮廓提取的研究现状轮廓提取算子有以下几种：Robert 算子，Prewitt 算子和 Sobel 算子等。80 年代初，马尔在信号研究的角度分析图形边缘，为轮廓提取打下了基础。80 年代中期，凯尼（Canny）提出了一项准则标准，其有三个准则：精度准则、信噪比准则和单边响应准则，并提出一种边缘检测算法，即为 Canny 边缘检测算法，解决了宽边缘的唯一性问题和边缘的连通性问题2。进入 21 世纪，伯

16、克利（Berkeley）的研究David R. Martin区分了边缘和边界两种概念，并提出了一种将综合考虑亮度、颜色和纹理等局部特征的算法，这种算法能够很有效的提高边缘的检准率。一般将这种算法称为 Berkeley 边缘检测算法。另外，还存在一种八邻域轮廓提取算法，将二值化后的图像进行逐像素遍历，提取出边缘轮廓，其实质是将图像的内部点都掏空，是一种简单有效的轮廓提取算法，实现较为简单，本文所提供的线框图检索系统所采用的就是八邻域算法。1.2.1 手绘图检索的研究现状在上世纪 80 年代，NingSan 就尝试手绘图检索技术的研究，限于当时图像技术的落后，可供进行研究的数字图像数量很少，输入设

17、备也不够健全，进行研究的图像大多是些简单的形状，如矩形、圆形等，这些不利条件阻碍了利用草图进行图像搜索的普及。之后，Loffler 提供了一种检索系统，利用线框图来缩小文本检索图像的范围。2009 年，陈涛（Tao Chen）等人在 ACM 上了他们关于手绘图研究的，提出了一种利用关键字和手绘简图进行检索的系统，一般称为 Sketch2Photo。该系统需要用户手绘出图像的轮廓，并在图像的旁边标注上图像的名称，系统根据名称找到相应的图像，并且按照手绘的图像进行，并对的图像进行评分排序，并将的图像按照降序返回。该系统包含以下四个步骤：一、对于用户的文字标注进行搜索，搜索出符合条件的图像；二、对搜

18、索出的图像进行检查，筛选出有效的图像；三、将搜索出的图像进行，并对的图像进行评分；四、对于图像进行降序排列，并且返回给用户。如图 1-1 所示。因为缺乏有用的基于线条图的检索构造，Sketch2Photo 的耗时性很强，效率不高3。2011 年，德国的Mathias Eitz 等人提出了一种关于手绘草图检索的评价标准和适用于轮廓图像的 SHOG 特征（Sketch feature lines in the Histogram of OrientedGradients）。图 1-1 Sketch2Photo 功能示意图1.3解决的主要问题手绘图检索在检索领域有着较大的需求，现有算法各自有着不同的

19、优缺点。选择不同的算法，其检索的程度和效果也有所不同。如何通过采用不同的算法得到一个有效精确的检索系统，在目前来看显得尤为重要。而且通过对于不同算法的分析和研究，实现一个高效的整合检索系统也很有必要。另外，深入探究轮廓图象检索的轮廓提取算法、学习线框图检索系统的基本架构，认识并尝试项目的实现对于一个本科生来说也显得尤为必要。1.4 本文的主要工作本文首先在学习的基础上探究了线框图检索系统的主要思想和检索原理，对于系统的架构进行深入的理解分析，学习线框图检索系统的设计思想。涉及到不同的轮廓提取算法，包括经典的 Canny 边缘检测算法和berkeley 边缘检测算法，对这两种算法的特点进行说明，

20、另外探讨了八邻域轮廓提取算法，并对这三种算法的特点进行分析和比较。最后，对于一个现有的系统进行实现，这一现有的检索系统能够进行简单的手绘图检索，采用八邻域轮廓提取算法，提供友好的检索界面，鲁棒性强，最后对此系统的有效性和准确性进试，得出结论。1.5的组织结构第一章绪论，主要描述研究背景，包括基于文本的图像检索、基于内容的图像检索和关于手绘图的图像检索；轮廓提取算法和手绘图检索系统的国内外研究现状，并明确了本文的研究问题和主要工作。第二章线框图检索主要思想和原理。对于手绘图的检索技术进行深入的探究，认识并介绍了检索系统的主要架构。对于宏观把握手绘图检索系统具有重要的意义第三章对于主要的算法进行研

21、究。介绍了Canny边缘检测算法、berkeley边缘检测算法、八邻域轮廓提取算法；介绍了提取线框图特征的HOG算法；介绍了检测图像相似度的多种图像对比算法。第四章详细介绍了线框图检索系统的实现，并对此系统的准确性和有效性进行比较和分析。第五章结论，对上文进行总结性的论述，提出其中出现的问题，并简单介绍解决问题的方法等。第2章 基于知识的图像检索与线框图检索的原理与思想2.1 基于知识的图像检索的原理与思想2.1.1 基于知识的图像检索的概念基于内容的图像检索（Content-based image retrieval，CBIR），是数字图像研究的新兴领域，此技术基于建立的数据库，对于用户提供

22、的图像利用一定的内容和特征进行检索并返回给用户。这一概念于 1992 年由T.Kato 提出，他建立了一个基于图像客观特征的数据库，并对图像检索进行有效性验证，为基于内容的图像检索奠定了基础。此后，基于图像的特征提取来实现图像检索的技术以及 CBIR 这一概念，被广泛应用于各种研究领域，如模式识别、信号处理和计算机视觉3。目前有很多企业已经涉及这一领域，像、Bing、Ebay、Amazon等，这一技术的发展有助于提高信息检索的精准度和简易程度。在一项对于识图和以图搜图的中，在人物、动植物、风景的搜索结果中，识别率很高。目前 CBIR 技术已经逐渐趋于成熟，有很大的现实应用意义。基于知识的图像检

23、索需要两个步骤：第一是要对数据库中的图像按照一定的算法进行特征提取，包括色彩、图案、形状等底层特征，并将此特征进行保存；第二是要将输入的图像的提取特征与图像库的图像特征进行比对，利用相应的检测算法进行特征值的比对，并降序返回特征相同或类似的图片。下面将检详细介绍基于知识的图像索的原理和建立索引的方式。2.1.2CBIR 的检索原理和建立索引的方式基于知识的图像检索（以下称为CBIR）原理主要包括面：一是建立图像数据库，形成相应的特征标引，建立图像的索引库，对于每一幅图像都利用特征算法进行特征提取建立特征库；二是对于用户搜索的图片进行特征提取，利用相同的特征算法；三是相似度的测量，利用相似度算法

24、对用户的图像特征和特征库里的图像进行比对，并将相似度高的图像返回给用户。建立索引的方式是通过图像特征提取的方式，包括提取图像的底层特征，包括图像的颜色、纹理、布局等，检索图像和数据库图像的相似性比对，语义特征的验证等。建立索引的方式有：图像特征提取、相似性比对、语义特征等。图像的相似性比对可以有效的保证检索的准确性，而采用语义特征，可以提高检索的有效性。提取特征值是指利用一定的算法或者是数学公式，对于图像进行特征提取，这些特征包括基本的图像色彩和轮廓等，提取出的特征以一组数据的形式存放在特征库中，这组数据称为特征值。这样对于图像的搜索就转变成对于数据的检索。每一幅图像都有一个特征值，每幅图像的

25、特征值都不相同。特征值的提取有两步：第一步是对于数据库中的每一幅图像都进行特征值的提取，第二步是对于用户检索的图像进行特征值提取。特征值的比对的基本原理是，由于基于同一种特征提取的算法，每一幅图都有一个特征值，而每一幅图像的特征值都不相同。当图像较为相似的时候，特征值的相似度较高。相对应，当特征值的相似度较低的时候，图像的相似性也较低。这样就实现了对于模拟数据的检索转换成为了对于数据量的检索。进行特征值的对比的时候，需要对数据库里的每一幅图像的特征值进行对比结合语义分析是图像检索的最后一步，用于筛选检所得到的图像，提高图像的检准率。由于不同的图像也会有相同的特征值，所以有时会得到并不准确的搜索

26、图像。底层特征并不代表图像的语义，还需要提取图像的语义特征。需要抽取的语义特征用文字来表述：创建时间、创建者、图片形式等。通过文字的筛选，是得不同的图片有了区分，能够提高图像的检准率。2.1.3 对于 CBIR 评价CBIR 的具有以下几个特点：首先，它是模糊，并非单一结果。通过计算机进行大量简单繁琐的工作，按照相似度的大小，返回给用户，让用户来对其进行选择。这是人机结合的典范。其次，他的搜索结果是逐渐逼近的。通过给定的检索条件，系统可以最终找到符合条件的检索结果。最后，它需要巨大的工作量。由于每次检索都需要将目标特征与全部的图像特征进行对比，所以工作量很大。对于检索系统的性能评价，通常是以系

27、统的检准率、检全率来进行描述的。一个良好有效的检索系统，期望使其能够提供足够多的检索结果，同时需要保证检索结果的有效性。检准率和检全率成为评价检索系统的有效标准。2.2 线框图检索的原理与思想线框图检索是图像检索的一种类型，它与基于知识的图像检索有很大的相似之处，但是在实现上，线框图检索需要对数据库中的图像进行线框图提取。框图的基础上进行特征提取，并保存在特征库中。由于检索的内容是手绘图，可以看成是线框图，故可以直接进行特征提取。线框图的检索原理包括面：一是对用户需求进行分析和转化，形成可以检索索引数据库的提问，即对于检索手绘图的特征提取，这一步是接下来的图像轮廓特征比对的前提；二是建立图像的

28、索引数据库，即建立一个相关的图像数据库，并将数据库内的图像进行逐个轮廓提取，对轮廓图进行特征提取，并形成相应的特征库，图像检索的结果即是从这一库中进行检索；三是按照相似度匹配的公式，比较用户的检索内容特征和数据库中的图像的内容特征，检索出相应的图像作为结果，按照相似度降序的方式返回检索结果，由用户进行选择。2.2.1 关于图像轮廓的提取本文所讨论的边缘检测技术和轮廓跟踪技术是图像轮廓提取的前提，而轮廓提取是线框图检索的前提。预处理的是将数据库中的图像进行轮廓提取。由于手绘图可以看成轮廓图，不需要对其进行轮廓提取，所以图像轮廓提取是针对与数据库中的图像而言的。图像轮廓中携带有大量的文件信息，轮廓

29、通常存在于像素的突变点或是像素值有不稳定的状态。进行边缘检测时图像轮廓是不容忽视的信息之一。有时我们要把自己感的东西从目标图像中提取出来，一般用到的方法是通过颜色或纹理提取出目标图像的前景图，如果这是我们要对前景图进行分析然后把目标提取出来，这里用到的方法就是提取目标的轮廓4。边缘检测实际上就是找出画面中对象和背景的交界线，这条交界线就被认为是边缘。此交界线可以利用图像的灰度值变化来找出，灰度值的分布可以用灰度值的分布表来表示。因此可以用微的知识来检测灰度值的变化。首先将图像的灰度值进行求导，然后找出导数的最大值或过零点，最后据此得出图像的剧烈变化的灰度值点，得出边缘线。经典的边缘检测算子包括

30、：Robert算子，Prewitt算子，Sobel算子和Laplacian算子等。下面以Robert算子、Sobel算子和Prewitt算子为例Sobel边缘算子的卷积和如图2-1所示,对于图像中的每一个像素都用这两个算子做卷积，取其中最大值作为该点的值。这两种分别对垂直和水平像素的灰度值有较大的区分，得到的结果就是图像的边缘。图2-1 Sobel边缘检测算子Prewitt边缘算子的卷积和如图2-2所示，和Sobel算子一样，对于图像中的每一个像素都用这两个算子做卷积，取其中最大值作为该点的值，也会产生一幅边缘幅度图像。-1-1-1-1-2-1000121-101-202-101图2-2 Pr

31、ewitt边缘检测算子2.2.2关于轮廓图像特征的提取对于轮廓图像特征的提取是整个检索系统的关键一步，它不仅关系到图像能否检索出结果，更关系到图像检索的准确性。只有轮廓图像特征的描述详细完备，才能保证检索出的图像与用户提供的图像匹配。可以说，轮廓图像特征的提取是整个系统脉所在。轮廓图象的特征包括全局特征和局部特征。全局特征能较好的描述对象在全局中的位置信息，它是从全局中提取的特征。局部特征是根据图像中的关键点，用其邻域信息来描述图像，它具有几何不变性的优点。下面简要介绍了EHD、GIST、HOG三种适用于轮廓图像的全局特征,具体的介绍介绍放到第三章。边缘直方图(Edge Histogram D

32、escriptor，EHD)特征是基于MPEG756标准提出的，他参考了图像边缘的局部和全局信息。EHD具有描述图像像素变化方向的能力。EHD特征的具体提取过程：首先，将图像分成44的图像块，并检测其中是否含有边界信息；然后统计边界信息。EHD特征占用内存量较少，但是描述轮廓空间信息的能力有限。GIST特征最早是由Almda Friedman7在1979年提出的，应用于实际场景的图像识别。实际场景是指图像中特定化的对象，比如山峰、河流、森林等相对复杂的对象。对于这些场景，人们可以很好的判断，GIST也可以根据算法来进行判断识别。因此GIST特征可以很好的描述图像的整体内容，也可以进行图像轮廓的

33、提取。梯度方向直方图(Histogram of Gradient，简称HOG)由Navneet Dalal10-100011110-110-1和Bill Triggs在2005年的CVPR上提出,最初用于检测静态图像或者中的行人3。该特征与边缘直方图特征类似，均利用了图像的梯度方向。HOG特征具有良好的图像几何和光学不变性，并且对局部形状信息具有良好的描述能力3。2.2.3 轮廓图特征对比为了实现根据用户输入的线框图在图像库中搜索出与输入图相似度较高的图像，我们需要将数据库中图像与输入草图之间的差异进行比较。因此，我们通过比较特征向量之间的差异性来表示输入和数据库中图像的差异。图像检索的相似度

34、对比分为完全匹配和相似性匹配8：完全匹配成功，要求原图像与目标图像的特征完全相同；而相似性匹配成功要求当两幅图像的特征的距离小于设定的阈值。在本文涉及的图像检索系统中，我们使用相似性匹配。使用距离度量来衡量在空间上的距离之间距离越远就表明它们之间的差异越大。下面列出相似性度量的一些距离度量方法（以下经典距离度量方法皆出自文库）。(1)汉明距离，表示两个向量对应位置的不同值的个数。例如字符串“1111”与“1001”之间的汉明距离为2。(2)欧氏距离，指在m中两个点之间的真实距离。经过简单的推导就可以得到两个n维向量a(X11,X12,.,X1n)、b(X21,X22,.,X2n)间的标准化欧氏

35、距离的公式：(3)Minkowski距离，由欧式距离推广得到。闵氏距离假设n中的两个量a(X11,X12,.,X1n)、b(X21,X22,.,X2n)，其闵可夫斯基距离为其中p是一个变参数。当p=1时，就是曼哈顿距离当p=2时，就是欧氏距离当p时，就是切比雪夫距离(4)Manhattan距离，对多个维度上的距离进行求和操作。二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离两个n维向量a(X11,X12,.,X1n)、b(X21,X22,.,X2n)间的曼哈顿距离为(5)Chebyshev距离，当 p 趋近于无穷大时，Minkowski距离转化成Chebyshev距离。维平面两点a

36、(x1,y1)与b(x2,y2)间的曼哈顿距离第 3 章 轮廓提取算法与轮廓特征算法的探究3.1 轮廓提取算法轮廓提取是进行线框图图像检索的基础。对于图像的预处理的关键就是对图像进行轮廓提取。准确高效的轮廓提取算法是线框图检索系统能否实现的重要部分。在整个线框图的检索中，首先需要对数据库中的所有图像进行轮廓提取。而用户输入的手绘图，可以看作线框图，故可以不用提取轮廓。轮廓提取算法主要有：Canny边缘检测算法、Berkeley边界检测算法、八邻域轮廓提取算法。3.1.1 Canny 边缘检测算法边缘实际上是图像中灰度剧烈变化的像素集合，由此可知，边缘与图像的灰度有很大的关系。在一幅图像中，边缘

37、将图像中的对象与背景。一般在局部的图像中，可以将图像的灰度变化分为以下三种，分别是：阶跃型、屋顶型、凸如图3-1所示。图3-1 像素的三种变化边缘检测的主要目的是将背景和对象区来，其本质是将上述的三种灰度变化类型寻找出来。边缘检测最常用的方法是对图像的亮度的检测，亮度的不连续性是边缘的特点之一9。图像像素的梯度分布决定其像素变化程度，因此可以用局部图像中像素的某邻域构造边缘检测算子10。经典的一阶差分模板有Robert算子、Prewitt算子、Sobel算子和Laplace算子。如图3-2所示。（a）Robert算子（b）Prewitt算子（c）Sobel算子（d）Laplace算子图3-2

38、一阶差分模板Canny边缘检测算法是在最优边缘检测算法的基础上来检测图像的边缘的，它能够提取出图像的轮廓。最优边缘检测算法的特点如下，首先它是能很好地区分图像中灰度值剧烈变化的像素，其次它会忽略图像中的噪声，对于噪声周围的像素进行舍弃，最后它能优化不连续的边缘。故此，Canny边缘检测算法具有良好的识别性和降噪型。Canny边缘检测算法的步骤：1、对原图像平滑滤波，去除噪声干扰。2、对每一像素点进行边缘和梯度计算，梯度方向最大的点即为边缘点。3、对于局部图象，将极大值的像素点灰度设置为1，其他像素点的灰度设置为0。4、利阀值求出强边缘点和弱边缘点。5、组图像中的轮廓，将轮廓进行闭合处理，对于不

39、能闭合的部分，采用一定的算法将其进行闭合。3.1.2 Berkeley 边界检测算法上一小节简单介绍了Canny边缘检测算法，它主要是基于灰度值来进行图像轮廓提取处理。在2004年，Martin等人提出一种基于图像的亮度、颜色、纹理的轮廓提取算法。在其文章中，首先对边缘和边界进行了区分，边缘是指图像中像素的底层特征如亮度、色彩等的剧烈变化的集合，边界是指图像中背景和物体对象的区分的轮廓。故边缘一般表现为不连续的集合，而边界一般表示为连续闭合的像素连线。Berkeley算法的基本步骤如下：首先对原图像进行亮度和Lab色度空间的变换；其次将亮度、颜色和纹理特征的描述纳入到同一个研究系统之中；最后对

40、其进行逻辑回归分类，区分出边缘和非边缘像素点，统计每个像素点是否为边界点的概率，据此显示出图像的边缘。该算法的框图如图3-3所示：图3-3 Berkeley算法框图3.1.3 八邻域轮廓提取算法本文章中所实现的线框图系统采用的是八邻域边缘检测算法。其简单易于实现，并且能够很好的舍弃不必要的干扰，能够很好的实现检测轮廓的目的。下面进行详细介绍首先是八邻域的边缘检测。第一步，对原始图像进行二值化处理，利用合适的阈值对其进行处理，得到原始图像的黑白图像。第二步，对二值化的图像进行一次遍历。对图像的每一个像素进行检测，若像素点的灰度值为1则标记为点。第三步，对点进行遍历，对于每一个的八邻域的像素点进行

41、检测，若所有的像素值都为1，则遍历下一个像素，否则，将其标记为一个特征数值。第四步，对图像进行二次遍历，如果像素值为0或1，则将其设置为0，若像素值为特殊数值，则设置为1，得到轮廓图象。由于图像具有复杂性，所以每个图像中的边缘中有一部分不是我们所要得到的轮廓，像衣服图案上的花纹，和树木上的纹理等。为了去除图像的不必要的信息，我们可以运用边缘跟踪算法，本文中所采用的算法是基于连通域的边缘跟踪算法。其基本原理是，轮廓定义为每一连通域中像素点最多的那一条。所以我们可以设计一个边缘跟踪算法，对每一连通域中不连续的像素点进行计数，并保留最长的那一条定义为基本轮廓。基于连通域的边缘跟踪算法只能将连通域内细

42、小的闭合边缘去掉，但是对于轮廓上的闭合边缘去没有去除的能力。为了避免这一缺陷给图像检索造成的影响，我们可以利用深度优先算法进行处理，将边缘上的细小闭合回路进行处理，这样就可以得到基本符合要求的轮廓。为了直观的表现出八邻域轮廓提取算法的效果，我截取了两张图片，其中一个是原图像，另一个是轮廓图象，如图3-4所示。图 3-4 基于八邻域的轮廓提取的效果3.1.4 轮廓提取算法的比较轮廓提取的3种算法各有优劣，Canny边缘检测算法仅考虑图像的灰度值的变化，Berkeley边缘检测算法综合考虑图像的色彩、亮度、纹理等特征，更加符合人的视觉习惯，得到的图像轮廓也更加精确。八邻域边缘检测算法的代码简单易行

43、，能够很好的实现图像轮廓提取的相关要求。对于同一张色彩图片，如果图像中的对象对于背景有较好的区分度，则利用Canny算法可以很好的提取图像的边缘，但是对于图像内的花纹的内部边缘却不能很好的去除。采用Berkeley算法的轮廓提取可以很好的提取图像的轮廓，并且能够有效的去除花纹等不必要信息，这是因为此算法综合考虑了亮度、色彩、纹理这三种信息。但是对于背景与对象没有很大差别的图像，Canny算法则能够很好的提取出图像的轮廓，而Berkeley算法则不能达到很好的效果。对于八邻域边缘检测算法，也具有自己的局限性，它对于背景简单，图案单一的图像有很好的提取效果，但是对于背景复杂的图像却没有很好的提取效

44、果。在本次的系统实现中，我们采用这一轮廓提取算法，对检索的效果进行简单的实现。基于八邻域边缘检测算法的轮廓提取结果如图3-5所示。图 3-5 基于八邻域轮廓提取算法的结果3.2轮廓特征的提取算法2005年，Navneet Dalal 和 Bill Triggs提出HOG特征，即梯度直方图特征，它是一种对图像局部重叠区域进行描述的特征，它与边缘方向直方图特征14、SIFT特征15 类似，但是HOG特征对结果进行归一化来提高图像特征的整体准确率。其流程如下：1、检测提取窗口2、图像归一化3、计算梯度值4、对每一个细胞单元格进行权重投影5、对每一个大的单元格进行对比度归一处理6、对所有的单元格进行归

45、一化组成一个大的HOG特征向量其中的归一化是为了降低光照对图像的轮廓提取的影响，归一化有多种方式，可以对每个颜色通道求平方或者对每个颜色通道求对数，也可以先将图像转化为灰度图像再进行归一化处理。由于线框图检索对于图像进行轮廓提取不需要颜色和光照的变化，因此，对于本系统的实现过程中，并不需要进行归一化。所以，轮廓图像的HOG特征提取过程可分为以下步骤：(1)分别在图像的横坐标和纵坐标方向上进行梯度计算，计算每一个位置的梯度方向。(2)将整个图像划分不同的单元格，每个单元格内划分成为多个的细胞单元格，在HOG特征提取中最基本的检索区域就是细胞单元格。每个单元格就是一个矩形区域并且以细胞单元格的长度

46、或高度作为单元格的滑动步长。(3)构建细胞单元格的梯度方向直方图。用梯度方向直方图来图像的梯度信息，将细胞单元格梯度方向的360度分成多个方向块，每个方向块都有一个梯度直方图来进行描述。在直方图中对于每个像素的不同方向块进行投影，最后得到这个细胞单元格的梯度方向直方图。(4)把细胞单元格组合进行归一化处理。将每个单元格中的细胞单元格进行梯度方向直方图的串联，归一化这一新的梯度直方图。(5)将所有单元格的特征向量进行归一化处理，最后得到整体图像的梯度特征。该梯度特征就是线框图的特征表示。第 4 章 一个简单手绘图算法的实现与检测4.1 构架概述手绘图检测系统和图像检测系统较为类似，但是手绘图检索

47、允许用户进行手动输入，并对于手绘的原图像进行检索，这大大提高了手绘图检测系统的交互性。线框图的图像检测系统包括，建立图像库并利用相应的算法对图像进行轮廓提取，提取轮廓图像的HOG特征，提取手绘板上图像的HOG特征，利用汉明距离将图像进行相似性检测，得到结果排序并返回给用户。线框图的图像检索系统的基本部分如下：(1)建立图像库并对原图像进行预处理。为此系统建立了一个的图像库，在网上了70个图像，并用八邻域轮廓提取算法对这些图像进行轮廓提取。在此系统中，为了提高系统的检测准确性，引入了包围盒算法。提取轮廓后，分为两条主线，第一条主线是对于每一个轮廓图像都进行包围盒裁剪，然后进行缩小至64*64。第

48、二条主线是直接将轮廓图象进行缩放至64*64大小，保留轮廓图象的位置信息。(2)提取轮廓图象的HOG特征。由预处理得到图像的轮廓图像和经过包围盒算法的轮廓图象，经过缩放后图像的统一大小为64*64。而后的工作是对这两种图像进行特征提取，分别对过包围盒算法的轮廓图象和经过包围盒算法的图像进行特征提取，并将这两个特征分别存入txt文件中，在进行特征对比的过程中就可以直接调取txt文件就可以了(3)设计界面并进行手绘图的特征提取。手绘图的界面是用户和系统交流的窗口，将窗口设计成一个500*500的界面，在界面上进行手绘图的绘制。系统将手绘图进行保存成为图像，然后直接进行缩放并提取图像的HOG特征。由

49、于手绘图的特性，故可以将手绘图直接视为轮廓图。由于本系统内有基于包围盒的检索方式，对于手绘图的图像的处理也分为采用包围盒算法的特征和没有进行包围盒算法的特征。(4)图像的相似性匹配。将手绘图的HOG特征与图像的特征库的特征进行对比，采用汉明距离并设置阈值对图像之间的相似性进行计算，生成匹配度文件，按照匹配程度进行排序，由于汉明距离的计算比较简单，能够进行快速计算。（5）将检索结果返回给用户。将匹配度高的图像返回给用户，由用户来进行人工的选择。4.2 主要功能实现这个检索系统主要包括两条主线：第一条是对图像库的图片进行预处理，将特征保存至特征库，用于之后的检索处理；第二条是检索系统的交互界面，将

50、手绘图进行图像保存并提取特征，然后进行检索。对于图像库中的图像，需要首先提取出它们的特征并保存起来才能保证线框图检索系统能够正常工作。本节具体介绍图像库特征生成的实现方法。4.2.1 图像库图像预处理建立“imgpath.txt”、“hog_dataset1.txt”和“hog_dataset2.txt”三个文本文档，“imgpath.txt”保存图像的路径，另外两个文本文档分别储存利用包围盒算法和不利用包围盒算法处理后的HOG特征，作为特征库。根据图像的路径将图像导出并，然后利用八邻域边缘提取算法将图像进行边缘提取，然后根据轮廓跟踪算法将图像的轮廓进行提取。轮廓跟踪算法如下：int size

51、=image.rows*image.cols; bool *flag=new boolsize;memset(flag,0,sizeof(bool)*size);Mat contour(bin_img.rows,bin_img.cols,CV_8UC1); int num=0;int max=0; point maxp;for(i=0;ibin_img.rows;i+)uchar* data=bin_img.ptr(i); for(j=0;jmax)max=num; maxp.x=i; maxp.y=j;delete flag;其中，point为自定义的类，将像素点的坐标位置进行保存。for循

52、环中，统计边缘中像素点最多的边缘线条，并其起始点的位置。DrawContour()函数可以根据图像和起始点的位置来绘制图像。本系统引入了包围盒算法，用包围盒算法来截取图像的轮廓图象。为了增加对比的效果，我们使用包围盒算法和不用包围盒算法都进行特征提取，然后两条线分别检索。将图像都缩放成64*64，并进行保存。4.2.2 图像库图像特征提取对图像进行预处理之后，我们使用OpenCV中的类HOGDescriptor来进行线框图的HOG特征提取，对两种图像都进行特征提取。构造函数原型如下。gpu:HOGDescriptor: HOGDescriptor (Sizew_size =Size(64, 6

53、4), Sizeb_size =Size(16, 16),Sizeb_stride =Size(8, 8), Sizec_size =Size(8, 8), intbins =9,doublew_sigma =DEFAULT_WIN_SIGMA, doublethreshold =0.2,boolgamma =true,intlevels =DEFAULT_NLEVELS) 其中几个主要参数的含义如下。w_size：检测窗口大小。contour=DrawContour(bin_img,maxp.x,maxp.y);由于手绘图可以看成线框图，所以我们不用对其进行轮廓提取，在此之后，我们只需进行相似度的检测即可。4.3 此系统的优劣评价对于此轮廓检索系统的评价标准主要为查准率。在图像检索中，查准率b_size：块大小。 b_stride：块的滑动步长，必须是单元格大小的倍数。c_size：单元格的大小。bins：直方图bin的数量。w_sigma：高斯滤波窗口的参数。gamma：是否进行gamma校正。定义一个HOGDescriptor类的对象，调用对象的compute()方法来计算HOG特征向量，函数