基于颜色和纹理的图像检索算法研究

学科门类： 工学 分类号： TP393 单位代码： 10293 密 级： 硕 士 学 位 论 文论文题目：颜色和纹理特征相结合的图像检索算法研究 徐林 Y061504 王绍棣 计算机应用技术 计算机在通信中的应用 二零零九年三月 学生姓名学号指 导 教 师学 科 专 业研 究 方 向论文提交日期南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。南京邮电大学学位论文使用授权声明南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权南京邮电大学研究生部办理。研究生签名：_ 日期：_研究生签名：_ 导师签名：_ 日期：_南 京 邮 电 大 学硕士学位论文摘要学科、专业：工学 计算机应用技术研 究 方 向： 计算机在通信中的应用 作 者： 2006 级研究生 徐林 指导教师：王绍棣 教授题 目：颜色与纹理特征相结合的图像检索算法研究英文题目：Research on Color-based and Texture-based Image Retrieval Algorithm主题词：基于内容的图像检索，颜色直方图，Gabor 滤波，相似性度量Keywords: CBIR, Color Histogram, Gabor filter, Similarity Measuring摘要随着互联网的发展，各种图像信息日益丰富，基于内容的图像检索成为一个热门的研究课题。本文在大量基于内容的图像检索文献的基础上，对基于颜色和纹理的图像检索进行了研究，并对用颜色、纹理及两者相结合的方式进行图像检索的算法进行了实验。本文的主要工作如下：(1) 在基于颜色特征的检索方面，本文从 Tahoun 算法 得到启发，提出了 HSV 空间1分量距离综合算法。该算法选择 HSV 颜色空间，首先采用非等间隔量化的方法对示例图像中的像素进行量化，然后分别求出 HSV 颜色空间的三个分量的直方图，接着分别计算三个分量的直方图与图像库中的图像对应分量的直方图间的曼哈顿距离，得到两幅图像对应分量间的距离，即 H 分量间的距离、S 分量间的距离和 V 分量间的距离，最后提出引入 HSV 颜色空间非等间隔量化后构造特征矢量的公式，用来计算两幅图像之间最终的距离。实验表明，该算法在保持 Tahoun 算法较低的量化 bin 数的基础上，对于光照强度的变化具有更好的鲁棒性，同时该算法可以有效降低主色与示例图像有较大差异的图像对检索结果的干扰，对于实验中使用的图像库，提高了检索的查全率。(2) 在基于纹理特征的检索方面，本文提出了 Gabor 滤波结合图像锐化算法。该算法在 Gabor 滤波之前，加入了图像锐化的步骤。本文通过实验，比较了 Gabor 滤波选取不同参数时的检索效果，以及不同锐化算子跟 Gabor 滤波结合时的检索效果。实验表明，使用 Gabor 滤波结合图像锐化算法检索的结果与直接使用 Gabor 滤波算法检索的结果相比，相关图像排列更加靠前，同时，使用 Gabor 滤波结合图像锐化算法检索的结果中前15 幅图像中，不相关图像从视觉上更接近示例图像。特别是 Sobel 锐化算子跟 Gabor 滤波结合提取纹理时，能够取得最好的检索效果。(3) 本文综合运用 HSV 空间分量距离综合算法和 Gabor 滤波结合图像锐化算法，同时应用基于区域的特征提取技术，建立了基于颜色和纹理的图像检索实验系统，通过实验确定了进行综合特征检索时，颜色特征和纹理特征的参考权重。对于实验中使用的图像库，采用实验得到的颜色特征和纹理特征的参考权重，能够取得较好的检索效果。关键词：基于内容的图像检索，颜色直方图，Gabor 滤波，相似性度量AbstractWith rapid development of Internet, there are more and more image information, so Content-based image retrieval becomes a hot research field. This paper researches on color-based and texture-based image retrieval based on plenty of materials. Meanwhile, this paper also does some experiments on the color-based and texture-based image retrieve algorithms proposed. The main contributions of this paper are as follows:In color-based image retrieval field, the algorithm in this paper chooses HSV color space. First, nonuniform quantization is used to quantize the pixels in the image. Second, three histograms of the three components of HSV color space are calculated, and the distances between histograms of corresponding components of two images are calculated separately by Manhattan distance. Finally, this paper introduces the formula which is used to integrated three components of HSV as one-dimension vector to calculate the distance of images. Experiments show that the algorithm not only keeps low number of bins when quantifying but also has good robustness to change of illumination. To the image library used in the experiment, the algorithm can obtain better recall. In texture-based image retrieval field, this paper presents an algorithm which combines image sharpening and Gabor filter. This paper compares the retrieval effectiveness of Gabor filter with different parameters and the retrieval effectiveness of Gabor filter combined with different sharpening operators. Experiment shows that Gabor filter combined with Sobel sharpening operator can produce best retrieval result. In the retrieval result adopts Gabor filter combined with sharpening operator, related images can rank higher, compared to the retrieval result adopts Gabor filter only.This paper also combines image segment algorithm, and establishes an experiment retrieval system. Some implement detail is considered. The weights of color feature and texture feature are decided by the experiment system. Experiment shows that the system can obtain good retrieval result using the weight decided.Keywords: CBIR, Color Histogram, Gabor filter, Similarity Measuring目录摘要 .IAbstract .II第一章 绪论 .11.1 研究背景 .11.2 本文主要的工作及创新点 .31.3 本文的组织结构 .5第二章 相关原理及技术介绍 .62.1 颜色空间 .62.1.1 RGB 颜色空间 .62.1.2 HSV 颜色空间 .72.1.3 颜色空间的量化 .82.2 图像锐化 .102.2.1 灰度化 .102.2.2 边缘的定义 .112.2.3 常用的图像锐化算子 .122.3 结合区域的特征提取方法 .132.4 相似性的度量 .142.5 检索性能评价指标 .162.6 本章小结 .17第三章 HSV 空间分量距离综合算法 .183.1 常用的颜色检索算法 .183.1.1 颜色直方图相交 .183.1.2 Tahoun 算法 .193.2 HSV 空间分量距离综合算法 .213.2.1 算法描述 .213.2.2 实验结果及分析 .223.3 本章小结 .29第四章 Gabor 滤波结合图像锐化算法 .304.1 常用的纹理特征的提取方法 .304.1.1 灰度共生矩阵及其相关方法 .304.1.2 Gabor 滤波 .324.2 Gabor 滤波结合图像锐化算法 .334.2.1 算法描述 .334.2.2 实验结果及分析 .354.3 本章小结 .42第五章 基于颜色和纹理的综合检索实验系统 .435.1 图像尺寸的规范化 .435.2 基于区域的特征提取 .435.3 预处理 .445.4 颜色特征和纹理特征的权值确定 .445.5 检索算法的稳定性 .495.6 本章小结 .50第六章 总结与展望 .51致谢 .53参考文献 .54图索引 .57表索引 .58作者在硕士研究生期间发表论文情况 .59第一章 绪论1.1 研究背景近年来，随着计算机技术的高速发展和数字图像设备的普及应用，各种专业的数字图像库不断增大，覆盖了军事、医学、工业制造、新闻传媒、社会生活等各个领域。而且随着时间的推移，数字图像数据库急剧地扩大，如何对图像进行高效查询就成为人们对图像数据库进行有效管理的问题之一。最初的图像检索方法利用传统的文本检索技术，为图像做出文字化的注释，以诠释图像的内容。这种技术的特点是简单、易于理解，但是其存在几个根本的问题难以解决：首先，随着图像、视频数据的不断增加，内容不断丰富，很难用文字标签来准确地表达其含义，同时对其进行注释的工作量也是非常巨大的。其次，传统的图像注释多采用手工完成，图像注释是由观察者决定的，因此受主观因素影响很大，不同的观察者或同一观察者在不同条件下，对同一幅图像可能做出不同的描述。最后，对不同的应用需求，可能需要对图像、视频进行不同的描述，这就需要对整个数据库中的数据进行重新处理，更新文字标签，因此这种方法只适用于特定的查询要求，不能满足不同用户的需求。由于传统的基于文本的图像检索方法的种种弊端，使得它在很多情况下无法满足实际需求。而人们也逐渐意识到对图像信息的检索必须依赖于图像本身所包含的内容。所以研究基于内容的图像检索技术的人越来越多。20世纪90年代以来，基于内容的图像检索(Content Based Image Retrieval, CBIR) 技术的研究和应用得到了长足的发展，被应用于很多领域 。基于内容的图像检索利用图234像的颜色、形状、纹理、对象的空间关系等基本视觉特征进行检索，这些特征都是客观独立地存在于图像中的。因此，这种图像检索技术的主要特点是利用图像本身包含的客观视觉特性，不需要人为干预和解释，能够通过计算机自动实现对图像特征的提取和存储等。在实际操作中，基于内容的图像检索技术还可以通过相关的反馈技术，把用户纳入检索链中，使检索系统具有自学习能力，进一步提高检索查准率。随着基于内容的图像检索技术的发展，各种图像检索系统相继问世。著名的系统包括：IBM 公司的QBIC(Query By Image Content)系统 ，Virage公司的VIR 工程系统 等。5 6下面分别介绍：(1) QBIC系统IBM公司研究开发的QBIC()系统，是最早推出的商品化且比较成功的图像检索系统，其支持基于子图像、用户构造的草图、选择的颜色以及纹理等的查询方式。QBIC中使用的颜色特征有(R，G，B)、(Y，I，Q) 、(L，a ，b) 和MTM(Munsell数学变换)坐标及K个元素的颜色直方图，它采用的纹理表示方法是Tamura提出的纹理表示方法的一种改进，即粗糙度、对比度和方向的结合。它的形状特征包括面积、圆形度、偏心度、主轴偏向和一组代数矩不变量。QBIC是少数几个考虑了高维特征索引的系统之一。在它的索引系统中，首先使用了KLT变换，减少维数并采用R树为多维索引结构。(2) VIR图像工程系统Virage公司的 VIR图像工程系统() ，它具有独立性及附属性。它的核心技术是VirageEngine和在图像对象层上的操作。VirageEngine具有图像分析、图像比较和图像管理功能。它将查询引擎作为一个插件，它既可应用到通用的图像查询，也可以应用到特定的领域。(3) ImageRover系统ImageRover系统()，可以按照分类主题进行浏览，也可以执行关键词搜索。在利用关键词进行搜索时，要在页面标题、目录文件名或者指向图像文件的链接中查找所要查找的词汇。该引擎具有模糊查找功能，与关键词相似的也能查找出来。在可视搜索中，用户可以进行颜色、纹理、形状以及与用户的示例图像相类似的图像组合的搜索，搜索结果显示的是简图和文本。(4) MARS系统美国伊利诺斯大学的MARS 系统(Multimedia Analysis and Retrieval System)，它的重7点不在于寻找单个的最佳特征表示，而在于如何将图像不同的外观特征组织成有意义的检索体系，以动态适应不同的用户及应用场合。MARS系统是正式提出相关反馈方法的系统，它将相关反馈技术集成到检索的不同层次过程中，使用不同的特征和不同的相似性度量准则比较示例图像和图像库中图像的相似性，以达到图像检索匹配的目的。其它有代表性的还有浙江大学计算机系研究的基于颜色的检索系统PhotoNavigator和基于形状的检索系统PhotoEngine、清华大学的Internet上静态图像原型检索系统等。这些系统的框架和查询的处理过程都很相似，只是采用的特征和搜索方法各具特色，性能也互有差异。随着一些基于内容的图像检索系统的问世，基于内容的图像检索的算法也越来越多，主要分为下面几个方面：(1) 基于颜色特征的图像检索算法近年来出现了许多新的颜色聚类算法和一些新的度量颜色相似性的方法。Wu 提出8了基于平均偏移聚类算法的新的聚类算法，该算法可以用来提取Lab颜色空间中的主色，缩短了检索的时间。Pun 提出了基于颜色聚类的直方图计算方法，削弱了量化间隔对直9方图的影响。Zhang 提出了一种对颜色聚类矢量的量化方法，改善了检索效果。Tahoun10提出对RGB 颜色空间的三个分量分别进行量化，并用灰度化公式计算图像相似性的算法，1降低了量化的bin数，提高了检索的速度。(2) 基于纹理特征的图像检索算法近年来小波变换和Gabor滤波被广泛应用于基于纹理特征的图像检索。Wang 使用1双树复小波变换提取纹理特征，取得了比离散小波变换更好的检索效果。Zhang 提出了2在小波域使用独立组件分析的纹理提取算法，克服了不同子带小波系数的相关性对检索的影响。Zhang 提出了将 Gabor滤波和模糊集理论结合的算法来度量图像的相似性，该13方法对医学图像具有较好的检索效果。Yao 和Zhang 分别将灰度共生矩阵和不同的图1415像锐化算子进行结合，进行图像纹理特征的提取，他们的算法具有较好的鲁棒性，并且提高了检索的平均查全率。(3) 基于形状特征的图像检索算法形状特征较多被应用于商标检索这类比较抽象的图像的检索。Shahabi 提出了基于16最小外接圆的形状特征提取算法，在不降低查全率的情况下，提高了检索的速度，降低了检索需要的存储空间。Lin 提出了成对几何直方图的新方法，将图像轮廓线段间的角17度和距离作为图像的特征，该算法具有较好的鲁棒性和可以接受的速度，并可以应用于网络检索中。Li 提出了使用泽尔尼克矩结合区域的形状特征的提取方法，该算法对平18移、旋转和尺度变化具有较好的不变性，同时对噪声也不敏感。Mocanu 对5种典型的19基于形状的图像检索算法进行了实验比较，最后发现质心-半径法在查全率、处理时间和比较时间等性能上都是最优的。1.2 本文主要的工作及创新点本文在分析和总结国内外相关研究工作的基础上，针对图像的颜色和纹理特征的提取和相似性度量进行了深入研究，提出了 HSV 空间分量距离综合算法和 Gabor 滤波结合图像锐化算法，并通过实验与一些现有的方法进行了比较。实验表明，这些方法改善了检索的效果。本文主要的工作如下：(1) 在基于图像颜色特征的检索方面，本文从 Tahoun 算法得到启发，提出了 HSV 空间分量距离综合算法，并与 Tahoun 算法进行了比较。该算法将 HSV 颜色空间下，颜色非等间隔量化后，构造特征矢量的公式(公式(2.6)应用于图像颜色特征的相似性度量。实验表明，HSV 空间分量距离综合算法在保持 Tahoun 算法较低的量化 bin 数的基础上，增强了对光照变化的鲁棒性，同时，可以有效降低主色与示例图像相差较大的图像对检索结果的干扰，对于实验使用的图像库，提高了平均查全率，并且对于剪切、旋转、模糊、锐化等变换具有一定的鲁棒性。(2) 在基于图像纹理特征的检索方面，提出了 Gabor 滤波结合图像锐化算法，并与单独使用 Gabor 滤波进行纹理特征提取的方法进行了比较。该算法将 Gabor 滤波跟图像锐化技术结合起来提取图像的纹理特征。实验表明，使用 Gabor 滤波结合图像锐化算法检索的结果与单独使用 Gabor 滤波算法检索的结果相比，相关图像排列更加靠前，同时，使用 Gabor 滤波结合图像锐化算法检索的结果中，序号靠前的不相关图像从视觉上更接近示例图像。特别是 Sobel 锐化算子跟 Gabor 滤波结合提取纹理时，能够取得最好的检索效果。(3) 使用本文提出的 HSV 空间分量距离综合算法和 Gabor 滤波结合图像锐化算法，综合运用基于区域的特征提取技术，建立了基于颜色和纹理的图像检索实验系统，通过实验确定了颜色特征和纹理特征在检索时所占的参考权重。对于实验中使用的图像库，采用实验确定的颜色特征和纹理特征的参考权重，能够取得较好的检索效果。本文的创新点可以归结为以下两点：(1) 在基于颜色特征的检索方面，针对 Tahoun 算法的不足，提出了将 HSV 颜色空间下提取颜色特征时，构造特征矢量的公式(公式(2.6)应用于图像颜色特征的相似性度量的HSV 空间分量距离综合算法。该算法与 Tahoun 算法相比，增强了对光照变化的鲁棒性，并且可以有效降低主色与示例图像相差较大的图像对检索结果的干扰，对于实验中使用的图像库，提高了检索的查全率。(2) 在基于纹理特征的检索方面，提出了将 Gabor 滤波跟图像锐化相结合进行纹理特征提取的 Gabor 滤波结合图像锐化算法。对于实验中使用的图像库，该算法提高了检索的查全率。1.3 本文的组织结构本文共分六章，其组织结构如下：第一章为绪论，主要介绍了本文的研究背景与基于内容图像检索的研究现状以及本文的主要工作和创新点。第二章为相关理论的介绍，主要介绍了图像的颜色空间模型、图像锐化、结合区域的特征提取方法、相似性度量和性能评价方法。第三章为基于颜色的图像检索算法，主要介绍了对图像中的颜色特征进行提取的方法，同时在 Tahoun 算法的基础上，提出了 HSV 空间分量距离综合算法，并通过实验证明了该算法对于光照强度的变化具有一定的鲁棒性，并与 Tahoun 算法进行了对比实验。第四章为基于纹理的图像检索算法，主要介绍了对图像中的纹理信息进行提取的方法，同时在 Gabor 滤波算法的基础上，提出了 Gabor 滤波结合图像锐化算法，并将 Gabor滤波结合图像锐化算法的检索结果与单独使用 Gabor 滤波算法的检索结果进行了对比实验。第五章描述了建立基于颜色和纹理特征的检索系统时，需要注意的其他一些细节。并通过实验确定了在综合运用本文提出的 HSV 空间分量距离综合算法 和 Gabor 滤波结合图像锐化算法进行检索时，颜色特征和纹理特征的参考权重，还检验了整个综合检索算法在图像库扩展后的检索效果。第六章是总结与展望，对全文进行了总结，并对进一步的研究工作进行了展望。第二章 相关原理及技术介绍本章主要介绍了一些在后面的章节涉及到的图像检索领域的基础知识，包括颜色空间、图像锐化、结合区域的特征提取方法、相似性度量和检索性能评价指标。更详细的相关内容可以参看文中所列举的参考文献。2.1 颜色空间通常，人类和某些动物接收的物体的颜色是由物体反射的光的性质决定的。一个物体反射的光，如果在全部可见光范围内是平衡的，那么对于观察者来说它显示白色。然而，若物体只在有限的可见光谱范围内反射，则物体呈现某种颜色，因此物体呈现的颜色取决于光源特性以及物体表面的物理、化学性质。颜色空间 (也称颜色模型或者颜色系统)是在某些标准下用通常可以接受的方式简化的颜色规范，是指某个三维颜色空间中的一个可见光子集，它包含某个颜色域的所有颜色。本质上，颜色空间是坐标空间的规范，每种颜色都由空间中的单个点来表示，它的用途是在某个颜色域内方便地指定颜色。由于每一个颜色域都是可见光的子集，所以任何一个颜色空间都无法包含所有的可见光。颜色空间是一个包括许多应用场合的很宽的领域，为了对颜色进行正确合理的应用、测定、描述和评价，人们建立了许多颜色空间，每个颜色空间都各有特点。本小节中，着重讨论RGB颜色空间和 HSV颜色空间，常用的颜色空间还有 、CMYK、Lab等。brYC2.1.1 RGB 颜色空间RGB 颜色空间 由三原色组成：红色、绿色和蓝色。这三种颜色的光谱叠加在一起20产生一种合量颜色。RGB 颜色空间由三维的立方体表示，红色、绿色和蓝色分布在三个坐标轴上( 图 2-1)。黑色在原点，白色在立方体的另一边顶点处。灰色分布在从黑到白的一条线上。在一个每种颜色分量占 8 位的图形系统中，红色是(255，0，0)，绿色是(0，255 ，0) ，蓝色是 (0， 0，255) 。RGB 颜色空间如图 2-1 所示：图 2-1 RGB 颜色空间RGB 颜色空间是应用最为广泛的一种颜色空间，但是它并不是对所有应用都是理想的，在此空间中，常见颜色的红、绿、蓝三个分量的值有较强的相关性，这使得执行一些图像处理算法时变得比较困难。特别是当图像的亮度改变后，RGB 颜色空间中颜色三个分量的值往往会发生较大变化，从而不利于图像相似性的度量。2.1.2 HSV 颜色空间HSV 色彩空间 方案由色调(Hue) 、饱和度(Saturation)和亮度(Value)组成。在 HSV21色彩方案中，H 表示色调，H 由 0360，颜色从红、黄、绿、青、蓝、紫，再到红；S从 01 变化，颜色饱和度从不饱和逐渐变为饱和；V 从 0 变化到 1，亮度逐渐增加。从RGB 颜色空间到 HSV 颜色空间的转换公式如下：(2.1)(31),min()(2/)(arcos2BGRVRSGBHSV 被模型化为一个六棱锥，色调(H)表示成角度，从 0 度变化到 360 度。饱和度(S)与半径对应，从 0 变化到 1。亮度(V)随着 z 轴变化， 0 代表黑而 1 代表白色。图 2-2 HSV 色彩空间的六棱锥模型当 S=0 时，颜色是一个亮度为 01 的灰度值。当 S=1 时，颜色是在圆锥体的边界上。饱和度越高，颜色离白色灰色黑色(取决于亮度)就越远。调节色调 H 将使颜色从 0 度的红色变化到 120 度的绿色，再到 240 度的蓝色，最后回到 360 度的红色。当 V=0 时，颜色是黑色，所以 H 未被定义。当 S=0 时，颜色是灰度级，H 在这种情况下同样没有被定义。HSV 颜色空间中三个分量的值彼此是不相关的，更加符合人的视觉感观。同时，对一幅 HSV 颜色空间的图像进行亮度变换操作，完成起来要简单得多。当图像的光照强度改变后，H 分量的值并不会有较大变化，因此便于图像颜色特征的相似性度量。2.1.3 颜色空间的量化图像中包含的颜色越多，提取出的颜色特征就越复杂，需要的存储空间就越多，并且会增加检索的时间，影响到检索的效率。同时，人眼只能识别出有限种颜色，比较人眼不能区分的颜色是没有意义的。因此在图像处理前，常常会先对颜色空间进行量化。量化的大小比较重要，一般来说量化间隔越小，检索精度越高，但是增加了系统开销、降低检索速度，而且当量化间隔小到一定程度时，将产生实际人眼不能区分的许多颜色；相反则导致大量颜色信息的丢失，影响检索的查准率。一般量化方法可以分为等间隔颜色空间量化和非等间隔颜色空间量化。常用的等间隔颜色空间量化对 R、G、B 三个分量进行联合量化。设各分量的量化级数分别为 l，m，n，则颜色直方图的 bin 数为 K=l m n。如果三个分量均等间隔量化为k=16 级，则 K=16 16 16=4096，这样高的 bin 数，导致存储开销大、计算复杂和匹配速度慢，给特征的处理带来极大的不便。实用系统的颜色直方图的 bin 数一般限制在 512 以下，一种可能的组合是各分量均量化为 k=8 级，则 K=8 8 8=512。若颜色直方图的 bin 数 K=64 以及各分量量化级数相等的话，每分量的量化级数 k 仅仅为 4，这样的颜色分辨率往往是不可接受的。等间隔颜色空间量化的方法比较简单但存在以下几个问题：(1) 没有考虑图像本身的特点；(2) 没有考虑颜色空间的特点；(3) 颜色集合的代表性差，存在列的浪费和拥挤现象。非等间隔量化的方法以 HSV 颜色空间为例来说明。首先，从图像中一般得到的是RGB 值，因此要把 RGB 值转换为 HSV 值。然后将 H，S，V 三个分量按照人的颜色感知进行非等间隔的量化。具体细节如下：(1) 按照人的视觉分辨能力，对 HSV 颜色空间的三个分量分别进行量