信息检索第八章课件

2023/7/221第八章图像检索技术8.1图像检索技术概述8.2基于图像内容特征提取的检索技术8.3基于多特征的图像检索技术8.4基于视觉特征的图像检索系统8.5典型的图像检索系统8.6图像检索技术的发展方向2023/7/222前言图像检索技术通常分为两大类：基于文本的图像检索技术和基于内容的图像检索技术。随着大规模数字图像数据库的出现，基于文本的图像检索技术依然落伍，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等，它从一个新的视觉建立了图像检索的整体框架。2023/7/2238.1图像检索技术概述图像的传统管理方式是以文件系统为中心进行展开的，我们一直采用的是以文件管理图像的方式。基于图像内容的检索技术提高了检索精度。2023/7/224一、图像检索一般模型如下图所示：2023/7/225主要包括以下几个方面：2023/7/226二、基于文本方式的图像检索技术20世纪70年代TBIR（text-basedimageretrieval）基于文本的图像检索技术沿用了文本检索技术，利用文本描述的方式表示图像的特征2023/7/227早期的TBIR：手工对图像进行注释，工作量相当大，不可避免的会带来主观性和不准确性Internet环境下的TBIR：网页信息的自动采集和标引技术索引方式：全文索引和关键词索引Google、Yahoo和百度等搜索引擎所提供的图像检索服务，采用的都是TBIR技术2023/7/228TBIR的优点：使用成熟的文本检索和搜索引擎技术，符合人们的检索习惯，实现简单2023/7/229TBIR的缺点:标注的准确性差，也不能满足用户对图像原始特征信息的检索2023/7/2210三、基于知识和视觉特征的图像检索技术将人工智能领域的基于知识的处理方法引入到图像处理领域，通过对图像理解、只是表达、机器学习，并结合专家和用户的先验知识，建立图像知识库实现对图像数据库的智能检索。主要涉及地理信息系统、病人X照片的归档、检索和诊断系统，以及人脸识别和指纹识别系统。2023/7/2211地理信息系统2023/7/2212人脸识别系统:看看我像那个明星2023/7/2213指纹识别系统2023/7/2214四、基于内容的图像检索技术对图像的内容，主要的方法是根据图像的色彩、纹理、图像对象的形状以及他们的空间关系等内容特征作为图像的索引，计算查询图像和目标图像的相似距离，按照相似度匹配进行检索。2023/7/2215图像内容的层次模型2023/7/2216基于内容的图像检索技术—（CBIR,Content-BasedImageRetrieval）更有效、更直接地反映图像视觉信息必须基于图像本身的属性。现在基于内容图像检索已经融入了相关反馈技术，让用户参与到检索过程中，从而获得知觉、语义上更加有意义的检索结果。2023/7/2217五、图像内容描述的标准化国际标准化组织ISO／IEC制定的MPEG-7国际标准，该标准的正式名称为“多媒体内容描述接口”（MultimediaContentDescriptionInterface），为各类多媒体信息提供一种标准化的描述，并将该描述与所描述的内容相关联，极大地促进了对各种多媒体信息的快速查询和访问。

2023/7/2218MPEG-7标准化的范围包括：一系列的描述子（描述子是特征的表示法，一个描述子就是定义特征的语法和语义学）；一系列的描述结构（详细说明成员之间的结构和语义）；一种详细说明描述结构的语言、描述定义语言（DDL）；一种或多种编码描述方法。

2023/7/2219应用：教育、娱乐、调查服务、地里信息系统、医疗应用、电子购物、电影、视频和无线广播归档等。2023/7/22208.2基于图像内容特征提取的检索技术图像的特征是人对图像视觉感受的量化描述。图像特征从各个方面描述了图像的内在语义，从而可以作为图像的抽象表示。图像特征包括图像的文本特征和图像视觉特征。-视觉特征分为通用特征和领域相关特征，前者包括颜色、纹理和性转特征；后者与具体的应用紧密相关，如人的面部特征和指纹特征。2023/7/2221一、基于颜色特征的图像检索基于颜色特征的图像检索需要解决两个问题：颜色的表示以及颜色特征的提取。颜色的表示取决于色彩空间的选择，不同的场合采用的方式也是不同，常见的有HSV、RGB和YUV模型等。在基于颜色特征的索引算法中通常用颜色直方图、累加直方图，颜色矩和颜色集来表示图像的颜色特征。2023/7/2222颜色特征优势和缺陷：是图像物理特征中最直接的视觉特征，颜色特征非常稳定，而且计算简单。不能很好的描述对象的空间特征对包含不同颜色集两图像之间的相似性判定仍然需要进一步研究。2023/7/2223不同特征的检索结果2023/7/2224二、基于纹理特征的图像检索纹理特征是一种不依赖于颜色或亮度的反应图像中同质现象的视觉特征。它是所有物体表面共有的内在特性。2023/7/2225通常利用以下四个特征量来表示图像的纹理特征：反差能量2023/7/2226熵相关2023/7/2227三、基于形状特征的图像检索技术基于形状的检索包括两种：一是基于轮廓线的检索，二是直接针对特定形状的图形进行检索。基于边界的表示：代表方法是傅里叶描述符。其基本思想是用对图像进行傅里叶变换得到的边界作为形状描述.其中一个优点就是把二维问题简化为一维问题。基于区域的表示：代表方法是形状无关矩。问题：形状边界的自动提取困难。2023/7/22281、形状特征提取的一般几何原理(1).矩形度(2).圆形度致密度边界能量2023/7/2229(3).球状性(4).偏心率2023/7/22302、图像形状提取的的一般描述（1）.边界链码（2）.一阶差分链码2023/7/2231（3）.傅里叶描述傅里叶变换是个可逆线性变换，在变换过程中信息没有任何增减。傅里叶变换的高频分量对应一些图像形状细节，而低频分量对应图像总体形状，因此用一些低频分量的傅里叶系数足以近似描述边界形状。2023/7/2232四、基于空间特征的图像检索技术颜色、纹理和形状等多种特征反映的都是图像的整体特征，而无法体现图像中所包含的对象或物体。比如蓝色的天空或蔚蓝的海洋。2023/7/2233图像空间关系特征是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系。空间位置信息可以分为两类：相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况，如上下左右关系等。后一种关系强调的是目标之间的距离大小以及方位。主要问题：如何保证各种空间关系与图像的旋转无关，如何实现空间特征的相似度量从定性到定量的转变。2023/7/22348.3基于多特征的图像检索技术鉴于利用图像单个特征检索的缺点，可以综合利用图像的颜色、纹理、形状和空间特征的方法，计算特征提取向量。用户可以根据需要调整各个特征之间的权重关系，以便满足不同应用情况的查询。2023/7/22351、综合颜色和形状特征用此方法，不仅克服了叠加噪声的影响，而且提高了旋转变化时的稳定性，可以减少误匹配，从而提高检索的精确度和准确率。2023/7/22362、综合形状和空间特征3、综合形状和纹理特征4、综合颜色、形状和空间其中，分别为颜色、形状和空间的加权，分别为颜色、形状和空间的相似度。2023/7/22378.4基于视觉特征的图像检索系统基于视觉特征的图像检索技术能够自动提取每幅图像的视觉特征作为其索引，如色彩、纹理和形状等，查询讲根据图像视觉特征进行相似性计算。它一般可以通过可视化界面和用户进行频繁的交互，便于用户构造查询、评估和改进检索结果。2023/7/2238一、它的总体架构如下：2023/7/2239二、图像分割技术图像分割是把图像中互不相交，具有特殊含义的区域区分出来。因为分割与人的主观认识有密切联系，因此，到目前为止还不存在一种通用的方法。分割算法有：1、基于特征空间的2、基于图像域3、基于模糊理论4、基于特定理论工具2023/7/22401、基于特征空间的分割方法由于分割过程中考察的图像像素总具有一定的特征，因而可以把这些像素映射为一定特征空间中的点，从而将图像分割转化为特征空间中点的分类问题。常用的手段包括特征阀值化技术和特征空间聚类技术。2023/7/22412、基于图像域的分割方法根据采用的空间分组策略的不同，又可以细分为：分裂-合并技术、区域生长技术、基于区域边缘检测技术。由于边缘检测并不能直接得到图像区域，还需要区域填充、裂缝弥合等复杂的后处理，并且在预处理过程中采取去噪措施，一般复杂度较大。2023/7/22423、基于模糊理论的分割方法Prewit最早提出在图像分割中使用模糊集；Sugeno提出模糊测度和模糊积分的概念，模糊测度用于度量模糊程度，模糊积分可以理解为模糊期望。2023/7/22434、基于特定理论工具的分割方法主要有：基于数学形态学的、利用神经网络的、基于小波分析和变换的、基于遗传算法的分割方法等。2023/7/2244存在的不足：1、只考虑了图像视觉特征的一致性，引入高层特征的兑现分割方法处于起步阶段；2、准确性与通用性一般较差，分割精度有待提高；3、分割方法复杂度较高，分割所需的计算时间较长；4、缺乏通用有效的评价指标2023/7/22455、相似性度量公式1．Minkowsky距离公式2．直方图相交距离公式3．直方图二次距离4．Mahalanobis距离公式（马氏距离）2023/7/22466、图像索引大致可以分六类：高维索引方法、降维方法、近似最近邻方法、单一维空间映射方法、多重空间填充曲线方法和基于过滤的方法。2023/7/22478.5典型的图像检索系统简介IBM的QBIC(QueryByImageContent)是第一个商业性的CBIR系统。目前QBIC系统的基于内容检索技术已经在IBM数字图书馆中得到了应用，实现了自动索引、归并、对比、特征抽取和翻译功能。还有哥伦比亚大学开发的Visual-SEEK，MIT多媒体实验室开发的PhotoBook，UCBerkeley开发的Blobword系统等。2023/7/22488.6图像检索技术的研究热点1.综合特征检索技术考虑到颜色、纹理、形状和空间关系等特征各有特点，它们各自反映图像某一方面的内容，如果进行综合利用则有可能提高检索性能。2.相关反馈检索技术实现了人机交互，用户根据先前检索结果借助权重调整已有的查询要求以给检索系统提供更多更直接的信息，从而使系统能更好地满足用户的需求。2023/7/22493.基于语义的检索技术人对图像的理解主要是在语义层次