基于内容的图象检索方法研究

基于内容的图象检索方法研究11.概述1.1意义1.2现状1.3现有研究的局限性21.1意义理论意义

基于内容的图像检索涉及智能信息处理、图像处理、模式识别及数据库技术，是一门交叉性学科。应用价值

基于内容的图像检索在卫星地球资源照片的查找和分析、个人信息和产品形状及商标的查找、医学图像的存储与检索、新闻图片查找以及公安领域人脸查找等领域有广泛的应用前景。31.2现状4(1)传统的图像检索方法解决方法：以往的图像检索方法：基于元数据检索基于关键字的图像检索存在问题：图象内容难以客观地用文本描述。标签的创建困难。手工输入工作量大不支持相似性查询。基于内容的图像检索5(2)基于内容的图像检索现有的工作MyronFlickner(IBM)RosalindW.Picard(MIT)ThomasS.Huang(Illinois)H.J.Zhang(MicrosoftResearch)J.K.Wu(新加坡国立大学）相关研究单位及本领域有影响的学者:6QBIC{}Virage{}PhotoBookMARS{}VisualSEEK{

}CORESTARRereievalWare{

}Netra{/Netra}典型系统71.3现有研究的局限性从理论研究角度讲从系统设计角度讲8

(1)很少考虑图象的亮度变化。(2)图象特征表示方法不完善。(3)多数系统只考虑按单一属性索引，没有考虑多种属性的索引结构建立。(4)用户语义无法嵌入。(5)不能提供有效的查询表达方式。从系统设计角度讲:9尚需解决的关键技术图像数据模型建立图像相似性度量方法低层特征的自动提取多维索引语义特征的自动提取基于内容的WWW图像浏览器设计基于内容的图像检索系统性能评价从理论研究角度讲:102.主要研究内容11图像信息描述与检索模型特征提取与描述方法相似性度量方法多维索引方法系统设计中的关键技术主要研究内容122.1图像信息描述与检索模型13图像信息描述模型14物理层的检索其中：直接计算模板与目标图象的相关度：15特征层的检索{fid,dclass,extrf,simf,ftype}16伪语义层的检索单区域查询多区域查询空间对象关系的匹配17语义层的检索

对象具有语义对象间关系比伪语义层更为明确特点语义对象查询对象空间关系查询查询18语义层的空间关系操作表1二维空间操作符的定义符号含义A<BA与B不相接A=BA等于BA|BA与B边接边A%BA与B的无相同边界且A包含BA[BA与B的左边界相同且A包含BA]BA与B的右边界相同且A包含BA/BA与B重叠表2相似度函数值SIM的定义SIM</[]%|=<10.400.500.70=0.4100.5000|0010.70.800.5%10.800.5[000.80.8100.6]0.7000010/000119语义层的相似度Q=(F,G,Rel,d,t)F：查询时必选对象；G：查询时可选对象；Rel=(Relx,Rely)：对象在x,y方向的空间关系；d:相似度t:相似度阈值,当d>t时，表明两图象相似。其中，查询图象与虚图象间的相似度d定义为相似的对象数和必选对象间的空间关系与总对象及其空间关系的比值：20相似度计算实例查询图象Q虚图象Pvd(Q,Pv)=(2+1+1+2+2+2.8)/(2+2+5+4)=0.83设t=0.8,则d>t,两幅图象相似。21查询结果的组合

22基于神经网络的组合查询输入层：按每层查询时的相似度输出层：整体相似度232.2颜色特征提取与表示24颜色直方图颜色矩25缺点

RGB颜色空间与人的视觉不一致。对颜色分布的位置信息考虑不足。

对图像光照变化也敏感。26直方图归一化算法步骤及特点步骤：(1)颜色空间转换(2)光照归一化(3)尺度归一化(4)直方图平滑特点：实现了亮度和尺度的归一化27

仍存在的问题：没有考虑位置信息上面两幅图像的传统颜色直方图完全一致，但它们实际上并不相似。28两种子直方图颜色表示方法（1）等权：权值相等（2）加权29实验结果与分析30传统直方图检索结果注：第1幅为查询图象，后14幅为对应的查询结果31加权子直方图检索结果注：第1幅为查询图象，后14幅为对应的查询结果32归一化后的加权子直方图检索结果注：第1幅为查询图象，后面为对应的查询结果33纹理2.3纹理特征的提取与表示方法34问题1：纹理描述的实质是什么？

如何对纹理进行描述？

问题2：为什么要对纹理分开描述？

问题3：如何对问题分开描述？

问题4：如何描述旋转情况下的纹

理？35问题1：纹理描述的实质是什么？

如何对纹理进行描述？36经典纹理描述方法(1)空间自相关函数的纹理结构描述(2)灰度共生矩阵表示方法(3)Tamura(4)基于Fourier变换的纹理描述(5)基于DCT的纹理描述37问题2：为什么要对问题分开描述？减少信息冗余提高查询效率38问题3：如何对纹理分开描述？解决方法：先基于Wold分解的纹理分类，再对纹理分开描述39理论依据：(1)人的视觉在感知纹理时，存在三种重要的感知元，即“重复性、方向性、粒度的复杂度”。(2)纹理图像可以看成是一个二维的均匀随机场，并能分解成相互正交的三个分量。(3)规则均匀随机场的三个分量可通过分离谱分布函数获得。基于Wold分解的纹理分类40实现过程(1)谐波测试，目的是提供纹理图像结构化程度与非结构化纹理判决依据（置信度）。(2)基于置信度进行纹理分类。

41实际计算（简化过程）42分类结果规则纹理不规则纹理43规则纹理和不规则纹理的描述44规则纹理图像的纹理描述(1)在平滑后的自相关函数中寻找峰值并确定对应位置。

(2)提取纹理基元。

(3)计算共生矩阵。

(4)从共生矩阵计算特征矢量，如能量、熵、相关、局部均匀性、惯性等。

45不规则纹理图像的纹理描述(1)计算图像的小波变换系数(2)计算像素r=(x,y)处的局部特征(3)用聚类算法获取纹理图像的整体特征46一种改进的小波纹理描述采用策略：（1）采用半峰的幅度支撑集相互接触的Gabor小波族。（2）计算小波变换系数的均值和标准偏差(3)生成特征矢量47问题4：如何描述旋转情况下的纹

理？48基本思想：采用极坐标表示Gabor函数，并将图像转换为Gabor空间中的近似表示。然后从相位信息和幅度信息中推导出旋转不变特征。49计算过程50fA，fF，fY,是幅度、频率、方向的包络信息。fDA，fDF，fDY,是由相位导出的方向信息。51实验结果注：第1幅为查询图象，后9幅为对应的查询结果522.4形状特征提取与描述方法研究53问题1：为什么进行形状特征的提取？问题2：如何进行形状提取？54基于HSL的彩色图像分割方法算法思想：

首先将图像转换到与人的视觉一致的颜色空间，然后以色调为主进行对象粗分。对具有相同色调的对象再按亮度或饱和度进行细节划分，并标明不同区域。最后对这些区域进行去噪，生成有意义的区域。

55算法步骤(1)颜色空间的选择(2)HSL概率密度计算(3)基于联合概率密度的颜色区域标号(4)区域进行合并

56实验结果(a)原图像(b)色调分割图(c)色调和亮度联合分割图(d)去噪声后的分割图像57(a)平滑处理前色调直方图(b)平滑处理后色调直方图(c)亮度直方图(d)色调满足一定条件的亮度直方图58区域和边缘相融合的边缘检测

基本思想:图像边缘反映了图像变化的局部信息，它由一些细小的边界点组成，而区域反映了对象在灰度上的一致性。对象的区域和对象的边缘是高度相关的，因此，为了获得有意义的对象边缘，可以用边缘元和对象区域相互补充来获取对象边缘。59算法5.4区域相融合的边缘提取

(1)

对模极值二值化，生成边缘点(2)以主对象为中心，选取长度超过给定长度边缘段，并用(begin_line，end_line，code_line)表示，其中begin_line为边缘段的起始位置(xb,yb)，end_line为边缘段的终止位置(xe,ye)，code_line为边缘段的链码。(3)选定最长边缘段，查找与begin_line最近的边缘段的端点(x0,y0)，与end_line最近的边缘段的(x1,y1)。(4)以(xb,yb)为起点，(x0,y0)为终点，连接成新的边缘，以同样的方法生成以(xe,ye)为起点，(x1,y1)为终点的新边缘段，通过虫随法得到区域边界，取新边缘段和区域边界的平均作为修正后的新边缘。(5)

当所有边缘段处理完毕，算法结束，否则转(3)。60实验结果612.5基于Hausdorff距离的边缘形状度量62问题的提出基于Hausdorff距离进行度量。一般形状匹配方法：将形状表示成一个特征矢量，然后用欧氏距离、明氏距离等方法进行度量。存在问题：在很多情况下，精确分割出图像边界轮廓并用特征矢量表示它们相当困难。解决途径：63基本思想(1)首先提取查询图像和数据库中图像的边缘并二值化。(2)分别表示成点集A和B。(3)计算点集A和B之间的Hausdorff距离。(4)按Hausdorff距离选取最相似的图像。特点：该方法不强调图像中点对的一一匹配，点与点之间的关系是模糊的。

64实验结果对应的二值图像原图像65采用Hausdorff距离度量的结果。第一列为模板，后五列为匹配结果662.6多维特征的索引结构研究67(1)随着特征维数增加查询时间花费以指数形式增加。(2)没有嵌入视觉特性问题的提出解决方法(1)维数压缩(2)多维索引68SS算法中视觉特征的嵌入将查询向量于数据库中的向量然后以权距离基本思想：转换为权向量：为基础按SS算法进行索引。69等距索引算法的基本思想与实现M:模板图像Q:查询图像F:数据库中的图像70顺序搜索与等距索引平均花费时间比较顺序搜索平均花费时间等距索引搜索平均花费时间712.7图像检索系统设计方法研究72检索系统的结构73可视化查询语言（1）一是利用查询语言直接操纵信息

特点：描述精确，但界面不够友好。

（2）即开发查询接口特点：界面可视化，但描述不够精确。现有的信息获取及其特点：74实现过程查询语言中图像信息的描述查询的可视化提交可视化查询到目标查询的转换

75图8.9查询的可视化表达实例76相关反馈机制机制第一种：修改查询矢量的相关反馈。第二种：修改数据库概率分布的相关反馈。第三种：基于人工智能学习方法的相关反馈。分类77自适应相关反馈的基本思想

用