（计算机应用技术专业论文）基于一种主动相关反馈机制的图像检索方法研究.pdf

l i i ii ii ii 1 11ii i i iiiii y 18 0 5 919 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东北师范大学或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示谢意。 学位论文作者签名：卫乎豇i 吐 日期：矽生互堕 学位论文版权使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东 北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和磁盘，允许论 文被查阅和借阅。本人授权东北师范大学可以将学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：啤红幽尘 日 期：边纽笸。， 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名： 日 期：上蛸 电话： 邮编： 摘要 本文提出了一种基于l o g i s t i c 回归模型( l o g i s t i cr e g r e s s i o n , l r ) 的相关反馈 机制，以有效地改进图像的低级视觉特征与高级语义特征之间的鸿沟问题，最终 提高基于内容的图像检索系统( c b 瓜) 的效率与精度。本文将用户兴趣喜好加 入到相关反馈机制当中，对用户兴趣进行建模，形成一个概率分布，最终运用此 模型预测数据库中的图像属于用户喜好类别的概率值，并按照此概率值对返回结 果图像集合进行排序输出。这一过程就这样不断地反复，直到用户对查询结果满 意或是找到目标图像为止。 其中实现此相关反馈技术会遇到一个关键问题，就是用户反馈样本数，也就 是训练样本数远远小于图像特征向量维数，l o g i s t i c 回归模型不能很好调整整体 参数，本文将从两个方面解决这一问题。 首先，运用迭代l o g i s t i c 回归模型( i t e r a t i o nl o g i s t i cr e g r e s s i o n , i l r ) 方法， 将原本的图像特征向量空间分成几个小的子集，先在各个子集内部进行建模，然 后再将训练好的子集作为特征向量的内部向量进行建模。 另外，运用机器学习中比较热门的主动学习算法( a c t i v el e a r n i n g ，a l ) ， 挑选出那些具有最大信息量的未标记样本让用户去标记，不仅扩大了训练样本数 量，最重要的是挑选出对分类器有利的样本让用户进行标记，优化分类结果。 实验结果表明，本文提出的方案能够很好地提高图像检索系统的效率。 关键词：基于内容的图像检索系统；用户兴趣；l o g i s t i c 回归模型；主动学 习；相关反馈 a b s t r a c t i no r d e rt on a r r o wd o w nt h es e m a n t i cg a pb e t w e e nt h el o w - l e v e li m a g ef e a t u r e s a n du s e r sh i g h - l e v e lq u e r yc o n c e p t s ，a n du l t i m a t e l yi m p r o v et h ee f f i c i e n c ya n d a c c u r a c yo fc o n t e n t - b a s e di m a g er e t r i e v a ls y s t e m ( c b m ) ，t h i sp a p e rp r e s e n t san o v e l r e l e v a n c ef e e d b a c ka l g o r i t h mb a s e do nt h el o g i s t i cr e g r e s s i o nm o d e l ( l r ) i nt h i s p a p e r , u s e rp r e f e r e n c e s a l ea d d e dt ot h ea l g o r i t h m b a s e do nm o d e l i n go fu s e r p r e f e r e n c e sa sap r o b a b i l i t yd i s t r i b u t i o n , t h ea l g o r i t h mc a nc a l c u l a t e t h er e l e v a n c e p r o b a b i l i t y o fa ni m a g eb e l o n g i n gt ot h es e to ft h o s es e l e c t e db yt h eu s e r a n di tr a n k s t h ei m a g e sa c c o r d i n gt ot h e i rp r o b a b i l i t y t h ep r o c e s si sr e p e a t i n gu n t i lt h eu s e ri s s a t i s f i e d 、析t l lt h eq u e r yr e s u l t so rt h et a r g e ti m a g eh a sb e e nf o u n d i m p l e m e n t i n gt h i sr e l e v a n c ef e e d b a c km e c h a n i s mw i l lf a c eak e yp r o b l e mt h a t t h el a b e l e ds a m p l es i z e ，t h a ti s ，t h en u m b e ro ft h et r a i n i n ge x a m p l e si st y p i c a l l y s m a l l e rt h a nt h ed i m e n s i o no ft h ef e a t u r es p a c eo ft h ei m a g e s ，t h el o g i s t i cr e g r e s s i o n m o d e lc a n ta d j u s tp a r a m e t e r so fa ne n t i r ef e a t u r ev e r yw e l l t h ep r o b l e mo fs c a r c i t y o fl a b e l e d ( t r a i n i n g ) e x a m p l e si nt h ef e e d b a c kp r o c e s si se f f e c t i v e l ya d d r e s s e db y m e a n i n go ft w oa s p e c t si nt h i sp a p e r f i r s t l y , w ew i l ld i v i d et h ef e a t u r es p a c ei n t os e v e r a ls m a l ls u b s e t s w eu s et h e i t e r a t i v el o g i s t i cr e g r e s s i o nm o d e l ( i l r ) t o a d j u s tt h ee l e m e n t si n s i d ee a c hs u b s e t i na d d i t i o n , a c t i v el e a r n i n ga l g o r i t h mo 让) i si n 仃o d u c e dt os e l e c tt h em o s t i n f o r m a t i v es a m p l e st ot a gb yu s e r sa n da d dt h e mi n t ot r a i n i n gs e t t h i sm e t h o dn o t o n l yc a ne n l a r g et h et r a i n i n gs a m p l es i z e ，b u ta l s ot h e s es a m p l e ss e l e c t e da l eb e s tf o r c l a s s i f i e ra n do p t i m i z i n gt h ec l a s s i f i c a t i o nr e s u l t e x p e r i m e n t a lr e s u l t sa r es h o w nt h a tt h ep e r f o r m a n c eo ft h er e t r i e v a ls y s t e mi s g r e a t l yi m p r o v e db yt h ep r o p o s e dm e t h o d k e yw o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a 1s y s t e m s ；u s e rp r e f e r e n c e s ；l o g i s t i c r e g r e s s i o nm o d e l ；a c t i v el e a r n i n g ；r e l e v a n c ef e e d b a c k i i 摘要 目录 i a b s t r a c t i i 目 录 引 言 i 第1 章基于内容的图像检索概述 l 2 1 1 研究背景与意义2 1 2 基于内容的图像检索技术的发展。2 1 2 1 基于内容的图像检索的系统结构与基本原理2 1 2 2 国内外典型基于内容的检索系统3 1 3 基于内容的图像检索技术中的“语义鸿沟 问题4 1 3 1 “语义鸿沟”的表现4 1 3 2 图像层次模型的结构描述5 1 3 3 缩小“语义鸿沟 的方法5 1 4 论文的主要工作曼：。6 第2 章基于内容的图像检索系统中的相关反馈机制 2 1 相关反馈的基本思想8 2 2 相关反馈的具体过程8 2 3 相关反馈的关键技术j 9 第3 章 系统 2 3 1 基于空间变换的相关反馈算法。9 2 3 2 基于统计概率的相关反馈算法j 。l o 2 3 3 基于聚类分析的相关反馈算法1 0 2 3 4 基于机器学习的相关反馈算法1 l 2 3 5 基于语义信息的相关反馈算法。1 1 基于迭代l o gis tic 回归模型和主动学习算法的相关反馈的图像检索 1 3 3 1l o g i s t i c 回归模型。：1 3 3 1 1l o g i s t i c 回归l3 3 1 2l o g i s t i c 回归模型的构造1 4 3 1 3 模型的参数估计。1 5 3 2 主动学习算法1 5 3 2 1 主动学习算法的主要思想1 6 i i i 3 2 2 样例选择算法1 6 3 2 3 主动学习算法的应用领域1 7 3 3 基于迭代l o g i s t i c 回归模型和主动学习算法的相关反馈算法1 8 3 3 1 特征提取18 3 3 2 基于迭代l o g i s t i c 回归模型的相关反馈模型1 9 3 3 3 主动相关反馈算法2 0 第4 章实验结果与分析 4 1 系统设计2 2 4 1 1 系统模型2 2 4 1 2 系统功能2 3 4 2 检索性能评价标准2 3 4 3 检索效果与实验分析2 4 4 3 1 实验数据2 4 4 3 2 实验结果与分析。2 4 第5 章总结与展望 5 1 本文的主要工作3 0 5 2 未来展望。3 0 参考文献 致谢 在学期间公开发表论文及著作情况 3 1 3 4 i v 3 5 东北师范大学硕士学位论文 引言 随着多媒体技术的飞速发展和i n t e r n e t 的普及，信息的形式逐渐由单一的文 本方式改变成为图形、图像、动画、视频等多媒体信息为主的表现方式。而图像 作为一种内容丰富、表现直观的多媒体信息，已在国防军事、医疗卫生、新闻媒 体、现代教学、社会生活等众多领域中发挥着重要作用。并且随着时间的推移， 数字图像的数据量迅速增大，这不仅需要对图像进行存储和传输，还要对其进行 处理和查询。从庞大的图像数据库中查找用户所需的图像，同时确保查全率和查 准率的技术即为图像检索技术。图像检索的目的就是为了解决图像数据库与用户 需求的匹配和选择问题。 传统的图像检索方式是基于文本的，利用人工对图像进行文字标注，然后利 用基于关键字的检索技术来检索图像。这种方法简单方便，而且有成熟的数据库 技术作为支撑。但这种方法也有其不便的地方：一是必须人工标注所有图像，对 于小图像集合问题不大，但对于当今数据量急剧增大的图像数据库来说，用这种 方法显然不可行；二是图像所包含的信息量极其丰富，很难或根本不可能用人类 的语言完全表达，并且不同用户对同一张图像的描述不尽相同，受主观性因素的 影响，导致人们对图像的标注没有统一标准。第二点直接影响图像检索结果的可 靠性。为此，自2 0 世纪9 0 年代初期以来，基于内容的图像检索( c o n t e n t b a s e d i m a g er e t r i e v a l ，c b i r ) 应运而生，并已成为近年来的研究热点之一。 c b i r 的核心就是利用图像的视觉特征对图像进行检索，是一种近似匹配的 技术，融合了计算机视觉、图像处理、模式识别和数据库等众多领域的集成技术 成果。随着基于内容图像检索技术的迅猛发展，一些检索系统被相继推出。这些 系统既有商业上的，也有用于学术研究的。代表性的商业系统有i b m 的q bi c 、 v i r a g e 公司的v i ri m a g ee n g i n e 等。学术研究系统有m i t 的p h o t o b o o k 和f o u r e y e s 、 c o l u m b i a 大学的v i s u a l s e e k 以及u c s b 的n e t r a 等。 随着多媒体和网络技术在我们日常生活中的广泛应用，图像信息管理问题 越来越成为一个具有重大现实意义和挑战性问题。而基于内容的图像检索技术是 解决目前图像信息爆炸的有效方法之一，是一个颇具生命力的研究方向。相信基 于内容的图像检索技术将会日趋完善，并将进入到一个崭新的时代。 东北师范大学硕士学位论文 第l 章基于内容的图像检索概述 1 1 研究背景与意义 随着图像的应用和传播越来越广泛，每天图像的产生容量都能达到数千兆字 节。随之而来的，图像自身无序化问题也越来越突出，如何对图像进行高效地查 询便成为了人们对图像数据库进行有效管理的问题之一。图像检索技术就是在这 一问题的基础上发展而来。 图像检索技术最早是在2 0 世纪7 0 年代产生的，随后成为一个比较活跃的研 究领域，吸引着越来越多的关注。其中，基于文本的图像检索技术( t e x t - b a s e d i m a g er e t r i e v a l ) 是于2 0 世纪7 0 年代末期发展起来的。它是利用文本描述的方法 来标注图像的特征，然后应用文本检索技术实现对标注图像的检索。然而，这种 技术在实现上有着巨大的困难，并且检索效率很低。这是因为目前大多数的图像 标注工作都是由人工来承担，不但费时费力，而且往往存在不准确性或不完整性。 9 0 年代以来，多媒体服务有了突飞猛进的增长，许多大型多媒体数据库都 已经形成。因此，如何在多媒体数据库中通过基于内容的检索方式找到我们所需 要的信息成为了一个关键问题。基于内容的检索技术相比较与基于文本的检索技 。 术的优越之处就在于它是根据图像的内容特征，比如颜色、纹理、形状以及空间 关系等信息，建立其索引。查询方法目前主要是对数据库中的图像和查询样本图 一橡在特征空间上进行相似度匹配，检索出与查询样本相似的图像集合。 现如今，基于内容的图像检索技术的应用领域也在不断地拓展当中，比如数 字图书馆的图书检索、地理信息系统、视频检索与跟踪、人脸识别、远程医疗等 等。所以，开展对基于内容的图像检索的理论研究与实现，将更多领域知识引入 进来，提高检索系统的效果和智能性，这不仅具有非常重要的学术价值和较高的 应用价值，也是一个具有挑战性的研究问题。 1 2 基于内容的图像检索技术的发展 1 2 1 基于内容的图像检索的系统结构与基本原理 基于内容的图像检索系统的查询方法主要是用户给出图像的模糊描述，如 提供一个样例图像或描绘一幅草图等构造查询，然后将查询图像与数据库中的图 像特征进行相似度匹配，按相似度大小排列返回给用户。基于内容的图像检索系 统还有一个优点，它一般都具有用户反馈功能，以便于系统通过分析用户评估和 反馈信息，构造新的查询，返回用户满意的查询结果。 总的来说，基于内容的图像检索系统的实现需要三大基本技术要素。第一， 2 东北师范大学硕士学位论文 特征提取。基于内容的图像检索将图像的底层特征作为检索依据，比如颜色、纹 理、形状、空间层次等。近年来，高层特征，也就是语义特征被提出应用到基于 内容的图像检索中来，以解决语义鸿沟问题。第二，高效的多维索引技术。它是 基于内容的图像检索技术在超大型图像数据库中发挥优势的重要保证。由于图像 的特征向量有维数高和富含语义等特点，许多专家开始研究使用聚类和神经网络 等技术来提高索引效率。第三，用户接口。它是连接检索系统与用户需求的桥梁， 是基于内容的图像检索技术实现的关键问题。如何设计出友好而且更能够挖掘出 用户喜好信息的用户界面，一直是研究学者比较关注的问题与热点。 图1 1 为基于内容的图像检索系统的系统结构。检索过程及算法流程如下： 首先，提取图像特征，形成特征矢量并建立其索引，进行存储，形成图像特征 数据库： 在基于内容的图像检索系统中，用户提交的查询请求可以是一幅图像的模糊描 述，比如，样例图像、草图以及图像的特征矢量等等，系统选取某种特征提取 方法提取该查询需求的特征； 将该查询需求的特征与特征数据库中的特征进行相似性比较匹配； 系统按相似度由大至小排列结果将与查询特征相似的图像返回给用户： 用户可以对返回结果进行评估，通过交互式的反馈方式来改进查询结果，最终 得到满意的查询结果。 特征提取。 - 建立索引 图1 1 基于内容的图像检索系统的体系结构 用户 1 2 2 国内外典型基于内容的检索系统 目前，世界各国的相关研究人员沿着基于内容的图像检索这个研究方向成功 地开发出许多带有商业性质或者研究性质的c b i r 系统。 1 m i i i e s m i r e s ( m u l t i m e d i ai n f o r m a t i o nr e t r i e v a ls y s t e m ，m i r e s ) d 3 是中国科学院 计算技术研究所和北京图书馆所开发出来的c b i r 系统，系统提供的查询方式是 样本图像、语义关键词或是两种方式结合使用，并且系统具有相关反馈功能，界 面友好、高效。 2 q b i c q b i c ( q u e r yb yi m a g ec o n t e n t ) 陋系统是由i b m 公司研发出来的，它支持 3 东北师范大学硕士学位论文 基于图例、视觉特征以及关键词等查询方式，实现了用颜色直方图、颜色布局、 纹理和特殊混合色四种特征表示。此系统适用于大型的d b 2 图像数据库。现如今， m m 公司已向语义匹配方面展开研究工作，以提高系统的检索效率。q b i c 系统 也是最先走向商业化的图像检索系统。 3 v i r a g e f l q v i r a g e 公司研发出的v i r a g e b l 实现了基于内容的图像检索的思想，它把图像 特征分为通用特征和领域相关特征两大类。通用特征包括全局颜色、颜色布局、 纹理和结构以及它们的任意组合。另一类是领域相关特征，如遥感图像、医学图 像等。v i r a g e 还提供了一个图像管理的开放框架，开发者可以任意往框架中添加 与领域相关的特征处理模块。 4 n e t r a n e t r a h 3 是u c s b 大学研发的图像检索的原型系统，它所遵循的中心思想是先 对图像进行分割，然后再从分割后的图像区域中提取底层特征并进行组合。n e 舰 系统的主要特点是它结合使用了多种机器学习与统计学习的方法提高检索效率。 1 3 基于内容的图像检索技术中的“语义鸿沟问题 +， 传统的基于内容图像检索系统的实现基础是对图像底层视觉特征的计算与 比较，也就是“视觉相似 ，而在实际检索过程中，。人们从数据库中查找一张图 像总是按照一定的语义概念去查询的，这里的语义概念就是图像所具有的高层语 义特征，是指人对图像所描述的对象、事件以及表达的情感等内容的理解。所以 由于系统自动提取的图像视觉特征与人所理解的图像语义内容存在巨大的差异， 导致检索结果往往不尽如人意，这种差距就造成了计算机认为的“视觉相似”和 人们所理解的“语义相似之间的“语义鸿沟( s e m a n t i cg a p ) ”问题。目前如何 缩小图像检索中的“语义鸿沟已经成为提高图像检索的性能的关键问题，并受 到了越来越多的关注。 1 3 1 “语义鸿沟 的表现 c b i r 中的“语义鸿沟 就是：由于计算机获取的图像的视觉信息与用户对 图像理解的语义信息的不一致性而导致的低层和高层检索需求间的距离婚。它 是导致基于内容图像检索效率低的突出问题，最明显的表现形式是：用户向系统 提交一个示例图像查询请求，系统根据计算查询图像与数据库中图像之间的视觉 特征相似度，返回的图像和所提交的查询图像在语义信息上大相径庭。比如，我 们提交一幅蓝天白云下海滩的图片，结果却找到了一排整齐灰色建筑物的图片， 只因为它也是同样的蓝天背景，灰色实物，像这种“所答非所问 的情况还有很 多，而如何让检索系统知道查询图像中的蓝色的背景是大海还是天空? 五颜六色 的物体是彩虹还是女孩身上的时尚t 恤? 是解决这类问题的关键。 4 东北师范大学硕士学位论文 因此，想要有效地缩小基于内容图像检索中存在的“语义鸿沟 ，实现智能化 检索，必须建立图像底层视觉特征与高层语义特征之间的映射关系。 1 3 2 图像层次模型的结构描述 按可用于c b i r 检索的图像内容，图像的层次模型可分为三个层次：物理特 征层、对象层和语义概念层。其中物理特征层，反映的是图像的颜色、纹理、形 状、空间关系等底层视觉特征，以及它们的任意组合；对象层反映的是图像所描 述的对象以及对象之间的相互空间关系，常用关键词或元数据表述；而语义概念 层，反映的是图像的抽象语义概念，主要考虑图像通过场景、行为等因素所表达 出的意义。 由于对象层和语义概念层都考虑到了对图像的语义推理，许多学者把这两层 上的图像检索成为一起称为“语义层次”的图像检索即语义图像检索，而把物理 特征层与“语义层次之间的差距成为“语义鸿沟。 1 3 3 缩小“语义鸿沟”的方法 最大限量地缩小图像特征层与语义层次间的差距，实现真正意义上的语义查 询，关键在于准确地获取图像的语义信息。目前提取图像语义信息的方法大致可 以分为以下三类：基于知识的提取方法；利用外部信息的提取方法；基于 人机交互的提取方法。 基于知识的提取方法 基于知识库提取图像的语义信息，它的主要特点是事先需要给出必要的领 域知识，比如对象模板、图像场景分类器、心理学和认知学方面的知识等。而按 照所提取的语义内容和所采取的方法，基于知识的语义提取又可以分为基于区域 和基于全局的处理方法。 基于区域的语义信息获取是建立在基于底层视觉特征的图像分割基础之上 的，将分割后所产生的区域组合成为有意义的物体，也就是图像的主要观察区， 图像的语义信息就体现在此区域这，而并非是各个区域的细节上，所以基于区域 的图像检索方法的关键就是合理地分割图像以及选择适当的区域匹配准则。 基于全局特征的语义信息获取则比较侧重于图像的整体性和综合性，主要是 利用全局图像特征进行粗略的场景分类。这里就运用到了心理学和认知学方面的 一些先验知识，比如具有蓝色背景图像的场景有可能是天空或是海洋，有黑白条 纹的动物是斑马等等。基于区域和基于全局这两种获取语义信息方法的区别是所 抽取特征的作用粒度不同，前者的粒度是区域，强调的是区域性和细节性，后者 的粒度是整幅图像，强调的是整体性和综合性。 利用外部信息的提取方法 东北师范大学硕士学位论文 基于外部信息的获取信息方法，是从图像的一些附加信息中提取出有用的相 关信息，比如图像来源处的信息、图像的名称、图像周围的文字信息、文章的标 题以及u r l 地址等，利用这些信息来获得与图像相关的高层语义信息。这种方法 表达信息非常直观，能够很好地描述高层次的语义概念，但与此同时这种方法所 带来的主观性与不准确性不容忽视。 基于人机交互的提取方法 基于人机交互的信息提取方法是指充分考虑到人在检索过程中的作用，将人 的评价加入其中，从不断的人机交互中，让系统学习并修正图像的语义描述。目 前这种方法主要靠相关反馈技术实现。相关反馈的作用主要有两个方面，一是通 过不断地分析用户的反馈信息，捕获用户的实际意图，返回贴近用户需求的结果 集合；二是通过学习与分析多次的用户反馈，使系统能够建立图像底层特征与高 层语义特征的映射关系。 1 4 论文的主要工作 本文的主要研究工作是通过学习并深入研究基于内容的图像检索中的相关 反馈方面的经典算法，提出了一种基于迭代l o g i s t i c 回归模型和主动学习相结合 的主动相关反馈算法( i l r a ) ，并予以实现。 j 首先，。本文利用迭代l o g i s t i c 回归( i l r ) 模型，对用户舶反馈信息i ：正、贫 样本y 。进行学习与分析，建立特征向量内部分量模型，也就是利用迭代l o g i s t i c 回归模型函数对特征向量的内部分量进行曲线拟合，拟合得到的曲线函数的参数 值就是特征向量里各个分量的权重，并使用该参数值对数据库中图像的特征向量 进行修改，并得到数据库中图像属于用户喜好类的概率值，根据此概率值排序输 出结果。 。其次，本文利用主动学习( a c t i v el e a r n i n g ) 算法中的不确定性选择方法，根 据迭代l o g i s t i c 回归( i l r ) 模型所得到的数据库中图像属于用户喜好类的概率值， 挑选出具有最大信息量的样本，以供用户选择，解决相关反馈中的小样本量问题。 本文的结构如下： 第一章：基于内容的图像检索的研究背景、意义以及研究现状，并分析了一 些国内外经典图像检索系统的优缺点，以及基于内容的图像检索技术中的“语义 鸿沟问题。 第二章：基于的图像检索中相关反馈算法的基本思想、具体过程、以及五种 关键技术：基于空间变换、基于统计概率、基于聚类分析、基于机器学习、基于 语义信息的相关反馈模型。 第三章：具体介绍了本文提出的算法。先学习与分析用户反馈信息，对图像 特征向量中内部分量建模，调整内部向量的权值，并运用主动学习算法选取有用 6 东北师范大学硕士学位论文 一 样本以供用户选择，扩大反馈样本量，捕获用户喜好信息，改善查询结果。 第四章：对本文提出的算法进行实现，并做了大量的对比实验，得出分析结 果。 第五章：总结全文，归纳工作要点，提出规划与展望。 7 东北师范大学硕士学位论文 第2 章基于内容的图像检索系统中的相关反馈机制 1 9 7 1 年，r o e c h i o 嫡3 最先将相关反馈机制在s m a r t 系统中得到实现，实验 效果有目共睹。从这之后，相关反馈技术受到了越来越多的关注，同时在文本信 息检索领域中也被广泛使用，它主要是通过一种人机交互的方式使计算机不断了 解用户查询意图与满意程度，并通过不断学习反馈信息，构造新的查询，输出更 贴近用户期望的检索结果。1 9 9 8 年r u i 等人h 1 首次将该技术应用到了基于内容的 图像检索中来，产生了质的飞跃，有效地提高了图像检索的效率。由于图像比文 本更具有多义性，以及让用户判断一幅图像是否相关比判断一篇文档的相关性要 更容易、更快速，从而在图像检索中采用相关反馈技术比在文本检索领域中更有 必要，同时也更易于应用。 2 1 相关反馈的基本思想 在基于内容的图像检索系统，相关反馈技术是一种用户交互式反馈的检索方 法，分析人的主观意识与对检索结果的评价信息，并融合到图像检索过程当中。 它的目标就是通过这种交互的方式，发现并捕捉用户的查询意图与喜好，修正系 统的查询策略，以此构成新的查询，返回贴近用户实际需求的查询结果。这一机 制使检索系统具有自适应性。 它的中心思想呻1 是：以用户为中心，收集用户对前一轮的检索结果的评价与反 馈信息，然后系统学习并分析这些信息进行学习，通过某种方式对检索样本以及 各种参数进行修改，以便指导下一轮的检索。 2 2 相关反馈的具体过程 在图像检索系统中融入相关反馈的目的是就是代替用户对查询进行优化，过 程如下： ( 1 ) 用户对检索系统提出查询请求，目前的检索系统所提供的查询方式有 示例图像( e x a m p l e ) 、草图( s k e t c h ) 或关键字( k e y w o r d ) ，然后系统根据检索 的相似程度或相似概率对查询结果排序输出给用户。 ( 2 ) 指导用户对当前检索结果进行评价并提交给检索系统。 ( 3 ) 学习与分析用户提交的反馈信息，通过某种方式修正查询样例，构造新 的查询策略，从而进行下一轮的检索。若用户对检索结果满意，则结束检索；若不 满意，则返回( 2 ) ，继续进行。 r 东北师范大学硕士学位论文 2 3 相关反馈的关键技术 近些年，随着图像检索中的相关反馈技术受到了研究者越来越多的关注，各 种相关的算法不断地推陈出新。目前，根据反馈算法中所采用的检索模型，可以 将相关反馈技术分为以下五种： 2 3 1 基于空间变换的相关反馈算法 在这类方法中，图像被看作特征空间中的一个点，通过各种空间变换改变特 征空间中点的分布，把一个原本不聚类的点集，映射到另一个特征空间上，进行 空间上的变换，经过变换，原本的点集进行了聚类，在此基础上将距离最近的图 像集合检索出来。 查询点移动 此算法的中心思想是通过分析与研究用户的反馈信息，修正数据库中图像与 查询图像之间的距离，使查询点在图像集合中进行移动，与相似的点更靠近，与 不相似的点更远离西1 。此算法的实现技术有r o e e h i o n 川提出的公式，这一技术是效 仿文本检索领域中的相关反馈技术： q = 口q + ( i d j ) 一厂( i d ，) ( 2 1 ) v r l 上) r v n ，e d t 其中，口、和y 是可调参数；n r 和分别是用户标记的正反馈集合d r 和负巩反馈集合中的。图像个数。q 为修改后的查询，q 为初始查询。随着不断 地反馈，q 不断地向最优查询逼近，也就是使新的查询矢量逐渐地逼近用户的查 询需求。实验表明，查询点移动算法能够大大提高检索的效率和精度。 特征权值的调整算法 此算法的中心思想就是通过分析与研究用户的反馈信息，调整数据库中图像 的特征分量的权重值，增加那些有助于产生聚类的特征分量的权重，同时减小有 碍于产生聚类的特征分量的权重值。r u i 等人n 妇在1 9 9 7 年提出权重调整算法，该算 法根据用户的反馈信息，提高那些用户认为与查询图像相似的特征权重，并降低 与查询图像不相似的特征权重，然后根据调整后的图像特征权重计算图像间的相 似度。i s h i k a w a n 2 3 则提出了一种广义的椭圆距离度量公式，通过优化一个目标函 数来最小化各正反馈图像与用户查询图像的距离之和以实现相关反馈技术。 基于空间变换的相关反馈算法是一种理论上比较完美，实际操作却很复杂的 方法，而且优化过程受限，很难找到最优解。 9 东北师范大学硕士学位论文 2 3 2 基于统计概率的相关反馈算法 此类相关反馈算法是用概率框架来描述检索问题，类似于信息检索中的概率 模型n 3 3 ( p r o b a b i l i s t i em o d e l ) ，它提供了一种处理不确定性的重要方法，这一点正 适用于解决图像检索领域中的不确定性问题。这类方法的主要思想是把相关反馈 看成分类问题，根据用户的反馈信息j 运用贝叶斯( b a y e s i a n ) 理论估算数据库中 图像与用户查询图像的相关概率值，并按此概率值由高到低输出。 c o x 等人“钔首先将贝叶斯理论应用于图像检索系统当中，根据贝叶斯规则来 预测数据库中图像的概率分布，实验证明，此方法可以有效地改善检索系统的性 能，返回贴近用户需求的图像，但这种方法也有其不足之处，就是它没有考虑到 负反馈样本对检索系统捕获用户信息中的作用。针对这一问题，n a s t a r u 副进行了 相应地改进，他采用了一种经验性的策略来考虑负反馈样本，减小了不相关图像 被检索到的可能性。随后，v a s c o n c e l o s 和l i p p m a n n 们结合使用了混合高斯模型和 基于区域的贝叶斯规则来进行相关反馈学习，此方法的特点是预先不需要对图像 进行分割，就可以对图像的区域进行查询检索。 2 3 3 基于聚类分析的相关反馈算法 这种类型的相关反馈无需对图像特征空间进行变换，在原有的特征空间上直 接对图像库中的图像进行聚类分析，形成不同的图像类，通过不断计算类间相似 度，使类内的图像足够大的相似，类间图像足够大的不相似。在检索中是根据类 与类之间的距离来确定图像间相似度的。 w o o d 等人n 刀提出了一种矢量量化学习( l v q ) 算法，用于图像分组聚类，不 断地对用户反馈信息进行聚类分组，使用户所选择的图像集合与查询图像越来越 相似。h u a n g 等人n 羽在此研究领域中不断探究，开发出了一种基于区域划分的图 像检索系统，其中实现这一技术的主要算法就是基于模糊特征聚类。并且，z h o u 等人n 钔在此基础之上，利用反馈信息和图像的底层特征向量实现了一种信息过滤 器，进一步提高了检索效率。 聚类方法的一个最主要的优点是在计算查询向量和各图像类的距离，找到距 离最小的类之后，是通过不断计算查询图像与目标类中图像的相似度的方式实现 算法，而不像是其他算法需要计算与数据库中所有图像的相似度，这样大大减少 了检索的计算量与复杂度。而且特征空间的聚类结果可供下一轮查询时使用，这 样又会大大减少了同类图像查询的计算时间，这两大优点在大规模数据库的检索 中，会变得更加显著。但是它也有其不足之处，比如，在训练样本数比数据库中 的图像特征向量维数小很多的情况下，聚类方法的使用就会受限，检索效率也会 随之下降。 l o 东北师范大学硕士学位论文 2 3 4 基于机器学习的相关反馈算法 近年来，比较热门的机器学习算法也被大量地引入到了基于内容的图像检索 中，此类算法的主要思想是把检索问题看成模式识别领域中的监督学习或分类问 题，其中将检索流程中的交互式反馈过程看做是一个样本训练的过程，训练集为 用户提供的正、负反馈样本，并对其进行学习，得出图像特征与用户查询目的之 间对应的模型，然后根据该模型指导下一轮的检索，经过多次交互，返回贴近用 户查询目标的图像集合。随着近些年相关反馈技术的深入研究，研究者将一些较 为新兴的机器学习理论引入到相关反馈算法的研究中来，大大提高了相关反馈算 法的实施效率，比如支持向量机、神经网络、b o o s t i n g 等。 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是一种基于基于统计学习理论的 新兴的机器学习理论，由于其出色的学习性能以及可以解决小样本的学习问题等 优点，受到国内外学术界的重视，并被广泛应用到相关反馈技术中。w a n g 等人雎们 将用户提供的正、负反馈样本作为训练集合，构造s v m 分类器，此分类器代表 用户的查询意图，并利用该分类器对图像库中的所有图像进行分类，计算出“正 样本类 中每幅的图像相对于分类面的距离，距离越远就代表就越接近用户的查 询目标，最后按此距离降序排列输出检索结果。由于在实际的检索过程中，用户 提供的反馈样本量非常有限，这一点是制约相关反馈算法效果的突出问题，而 s v m 能够小样本的学习中求得最优解，因此，这种算法的引入有效地解决了图 像检索中的相关反馈技术的难题。 自适应推进( a d a b o o s t ) 算法是一种迭代算法，常被用于分类问题上，是一 种高效的分类方法。其核心思想是针对同一个训练集训练出不同的弱分类器，然 后提升这些弱分类器集合，构成一个分类效果更强的强分类器。z i t o u n i 等人盥妇 提出将这种迭代思想应用到图像检索中，并将s v m 作为其分类器，迭代得出类 间边界，实验证明，此方法可以有效地按照与检索图像相关与否的标准，将数据 库图像进行分类，为下一步的计算打下基础。 2 3 5 基于语义信息的相关反馈算法 前面介绍的几种相关反馈算法，大多都是利用图像的视觉特征作为检索依 据，但是这样的检索系统通常会出现一种现象，就是检索出的图像在视觉特征上 相似，但在语义特征上却属于不同的类别。虽然用户的查询语义信息可能并不能 准确对应图像数据库中的语义类别，但是对优化检索结果会起到至关重要的作 用。所以，近些年研究者放眼于集成视觉特征和语义信息的相关反馈，通过学习 用户的正、负反馈信息，得到用户查询语义与数据库中图像语义类别的关系。文 献瞄剁正是依照这种思想构建了一个相关反馈框架。具体方法是预先将每幅图像的 关键字赋予初始权值，并以此构建一个初始语义网络，然后根据用户的反馈信息 东北师范大学硕士学位论文 一 = - 一 对权重加以调节，经过多次交互之后，系统就可以得到贴近用户心理、认知的语义 一特征空间映射关系。 1 2 东北 币范大学硕士学位论文 第3 章基于迭代l o g is tic 回归模型和主动学习算法的相关 反馈的图像检索系统 本文提出了一种基于迭代l o g i s t i c 回归模型和主动学习相结合的相关反馈算 法( i l r a ) 。首先，本文利用迭代l o g i s t i c 归( i l r ) 模型，对用户的反馈信息 ( 正、负样本) 进行学习与分析，建立特征向量内部分量模型，也就是利用迭代 l o g i s t i c 回归模型函数对特征向量的内部分量进行曲线拟合，拟合得到的曲线函 数的参数值就是特征向量里各个分量的权重，并使用该参数值对数据库中图像的 特征向量进行修改，并得到数据库中图像属于用户喜好类的概率值，根据此概率 值排序输出结果。其次，本文利用主动学习( a c t i v el e a r n i n g ) 算法中的不确定性 选择方法，根据迭代l o g i s t i c 回归( i l r ) 模型所得到的数据库中图像属于用户喜 好类的概率值，挑选出具有最大信息量的样本，以供用户选择，解决相关反馈中 的小样本量学习问题。 3 1l o g i s t i c 回归模型 线性回归模型( l i n e a rr e g r e s s i o nm o d e l ) 是一种比较流行的统计分析方法， 被广泛应用于定量分析研究中。但由于其要求因变量必须为连续变量，在很多的 实际情况中，它的使用受到限制。比如因变量是分类变量，这种情况在现实生活 是有很多，像是图像检索中的相关反馈机制，要求用户对图像进行评价，这种态 度与偏好等心理现象就是按“喜欢 、“反对”、“没感觉”等几个类型进行测量的。 l o g i s t i c 回归模型( l o g i s t i cr e g r e s s i o nm o d e l ) 正是在此基