（通信与信息系统专业论文）基于多特征的图像检索技术研究(1).pdf

黧于多特征的图像检索方法研究 0 基于多特征的图像检索方法研究 擒要 藜于蠹容的强像羧索系统主要楚据圈豫豹颜色、纹理、影狡帮空溺位置关系 等可视化特，证作为豳像的内褰特，珏进行匹配、查找。钟对应髑单一褪熬特，诬w 能 导致检索结果不准确的问题，本文提出了一种基于多特征的图像检索方法。该方 法分为两个步骤：鏊于颜色特征的一次检索和基于兴趣点特征的二次检索。 颜色是藏用最为广泛前视觉磊散之一。经典的鏊于颜色特征的囊方图法熟有 诗舅薅单，平穆、麓转窝尺波不变等瞧好特瞧，瑟且抗噪声麓力较戮。它懿浚点 是没有包含颜色的空间分布信息，难以区分颜色组成相似但是空间分布不同的图 像。藜于颜色特征的一次检索将局部颜色特征和空间块分布结构相结合表示图像 蠡毒蠢容模式，将圈豫涣耱捂划分爱掇取每一块静颜色信怠作为特征矢羹，透过对 块特锰聚类编码，可以应用基予文本的检索方法实现图像捡索。 基于颜饿特征的图像检索方法糨对于经典的颜傻直方爆法虽然增加了定 的空间信息，但其空间信息仍然相对不足，很难反映图像的具体结构，对于大型 数据库的检索难以取得令人满意的散果。为此本文强出了基于兴趣点特征的二次 检索，应用兴趣点特挺可以在一次梭索中锝到的提关墨像中锻到更糕确懿硷索。 本文采用小波变换提取兴趣点的方法。小波分析可以有效地滤除噪声，提高像素 之间的相关性；通过小波变换得到的特征点慰有多分辨特性，能够真实反映图像 羲将 歪。在蘩予兴趣点翡霞豫硷索中，圈像瓣内容信悫隐含在提取的兴趣点中。 我们用适当的矢量抽象出点分匆的空间信患，通过计辫矢量跋离判定两幅图像是 否相似。 f 基于多特征的图像检索方法研究 实验证明，该方法能够有效地提取颜色空间分布信息，在检索的效果上优于 前人提出的颜色直方图法和带权重的颜色直方图，能够较好地实现无约束场景图 像的有效检索。 关键词：基于内容的图像检索；多特征；颜色特征；兴趣点特征；特征矢量聚类 基于多特征的图像检索方法研究 r e s e a r c ho nm u l t i f e a t u r eb a s e di m a g er e t r i e v a l a b s t r a c t c o n t e n t b a s e di m a g er e t r i e v a ls y s t e mm a i n l ym a k e su s eo fv i s i b l ef e a t u r e s ，s u c h a sc o l o r , t e x t u r e ，s h a p ea n ds p a t i a lp o s i t i o nr e l a t i o n s h i pa n ds oo n , a si m a g ec o n t e n t f e a t u r e st ou n d e r t a k em a t c ha n df i n d i no r d e rt os o l v ep r o b a b l yi n a c c u r a t er e t r i e v a l r e s u l t sc a u s e db yo n l yo n ev i s u a lf e a t u r e ，w ep r e s e n ta ni m a g er e t r i e v a lm e t h o db a s e d o nm u l t i f e a t u r ei nt h i sp a p e r _ t h em e t h o dp r o p o s e dc o n s i s t so ft w op a r t s ：t h ef i r s t r e t r i e v a la n dt h es e c o n dr e t r i e v a l ，r e s p e c t i v e l ye m p l o y e db a s e do nc o l o rf e a t u r ea n d i n t e r e s tp o i n t sf e a t u r e c o l o ri so n eo ft h em o s tc o n n t l o nu s e dv i s u a lf e a t u r e s 。c l a s s i c a lc o l o r - b a s e d h i s t o g r a mi se a s yt oc o m p u t e ，i n s e n s i t i v et ot r a n s l a t i o n ，r o t a t i o na n ds c a l e ，a n dq u i t e r e s i s t a n tt on o i s e sa sw e l l b u ti t sd r a w b a c ki st a c ko fs p a t i a li n f o r m a t i o n ，p r o n et o y i e l df a l s eh i t sw h e nd i s t i n g u i s h i n gi m a g e si nl a r g ed a t a b a s ew i t hs i m i l a rc o l o r c o m p o s i t i o nb u td i f f e r e n ts p a t i a ld i s t r i b u t i o n ec o l o r - b a s e df i r s tr e t r i e v a lc o m b i n e s l o c a lc o l o rf e a t u r ea n ds p a t i a li n f o r m a t i o nt od e n o t ei m a g ec o n t e n t p a r t i t i o ni m a g e si n t h et r a i n i n gs e ti n t of i x e ds i z ec e l l sa n d ，f o re a c hc e l l ，e x t r a c tal o c a lc o l o rh i s t o g r a m a st h ec o l o ri n v a r i a n tf e a t u r eo ft h ec e l l a 1 io ft h ec o l o ri n v a r i a n tf e a t u r e sa r e c l u s t e r e di n t oan u m b e ro fp a t t e r n s t h u sa l lt h ei m a g e si nt h ed a t a b a s ec a nb e r e g a r d e da sac o l l e c t i o no ft h o s ep a t t e r n sa n dt r a n s f o r m e di n t oat e x t i m a g e ，t h e r e b y t h ew e l l d e v e l o p e dt e x tr e t r i e v a lm e t h o dc a r lb ea p p l i e df o ri m a g eq u e r ya n di n d e x t h r o u g hs u c hs y m b o l i cd e s c r i p t i o n s ， t h ec o l o r b a s e di m a g er e t r i e v a lc o n t a i n ss p a t i a li n f o r m a t i o nt oac e r t a i ne x t e n t ， c o m p a r e dw i t h c l a s s i c a lc o l o rh i s t o g r a mm e t h o d s 。b u tt h ei n c l u s i v e s p a t i a l i n f o r m a t i o ni ss t i l ln o te n o u 幽t or e f l e c te x a c ti m a g es t r u c t u r e ，d i s s a t i s f i e dt or e t r i e v a l i nl a r g ed a t a b a s e s ot h ep a p e rp u t sf o r w a r dt h es e c o n dr e t r i e v a lm e t h o db a s e do n i n t e r e s tp o i n t s ，a n di m p l e m e n t sm o r ep r e c i s er e t r i e v a lf r o mt h er e l a t e di m a g e s a c q u i r e db yt h ef i r s to n e 。w ea d o p tt h ew a v e l e tt r a n s f o r m a t i o nt og e tt h ep o i n t so f i n t e r e s t w a v e l e tt r a n s f o r m a t i o nc o u l df i l t e rn o i s e sa n di n c r e a s et h ec o r r e l a t i o n b e t w e e np i x e l s ；t h eo b t a i n e dc h a r a c t e r i s t i cp o i n t sh a v em u l t i p l er e s o l u t i o n ，c a nr e f l e c t a c t u a li m a g ef e a t u r e s i nt h es e c o n di m a g er e t r i e v a l ，i m a g ec o n t e n ti n f o r m a t i o ni s h i d d e ni nt h o s ei n t e r e s t p o i n t sp r o p e rv e c t o r s i su s e dt oa b s t r a c tt h es p a t i a l i n f o l m a t i o no fp o i n td i s t r i b u t i o n t h es i m i l a r i t yo ft w oi m a g e sc a r lb ed e t e r m i n e db y i i i 薹至量篷堡鳖整簦笙室查鋈登茎 c o m p u t i n gt h ed i s t a n c eb e t w e e nv e c t o r s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h en e wm e t h o di se f f e c t i v et oe x t r a c tc o l o r f e a t u r ew i t hs p a t i a li n f o r m a t i o n ，b e t t e ri nr e t r i e v a le f f e c tt h a nt h ec o l o r - b a s e d h i s t o g r a mm e t h o d sw i t ho rw i t h o u tw e i g h t sp r o p o s e dp r e v i o u s l y , a n dr o b u s tt ot h e r e t r i e v a lo f i m a g e sw i t hd o m a i n f r e es c e n e s k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ；m u l t i f e a t u r e ；c o l o rf e a t u r e ；i n t e r e s t p o i n t sf e a t u r e ；f e a t u r ev e c t o rc l u s t e r 攮于多特征的图像检索方法研究 0 前言 o ，l 图像检索职究的意义及背景 j 珏年来，随着通信及多媒体技术、计算机网络、大容量存储器以及数字化图 像设备如扫描仪、数字相机等技术的迅速发展，对数字图像的使用包括国防军事、 工数翻造、藏疗卫生、薪闻媒体、大众娱乐和家庭生活等各个方面。在如诧广泛 的成用背景下，产生了大量的各式各样的图像数据艨，图像数据出现了按指数级 增长的趋势。如何更好地应用视觉数据，实现方便、快速、准确地查询和检索到 用户所需的瀚像信息，使管理者可以从大量的单调的人工管理工作中解放出来 己成炎大艇迤切霉蘩解决熬羁题。 传统斡数摆库捻索方法农进行上述方嚣约售感擒索霹，效果往缝不够理怒。 这是因为传统数据滕在进行信息检索时，主膜依据关键字和文本信息进行检索。 不能提供相似性检索。由于文本检索技术出现较早，发展比较成熟，在研究图像 检索辩，磷究者蓄受悲到褥文本检索技术盛掰蘩鋈豫检索中。在上个滟纪七十年 代寒期，出现了基于文本的图像检索系统。纂予文本拣检索楚指对图像文l 孛建立 关键字或文本标题以及一些附加信息对图像进行描述，然后将图像的存储路径和 图像的关键谰建立联系。它的缺点在于：随篱大量圈像的出现，需要大量的劳动 力去管理襄注释这些图像；不霹懿入对同一耀图像瓣理解不润，文本糖述售惑箱 对主观；不同国家的人由于谢言的差异会造成对同图像的语义理解的差异。因 而仅仅基于关键词的检索己不能满足用户的检索要求。不仅如此，传统的数掘库 检索结票与谂惫静筑织方式及查询缩聚静显示方式有关，丽无法接熙查询结采的 相似程度进行输出。戆够对多媒体数据内容逆行自动语义分撰、表达和检索是数 据库及其它信息系统的发展趋势。 1 基于多特征的图像检索方法研究 伴随着该问题的出现，学者们提出了基于内容的图像检索的概念( c b i r ， c o n t e n t b a s e di m a g er e t r i e v a l ) 1 1 。它与传统的文本信息的检索不同，通过直接 对图像的内容进行分析，自动提取图像的内容特征并按一定规则进行量化。在此 基础上，利用这些量化的内容特征建立索引进行检索。基于内容的图像检索系统 主要是把图像的颜色、纹理、形状和空间位置关系等可视化特征作为图像的内容 特征进行匹配、查找。特征的提取和匹配过程完全可以由机器自动完成，这样就 可以克服手工注释的低效性和二义性。事实上，图像的可视化特征是对图像内容 的压缩和抽象，与人类的观察十分相似，因而基于内容的图像检索基本能够满足 用户的需要。 c b i r 系统通常具有四个要素：( 1 ) 图像集。这是最基本的要素。( 2 ) 检索模 型。检索模型用来比较图像的相似性。系统响应一个查询，基于检索模型计算每 个图像对查询样本的相似性值，该值被称为检索状态值：r e t r i e v a ls t a t u sv a l u e ( r s v ) ，依据图像r s v 的大小倒序列出满足要求的图像，即最相似图像、次相似 图像等等。( 3 ) 索引策略。为了方便图像r s v 的计算，需要有一些可以表征图像 与查询图像相似性的量化特征，根据这些特征建立合适的索引结构以加快查询速 度。( 4 ) 交互式的查询技术。用户与系统的交互可以提高系统的有效性。 对c b i r 的研究可分为三层：下层是基于颜色、纹理、形状等反映图像基本物 理特征的检索，是最直接、最基本的层面，用到图像信息处理、图像分析和相似 性匹配技术；中间层是基于图像对象语义，如图像中实体及实体之间的空间关系 的检索，对象级检索技术建立在下层特征基础上，并引入了对象模型库、对象识 别和人工智能等图像理解技术：最上层是基于图像概念级语义的检索，其技术建 立在对象层语义特征提取的基础上，引入了对象和场景之间的逻辑、情感等高层 基予多特征的图像枪索方法研究 语义的描述及识剐，需要用到知识簿和人工智能和神经网络技术。爵前的研究主 要逐楚集中在攀一个屡次上。褥究魏溺题主要包括：内容簿援选择、爨取、表达 帮索举| ，稳似经靛发羹方法，检索结巢和溺户褶关反馈的簸瑾。 基于文本的检索技术联在汪跣袋藏熬，紊场纯静产品氆缀多；溺时，随着人 工智能和计算机视觉的发展，撼于内容的特征提取技术也在不断完落。结合运用 这嚣耱方法是警蓠豹一个燕点。国内外甚经对翔褥邋j 蜚荜一舱税觉特谯迸季亍检索 从丽得到更好的效栗谶行了大霪的研究，但是实验表明，基于多静特征c b ir 的 结暴傀予基于单一视觉特缓c b ir 的缨果。缝会多耱将经进嚣综合检索是爨藩图 像检索研究的一个新的发展方向。 o 2 论文结构 论文皮蜜安毅 如下： 第一章综合介绥c b i r 的相关技术和应粥。 第二章蜒述了基于颜色特惩憋一次图像捻索积索雩| 夔方法。 第三章描述了纂于兴趣点特征的：次圈像检索的方法。 繁濯章实验帮结巢分聿厅，论证了本文掇密豹方法静有效褴。 第五章总结了本文豹主簧工作秘鬻要进一步磺究瓣方囱。 蕊予多特征的图像检索方法研究 1 基于内容的图像检索( c b i r ) c b i r 磅究的闷越主要包据：内褰特征选择、提取、表达和索弓l ，程 娃憷鳇 度量方法，梭索结果和用户相关反馈的处理。 1 1 特征提取 如何有效的描述图像的特征是c b i r 中墩关键的环节。有效的特征应该意义 童蕊，区分熊力强，计算耱对麓荤，兵有平移、尺浚、旋转不交篷【舶。图像鹣特 征可以分为三个层次：底层、中层和离层。底层特征不需要对图像的理解和露关 领域的特殊知识，是任何图像都具有的特征，如颜色特征，纹理特征祷等；中层 特鬣一般要经过预处理才毹撬取，如经过图像分割，边界检测后提取晌目标形状 特镬；裹层姆经包含与应用镁域有关熬特殊绥惑，始入脸蚕豫检索，卫星遥感霆 片检索中提取的图像特征。 1 1 1 颜色特征 颜色特征是在c b i r 中应用最为广泛的视觉特征，因为颜色和图像中的物体 或场最分藕关。蔼显，与箕德静褫觉特薤襁眈，攒色特征对图豫本身的尺寸、 方向、视角的依赖性较小，从蕊具有较高的纛棒性。我们主要针对颜色直方图、 颜色矩、颜色集、颜色聚合向爨以及颜色相关阑等颜色特征的表示方法展开研究。 ( 1 ) 颜色直方图。s w a i n 3 】根据颜色直方图统计每种颜色在图像中出现的概 搴，然后粟鬻蕨色鸯方窝赘交衷度量褥l 疆嚣豫颜色熬糨 嚷性。遥常躅金爱灏色直 方图( g c h ) 表示图像中的颜鳃分臼。假定颜色模型怒n 维的，g c h 楚一个b 维特 征矢濑( ， 2 ， 。) ，其中 ，表示图像中与颜色c ，相对应的归一化的像素颜色百 分眈。这种方法具有计算简攀、对平移和旋转不敏惑簿优点。但同时丢失了图像 基于多特征的图像检索方法研究 颜色的空间信息，颜色空间分布明显不同的图像可以具有相同的颜色直方图，这 不符合人的视觉感觉。为了解决这问题人们提出了改进的直方图法，包括：分 块直方图、累加直方图、联合直方图、加权直方图、自相关直方图等f 4 。局部颜 色直方图将图像划分若干块，分别计算每块的颜色直方图，图像检索就变为区域 颜色直方图距离的计算，该算法由于在图像各小块的基础上探讨颜色的比例关 系，因而掺入了图像的部分空间信息。加权颜色直方图检索算法利用权的概念将 图像局部细节特征融入到颜色直方图中，并在此基础上进行图像的检索。加权颜 色直方图的运用能够有效的提高图像检索的精度。 ( 2 ) 颜色矩。s t r i c k e r 和o r e n g o 基于概率论提出颜色矩( c o l o rm o m e n t s ) 5 1 ，其 数学基础是图像颜色分布就可以由图像象素的各阶中心矩来描述。由于颜色信息 集中在图像颜色的低阶矩中，因此只需要对每种颜色分量的一阶、二阶和三阶矩 进行统计。该方法无需对特征进行向量化。在实际应用中，颜色矩一般在使用其 它特征进行检索前起到过滤及缩小范围的作用。 ( 3 ) 颜色集。为支持大规模图像库的快速查找，s m i t h 和c h a n g 提出用颜色 集( c o l o rs e t s ) 6 1 作为颜色直方图的一种近似特征。首先将h s v 空间量化为1 6 6 级， 统计对应的颜色直方图，然后从量化后的颜色空间中选择一些重要的颜色作为二 进制的颜色集特征矢量，通过构造二叉树来加快检索速度。 ( 4 ) 颜色聚合向量。p a s s 7 1 等人提出以图像的颜色聚合矢量c c v ( c o l o r c o h e r e n c ev e c t o r ) 作为图像的索引，其核心思想是当图像中颜色相似的像素所占 据的连续区域的面积大于一定的阈值时，该区域中的像素为聚合像素，否则为不 聚合像素。这样统计图像所包含的每种颜色的聚合像素和不聚合像素的比率称为 该图像的颜色聚合矢量，在图像检索过程中匹配目标图像的聚合矢量和检索图像 的聚合矢量，聚合矢量中的聚合信息在某种程度上保留了图像颜色的空间信息。 基于多特征的图像榆索方法研究 ( 4 ) 颜色相关图。考虑到距离一定的两个像素颜色的空间关系，j h u a n g 和 s r k u m a r 提出了颜色相关图8 1 。这种特征不仅刻画了某一种颜色的像素数量占 整个图像的比例，还反映了不同颜色对之间的空间相关性，具有一定的鲁棒性， 缺点是计算量较大。 目前从划分局部区域的角度来说可分为：基于固定区域的图像分割、基于手 工的区域分割、采用交互的半自动的区域分割以及一些自动的颜色分割方法。其 中固定区域划分法是一种常用的方法。h s u 9 1 等人将图像划分成一定的矩形区域， 每个区域中以一种主要的单一颜色作为代表，两个图像之间的相似性是两个图像 之间具有相似颜色区域的重叠程度。 1 1 2 边缘特征 边缘蕴涵了丰富的内在信息，如方向、形状等，是图像识别中抽取图像特征 的重要属性。从本质上说，图像边缘是图像局部特征不连续性( 灰度突变，颜色 突变等) 的反映，它标志着一个区域的终结和另一个区域的开始【1 0 。边缘的种类 可分为两类：一种是阶跃性边缘，边缘两边像素灰度有显著不同；另一种是屋顶 状边缘，它位于灰度值从增加到减少的变化转折点。对于阶跃性边缘，二阶方向 导数在边缘处呈零交叉；对于屋顶状边缘，二阶方向导数在边缘处取得极值。边 缘结构特征包括边缘长度、边缘复杂性、边缘包括的环数和它们在整个图像中的 统计值1 1 i 。 以灰度图像为例，一般确定图像中边缘的方法就是检测每个象素和其赢接邻 域的象素的状态，对其扶度变化率进行量化。有很多种方法可咀使用，其中大多 数是基于方向导数掩模求卷积的方法。y i n gw u 提出两种边缘检测的方法 1 2 】。一 种是利用图像的导数求边缘，局部导数最大的像素被判定为边缘。另一种方法是 对图像作拉普拉斯变换( l a p l a c i a n ) ，图像拉氏变换的零交叉点就是边缘点。边缘 7 基十多特征的图像检索方法研究 ( 4 ) 颜色相关图。考虑到距离一定的两个像素颜色的空间关系，jh u a n g 和 srk u m a r 提出了颜色相关图嘲。这种特征不仅妻画了某一种颜色的像素数量占 整个图像的比例，还反映了不同颜色对之间的空间相关性，具有定的鲁棒性， 缺点是计算量较大。 目前从划分局部区域的角度来说可分为：基于固定区域的图像分割、基于手 工的区域分割、采用交互的半自动的区域分割以及一些自动的颜色分割方法。其 中固定区域划分法是一种常用的方法。h s u 9 i 等人将图像划分成一定的矩形区域， 每个区域中以一种主要的单一颜色作为代表，两个图像之间的相似性是两个图像 之间具有相似颜色区域的重叠程度。 1 1 2 边缘特征 边缘蕴涵了丰富的内在信息，如方向、形状等，是图像识别中抽取图像特征 的重要属性。从本质上说，图像边缘是图像局部特征不连续性( 灰度突变，颜色 突变等) 的反映，它标志着一个区域的终结和另一个区域的开始1 。边缘的种类 可分为两类：一种是阶跃性边缘，边缘两边像素灰度有显著不同；另一种是屋顶 状边缘，它位于灰度值从增加到减少的变化转折点。对于阶跃性边缘，二阶方向 导数在边缘处呈零交叉；对于屋顶状边缘，二阶方向导数在边缘处取得极值。边 缘结构特征包括边缘长度、边缘复杂性、边缘包括的环数和它们在整个图像中的 统计值。 以灰度图像为例，一般确定图像中边缘的方法就是检测每个象素和其矗接邻 域的象素的状态，刘其扶度变化童进行量化。有很多种方法可以使用，其中大多 数是基于方向导数掩模求卷积的方法。y i n g w u 提出两种边缘检测的方法【1 “。一 种是利用图像的导数求边缘，局部导数最大的像素被削定为边缘。另一种方法是 对图像作拉普拉斯变换( l a p l a c i a n ) ，圈像拉氏变换的零交叉点就是边缘点= 边缘 对图像作拉普拉斯变换( l a p l a c i a n ) ，图像拉氏变换的零交叉点就是边缘点；边缘 基于多特征静瑟像捻索方法磷究 囊方匿也霹以表示逮缘猿息。器蕊一? 豹边缘壹方豳算子只包括髑部边缘分囊售 息 1 3 , 1 4 ，为提高捻索的有效性，可以从局部直方图中取得全局和半局部的边缘直 方图。 1 i 3 形状特征 形狄是刻夏魏钵豹本矮特短之一，嚣憩裂强形凝来梭索无疑弼提裹捡素数浚 确率和效率。图像分析中经典的形状描述是：矩不变量、圃度、主轴方向等。其 宅表示形状的特征有：伸长度、孔数、角点数、对称性，其中伸长度在一定程度 上播述了精蒙静紧凑往。嚣蓊基予形状符径静检索主要蔻围绕蓿觚形妖鲍轮癣特 ，镬和形状的区域特短建立图臻索弓| 16 1 。 关于前者的描述主鬻有直线段描述、样条拟含曲线、傅立叶描述子以及高斯 参数瞌线等，这然方法揭示了对于人类在视觉上麴j 断形状相似性楚至关黧要的形 状边嚣傣怠旧。辩予器卷翁接述主要有形状豹无关矩、区域鹣瑶羧、形获熬弱长、 蹰度等。傅立时算孑和不变矩阵娜以成功地表示这两类形状。傅立时算予是用傅 立叶变换边界作为形状特征。在对物体j 藏行分割以后，可以得到物体的边界点的 巢合，搬这些边弊点进行傅立时变换，可懿生成个复系数的集合。不交矩阵餍 蓥手区域靛矩黪终荛形炊特廷，矮毒变扶不变性。形状特征表达鹣一条薰要准刘 是要求对位移、旋转的不变性，阏为人类出于识别和检索的目的，总是越向于忽 略这种变化。基于这种疆求，傅立叶算予、曲率尺度空间描述予、泽而尼克矩算 子和获黢算予被橇为较好静器毛跫表示法。 h u 撼1 提出了月形状的7 个无关矩来度量形状的特征。由于计算这7 个无关 矩花费的时间较长。y a n g 和a l b r e g t s e n 忡1 在g r e e n 定理的基础上提出了在二值图 像中快遮计算矩的方法。j a i n 等人将形状用封闭的直线段来描述，然后对形状中 薄条边豹瓣率避行分剐计算，鼗一定魏麓凄闰隔对线竣送行统计澎或裁露蠢方题 r 基于多特征的嗣像捡索方法研究 f 2 稍。用小波交换可以囱动提取形状信息f 2 1 】，冀形状特征矢景具有较简的维数。 弹瞧模姗( e l a s t i ct e m p l a t em a t c h i n g ) 2 2 】援皋壹按联嚣形状，这释方法不焉提 酝形毒跫特馥，强是撼蜜诲当作一个弹链伟，既弹往俸律洋注变形，尽惫迤配数耀霹 中的每幅图像，其变形花费的能量用来描述蕊卷的相似程度。 1 1 4 纹理特征 纹理姆缝楚一穆不猿羧予凝色藏巍度敬反浃鹭橡中嗣鹱凌象懿筏辩特徭，疑 有爨翳不交拣。它怒所有秘俸表面菇脊的奉矮特毪，铡如云彩、树本、砖、织物 等都有各自的纹理特征。纹理特征包含了关于物体袭隧的缝构安排以及与周围环 境钓关系，提供了阋豫的颜色躐强发的空闻分布信息，与场景中目标在物理举、 光度学、几何属性的不连续性棚对墩【2 3 1 。j 骧燧像的纹理特征锻羧予纹理基元愆 空耀大小 2 舯。绞理麴鼙本物理属性是鬃景表露麓反射率、方露帮深度。 纹理特征提取是指通过定的图像处理技术获得纹理的定量或定性描述。提 取方法分兔两类，帮络构方法辩统计方法 z 5 1 。缭褐方法是假定鞫像妇较，j 、的纹理 基元摇到而成，它采踊句法分轿方法，但只邋用于规则的结构纹理分耩；统讨方 法又可进一步分为接绕基予摸挺的方法以及基于频谱分橱豹方法。h a r m i c k 等 人提出了关于纹理特 藏的共生瓶阵寝示【2 6 】，该方法探索的是灰度级的纹理的空间 依赖关系。蓠窕辗攒墅像像素乏屡豹方囱秘距蔫梅绫一个共墨：矩障，然后鼠该楚 薄中掇取密霄繇义豹绕计作为纹理袭达。t a m u r a 等人斑用人类对纹理视觉惑知 的生理学理论发展了对视觉纹理特 正的近似计算”1 ，这六大视觉纹理特征分别 为：糠糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方淘度( d ir 。e c t i o n a l i t y ) 、线象 度( 1 i n e l i k e n e s s ) 、蕊整度( r e g u l a r i t y ) 和凝略度( r o u g h n e s s ) ，这些特征穗互 独立。t a m u r a 欧纹理袭达理论帮共生缒阵表瑟熬区别在于t e 蛹u r a 终纹理表达特 征在视觉上是有意义的，而燕生矩阵的某些纹理特征则不然，因此t a m u r a 方法 9 基于多特征的图像检索方法研究 在c b i r 中得到了较广应用。9 0 年代以后，小波分析在纹理分析方面发展很快 出现了很多新的算法。如j a m e s 对像素颜色值进行d a u b e c h i e s 小波变换，提取 最低的频率波段系数和偏差作为特征矢量来代表纹理【”1 。 1 2 相似性度量 相似性度量，既是图像检索技术中的一个关键问题，也是其中的一个难点。 传统的数据库系统检索一般是基于精确的匹配，而在基于内容的图像检索中，图 像特征只是图像的近似表示，因此检索也是在图像集合中查找与给定检索图例 “相似”的对象，即从候选图像集合中找出与指定的待检索对象在视觉特征上相 似度最大的对象子集，属于“相似性检索”( s i m i l a rs e a r c h ) 。 距离相似性测度方法就是利用相关距离计算函数，计算被检对象和目标对象 的特征序列之间的结果，用该计算值来判别对象之间的相似性程度。一般情况下 图像都是用多维特征矢量表示的，通过计算特征矢量在特征空间的距离可以得到 两个图像的相似度 2 9 。最经典的距离量度标准有明氏距离、欧氏距离、直方图相 交、马氏距离等3 0 1 。设z ，y 是d 维的模式样本向量，分量分别为x i 、y i ( 1 i n ) 。 m i n k o w s k y 距离 嘎o ，y ) ：至。一i i xy i l _ 旷1 ) 嘎0 ，y ) = l 。一1l ( 1 1 ) lj = 1j 明氏距离是很多种距离函数的通式。当 = 2 时，它等于欧氏距离。 e u c l i d e a n 距离 d e ( x ，) = 忙一y l l = 、k 只1 2 ( 1 - 2 ) v 悼1 o 捺于多特征豹图像检索方法研究 欧几里德( 欧氏) 距离是在c b i r 中应用较广的距离公式，具有旋转不变性。 若样本x , y 彼于同装登区域里，敬式距离较小；如桑位子不同类型区域萤，欧 式距离则较大。匿总刿叛距离太小就嚣要定义一个门隈。门隈戆选取是正确分类 的关键，门限选取过大，全部样本被视为同一类型；门限选取过小，则会出现一 种类型里只有少数几个甚至一个样本的情况。 h i s t o g r a mi n t e r s e c t i o n 卟掣券 ( 1 3 ) 赢方匿交( h i s t o g r a mi n t e r s e c t i o n ) p g 寒度量赢方墅鞭离。差酝柳7 秘妻理v 表示具 有”种颜色辅的直方图，i 魁索引直方图的变量。 m a h a l a n o b i s 距离 y 2 = g 一“) 7 b 一“) ( 1 4 ) 马氏距离排除了不同特惩之间相关性的影响，如果特征向量的各个分量闻具 有相关性或者具有不同的权熏，可以采用马氏距离来计算特征之间的相似度。 1 3 多维索引技术 针对图像数据的索引要从三个方面研究：索引的提取、索引的组织和索引的 表示。在c b i r s 中，特短矢羹靛维数较高，瑶冁露套诲蚕像需要较长酶时阚。 为了解决这问题，需要根据图像特征，建立合适的索引结构加快查询速度。要 想索引高维的特征矢照，用传统的数据结构怒不行的，只能用多维索引技术。多 维索引技术的研究主要在三个领域，即计算几何、数据库和模式识剐。多维索弓 基于多特征的图像检索方法研究 技术是一个十分丰富的领域。以树型结构为例，有k - d 树、四叉树1 3 2 】、k d b 树、r 一树 3 4 1 及其变化形式r _ 树和r + 一树9 6 1 等。其中r _ 树及其变化形式是 应用最广的。r _ 树是一个和二叉树形式相似的索引结构，树内的节点表示一个k 维的超矩形，而不是一个标量。因此，这种结构适合高维索引，特别是范围查询。 r - 树的主要缺点是超矩形相互重叠，所以在一次查询中可能有一个节点下的多个 子树被访问到。这将导致性能退化。1 9 9 0 年，b e n k m a n 和k r i d g e l 提出了r 一树 动态变化形式r + 树，它将节点之间的重叠降到最小，大大提高了搜索性能。 最近出现了一些新的技术，例如v a mk - d 树、2 d - h 树等1 3 7 , 3 8 1 。x 一树是一种适合 较高维检索的索引结构，和r 树相比，主要作了以下两方面改进；一是按照分 裂史进行无重叠分裂：二是节点容量增大成为超节点。这种改进使得x 树索引 结构结合了层次结构的r 一树和线性的顺序索引两者的优点，成为一种比较适合 高维索引的数据结构。t v 树主要为处理特殊性质的数据而设计的，特别是针对 k l 变换后的实际数据。它的结构类似于r + 一树，引入了t m b r 。对于分裂的处 理，则类似于r 树，采用了再插入方法。与r + 树相比，t v 一树在处理类似k l 变换形式的数据时，具有较大的优势。 1 4 交互式查询技术 为了克服计算机自动提取的图像特征与人们所理解的语义之间存在差异这 个问题，相关反馈( r e l e v a n c ef e e d b a c k ) 机制被引入c b ir 中。相关反馈技术是一 种用交互式的方法过滤检索结构的技术【3 9 。相关反馈在文本检索中己被广泛应 用，主要是通过一种人机交互机制使得计算机能够1 i 断了解用户查询结果的满意 程度，通过用户对查询结果的反馈对查询过程进行调整，并通过逐步学习把输出 调整到符合用户期望的状态，从而使检索结果更符合用户的需要。由于高层概念 和低层特征之间存在着巨大的差别，且用户的感知具有主观性，如何通过用户的 l2 艇于多特= l 正的图像检索方法研究 反馈对各特征在查询中的权匿进行调整成为个研究方向。用户根据相关性评价 检索戮静图像，涛凿像分为赢度穗关、稆关、不相关、完全无关。系统根据评价 结粜学习榍关的特缓秘 戗尺度。每次耘轮检索竞残之瑟，罄要瓣检索终聚骰 分级评判，如此反复操作就可以提高检索精度。在有些情况下，我们无法找到一 种通合需要的相似性量度标准，所以应该提供给用户应该尽可能多的机会与系统 交浚信惠，以蓑系统学垂焉户酶穗钕缝标礁。 相关反馈在图像检索系统中鲍应用方法w 以分为三类：修改查谗矢量或嚣距 离判别标准、调整图像数据簿的分类或类间关系、蒸于贝叶斯理论的方法。 1 5 系统评估 检索算法的评价方法能够在相同的条件下找出最佳算法，使不同的检索方法 戆受簿建改进耧提裔，敬使纂予内容豹裣索方法朝簧好的方向发震。检索繁酶性 能评估比较通用的疆个准则是：效攀( e f f i c i e n c y ) 髑有效瞧( e f f e c t i v i t y ) ，分 别代寝检索的速度和查找与森询图像相似图像的成功率。检索效率通常用系统的 响皮时间和褥吐率评价，从现在的研究来看这方面的描述较少，对检索效果的评 终雯多遗救凌怼检索结暴黪菠确与黉上，帮羧索翡鸯效毪。煮要使鬻的是套港率 ( p r e c i s i o n ) 和查全率( r e c a l l ) 隔个指标【帅】，通常用p r 图( 查准攀与查全率关 系图) 表示。通过分析p r 圈可以提取各种信息。鸯全率是猩一次查询过程中， 蠲户掰裣索副的相关图像静数莓r 和数据露中与藩标图像栩关的所有图像数日 显之比：丽鸯准率主要指在次查谯过程中敝检索到瓣提关露像数露，霜查途型 的所有图像数目之比。 p r e c 趣i o n = 二 n ( 卜j ) 撼于多特征的图像检索方法研究 r e c a l l ；一r r ( 1 - 6 ) 蠢准率和查全率越高，表明该检索系统的效果越好。一般来说，凌准率和查 全率建一对矛盾。所以，只要在两者之间达到一个最优的平衡点，我们就可以认 失达到了较好瓣捡索效果。 图像检索并不需要把所商相关的图像都梭索出来。实验i 正明，爨为相关的图 像一定会出现在相关系数最大的前若干幅图像中1 。既然不怒所有的相关图像都 被稔索到，邢么一般的评价橼准p r 鹜就不是缀合适了。酬- l e et a n 和b e n g c h i no o i 掇蹬用归一晓懿鸯全率鄹魉一化瓣套准攀涎稔检索效果 蜊，公式定义 如下： p n = 1 一e i ：l ( 1 o g r 、a n k r i - l o g i ) ( 1 7 ) 幻g 面丽 露。：l 一1 墨而( r a n k i - i ) ( 1 - 8 ) 蒸中最秘霆。表示照一化豹查难枣羁查全率，其孛彤表示集合孛熬銎像总数， r 表涿相关图像的数疆，r a n k 。表示系统检索到的第i 幅相关图像的相关系数。 1 6 纂于内容的图像检索系统结构 湛于内容的图像检索系统的关键技术包括特征提取技术、相似性度量和多维 索引技术等。图像检索系统一般可截含图像数据建立与图像数据查询两个模块。 匿像数据建立模块掇取每一数据疼爨缘酶耪缎，荠穆其继存予数据蓐中，以警 乍 该数据库图像的索引。图像数据查询模块则请求用户输入某一查询图像，并提耿 该图像的特，征，同时将此特，征与储存于数据库中的数据库图像的特征作比对。最 后再将与查询图像距离最短的数据库图像，遮回给用户。一般的基于内容的图像 基于多特征的图像检索方法研究 检索系统结构可以用图1 表示。 图1 图像检索系统结构图 1 7 基于内容的图像检索系统应用 图像数据建钽樽辊 比较有代表性的图像数据库i b m 公司的q b i c ( q u e r y b y i m a g e c o n t e n t ) 系统 【4 3 出，4 ”、v i r a g e 公司的v i r 工程系统“、m i t ( m a s s a c h u s e t t si n s t i m t e o f t e c i l l l o l o g y ) 媒体实验室开发的p h o t o b o o k h 7 1 、哥伦比亚大学开发的v is u a l s e e k 和w e b s s e e k 4 8 1 等等。基本原理大致相同，主要区别在于不同的系统采用的特征 提取算法不同。但是，由于计算机视觉发展的不成熟，对图像的特征提取还远没 有达到理想的效果。因此，对于特征的提取是图像检索过程中一个亟待解决的重 要难题。 同时，这些产品在评价图像的相似性时忽略了一些重要因素：位景和空间信 息、以及如何更好的度量图像相似性。在基于内容的图像检索技术中，完全自动 化和智能化的要求还远远没有达到。 基于多特碰的图像检索方法研究 2 基于颜色特征的一次检索 在图像的形状、颜色、纹理等特征中，颜色特，镬是最显蕊、最可靠、最稳定 的视觉特征，是人识别图像的主要感知特征。相对于几何特征而言，颜色对图像 中予对象赘大小窝方囱翡交纯都不敏感，美商携当强豹鲁嚣瀣。离辩，在许多清 况下，颜色又是描述一幅图像最简便薅有效的特征。 因此，我们基于颜色特镊进行一次检索。针对经典的颜佼直方图法没有镪含 颜色的空间分布信息的缺点，人们掇出了改进的直方图法和潦于分割的方法。改 进静蠹方图法是通：邈疆取稻获像素的颜色壹方圈获褥稆关豫素空丽分布信怠；优 点怒具有较好豹售襻性，缺点是所含空闯售熬有限。基于分剃豹方法是犍掇图 像分成若干片断，捕捉其中的区域空间布局；优点是包含丰富的空间信息，缺点 是对图像的外观敏感。本章采用了一种基于块划分的利用颜色和空间分布信息的 瑟像捡素方法 4 9 1 ，避遵掇格褥霉俊麓分痕一髓寿意义靛踅豫浚，荠撬取每块豹颜 色黄方图代袭图像的局部信息，将更多的空间信息融入到特键矢量中，通过对特 征矢蘑聚类编码，图像内容可以表示为空间分布信息的局部颜色特征组合，进而 可以应露基于文本的检索技术实现胬像检索。 2 。l 圈像剃分 鼹部特援提取其鸯更毫的糖确蝗l 蛐，藤蠢效蠹鼋鹫像楚分技术垮搜鼹邦特，矮提 取得到更令人满意的结果。豳像划分是指：将图像中具有特殊涵义的不同区域分 丌，这些区域是互不相交的，每一个区域都满足特定区域一致性5 ”。图像划分是 提取特经矢惫豹基链。銎豫翔分援术毽捷簿小块图稼之闻的方向空闻关系被溺作 特征攒述。在文献 5 2 】中埘圈像的方向空间关系进行了细致的讨论，并提出了用 于图像检索的相似性匹配方法。 1 7 基于多特征的图像检索方法研究 图像划分技术克服了图像分割过程中常见的目标提取困难和对图像外观敏 感的缺点，选取