（信号与信息处理专业论文）基于contourlet的图像检索算法研究及应用.pdf

摘要 摘要 随着多媒体、网络技术的快速发展，图像的应用同益广泛，传统的基于文本关键 词的检索方法已经不能适应当今图像检索的要求，使得基于内容的图像检索 ( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 具有很大的现实意义而成为当前国内外研究的热 点。同时，c o n t o u r l e t 变换将图像的多尺度和多方向表示灵活而有机地结合起来，因而 能准确地、最优地刻画图像。因此，基于c o n t o u r l e t 变换的理论和应用在图像检索领域 具有广阔的应用前景。 本文在全面分析基于内容的图像检索领域中的关键技术的基础上，重点研究了多 尺度几何分析技术c o n t o u r l c t 变换和非下采样c o n t o u r l e t 变换( n o n s u b s a m p l e d c o n t o u r l e t t r a n s f o r m ，n s c t ) 在基于内容的图像检索算法中的应用。主要工作概括如下： 1 系统分析了基于内容的图像检索领域的些关键技术，如颜色、形状和纹理等图 像底层特征的描述方法，图像间的相似性度量方法，图像检索的相关反馈技术和图像 检索算法的评价准则等。 2 分析了小波变换在图像处理中的不足，详细介绍了c o n t o u r l e t 变换与n s c t 的基 本理论和实现过程，并从理论上分析比较了两种算法。 3 基于c o n t o u r l e t 和n s c t 的特点，提出了两种融合纹理特征和形状特征的图像检 索算法：基于c o n t o u r l e t 纹理特征和高斯描绘子形状特征的图像检索算法，基于n s c t 纹理特征和高斯描绘子形状特征的图像检索算法。加权融合纹理和形状特征，采用欧 氏距离进行相似性度量，并采用a d a b o o s t 算法进行相关反馈。 4 通过仿真实验，比较了基于g a b o r 、c o n t o u r l e t 和n s c t 的三种算法在外观设计 专利图像检索中的查准率和查全率，验证了本文提出的基于c o n t o u r l e t 纹理特征和高斯 描绘子形状特征的图像检索算法的可行性和有效性，通过a d a b o o s t 相关反馈过程，能 有效提高图像检索的准确性。 关键词：基于内容的图像检索；c o n t o u r l e t 变换；高斯描绘子；非下采样c o n t o u r l e t 变换( n s c d ：a d a b o o s t 广东丁业人学硕i ：学位论文 a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to ft h em u l t i m e d i aa n dt h ei n t e r n e tt e c h n o l o g y , i m a g e sa le m o r ea n dm o r ee x t e n s i v e l ya p p l i e d t r a d i t i o n a lt e x tk e y w o r d b a s e dr e t r i e v a li sn o tt om e e t i m a g er e t r i e v a l ，m a k i n gc o n t e n t b a s e di m a g er e t r i e v a l ( c b i r ) b e c o m eah o t s p o to w et oi t s p r a c t i c a ls i g n i f i c a n c e t h ec o n t o u r l e tt r a n s f o r m ，f l e x i b l ya n de f f e c t i v e l yc o m b i n i n gt h e m u l t i - s c a l e 晰mt h em u l t i - d i r e c t i o n a l i t yo fi m a g er e p r e s e n t a t i o n ，c a nd e s c r i b ea ni m a g e a c c u r a t e l ya n do p t i m a l l y t h e r e f o r e ，t h e o r i e sa n da p p l i c a t i o n sb a s e do nc o n t o u r l e tt r a n s f o r m h a v eg r e a tp r o s p e c t si nt h ef i e l d so fi m a g er e t r i e v a l i nt h i st h e s i s ，o nt h ef o u n d a t i o no fa n a l y z i n gt h ek e yt e c h n i q u e so fc b i r , w em a i n l y s t u d y t h em u l t i s c a l e g e o m e t r i ca n a l y s i s ，c o n t o u r l e t t r a n s f o r ma n dn o n s u b s a m p l e d c o n t o u r l e tt r a n s f o r m ( n s c t ) ，i nc b i r t h em a i nc o n t e n t so ft h et h e s i sa r es u m m a r i z e da s f o l l o w s ： 1 i n t r o d u c i n gs o m ek e yt e c h n i q u e so fc b i rs y s t e m a t i c a l l y , s u c ha sl o w - l e v e lf e a t u r e d e s c r i p t i o n si n c l u d i n gc o l o r , s h a p ea n dt e x t u r e ，t h es i m i l a r i t ym e a s u r e ，r e l e v a n c ef e e d b a c k t e c h n o l o g i e s ，a n dp e r f o r m a n c ee v a l u a t i o n 2 a f t e ra n a l y z i n gd i s a d v a n t a g e so fw a v e l e tt r a n s f o r mi nd e a l i n gw i t l li m a g e i n t r o d u c i n gt h ef u n d a m e n t a lt h e o r i e sa n dt h er e a l i z a t i o no fc o n t o u r l e tt r a n s f o r ma n dn s c t , a n dm a k i n gt h e o r e t i c a lc o m p a r i s o n so ft h et w ot r a n s f o r m s 3 p r o p o s i n gt w oi m a g er e t r i e v a la l g o r i t h m sb a s e do nt e x t u r ea n ds h a p e o n e st e x t u r e f e a t u r e sa l ee x t r a c t e db yc o n t o u r l e tt r a n s f o r m ，a n ds h a r pf e a t u r e sb yg a u s s i a nd e s c r i p t o r s a n o t h e r st e x t u r ef e a t u r e sa l ee x t r a c t e db yn s c ta n ds h a r pf e a t u r e sb yg a u s s i a nd e s c r i p t o r s e u c l i d e a nd i s t a n c ei sa d o p t e dt om e a s u r es i m i l a r i t y ；t h ea d a b o o s ta l g o r i t h mi se m p l o y e df o r r e l e v a n c ef e e d b a c k 4 c o m p a r i n gt h r e ea l g o r i t h m sb a s e do ng a b o r , c o n t o u r l e ta n dn s c tr e s p e c t i v e l yi n r e t r i e v a lv a l i d i t yi n t h ea p p l i c a t i o n so fi m a g er e t r i e v a lf o rp a t e n td e s i g n s e x p e r i m e n t a l r e s u l t si n d i c a t et h a tt h ea l g o r i t h mb a s e do nc o n t o u r l e ta n dg a u s s i a nd e s c r i p t o r si st h em o s t f e a s i b l ea n de f f e c t i v e r e l e v a n c ef e e d b a c kb ym e a n so fa d a b o o s tc a nh i g h l yi m p r o v et h e a c c u r a c yo fi m a g er e t r i e v a l k e y w o r d s ：c o n t e n t - b a s e di m a g er e t r i e v a l ； c o n t o u r l e tt r a n s f o r m ；g a u s s i a nd e s c r i p t o r s ； n s c t ；a d a b o o s t i i c o n t e n t s c o n t e n t s a b s t r a c t i l c o n t e n t s c h a p t e r l i n t r o d u c t i o n 1 1b a c k g r o u n dk n o w l e d g eo f t h et h e s i s 1 1 2c o n t e n t - b a s e di m a g er e t r i e v a ls y s t e m 1 1 3c o n t o u r l e tt r a n s f o r n la n dn o n s u b s a m p l e dc o n t o u r l e tt r a n s f o r n l 3 1 4c o n t e n t sa n dt h es t r u c t u r eo f t h et h e s i s 4 c h a p t e r 2 t h ek e yt e c h n o l o g yo fc b l r 6 2 1i n t r o d u c t i o no f t h i sc h a p t e r 6 2 2t h el o w - l e v e li m a g ef e a t u r ed e s c r i p t i o n s 6 2 2 1c o l o u rf e a t u r e s 6 2 2 2s h a p ef e a t u r e s 7 2 2 3t e x t u r ef e a t u r e s 8 2 3s i m i l a r i t ym e a s u r e 8 2 3 1e u c l i d e a nd i s t a n c e 8 2 3 2m a n h a t t a nd i s t a n c e 9 2 3 3m i n k o w s h yd i s t a n c e 9 2 4n er e l a t e df e e d b a c kt e c h n o l o g yo fi m a g er e t r i e v a l 9 2 5t h ee v a l u a t i o nc r i t e r i ao f i m a g er e t r i e v a la l g o r i t h m 1 0 2 5 1p r e c i s i o na n dr e c a l l 11 2 5 2s o r t i n ge v a l u a t i o nm e t h o d 12 2 5 3r e s p o n s et i m e 12 2 6b r i e fs u m m a r y 1 ：! c h a p t e r 3 c o n t o u r l e tt r a n s f o r ma n dn s c t 1 3 3 1i n t r o d u c t i o no f t h i sc h a p t e r 1 3 ：；2c o n t o u r l e tt r a n s f c l l t l l 1 z l 3 2 1l a p l a c i a np y r a m i d 15 3 2 2d i r e c t i o n a lf i l t e rb a n k s 15 3 3n o n s u b s a m p l e dc o n t o u r l e tt r a n s f o 咖18 3 3 1n o n s u b s a m p l e dl a p l a c i a np y r a m i d 19 v 广东丁业人学硕f ：学位论文 3 3 2n o n s u b s a m p l e dd i r e c t i o n a lf i l t e rb a n k s 2 0 3 3 3n s c t 2 1 3 4b r i e f s u m m a r y 2 1 c h a p t e r 4 c o n t o u r l e tt r a n s f o r mb a s e do ni m a g er e t r i e v a lt e c h n o l o g i e s 2 2 4 1i n t r o d u c t i o no ft h i sc h a p t e r 2 2 4 2i m a g ef e a t u r e se x t r a c t i o n 2 4 4 2 1t e x t u r ef e a t u r ee x t r a c t i o nm e t h o db a s e do nc o n t o u r l e tt r a n s f o r m 2 4 4 2 2t e x t u r ef e a t u r ee x t r a c t i o nm e t h o db a s e do nn s c t 2 5 4 2 3s h a p ef e a t u r ee x t r a c t i o nm e t h o db a s e do ng a u s s i a nd e s c r i p t o r s 2 5 4 3f e a t u r e sf u s i o na n ds i m i l a r i t ym e a s u r e 2 7 4 4a d a b o o s t b a s e dr e l e v a n c ef e e d b a c k 2 8 4 5b r i e fs u m m a r y 2 9 c h a p t e r 5e x p e r i m e n t a lr e s u l t sa n da n a l y s i s ：；i i 5 1i n t r o d u c t i o no f t h i sc h a p t e r 3 0 5 2i m a g er e t r i e v a le x p e r i m e n tw i t hn o n r e l e v a n c ef e e d b a c k 3 0 5 2 1i m a g er e t r i e v a lu s i n gas i n g l ef e a t u r e 3 0 5 2 2i m a g er e t r i e v a lu s i n gt e x t u r ea n ds h a p ef e a t u r e s 。3 2 5 3i m a g er e t r i e v a le x p e r i m e n tw i t ha d a b o o s t - b a s e dr e l e v a n c ef e e d b a c k 3 6 5 4b r i e fs u m m a r y 4 2 c o n c l u s i o n s 4 3 r e f e r e n c e s 4 5 p u b l i s h e dp a p e r sd u r i n gt h em a s t e rp e r i o d 5 0 d e c l a r a t i o n s 5 1 a c k n o w l e d g e m e n t s 5 2 第一章绪论 1 1 研究背景和意义 第一章绪论 随着计算机和i n t e r n e t 技术飞速发展，多媒体信息的数据量急剧增长，使得人们越 来越容易接触到大量以视频、图像为主的多媒体信息。各种媒体信息的不断增多，让 用户查找所需信息变得极为不便，对于文本检索来说还相对容易一些，而对于图像、 视频等的检索将会变得特别困难。如何迅速而准确地从浩瀚的多媒体信息集合中找到 用户感兴趣的图像或视频己成为图像检索领域亟待解决的问题。因此，基于内容的图 像检索系统的设计和应用，是一个具有重大理论价值和广泛应用前景的研究方向，其 成果对我国此类信息产业的形成与发展将起到积极的促进作用。 小波变换由于其多分辨率、时频局部等特性，被广泛应用于图像处理领域( 图像压 缩、特征提取、检索、识别、去噪、修复、重建等) 【1 引，但小波变换不能最稀疏的表示 图像信息。2 0 0 2 年d o 和v e t t e r l i 提出了一种真正的二维图像表示方法：c o n t o u r l e t 变换 【4 ，5 1 。c o n t o u r l e t 变换具有小波变换所具有的多分辨率分析，时频局部分析的特性，同时 具有小波变换所不具备的丰富的方向性和各向异性，是一种更优的图像表示方法，在 许多图像处理领域均优于小波变换【6 ，7 1 。 目前，c o n t o u r l e t 变换在图像检索领域正发挥着越来越重要的作用，基于c o n t o u r l e t 变换的理论和应用是研究的热点。杨家红等人1 8 】提出了一种对c o n t o u r l e t 变换系数的建 模方法一o n t o u r l e t 广义高斯模型，改进了对导向纹理的描述，并将此模型应用于纹 理图像库，能提高平均检索查准率。黄传波等人 9 1 采用高斯模型对c o n t o u r l e t 系数进行 精确拟合提取纹理特征，对不同予带系数采用不同的权值，应用于纹理图像检索中。 c o n t o u r l e t 变换在s a r 图像检索和医学图像纹理检索等方面都得到了很好的应用f 加j4 1 。 本文即是将c o n t o u r l e t 变换应用于图像检索领域，具有重要的理论研究意义和实际应用 价值。 1 2 基于内容的图像检索系统 早期的图像检索技术是基于文本的图像检索技术( t e x t b a s e di m a g er e t r i e v a l ， t b i r ) 15 1 ，起源于2 0 世纪7 0 年代末期。基于文本的图像检索是将图像用关键字或文本 l 广东t 业大学硕l ：学位论文 进行描述，并基于该图像的关键字或文本描述进行精确匹配或概率匹配。此时，输入 为关键词，输出为图像，即所谓的“以文找图”。这种采用对图像建立关键字等文本描 述信息的方式具有很大的主观性和不准确性，很难反映图像中的完整内容，越来越不 能适应网络信息检索的要求。目前，在i n t e m e t 上实用的图像搜索引擎( 网站) 还是基于 文本的图像检索，如g o o g l e 、y a h o o 、s c o u r 、w e b s e e k 、搜狐等，普遍采用此种方式 【1 6 】 o 2 0 世纪9 0 年代初期，随着大规模数字图像库的出现，对图像进行人工标注方法越 来越不能满足用户需求。因而，人们提出了基于内容的图像检索( c o n t e n t b a s e di m a g e r e t r i e v a l ，c b i r ) 1 7 】。所谓基于内容的图像检索，是指由系统根据相应的算法对输入图 像的内容进行自动分析，自动提取每幅图像的视觉内容特征，如颜色、纹理、形状等， 并保存在图像特征数据库中。在进行图像检索时，对每一幅给定的查询图像进行图像 分析、提取特征向量，利用相似性匹配算法计算查询图像与特征库中图像特征向量的 相似度，根据相似度的大小输出检索结果【l 引。用户和系统之间的关系是双向的：用户 可以向系统提出查询要求，系统根据查询返回查询结果，用户还能够对查询结果的相 关反馈来改进查询结果【1 9 】。c b i r 的系统结构框图，如图1 1 所示。 用户 彳1 -u 浏览与反馈 l纠 查询图像 八jl 特征提取 儿 提取 i ，i 出二工和 纣位e _ q 日c 丁丁jl 图像及特征库 图1 1c b i r 的系统结构框图 f i g 1 - 1t h es t r u c t u r eo fc b i rs y s t e m 基于内容的图像检索系统主要具有以下的特点 2 0 , 2 1 1 ： ( 1 ) 基于内容的图像检索技术突破了传统的基于文本的图像检索技术的局限。图像 特征提取是由机器自动完成的，避免了人工描述的主观性，也大大减少了工作量，使 得检索过程更加丰富有效，适用性更强。 2 第一章绪论 ( 2 ) 基于内容的图像检索实质上是一种近似匹配。在检索过程中，采用某种相似性 度量方法对图像库中的图像与用户查询图像进行匹配，获得查询结果。 ( 3 ) 以相关反馈为有效手段。整个检索过程是一个逐步求精和相关反馈的学习过程。 通过用户的相关反馈，检索系统学习用户的意图和准则来指导图像检索过程，有效提 高图像的检索效率。 ( 4 ) 基于内容的图像检索要能够从大型分布数据库中以用户可以接受的响应时间， 尽量以与领域无关的方式( 在需要时，也可以是与领域有关的) 快速检索到所需要的信 息。 目前已有不少应用于实际环境的基于内容图像检索系统。如2 0 世纪9 0 年代，i b m 公司开发的最早商业化的图像和动态景象检索系统q b i c ( q u e r yb yi m a g ec o n t e n t ) 2 2 1 ， 主要为i b m 的d b 2 大型数据库提供图像检索功能，并且支持基于w e b 的图像检索服 务。哥伦比亚大学研发的面向w w w 的文本或图像搜索引擎w e b s e e k 系统【2 3 1 ，包括 两个主要模块：图像视频采集模块，主题分类和索引模块、查找、浏览和检索模块。 美国u i u c 大学开发m a r s ( m u l t i m e d i a a n a l y s i s a n dr e t r i e v a ls y s t e m ) 图像检索系统【2 4 1 ， 注重于根据实际的应用环境和用户的需要，在检索框架中动态的组合调整各种不同的 图像特征，在图像检索领域中正式提出相关反馈体系结构。 近年来，国内一些科研机构也相继开展了基于内容的图像检索的研究工作，主要 有国防科大在多媒体数据库检索系统的研究，清华大学在视频检索方面的研究，西北 大学可视化技术研究所研究的图像检索成果在医学影像数据库和数字考古博物馆中的 应用，中国科学院计算机技术研究所研究的多媒体信息检索系统m i r e s ，可以在 i n t e m e t 上按内容对图像信息或文本信息进行检索等。 但就目前而言，基于内容的图像检索技术仍相当不成熟，理论上和实用上均有许 多问题亟待解决，尤其是在图像特征描述、通用性设计、系统性能优化及在i n t e m e t 上 实用化等方面，是尚待研究和解决的主要问题。因此，研究该项技术有着深远的意义， 同时也将面临巨大的挑战。 1 3c o n t o u r l e t 变换和非下采样c o n t o u r l e t 变换( n s c t ) 近年来，小波分析以惊人的速度完成了理论构建过程，广泛应用到数学、信号处 理、物理、天文、地理、生物、化学等各个学科领域。小波分析作为一种重要的逼近 3 广东1 = 业人学硕 ：学位论文 工具，具有良好的时频分析特性，可以最优地表示点目标，在处理一维分段连续信号 时，体现出了良好的分析性能。由于小波变换只有十分有限的方向性，在处理二维或 更高维信号，不能“最优”表示含线或者面奇异的高维函数，只能有效地捕捉边缘上的 不连续点，但不能最优地表示光滑曲线【2 5 1 。 为了解决小波分析不能在高维情况下最优表达光滑曲线的问题，许多学者提出了 多尺度几何分析方法( m u l t i s c a l eg e o m e t r i ca n a l y s i s ，m g a ) 。目前，人们提出的多尺度 几何分析方法主要有：1 9 9 8 年c a n d 6 s 和d o n o h o 提出的脊波变换( r i d g e l e tt r a n s f o r m ) 2 6 1 、 1 9 9 9 年的单尺度脊波变换( m o n o s c a l er i d g e l e tt r a n s f o r m ) 2 7 1 和曲线波变换( c u r v e l e t t r a n s f o r m ) 2 引、2 0 0 0 年e l e p e n n e c 和m a l l a t 提出的b a n d e l e t 变换【2 9 1 ，2 0 0 2 年d o 和v e t t e r l i 提出的c o n t o u r l e t 变换【3 0 。3 刁以及2 0 0 5 年alc u n h a 和z h o u 等人在c o n t o u r l e t 的基础上 提出了非下采样c o n t o u r l e t 变换( n s c t ) 3 3 - 3 5 等等。这些新方法的提出，无不基于这样 一个事实：在高维情况下，小波分析不能充分利用数据本身特有的几何特征，不是最 优的或者说“最稀疏”的函数表示方法。多尺度几何分析旨在构建最优逼近意义下的高 维函数表示方法，从而成为图像处理领域新的研究热剧3 6 3 7 1 。 c o n t o u r l e t 变换3 0 3 2 1 其主要特点是具有很好的方向敏感性和各向异性，能够准确地 将图像中的边缘信息“捕获”到不同尺度、不同频率的子带中，对图像进行多尺度多方 向的变换，在更多方向上获得了能量特征，在纹理的特征提取方面的性能有了明显的 提高。在允许一定冗余度的情况下，扩大基函数集合可以使变换更加灵活、完善地表 示图像信息，alc u n h a ，和z h o u 等人是在c o n t o u r l e t 变换基础上提出来的非下采样 c o n t o u r l e t 变换【3 3 。3 5 1 ，它是一种新型平移不变，多尺度，多方向性的变换。因此，c o n t o u r l e t 变换和n s c t 受到越来越多的研究者关注，并已应用于图像检索领域，尤其是纹理图像 检索。本文将c o m o u r l e t 变换应用于图像检索领域，具有重要的理论意义和实际应用价 值。 1 4 课题研究内容及论文的组织结构 本课题针对目前的研究现状和实际需要，结合所学知识，研究图像纹理和形状特 征提取，实现了融合图像纹理和形状特征的图像检索方法。利用高斯描绘子1 3 8 】提取图 像形状特征，利用c o n t o u r l e t 变换提取纹理特征来描述目标图像，减少图像的信息量， 去除冗余信息，提高目标图像的识别速度和精度。提出一种融合c o n t o u r l e t 纹理特征和 4 第一章绪论 高斯描绘子形状特征的图像检索算法。 在允许一定冗余度的情况下，n s c t 变换以“线”为单位分析图像，并且能实现平移 不变性，丢失更少的信息，更有效地表示图像中区域、边缘和纹理信息，因此，从理 论上来说，利用n s c t 变换在提取图像特征方面能取得很好的效果。基于n s c t 的特 点，同时提出一种融合n s c t 纹理特征和高斯描绘子形状特征的图像检索算法。 为了进一步提高检索的准确性，结合a d a b o o s t 相关反馈技术来收集用户对检索结 果的反馈信息，实现逐步求精的图像检索过程。通过检索实验，比较了基于g a b o r 、 c o n t o u r l e t 和n s c t 的三种算法在外观设计专利图像检索中的查准率和查全率，验证本 文提出的c o n t o u r l e t 纹理特征和高斯描绘子形状特征的图像检索算法的有效性和可行 性。 整篇论文的组织结构如下： 第一章简要论述了本文的研究背景和意义，介绍了基于内容的图像检索技术的基 本结构和主要特点，简要介绍了c o n t o u r l e t 变换和n s c t 特点，最后列出了本课题研 究内容及整篇论文的组织结构。 第二章系统分析了基于内容的图像检索领域的一些关键技术，如颜色、纹理和形 状等图像底层特征的描述方法，图像间的相似性度量方法，相关性反馈技术和图像检 索算法的评价准则等。 第三章分析了小波变换在图像处理中的不足，详细介绍了c o n t o u r l e t 变换与n s c t 的基本理论和实现过程，并从理论上分析比较了两种算法。 第四章基于c o n t o u r l e t 和n s c t 的特点，提出了两种融合纹理特征和形状特征的 图像检索算法：基于c o n t o u r l e t 纹理特征和高斯描绘子形状特征的图像检索算法，基于 n s c t 纹理特征和高斯描绘子形状特征的图像检索算法。加权融合纹理和形状特征，采 用欧氏距离进行相似性度量，并采用a d a b o o s t 算法进行相关性反馈。 第五章通过外观设计专利图像库检索实验，比较了基于g a b o r 、c o n t o u r l e t 和n s c t 的三种算法在外观设计专利图像检索中的查准率和查全率，验证本文提出的c o n t o u r l e t 纹理特征和高斯描绘子形状特征的图像检索算法的可行性和有效性，通过a d a b o o s t 相 关反馈过程，能有效提高图像检索的准确性。 最后，对本文的内容做了总结，对下一步工作做了展望。 5 广东t 业大学硕1 7 学位论文 2 1 引言 第二章基于内容的图像检索的关键技术 一般而言，基于内容的图像检索决定其检索性能主要有以下几项关键技术【3 9 训j ： 一是有效特征提取技术，即利用图像的底层视觉、中层区域、高层语义等特征来有效 地表示图像的内容；二是相似性度量，即度量查询图像与数据库中图像之间的相似性， 并得到匹配结果；三是借助相关反馈的思想，根据用户的需求及时调整系统检索时用 的特征和相似性度量方法，从而缩小底层特征和高层语义之间的差距。四是建立有效 的图像检索效果的评价准则。本章主要介绍常用底层视觉特征( 颜色、形状、纹理) 提取 方法、相似性度量函数、相关性反馈以及图像检索的评价准则等几项关键技术。 2 2 图像的底层视觉特征提取 2 2 1 颜色特征的提取 颜色特征是图像的基本特征之一，也是图像检索中应用最为广泛的视觉特征。相 对于其他特征，颜色特征对图像本身的尺寸、方向和视角的依赖性较小，具有较强的 鲁棒性。颜色特征的提取也相对简单，因而基于颜色特征的图像检索的研究受到广泛 的重视。能否准确充分地提取图像的颜色特征并用适当的方法加以描述，将直接影响 整个图像检索系统的检索效率和精度。在图像检索中，常用的颜色特征描述方法有颜 色直方图 4 2 1 、颜色统计矩特征【4 3 l 、颜色信息熵【4 4 ，4 5 1 等。 颜色直方图的方法是目前效果最好、应用最广的方法。s w a i n 首先提出了使用颜色 直方图作为图像内容的索引特征，即首先将颜色空间划分成若干固定的子空间，再对 每幅图像统计属于各个子空间的像素的数目，图像之间的相似性度量则采用直方图的 交【4 2 1 。颜色直方图特别适用于描述那些难以自动分割或不需要考虑物体空间位置的图 像。通过这种表达方法给出的色彩匹配的最终结果，构成了基于颜色检索算法的基本 框架。 颜色直方图可以反映每种颜色的频率分布，但原来的图像数据转化为空间色彩直 方图，失去了像素位置信息，无法描述图像中的某一具体的对象。不同的图像，可能 6 第一二章基于内容的图像检索的关键技术 具有相同的直方图，即直方图和图像是一对多的关系j 。由此可能会造成检索结果不 准确等问题。在实际应用中，基于颜色的检索方法通常和其他方法结合使用才能获得 更好的检索性能。 2 2 2 形状特征的提取 物体和区域的形状是图像检索中的另一重要特征，通常与图像中的特定目标对象 有关，相对于颜色和纹理而言可能包含更多的语义信息，因此在基于内容的图像检索 中，它也是最重要最常用的特征之一。 在二维图像空间中，形状通常被定义为一条封闭的轮廓曲线所包围的区域，所以 形状特征可分为轮廓特征和区域特征两种表示方法f 4 7 】。基于轮廓特征的方法关注物体 的外边界，将图像进行分割后提取边缘，得到图像的轮廓线，针对轮廓线进行形状检 索。基于轮廓的形状特征描述方法有：统计矩、h a u s d o r f f离【4 9 1 、傅立叶描述子刚、 小波轮廓描述子【5 l 】等，这些方法适用于处理图像边缘较为清晰且容易获取的图像。基 于轮廓的描述虽然能很好地反应物体的形状特征，计算量较小，但轮廓的检测、表示 和后续计算难以获得理想效果。 基于区域特征的表示法是通过图像分割技术提取出图像中感兴趣的物体，依靠区 域内像素的颜色分布信息提取图像特征，适合于区域能够较为准确的分割出来、区域 内颜色分布较为均一的图像。采用区域的面积、重心、离散度、不变距等方法来描述 物体的形状特征【5 2 1 。该方法易受到非均匀光照等因素的影响，计算量很大。由于人们 对物体形状的变换、旋转和缩放主观上不太敏感，合适的形状特征必须满足对变换、 缩放无关，这对形状相似度的计算也带来了难度。 文献【3 8 】提出了一种新的基于轮廓的形状特征高斯描绘子，与传统的一些轮廓 特征描述方法相比，具有如下优点：( 1 ) 平移、旋转和尺度不变性；( 2 ) 对边缘的缺失、 断裂或是粘连并不敏感，能承受一定的噪声干扰；( 3 ) 计算量小，速度快，而且识别精 度较高。 基于上述优点，本文采用高斯描绘子进行物体的轮廓特征提取。 7 广东t 业大学硕i j 学位论文 2 2 3 纹理特征的提取 纹理特征是一种不依赖于颜色或亮度反映图像中同质现象的视觉特征1 5 引，描述了 图像或者图像区域所对应景物的表面性质，与物体表面的组织结构有关。对于纹理图 像而言，在局部区域内可能呈现不规则性，但整体上表现出某种规律性，其灰度分布 往往表现出某种周期性。因此，纹理特征被广泛应用到基于内容的图像检索中。 纹理特征作为一种全局特征，描述了图像的表面性质，如粗细、稀疏等，对于检 索纹理特征比较明显的图像时，基于纹理特征的方法很有效。纹理图像具有层次性和 丰富的方向信息，特别适合于使用多尺度方向滤波器组分析【5 4 1 。通常，离散小波变换 【5 5 1 ，g a b o r 小波滤波器1 5 6 1 和复小波变换吲可以将纹理特征表达为子带的某种属性，比 如子带系数的能量。然而，这些小波方法要么只能提供有限的方向信息，要么计算复 杂度高。而c o n t o u r l e t 变换克服了小波类变换具有有限方向的局限，能够同时反映人类 视觉信息的三个基本要素，即尺度、空间和方向。这样，充分利用c o n t o u r l e t 变换域的 特征可以有效地提高纹理图像的检索性能【3 。 本论文将在第三章重点介绍c o n t o u r l e t 变换和非下采样c o n t o u r l e t 变换( n s c t ) 的理 论和实现过程。两种变换都能实现图像的多尺度多方向分解，能根据图像的几何特征 有效地捕捉图像中的光滑轮廓，利用c o n t o u r l e t 变换和非下采样c o n t o u r l e t 变换可充分 提取图像的纹理特征。 2 3 相似性度量 基于内容的图像检索是通过计算查询图像和数据库中的图像之间在视觉特征上的 相似性匹配。因此，定义一个合适的视觉特征相似性度量方法对检索的效果有很大的 影响。图像视觉特征大多数可以表示成向量的形式，常用的相似性度量方法都是向量 空间模型，它们之间接近程度可以采用距离度量的方法来进行相似度判断。常用的距 离度量方法有欧氏距离、曼哈顿距离、明氏距离等 4 6 , 5 8 】。 2 3 1 欧氏距离 对于两个n 维特征序列x 和y ，欧氏距离的定义如下： 8 第二章基于内容的图像检索的关键技术 = 阻卅2 j ， 欧氏距离是一个普遍使用的距离度量方法，它是在n 维空间中两个点之间的真实 距离，计算简单，并与参考系的旋转不变量相关。当所有特征向量不具备相同权重时 需要进行归一化： d ( x ，n = 掣丁 仁2 ， 2 3 2 曼哈顿距离 对于两个n 维特征序列x 和y ，曼哈顿距离的定义如下： d ( x ，y ) = i x ，- r , l ( 2 3 ) 2 3 3 明氏距离 对于两个n 维特征序列x 和y ，明氏距离定义为： rn五 j d (