（教育技术学专业论文）基于颜色特征和相关反馈的图像检索研究.pdf

摘要随着信b - i ；女术和网络技术的迅猛发展，不断出现庞大的、不同内容的图像信息库，尤其是联网上的i 割像资源，不断地成倍增k ；数字幽像以其直观、生动、形象的特性，成为教学与教育中j 泛使川的一种媒体形式。在此背景下，研究开发教育图像资源的检索引擎，为更有效的利川t 教育幽像资源，促进教育资源的建设平推进教育信息化进程具有现实意义平价值。本文在教育劁像资源检索引擎系统框架r ，从颜色特征 u 4 州8 0 ，g b l 其中f = 三岩s ：l 一m i n ( r , g , b )，遗辽对从r g b 剑h s v 至1 日j 的转秧公式迸仃及l 目琏舁，找1 j 口j 以很答易地得到从h s v空间到r o b 空间的转换公式，假设给定h s v 空阃的个颜色值o l ，s ，v ) ，那么它对应于r g b 空间的r ，b 值分别为：肛击 + 丽s c o s ( h ) 肛万1 ( 1 书) 拈西埘础( 矿h 1 2 0 。)g ：；1 1 + 蕊s c o s ( h - 1 2 0 * ) j 月：毒( 1 一s ) b ：4 5 1 一月一g ( 1 2 0 日 2 4 0 )3c o s ( 1 8 0 0 - h ) l3 。b ：毒j1+蕊seos(h-240*)jg ：毒( 1 一s ) r ：4 5 一g b ( 2 4 0 日 3 6 0 )3c o s ( 3 0 0 _ h ) i3 。”田玉敏，林高全基于颜色特征的彩色图像检索方法西安电子科技大学学报( 自然科学版) 2 0 0 2 ( 1 ) 2 0j3 1 1 4l u v 和l a b 色彩空问为了寻找足够均匀的色彩空间以便于表示色差，c i e ( 国际照明委员会) 克服r g b 的缺陷，制定了x ，y ，z 为新的假想三原色及其与r g b 的转换关系，即x y z 计色制；并为视觉均匀而相继推出了l + u + v + 和p a + 等色彩空间1 6 jl a + 模型颜色由亮度或光亮度分量( l ) 和两个色度分量组成：这两个分量即a 分量( 从绿到红) 和b 分量( 从蓝到黄) 。它与设备无关：不管使用什么设备( 如显示器、打印机、计算机或扫描仪) 创建或输出图像，这种颜色模型产生的颜色都保持一致。由于盂塞尔颜色系统的颜色样品在视觉上是均匀的，其色度值，亮度值，彩度值大致反映了物体颜色的心理规律，代表了颜色的色度，亮度和饱和度的主观特性。因而可以用它来考察和验证与某一色差公式有关的颜色空间的均匀性。对p u + v + 和”a 岫+ 两个颜色空间检验的结果表明”，它们还不是理想的均匀色空间，但l a 要优于l + v + 。l + a 铀+ 空间的均匀性已有很大的改善，该系统与设备无关，色度值和明度值( 阶调) 可以独立调节，而且当颜色的色差大于视觉的识别阈限( 恰可察觉) 而又小于孟塞尔系统中相邻两级的色差时，能较好地反映物体色的心理感受效果。3 1 2 色彩空间的选择在前面我们己经讲到，色彩是可见光的一种特性，是人对颜色的一种主观评价，大多数彩色图形显示器使用红、绿、蓝三原色，但r g b 色彩空间中的色彩不能与感知上的颜色模型联系。在所有的色彩空问中，h s v 色彩模型以及c i e 色彩模型对应于画家配色模型，能较好的反映人对色彩的感知和鉴别能力，非常适合基于色彩的图像相似比较。另外，由于后者在与r g b 色彩空间的转换中涉及非线性变换，在实现中有一定困难。而对于h s v 色彩空间，虽然它与r g b 色彩空间的变换也是非线性变化，但是这种非线性变换的逆变换很容易实现。在图像颜色表示的各种方式中，h s v 颜色模型是一种适合肉眼分辨的模型，因为它把彩色信号表示为三种属性：色调、饱和度和亮度h s v ( h u e ，s a t u r a t i o n ，v a l u e ) ，这种颜色模型用m u n s e l l 三维空间坐标系统表示，因为坐标之间的心理感知独立性，可感知的颜色差是与颜色分量的相应样值上的欧几里得距离成比例的。综合以上因素，我们在图像相似性比较中采用h s v 色彩模式。这样，我们就可以通过在h s v 色彩空间中定义一种特征矢量量化公式来确定一个色彩的集合，这个色彩的集合表示了人服的敏感，同时对其进行了压缩。在我们的实验系统中，主要比较了r g b 、l a b 和h s v 三种颜色空间的检索效果，选择查询结果中的前九幅图像作为检索结果时，它们的检索准确率统计如图3 - 3 所示：“王可面向计算机辅助工业设计的色彩设计系统计算机辅助设计与图形学学报2 0 0 4 ( 1 0 )1 7h t t p ：w w w c g a n n e t b o o k b o o k s o r i n t p a c k c o l o r l i n k 5 - 4 - 3 h t m l c i e l 9 7 6 l + a b + 色度空间2 0 0 2 。3 2 1s e a r c hr e s u l tp i eo r d e r图3 - 3 不同颜色空问检索效果统计检索结果图见附录图一至图三。讨论与分析：( 1 ) 使用一般的直方图，l a b 空间的检索比h s v 空问的检索没有什么大的改善，两者检索效果相对都较好。( 2 ) r g b 检索效果最差，不符合人的视觉特征，尽管其检索速度展快，因为它省去了空间转换的消耗。( 3 ) 在对颜色的感知、分析和鉴别中，对颜色的表示越接近人们的，i i , 理感知越好。因而均匀的颜色模型更适合用颜色空间的距离，代表心理感知的颜色差距。在我们的实验系统中，采用量化的h s v 色彩空间模型。3 1 3 颜色直方图从数学上来说图像直方图是图像中各灰度值统计特性与图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数或概率；从图形上来说，它是一个二维图，横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像索点出现的次数或概率。图像直方图是图像处理中一种十分重要的图像分析工具，它描述了一幅图像的灰度级内容，任何一幅图像的直方图都包含了丰富的信息，它主要用在图象分割、图像灰度变换、图像检索等过程中。对一幅r g b 图象的灰度直方图统计与显示如图3 - 4 所示。图3 - 4r g b 图像的直方图显示颜色直方图是在许多图像检索系统中被广泛采用的颜色特征表示法。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的们)ohv岂山c霉对象或物体。颜色直方图特别适于描述那些难以进行自动分割的图像。颜色直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是r g b 颜色空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，r g b 空间结构并不符合人们对颜色相似性的主观判断。因此，在检索中，需要统计基于h s v 空间、l u v 空间和l a b等空间的颜色直方图，因为它们更接近于人们对颜色的主观认识。3 1 4 直方图检索与空间索引技术直方图检索是指通过比较两幅图像的直方图距离来判断两断图像的主观感知距离。晟早提出的是全局直方图检索。1 ，全局直方图检索方法即分别统计两幅图像的全局直方图，它们之间的相似性测度则采用直方圈的物理距离；全局直方图除了具有计算简单的特性外，同时还具有对平移和旋转不敏感的优点。但是，全局直方图无法捕足颜色组成之间的空问关系，如图3 - 5 的图i 中的a 、b 圈，它们的直方图统计值完全相同，但用a 图会检索出内容截然不同的b 图；同样，全局矩方法也丢失了图像的空间信息。事实上，颜色的不同空问分布极大地影响了人们对图像的相似性判断。目槲踊园嚼踊abab图i图i i图3 - 5 空间分布对检索的影响针对这一问题，引进了颜色的空间索引技术。2 ，颜色的空间索引技术上述的颜色特征反映的是图像的整体特征，而无法体现图像中所包含的对象或物体。事实上，图像中对象所在的位置和对象之间的空间关系同样是图像检索中非常重要的特征，如图3 - 5 的图i i ，使用分块后的局部直方图则可剔除b 图，打个比方，蓝色的天空和蔚蓝的海洋在颜色直方图上是非常接近而难以辨别。但如果我们指明是“处于图像上半部分的蓝色区域”，则一般来说就可以区分天空和海洋。由此可见，包含空间关系的图像特征对检索有很大的帮助。空间关系特征可以分为两类：一类方法首先对图像进行自动分割，划分出其中所包含的对象或颜色区域，然后根据这些区域对图像索引。这类方法中的图像空间关系特征主要包括二维符号串，空间四叉树和符号图像。匹兹堡大学的张系国教授提出了二维符号串( 2 d s t r i n g ) 的方法，其基本思想是将图像沿x 轴和y 轴方向进行投影，然后按2 d 子串匹配进行图像空间关系的检索。该方法比较简单，但缺点在于仅利川对象质心不足以表达对象的空间位置关系，而且描述的空问关系太简单，实际的空间关系要复杂得多。符号图像( s y m b o l i ci m a g e ) 方法是基于图像中全部有意义的对象已经被预先分割出来的假没，将每个对象川质心坐标和一个符号名字代表，从而构成整幅图像的索引。这些方法都假设所有对象都可以通过一定的特征被精确地识别出来，从而只需要关注如何匹配对象的空间关系即可。然而，对象并非总是由某些确定的特征构成的。此外，除了少数特殊应i _ i j 外，图像自动分割对大多数应用来说是相当困难的。另一类方法是避免准确的图像自动分割的困难，将图像均匀划分若干规则子块，对每个图像子块提取特征建立索引。在检索中，我们首先根据特征计算图像的相应子块之间的相似度，然后通过加权计算总的相似度。类似的方法还有四叉树方法，即将整个图看成四叉树的结构，每个分支都拥有的直方图来描述颜色特征。此方法可以支持对象空间关系的检索方法，例如“找出草地上是蓝色天空的图片”的查询可以通过把图像分割成上下两个子块，在每个子块中匹配相应的特征来实现。目前常用的索引方法有：2 1 子块颜色直方图方法即人为地将图像划分成适当固定的分块，然后为每个分块提取相应的局部颜色特征。例如，分块的颜色直方图和分块的颜色矩；q b i c 从预定义的颜色集中为每个分块选择主色，h s u 和c h u a ”则按照某种方法为整幅图像提取n 种主色，然后确定各分块属于主色中的哪种。2 2 基于像素颜色的空间相关性的聚类方法其出发点是基于如下推断：不同的图像如果在空间相近的位置同时存在颜色相似的大片区域，则这两幅图像具有较大的相似度。g o n g 和c o l o m b o ”属于此类方法。一项比较性研究”表明：在大多数情况下，聚类方法并不占什么优势。2 3 颜色对检索方法指明图像中一个子图分割图像为各个小块，然后利用选择小块来确定国像中感兴趣“m s t r i c k e ra n dm o r e n g o ”s i m i l a r i t yo f c o l o ri m a g e s s p i es t o r a g ea n dr e t r i e v a lf o ri m a g ed a t a b a s e ，1 9 9 9 ，2”wh s a ，tc h u 轧a n dh p u n g a ni n t e g r a t e dc o l o p s p a t i a la p p r o a c ht oc o n t e n t b a s e di m a g er e t r i e v a l 【c 】p r o e o f t h e a c mm mc o n e ，s a nf r a n c i s c o ，c a ：n o v 1 9 9 9 3 0 5 - 3 1 3”k a n k a n h a l l i m s ，m e h t r e b m ，w u c l u s t e r - b a s e d c o l o r m a t c h i n g f o r i m a g e r e t r i e v a l j l ，s a nj o s e ，c a , 1 9 9 82 1y e ec ，1 肌kc h u at s ，e ta 1 a ne m p i r i c a ls t u d yo fc o l o rs p a i i a lr e t r i e v a lt e c h n i q u e sf o rl a r g ei m a g ed a t a b a s e si e e ei n t e r n a t i o n a lc o n f e r e n c eo nm mc o m p u t i n ga n ds y s t e m s , 2 0 0 32 4的对象的轮廓通过建立更复杂的颜色对关系来查询图像。主要目的是借助图像中相邻子块之间的颜色真方图的配对建模，实现对图像中的具体对象的查询，支持对象的移位、旋转利部分变形；颜色对方法特别适合于对边界明显的对象的查询。它的实现思路是计算用户输入图像的子块直方图和用户选定包含查询对象的子块，计算这些子块与周围相邻的子块的颜色对表，将这些颜色对中差值小于某一域值的颜色对删除以消除颜色噪声，选取颜色对表中数值最大的儿个颜色对做为图片的代表特征，搜索目标图像的每一子块的颜色对表寻找与这些代表颜色对的匹配，再统计单一匹配次数，若有某一比例以上的颜色对匹配到，图像即被检索到。查询时颜色对的匹配应该是不精确的，应该允许的误差为2 以内。3 i 5h s v 色彩空间的非均匀量化3 1 5 1 相关工作从理论上来说，在抽取图像的颜色特征时使用真彩色将产生最小的误差。但是，特征抽取和特征匹配的计算量以及特征的存储都将随实际颜色数目增多而非线性膨胀，因此，使用真彩色在实际的检索过程中是不现实的。事实上，一幅图像中所包含的实际颜色数只是全部颜色数的一个很小的子集；而且，进一步的观察表明，图像中的实际颜色中若干主要色彩覆盖了图像中的绝大多数像素。如果以这些主要色彩来表示图像，尽管图像的质量会有所下降，但并不影响人们对图像内容的正确理解。基于此，可以采用颜色的矢量量化技术对原始图像进行预处理。在基于颜色特征的图像检索方法中，颜色直方图是重要的检索方法之一。由于对二维r g b 空问直接进行计算，存储量和计算量都较大，b mm e h t r e 等提出参考颜色表的方法”，用2 7 种自定义的颜色计算图像的直方图，后来他们又提出基于聚类颜色宜方图的方法，目的均是为了减少存储空间和计算复杂度，同时将相近的颜色归为一类，有利于提高直方图的近似匹配效果。国内伯晓晨等在这方面的工作中提出了“全局参考颜色表”和“自带参考颜色表”结合的方法”，刘忠伟等提出了局部累加直方图的方法，并对h s v 空间中颜色的相似分布进行了研究“。另一种研究方向是对颜色采用量化的方法来计算直方图，这种方法成为大多检索系统中采用的方法。较有代表性的方法是j r s m i t h 提出的h s v 空间中的1 6 62 2b mm e h t r e ，m s k a n k a n h a u i ，a d n a r a s i m h a l u ，g cm a n c o l o rm a t c h i n gf o ri m a g er e t r i e v a l p a t t e r mr e c o g n i t i o nl e t t e r 1 9 9 8 ，1 6 ：3 2 5 3 3 i伯晓晨，刘建平基于颜色直方图的图像检索中国图像图形学报1 9 9 9 ( 4 ) ：3 3 3 7 2 4 刘忠伟，章毓晋利用局部累加直方图进行彩色图像检索中国图像图形学报1 9 9 8 ( 3 ) ：5 3 3 5 3 7色量化方法”，将色调h 划分为1 8 份，亮度v 划分为3 份，饱和度s 划分为3 份，为灰度留出4 份，即1 8 3 3 + 4 = 1 6 6 色，在检索时采用颜色集( c o l o rs e t ) 的方法，用一值化的直方图来进行第一阶段检索，然后用一次型距离度量来进行第二阶段检索。曹莉华等考虑到h s v 空间与人的视觉感知并不一致，对色调h 进行非均匀量化”，划分为8 份，对亮度y和饱和度s 均划分为3 份，将直方图维数降为8 * 3 * 3 = 7 2 色。3 1 5 2 具体量化改进在借鉴现有h s v 非均匀量化研究成果的基础上，我们通过对颜色模型和大量试验数据的分析，对h s v 空间作了进一步的研究，对饱和度s 和亮度y 两个分量也根据人的视觉感知特点进行非均匀量化，使得量化后的颜色更能反映人的感知特性。把色调h 空间分成11分，饱和度s 和量度v 空间备分成4 份；并根据色彩的不同范围按公式( 3 - 3 ) 量化，另外，我们在检索时引入了空间信息，可以有效地提高检索的准确度。h =矿h 3 1 5 ，3 6 0 】0 h 【o ，2 3 ) ( 红)fh t 2 3 ，5 0 ) ( 橙)矿h 5 0 ，7 5 ) ( 黄)fh 7 5 ，1 5 5 ) ( 绿)fh 1 5 5 ，1 9 5 1 ( 青)fh e 1 9 5 ，2 7 5 1 ( 蓝)s ，矿h 2 7 5 ，2 9 0 ) ( 紫)矿h 2 9 0 ，3 1 5 ) ( 紫红)v 一00 ( s 一0 & & v o ，表示相应图像与目标图像的相似度，s i 越大，则相应的图像与查询目标越相似。利用公式( 4 1 ) ，新的查询向量可能更接近用户的真实查诲意圈。4 3 2 使用方差调整距离测度很多时候，用户对图像的局部关注程度可能尤甚于圈像的全局；同时，用户也可能通过某些局部的相似性来判断两幅图像是否相似。本文所述及的多分块主色算法为捕足图像的颜色的空间关系提供了可能，不同的分辨率乃至同一分辨率内的不同分块对图像的整体含义所作出的实际贡献并不完全均等的。在用户作出相似性判断时，有些分辨率以及分块所起的作用可能要大于另外一些分辨率和分块。现在的问题是：如何从用户的反馈信息中识别出不同的分辨率以及分块的重要程度? 重要的分辨率和分块在距离测度中应该给予更多的关注。在第四章的3 ，1 5 1 节中公式( 3 5 ) 中有一系列的权重系数w i ，它们用于调摧不同的分辨率和分块在距离测度中所占的比重。一开始，所有的权重系数都给定一个缺省的初始值，如图4 - 1 。根据用户的反馈信息，本文使用分块的距离方差来动态调整这些权重系数。调整的基本思想是：根据用户的反馈结果计算所有反馈图像的对应分块问的距离的加权方差，方差小的分块表示相互问比较一致，因此其重要性应该得到加强：同样，对于某一分辨率的分块策略，则计算其中所有对应分块问的距离的平均加权方差，平均加权方差较小的分辨率的重要性应该得到加强。图4 - 1 栅咯枕直设置示意如果使用f 表示经过移动查询向量后第，个分块所对应的主色特征向量，同时，以相似度毋作为加权系数，则可以为每个分块定义如下式所示的加权方差：( 4 2 )3 5盯j = t 巧( 1 ( f ) ，i ，)距离测度公式中每个分块的权重系数则通过下式计算得到：嘉jx e f , ”2 豇碍m 。( 4 3 )将上述方法应用于图像检索中，从用户查询角度来看，则查询过程如图4 - 2图4 - 2 相关反馈的执行过程图多次检索的基本思想就是在保留用户反馈图像的基础上，根据调整后的权重系数，选择下一次的检索图像，然后根据用户需求选择检索方法，再作二次检索，此时的待检索图像q可以是用户选择的前次检索结果中的某幅图像，从而使检索出的图像更接近使用者的主观愿望，为了体现全局直方图和分块主色法各自的优点，用户可以在多次检索中，针对不同的图像采用不同的反馈策略，然后通过保留反馈图像综合多次检索的结果，得到更高的检索准确率。实验结果表明，多分块主色策略使得通过方差调整测度距离的反馈方法得n t 较好的应用背景，有效提高了检索准确率，实验数据与结果在第五章的系统实现中讨论，检索效果图参见附录图十一至图十四。第五章基于颜色特征的自适应图像检索系统实践5 1 系统结构与实验环境本实验系统架构在w i n d o w s2 0 0 0 操作系统上，图像库使用s q ls e r v e r2 0 0 0 ，系统开发工具使用v i s u a lc + + ( m f c ，g d l ) ，部分实验使用m a t l a b 完成。选择c + + 来实现图像检索的原因在于：c + + 在程序运行的效率、内存使用的可控性和编程的灵活性上具有优势。图像处理需要大量的图像数据，经常使用复杂、费时的算法，因此图像检索程序的效率非常重要。c + + 代码被编译成汇编语言，可以直接在处理器上运行，效率很高。而j a v a被编译成字节码，c # 被编译成中问语言，都是不能直接在处理器上执行的，必须经过j a v a虚拟机或者n e t 通用语言运行的j i t 编译之后才能执行，因此效率较低。对庞火的图像数据进行处理需要使用大量的内存，而计算机的物理内存往往是有限的因此需要有效地控制内存的操作。c + + 不是使用j a v a 或c # 的垃圾收集机制，虽然很繁锁，但更能有效地控制内存的使用。同时，c 十+ 大量使用指针，使得编程的灵活性更高，更能提高程序的效率。因此在系统的实现时，我们选择了c + + 作为开发语言，使用v c h 作为开发工具：同时为了提高编程的效率，我们的系统建构在m f c ( 微软基础类库) 之上。对于图像的处理和输出，使用微软提供的g d i 和后续版本g d ip l u s 。根据实际需要在两者中进行混合编程。测试图像库的建立。在测试中，我们选择和建立了两个图像库，第一个是k 1 2 资源库中的图像分类库h t t p ：61 1 4 4 2 3 5 2 3 5 ：8 0 8 2 s i g m a x p n a g a i n d e x p h p 3 ( 其中分为2 1 个大类，5 8 】个子类，图片数约为8 0 0 0 多幅) ：对这个数据库稍作整理后，用于测试各种检索方法的平均查准率；考虑到第一个图像库的子类图像间相关性本身较高，为了测试相关反馈技术的性能，我们建立了第二个库，主要是从i n t e m e t 的各种教育资源网上下载的图像组成的，命名为e d u _ p i c s 。其中两个图库中的图片包括j p g 、b m p 、g i f 等格式，颜色位数有2 4 色真彩、1 6位、8 位等。5 2 图像检索类库i m a g e l i b 的封装在这一部分，我们主要做如下五个方面的工作首先，用面向对象的方法分析d i b 操作；其次，定义d i b 处理函数集；3 7再次，整合d 1 b 处理函数集，设计核心类c d i b 类；然后，在c d i b 类基础上，构建检索系统所需的功能类：最后，根据前面论述的检索策略，在相关功能类的基础上实现检索系统原型；由于d i b 位图能独立地保存固有的图像信息，能在不同的系统中重显其图像，故成为w i n d o w s 环境中的基本图像格式。本系统是基于d 1 b 来进行设计的。由于m f c 中没有设计处理d i b 位图的类，因此，利用v i s u a lc + + 进行d i b 位图处理时。只能使用传统的“非面向对象”的方法，即直接调用w i n 3 2s d k 的有关a p i 函数。这对没计和开发个图像检索引擎来说会显得非常紊乱，在后期调试中会非常痛苦。因此定义一个处理d i b 位图检索的专用类( 本系统中为c d i b ) 类，并在其中封装必需而有效的d i b 数据成员和处理函数是一个好的解决办法。但是在构思这个类时，发现w i n 3 2s d k 为我们提供的处理d i b 位图的a p ! 函数非常的少，为此，先设计好套处理d i b 位图的完整函数集，在实现c d i b 类函数时，调用该函数集，代码将会更为简炼，思路也更为清晰。m f c 的类实现也是以w i n 3 2s d ka p i 函数为基础的，因此在设计c d i b 类时，我们在系统实现之初，设计了自己的一套对应的处理d i b 的函数集，封装了一些实用的、尤其是用于图像检索中预处理的一些功能。5 2 1 定义d i b 处理函数集w i n 3 2s d k 仅提供了九个d i ba p l 函数，在图像处理与检索应用中很不够，我们必须以此为基石，定义一套完整的d i b 处理函数。定义好的d i b 处理函数如表5 1 所示：函数类型函数名功能c r e a t e d i b创建一个空的d i bc r e a t e d e f a u l t d i b用当前系统调色板创建一个空的d i b初始化函数d e s t r o y d i b释放d i b 内存块l o a d d i b从d i b 文件中装载d i b 数据s a v e d i b将d i b 存到文件中l o a d d i b f j 】e读d i b 文件到内存中b y t e s p e r l i n e获取d i b 每行所占的字节数d i b l o c k s i z e获取d i b 数据块的大小d l b h e i g h t获取d i b 高度属性函数d 1 8 w i d m获取d i b 宽度d l b n u m c o l o r s获取d i b 的颜色数d i b b i t c o u n t s获取d i b 的图像颜色位数f i n d d i b b i t s获取d 1 b 的数据块的地址( 指针)p a l e t t e s i z e获取d i b 的调色板中的颜色表项数d i b t o d b s e c t i o n将d i b 数据块转换为d i b s e e t i o nd l b s e c t i o n l 、o d i b将d 1 b s e c t i o n 转换为d i bc o n v e r t d i b f o r m a t修改d i b 格式操作函数c h a n g e b i t m a p f o r m a t修改d d b 的格式h s l t o r g bh i s 颜色空间转换为r g br g b t o h s ir g b 颜色空间转换为h s ic h a n g e d i b f o r m a t基于当前系统调色板修改d i b 的格式显示函数p a i n t b i t m a p显示d d bp a i n t d i b显示d i bc r e a t e d i b p a l e t t e创建d i b 调色板d i s p l a y p a l e t t e显示调色板调色板函数c o p y p a l e t t e拷贝调色板g e t s y s t e m p a l e t t e获取当前的系统调色板p a l e n 确e s o n d e v i c e获取设备的调色板表项数c r e a t e l d e n t i f y p a l e t t e创建等同调色板m a p d i b c o l o r s t o p a t e t t e按指定的调色板映射d i b 的颜色表5 - 1 d i b 处理函数集以上函数集包含了位图处理中的大多数基本操作，我们也特别设计了一些在图像检索预处理中用到的操作函数，如颜色空间的转换，位图格式转化中的颜色量化，调色板的操作等等，这保证了检索原型开发的便捷与效率。5 2 2c d i b 类的设计与实现用面向对象的方法处理位图的核心是设计一个处理d i b 的类c d i b 类，在上述函数3 9集的基础上，从功能、父类、数据封装和继承等方面来进行c d i b 类的设计。功能：根据对d 1 b 处理函数集的分析，以及参照m f c 中c b i t m a p 类的功能设计，c d i b的基本操作功能就包括：( 1 ) 各种形式的构造函数；( 2 ) d i b 文件的读、写操作；( 3 ) 从资源中装载d i b 位图：( 4 ) d i b 的显示与缩放显示；( 5 ) 提供d i b 的空间、颜色和格式特征等信息；( 6 ) d i b 格式转换；( 7 ) d i b 调色板操作；( 8 ) 能获取d i b 位图数据的句柄；( 9 )能生成d i b 数据的拷贝；( 1 0 ) 能在d i b 上使用g d i 操作，即在d i b 上画图。父类：m f c 中的c o b j e c t 类是m f c 中其他大多数类的根类和基类。它不但提供了许多有用的特性，还包括对文件串行化的支持，运行时的类信息和对象诊断的输出等。此外，c o b j e c t 具有最低限度的成员数据和函数，从它派生所花的代价是最低的，因此我们放弃了m f c 中原有的支持d d b 操作的c b i t m a p 类，而采用c o b j e c t 类作为其父类。数据封装：数据封装是面向对象方法的重要优点，它可以保护类中的数据不受外部的意外修改。但是过分“纯粹”的数据封装，需要付出降低程序效率的代价，特别在设计像c d i b 这样需要大量使用w i n 3 2a p i 函数的类时，这种缺陷特别突出，因为在我们检索实验中，操作d i b 的a p i 函数大多需要一些d i b 的属性( 如d i b 相关的d d b 和调色板) 作为参数，如果硬将这些属性封装起来，则需要在类中重新实现许多w i n 3 2a p i 函数，这不但要花费大量的精力，而且很可能因此而产生错误和低效。所以，在设计c d i b 时应采用既尽可能保证数据的封装，又能保证效率的提高。继承：c d i b 类的另一个设计1 1 标应考虑到，如需要从c d i b 类中派生子类，要考虑其可继承性。通过将有关的成员函数定义为虚函数，可以保证在派生类中重载它们，以支持继承中的多样性。在c d i b 类建立好后，对其功能进行了测试和完善，为了便于在系统开发中的调用，将其封装到一个静态库d i b l i b 中，对于调用d i b 处理函数的项目，只需提供c d i b h 和d i b l i b 1 i b 即可。5 2 3 系统功能类的设计在构建并测试好c d i b 类之后，接下来就要考虑检索中的功能模块，并设计相应的功能类：因为检索系统基于m f c 的文档，视图类，因此，对图像文档的读取、格式转换与保存操作在文档类中进行，而图像和操作信息的显示、界面与图像的刷新在视图类中实现，此外，其它的关键功能类如图5 1 所示：l 竺堕墨j图5 - 1 关键类和方法设计最后，封装d i b l i b 1 i b 和上述各类，创建图像处理与检索的动态链接库i m a g e l i b d l l 。5 2 4 功能模块与系统原型本图像检索实验系统的功能如下图5 2 所示，主要流程包括图像预处理阶段、特征抽取阶段、识别分析阶段等。图5 - 2 系统功能模块图4 l1 ，文件操作：本实验系统支持b m p ，j p g ，g i f ，t i f f ，p c x 等文件格式的相互转化与统一检索：本实验系统实现了对j p g 文件的压缩编码与解码的运算”，并支持与其它格式的转换。基于此，本系统还提供了多文档界面的图像浏览与组织功能，方便用户对检索资源的使用和管理。2 ，图像预处理：在实际应用中，由于噪声、光照等原因，有时原始图像不是完美的，图像的质量不高，所以需要进行预处理，以有利于提取我们感兴趣的信息。图像的预处理既可以在空问域实现，也可以在频域内实现，本系统主要实现在空间域内对图像进行点运算，让用户改变图像上像素点的灰度值，主要功能包括对关键图( 目标图) 的图像变换，图像增强、平滑滤波、锐化，颜色处理( 颜色位数、灰度转化) ，边缘增强等，以便于对关键图的检索。3 ，颜色空间转化：本系统支持r g b 、h s v 、l a b 、h s i 等颜色空问模型，并提供空间模型之间的相互转换，其中r g b 主要用于关键图和查询结果图的显示，而其它模型主要用于图像检索。4 ，图像检索：为了便于比较，在检索方法中，本系统除了分块主色检索方法外，还提供了全局直方图，子块直方图，颜色对等检索方法，在颜色空间模型中，除了使用h s v 非均匀量化外，也使州了h i s ，r g b ，y u b 等颜色空问的检索，因为这些颜色模型在一定的图像类型检索中往往也有效。此外，对于大量图像库的检索，是一件计算量很大的工作，因此系统采用了多线程技术，将图像的特征提取、图库的遍历、相似度计算、排序显示等工作放在不同的线程中，提高系统的检索速度。下面具体介绍一下基于颜色感知和相关反馈的图像检索执行步骤( 在这里采用示例查询，q u e r yb ye x a m p l e ) ：1 ，对于用户指定的关键图，使用r g b 色彩空间绘制原图，并按照系统默认的色彩空间进行直方图统计( 默认检索色彩空间为h s v ，并按照第二章中公式进行非均匀量化并合成一个由h s v 合成的一维特征矢量) ，将此特征矢量记为q 。，同时在界面中绘制出此直方图：2 ，由用户指定要检索的图库，并启用多线程，按照上述方法对每一幅图像提取一维特征矢量p i ；3 ，若用户使用了分块检索，系统则要进行二维空间的划分，并采用默置的分块权值矩曲j p e g 编程繁杂，本实验系统的j p e g 编码借助了“i n d e p e n d e n tj p e g g r o u p ”的t h o m a s ( l a n e 编写的c语言开放源码j p e g l i b 2 ，笔者基于该库，结合c d i b 类设计了c j p e g 类。4 2阵w ，针对图像中的每一分块，对特征矢量q 作统计，根据q i 的直方图，提取象素点数目最多的颜色作为分块的主色，这样得到一个综合的空间颜色特征向量q = ( q i ，q 2 ，q n ) ；4 ，每得到图库中一幅图像的特征q 后，按相似度公式s 砌c b 曲= 专善( t 一面氅云 来量度相似程度，并将值记入相似度数组s i m i l a r y 2 0 r p ：4 ，对相似度数组进行排序，并返回显示作为此次的检索结果。5 ，如果用户对检索结果不满意，可选择检索结果中的一幅图象q 作为查询目标，按照第四章的算法，调整分块权重和特征向量，进行再次检索，从而使检索出来的图像更接近使用者的主观愿望。检索系统原型界面如图5 - 3 至图5 - 5 所示：图5 - 3 基于多分块主色和相关反馈的检索界面4 35 3 实验结果与讨论图5 4 多文档图像预处理与浏览界面图5 - 5 调整分块权重选择界面+ 基于前面提出的系统结构、基于内容的检索算法、相似性度量以及相关性反馈等技术，我们实现了一个原型系统一- - s m a r t s e e k 在这一节中将给出具体的实验过程和结果，并进行评价和讨论。下面将具体进行论述。在具体实现中，将r g b 真彩色图像量化成h s v 空间的图像，多分辨率的划分方法以及权重系数的初始值的设置分别如第三、四章所述。用户进行过相关反馈后的权重系数的调4 4整则根据第四章公式( 4 3 ) 来确定。这种策略使得初次查询可以自动选择不同的分辨率。在原型系统的基础上，我们设计了三个实验。第一个实验是不同色彩空间( 包括h s v 非均匀量化空间) 的检索有效性实验：第二个实验是平均查准率对比实验，以便比较不同方法的查询效果：第三个实验则是为了测试本文所采用的相关反馈策略的有效性。第一个实验我们对比不同颜色空间检索的效果，采用“有效性( e f f e c t i v e n e s s ) ”来测度，测量有效性只需要一个较小的实验图像组( 常为2 0 , - 4 0 幅图像) ；这些图像包含与查询图不完全相同的视觉元素( 颜色，纹理，形状) ，但它们与查询图属于同一个类别。在具体实验中，为了使效果对比更为明显，我们采用- - 4 段视频的连续帧( 1 0 6 幅) 作为实验组图，采取各种颜色空间的检索结果见附录图一至图三；实验结果表明非均匀量化的h s v 空间模型更符合人的感知，在第二章己详细阐述。第二个实验所采用的测试图像数据库是k 1 2 教育资源库中的图像分类库h t t p ：6 1 1 4 4 2 3 52 3 5 ：8 0 8 2 s i g m a x p n a g a i n d e x p h p 3 ( 其中分为2 1 个大类，5 8 1 个子类，图片数约为8 0 0 0 多幅) ，图像题材包括人物、校园、国画、漫画、地理，动物等类别。尽管原始数据库已经进行了初步分类，但是同一类别中有的图像从内容和视觉上差异还是比较大。为此，基于原始分类( 总共2 1 个大类别) ，我们对测试数据库的类别再次进行选择和细化，剔除少数与其他图像截然不同的孤立图像后得到5 1 个子类别，每个子类别所包含的图像数目从2 到5 0 不等，其中有2 0 多个子类别的图像数目超过了2 0 幅。所有图像合并在一起构成了一个总共包含7 1 4 幅图像的测试数据库。经过细化后的子类别的示例( 同一行的图像属于同一个子类别) 见附录图四。为了使实验更加客观，我们规定：判断两幅图像是否相似的依据是它们是否属于同一子类别。实验过程如下：分别从图像总数目超过1 4 幅的1 0 个子类别中各随机抽取5 幅图像作为查询图像，这样构成了5 0 次查询。对于每次查询，计算当在查询结果中分别取前l 直到前1 4 幅图像时( 即前十四幅图作为有效查询结果) 相应的查准率。综合5 0 次查询，得到了相应的平均查准率，如图5 - 6 所示。其中某一次的检索结果图见附录中图五至图十。如章毓晋基于内容的视觉信息检索北京：科学出版杜2 0 0 3 5 ：7 4 7 54 5s e a r c hr e s u l tp i eo r d e r图5 - 65 0 次查询的平均检索率比较lh s v - n h 叩。h s v - s k b - w d。h s v - s u b h w d除了本文所讨论的多分块主色法外，为了使结果具有可比性，还考察了另外两种方法全局直方图和局部直方图累加法。从图5 - 5 的曲线可以看出( 1 ) 本文所讨论的方法在平均查准率上与局部直方图法相当，但要明显优于全局直方图法。分块主色法的优势之所以没能发挥出来是跟我们所选择的查询目标图有关，这是因为查询目标图颜色分布较均匀，主色并不是十分明显，主色提取算法无用武之地。( 2 ) 显然，考虑颜色空间分布的分块法丧失了几何变换不变性，而这正是全局直方图所擅长的，这也说明了全局直方图方法在某些特殊场合下还是很有效的。在实验中还发现：单纯的颜色直方图在结果中可能检索出全然不相似的图像：而本文的方法所得到的查询结果即使不属于同一个子类别，在外观上还是有一定的相似性的。进一步，本文所叙述的分块方法在整体上优于全局直方图，更适合对图像局部信息的检索，在平均查准率上占据了优势。因此，我们重新选择查询目标图作检索对明显，也进行5 0 次检索后得到平均检索率这次查询目标图色彩分布不均匀，主色块褶统计出如图5 7 所示平均查准率曲线。s e a r c hr e s u l td 屺o r d e r图5 75 0 次查询的平均检索率比较2jm7js309nc m z0jjjsr_100u=说明：查询目标从另外超过1 4 幅图的1 0 个子类别中选择。可以看出：( 3 ) 当选取查询结果的前1 4 幅图像作为检索结果时，多分块主色法占有比较明显的优势。因为它以各分块的主色作为图像的颜色特征，对色块明显的图像检索性能较好。( 4 ) 从检索的速度来看，全局直方图由于没有图像空间划分，加权统计比较等消耗，检索速度明显比分块主色轻快很多。对图库中7 1 4 幅图的检索，分块主色法的平均耗时约为全局直方图法的2 5 倍。更重要的是，本文所讨论的方法可以很好地融合相关反馈技术，以便根据用户的实时反馈对查询进行细化，从而有效地提高查询效果。为了验证本文所讨论的相关反馈方法的有效性，我们殴计了第三个实验，即利用多次相关反馈来改善查询效果。k 1 2 的图像数据库中的图像之间的相关程度比较高，一般初次查询便能得到较好的查询效果。为此，我们创建了另外一个测试数据库e d up i e s 。这个数据库中的图片是从i n t e m e t 各教育资源网上下载组合得到的。附录中图十一为e d up i e s 数据库的初次检索结果，在查询结果的前2 0 幅图像中，有3 幅图像与查询目标比较相近。图十二是经过一次相关反馈后的检索结果，其中相关的图像的数目增加n t7 幅，而且相关图像的位置也更加靠前了。在第一次相关反馈的基础上再次进行相关反馈操作得到了如图十三所示的检索结果，可以看出，相关图像的数目已经增加到9 幅，并且前8 幅图像全部是相关的，第三次反馈检索达到1 l 幅，第四、五次维持在了11 幅。共反馈六次的检索准确率统计示意图如下：m3曼uoac一=6 05 04 03 02 01 0123455f e e d b a c kt i m e s图5 - 8 多次检索统计( 5 ) 这说明：通过相关反馈能比较有效地捕足用户的查询意图。采用相关度和分块问的距离方差来调整合分块以及同种分块内各子块在距离测度中的权重系数，从而在分块主色算法中融入相关反馈技术，使系统能较好的自适用不同的分块策略，有效改善了基于颜色特征的查询效果。4 7总之，对于一般题材的图像，不考虑颜色空间分布的的全局直方图有可能把外观上根本不相似的图像作为很相似的图像对待，本文所讨论的分块主色方法可以克服了这一弱点，并能有效结合相关反馈，具有定的检索适用性，有效地提高了总体检索效果。从整个检索的实验过程来看，表明不同的方法在不同的应用场合有自己的优势，用户在使用时应考虑综合使用各种方法。5 4 进一步的完善与应用前景5 4 1 存在的问题图像颜色特征的检索存在的主要问题是人对色彩特征的视觉感知方面考虑的仍然不够，虽然目前大多数的图像检索采用了和人对色彩感知相一致的色彩空间，但关于两种色彩之间的相似度的定义和视觉上人对相似色彩的判定仍有一定的差距。这种相似性判定仍需要进一步研究。为进一步提高颜色特征的检索效果，还要从色彩物理、视觉、心理几方面进行综合深入研究。今后，我们将在原型系统s m a r t s e e k 的基础上对功能进行进一步地扩展。主要将包括如下几个方面的工作：( 1 ) 更好地总结其他视觉特征甚至语义特征，实现对图像的多方位查询；( 2 ) 本文所讨论的相关反馈主要是联机反馈分析，今后将进一步融入语义网络分析和脱机反馈，以便在查询过程中更好地实现系统的自适应和自学习；( 3 ) 研究图像数据库和有效的索引技术，以便系统在面临大规模数据时还能有较好的查询效率。数据库的图像是以一定的形式存储的，当图像数目较少时，用顺序存储结构就能较快的检索出图像，然而随着图