多媒体信息检索技术

1、多媒体信息检索技术与方法基于内容的图像检索技术基于文本的信息检索方法多媒体检检索概概念理解解多媒体检检索是一一种基于于内容特特征的检检索（CBR：content-based retrieval）。所谓谓基于内内容的检检索是对对媒体对对象的内内容及上上下文语语义环境境进行检检索，如图像中中的颜色色、纹理理、形状状，视频频中的镜镜头、场场景、镜镜头的运运动，声声音中的的音调、响度、音色等等。基于内容容的检索索突破了了传统的的基于文文本检索索技术的的局限，直接对对图像、视频、音频内内容进行行分析，抽取特特征和语语义，利利用这些些内容特特征建立立索引并并进行检检索。在这一检检索过程程中，它它主要以以图

2、像处处理、模模式识别别、计算算机视觉觉、图像像理解等等学科中中的一些些方法为为部分基基础技术术，是多种技技术的合合成。多媒体检检索技术术与方法法多媒体检检索的特特点(1)相似性检检索：CBR采用一种种近似匹匹配（或或局部匹匹配）的的方法和和技术逐逐步求精精来获得得查询和和检索结结果，摒摒弃了传传统的精精确匹配配技术，避免了了因采用用传统检检索方法法所带来来的不确确定性。(2)直接从内内容中提提取信息息线索：CBR直接对文文本、图图像、视视频、音音频进行行分析，从中抽抽取内容容特征，然后利利用这些些内容特特征建立立索引并并进行检检索。(3)满足用户户多层次次的检索索要求：CBR检索系统统通常由由

3、媒体库库、特征征库和知知识库组组成。媒媒体库包包含多媒媒体数据据，如文文本、图图像、音音频、视视频等；特征库库包含用用户输入入的特征征和预处处理自动动提取的的内容特特征；知知识库包包含领域域知识和和通用知知识，其其中的知知识表达达可以更更换，以以适应各各种不同同领域的的应用要要求。(4)大型数据据库(集)的快速检检索：CBR往往拥有有数量巨巨大、种种类繁多多的多媒媒体数据据库，能能够实现现对多媒媒体信息息的快速速检索。多媒体检检索技术术与方法法基于内容容的多媒媒体信息息检索体体系结构构媒体数据据特征提取取目标标识识媒体库特征库知识库知识辅助助用户查询接口口检索引擎擎索引/过滤数据库特特征提取子

4、系系统数据库查查询子系统多媒体检检索技术术与方法法多媒体信信息检索索过程用户需求媒体资源内容查询内容索引匹配多媒体检检索技术术与方法法多媒体信信息检索索分类文本检索多媒体检检索图像检索视频检索音频检索多媒体检检索技术术与方法法基于内容容的图像像检索-图像检索索的过程程就是图图像特征征的提取取、分析析及匹配配。特征提取取：提取取各种特特征，如如颜色，纹理，形状等等。根据据提取的的特征不不同，采采取不同同的处理理，比如如提取形形状特征征，就需需要先进进行图像像分割和和边缘提提取等步步骤。选选择合适适的算法法，并在在效率和和精确性性方面加加以改进进，以适适应检索索的需要要，实现现特征提提取模块块。特

5、征分析析：对图图像的各各种特征征进行分分析，选选择提取取效率高高、信息息浓缩性性好的特特征，或或者将几几种特征征进行组组合，用用到检索索领域。特征匹配配：选择择何种模模型来衡衡量图像像特征间间的相似似度。多媒体检检索技术术与方法法*基于内内容的图图像检索索工作原原理图像特征征库数字图像像源用户相关反馈馈图像检索索特征提取取图像索引引多媒体检检索技术术与方法法基于内容容的图像像索引技技术：图像特征征提取技术术颜色特征征纹理特征征形状特征征图像索引主要技术颜色直方方图、颜颜色矩颜色集、颜色聚聚合向量量、颜色相相关图Tamura纹理特征征自回归纹纹理模型型基于小波波变换的的纹理特特征傅里叶性性状描述

6、述符形状无关关矩其他形状状特征空间关系系特征基于图像像分割的的方法基于图像像子块方方法多媒体检检索技术术与方法法图像颜色色特征颜色特征征是在图图像检索索中应用用最为广广泛的视视觉特征征，主要要原因在在于颜色色往往和和图像中中包含的的物体或或场景十十分相关关。此外外，与其其他特征征相比，颜色特特征计算算简单，同时对对图像本本身的尺尺寸、方方向、视视角的依依赖性较较小，具具有较好好的紧致致性。多媒体检检索技术术与方法法，定义如如下：其中ni为图像中中颜色取取值为i的像素个个数，N为像素总总数，K为可能的的颜色取取值范围围。这样计算算得到的的颜色直直方图就就是一个个K维的特征征向量。颜色直直方图所所

7、描述的的是不同同色彩在在整幅图图像中所所占的比比例，而而并不关关心每种种色彩所所处的空空间位置置，所以以特别适适合描述述那些不不需要考考虑特定定物体空空间位置置的图像像内容。颜色特征征颜色直方方图多媒体检检索技术术与方法法颜色特征征颜色矩这种方法法的数学学基础在在于图像像中的任任何颜色色分布均均可用他他的矩来来表示。由于颜颜色分布布信息主主要集中中在低阶阶矩中，所以只只采用颜颜色的一一阶矩、二阶矩矩和三阶阶矩就可可以表达达图像的的颜色分分布。与与颜色直直方图比比较，该该方法的的一个好好处就是是无需对对于特征征进行量量化。设设pij是图像中中第j个像素的的第i个颜色分分量，则则该颜色色分量上上矩

8、的计计算如下下：图像的颜颜色矩一一共有九九个分量量，每个个颜色通通道均有有三个低低阶矩。颜色矩矩仅仅使使用少数数几个矩矩，从而而导致过过多的虚虚警，因因此颜色色矩常和和其他特特征结合合使用。多媒体检检索技术术与方法法颜色特征征颜色集为了提高高检索的的速度，Smith和Chang提出了用用颜色集集的方法法，首先先将RGB颜色空间间转换成成视觉均均衡的颜颜色空间间（HSV），并将将颜色空空间量化化成若干干个bin，然后运运用颜色色自动分分割技术术将图像像分为若若干个区区域，每每个区域域用量化化颜色空空间的某某个颜色色分量来来索引，从而将将图像表表达成一一个二进进制的颜颜色索引引表。在在图像匹匹配中

9、，比较不不同图像像颜色集集之间的的距离和和颜色区区域的空空间关系系。因为为，颜色色集表达达为二进进制的特特征向量量，可以以构造二二分查照照树来加加快检索索速度，对大规规模的图图象集合合十分有有力。多媒体检检索技术术与方法法颜色特征征颜色聚合合向量针对颜色色直方图图和颜色色矩无法法表达图图像色彩彩的空间间位置的的缺点，Pass提出了图图像的颜颜色聚合合向量（colorcoherencevector）。它是是颜色直直方图的的一种演演变，其其核心思思想是将将属于直直方图每每一个bin的像素进进行分为为两部分分：如果果该bin内的某些些像素所所占据的的连续区区域的面面积大于于给定的的阈值，则该区区域内

10、的的像素作作为聚合合像素，否则作作为非聚聚合像素素。由于于包含了了颜色分分布的空空间信息息，颜色色聚合向向量相比比颜色直直方图可可以达到到更好的的检索效效果。多媒体检检索技术术与方法法颜色特征征颜色相关关图颜色相关关图（colorcorrelogram）是图像像颜色分分布的另另一种表表达方式式。这种种特征不不但刻画画了某一一种颜色色的像素素数量占占整个图图像的比比例，还还反映了了不同颜颜色对之之间的空空间相关关性。实实验表明明，颜色色相关图图比颜色色直方图图和颜色色聚合向向量具有有更高的的检索效效率，特特别是查查询空间间关系一一致的图图像。如果考虑虑到任何何颜色之之间的相相关性，颜色相相关图会

11、会变得非非常复杂杂和庞大大(空间复杂杂度为O(N2d)。一种简简化的变变种是颜颜色自动动相关图图（colorauto-correlogram），它仅仅仅考察察具有相相同颜色色的像素素间的空空间关系系，因此此空间复复杂度降降到O(Nd)。多媒体检检索技术术与方法法纹理特征征纹理特征征也是一一种全局局特征，它也描描述了图图像或图图像区域域所对应应景物的的表面性性质。但但由于纹纹理只是是一种物物体表面面的特性性，并不不能完全全反映出出物体的的本质属属性，所所以仅仅仅利用纹纹理特征征是无法法获得高高层次图图像内容容的。与与颜色特特征不同同，纹理理特征不不是基于于像素点点的特征征，它需需要在包包含多个个

12、像素点点的区域域中进行行统计计计算。在在模式匹匹配中，这种区区域性的的特征具具有较大大的优越越性，不不会由于于局部的的偏差而而无法匹匹配成功功。作为为一种统统计特征征，纹理理特征常常具有旋旋转不变变性，并并且对于于噪声有有较强的的抵抗能能力。但但是，纹纹理特征征也有其其缺点，一个很很明显的的缺点是是当图像像的分辨辨率变化化的时候候，所计计算出来来的纹理理可能会会有较大大偏差。另外，由于有有可能受受到光照照、反射射情况的的影响，从2-D图像中反反映出来来的纹理理不一定定是3-D物体表面面真实的的纹理。多媒体检检索技术术与方法法纹理特征征Tamura纹理特征征基于对纹纹理的视视觉感知知心理学学研究

13、，Tamura等人提出出了纹理理特征的的表达方方法。Tamura纹理特征征的6个分量对对应于心心理学角角度的纹纹理特征征的6种属性，分别是是粗糙度度（coarseness）、对比比度（contrast）、方向向度（directionality）、线像像度（linelikeness）、规整整度（regularity）、粗略略度（roughness），其中中粗糙度度、方向向度和对对比度在在检索中中最为重重要。在在Tamura表示中的的所有纹纹理性质质都是有有意义的的，与人人的主观观感受比比较吻合合，这使使得Tamura纹理表示示在图象象检索中中非常具具有吸引引力，而而且可提提供一个个更有友友好的用

14、用户界面面。多媒体检检索技术术与方法法形状特征征形状是描描述图像像内容的的一个重重要特征征。它常常与目标标联系在在一起，又一定定的语义义含义，因而可可以看作作是比颜颜色或纹纹理要高高层一些些的特征征。但另另一方面面，对形形状的表表达比对对颜色或或纹理的的表达从从本质上上要复杂杂得多，常需要要先对图图像进行行分割。由于当当前的技技术无法法做到准准确和通通用的自自动图像像分割，图像检检索中的的形状特特征只能能在特定定应用场场合使用用。在这这些应用用中，利利用特定定领域知知识可以以从图像像中分割割获得包包含的目目标（物物体或区区域）。多媒体检检索技术术与方法法形状特征征一般来说说，形状状特征有有两种

15、表表示方法法，一种种是轮廓廓特征，一种是是区域特特征。前前者适用用于对形形状边界界的描述述，而后后者则适适用于表表达形状状包含的的整个区区域。这这两类形形状特征征的最典典型方法法分别是是傅立叶叶描述符符（Fourier Descriptor）和形状状无关矩矩（MomentInvariants）。多媒体检检索技术术与方法法形状特征征傅立叶描描述符傅立叶描描述符的的主要思思想是将将经过傅傅立叶变变换后的的边界作作为形状状特征。从轮廓廓上的任任一点开开始绕轮轮廓一周周可以定定义一个个复数序序列：对其进行行离散傅傅立叶变变换，就就得到轮轮廓的傅傅立叶描描述：在此基础础上，文文献提出出了一种种改进的的傅

16、立叶叶算法，这种算算法不仅仅对噪音音具有很很好的鲁鲁棒性，而且对对几何变变换具有有不变性性，更加加适合图图像检索索的需要要。多媒体检检索技术术与方法法图像空间间关系特特征图像空间间关系特特征主要要用来描描述图像像中的对对象或者者物体。在图像像处理过过程中有有时会出出现上面面的特征征相似的的情况，此时就就需要利利用空间间关系来来描述图图像图像空间间关系特特征的提提取通常常有两种种方法：一种是是现对图图像进行行自动分分割，划划分出图图像中所所包含的的对象或或者颜色色区域，然后根根据这些些颜色区区域来对对图像进进行索引引；另一一种是将将图像均均匀的划划分若干干个规则则的子块块，然后后针对每每个图像像

17、子块分分别提取取特征并并建立索索引多媒体检检索技术术与方法法基于内容容的图像像检索方方法基于图例例的图像检索索方法外部图像像查询内部图像像查询草图查询询综合检索索方法利用检索索系统外外部图像像进行检检索查询提问问的图像像是检索索系统内部的图图像用户先画画出一幅幅草图，再根据据草图在系统统中查询询自己想想要的图图像现有的图图像检索索系统通通常都是是综合利用用上述方方法多媒体检检索技术术与方法法图像综合合检索方方法示意意图草图数字图像像抽象特征征用户输入入草图检索索外部图像像检索直接检索索浏览图像综合合检索示示意图图像图像图像多媒体检检索技术术与方法法图像相似似度比较较方法基于内容容的图像像检索是

18、是通过计计算查询询与候选选图像之之间视觉觉特征的的相似度度来完成成。在对对图像内内容进行行描述的的时候主主要采用用特征向向量的方方式，因因此，常常用的图图像相似似度比较较方法也也是基于于向量空空间模型型的，可可以将向向量特征征看作是是向量空空间中的的点，通通过计算算两点之之间的接接近程度度来衡量量图像之之间的相相似度。常用的的图像相相似度比比较方法法如下：直方图相相交、二二次距离离、马氏氏距离、欧拉距距离、非非几何的的相似度度方法多媒体检检索技术术与方法法相关反馈馈相关反馈馈是一种种查询逐逐步求精精技术，最初用用于文本本检索系系统中，主要特特点是将将用户引引入查询询过程，根据用用户的反反馈信息

19、息调整查查询要求求，从而而进一步步优化查查询结果果，直到到用户满满意为止止。用户户的参与与使系统统能更好好地揣测测用户的的意图，也使得得在低层层可视特特征和高高层语义义概念之之间建立立某种联联系成为为可能。图象检索索中的相相关反馈馈方法大大致可以以分为两两种类型型：参数数调整方方法和机机器学习习方法多媒体检检索技术术与方法法基于内容容的图像像检索系系统举例例IMEDIAIMEDIA按照数据据库的内内容划分分为五个个功能系系统。VisualRetrieval (generalist databases)、VisualRetrieval (biodiversitycollections)、Visu

20、alRetrieval withrelevance feedback（satelliteimages）、partial visualqueries (localdescriptors)和3Dretrieval多媒体检检索技术术与方法法多媒体检检索技术术与方法法IMEDIA之VisualRetrieval图像库VisualRetrieval (generalist databases)和VisualRetrieval (biodiversitycollections)的界面是是基本一一致的，但是VisualRetrieval (biodiversitycollections)更加专业业，主要要是

21、生物物学图像像库。下下面以以VisualRetrieval (biodiversitycollections)为例介绍绍一下该该系统的的界面操操作。多媒体检检索技术术与方法法VisualRetrieval (biodiversitycollections)界面示意意图多媒体检检索技术术与方法法利用fadebackmode检索的结结果多媒体检检索技术术与方法法该系统的的最上角角是settings系统设置置按钮，用来设设置系统统参数。点击设置置按钮将将进入入一个设设置面板板，如下下：多媒体检检索技术术与方法法IMEDIA之Visual Retrievalwith relevancefeedback

22、（satelliteimages）图像库库在这个库库中存放放的都是是地图卫卫星照片片，可以以进行地地理图像像检索多媒体检检索技术术与方法法显示与原原图之间间的数值值距离显示的是是图片出出自的数数据库显示图片片名字多媒体检检索技术术与方法法IMEDIA之partialvisualqueries(localdescriptors)图像库该数据库库支持点点模式，选择摸摸个图像像之后就就可以启启动点模模式，在在点模式式下，用用户可以以进行图图像区域域检索。支持点模模式检索索多媒体检检索技术术与方法法IMEDIA之3Dretrieval图像库该库中主主要存储储3D图像。该库不支支持各种种扩展检检索多媒体

23、检检索技术术与方法法补充一点点基于文文本检索索的方法法的小技技巧以Google为例Google用减号“-”表示逻辑辑“非”操作。“A B”表示搜索索包含A但没有B的网页。示例：“搜索引引擎历历史-文化-中国历史史-世界历史史”多媒体检检索技术术与方法法Google用大写的的“OR”表示逻辑辑“或”操作。搜索“A OR B”，意思就就是说，搜索的的网页中中，要么么有A，要么有有B，要么同同时有A和B。实例：“搜索引引擎现状状 百度度OR蜘蛛OR北大天网网-文化-历史”多媒体检检索技术术与方法法Google对搜索的的网站进进行限制制多媒体检检索技术术与方法法多媒体检检索技术术与方法法Google在某一类类文件中中查找信信息“filetype:”是Google开发的非非常强大大实用的的一个搜搜索语法法。也就就是说，Google不仅能搜搜索一般般的文字字页面，还能对对某些二二进制文文档进行