第8章-多媒体数据库

第8章多媒体数据库

8.1数据库概述8.2多媒体数据的存储问题8.3基于内容的检索技术

8.1数据库概述数据库作为计算机技术的重要分支，目前已经影响到人们生活的各个方面:购买火车票、飞机票去医院看病:挂号、检查、缴费工厂和公司里面人事管理越来越多的领域，都需要把相关的信息进行提取和存储，进行有效的管理

8.1数据库概述对原始资源主要进行管理和处理工作中，有两个概念：数据处理对数据进行收集、存储、加工和传播。其目的有二：1)从大量原始数据中推导出有价值信息2)利用计算机科学地管理这些数据数据管理对数据的分类、组织、编码存储、检索和维护

8.1数据库概述一常用术语和基本概念数据（data）描述事物的符号记录，包括数据的表现形式和数据的解释两个部分。例1（李明，男，21，江苏，计算机系，1990）

表现形式：文字、数字数据解释：李明是个大学生，1972年出生，男，江苏人，1990年考入计算机系

8.1数据库概述数据库（DataBase，简称DB）长期存储在计算机内的、有组织的、可共享的数据集合。数据库中的数据按照一定的数据模型组织、描述和存储，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各个用户共享。例：常见数据库

AccessInfomix

AqlServerDB2

SybaseOracle

8.1数据库概述数据库管理系统（DataBaseManagementSystem，简称DBMS）主要功能包括：1、数据定义功能2、数据操纵功能3、数据库的运行管理4、数据库的建立和维护功能

8.1数据库概述数据库系统（DataBaseSystem，简称DBS）一般由数据库、数据管理系统（及其开发工具）、应用系统、数据库管理员和用户组成。用户用户用户应用系统应用系统开发工具数据库管理系统数据库管理员操作系统数据库8.1数据库概述

依据独立性原则，DBMS一般按层次被划分为三种模式：物理模式、概念模式、外部模式(视图)。物理模式的主要职能是定义数据的存储组织方法，如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等。学生人事记录学号姓名性别系别年龄政治面貌家庭出生籍贯家庭成员奖罚情况8.1数据库概述概念模式定义抽象现实世界的方法;概念模式通过数据模型来描述

;数据库系统的性能与数据模型直接相关。

学生基本记录学号姓名性别系别年龄政治面貌家庭出生籍贯日期地点学历学生人事记录学生学籍记录学生选课记录家庭成员奖罚情况课程号学号学分8.1数据库概述

数据库数据模型先后经历了网状模型、层次模型、关系模型等阶段。关系模型有比较完整的理论基础，“表格”一类的概念易于被用户理解，在数据库中居主导地位。关系模型把现实世界事物的特性抽象成数字或字符串表示的属性，每一种属性都有固定的取值范围。于是，每一个事物都有一个属性集及对应它的属性值集合。8.1数据库概述8.1数据库概述

传统数据库模型主要针对的是整数、实数、定长字符等规范数据。而多媒体数据库处理的是不规则的数据。

多媒体数据库技术需要研究的问题：如何用数据库系统来描述将怎样进行检索查询如何表达多媒体信息的内容该如何处理这些数据呢8.1数据库概述8.2多媒体数据的管理问题

1.数据库的组织和存储媒体数据的数据量大媒体间的差异极大

只有设计好适合的物理结构和逻辑结构，才能保证磁盘的充分利用和应用的快速存取。信息系统范围的扩大

别指望在一个站点上就存储上万兆的数据，必须通过网络加以分布。8.2多媒体数据的管理问题

2.媒体种类的增加每一种多媒体数据类型要有自己的一组最基本的操作和功能。每一种多媒体数据类型要有自己的适当的数据结构以及存取方式。要求多媒体数据库管理系统能够不断扩充新的媒体类型及其相应的操作方法。新增加的媒体类型对用户应该是透明的。8.2多媒体数据的管理问题

3.数据库的查询问题

非精确匹配和相似性查询将占相当大的比重。同一个对象若用不同的媒体进行表示，对计算机来说肯定也是不同的。若用同一种媒体表示，如果有误差，在计算机看来也是不同的。诸如颜色和形状等本身就是不容易精确描述的概念。多媒体数据库不再是只通过字符进行查询，而应该是通过媒体的语义进行查询。但对一些媒体会因为应用的不同和观察者的不同而产生不同。8.2多媒体数据的管理问题

4.用户接口的支持多媒体数据库的用户接口肯定不能用一个表格来描述。对空间的描述以及对时间的描述。多媒体要求开发浏览、查找和变更多媒体数据库内容的新方法。用户有时甚至不知道自己要查找什么，不知道如何描述自己的查询。多媒体数据库对用户的接口要求不仅仅是接受用户的描述，而是要协助用户描述出他的想法，找到他所要的内容，并在接口上表现出来。8.2多媒体数据的管理问题

5.信息的分布对多媒体数据库体系的影响

以全球网络为基础的分布。多媒体数据库系统要考虑如何从万维网的信息空间中寻找信息，查询所要的数据。

6.处理长事务增多短事务不能满足需要，如从动态视频库中提取并播放一段数字化影片，往往需要长达几个小时的时间。数据库管理系统，应该保证播放过程中不会发生中断。8.2多媒体数据的管理问题

7.多媒体数据库对服务质量的要求多媒体数据的传输、表现和存储方式的质量要求不同。对每一类多媒体数据都必须考虑这些问题：如何按所要求的形式及时地、逼真地表现数据？当系统不能满足全部的服务要求时，如何合理的降低服务质量？能否插入和预测一些数据？8.2多媒体数据的管理问题

8.多媒体数据管理还要考虑版本控制的问题一是历史版本，同一个处理对象在不同的时间有不同的内容，如CAD设计图纸，有草图和正视图之分；二是选择版本，同一处理对象有不同的表述或处理，一份合同文献就可以包含英文和中文两种版本。需要解决多版本的标识、存储、更新和查询，尽可能减少各版本所占存储空间，而且控制版本访问权限。8.2多媒体数据的体系结构

多媒体数据库的一般结构形式 一、联邦型 二、集中统一型 三、客户/服务器型 四、超媒体型这种结构是通过整合技术连接的。联邦型结构中可以拥有多个独立的媒体数据库，如文本数据库、音频数据库和图像数据库，每一种媒体数据库的设计不需要考虑和其它数据库的匹配，并且都有自己独立的数据库管理系统。联邦型该结构包含一个多媒体数据库和一个多媒体数据库管理系统。各种媒体被统一地建于数据库中，由一个数据库管理系统统一管理和提供访问。目的是要满足用户对多特征事物的数据存储和管理，以便达到统一综合应用的效果。但关键的技术基础是需要建立合适且便于存储、检索和管理的数据类型。目前，面向对象的数据类型就是建立复杂多媒体数据类型的一种方法。更有效的多媒体数据类型的模式有待于进一步的研究。集中统一型这种结构比较适用于网络环境中，用户可以单独选择或组合选择多媒体服务器的服务。各种媒体数据库相对独立，并通过专用服务器和一个多媒体管理服务器相连。多媒体管理服务器综合各专用服务器的操纵，通过特定的中间件系统连接用户的接口程序，最终达到与客户之间的信息交换。客户服务器型超媒体型多媒体数据库结构

各种媒体数据库分散存储于与网络有连接的存储空间，互联网提供了一个信号传递的通道。该体系结构强调对数据时空索引的组织，通过建立适当的访问工具，就可以随意访问和使用这些数据。超媒体型8.2多媒体数据的层次结构

1.传统数据库的层次结构2.多媒体数据库的层次结构传统数据库的层次结构物理模式：定义数据的存储组织方法概念模式：定义抽象现实世界的方法外部模式：又称子模式，是概念模式中对用户有用的一部分概念模式借助数据模型来描述多媒体数据库的层次结构媒体支持层

建立在多媒体操作系统之上，针对各种媒体的特殊性质，在该层中要对媒体进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法，以实现对各种媒体的最基本数据的管理和操纵。存取与存储数据模型层多媒体数据的逻辑存储与存取，各种媒体数据的逻辑位置安排、相互的内容关联、特征与数据的关系以及超链的建立等都需要通过合适的存取与存储数据模型进行描述。多媒体数据库的层次结构概念数据模式层

对现实世界用多媒体数据信息进行的描述，也是多媒体数据库中在全局概念下的一个整体视图。存取与存储数据模型层和概念数据模型层也可以通称为数据模型层。多媒体用户接口层

完成用户对多媒体信息的查询描述和得到多媒体信息的查询结果。这层在传统数据库中是非常简单的，但在多媒体数据库中这一层成了最重要的环节之一。多媒体数据库的层次结构多媒体数据库的用户接口字符数值型接口关键字描述自然语言查寻多媒体数据库的用户接口示例型接口 一、示例的含义 二、示例的种类 三、示例接口的结构

多媒体数据的用户接口示例图像 结果图像

示例图像的查寻

多媒体数据的用户接口图像数据库的示例接口8.3基于内容的检索技术

8.3.1概述8.3.2课堂小练习8.3.3基于内容的图像检索技术8.3概述

基于内容检索技术一般用于多媒体数据库系统之中，也可以单独建立应用系统。基于内容检索的主要研究内容:如何使系统直接从各种媒体中获取信息线索，并将这些线索用于数据库中的检索操作，帮助用户从数据库中检索出合适的多媒体信息对象。实现:从媒体数据中分析、提取出可供检索的内容特征，并将这些内容特征进行结构化的表示。相对于媒体数据层次的处理过程，将对媒体语义层次的处理称为媒体的内容处理。

8.3课堂练习

学习《基于内容的图像检索》视频，回答下述问题：根据你的理解，用一段话描述基于内容的图像检索技术的工作原理。8.3系统的一般结构

从基于内容检索的角度出发，系统由组织媒体输入的插入子系统、对媒体做特征提取的媒体处理子系统、储存插入时获得的特征和相应媒体数据的数据库以及支持对该媒体的查询子系统等组成，同时需要相应的知识辅助支持特定领域的内容处理。8.3系统的一般结构

插入子系统：负责将媒体输入到系统之中，同时根据需要为用户提供一种工具，以全自动或半自动(即需用户部分干预)的方式对媒体进行分割，标识出需要的对象或内容关键点，以便有针对性地对目标进行特征提取。特征提取子系统：对用户或系统标明的媒体对象进行特征提取处理。可以由人完成，也可以通过对应的媒体处理例程完成，提取些所关心的媒体特征。提取的特征可以是全局性的，也可以针对某个内部的对象，在提取特征时，往往需要知识处理模块的辅助，由知识库提供有关的领域知识。8.3系统的一般结构

数据库：媒体数据和插入时得到的特征数据分别存入媒体数据库和特征数据库。数据库通过组织与媒体类型相匹配的索引来达到快速搜索的目的，从而可以应用到大规模多媒体数据检索过程中。查询子系统：主要以示例查询的方式向用户提供检索接口。检索主要是相似性检索，模仿人类的认知过程，可以从特征库中寻找匹配的特征，也可以临时计算对象的特征。

8.3系统的一般结构

用户查询模块查询格式化示例媒体媒体处理模块知识辅助模块插入模式新媒体对象媒体1数据库媒体n数据库媒体特征媒体特征。。。。多媒体数据库中基于内容检索系统的结构示意8.3系统的一般结构存储的特征值查询特征插入的媒体对象查询的媒体对象媒体处理例程计算相似性查询的方法示意

8.3媒体的内容语义

媒体的内容语义是基于内容检索的基础，与任务有关，也与领域有关。基于内容的检索应该分阶段完成，第一阶段先用无领域知识的方法缩小检索空间，第二阶段再逐步利用领域知识进行更细致的查找和匹配。在这里介绍的部分媒体内容语义大多数是与领域无关的。

8.3媒体的内容语义

文本内容检索已经比较成熟，有对字符、词、词组、基于上下文的内容检索。图像媒体检索内容主要包括颜色、纹理、轮廓、对象及领域内容等。视频建立在图像的基础上，常用检索主要包括镜头、摄像动作、运动对象以及场景等。声音的内容检索包括特定模式的查找，特定词、短语、音乐旋律和特定声音的查找等8.3检索过程

基于内容检索是一个逐步求精的过程。主要过程如图用户的查询说明示例描述计算特征并进行相似性匹配修改检索说明从检索结果中选择一个示例，进行特征修正返回一组检索结果结束是否是否满意？8.3检索过程初始检索说明：用户开始检索时，要形成一个检索的格式。系统对示例的特征进行提取，或是把用户描述的特征映射为对应的查询参数。相似性匹配：将特征与特征库中的特征按照一定的匹配算法进行匹配。满足一定相似性的一组候选结果按相似度大小排列返回给用户。8.3检索过程特征调整：用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成；或者从候选结果中选择一个最接近的示例，进行特征调整，然后形成一个新的查询。重新检索：逐步缩小查询范围，重新开始。该过程直到用户放弃或者得到满意的查询结果时为止。8.3图像检索系统实例

实现基于内容的检索系统主要有两种途径：一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容表达为属性(关键字)集合，再在传统的数据库管理系统内处理，这种方法对信息采用了高度抽象，留给用户的选择余地较小，查询方法和范围有所限制；二是基于信号处理理论，即采用特征抽取和模式识别结合人工智能等手段来克服数据库方法的局限性。8.3图像检索系统实例有时人们很难对一个对象进行描述，如人的面部，人的声音等。这时常见的做法是给定一个实例，使系统自动(或在人工干预下)获取其特征，然后进行模式匹配识别，只能是相似性查询。计算两个媒体对象间的相似程度，首先必须借助于图像理解、语音识别等领域发展起来的模式识别技术进行特征抽取，得到特征值后计算其相似性。目前，学术界和商业界已经发展出了一些基于内容的图像检索系统，如QBIC、Blobworld、WebSeek等。8.3图像检索系统实例QBIC系统8.3图像检索系统实例系统采用了RGB色彩空间下的一个256维的色彩直方图特征；一个6维形状特征，Tamura纹理特征。这个纹理特征由粗糙度、对比度、方向性等特征分量构成。数据库中的图像由以上这三种特征构成。

系统允许用户按照范例的方式进行查询，还允许用户提供基于草图的查询方式。8.3图像检索系统实例系统采用欧式距离来比较不同图像的特征向量的相似距离。

是两个特征向量ci和cj的欧式距离表达，其中，两个特征向量的维数为n。距离D越小，说明两幅图像越相似。在检索界面上，以欧式距离最小的若干幅相似图像，作为最终查询得到的相似图像进行显示；在界面上，还可以根据用户的喜好，选择色彩直方图特征、图像的布局或是纹理特征等一种或多种特征进行有选择的查询。8.3图像检索系统实例Mars系统

8.3图像检索系统实例系统采用了在HSV色彩空间上的直方图色彩特征；纹理特征采用了两种直方图，分别度量图像的粗糙度和图像的方向性；为了刻画图像的色彩/纹理的空间布局，将图像分成5×5的子块，对每一个图像都分别计算它的色彩和纹理直方图。图像子块的相似程度

其中，Mi和Mj分别是两个子块图像的面积，dij是两个子块图像的色彩和纹理特征的欧式距离。Fij越大，说明两个子块越相似。28.3图像检索系统实例Mars系统最为引人注目的优点是首先引入了相关反馈的机制。相关反馈是根据用户对查询结果的评价，动态地反馈给检索系统，从而使检索系统能够自动的调整查询过程中各个特征的权重，使得用户感兴趣的图像或感兴趣的特征的权重加大。相关反馈的公式：

其中，Q是本次的查询特征向量，Q’是经过反馈调整后的特征向量，分别是三个常量。NR是评价为正面的图像集合，NN是评价为负面的图像集合，Di是相应图像的特征向量。8.3图像检索系统实例BlobWorld

系统8.3图像检索系统实例数据库中每一幅图像的特征采用了色彩、纹理、区域（区域由blob来代表）的形状以及位置信息等。根据高斯混合模型,进行图像分割；利用了图像的色彩、纹理及位置等特征，来估