第9章-多媒体数据库

第9章多媒体数据库9.1多媒体数据库概述9.2多媒体数据库的发展9.3多媒体对数据库的影响9.4多媒体数据库系统结构9.5多媒体数据库的用户接口9.6基于内容的检索与查询9.1多媒体数据库概述9.1.1基本概念9.1.2多媒体数据库与传统数据库的区别9.1.3多媒体数据库管理系统的基本功能9.1.4数据库技术的研究领域9.1.1基本概念1.数据与信息2.数据库3.数据库系统（1）硬件系统（2）数据库集合（3）数据库管理系统（4）相关软件（5）数据库管理员（6）用户4.数据库管理系统（DBMS）5.管理信息系统（MIS）6.多媒体数据库9.1.2多媒体数据库与传统数据库的区别1.所管理的数据类型不同2.数据库体系结构不同3.检索方法不同 多媒体数据库与传统数据库概念的比较如下页所示。9.1.2多媒体数据库与传统数据库的区别9.1.3多媒体数据库管理系统的基本功能（1）能表达和处理各种复杂多媒体数据，并能较准确地反映和管理各种媒体数据的特性和各种媒体数据之间的空间或时间的关联，能为用户提供定义新的数据类型和相应操作的能力。（2）能保证多媒体数据库的物理数据独立性、逻辑数据独立性和多媒体数据独立性。（3）具有多媒体数据的操作功能。（4）具有多媒体数据库系统的网络功能。（5）提供系统开放功能，提供多媒体数据库的应用程序接口（API）。（6）多媒体数据库具有处理长事务的能力，具备原子性、一致性、隔离性和持久性，提供事务和版本的控制管理。（7）具备错误检测和数据恢复的功能。9.1.4数据库技术的研究领域1.数据库管理系统软件开发 数据库管理系统的研究与开发包括对数据库管理系统本身的研究以及以数据库管理系统为核心软件系统的开发。2.数据库设计研究数据库设计的主要任务是根据需要在数据库管理系统的支持下，设计一个结构合理、使用方便、效率较高的数据库及其应用系统。3.数据库理论数据库理论的研究主要集中于理论模型研究。随着人工智能与数据库理论的结合，并行计算机的发展，数据库逻辑演绎和知识推理、并行算法等理论研究以及演绎数据库系统、知识库系统等都已成为新的研究方向。9.2多媒体数据库的发展

人工管理文件系统数据库系统背景应用背景科学计算科学计算、管理大规模管理硬件背景无直接存取存储设备磁盘、磁鼓大容量磁盘等存储介质软件背景没有操作系统文件系统数据库管理系统处理方式批处理联机实时处理，批处理

联机实时处理，分布处理，批处理特点数据面向的对象某一应用程序某一应用程序整个应用系统数据的共享程度无共享，冗余度极大共享性差,冗余度大共享性高，冗余度小数据的独立性不独立，完全依赖于程序独立性差具有高度的物理独立性和逻辑独立性数据的结构化无结构记录内有结构，整体无结构整体结构化，用数据模型描述数据控制能力应用程序自己控制应用程序自己控制由数据库管理系统提供数据安全性、完整性、并发控制和恢复能力数据库系统发展的三个阶段，如下表所示。9.2多媒体数据库的发展

如前表所示。数据库系统先后经历了以下几个阶段。1.人工管理阶段数据和程序不具有独立性；数据也不能长期保存；系统也没有对数据进行管理的软件。2.文件系统阶段对图像、视像、声音等多媒体信息存储和检索的局限表现在：（1）一个文件系统通常只存放一种信息类型，并常常作为一个检索单位。9.2多媒体数据库的发展（2）对信息的读出和检索操作都相对比较简单。（3）文件之间的信息内容相对比较独立。3.数据库系统阶段数据库系统的产生能够实现数据共享，减少数据冗余；采用特定的数据模型；具有较高的数据独立性；有统一的数据控制功能和较高的数据安全性。用户对数据的任何操作（如查询、修改）不再是通过应用程序直接进行，而必须通过向数据库管理系统发请求实现。9.2多媒体数据库的发展

数据库管理系统（DBMS）一般被划分为3层模式：物理模式、概念模式和表现模式（如下图所示）。9.3多媒体对数据库的影响9.3.1多媒体数据与数据库管理9.3.2多媒体给数据库带来的问题9.3.1多媒体数据与数据库管理

多媒体数据库管理涉及以下几种数据类型：1.字符数值型数据2.文本数据3.声音数据4.图形数据5.图像数据6.视频数据9.3.2多媒体给数据库带来的问题（1）数据量大且媒体之间数据量的大小差别极大。（2）实时性要求高。（3）媒体种类繁多。（4）多媒体改变了数据库的接口形式和数据库的操作形式。（5）具有处理长事务的能力。（6）多媒体数据库管理更需要考虑版本控制问题。（7）服务质量的要求高。（8）多媒体信息系统中，其数据常常具有分布性，是数据量大。9.4多媒体数据库系统结构9.4.1多媒体数据库的层次结构9.4.2多媒体数据库的组织结构9.4.1多媒体数据库的层次结构传统数据库的层次结构ANSI把传统数据库分为物理模式、概念模式和外部模式三层模式。这种模式如下图所示。9.4多媒体数据库系统结构1）物理模式

物理模式也叫存储模式，是真正物理存在的。2）概念模式

概念模式借助数据模型来描述数据库全部信息内容，但不包含数据存取的细节。还有数据存取控制、合法权检验和有效过程的定义。3）外部模式

外部模式也称子模式或用户模式，是数据库用户的数据视图，是与某一应用有关的数据的逻辑表示。9.4.1多媒体数据库的层次结构2.多媒体数据库的层次划分

多媒体数据库的层次如下图所示。9.4.2多媒体数据库的组织结构1.集中型结构集中型结构如下图所示。9.4.2多媒体数据库的组织结构2.主从型结构 主从型结构如下图所示。9.4.2多媒体数据库的组织结构3.分布式结构 分布式结构如下图所示。9.4.2多媒体数据库的组织结构4.客户/服务器结构 客户/服务器结构如下图所示。9.4.2多媒体数据库的组织结构5.超媒体型结构 这种多媒体数据库体系结构强调对数据时空索引的组织，强调所有的信息应该连为一体并且信息能够随意扩展与访问。它把数据库分散到网络上，把它看成一个信息空间，只要设计好访问工具就能够访问和使用这些信息。9.5多媒体数据库的用户接口9.5.1字符数值型接口9.5.2自然语言接口9.5.3示例型接口9.5.4用户表现接口9.5.1字符数值型接口字符数值型接口是通过表示类查询来实现数据信息的查询。这种基于表示形式的查询与表示的数据类型和设计结构有关，不需要对数据作任何分析。9.5.2自然语言接口自然语言接口本身具有变化大、抽象性强、可以表示不确定性要求等优点，具体内容如下：（1）共同性（2）抽象性（3）模糊性 当然，实现自然语言接口有很大的难度。9.5.3示例型接口示例查询就是指那些无法用形式化方法描述的查询，通过给出一个示例，然后系统自动获取其特征，再根据这些特征进行查询。示例是直接对媒体进行处理和操作的。示例可以分为：文本示例图像示例(图像数据库的示例接口如下页所示.)声音示例视频示例结构示例混合示例9.5.3示例型接口9.5.4用户表现接口

多媒体数据库可以为应用提供一种表现复杂结构的可能，如多媒体表现、叙事性用户表现等。1.多媒体表现1）字符与文本表现2）图像表现3）视频表现4）声音表现5）混合表现6）概念表现9.5.4用户表现接口2.叙事表现叙事表现就是能将数据库中有关的情节和任务组成一个故事，并表现出来。叙事表现依赖于数据库中可用的内容和其所限定的注释，故事可以用模板事先限定，也可以提供某种过滤机制。9.6基于内容的检索与查询9.6.1基于内容检索概述9.6.2基于内容检索系统的一般结构9.6.3多媒体内容分析9.6.4基于内容检索的过程和指标9.6.5基于内容检索系统的设计和实现9.6.6图像的内容处理与基于内容检索9.6.7音频的内容处理与基于内容检索9.6.8视频的内容处理与基于内容检索9.6.9基于内容检索的展望9.6.1基于内容检索概述

基于内容的多媒体检索是对多媒体数据（如视频、音频流等）所蕴涵的物理和语义的内容进行计算机分析理解，以方便用户查询，其本质是对无序的多媒体数据流结构化，提取语义信息，保证多媒体内容能被快速检索。1.基于内容的多媒体检索原理与特点（1）根据媒体对象的语义和上下文联系进行检索。（2）使用人机交互方式查询、检索信息。（3）基于内容的检索是一种近似匹配，逐步求精的检索方法。（4）满足用户多层次的检索要求。（5）大型数据库的快速检索。9.6.1基于内容检索概述2.基于内容的多媒体检索的技术1）信息模型和表示2）信息压缩和恢复3）信息存储管理4）多媒体同步技术5）多媒体特征提取技术6）匹配相似性检索技术9.6.1基于内容检索概述3.基于内容的多媒体检索的应用基于内容检索技术的应用领域非常广泛，早期对罪犯面貌特征的识别和管理、指纹的识别和管理、全文信息检索等。现在这种技术将扩展到任何的媒体和更广泛的领域，涉及到多媒体数据库、知识产权保护、数字图书馆、网络多媒体搜索引擎、交互电视、艺术收藏和博物馆管理、遥感和地球资源管理、远程医疗、天气预报以及军事指挥系统等具体的应用。9.6.1基于内容检索概述

目前国内外已开发出的基于内容检索的原型系统比较著名的有以下一些：（1）QBIC系统。（2）Photobook系统。（3）CORE系统。（4）VisualSEEK系统。9.6.2基于内容检索系统的一般结构基于内容检索系统分为两个子系统：特征抽取子系统和查询子系统。下图为多媒体数据库中基于内容检索系统的结构示意图。9.6.2基于内容检索系统的一般结构下图为查询方法的示意图。9.6.2基于内容检索系统的一般结构多媒体数据库中基于内容检索系统包括以下功能模块：1.目标识别2.特征抽取3.数据库4.查询接口（1）交互输入方式。（2）模板选择输入方式。（3）用户提交特征样板输入方式。5.检索引擎6.索引/过滤9.6.3多媒体内容分析对于多媒体数据的内容概念可以从下面几个层次上来理解：概念级内容感知特感知特性逻辑关系信号特性特定领域的特征获得媒体内容的方式可以是人工方式和自动方式。9.6.3多媒体内容分析多媒体内容的语义和多媒体内容的处理技术。1.多媒体内容语义1）文本2）图像3）视频4）声音2.多媒体内容处理技术 多媒体内容处理过程如下页图所示。9.6.3多媒体内容分析9.6.4基于内容检索的过程和指标1.多媒体分析的步骤多媒体数据的分析过程如下图所示：其中分割的实现有自动分割和人工分割两种方法。9.6.4基于内容检索的过程和指标2.检索过程（如下图）

9.6.4基于内容检索的过程和指标3.指标由于基于内容的检索系统是采用相似性匹配算法实现的，检索到的对象往往存在一定的误差，这个误差可以用查到率（Recall）和查准率（Precision）来衡量。 9.6.5基于内容检索系统的设计和实现1.检索的方法1）基于内容的文本检索基于内容的文本检索方法有布尔模型、概率模型和向量空间模型三种方法。2）基于内容的图像检索建立图像的特征矢量为其索引。3）基于内容的视频检索视频检索的方法主要有三种：（1）基于关键帧的检索。（2）基于运动的检索。（3）浏览。9.6.5基于内容检索系统的设计和实现4）基于内容的音频检索（1）赋值查询。（2）示例查询。（3）组织浏览查询。2.Internet上静态图像的基于内容检索的原型系统1）系统结构系统结构如下页图示。9.6.5基于内容检索系统的设计和实现9.6.5基于内容检索系统的设计和实现2）检索查询界面设计一个好的人机交互界面可以提高系统的检索效率。系统界面结构分为检索特征预览、检索控制参数和特征输入区三个组成部分。界面设计如下页图示。特征输入手段有：（1）操纵交互输入方式，用户通过操纵工具调整特征值。（2）模板选择输入方式特征。（3）浏览检索。（正在研究）（4）样本检索。（正在研究）9.6.5基于内容检索系统的设计和实现9.6.5基于内容检索系统的设计和实现3）提交特征分析（1）主颜色（2）纹理（3）色调立方图（4）彩色立方图（5）颜色分布（6）轮廓（7）主题9.6.5基于内容检索系统的设计和实现4）检索关键技术本系统采用了两种关键技术：（1）检索表达。（2）快速检索算法。3.QBIC（querybyimagecontent）系统1）QBIC系统概述

QBIC系统可以完成图像、视频的部分检索操作。9.6.5基于内容检索系统的设计和实现

系统以示例方式对以下内容进行查询：（1）查找与用户画出的图像轮廓和边框相似的对象。（2）以图像中特定的颜色和纹理模式进行查找。（3）查找物体的移动。（4）查找摄影机的操作。（5）其他图形信息。2）数据库生成3）快速搜索和索引

9.6.6图像的内容处理与基于内容检索基于内容的图像检索系统的体系结构如下图所示。系统的核心是图像特征数据库。图像特征的提取与表达是基于内容的图像检索技术的基础。9.6.6图像的内容处理与基于内容检索1.颜色特征的提取基于颜色特征的图像检索主要解决三个问题：颜色的表示、颜色特征的提取和基于颜色的相似度量。颜色特征的提取和检索主要利用颜色空间直方图进行匹配。基于颜色特征的检索方法主要有互补颜色空间直方图、直方图交叉法、直方图距离比较法、二次型距离算法等。9.6.6图像的内容处理与基于内容检索2.纹理特征的提取把图像这种局部的不规则而宏观有规律的特性称为纹理。根据纹理的粗糙性、方向性和对比度三个参数，可以采用示例查询图像的方法。分析纹理的常用方法有基于传统数学模型的共生矩阵法、K-L变换、纹理谱分析等方法和基于视觉模型的多分辨率分析、小波方法等。对纹理的检索一般采用示例查询方法QBE（querybyexample）方式，即从样本集（即一套预先存储的纹理图像）中选择所要查询的纹理。9.6.6图像的内容处理与基于内容检索3.形状特征的提取形状特征有两种表示方法：一种是轮廓特征；一种是区域特征。对形状特征分析的基础是图像边缘的提取。基于形状的检索既包括传统意义上的基于二维形状的检索，也包括在三维图像中的基于三维形状的检索。形状特征的表达必须以对图像中物体或区域的划分为基础。对应于形状特征的两种表示方法，最典型的方法分别是傅立叶形状描述符和形状无关矩。9.6.7音频的内容处理与基于内容检索

可以把音频的内容分为三个级别，即最低层的物理样本级、中间层的声学特征级和最高层的语义级，如下图所示。9.6.7音频的内容处理与基于内容检索1.基于语音技术的检索

1）利用大词汇语音识别技术进行检索2）基于子词单元进行检索3）基于识别关键词进行检索4）基于说话人的语言辨别进行检索2.音频检索1）声音训练和分类2）听觉检索3）音频分割3.音乐检索音乐检索是利用节奏、音符、乐器等特征来检索的。9.6.8视频的内容处理与基于内容检索视频是一种动态图像，是一组图像按时间的有序连续表现，它的表示与图像序列、时间关系有关。视频数据可用幕