多媒体技术原理及应用

多媒体技术原理及应用第1页，共62页，2023年，2月20日，星期一6.1

多媒体数据管理环境

多媒体应用系统关键问题就是对系统中数据进行有效地管理：对多媒体数据的有效管理能尽量减少开发费用；便于综合利用、数据共享，降低成本、提高效益；对提高多媒体应用程序的执行效率和运行质量也具有十分重要的意义。第2页，共62页，2023年，2月20日，星期一1.多媒体数据的存储环境对多媒体数据的存储环境总的要求是：容量大、质量好、存取速度快、价格合适。主要有4类存储介质：(1)可更换的硬盘；(2)磁带备份介质；(3)光盘档案介质；(4)磁盘阵列。第3页，共62页，2023年，2月20日，星期一2.多媒体数据的传输环境

一般有3种传输方法：(1)使用可更换的介质进行人工传输。使用软盘、磁带、光盘、可更换硬盘等工具；(2)使用串行端口实行点对点传输。成本低，但难以实现多台计算机之间数据传输；(3)使用网络系统，实现计算机之间传输。第4页，共62页，2023年，2月20日，星期一3.多媒体数据管理的软件环境

对多媒体数据资源的有效管理方法：(1)文件管理系统。(2)建立特定的逻辑目录。(3)传统的字符、数值数据库管理系统。(4)多媒体数据库管理系统。(5)超文本和超媒体。第5页，共62页，2023年，2月20日，星期一图6.1用传统的DBMS管理多媒体数据第6页，共62页，2023年，2月20日，星期一6.2多媒体数据库管理系统

6.2.1多媒体数据库管理系统特点

依据独立性原则，DBMS按层次划分为3种模式：物理模式、概念模式和外部模式。物理模式定义数据存储组织方法，如数据库文件的格式、索引文件组织方法、数据库在网络上的分布方法等(存储模式)。概念模式借助数据模型来描述，它定义抽象现实世界的方法。数据库模型先后经历了网状模型、关系模型和面向对象模型等阶段。外部模式又叫视图，它是概念模式对用户有用的那一部分。第7页，共62页，2023年，2月20日，星期一图6.2DBMS的3层模式

数据库物理模式概念模式外部模式用户用户用户第8页，共62页，2023年，2月20日，星期一多媒体数据对数据库的影响(1)数据量大且媒体之间差异也极大，从而影响数据库中的组织和存储方法。(2)媒体种类增多增加了数据处理困难。(3)多媒体不仅改变了数据库的接口，使其声、文、图并茂，而且也改变了数据库的操作形式，其中最重要的是查询机制和查询方法。(4)传统的事务一般都是短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。为保证播放不致中断，MDBMS应增加这种处理长事务的能力。(5)多媒体数据库管理还有考虑版本控制的问题。第9页，共62页，2023年，2月20日，星期一6.2.2MDBMS的功能要求

(1)MDBMS必须能表示和处理各种媒体数据，重点是不规则数据如图形、图像、声音的表示方法。(2)MDBMS必须能反映和管理各种媒体数据的特性，或各种媒体数据之间的空间或时间的关联。(3)MDBMS除必须满足物理数据独立性和逻辑数据独立性外，还应满足媒体数据独立性。

物理数据独立性指当物理数据组织改变时，不影响概念数据组织。逻辑数据独立性指概念数据组织改变时，不影响用户程序使用的视图。第10页，共62页，2023年，2月20日，星期一媒体数据独立性指在MDBMS的设计和实现时，要求系统能保持各种媒体独立性和透明性。(4)MDBMS的数据操作功能。(5)MDBMS的网络功能。应解决分布在网络上的多媒体数据库中数据的定义、存储、操作问题，并对数据一致性、安全性、并发性进行管理。(6)MDBMS应具有开放功能，提供MDB的应用程序接口API，并提供独立于外设和格式的接口。(7)MDBMS还应提供事务和版本管理功能。第11页，共62页，2023年，2月20日，星期一6.2.3MDBMS的组织结构

MDBMS的组织结构一般可分为3种：集中型。主从型。协作型。第12页，共62页，2023年，2月20日，星期一1.集中型MDBMS由单独一个MDBMS来管理和建立不同媒体的数据库，并由这个MDBMS来管理对象空间及目的数据的集成。MDBMS…图像数据库图形数据库音频数据库文本数据库视频数据库图6.4集中型MDBMS的组织结构第13页，共62页，2023年，2月20日，星期一2.主从型MDBMS

每个数据库都有自己的管理系统，称为从数据库管理系统，它们各自管理自己的数据库。这些从数据库管理系统又受一个称为主数据库管理系统的控制和管理。第14页，共62页，2023年，2月20日，星期一从MDBMS从MDBMS从MDBMS从MDBMSMDBMSMDBMS某种MDB某种MDB某种MDB某种MDB多媒体数据库图6.5主从型MDBMS的组织结构

第15页，共62页，2023年，2月20日，星期一3.协作型MDBMS

协作型MDBMS也是由多个数据库管理系统来组成，每个数据库管理系统之间没有主从之分。要求系统中每个数据库管理系统(称为成员MDBMS)能协调地工作，但因每一成员MDBMS彼此有差异，所以在通信中必须首先解决这个问题。第16页，共62页，2023年，2月20日，星期一成员MDBMS成员MDBMS成员MDBMSMDBMS

某种MDB

某种MDB

某种MDB

附加软件

附加软件

附加软件

多媒体数据库图6.6协作型MDBMS的组织结构第17页，共62页，2023年，2月20日，星期一6.2.4MDBMS的数据模型

数据模型的概念扩充的关系数据模型应用实例第18页，共62页，2023年，2月20日，星期一1.数据模型的概念

数据模型通常由数据结构、数据操作和完整性约束三部分组成，也称数据模型三要素。数据结构是对数据库系统静态特性的描述，是所研究的对象类型的集合。这些对象是数据库的组成成分。数据库系统通常按数据结构的类型来命名数据类型，如层次模型、网状模型、关系模型和面向对象模型。第19页，共62页，2023年，2月20日，星期一

数据操作是对数据库系统动态特性的描述，如数据库中各种对象的实例、允许执行的操作集合。数据的约束条件是实现数据库完整性规则的集合，所谓完整性规则是指给定的数据模型中数据及它们之间关联所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化，以保证数据库数据的正确、有效、相容和一致。数据模型应该提供定义数据完整性约束条件的机制，以反映数据必须遵守的特定的语义约束条件。第20页，共62页，2023年，2月20日，星期一

2.常用的数据模型

早期DBMS采用层次模型，它利用树型结构来表示实体及实体之间联系。模型中节点为记录型，表示某种类型的实体；节点之间的连线表示它们之间的关系。层次模型构造简单，易于实现。典型的应用如公司、大学的行政架构表示。基于层次模型的数据库称为层次数据库，它支持用户以浏览方式完成对数据访问，对子节点记录的访问需经过父节点。层次模型的限制是：任何非根节点的节点有且仅有一个父节点；父子节点只能是1：n关系，不能表示两类实体间的m：n关系。第21页，共62页，2023年，2月20日，星期一

利用网状结构来表示实体与实体之间联系的数据模型称为网状模型，其节点为记录型，用于表示某类实体。允许节点有多个父节点，比层次模型更通用。基于网状模型的网状数据库管理系统也主要支持用户以浏览的方式完成对数据记录的访问，但由于节点可有多个父节点，对网状数据库中某节点的访问路径可以有多条。第22页，共62页，2023年，2月20日，星期一

层次和网状数据库管理系统均不支持数据独立性。数据库结构的调整将使应用随之变化，这就限制了数据库系统及其应用的可扩展性、可重用性及可移植性。关系模型克服了上述两种模型的缺陷，利用二维的表来表示实体及实体之间的关系，每张二维表又称为一个关系。二维表每一列代表实体以及实体之间关系的某种属性。属性名的集合如{C1，C2，…，Cn}表示某种记录类型。每一列除了具有属性名外，还具有类型特征，该特征决定了属性的取值范围，称为域。这种表可直接描述两个实体类型间的m：n关系。第23页，共62页，2023年，2月20日，星期一

关系模型可通过关系代数严格定义。一张二维表可定义为一组域的笛卡儿积的子积。域D1，D2，…，Dn的笛卡儿积定义为：D1D2…Dn={(C1，C2，…，Cn)|CiDi，i=1，2，…，n}关系R可表示为：RD1D2…Dn，n为关系的度。一个关系的结构可表示为R：{(C1：D1，C2：D2，…，Cn：Dn)}其中Ci(i=1，2，…，n)为属性名。第24页，共62页，2023年，2月20日，星期一

RDBMS对数据的各种操作归结为各种集合运算。除了支持传统的集合运算之外，还定义了专门的关系运算，如投影、选择、连接等。它还利用一阶谓词逻辑来判断表中元组是否满足用户定义的条件。用户定义的条件由逻辑运算符(and)、(or)、(not)连接各算术表达式组成。关系代数和一阶谓词演算构成了RDBMS支持的数据库接口语言SQL的基础第25页，共62页，2023年，2月20日，星期一扩充的原因：传统的关系模型结构简单，是单一的二维表，数据类型和长度也被局限在一个较小的子集中，又不支持新的数据类型和数据结构，很难实现空间数据和时态数据，缺乏演绎和推理操作，因此表达数据特性的能力受到限制。在MDBMS中使用关系模型，必须对现有的关系模型进行扩充，使它不但能支持格式化数据，也能处理非格式化数据。第26页，共62页，2023年，2月20日，星期一模型扩充主要有3种策略：(1)使关系数据库管理技术和操作系统中文件系统功能相结合，实现对非格式化数据的管理。其主要方法是以存放非格式化数据的文件名代替。(2)将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组，存放在数据页面或数据页面组中，统一管理(大系统采用)。(3)将元组中非格式化数据分成两部分，一部分是格式化数据本身，另一部分是对非格式化数据的引用(小系统采用)。3种策略的关键是要扩充数据类型，解决非格式化数据的语义解释。第27页，共62页，2023年，2月20日，星期一Paradox是由Borland公司开发的，Paradox增加了4种数据类型：动态注释、格式注释、图形和大二进制对象(Blob)。

OLE类型是Blob的一种特殊格式，可使Paradox用作一个OLE主机。FoxPro是Microsoft公司的产品，它是在DBase基础上发展起来的。为了处理多媒体数据，FoxPro2.5引入一个新的属性类型General，它可以容纳任何一种多媒体数据，包括文本、图形、图像或声音数据。在Windows中，FoxPro相当于一个OLE客户，通过在表中定义一个类型为General的字段，可以为链接或嵌入任何对象预留空间。

第28页，共62页，2023年，2月20日，星期一6.2.5

关系型多媒体数据库的应用

某公司需要用Oracle8.1.6数据库管理雇员资料，雇员信息包括工号、年龄、性别、月工资、所在部门、该部门经理、雇员的免冠照片等属性。

对这样比较复杂结构的实体(雇员)，关系数据库需要把它分解成最简单实用的关系(雇员和部门)表示，实体的结构语义隐性地包含在两个关系的相同属性中，只有通过联结、投影等操作才能体现出结构语义。此例中雇员照片属性的存储可利用Oracle数据库提供的LOB属性类型实现的。LOB(LargeObject)就是存储大对象的属性类型，当数据量过大不能直接存入数据库中时，可以使用LOB属性类型。第29页，共62页，2023年，2月20日，星期一图6.9关系实例

工号姓名年龄性别月工资部门编号雇员照片001张三28男1500001ZHANG…………………部门编号部门名称部门经理001销售科004………关系{雇员}关系{部门}第30页，共62页，2023年，2月20日，星期一6.3面向对象技术与MDBMS

面向对象的基本概念面向对象的数据库模型

面向对象数据库系统的实现方法

第31页，共62页，2023年，2月20日，星期一6.3.1面向对象的基本概念(1)对象是问题领域中的事物的表示或描述，世界上任何事物都是对象。对象具有名字标识，并具有自身的状态和功能。(2)属性组成对象的数据称为对象的属性。对象的属性可以是系统或用户定义的数据类型，也可以是抽象数据类型。状态由属性描述。(3)方法定义在对象属性上的一组操作称为对象的方法，方法体现了对象的行为功能。(4)对象类类描述的是具有相似性质(属性)的一组对象，这组对象具有一般行为(操作)，一般关系(对象之间的)及一般语义.第32页，共62页，2023年，2月20日，星期一

(5)子类和超类类可以分成若干子类，这个被分成若干子类的类称为超类，子类和超类在层次上可理解为“被概括”与“概括”的关系。(6)消息在面向对象系统中，对象间的通讯和请求对象完成某种处理工作是通过消息传递实现的，消息传递相当于一个间接的过程调用。(7)继承性子类不仅可以继承超类对象的部分或全部属性和方法，还可以拥有自己的属性和方法。继承性具有双重作用，一是可以减少代码冗余；二是可以通过协调性来减少相互之间的接口。第33页，共62页，2023年，2月20日，星期一6.3.2面向对象的数据库模型

(1)面向对象模型支持“聚合”与“概括”的概念，从而更好地处理多媒体数据等复杂对象的结构语义。(2)而向对象模型支持抽象数据类型和用户定义的方法，便于系统支持定义新的数据类型和操作。(3)面向对象系统的数据抽象、功能抽象与消息传递的特点使对象在系统中是独立的，具有良好的封闭性，封闭了多媒体数据之间的类型及其他方面的巨大差异，并且容易实现并行处理，也便于系统模式的扩充和修改。第34页，共62页，2023年，2月20日，星期一

(4)面向对象系统的对象类、类层次和继承性的特点，不仅减少了冗余和由此引起的一系列问题，还非常有利于版本控制。(5)面向对象系统中实体是独立于值存在的，因而避免了关系数据库中讨论的各种异常。(6)面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的，避免了大量的查询优化工作。第35页，共62页，2023年，2月20日，星期一6.3.3面向对象数据库系统的实现方法

面向对象数据库和扩展关系数据库系统不同，它倾向于以数据模型入手，重新考虑不同于传统DBMS的系统整体结构、对象类层次的存储结构、存取方法和继承性的实现方法、用户定义的数据类型和方法的处理策略、必要的版本控制和友好的用户界面，建立一个全新的DBMS。第36页，共62页，2023年，2月20日，星期一1.对象类型的建立图6.10多媒体类型系统第37页，共62页，2023年，2月20日，星期一2.面向对象数据库系统结构

根据系统模型的功能，设计适当的系统结构是面向对象的DBMS实现的重要环节。由MCC公司研制的ORION系统由4个子系统构成：(1)消息处理子系统；(2)对象子系统；(3)存储子系统；(4)事务管理子系统。2.面向对象数据库系统结构

第38页，共62页，2023年，2月20日，星期一图6.11ORION系统结构图

消息处理子系统对象子系统事务子系统存储子系统第39页，共62页，2023年，2月20日，星期一ORIONORION-1SX是一个客户机/服务器数据库系统，它有一个专用的服务器管理整个数据库系统，而应用系统运行的所有其他节点(客户)同这个服务器进行通信来存取数据库。对象子系统和消息子系统完全放置在客户机上。另一方面，通讯子系统以及部分事务和存储子系统既放置于客户机又放置于服务器中，通讯子系统负责打开、关闭和控制连接，接收和传递客户机和服务器之间的消息。ORION-2是一个基于网络的分布式数据库系统，它由一个以上的节点进行管理，使得数据库的物理布局对用户来说是透明的。第40页，共62页，2023年，2月20日，星期一图6.12ORION系统的功能单元

消息处理子系统对象子系统事务子系统存储子系统通信子系统服务器事务子系统服务器存储子系统服务器客户机第41页，共62页，2023年，2月20日，星期一面向对象系统Iris除了一般的数据永久性、控制共享、后缓和恢复的需求之外，新需求的功能包括：丰富的数据建模结构、对推理的直接数据库支持、新的数据类型、长事务处理以及数据的多版本。数据共享必须在对象级别上以并行共享和串行共享两者的意义上实现，允许一个给定的对象能够由用不同的面向对象的编程语言编写的应用来操作。Iris正是面向上述需要进行设计。第42页，共62页，2023年，2月20日，星期一图6.13Iris系统结构

对象SQL

图形编辑器C对象C－irisLisp对象Lisp－Iris对象管理器存储管理器结构化数据非结构化数据第43页，共62页，2023年，2月20日，星期一3.面向对象的数据库系统的存储结构

和存取方法

(1)基于关系系统的方法。(2)更适合多媒体数据特点的存储结构和存取方法。比较适合多媒体数据特点的存储结构和存取方法有EXODUS系统的B+树索引结构、适合多维空间对象的R+树索引结构等。第44页，共62页，2023年，2月20日，星期一6.4基于内容的检索技术

6.4.1相关概念

数据库系统中，数据检索是一种频繁使用的任务。多媒体数据库数据量大，数据种类多，给数据检索带来了新的问题。多媒体数据库包含大量的图像、声音、视频等非格式化数据，对它们的查询或检索比较复杂，往往要根据媒体中表达的情节内容进行检索。基于内容的检索(CBR)就是针对多媒体信息检索使用的一种重要技术。第45页，共62页，2023年，2月20日，星期一1.基于内容的检索技术的特点

(1)从媒体内容中提取信息线索，直接对媒体进行分析，抽取特征(如基于表达式)。(2)提取特征方法多种多样。如图像特征有形状、颜色、纹理、轮廓等特征。(3)人机交互。人能迅速分辨要查找的信息，但难以记住信息，人工大量查询费时、重复，而这正是计算机的长处，人机交互检索可大大提高多媒体数据检索的效率。(4)基于内容的检索采用一种近似的匹配技术。提取媒体对象内容属性的方式一般有手工方式、自动方式和混合方式。第46页，共62页，2023年，2月20日，星期一2.媒体特征音频

常利用的音频特征包括基音，共振峰，线性预测倒谱系数、Mel倒谱系数(基于高斯混合模型的语音识别)等音频低层特征，和声纹、关键词等高层特征。静态图像其底层特征包括颜色，纹理，几何形状，灰度统计特征；高层特征包括人脸部特征，表情特征，物体和景物特征。视频包含的信息最丰富复杂，其底层特征包括镜头切换类型，特技效果，摄像机运动，物体运动轨迹，代表帧，全景图等；高层特征包括描述镜头内容的事件等。文本关键词常被选为文本对象的内容属性。图形几何体各种形状特征、周长、面积、位置、几何体间空间关系的类型等，常被选为图形内容属性。第47页，共62页，2023年，2月20日，星期一6.4.2基于内容的检索实现方法

一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容并表达为属性(关键词)集合，再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象，留给用户选择余地小，查询方式和范围有所限制。二是基于信号处理理论，即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性，但全自动地抽取特征和识别时间开销太大，并且过分依赖于领域知识，识别难度大。

第48页，共62页，2023年，2月20日，星期一系统实现

在CRB系统中采用的有效方法包括相似性、模糊值、分段化等技术，下面以视觉信息管理系统(VIMS)为例介绍CRB系统的实现。第49页，共62页，2023年，2月20日，星期一图6.14

基于内容的检索系统结构交互查询模块

查询格式化新的图像插入模块数据（图像）处理模块知识模块图像DB特征DB用户第50页，共62页，2023年，2月20日，星期一图6.15检索方法

视觉例程图像插入查询图像被存储的特征值查询特征计算相似性第51页，共62页，2023年，2月20日，星期一图6.16基于内容的检索过程第52页，共62页，2023年，2月20日，星期一6.4.3图像内容分析及其检索基于颜色直方图检索基于轮廓的检索基于纹理的检索视频检索第53页，共62页，2023年，2月20日，星期一6.4.4MPEG-7标准MPEG-1，2，4解决在多媒体高效存储、传输和处理声音图像信息问题。但还没有能解决多媒体信息检索问题的工具。MPEG-7标准即“多媒体内容描述接口”。其目标就是产生一种描述多媒体信息的标准，满足实时、非实时以及推-拉应用的需求。并将该描述与所描述的内容相联系，以实现快速有效的检索。MPEG-7标准可独立于其他MPEG标准使用，但MPEG-4所定义的音频、视频对象的描述适用于MPEG-7。MPEG-7适用范围广泛，既可应用于存储，也可用于流式应用。可在实时或非实时环境应用。第54页，共62页，2023年，2月20日，星期一1.MPEG-7的相关概念数据(Data)MPEG-7描述的多媒体信息，包含图形、静止图像、视频、音乐、语音、文本和其他相关的媒体。特征(Feature)指数据的特性。特征本身不能比较，而要用有意义的特征表示(描述子)和它的实例(描述值)。如图像的颜色、语音的声调、音频的旋律等。描述子(Descriptor，D)是特征的表示。它定义特征表示的句法和语义，可以赋予描述值。一个特征可能有多个描述子，如颜色特征可能的描述子有：颜色直方图、频率分量的平均值、运动的场描述、标题文本等。描述值(DescriptorValue)是描述子的实例。描述值与描述模式结合，形成描述。第55页，共62页，2023年，2月20日，星期一

描述模式(DescriptionScheme，DS)说明其成员之间的关系结构和语义。成员可以是描述子和描述模式。DS和D的区别是：D仅仅包含基本的数据类型，不引用其他D或DS。如影片从时间上结构化为场景和镜头，在场景级包括一些文本描述子，在镜头级包含颜色、运动和一些音频描述子。描述(Description)由一个描述模式和一组描述值组成。编码的描述(CodedDescription)是对已完成编码的描述，满足诸如压缩效率、差错恢复和随机存取的相关