分布式多媒体系统与技术清华史元春二

1第?章：多媒体数据管理多媒体数据存储多媒体数据库管理系统多媒体数据检索－基于内容的检索2多媒体数据存储（1）海量信息存储空间的需求：例如，图象：扫描图象随着分辨率的增加，数据对象的大小呈几何级数增加极大型的数据对象要求大量的数据存储随着存储数据量的增长，检索数据的访问时间也增加

3多媒体数据存储（2）多媒体系统本质上是具有严格性能要求的大容量对象处理系统仅快速CPU自己不能形成一个高性能的系统存储器性能的进步相比CPU，提高的倍数比较少——机械设备要使CPU的性能、存储器总线的带宽、视频带宽、系统总线带宽、磁盘输入/输出带宽，和网络输入/输出带宽相互匹配

4多媒体数据存储（3）大容量存储是多媒体系统的一项支撑技术磁介质技术磁盘驱动器集成化，不断减小磁盘驱动器尺寸、降低成本；更快的查找时间和数据传输率增加存储系统的容量：磁盘跨接、RAID光介质技术光驱动器：CD-ROM（只读光盘）、WORM（一次写多次读）、可重写式（可擦除式）、多功能（WORM和可擦除式）光盘库5磁盘接口的比较

接口种类设备种类数据传输速率

Mbps驱动器最大数量ST506MFM硬盘0.634ST506RLL硬盘0.944ESDI硬盘1-32IDE硬盘0.63-22增强IDE硬盘9-134FastandWideSCSI-232bits磁盘、光驱、磁带、扫描仪、网络4076SCSI标准对多媒体的重要性

SCSI标准允许不同的多媒体输入、输出设备用一条总线连接到多媒体系统上,例如：CD-ROM、扫描器、打印机、网络、磁盘、数字摄像机等.SCSI有丰富的公用指令集支持以上所有的设备SCSI可提供以下性能：用标准8位带宽时，传输速率达10Mbps和在快速宽带模式下，传输速率达到40Mbps。SCSI允许定义销售商专用的指令集来控制特殊的设备或特殊的特性。带标志的指令队列可以提高性能。7磁盘跨接磁盘跨接是把多个驱动器附加到一个单个的主适配器上的方法，在这种处理中所有驱动器就象作为一个单独的连接的逻辑单元。跨接并不增强性能，可靠性还会下降：MTBF（平均无故障时间）

=单个驱动器的MTBF/驱动器的总数

控制器磁盘10－500MB磁盘2501－1000MB磁盘31001－2000MB磁盘42001－3000MB8RAID磁盘存储系统真正重要的问题是吞吐速度和可靠性

RAID是多个磁盘的一组阵列，其中数据分布在多个驱动器上以获得容错性、大存储容量，及性能的改进：RAID中吞吐量速度的提高是通过把读和写操作并行地分布在多个磁盘驱动器上实现的，这一过程称为数据划分（datastriping）。它使数据分离在多个驱动器上，这样一个单一I/O请求的不同部分就可以由多个磁盘平行地来服务。需要额外的冗余度。RAID功能分为六个独立层：0－59多媒体数据存储（4）多媒体系统把各个层次上的存储技术相结合，以解决多媒体对象的生命周期中的各种需求——分层存储管理分层存储的基本目的就是将数据引入能支持这一对象需要性能的最低成本的设备中。存储层次金字塔。金字塔的较宽部分指示出在同一成本下增加的存储容量。这一金字塔中描述的存储层次由随机访问存储器（RAM），联机快速磁硬盘，光盘和光盘库，软盘，和磁带（包括光带）组成。10存储层次金字塔联机缓存联机服务器近线大存储器脱机存档磁盘或内存缓存RAID磁盘光盘、光盘库磁带或光带速度成本/MB11多媒体数据库管理系统（1）使数据库管理系统支持各种多媒体对象

RDBMS的多媒体扩展面向对象的多媒体数据库12多媒体数据库管理系统（2）RDBMS的多媒体扩展关系数据库将大二进制对象（BLOB）作为新的数据类型。BLOB构成关系表中的列，用于图象和其它的二进制数据类型。关系数据表包含BLOB的位置信息，而BLOB实际存于数据库外部的独立的图象、视频服务器中。关系数据库经过扩充能访问这些BLOB，从而提供给用户一个完整的数据集。RDBMS无法理解BLOB的内容，不能在BLOB内部进行索引。

13多媒体数据库管理系统（3）面向对象的多媒体数据库类的概念和面向对象数据库模型非常适合多媒体数据。ODMS(对象数据库）基于下面三个概念：封装性，或者说以预定义、可控制的方式把软件实体作为单元来处理，其中控制程序是与实体是结合在一起的。联系，或以与另一实体的差异来定义一个软件实体的能力。分类，或以有相同行为、属性的数据项来代表一个单独的软件实体的能力。14多媒体数据检索（1)数据库采用基于关键词查找的检索方式，适于处理结构化的文本类和数值类的记录信息检索。在数据库中，每个记录都有固定数目的域，每个域也都具有明确的意义（定性描述），这样每个记录仅具有特定和有限的语义信息，通过对不同域的（关键字）是否比较和（数值）大小比较可进行检索。但这种方法用于多媒体信息管理则具有相当大的局限性。15多媒体数据检索（2)多媒体信息与文本和数值信息存在着本质上的不同:非结构化特性。在传统数据库中，记录信息具有明显的结构化特性，它是现实世界中对象间关系的反映，可通过实体-关系模型抽象得到。与此相比，多媒体对象具有较强的非结构化特性，许多多媒体信息都以流的形式存在（如视频流、音频流）。对这类多媒体对象检索，就首先要对其结构化，而这种结构化不能仅仅通过简单的抽象来完成，而需要相应的媒体分割和组织技术。内容多义性。在传统数据库中，每个记录所包含的语义信息确定而且有限。而对多媒体对象来说，其内容则往往在不同的应用中具有不同的解释，即具有多义性的特点，这样其内容就难以通过仅仅几个属性来充分描述。此外，一般对多媒体对象的检索往往都是根据内容相似程度的检索——即查找内容描述与检索要求最接近的检索，这就要求建立的内容描述支持内容相似程度的比较，而这也是传统数据库中采用的定性描述所不能满足的。

16多媒体数据检索（3)多媒体库的早期检索方法:基于属性的检索(Attribute-BasedRetrieval)基于文本描述的检索(Text-BasedRetrieval)对媒体建立内容的文本描述，将对媒体内容的检索转换为对于文本描述的处理。检索时，系统根据给出的关键字按照相似度大小排序返回部分匹配的结果。为了提高检索效率，系统中一般都带有同义词词典（Thesaurus），用此词典中的关键字来对媒体对象进行描述。

17多媒体数据检索（4)基于文本描述的检索的缺陷:文本描述难于充分表达媒体的丰富内容文本描述具有一定的主观性处理文本描述涉及到自然语言理解问题手工输入文本描述效率低，难以满足大容量媒体库的要求。18基于内容的检索(Content-BasedRetrieval)基于内容检索在传统的检索框架中融合了对于媒体内容的理解技术

在这种方法中，首先对媒体信息进行分割使其成为单独的可供检索的媒体对象（以视频检索为例，就需要对连续的视频流进行镜头分割，使其成为成为一组镜头的集合，这些镜头可以作为有效的检索对象），再对每个媒体对象采用特征提取算法提取相应的特征。媒体对象特征的集合就构成了其内容描述。在检索时，根据检索要求，查询并返回媒体库中内容描述最满足要求的一组媒体对象。19基于内容的检索的特点（1）基于内容检索是一种相似度检索

在传统数据库中，检索是精确（exactly）检索，即检索返回的结果完全满足查询条件。而基于内容检索则不同，它是一种基于相似度的检索，即存在一个度量反映信息库中媒体对象与检索要求的相似程度，而检索目的就是查询相似程度最大的一组媒体对象，按照相似程度的大小顺序返回。

20基于内容的检索的特点（2）对于基于内容检索一般要给出对检索结果集合大小的限制

由于基于内容检索是一种相似度检索，因此信息库中所有媒体对象都存在一个与检索要求相应的相似度。如果不对检索结果集合大小进行限制的话，则查询将返回所有媒体对象，查询也就不具有什么意义了。因此，在进行基于内容检索时，需要给出对返回查询结果数目的约束，常用的方法有两种方法。其一是直接指定查询返回集合的大小，即媒体对象的个数；另一种方法是给出相似度阈值，即要求系统返回所有相似度在此阈值之上（含此阈值）的对象。

21基于内容的检索的特点（3）基于内容检索是一种近似检索

基于内容检索是面向媒体信息库查询的，而由于媒体对象内容的丰富性以及一般检索表达并不能充分反映检索要求，因此在应用中往往并不要求查询结果一定是信息库中满足相似度和检索结果集合大小限制的所有对象，而允许有所遗漏（即信息库中的某个媒体对象相似度大于检索结果集合中最小的相似度，但这个对象并不在检索结果集合中），以换取其他性能（主要是检索速度）的改进。

22基于内容的检索系统的结构（1）23基于内容的检索系统的结构（2）特征描述机制利用媒体分割与特征提取来建立媒体对象的结构描述和特征描述。由于基于内容检索与传统检索手段的主要区别在于融合了媒体理解技术来对媒体对象的内容进行描述，因此特征描述机制是基于内容检索系统的关键。在这一模块中，系统首先通过媒体分割对媒体对象结构化，得到供检索的媒体对象，并根据媒体对象间的关系生成结构描述。之后，对每个对象利用特征提取技术计算该对象的特征，可构成该对象的特征描述。由于媒体对象的内容描述是建立在这两种描述基础上的，因此特征描述机制将直接制约着对于媒体对象内容的描述能力。主要目的即对多媒体信息的内容进行理解，建立供检索使用的内容描述。涉及到专门的媒体处理技术，以图象和视频检索为例，相关领域有图象理解、计算机视觉、模式识别等。

24基于内容的检索系统的结构（3）检索表达机制在对媒体对象建立内容描述后，系统还需要有一种将用户的检索要求转换为内容描述比较操作的检索表达机制。由于用户是通过检索表达机制来提出检索要求的，因此检索表达机制的能力也在很大程度上决定了一个基于内容检索系统的检索能力。为用户提供功能强大的检索表达机制和丰富、灵活的检索方式，以提高检索的有效性。涉及到人机交互、检索语言等研究领域。

25基于内容的检索系统的结构（4）快速索引机制由于基于内容检索是面向大容量多媒体信息库检索的，库中含有大量的媒体对象，在检索时逐个计算相似度来决定返回对象是不现实的，难以满足实时检索的需要。因此，需要对媒体对象的内容描述建立一种快速索引机制，以缩小查找范围，减少等待时间，着对于基于内容检索系统的实用化是十分必要的。为得到的媒体内容描述建立一种有效的检索结构，以加快检索时的速度。涉及到信息库模型、数据结构和计算复杂性研究等研究领域。26ImgRetr（1）：系统结构

基于Web含12000张景物照片图象27ImgRetr（2）：提交特征分析主颜色（

DominatingColor）纹理(Texture)颜色分布

（ColorDistribution)轮廓

（

Sketch)28ImgRetr（3）：提交特征分析：主颜色

主颜色就是图片中占较大比重的颜色。在图象处理中，主颜色的提取过程是：将图象的各点颜色值(一般是RGB值)量化到16*16*16的区间内，然后对图象的点聚类。如果某聚类颜色的象素点占图象全部象素的20%以上，就认为该聚类中心颜色是该图的主颜色。所以，一幅图片的主颜色可能不止一种。

29ImgRetr（4）：提交特征分析：纹理

纹理特征适用于墙纸、布匹等具有简单、重复性的图案的检索。它的提取是用Gober算子分别从5个方向计算得到6个值，总共30个坐标。对纹理而言，如果用户没有一定的美术基础，很难直接用绘画的方式提交数据，因此采用了预定义的模板的方式，用户可以在特征输入区中浏览选择。目前提供了六个模板，以后还可以随时增减，这六个模板的选择是根据图象库中的常见纹理种类而定的。

30ImgRetr（5）：提交特征分析：颜色分布

颜色分布是另外一个检索效果较好的特征。它同时表示了图象中颜色的值与位置属性，比较直观，在查询界面上以用户直接画图的方式提交数据。其工作区的外观和使用与色调直方图一样，但颜色分布特征的提取是这样的：将用户所绘制的图象分割成6*6个大小一样的“Icon”，对每一个Icon中象素的R、G、B值分别求平均，这样得到了36个“平均象素值”，其中即包含了位置的信息，又有颜色值的信息。最后，前端模块向服务器提交的是一个6*6*3=108维的向量。31ImgRetr（6）：提交特征分析：轮廓

在图象库中有很多图片的内容难以用颜色、位置、纹理来描述。比如想查询“画面分为上下两部分”的图象，用前面提到的特征无法方便地描述，可以用Sketch特征来描述画面中的各个部分的相对位置关系。提取特征的步骤是：先用颜色聚类的方法对画面进行划分，然后用中值滤波去掉噪声，得到若干均匀的颜色块（称为“Segment”）。接着，提取图象的边缘特征，得到一个二值图象