多媒体计算机技术概述

2010年3月26日星期五1

参考书

1《多媒体技术及其应用》

——钟玉琢、沈洪等编著机械工业出版社

2《多媒体技术基础及应用》

——钟玉琢、冼伟铃等编清华大学出版社

3《多媒体技术原理及应用》

—马华东编著清华大学出版社

4《多媒体技术实验教程》

一万华明等编著科学出版社

2010年3月26日星期五2

:三5工

课程简介

多媒体计算机技术是当今计算机产业发展的新

领域。本课程从设计、开发和应用的角度综合讲述

了多媒体计算机的基本原理和关键技术。主要内容

有：多媒体计算机定义、分类、现状及发展趋势；

视频和音频信号的获取、处理及输出；多媒体数据

压缩编码的基本算法及现行的编码国际标准；多媒

体计算机硬件及软件系统结构；最后介绍了三个多

媒体应用领域及其核心技术：多媒体数据库及基于

内容检索技术、多媒体创作工具及同步技术、多媒

体通讯和分布式多媒体系统。它包括：视频会议、

多媒体交互式电视技术及计算机支持的协同工作

(CSCW)系统。

2010年3月26日星期五3

学习目标

早期的计算机只能处理数字与文字，现在多媒体计算

机能够综合处理声、文、图及视频信息，并具有集成性

和交互性，因此，它促进了通讯、娱乐和计算机的融合,

从而形成新一代的产品，为人类的生活和工作提供全新

的信息服务，它是计算机产业重要的发展趋势。通过本

课的学习，使同学了解多媒体计算机发展趋势，掌握多

媒体计算机的基础理论知识、熟悉多媒体计算机的应用

领域。

2010年3月26日星期五

课程目录

★第一章多媒体计算机技术概述

★第二章音频信息处理

★第三章视频信息获取、处理和显示技术

★第多媒体数据压缩技术

★第五章多媒体计算机硬件及软件系统结构

★第六章超文本和超媒体

★第七章多媒体数据库与基于内容检索

★第八章多媒体著作工具与同步方法

★第九章多媒体通信和分布式多媒体系统

2010年3月26日星期五5

第一章多媒体计算机技术概述

本章重点介绍：

1）多媒体计算机的定义

2）多媒体计算机的分类

3）多媒体计算机的关键技术

2010年3月26日星期五6

第一章内容

1.1多媒体计算机的定义和关键技术

1.2多媒体技术促进了通讯、娱乐和计算机技术的融合

1.3多媒体计算机技术的应用和发展

2010年3月26日星期五7

1.1多媒体计算机的定义和关键技术

本节重点：

1）多媒体计算机的定义

2）多媒体计算机的分类

3）多媒体计算机的关键技术

2010年3月26日星期五8

学习指导

1.1.1多媒体计算机的定义分类和关键技术（重点介绍）

1.L2多媒体使计算机技术发展的必然趋势

1.1.3在多媒体计算机发展史上卓有成效的公司和系统

2010年3月26日星期五9

LL1多媒体计算机的定义和关键技术

・何谓多媒体?

媒体(Medium)在计算机领域有两种含义：

1)用以存储信息的实体，如磁带、磁盘、光盘和

半导体存储器等

2)信息的载体，如数字、文字、声音、图形和图

像，多媒体技术中的媒体是指后者

2010年3月26日星期五10

1多媒体计算机技术的定义

多媒体计算机技术的二戈：

计算机综合处理多种媒体信息，文

本图形、图像、音频和视频，使多种信

息建立逻辑连接，集成为一个系统并具

有交互性。

多媒体计算机技术的三个主要特性

2010年3月26日星期五11

交互性

多媒体的是指用户可以与

计算机的多种信息媒体进行交互操作

从而为用户提供了更加有效地控制和

使用信息的手段。

2010年3月26日星期五13

集成性

是指以计算机为中心综合处

理多种信息媒体，它包括信息媒体的集

成和处理这些媒体的设备的集成。

______________包括信息的多通道

统一获取、多媒体信息的统一组织和存

储、多媒体信息表现合成等方面。

包括硬件和软件

两个方面O

2010年3月26日星期五14

2多媒体计算机的分类

从开发、生产厂商以及应用的角度出发可以分成

两大类：

电视计算机(Teleputer)

家电制造厂商研制的电视计算机，是把CPU放到家电中,

通过编程控制管理电视机、音响，有人称它为“灵巧”

电视---SmartTV

计算机电视(Compuvision)

计算机制造厂商研制的计算机电视，采用微处理器作为

CPU,其它设备还有VGA卡、CD-ROM、音响设备以及扩

展的多窗口系统，有人说它的发展方向是TV-Killer

2010年3月26日星期五15

维纳斯——生产家电的“机顶盒”

维纳斯计划：

上网功能

傻瓜计算机

数字家电网络控制平台

（清华大学计算机系人机交互与媒体集成研究

所）

联网功能

傻瓜计算机功能

接收数字电视

控制所有家电

2010年3月26日星期五16

蓝牙(bluetooth)在数字化信息家电中的应用低

功率短距离的、无线连接技术的别称。

蓝牙技术的特点包括:

1、采用跳频技术，数据包短，抗信号衰减能力强;

2、采用快速跳频和前向纠错方案以保证链路稳定,

减少同频干扰和远距离传输时的随机噪声影响；

3、使用2.4GHzISM频段，无须申请许可证；

4、可同时支持数据、音频、视频信号；

5、采用FM调制方式，降低设备的复杂性。

随着计算机和网络通信技术的发展，计算机数字化

技术、现代通信技术、已融合到信息家电中，使之智能

化并具有网络信息终端的功能。

2010年3月26日星期五17

促进多媒体技术发展的关键技术是：

♦(l)CD-ROM解决了多媒体信息的存储问题；

♦(2)高速计算机网络可以传送多媒体信息；

♦(3)高速位处理技术、专用集成电路技术和亚微米集成

电路技术的发展，为多媒体技术提供了高速处理的硬

件环境；

♦(4)多媒体压缩技术、人机交互技术和分布式处理技术

的出现促进了多媒体系统的产生与发展。

2010年3月26日星期五18

3多媒体计算机的关键技术

-视频音频信号获取技术;

-多媒体数据压缩编码和解码技术;

-视频音频数据的实时处理技术;

-视频音频数据的输出技术

2010年3月26日星期五19

-视频音频信号获取技术

过去计算机只能处理数和文字，现在要综合

处理声、文、图。多媒体计算机要解决的第一个关键

技术视频音频信号获取问题。只有将视频音频信号获

取到计算机中，才能谈到综合处理。可以自己设计声

音和视频信号获取器，也可以使用声霸卡、视频卡等

解决视频音频信号的获取问题。

2010年3月26日星期五20

■多媒体数据压缩编码和解码技术

过去计算机企图综合处理声、文、

图，但是不可以原因在于：文件数据量

过大

2010年3月26日星期五21

以一幅彩色静态图像(RGB)为例:

设分辨率为512x512

每一种颜色用8bit表示

即R用8bit256级别表示

G用8bit256级别表示

B用8bit256级别表示

则一幅彩色静态图像的数据盘为

512x512x3x8bit

2010年3月26日星期五22

NTSC制式30帧/秒

以PAL制25帧/秒为例.视频每秒件的数据量

512x512x3x8x25=180Mbps

22

PhaseAlternatingLineNationalTelevisionSystemsCommittee

PAL制式（逐行倒相制式）NTSC制式，全国电视系统委员会制式

2010年3月26日星期五23

过去计算机的总线为ISA

ISA总线的传输率为150KB/S

变成bit为150x8=1.2Mbps

把180Mbps的视频流经过传输率为

150KB/S的ISA总线送到计算机的硬盘

几乎是不可能的。

差不多要压缩近似200倍

2010年3月26日星期五24

视频压缩标准很多，比如VCD的标准是MPEG

-1（一种压缩比率较大的活动图象和声音

的压缩标准），DVD的标准是MPEG-2

现在VCD的标准MPEGT的定传输率为

1.5Mbps

通过压缩可以把视频流传输到计算机并且

存储。

如何压缩数据?

帧内压缩

帧间压缩

2010年3月26日星期五25

帧内压缩

图——Bitmap——存储器——顺色相同的块——帧内压缩

26

帧间压缩

不变化的只传送一次.传送一个运动矢量

2010年3月26日星期五

■AC-3是美国杜比实验室开发的数字多声道音响标准的

代号，正式名称是“DoblyDigital（杜比数码）”，即

现在的DVD影碟所采纳的数字多声道音响规格。前置左

右，后置左右，中置和低音6个声道经压缩处理后，存

储在DVD影碟上。在播放影像时，不论以双声道还是完

整的六声道输出声音，也必须把存储在DVD影碟上的资

料解码。

•杜比AC-3提供的环绕声系统由5个全频域声道和1个超

低音声道组成，被称为5.1声道。5个声道包括左前、中

央、右前、左后、右后。低音声道主要提供一些额外的

低音信息，使一些场景，如爆炸、撞击等声音效果更好。

6个声道的信息在制作和还原过程中全部数字化，信息

损失很少，全频段的细节十分丰富。

■AC-3解码器是解压用的设备。而这里所指的设备，可

以是DVD的一部分，一部外置的功放机，也可以是DVD解

码软件中的一部分

2010年3月26日星期五28

■视频音频的实时处理技术

实时处理----Realtime

2010年3月26日星期五29

电视信号的扫描光栅扫描一行的时间为64微秒

其中正程为52.2微秒

逆程为11.8微秒

如果分辨率为512x512则处理每个象素的时间近似为0.1

微秒

实时的概念是:

512x512处理一个象素的时间为0.1微秒

256x256处理一个象素的时间为0.2微秒

2010年3月26日星期五30

-11121

-22

-11-1-1-1

Sobel算子

抽取某图像的边缘

利用sobel算子对每一个点作相应的运算，每

次9^*点

实时：蚩求在0.1微秒内做9个加法和9个乘法

运算，将运算结果放到中间的点上

解决的方法

DSP——数字信号处理器

LUT(LookUpTable)查找表

2010年3月26日星期五31

-视频音频的输出技术

过去计算机处理数和文字，现在要综合处理声、

文、图。就要解决视频音频的输出问题

输出视频：视频会议画中画电视

音频：环绕立体声DolbyAC-3

2010年3月26日星期五32

1.1小节总结

--

.-I

蓦定义：综合处理声文图信息，集成性和交互性。

得分类：电视计算机和计算机电视

关键技术:

视频音频信号获取技术;

多媒体数据压缩技术和解码技术;

视频音频数据的实时处理技术；

视频音频数据的输出技术

2010年3月26日星期五33

第一章内容

1.1多媒体计算机的定义和关键技术

1.2多媒体技术促进了通讯、娱乐和计算机技

术的融合

1.3多媒体计算机技术的应用和发展

2010年3月26日星期五34

1.2多媒体技术促进了通讯、娱乐和计算机的融合

所谓通信、娱乐和计算机的融合,

即把消费类电子产品：电话、电视、图文

传真机、音响、录像机与计算机融为一体,

由计算机完成视频音频信号的采集，压缩

和解压缩，实时处理视频和音频及其特技、

视频的多窗口显示及音频的立体声输出，

从而形成新一代的产品，为人类的生活和

工作提供全新的信息服务

2010年3月26日星期五35

0餐1.2多媒体技术促进了通讯、娱乐和计算机

:看的融合

8W1.2.1多媒体技术是解决常削电机数字化

即■及高清晰度电视(HDTV)切实可行的方案

遴L2.2用多媒体技术制作VCD及影视音响卡

拉0K机

1.2.3个人数字助理(PDA)个人信息通讯

中心(PIC)

2010年3月26日星期五36

1.2.1多媒体技术是解决常规电视数字化

及高清晰度电视(HDTV)切实可行的方案

-HDTV(HighDefinitionTelevision)

-常规电视数字化

-交互式电视(ITV)

-影视节目制作

2010年3月26日星期五37

-HDTV

-常规电视数字化

-交互式电视（ITV）

-影视节目制作

HDTV特点与常规电视的同播问题

采用多媒体计算机技术制造HDTV,它可以

支持任意分辨率的输出，输入输出分辨率可以

独立，输出分辨率可以任意变化，可以用任意

窗口尺寸输出。与此同时，它可能赋予HDTV很

多新的功能，如图形功能，视频音频特技以及

交互式功能。

2010年3月26日星期五38

HDTV特点:

1、采用国际标准的压缩编码算法MPEG-2

2、采用打包数据结构

3、采用双层传输技术

采用国际标准的压缩编码算法MPEG-

II,这意味着它能以MPEG,JPEG压缩编

码算法为基础的多媒体计算机兼容，并

与其互连通讯

2010年3月26日星期五39

HDTV特点:

1、采用国际标准的压缩编码算法MPEG-2

2、采用打包数据结构

3、采用双层传输技术

采用打包数据结构，当电视信号在视频通道传

输时，图像和声音数据分成不同分量，在大多数

情况下，这些分量要遵循大小和次序的限制。

HDTV将图像和声音信息以及用于多媒体服务的附

加数据以包的方式传送，这些数据包能够动态分

配，使HDTV能与计算机、多媒体娱乐、教育系统

及录像机通讯，打开了将电视机、计算机和通讯

融为一体，通向更灵活服务领域的大门。

2010年3月26日星期五40

HDTV特点:

1、采用国际标准的压缩编码算法MPEG-2

2、采用打包数据结构

3、采用双层传输技术

采用双层传输技术，双层传输技

术保证HDTV的可靠性和抗干扰性。它

将信息分开传送，最重要的数据放到

具有高优先级的载波上传输，其它数

据则放到具有标准优先级的载波上传

输。

2010年3月26日星期五41

-HDTV

-常规电视数字化

-交互式电视（ITV）

-影视节目制作

常规电视数字化技术及交互式电视技术（包

括点播电视技术VOD）都是当前世界上的热点课

题，最佳地解决办法是采用数字式视频，数字式

音频及MPEG压缩编码算法，以便于数据传输、存

贮及计算机控制和管理

如何解决常规电视和高清晰度电视同播

（Simulcast）问题，它就像彩色电视采用YUV方

案和黑白电视兼容同等重要。

2010年3月26日星期五42

国际标准MPEG-2,采用了分层的编码体系

(HierarchicCoding),提供了较好的可扩充性

(Scalability)及互操作能力

(InteroperabiIity)o既解决了常规电视数字化,

也满足了HDTV.

为了实现分层编码，MPEG-2提供了四种工具:

1.空间可扩展性(SpatialScalabiIity)

2.时间可扩充性(TemporalScalabiIity)

3.信噪比可扩充性(SNRScalability)

4.数据分块(DataPartitioning)

为了支持灵活的性能价格比，MPEG-2还提供了框架

(Profile)与等级(Level)的概念，给出了丰富的

编码方法，灵活的操作模式以适合不同场合的需要。

2010年3月26日星期五43

-HDTV

-常规电视数字化

-交互式电视（ITV）

-影视节目制作

交互式电视技术（ITV）:

1.节目间交互

2.节目内交互

2010年3月26日星期五44

最常用的是节目间的交互，即VOD系统点播系统,

VOD系统又可以分成和(NearVOD)

如机顶盒。

在真VOD中，针对比如1000个人的点击，在发射端

视频服务器就要发出1000个视频流。在准VOD中，针对

某些节目在黄金时段点播比较集中的特点，比如将90

分钟的节目分成9个视频流，10钟一个，这样针对比如

1000个人，用9个视频流就可以满足要求了，等待时间

不会超过10分钟，在这段时间可以放一些广告和节目

预告等，而不需要1000个视频流，视频流是很贵的，

一个视频服务器一个视频流在美国的售价大体是400美

元。所以说最常用的是节目间的交互，应用最广的是

准VOD系统。

2010年3月26日星期五45

典型的VOD系统主要由下述四部分组成

(1)视频服务器

(2)编码器/路由器

(3)用户请求计算机和记账计算机

(4)机顶盒

2010年3月26日星期五46

节目内的交互

用得比较少，主要是交互式影院

等

2010年3月26日星期五48

-HDTV

-常规电视数字化

-交互式电视（ITV）

-影视节目制作

多媒体计算机技术在常规电视和

高清晰度电视，影视节目制作中

的应用分成两个层次：

（1）影视画面的制作

（2）影视的后期制作（非线性编

2010年3月26日星期五49

1.2.1多媒体技术是解决常规电

视数字化及高清晰度电视(HDTV)

切实可行的方案

1.2.2用多媒体技术制作VCD及

影视音响卡拉0K机

1.2.3个人数字助理(PDA)个

人信息通讯中心(PIC)

2010年3月26日星期五50

1.2.2用多媒体技术制作V-CD、DVD及影视

音响卡拉OK机

多媒体数据压缩和解压缩技术是多媒

体计算机系统中的关键技术，全世界很多

半导体厂商都在积极开发、生产、销售图

像压缩和解压缩芯片

2010年3月26日星期五51

美国C-Cube公司从1989年成立以来，已投资数

千万美元，先后开发生产了CL-550、CL-560、CL-

460,它们是JPEG静态图象压缩和解压缩处理器以

及MPEGT解码器，同时还提供板级产品及开发系统。

经过几年努力宣传和推销，虽然连续几年在Comdex

博览会上深受观众的欢迎和青睐，但该公司的产品

在对媒体计算机的领域中的销量欠佳，为了打开芯

片的市场销路，该公司的董事长决定把芯片用到V-

CD的播放机中。

V-CD是JVC、Philips、Matsushita以及Sony联

合制定以数字、电视视盘技术标准，它于1993年问

世。我国安徽合肥万燕公司（与美国和韩国合资）

在世界上首先利用MPEG国际标准和CD光盘技术，研

制了全功能影视音响卡拉0K机CDK-320

2010年3月26日星期五52

视频播放系统主要有下述3种产品

LMPEG播发卡

2.V-CD播放机

3.DVD播放机

2010年3月26日星期五53

2010年3月26日星期五54

2010年3月26日星期五55

特技式播放麦克风

基于ES-3309芯片的DVD系统框图

2010年3月26日星期五56

1.2.1多媒体技术是解决常规电视数

字化及高清晰度电视(HDTV)切实可

行的方案

1.2.2用多媒体技术制作VCD及影视

音响卡拉0K机

1.2.3个人数字助理(PDA)个人信

息通讯中心(PIC)

2010年3月26日星期五57

1.2.3个人信息通讯中心（PIC）

PersonaIInformation

CommunicationCenter

Pic也有人称它为

PAC-PersonalActivityCentre

PDA-PersonalDigitalAssistant

2010年3月26日星期五58

1992年，Apple公司首先推出了世界上

第一个NewtonPDA（个人数字助理），

Motorola、AT&T、IBM、菲利浦、松下、

卡西欧及东芝等世界著名厂商相继推出

了各具特色的PDA产品。除了美国、西

欧和日本外，台湾和韩国的厂商也加入

了PDA市场的角逐

PDA的市场代表产品就是掌上电脑，如

商务通等。

2010年3月26日星期五59

中文PDA系统结构——一个例子

我国为了开发具有中国特色的PDA产品，其结构如图:

图In中文PDA系统结构图

31

2060

WAP手机（WirelessAppIication

Protocol,无线应用由议）也是一个

未来无线Internet的主要接入设备。

PDA和WAP手机让我们看到了移动产品

走向无线互联的趋势，也让我们看到

了计算机和通讯产品融合的端倪。

2010年3月26日星期五61

第一章内容

a

1.1多媒体计算机的定义和关键技术

1.2多媒体技术促进了通讯、娱乐和计算机技术

的融合

1.3多媒体计算机技术的应用和发展

2010年3月26日星期五62

1.3多媒体计算机技术的应用和发展

计算机制造厂商研制多媒体计算机,

可以作为可视电话、视频会议系统终端、

卡拉0K机，电视机，录像机，VCD机等。

论述内容:

-多媒体数据库和基于内容的检索

-多媒体通讯

-多媒体创作工具

2010年3月26日星期五63

1.3多媒体计算机技术的应用和发展

1.3.1多媒体技术的应用

1.3.2多媒体技术的发展方向

2010年3月26日星期五64

t.3.1多媒体技术的应用

就目前而言，多媒体技术已在商业

教育培训、电视会议、声像演示等方面

得到了充分应用。

在教育与培训方面的应用

在通信方面的应用

在其他方面的应用

2010年3月26日星期五65

在教育与培训方面的应用

多媒体技术使教材不仅有文字、静

态图像，还具有动态图像和语音等。使教

育的表现形式多样化，可以进行交互式

远程教学。

利用多媒体计算机的文本、图形、

视频、音频和其交互式的特点，可以编制

出计算机辅助教学(Computer

AssistedInstruction)软件，即课件。

D

2010年3月26日星期五66

在通信方面的应用

多媒体技术在通信方面的应用主要有:

可视电话

视频会议

信息点播(InformationDemand)

计算机协同工作CSCW

(ComputerSupported

CooperativeWork)

2010年3月26日星期五67

信息点播有桌上多媒体通信系统和

交互电视ITV。

计算机协同工作CSCW是指在计算机

支持的环境中，一个群体协同工作以完

成一项共同的任务。

计算机的交互性，通信的分布性和

多媒体的现实性相结合，将构成继电报

电话、传真之后的第四代通信手段。

2010年3月26日星期五68

在其他万面的应用

多媒体技术给带来了巨大的

影响，其中近隼来出现的电子图书和电

子报刊就是应用多媒体技术的产物。

利用多媒体技术可为

服务，如旅游、邮电、交通、商业、金

融、宾馆等。

多媒体技术还将改变未来的

,多媒体技术在家庭中的应用将使人

们在家中上班成为现实。

2010年3月26日星期五69

1.3.2，媒体妓术的发展方向

前，多媒体主要从以下几个方向发展:

多媒体通信网络环境的研究和建立

将使多媒体从单机单点向分布、协同多

媒体环境发展，在世界范围内建立一个

可全球自由交互的通信网。

对该网络及其设备的研究和网上分

布应用与信息服务研究将是热点。

2010年3月26日星期五

利用图像理解、语音识别、全文检

索等技术，研究多媒体基于内容的处理、

开发能进行基于内容的处理系统是多媒

体信息管理的重要方向。

匚多媒体标准仍是研究的重点：各类

标准的研究将有利于产品规范化，应用

更方便。它是实现多媒体信息交换和大

规模产业化的关键所在。

2010年3月26日星期五71

.多媒体技术与相邻技术相结合，提

供了完善的人机交互环境。多媒体仿真

智能多媒体等新技术层出不穷，扩大了

原有技术领域的内涵，并创造新的概念。

D多媒体技术与外围技术构造的虚拟

现实研究仍在继续进展。多媒体虚拟现

实与可视化技术需要相互补充，并与语

音、图像识别、智能接口等技术相结合,

建立高层次虚拟现实系统。

2010年3月26日星期五72

1.3.1多媒体数据库

1.3.2多媒体通讯

1.3.3多媒体创作工具及同步技术

1.3.4多媒体计算机的发展趋势

2010年3月26日星期五74

1.3.1多媒体数据库

多媒体数据库

、

叶

书

机

计

明

馆

设

辅

助

博

物

等

等

计

馆

2010年3月26日星期五

内容

一、多媒体数据库的研究途径

二、研究开发多媒体数据库要解决的关键

三、多媒体数据库基于内容的检索

2010年3月26日星期五76

一、多媒体数据库的研究途径

目前多媒体数据库的研究主要有以下三条途径：

1.在现有商用数据库管理系统的基础上增加接口，以

满足多媒体应用的需要；

2.建立基于一种或几种应用的专用多媒体信息管理系

统；

3.从数据模型入手，研究全新的通用多媒体数据库管

理系统。

第一种途径实用，但是效率很低；

第二种途径易于实现，但缺乏通用性，而且可扩展

性差；

第三种途径是研究和发展的主流，但是具有相当的

难度。

2010年3月26日星期五77

二、研究开发多媒体数据库要解决的关键技术

a多媒体数据模型

b数据的压缩和解压缩

c多媒体数据的存贮管理和存取方法

d多媒体信息的再现及良好的用户界面

e分布式技术

2010年3月26日星期五78

a多媒体数据模型

多媒体数据模型主要采用关系数据模型的

扩充和采用面向对象的设计方法。由于用传

统的关系模型难以描述多媒体信息和定义对

多媒体数据对象的操作，目前在关系模型扩

充方面除了引入抽象数据类型外，较多的采

用语义模型的方法。

关系模型主要描述数据的结构，而语义模型

则主要表达数据的语义，语义模型的层次高

于关系模型，后者可以作为前者的基础。

2010年3月26日星期五79

b数据的压缩和解压缩

由于多媒体数据，如声音、图像

及视频等数据量大，存贮和传输需要

很大的空间和时间，因此必须考虑对

数据进行压缩编码。

压缩方法要考虑到复杂性，实现

速度及压缩质量等问题。

2010年3月26日星期五80

C多媒体数据的存贮管理和存取方法

目前常用的有：分页管理、B+树和

Hash方法等。

在多媒体数据库中还要引入:

•基于内容的检索方法、

•矢量空间模型信息索引检索技术、

•超位检索技术

・智能索引技术等。

2010年3月26日星期五81

d多媒体信息的再现及良好的用户界面

在多媒体数据库中应提供对声音、图

像、图形和动态视频的各种编辑和变换功

能。

2010年3月26日星期五82

e分布式技术

多媒体数据通信对网络带宽有较高的要

求，需要相应的高速网络，此外还要解决数

据集成、异构多媒体数据语言查询、调度和

共享等问题。

2010年3月26日星期五83

三、多媒体数据库基于内容的检索

系统组成

1目标标识

2特征提取

3数据库

4查询接口

5检索引擎

6索弓I/过滤器

2010年3月26日星期五84

基于内容的检索处理过程

1提交查询要求

2相似性匹配

3返回候选结果

4特征调整

2010年3月26日星期五85

一个图象检索实例一基于内容的检索

清华大学计算机科学与技术系结合国家863高技术

研究发展项目“Web上基于内容的图像检索”的研究，于

1997年研制了一个Internet上的静态图像的基于内容检

索的原型系统

系统的实现了七种特征的图象检索，即

・主颜色、

•纹理、

•色调直方图、

•轮廓、

■颜色分布、

■彩色直方图

2010年y由题2期五86

・主颜色(DominatingColor)

主颜色就是图片中占较大比重的颜色。在图像处

理中，主颜色的提取过程是：将图像的各点颜色值

(一般是RGB值)量化到16*16*16的区间内，然后对

图像的点聚类。如果某聚类颜色的像素点占图像全部

像素的20%以上，就认为该聚类中心颜色是该图的主

颜色。所以，一幅图片的主颜色可能不止一种。

IfCUCtfirfirrH

2010年3月26日星期五87

oo

oc

用

踊

嘲

m

9

z

nle:

>

o

3

z

•纹理（Texture）

纹理特征适用于墙纸、布匹等具有简单、重

复性的图案的检索。对纹理而言，如果用户没有

一定的美术基础，很难直接用绘画的方式提交数

据，因此采用了预定义的模板的方式，用户可以

在特征输入区中浏览选择。

・颜色分布(ColorDistribution)

颜色分布是另外一个检索效果较好的特征。

它同时表示了图像中颜色的值与位置属性，比较

直观，在查询界面上以用户直接画图的方式提交

数据

轮廓（Sketch）

在图像库中有很多图片的内容难以用颜色、位置、

纹理来描述。比如想查询“画面分为上下两部分〃的图

像，用前面提到的特征无法方便地描述，可以用

Sketch特征来描述画面中的各个部分的相对位置关系

2010年3月26日星期五92

'(ivznio

0

2010年3月26日星期五

1.3.1多媒体数据库

1.3.2多媒体通讯

1.3.3多媒体创作工具及同步

技术

1.3.4多媒体计算机的发展趋

势

2010年3月26日星期五94

1.3.2多媒体通讯

现代化社会人的工作方式的特点是具

有群体性、交互性、分布性及协作性。

传统的电讯业务电话，传真等通信方式

已不能适应社会的需要，为了提供更具有

人性化的交流环境，把通信手段从语音为

主转向视频为主是一个很自然的要求。

2010年3月26日星期五95

一、多媒体通讯分类

1一类是对称的全双工的多媒体通信，

如分布式多媒体信息系统、视频会议系

统及计算机支持的协同工作系统;

2一类是(信息量)非对称全双工的多

媒体通信系统，如交互式电视系统

(ITV)、点播电视、远程教育系统、

远程医疗诊断系统及远程图书馆。

2010年3月26日星期五96

二、多媒体通讯的关键技术

1多媒体数据压缩（越小越好）

2高速数据通信问题（带宽越宽越好）

2010年3月26日星期五97

一个视频会议系统的例子

视频会议系统要解决的问题

1多媒体终端的设计

2MUC多点控制单元

3QOS服务质量

4安全保密

5视频会议系统的标准

2010年3月26日星期五98

三、视频会议系统

分类：

1点对点视频会议系统

2多点视频会议系统

2010年3月26日星期五99

2010年3月26日星期五100

H.261H.221

视翩输入摘出一视糖编解码多路

复用/

G.711(722.728)解复用

讦频输入箱出一音频编解码一铤迟

T.120

用户应用数据ISDN

网

H.230.H.242.H.243网络

接口

系统控制一*控制待仪SRP/LAPM处理-MCU

图8.2H.320标准系统框图

2010年3月26日星期五101

H.261.H.263H.222

视翩输入输出视频编加码数据

打

包

解

G.7n.G・722.G.723c728包

音稳输入输出音频编解码延迟

T.120

局域

网络

接口

2010年3月26日星期五102

H.263H.223

图8.5H.324标准系统植图

2010年3月26日星期五103

1.3.1多媒体数据库

1.3.2多媒体通讯

1.3.3多媒体创作工具及同步技术

1.3.4多媒体计算机的发展趋势

2010年3月26日星期五10