多媒体技术核心考点.doc

多媒体多媒体是指以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并能具有良好交互性的技术。 多媒体技术(multimedia computing) 特征1多样性。适应了信息载体的多样性，信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。2交互性。易于人和计算机的交互，交互可以增加对信息的注意力和理解力，延长信息保留的时间。3集成性。实现了信息处理的集成性，多媒体集成性主要包括在两个方面：多媒体信息媒体的集成，处理这些媒体的设备与设施的集成4实时性。声音、视频体香、动画等媒体是强实时的，多媒体系统提供了对这些时基媒体实时处理的能力。媒体类型：视觉类媒体、听觉类媒体、触觉类媒体、其他感觉（嗅觉、味觉）类媒体。（第2章PPT）多媒体元素：文本，图形，图像，视频，音频，动画。（第2章PPT）各种媒体具有不同特点和性质：1媒体是有格式的，2不同媒体表达信息的特点和程度各不相同，3媒体之间可以相互转换，4媒体之间的关系也具有丰富的信息媒体具有空间性质：1表现空间，2媒体按相互的空间关系进行组织，3视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合。媒体的时间性质：1表现需要时间，2媒体在时间坐标轴上的相互关系。媒体的语义：1媒体的语义是有层次的，2抽象的程度不同，语义的重点也就不同。媒体结合的影响：1、媒体结合是多层次的，2媒体结合有利于信息接受和理解。隐喻：交互的概念模型，也称心智模型音频的重要指标：振幅、周期、频率。声音重要指标：频率、振幅、相位声音的量纲：分为物理量纲和心里量纲听觉特性：等响曲线，掩蔽，临界频带，相位，自然声音的时变现象，听觉空间，听觉的频谱特性，声音的心里模拟。音频信号处理：人与计算机通信，计算机与人通信，人计算机人通信。1计算机接收音频信号。2也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。3人通过网络与异地的人进行语音通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。音频的数字化与再现：在计算机中所有的信息都以数字来表示，声音信号也是由一系列的数字来表示的，称为数字音频。数字音频的特点就是保真度好，动态范围大。数字音频是一个数列序列。它是由外界声音经过采样、量化和编码后得到的。对声音进行采样用奈奎斯特采样定理来决定采样的频率。只要采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。（人耳20hz-20khz,一般采用44.1khz作为高质量声音的采样频率）数字音频的重要特性：采样频率、采样位数（8位或16位）、声道数、数据量。数据量=（采样频率每点采样位数声道数）/8 （字节/秒）声音的符号化：也称为抽象化，两种类型：音乐、语音。视觉特性：亮度、时间特性、色彩、注视点和视野范围。（亮度：人眼对光强度的感受，时间特性：建立视觉图像需要时间，图像是逐渐消退的，色彩：表示颜色需要考虑三种心理属性：色调、亮度和饱和度。视觉注视点主要集中在图像中黑白交界的部分，尤其是拐角处。人眼的视野左右视角约为180度，上下约为60度。但视力好的部位仅限于2到3度）模拟视频原理：光栅扫描原理、色彩视频。触觉媒体任务：选择、定位、定向、路径、数量、操作。视觉媒体数字化：对计算机来说，无论是文字或图形，还是图像或视频，在计算机上进行处理首先要数字化。与音频信号相似，对所要处理的一幅画面，通过对每一个象素进行采样，并且按照颜色或者灰度进行量化，就可以得到图像的数字化结果。位图图像与数字视频：数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。对视频按照时间进行数字化所得到的图像序列，就构成了数字视频序列。它同样与频率和量化的比特数有关。频率必须足够高，以跟上模拟信号流；量化的比特数越多，量化的值就越多，所能表示的颜色或灰度级数就越多。图形：一种抽象化的图像，是对图像依据某个标准进行分析而产生的结果。它不直接描述数据的每一点，而是描述产生这些点的过程及方法。因此被称之为矢量图形，一般直接称为图形。符号与文字：符号媒体-某种抽象的结果。各种描述量、语言、数据、标识符、数值、字符等都是符号媒体。文字-由于符号具有明显的结构性，大脑可以识别这种结构，进而可识别出由这一组符号所代表的信息。符号媒体特点：1符号媒体要知识的辅助才能使用，2符号媒体表达精度高3符号媒体存储量小。文本媒体特点：1文本是流结构形式2对文本的控制不影响媒体信息本来的表达3文本显示的改变只是属性的改变，并不影响文本本身的含义4对文本的处理应遵从文本内部的结构多媒体处理的数据压缩和指标（第3章PPT）数据压缩性能指标：1压缩比2图象质量3压缩和解压的速度。数据压缩方法：无损压缩、有损压缩。1根据解码后数据与原始数据是否完全一致可以分为两大类：一类是熵编码、冗余压缩法，也称无损压缩法、无失真压缩法；二是熵压缩法，也称有损压缩法、有失真压缩法。2从信息语义角度分为“熵(平均信息量)编码”和“源编码”两种。模拟图象质量的指标：信噪比、分辨率、颜色错数据冗余类型：1空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特性具有相关性，这些相关性的光成像结果在数字化图像中就表现为数据冗余。2时间冗余：时间冗余反映在图像序列中就是相邻帧图像之间有较大的相关性，一帧图像中的某物体或场景可以由其它帧图像中的物体或场景重构出来。3信息熵冗余。4视觉冗余：人类视觉的一般分辨能力为26灰度等级，而一般图像的量化采用的是28灰度等级，即存在着视觉冗余。5听觉冗余：人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。6其它冗余：包括结构冗余、知识冗余等。音频压缩的基本方法：1无失真压缩（Huffman编码、行程编码）、2有失真压缩（波形编码、参数编码、混合编码）语音压缩标准：G.711 /721/723 /728。广播G.722图像和视频压缩方法：无失真压缩、有失真压缩（1、huffman编码、行程编码、算数编码、LZW编码。2预测编码、变换编码、模型编码、基于重要性、混合编码）静止图像压缩标准：JPEG标准、JBIG标准、ITU-T的G3、G4标准JPEG压缩标准：1压缩比高，图像质量保真程度好；2算法能适应不同的数字图像参数、大小、图像内容、彩色空间、统计特性等，但不包括二值图像；3用户可以对压缩比、质量效果进行选择；4应该满足硬软件实现的计算需求；5支持多种操作方式。）MPEG标准的目标是以约1.5Mbps的速率传输电视质量的视频信号，亮度信号的分辨率为360240，色度信号的分辨率为180120，每秒30帧。MPEG-标准包括：MPEG系统，MPEG视频，MPEG音频，测试验证，四大部分内容。所以MPEG涉及的问题是视频压缩、音频压缩及多种压缩数据流的复合和同步问题。MPEG-4是多媒体信息描述的最新标准，它所涉及的应用范畴包括有线、无线、移动通信和因特网等领域。MPEG-是以内容为中心的描述方法，对信息元的描述更加符合人的心理，不仅可以获得比现有标准更为优越的性能，还提供了各种新的功能。光存储设备类型、技术指标、基本格式（第4章PPT）光存储设备类型：只读型光存储系统（只读型光盘包括LV和CD-ROM等），一次写型光存储系统（一次写（WORM）光存储系统可一次写入，任意多次读出），可重写型光存储系统（可重写光盘（E-R/W，Rewritable或Erasable）像硬盘一样可任意读写数据-分为两种，磁光型（Magnetic Optical，简称MO），相变型（Phase Change，简称PC）技术指标：尺寸、容量、平均存取时间、数据传输率、误码率、平均无故障时间基本格式：CD-DA：为激光数字音频唱盘制定的规格。CD标准的第一个文本，属于红皮书规格。CD-ROM逻辑格式：黄皮书。CD-G：遵循红皮书规格的光盘，主要用于存储静止画面。CD-WORM：属于蓝皮书规格，实现了光盘的一次写多次读的功能。CD-I：属于绿皮书规格。在CD-ROM基础上补充了音频、视频和计算机程序方面的规定。CD-V：红皮书标准的延伸，用于影碟机，其视频信号可以输出到电视机上。CD-ROM XA：Philips、SONY和Microsoft制定的CD-ROM扩展结构。扩充了对数字音频信号的编码，目的是为了弥补推出CDI规格带来的问题。该规格也称为黄皮书的第二组标准。CD-R（：橙皮书规格。在黄皮书的基础上增加了可写入的多种CD格式标准。Photo CD：像片光盘，允许多段追入记录，属于白皮书标准。多媒体软件系统（第5章PPT）多媒体软件系统层次：按照功能分为5类4个层次：1多媒体驱动软件（多媒体软件中直接和硬件打交道的软件称为驱动程序，它完成设备的初始化、各种设各操作以及设备的打开、关闭、基于硬件的压缩解压、图像快速变换等基本径件功能调用等等）2支持多媒体的操作系统或操作环境（又称多媒体核心系统。具有实时任务调度、多媒体数据转换和同步控制机制，对多媒体设备的驱动和控制，以及具有图形和声像功能的用户接口等。一般是在已有操作系统基础上扩充和改造，或者重新设计）3多媒体数据准备软件（用于采集多种媒体数据的软件，如声音录制、编辑软件；图像扫描及预处理软件，全动态视频采集软件；动画生成编辑软件等。从层次角度来看，多媒体数据准备软件不能单独算作一层，它实际上是创作软件中的一个工具类部分）4多媒体编辑创作软件（又称多媒体创作工具，是多媒体专业人员在多媒体操作系统之上开发的供特定应用领域的专业人员组织编排多媒体数据、并把它们联接成完整的多媒体应用的系统工具。它可以提供不同的编辑、写作方式：基于脚本语言的写作工具，如Tool Book；基于流程图的写作工具，如Authorware；基于时序的写作工具，如Action；）5多媒体应用软件（在多媒体硬件平台上设计开发的面向应用的软件系统，由于与应用密不可分，有时也包括那些用软件创作工具开发出来的应用）多媒体制作工具：指能够集成处理和统一管理多媒体信息，使之能够根据用户的需要生成多媒体应用系统的工具软件。多媒体著作工具的八个功能和特性1编程环境2超媒体功能和流程控制功能3支持多媒体的数据输入和输出4动画制作和演播5应用程序间的动态链接6制作片段的模块和面向对象化7界面友好8良好的扩充性多媒体设计过程（第5章PPT）1应用目标分析(确定应用目标、建立应用内容知识结构、使用的对象)2脚本编写(应用内容的文字脚本-按照应用过程的先后顺序，用于描述每一个环节的应用内容及其呈现方式的一种形式。包括对象特征分析、应用目标描述、知识结构分析、问题的编写、文字脚本卡片；制作脚本-体现软件的系统结构和应用功能，并作为应用制作的直接依据的一种形式。包括系统结构说明、表现手法、屏幕设计)3各种媒体信息的数据准备(各种素材的收集与整理、素材的数字化)4创作设计(根据脚本在集成平台上实现创意，包括页面创作、程序编制、布局和超链建立)5测试维护多媒体同步、分类、表示方法（第6章PPT）同步：多媒体是在不同应用环境中文本、图像、声音、视频等各种媒体的集成。既然需要将这些媒体安排在一起表现，就有一个先来后到的关系。这个关系就是同步关系，系统对各个媒体对象按照这个关系进行的控制过程，就是同步。同步的过程与时间有着密切的关系，大多数同步都建立在时间的基础上。同步种类：1应用同步，应用层同步又称表现同步，或交互同步。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。2合成同步，合成同步又称为“媒体之间的同步” 。这种同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。3现场同步，现场同步也属于媒体间的同步。它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系，也既端端之间的同步关系。4系统同步，系统同步，又称“媒体内部的同步”。这里“系统”指的是该层同步如何根据各种输入媒体对应的实际硬件系统（设备）的性能参数来协调实现其上层合成同步所描述的各对象间的时序关系。多媒体同步的表示方法：用于时间规范有基于语言和基于图形的表示方法。基于语言的表示法主要是脚本；基于图形的表示法包括时间线、流图、Petri网、时间层次法等。超文本与超媒体（第8章PPT）超媒体（Hyperlmedia ）是指用超文本方式加以组织和处理图形、图像、动画、声音、视频等多媒体信息。从超媒体获得的不仅仅是文本信息，还可以是多媒体计算机所能处理的任何信息。使用超媒体可以非常高效地管理和组织大量具有逻辑联系的各种信息，使用户能在短时间内了解大量有关信息。超媒体特点：节点中的数据不仅仅可以是文字,而且可以是图形、图像、声音、动画、动态视频，甚至计算机程序或它们的组合；成为支持多媒体信息管理的天然技术；为强调系统是多媒体的而引入“超媒体”多媒体超文本；超媒体：超媒体=多媒体+超文本；超媒体比超文本复杂的多；节点：超文本/超媒体是由节点构成的信息网络，每个节点包含一个特定主题的信息，节点的大小视主题而一。节点表现形式：基于框架的节点：节点内容固定尺寸；基于窗口的节点：对信息容量没有限制；多媒体数据库的体系结构，数据模型，检索，方法，过程结构形式：1联邦型结构2集中统一型结构3客户服务型结构4超媒体型结构多媒体数据库的层次结构（可划分为四个层次）：1媒体体支持层2存取与存储数据模型层3概念数据模型层4存取与存储数据模型层和概念数据模型层也可以通称为数据模型层5多媒体用户接口层数据模型：NF2数据模型、面向对象的数据模型及其他一些数据模型。数据模型由三种基本要素组成：1数据对象类型的集合（描述了数据库的构造）2操作的集合3通用完整性规则的集合（通用完整性规则给出了一般性的语义约束）基于内容的检索：数据库系统中，数据检索是一种频繁使用的任务。多媒体数据库包含大量的图像、声音、视频等非格式化数据，对它们的查询或检索比较复杂，往往要根据媒体中表达的情节内容进行检索。基于内容的检索(CBR)就是针对多媒体信息检索使用的一种重要技术。所谓基于内容检索，就是从媒体数据中提取出特定的信息线索，然后根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据出来。检索实现方法：一是基于传统的数据库检索方法，即采用人工方法将多媒体信息内容并表达为属性(关键词)集合，再在传统的数据库管理系统框架内处理。这种方法对信息采用了高度抽象，留给用户选择余地小，查询方式和范围有所限制。二是基于信号处理理论， 即采用特征抽取和模式识别的方法来克服基于数据库方法的局限性，但全自动地抽取特征和识别时间开销太大，并且过分依赖于领域知识，识别难度大。检索过程：1初始检索说明：用户开始检索时，要形成一个检索的格式，最初可以用QBE或特定的查询语言来形成。2相似性匹配：将特征与特征库中的特征按照一定的匹配算法进行匹配。3特征调整：用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成；或者从候选结果中选择一个最接近的示例，进行特征调整，然后形成一个新的查询。4重新检索：逐步缩小查询范围，重新开始。该过程直到用户放弃或得到满意的查询结果时为止。视频会议系统的组成，各部分的主要功能视频会议系统主要由以下几部分组成：1视频会议终端；视频会议终端的主要功能是：完成视频音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端。 2多端控制单元（MCU）；多端控制单元的主要功能是：对视频、语音及数据信号进行切换，例如它把传送到MCU某会场发言者的图像信号切换到所有会场。 3信道（网络）；信道（网络）的主要功能是：保证视频音频数据压缩码流安全在信道上传输到视频会