多媒体技术自考复习资料

127108 多媒体技术自考复习资料 第 1 章 导论 （一）多媒体与多媒体技术1、识记媒体有两重含义:一是指存储信息的实体，如纸张、磁带。二是指传递信息的载体，如数字、文字媒体：是指人们日常所接触信息的表示或传播的载体多媒体计算技术定义：使用计算机综合处理文本、声音、图形、图像、动画、视频等多种不同类型媒体信息的技术。实质是通过数字化采集、获取、压缩/解压缩、编辑、存储等加工处理，以单独或合成的形式表现出来的一体化信息处理技术。多媒体计算技术是建立在计算机技术基础之上。计算机及其相关技术的发展是其重要支持和保证。 （清华大学出版-计算机科学技术百科全书-1998 年）多媒体应用技术：利用计算机软件及相关技术将不同类型的媒体信息有机地组合在一起，并赋予人机交互功能，从而创造出集多种表现形式于一体的多媒体应用系统多媒体应用技术的主要内容：(1)多媒体素材的制作与处理。2)多媒体应用数据的集成技术与创作工具。(3)多媒体应用系统的设计开发方法。(4)多媒体应用系统的管理与维护技术。2、领会 多媒体：融合了两种或两种以上媒体的交互式信息流和传播媒体。多媒体技术：使用计算机或者其他由微处理器控制的终端设备综合处理文本、声音、图形、图像、动画、视频等各种类型媒体信息的技术。其实质是通过进行数字化采集、获取、压缩/解压缩、编辑、存储等处理，再以单独或合成形式加以表现的一体化处理技术。多媒体技术特性:信息载体的多样性、集成性、交互性。多样性：信息载体多样性是相对于计算机而言的，是指信息媒体的多样化-信息多维化。人类对于信息的接收和产生主要集中在 5 个感觉空间内。多媒体的信息多样化不仅是指输人和输出的信息多样化，还是指输人和输出信息的转换和处理。集成性：一方面是指把单一的、零散的媒体有效地集成在一起，即信息载体的集成，它使计算机信息空间相对地得到完善，并能充分得以利用;另一方面，集成性还充分表现在多媒体系统硬件和软件实体的集成上。交互性：交互性将为用户提供更加有效、灵活的控制和使用信息的手段，也为多媒体技术的应用开辟了更为广阔的空间多媒体计算技术中的关键技术：(1)音频、图像、视频等媒体数据压缩/解压缩技术(2)多媒体专用芯片技术（超大规模集成电路-VLSI ）(3)多媒体存储和检索技术(4)多媒体输人输出技术2(5)多媒体系统软件技术(6)多媒体网络及传输技术多媒体应用没计中的关键技术：(1)多媒体素材的采集、制作和处理(2)多媒体数据集成技术(3)多媒体应用系统开发中的软件技术(4)界面设计与人机交互技术(5)通讯应用技术(6)虚拟现实技术（人机接口技术）理解应用虚拟现实技术：利用计算机所生成的一种模拟环境，通过多种传感设备使用户投入此环境，实现用户与这一环境直接进行自然交互的技术。投入是虚拟现实的本质。虚拟现实技术的重要特征：1 多感知性（视觉-听觉-触觉。 。 ）2 临场感3 交互性（可操作 实时性）4 自主性（虚拟物体根据物理规律动作的程度）多媒体技术不包括触觉、味觉等感知，处理对象主要是二维的，而虚拟现实则发展了多媒体技术。虚拟现实应用系统目前可分为 3 种:投入式、非投入式及混合式。投入式：看到计算机图像，看不到真实世界非投入式：看到真实世界和虚拟世界（系统简单价格适中）混合式：虚拟世界图像叠加在真实世界的景像上，增强现实功能（飞行，航海模拟器）虚拟现实目前的发展方向是 X3D 景物，增强现实，混合现实和 3D 交互。（二）多媒体计算机系统组成1.识记音频卡(Audio Card )也称为声卡 (Sound Card)，是 MPC 录制、处理和输出声音的专用功能卡音频卡功能:录制声音/音频信号的编辑与合成处理/语音合成和识别/控制电子乐器/播放音频文件音频卡性能：数据转换位数（8-16-32 位） 、采样频率（决定失真度 44.1khz） 、兼容性视频卡是专门用于对视频信号进行实时处理的硬件没备， “视频信号处理器” ， 对来自录像机、摄像机、光盘的视频信号进行数字化转换、编辑和处理，最后形成数字化视频文件并加以保存。视频卡的基本功能：视频输入（PAL+NTSC+SECAM） ，图像与视频混合，图像采集，画面处理视频卡的分类：视频采集卡，视频转换卡，视频压缩卡，视频解压卡，视频合成卡视频卡的性能：输人输出信号模式、画面分辨率、色彩模式、所支持的图像文件格式显卡是工作在 CPU 和显示器之间的显示适配器(Display Adapter)接口的简称，显卡与显示器共同组成计算3机显示系统。显卡功能：接收 CPU 和存储器发来的信息，将其进行处理和转换后向显示器发送视频信号和同步信号。显卡分类：一般显卡，图形加速卡，3D 图形卡，TV 集成显卡，显示 /视频输出集成卡多媒体操作系统：多媒体操作系统是多媒体系统的核心。多媒体的各种软件都要运行于多媒体操作系统平台上。多媒体操作系统综合使用各种媒体、灵活调度多媒体数据进行信息传输和处理控制各种媒体硬件设备和谐地工作，也就是将种类繁多的硬件有机地组织在一起，使用户灵活控制，并组织，操作。多媒体操作系统是一个实时多任务系统，控制和管理所有设备和软件协调工作、处理输人输出方式和信息、提供软件维护工具等。用户图形界面 GUI，动态链接库 DLL，动态数据交换 DDE，嵌入 OLE，接口 API，媒体控制接口 MCI多媒体数据库：（关系型数据库不适合多媒体管理） ，需要从多媒体数据模型，压缩，解压格式，数据管理，存取方法及用户界面等几个方面研究。多媒体数据对通讯带宽要求高，需要高速网络，要解决数据集成，查询，调度和共享的问题，及研究分布式数据库技术，将人工智能与数据库技术向结合的智能多媒体数据库，这是重要发展方向。多媒体创作工具：媒体素材制作工具+多媒体应用系统创作工具素材制作：图像，音频，视频，动画处理软件多媒体应用系统创作工具：编辑生成特定领域的多媒体应用软件。有脚本语言解释系统的，用基于图标导向的，基于时间导向的。2.领会 多媒体系统：多媒体系统是指由多媒体终端设备、多媒体网络设备、多媒体服务系统、多媒体软件和多媒体数据等构成的有机整体。多媒体系统构成：多媒体系统大致分为多媒体计算机系统和多媒体通信系统两大组成部分。多媒体计算机系统负责多媒体信息的处理和加工，而多媒体通信系统则负责多媒体信息的传输。多媒体计算机系统的基本组成目前仍可分为多媒体硬件系统和多媒体软件系统两大部分。个人计算机=MPC多媒体个人计算机最初是在原有的 PC 上增加多媒体套件升级为 MPC（声卡 光驱 解压卡+驱动+软件）MPC 主机的传统概念是由计算机中核心的主机板硬盘驱动器、 CD-ROM 驱动器及输人输出接口所构成的。CPU(中央处理器)是计算机运算器和控制器的集成主存也称为内存，除了 CPU 之外，决定计算机运行速度的主要因素就是主存总线是 MPC 实现各部件的连接、传送各种多媒体信息的公共通道，即公用信号线。近年出现了两种全新的接口，即 USB 与 IEEE 1394IEEE 1394 原为 Apple 公司开发的计算机接口技术，被称为 Fire Wire(火线)多媒体功能板卡是根据多媒体系统获取、编辑音频或视频的需要而设计的插接在 MPC 主机扩展槽上以解决各种媒体数据的输人输出问题的接口卡。 （音-视- 显 3 种卡）MPC 主机 ：MPC 主机板、CPU、主存、总线与接口、音频卡、视频卡、显示卡多媒体输人输出设备按其功能可分为以下 4 类：4(l)文本、图像、视频、音频输入设备(扫描仪、数字摄像机、数码相机、录像机或影碟机、传真机、手机等)(2)文本、图像、视频、音频输出设备( 打印机、电视机、大屏幕投影仪、音响等)。(3)既可输人也可输出的人机交互设备( 键盘、鼠标、触摸屏、绘图板、光笔及手写输人设备等)。(4)辅助存储设备(磁盘、光盘、可移动硬盘以及 U 盘等) 。输人是指把数据输人计算机系统的过程。输人设备的工作方式有脱机、联机、自动(源数据自动化) 和直接输人这 4 种输出的任务是把计算机所处理的数据转换成用户需要的形式。输出设备目前可分成三类:显示输出、硬拷贝输出，语音输出。多媒体通信设备：主要是指网络通信设备，包括网洛交疾机、路由器、宽带上网适配器、智能手机、移动终端等通过传统通信线路或者利用现代宽带技术与网络连接的各类设备。与 MPC 合为一体的有调制解调器、网卡/ 传真通信卡调制解调器：利用模拟信号的传输线路传输数字信号。网卡：将计算机作为终端设备接入局域网中传真/通信卡：它集传真功能、通信技术和计算机技术于一体。（三）媒体类型和媒体元素概述识记文本：Text 指各种文字、符号，包括各种字体、字号、格式及色彩的文本。是传递信息最自然、最主要的媒体类型音频：计算机术语中的音频(Audio)信号就是通常所说的声音（模拟和数字音频）图形：从点、线、面到三维空间的黑白或彩色几何图静态图像：简称图像，又称为位图，是由描述图像的像素点数据来组成图的矩阵。动画：与运动着的图像有关，是可以感觉到运动的相对时间、位置、方向和速度的动态媒体视频：和动画一样由许多幅单一画面构成，也是连续的动态图像，动画由人工或计算机绘制，视频由录像机实时获取。触觉和其他媒体：压力+运动可得到触觉媒体。领会 国际电报电话咨询委员会 CCITT 制定媒体分类标准共分 5 类：感觉媒体、表示媒体、表现媒体、存储媒体、传输媒体感觉媒体：能直接作用于人的感官，使其产生感觉的媒体（计算机主要是视觉和听觉）表示媒体：为计算机加工处理媒体数据，表现为数据格式，功能是定义信息表达特征-各种编码表现媒体：感觉媒体与电信号之间的转换媒体，表达信息的物理工具（鼠标，打印机等）存储媒体：保存数字化后媒体数据的物理介质，功能是记录-保存传输媒体：媒体信息传送的物理载体，连续传输信息感觉媒体详细划分：视觉+听觉+触觉+ 其他视觉：文字（符号+语言）+ 图像（图形+ 图像，二维+三维，静态+动态）5听觉：实际媒体-声音（自然界声响，语音，音乐）触觉：压力，运动，传感其他：嗅觉，味觉动画的本质是图像的变化，它利用人眼的“视觉滞留效应”产生运动错觉，形成连续影像。1831 年，法国人约瑟夫，转动圆盘图片，形成最原始的动画。1909 年，美国人 winsor mccay，第一部动画短片图形和静态图像特性和区分1 数据记录和产生方式不同。（图形是计算机运算绘制而成，图像是以一组描述点，线，面大小位置的指令形式存在。图形通过专用软件生成。绘图程序-draw。图像是最直接化的原始信号，基本元素是像素点。每个像素点用二进制来描述，位映射关系，故称为位图。bit 用来定义像素点的颜色和亮度。黑白线条图，用 1 位二进制数表示。2 描述的精确度不同（图形记录方式直接，比图像更有效 精确，可以放大，图像不能改变精确度）3 处理操作不同（矢量图形由运算关系支配，可以移动选择不失真。图像放大缩小会失真）4 显示速度不同（位图比矢量图形显示速度快，因为矢量图像运算复杂）5 数据量不同（图形文件数据量小，图像文件数据量大，因为要描述每一个像素点的信息）6 表现力不同（图形用于线形图，工程图设计，图像用于景观和人物等）数字视频和模拟视频区别：数字视频可操作性（编辑合成）和可压缩性。数字视频优点：无失真的无限次复制，模拟视频转录就会有误差，数字视频可以采用许多方法进行编辑视频信号数字化：一定时间内以一定速度对单帧视频信号进行捕获，处理以及生成数字信息的过程。（四）多媒体网络及应用识记宽带化：传输速率主要取决于接入网的速率。基于电话线的有线接人双向 64 一 384 Kbps 的综合业务数字网 ISDN。双向 1544Kbps 高速数字用户环路-HDSL(下行 10-30M 的超高速数字用户环路 VDSL）下行 2-8Mbps 的非对称数字用户环路-ADSL5 类和 6 类双绞线双向 10m-1G 的以太网，3G 和 4G 的无线传输领会 多媒体网络：多媒体技术和通信技术相结合的综合技术。1)语音:实时性。对延时、抖动敏感。对误码不敏感_2)数据:实时性要求不高，严格的误码校验3)图像:实时性要求不高，要求更高的带宽4)视频:高的带宽，并对实时性和媒体的同步要求较严格，允许有误码多媒体计算机网络特性:1 业务等级即服务质量 QOS 保证2 高带宽，也就是网络的宽带化3 媒体之间的同步性与可靠性保证64 双向交互的实时性多媒体网络的典型应用:1 交互式远程教学2 远程医疗3 交互式视频服务4 多媒体通讯多媒体通信是指在一次通信过程中能同时提供多种媒体信息的通信方式。多媒体通讯特征：1 同步性 2 集成性 3 交换性多媒体通信的业务类型：1 会话型 2 电子邮件型 3 检索型 4 分配型多媒体计算机网络现存的问题：带宽、服务质量控制、可靠性和自愈能力、网络地址带宽问题：多媒体网络瓶颈，增加带宽和传输率是网络技术首要问题。服务质量 QOS 控制问题：目前硬件条件无法对所有应用提供高质量等级服务，只能按需提供不同质量服务。网络可靠性和自愈能力：网络受干扰后，能自动检测，按策略寻找新线路，调整负载。网络地址：IPv4 地址资源有限，用 IPv6 代替多媒体网络的发展趋势高速信息传输网，光纤和高速数字交换设备构成高速宽带信息网，由骨干网和接入网组成，骨干用光纤+IPv6特征如下：1 双向传输 2 高精度、快速数字化传送 3 宽带化 4 开放式系统 5 规模化 6 智能化 7 多层结构 8 新互联网协议-IPv6（五）多媒体应用创作工具1.领会：多媒体创作工具：集成处理和统一管理文本、图形、视频、动画、声音等多种媒体信息的一个或一套编辑与制作工具，也称为多媒体开发平台。多媒体应用创作工具的基本功能：1 提供编程环境和对媒体数据流的控制能力2 控制处理媒体数据及操作能力，协调时序和同步控制3 构造和生成应用系统4 应用程序连接运行和监控5 生成媒体数据库，提供数据库管理功能。6 具有预演、调试和独立播放的能力。7 超级链接功能多媒体应用创作工具的 3 个基本特点(1)对各种媒体的集成和控制，实现随机性的交互式会话。(2)支持多种数字信号输人设备，实现不同文件格式转换。(3)易于实现标准化设计7CAD-辅助设计 CAI-辅助教学多媒体应用创作工具按其创作模式，可分为：基于描述语言、基于流程图、基于时间序列的创作工具，多媒体演示工具，网络多媒体创作工具，可视化编程环境基于描述语言：提供一套脚本描述语言或描述符号，脚本按 page 或 card 进行组织-基于卡片和页面的创作工具。典型代表是 Asymetrix 公司的 Multimedia ToolBook。ToolBook 是美国 20 世纪八九十年代最流行的创作工具之一基于流程图的创作工具：多媒体元素和交互作用提示及数据流程控制都在同一个流程图中进行安排，即以流程图为主干构造结构化的框架或过程。流程图中的流线(Line)是数据控制流程，流线上放置着不同类型的图标（lcon）这种编辑方式被称为Visual Authoring，即可视化创作。20 世纪 80 年代末美国 Matrix 公司推出的创作工具Layout， macromedia 公司的 authorware。基于时间序列的创作工具：数据或事件是以时间顺序来组织的，即以看得见的时间线(Timeline)来描述、安排事件的顺序和对象演示的时段，表达相互之间的关系，从而把抽象的时间可视化。Macromedia 公司的 Action 和 Director多媒体演示工具：专门用于制作演示讲稿的工具最普及的是 PowerPoint网络多媒体创作工具：核心是网页制作，forntpage dreamwwaver homesite webburst hyperwriter可视化编程环境:设计者既可以用传统语言撰写程序，发挥自己的特长，又可以借助于开发好的“文本” 、“绘图”等工具箱，使这些工具箱内的编码(如绘图、按钮、窗体等) 可直接取用，成为可重用编码，较为轻松地进行多媒体应用程序设计微软公司推出的 Visual Studio . NET 和 Borland 公司推出的 JBuilder。多媒体应用创作工具的发展方向(1)集成化且功能强的编辑环境(2)多种媒体数据输入能力(3)功能强大、灵活多样的交互能力(4)提供更开放的功能扩充能力(5)提供更强大的调试工具(6)提供构件库及构件组装功能(7)与网络多媒体的融合（六）多媒体技术的应用领域及其研究与发展1.识记 多媒体技术的发展趋势：(1)网络化发展(2)多媒体终端智能化(3)移动多媒体系统(4)多媒体标准的制定(5)虚拟现实技术的进一步研究82.领会：多媒体技术的应用领域：1 教育与培训 2 桌面出版物与办公自动化 3 多媒体电子出版物 4 网络多媒体交互式通信与信息咨询5 商业广告与多媒体艺术品的创作6 过程模拟与仿真第 2 章 文字与音频素材的制作与处理识记文字信息的数据化：归结为编码和字库两大问题文字信息数字化的方法：把语言中所有文字字形的信息、存放在字库文件中，为每个字形赋予一个代码，再将这些字形代码与文字输人设备之间建立一一对应的关系。键盘输入相应的代码即将对应的文字调到屏幕显示。因此，文字信息的数字化可以归结为建立、存储字形和对文字进行编码汉字字形的存储汉字字形的产生有两种模式，即母体字形与数字字形。数字字形是非常适合计算机处理的字形，可以充分利用计算机存储技术和软件控制技术提高速度数字字形有点阵式和矢量式两种表现方式点阵式字形采用图像式的点阵排列来呈现字符：16*16 点阵的情况下：1 个英文字符占 8 字节，一个汉字占 32 字节。汉字点阵字形的集合称为汉字字形库，16*16 点阵，7K 汉字需要 224KB 空间。采用汉字库压缩-还原技术（汉字字形数值化）的汉字字形库，一级汉字库 3755 个汉字只需 16KB 的空间Windows 操作系统提供了矢量式字形，即图形方式显示的字形，显示速度慢。汉字的编码：西文字符通常采用 128 个 ASCII 代码表示，一个字节（8 位）表示一个字符。如 A，二进制 01100101，十六进制是 65H，GB2312 国标码=6763 个汉字+682 个非汉字图形字符输入法：汉字编码方案输入计算机-编码转换（机内码） -调出对应字形字体与字体的格式：windows 环境中有两种类型的字体: 点阵字体和 TrueTyye 字体（点阵字放大旋转等会失真，true type 是矢量字体，由机器指令绘制出来，支持无级缩放）字体的格式(Style)有普通、粗体、斜体、底线、轮廓和阴影等多种。艺术字的类型（？）及其处理软件（Photoshop、word）文字信息的常规获取方法：键盘输入新型输入技术：手写、扫描、语音识别输入9扫描输人的核心是光学字符识别(OCR) 软件2.领会：文本文字与图像/图形文字的区别：(1)产生文字的软件不同（wps-ps）(2)文件的格式不同（txt-jpg）(3)应用场合不同（书稿-艺术品）(4)屏幕显示效果不同（不同电脑开启，文本格式会有区别，图片没有区别）文本文字编辑与排版的内容：1.字体与字体的格式2.字的定位。3.字体的选择4.字的大小5.字的颜色6.文本中字、行及段间距（二）音频素材的制作与处理识记声音在多媒体领域中通常称为音频(Audio)信号声音：通过一定的介质(空气等 )传播的一种连续振动的波，称为声波。使用随时间连续变化的曲线来模拟表示，使用振幅和周期（频率）两个物理量来描述。振幅：波形最高点(或最低点 )与基线间的距离称为振幅，振幅表示声音的强弱。周期：两个连续波峰间的时间长度称为周期，反映音调（频率是指一秒钟内出现的周期数-振动次数）20-2 万 Hz 之间，这个范围内的信号称为音频信号（振幅 0-120dB）次声波：频率小于 20 Hz 的信号超声波：频率高于 20 Hz 的信号声音的三要素是音调、响度和音色：音调:判断声音高低的属性响度:判断声音强弱的属性，与声音的振幅成正比音色:也称为音品，区别具有同样响度和音调的两个声音之所以不同的属性（纯音+复音，复音中频率最低的基音和各种频率的谐音构成音色中的重要因素）模拟音频：模拟电压的幅度表示声音强弱, 在时间上是连续数字音频：通过采样和量化，把模拟音频信号转换成由许多二进制数 1 和 0 组成的数字音频信号，时间上断续常用的音频编辑软件(1)Gold Wave(2)TC Native Reverb(3)Adobe Audition10(4)VegasTM PRO2.领会：声音的数字化：采