第1章 多媒体技术概述

1、第一章 概述本章要点l 信息、媒体和媒介三者的关系。l 多媒体在三个时期发展的主要特点。l 从功能和覆盖范围两个方面来清晰表述多媒体技术。l 多媒体技术研究的主要内容和应用领域。在当今以数字化、信息化为特征的时代，“多媒体”可算得上是久盛未衰的时髦名词之一，它的问世引起了专业界乃至普通百姓的普遍关注。无论通信网络、广播电视或者计算机领域等，都可以在前面冠以“多媒体”的形容词，如多媒体计算机、多媒体通信网络等。在市场上，出于商业目的，形形色色的多媒体产品和设备纷纷亮相，有些甚至成为热销产品。但是出人意料的是，“多媒体”是一个迄今为止没有被严格定义的专有名词！有人说，“你问10个不同的人关于多媒体

2、的定义，你将得到至少10个不同的回答”。那么究竟多媒体的内涵是什么？多媒体技术包含哪些内容？多媒体计算机是如何工作的？多媒体信息是如何在网络上传输的？信息时代对于开发多媒体技术有何新的要求？等等。这些正是本书所要回答的问题。本章首先对这些内容进行概略地介绍。11 关于信息、媒体和媒介的讨论为了认识多媒体，有必要先弄清两个问题，一是对“媒体”一词的界定，二是了解多媒体问世前后的历史背景。本节先讨论前一个问题，第二个问题留到下一节中讨论。对“媒体”一词的界定，主要涉及到对英文“medium”的译名问题，其中存在一个至今普遍存在的概念性误区。举两个例子说明，在国外，一般将学校的“电教中心”称为“me

3、dium services”，意指借阅录音录像磁带、CD-ROM光盘、幻灯片等教学资料的服务部门，与图书馆的职能相似。在这里，medium系指磁带、光盘等；再看另一个例子，现在一般将Multimedia译成“多媒体”，其中media（medium的复数）实际是指图像、声音、文本、动画等。从这两个例子看到，与英文“medium”对应的中文用法是多义的：既可译成图像、声音、文本、动画等教学信息的载体；也可译成存储这些信息载体的物理介质（磁带、光盘）。在中文句子里，例如 “将教学内容（信息）以文字、声音、图像等形式存储到磁带、光盘上。”其中的概念十分明确：文字、声音、图像是教学信息的表现形式（或载体

4、）；而磁盘、光盘则是存储这些信息载体的物理介质。为了避免表述上的概念性混淆，建议将前者叫做“媒体”，而后者称为“媒介”，虽然二者的英文都用medium表示。事实上，国际电报电话咨询委员会（CCITT）按照信息的获取、存储、处理、传输和显示，将medium划分成五种类型时，就是将“媒体”与“媒介”二者混用的。为了帮助理解，再用两个例子说明，如图1.1所示。其中图（a）示出数字视音频信息媒体的（记录/重放）传递过程。图像和声音信息由摄像机捕获后，或者经过处理直接通过信道传输出去；或者经过处理记录存储到磁带上。所谓处理，是指对输入信号的变换和编码。有线或无线传输信道，可以将直接捕获或者录像机重放的已

5、处理的视音频信息媒体，传递到另一套录像设备中存储，或者直接由监视器将图像和声音信息重现出来。信息在重现之前进行的处理应该是对传输信号的逆变换和解码。图（b）示出的则是计算机信息媒体的传递过程。其中信息媒体（文字、图形、动画、数据等）是由计算机软件生成的，可以存储在计算机存储设备（磁盘、光盘）中，由输入设备（鼠标、键盘等）操作和调出到显示器中显示出来，或者通过传输介质（铜缆、光纤等）传递出去。图像声音捕获处理传输处理呈现图像声音记录/重放控制存储存储处理处理记录/重放控制(a)视音频信息媒体的传递过程存储计算机显示输入设备显示存储输入设备计算机传输（文本、图形、动画、数据） (b) 计算机信息媒

6、体的传递过程（文本、图形、动画、数据）图1.1 视音频信息媒体和计算机信息媒体的传递过程在这两个例子中，电视领域中的信息媒体（图像、声音等）和计算机领域的媒体（文本、图形、动画、数据等）通过各种类型的硬件设备和专业软件（统称为媒介）实现了捕获、处理、存储、传输和呈现。按照国际电报电话委员会的建议，将上述信息媒体及其在传递过程中用以处理的各类硬件设备和专业软件划分为以下五种类型，即l Perception Medium（感觉媒体）：指直接作用于人的感官而产生感觉的媒体，如声音、图形、静止图像、动画、活动图像、文本、数据等。l Presentation Medium（呈现媒介）：指感觉媒体和传输电

7、信号之间转换的一些设备。它又分为呈现设备和非呈现设备两类，呈现设备如显示器（或监视器）、扬声器、打印机等，非呈现设备如键盘、鼠标、扫描仪、话筒、摄像机等。l Representation Medium（再生媒体）：为有效地传输、存储感觉媒体，一般需要研究开发出一些处理技术（包括硬件和软件），如图像编码、声音编码、文本编码等。这些经过加工、处理后的感觉媒体叫做再生媒体。传输和存储的一般是再生媒体。l Storage Medium（存储媒介）：指用于存储再生媒体（即感觉媒体经过处理后的代码）的物理介质，如磁盘、磁带、闪存、光盘等。l Transmission Medium（传输媒介）：指用于传输再

8、生媒体的物理介质，如同轴电缆、双绞线、光缆、微波等。综上所述，便可以明确地界定信息、媒体和媒介三者的关系：l 媒体是信息的载体，信息只有通过某一种或几种媒体形式才能表达出来，如书本上的知识内容，是通过文字、图形、表格等形式表达出来的。这些文字、图形、表格便是表示知识内容的载体，即媒体。在图1.1中，感觉媒体和经过处理后的再生媒体均属于媒体的范畴。l 媒介是用于存储、呈现或传输媒体的设备或物理介质，如上例中的书本。显然，书本和书本上的文字等并不是一回事，如果都用“媒体”一词表示就会造成概念性的混淆。（但在英文中只能都用“medium”表示）在图1.1中，存储媒介、传输媒介和呈现媒介都属于媒介的范

9、畴。l 在电子信息领域经常用到信息、信号和信道的概念：信息总是通过某种信号形式表现出来的，如电视领域中视频信号、音频信号，计算机领域中的各种格式的数据信号等。信号只能在其规定的信道中传送，如录像机中的视频通道、音频通道、计算机中的各种总线等。上述关于信息、媒体和媒介三者关系，与电子信息领域中信息、信号和信道三者关系是对应。1.2 了解多媒体问世前后的历史背景如前所述，为了认识多媒体，除了明确对“媒体”一词的界定外，还需了解一下多媒体问世前后的历史背景。多媒体出现于二十世纪八十年代，不过当时国内外杂志上流行的却是另外一个专业用语“交互式视频”（Interactive Video），意指具有声像并

10、茂、形象生动呈现优势的录像视频技术与具有交互功能的计算机技术两大分支相互渗透、趋于融合。大家知道，盒式录像机和微型计算机的问世，曾经分别是电视领域和计算机领域的重要阶段性成果，代表着二十世纪七十年代的电子技术水平。但是进入到八十年代以后，由于数字化技术在计算机领域广泛而卓见成效的应用，使得电视、录像以及通讯技术也都开始由模拟方式转向数字化；另一方面，计算机应用开始深入到人们生活、工作的各个领域，也要求其人机接口不断改善，即由字符方式、文本处理向图形方式、声音和图像处理发展。这是从两个角度，沿着两条途径在向一个共同的目标进军。可以想象，将电视技术和计算机技术这两项对人类生活产生深刻影响的技术成果

11、结合起来，相互取长补短，其结果将会使信息的交流由人来主动控制，而且交流的形式以人类习惯的语言、文字和图像等多种媒体进行，从而使人们将以一种全新的方式应用计算机。国际无线电咨询委员会（CCIR）于1982年2月通过的用于演播室的彩色电视信号数字编码标准（即CCIR601建议），便是为适应模拟电视信号数字化的需要产生的。它的重要意义在于，为广播电视、通信与计算机业务最终实现一体化奠定了基础。在这段时间里，苹果（Apple）公司于1994年研制了Macintosh计算机，其中引入了位图（bitmap）、窗口（window）、图符（Icon）等技术，并由此创建了意义深远的图形用户界面（GUI），同时采

12、用了鼠标（mouse）配合，使人机界面得到了极大改善。次年微软（Microsoft）公司也推出了著名的Windows操作系统，并且对其不断更新版本，使之成为后来运行多媒体的一种普遍采用的工作平台之一。虽然视频数字化和计算机图形化使双方向着“结合”的目标迈进了一大步，但是二者在存储介质上仍相距甚远，需要找到一个切入点。录像机中磁带存储系统采用的是线性记录方式，即先录先放方式，难以实现存储信息的快速检索和实时调用；计算机中虽然采用的是随机存储的磁盘记录方式，不存在上述问题，但在当时磁盘存储容量（几十MB） 远小于光盘的情况下，在计算机中存储视频几乎是一种奢望。于是双方都将注意力集中到光盘上来，希望

13、以它作为二者结合的切入点。因为在当时看来光盘存储容量高（650MB），而且又能像磁盘一样实现快速寻址。其实，早在1982年光盘便已作为家电产品（CD-DA）在市场上出现了，而CD-ROM光盘也于1985年成为计算机外设中的一员。双方将光盘作为“交互式视频”（IV）存储介质的尝试，其典型例子应该是1986年由索尼（Sony）公司和菲利普（Philips）公司联合推出的交互式光盘系统（CD-I）和1989年Inter公司推出的交互式数字视频（DVI）技术。虽然这两项成果都属于交互式视频（IV）领域，但是CD-I是由视频专业公司按照在音像产品中引入微机芯片（MC68070）控制的设计思想开发出来的，

14、当时称其为“电视计算机（Teleputer）”；而DVI则是由计算机专业公司按照在PC机中采用音视频板卡，软件采用基于Windows的音频视频内核(AVK)的思路设计的，因此称其为“计算机电视”(Compuvision)。二者从不同的角度，按照不同的设计思想，最终实现了一个共同的目标：电视与计算机的有机结合，实可谓殊途同归。需要说明的是，CD-I和DVI都是交互式视频(IV)领域中以(CD-ROM)光盘为存储介质的阶段性成果，二者的技术分别在后来的VCD和非线性编辑系统中有所体现，功不可没。至此，采用光盘的IV产品一发而不可收，如CD-G、CD-V、CD-IFMV、K-CD 等等，几乎可以形成

15、一个光盘家族，以致进入九十年代后，有人总结为“八十年代是磁带的时代，而九十年代是光盘的时代。”也就是在这段时期，“多媒体”（Multimedia）这一专业名词开始在社会上流传开来，并且取代了已经沿用多年的“交互式视频”。 1990年10月，由美国微软公司发起组建的多媒体个人计算机市场协会（MPC Marketing Council），提出了一个多媒体计算机技术规格：MPC1.0，除PC机的一般配置（80386 CPU芯片、2MB内存、30MB硬盘、Windows 3.1操作平台）外，强调必须安装CD-ROM驱动器和声卡。该规格表达了计算机业界的一种共识：可以将电视领域中音频和视频引入其中的PC

16、机称为多媒体PC机。由于受到当时技术水平限制，MPC1.0中还没有要求将视频获取功能包括进去（这个问题在1993年的MPC2.0中仍未解决，而在1995年的MPC3.0版本中已经解决了）。 由于视频数字化后的信息量很大（约每秒216Mbit），使得MPC在处理视频时，遇到了当年录像机面临的两大难题，即存储容量和存储速度的差距过大的问题。 众所周知，二十世纪三十年代发明的录音机，采用的是固定磁头在磁带上纵向记录方式，根本无法用来记录比音频信息量大两个数量级的视频信号，为此花了近二十年的时间，才发明了用旋转磁头在磁带上螺旋扫描记录方案，解决了提高头-带扫描（记录）的速度和提高信号在磁带上的存储密度

17、两大难题，终于使录像机在五十年代问世了。1992年及以后的几年间，计算机、电视、微电子和通讯等领域的专业人员进行了全方位的技术合作，主要是围绕解决上述两大难题和提高MPC的处理能力，使多媒体技术取得了举世瞩目的进展。具体体现在以下几个方面：l PC机连续多年不断升级，旨在不断提高运行速度，满足处理多媒体的需要（包括CPU、内存、总线、显卡、接口等全方位的技术提高）。l 硬盘存储容量和存储速度的大幅度提高，硬盘阵列的采用，足以用来存储视频和动画媒体。l Windows版本的不断升级，旨在充分满足处理多媒体的需要。l 各种数字化的视、音频设备和处理视、音频的板卡大量涌现，充实了MPC的外部输入、输

18、出设备，而且为适应多媒体需要，研发了很多I/O接口（如USB、SCSI、IEEE1394等）。l 各种对视、音频进行转换和编辑的软件和各种交互式编著工具软件的出现，为用户制作丰富多彩的多媒体节目提供了强有力的软件工具（如3D studio、Authorware、Premiere等）。l 各种视频、音频压缩标准（MPEG、M-JPEG、DV、AC3、ADPCM、子带编码等）的制订或运用，极大地减轻了MPC处理视、音频信号的压力。在这段时期中，非线性编辑系统和具有交互功能的VCD可以被视为两种类型的多媒体设备。其中非线性编辑系统（Nonlinear Editing System）是以计算机为平台的

19、视频后期制作系统，其特点是以计算机为操作平台、以硬盘为操作过程中的存储媒介，对视频、音频及动画、图形、文本进行编辑和特技处理。由于硬盘为非线性（随机存取）的存储媒介，故而得名。该系统的工作思路是，将来自录像带、摄像机的待编视频信号通过计算机内专用板卡输入并存储在硬盘上，然后利用编辑软件对其进行编辑和特技处理。在这里，电视设备（摄像机、录像机、监视器等）充当了计算机外部设备的角色，而传统的视频编辑、特技设备却被计算机的专业软件所取代。VCD（Video Compact Disc）是由CD-I和扩展结构的CD-ROM（即CD-ROM XA）演变而来的，它原是一种交互式的视音频播放机，与家用电视机和

20、音响设备配合，由红外遥控器控制使用（和录像机用法相同），因此应属音像产品范畴。VCD播放机由三个主要部分组成，即CD-ROM驱动器、MPEG解压和微控制器，可见仍沿袭当年电视计算机（即音像产品中引入微机芯片）的设计思想，但是由于这一时期多媒体技术已有很大进步，使VCD这一音像产品与计算机的结合更加紧密：l 利用MPC中的CD-ROM驱动器和解压软件，也能通过显示卡和声卡利用显示器和扬声器等外设播放VCD光盘。l 在VCD机中再增加一片微机芯片或者采用HTML技术，同样能像计算机一样，对播放内容实现互动控制。由此可以看出，这一时期的多媒体技术已日趋成熟，计算机与视频设备之间的界限已经模糊，两个领

21、域的媒体已被有机地融为一体。显然，如果没有这几年取得的上述成果，如此完善的结合是很难想象的！在随后的几年中，分布式多媒体技术的发展又成为一个新的热点，人们希望进一步将计算机的交互性、电视的真实感和通讯或广播的分布性结合起来，即所谓“3C（Computer, Consumer, Communication）一体化”,以便向社会提供全新的信息服务。其中，按照通讯网络或者广播电视网络的特点，又形成两大分支。传统的电信网中，基本采用的是以语音为主的点对点通信方式，多媒体技术与通信网络的结合，使综合业务数字网（ISDN）应运而生，从而形成一套传递多媒体信息的通信体系。可以认为分布式多媒体技术是由网络技术

22、、多媒体技术和通信技术结合的产物，其应用领域包括可视电话、电视会议、视频点播以及由计算机支持的协同工作(CSCW),如远程学习、电子报刊共编等。传统的有线电视网(CATV)的优点是宽带，而弱项是单向传输和没有交互功能。即使实现数字视频有线广播(DVB-C)以后，仍未克服这两个缺点。用多媒体技术改造DVB-C的结果，出现了一种新型的数字多媒体广播(DMB-C)系统。该系统采用“准双向传输”和“本地交互”的技术措施来克服上述两个缺点，从而使宽带优势充分发挥出来。准双向通道并非简单的对称双向通道，而是将原来由点对面的广播与双向对称通信结合起来，形成由中心向下传输信息量大和由用户向上传输信息量少的非对

23、称信息交换方案。下行单向广播网（光缆）卫星电视节目因特网本地信息（网页）演播室调制发送调谐器解 调电视机有线电视台多媒体播送系统（中心）上行指令（电话线）用户机顶盒（用户）视 频节 目数 字信 息AVRF电视编码红外遥控器为帮助理解本地交互的概念，需要简单介绍一下DMB-C的工作情况（参看图1.2）。图1.2 数字多媒体信息/视频点播（DMB-C）系统示意图改造后的有线电视台除保留原来的接收卫星电视节目和演播室播放电视节目外，增加自制网页和连接因特网的新项目（即相当ISP服务项目）。在用户电视接收机之前安装一个用户机顶盒(IRD),其作用除保留接收电视节目送电视机RF 端外，新增加两项功能：l

24、 通过解调器分离网页数字信息与数字编码视频信号并解码，然后统一编码成视音频信号送电视机的AV端；l 红外遥控器控制机顶盒工作方式和发送上行指令。在图1.2中示出了两类交互方式，即用户通过有线电视台(ISP)在因特网上实现交互，称“远地交互”；用户与有线电视台之间实现点播交互，称“本地交互”。虽然远地交互可以双向通信，但由于本地交互是单向的，因此用户可以通过ISP选择收看不同网页内容，但不能向因特网发送信息。尽管如此，鉴于将用户电视机收看的范围由电视领域扩展到了数字信息领域，而且改造费用不高，用户不需要配置计算机，可操作性强，因此DMB-C方案可能比计算机网络普及更快、更广。13 认识多媒体和多

25、媒体技术由于下面两方面的原因，使得多媒体这个被人们视为热点的专业名词，至今还没有一个统一的严格定义，这些原因分别是：其一，多媒体是从视频和计算机两个领域的需求出发，按照各自的技术思路和商业目的，殊途同归地发展而形成的。因此很难形成对多媒体的共识；其二，多媒体技术从问世之日起，便一直伴随着一些相关的技术在不断地发展和完善，因而使得当时有不少业内专家担心给出的定义跟不上其内涵的变化。正因为如此，对多媒体和多媒体技术的认识，至今仍是众说纷纭，难以统一。现选择几种描述如下：“多媒体技术是指能综合处理多种媒体信息，如文字、声音、图形、图像、动画等，使多种信息建立逻辑联接，并且集成为一个具有交互性的计算机

26、系统。”“多媒体技术是传统的计算机（如文本、图形、图像、动画等）与视频、音频相结合，且为了知识创造和表达的交互式应用的结合体。”“多媒体技术是指能够同时获取、处理、编辑、存储和呈现两个以上不同类型信息媒体的技术，这些信息媒体包括文本、图像、图形、动画和活动图像等。”换句话说,“多媒体技术提供了三种新的能力，即在通信中结合电视的音像能力、出版发行能力和计算机交互处理能力。”“多媒体技术是基于计算机技术的综合技术，包括数字信号处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、通信和图像技术。它是正处于发展过程中的一门综合性的高新技术。”通过回顾多媒体问世的历史背景并且参考上述

27、前两种描述，可以认为其中有两条已经形成了共识并且足以反映出多媒体的要点，这两条是l 多媒体必须是由计算机领域中的媒体与电视领域中的媒体互相结合的产物；l 多媒体必须具有交互功能。其中计算机领域中的媒体包括数据（Data）、文本（Text）、图形（Graphic）和动画（Animation）；而电视领域中的媒体则包括视频图像（Video）、音频（Audio）和色彩（Chroma）。这就是说，虽然计算机和电视领域各自都有许多种媒体，但是如果没有这两个领域的媒体结合（哪怕某领域中只有一种媒体参与），都不能称其为多媒体。交互功能是计算机的一个基本属性，强调交互功能，实际是强调计算机在两者结合中的重要作

28、用和地位。但是必须指出，不能狭隘地理解为只有计算机具有这一属性。事实上，例如在VCD机（或DVD机）中，不论其中采用的是单片机技术或是HTML技术，只要最终能实现对播放内容的交互操作，都应视其为具有交互功能。因此，我们于1994年在一次全国性多媒体学术会议上，也对多媒体提出了一种表述，并且一直沿用至今，即“多媒体是指计算机领域中的媒体和电视领域中的媒体的有机结合，并且具有交互功能”。现在纵观多媒体发展的历史过程，似乎可以认为“多媒体”只是一个历史阶段用的专业名词，它在90年代以 “交互式视频”为代表，而在2000年以后则以“3C一体化”或所谓“信息家电”化等专业词汇表述为特征，但不论如何变更，

29、其内涵都是表示计算机与广播电视、通讯等领域中的媒体有机结合，而宽带、交互（含超链接）和智能化，则是其一直追求的目标。至于多媒体技术，可以参考上述后两种描述，将其要点归纳如下：l 多媒体技术能够同时对计算机领域和电视领域中的媒体进行获取、处理、编辑、存储和呈现。l 多媒体技术是一种基于计算机的综合技术，包括数字信号处理技术、音频和视频技术、计算机硬件和软件技术、人工智能和模式识别技术、网络通信技术等。因此，多媒体技术几乎覆盖了计算机技术和数字视音频技术的绝大部分领域，而且随着科学技术水平的不断提高和社会需求的不断增长，其覆盖范围和应用领域还会继续扩大。1.4 多媒体技术的研究内容如上所述，多媒体

30、技术是一种基于计算机的综合技术，归纳起来，主要包括三个方面：l 图形与图像处理技术l 数字视音频处理技术l 多媒体网络通信技术其实，这三方面是从上面提到的3个“C”(即计算机、电视和通讯领域)中引伸出来的。换句话说，“3C一体化”的核心是“一体化”，多媒体技术的核心在于“结合”！基于这一指导思想，多媒体技术的研究内容应该放在计算机技术、电视技术和通信技术之间的“结合”以及三者向“结合”演变、发展的内容上，分别讨论如下。1.4.1 图形与图像处理技术 图形化是计算机技术向多媒体技术演变、发展的关键，其内容主要体现在多媒体计算机对图形、图像的处理技术上。1. 基于多媒体计算机的图形、图像处理，包括

31、对图形、图像的获取、存储、加工和显示。为便于表述起见，有必要明确一下关于图形、图像的概念。 如前所述，多媒体计算机处理的图形、图像，可以利用计算机自身的软件生成；也可以通过外界的输入设备（如摄像机、数码相机等）捕获。这些图形、图像可以是静态的；也可以是运动的。从计算机处理的角度来看： 由计算机软件生成且为静态的，称为“图形”（Graphics）；由计算机软件生成且为运动的，称为“动画”（Animation）；由数码相机或扫描仪等外设捕获的静止图像，称为“静像”或“图片”（Still video或Picture）；由摄像机等外设捕获的运动图像，称为“视频图像”，或简称“视频”（Video）。因此

32、，本节中所谓的图形、图像处理技术，包括多媒体计算机对图形、动画、静像、视频的获取、存储、加工和显示的技术。附带还要说明两点： 多媒体计算机除对图形、图像进行处理外，还应包括对音频和文本的处理。其中音频（Audio）是靠外设（如话筒、录音机等）捕获的；文本（Text）则是由计算机软件生成的。 处理技术除按上述信号来源和动、静态划分外，还可按照应用环境来划分为本地处理和远处加工。（后者属网络通信技术，范畴见§1.4.3。）2由此可见，多媒体计算机的图形、图像处理技术实际包括两种类型：l 对计算机软件生成的图形、动画（还包括文本）进行处理的技术l 对外接输入设备捕获的图片、视频（还包括音频

33、）的处理技术 其中生成图形、动画需要在多媒体计算机中配置专业软件，如PhotoShop、Corel Draw、Free Hand、3Ds MAX、Maya等；而为了通过外部设备捕获图片、视频、音频，则除了为计算机配置专用的输入设备（摄像机、数码相机、扫描仪、话筒等）外，还需在计算机内安装相应的（视频、音频等）适配卡和驱动程序。后者便是前述的将视频、音频与计算机进行“综合”的技术。同样的道理，计算机输出视频、音频时，也需通过机内安装的适配卡和驱动程序支持。此外，由于视频图像和三维动画的信息量都很大，计算机原有的显示卡难当此任，需要大幅度提高计算速度和内存容量。顺便说明，近年来多媒体计算机已进入专

34、业化生产时期，许多（视、音频）适配卡已合并到计算机的主板上，许多常见的驱动程序也被纳入到操作系统中。还需指出，通常认为图形、图像还可通过从网上下载途径获取，但网上的图形、图像仍然是优化计算机加工后加载到网络上去的。 3对计算机软件生成的图形、动画的后期加工（简称图形处理），也与对拍摄捕获的数字图片、视频的加工（简称图像处理）不尽相同。 图形处理包括对所生成的图形、动画进行几何变换，如平移、旋转、缩放、透视和投影等；曲线和曲面拟合；建模或造型；隐线、隐面消除；影调处理；纹理和材质产生；配色等。 此外，为了显示的需要，特别是三维动画处理的需要，计算机三维图形处理技术最终还要将用计算机数据描述的三维

35、空间信息通过计算转换成二维图像并显示到输出设备上。在实现这一转换的过程中，显示卡中的图形加速芯片起到了至关重要的作用。现在所有的显示芯片都能加速处理三维图形，提供实时和动态的三维图形应用支持，加速处理的3D效果，包括混合灯光纹理帖图透视矫正过滤抗失真等等。因此，为了使3D图形处理软件更好地调用图形加速芯片中的图形处理功能，三维图形处理技术中出现了各种图形处理的程序接口3D API（Application Programming Interface）。图像处理主要包括对捕获的数字图片、视频进行放大、缩小、平移、坐标轴旋转、透视图制作、位置重合、几何校正、r校正、灰度线制作、图像增强和复原、图像变

36、换、图像编码压缩、图像重建、图像分割、图像识别、局部图像选出或去除，轮廓周长计算、面积计算以及各种正交变换等。两类加工处理的区别在于，前者着重研究怎样将数据和几何模型变成可视的图形，这种图形可能是自然界根本不存在的，即是人工创造的画面。而后者则侧重于将客观世界中原来存在的物体映像处理成新的数字化图像，关心的问题是如何压缩数据、如何识别、提取特征、三维重建等内容。随着多媒体计算机技术的深入发展，上述区分已开始淡化，利用真实感图形绘制 技术可以将图形数据变成图像；利用模式识别技术也可以从图像数据中提取几何数据，把图像转换成图形，二者的区别也越来越模糊。例如，在影视中，将拍摄的视频图像（汽车、桥梁、

37、演员等）通过相应的软件转化成动画，然后按照剧情要求进行随心所欲的加工处理（如撞车、爆炸、变形等），从而产生具有视觉冲击力的艺术效果。4不论图形、动画、文本，还是静像、视频、音频，在多媒体计算机内都是以二进制数据的形式存储的。这些数据以不同的格式组成文件形式存放在存储器中，不同格式的文件分别用相应的文件扩展名标识。文件中除上述图形、图像的数据外，还包括一些描述该文件结构、属性的说明性数据。例如图形文件的说明性数据有文件类型、文件大小（字节数）、存放位置、图形尺寸（长、宽）、压缩类型、分辨率、颜色格式等；又如视频图像文件的说明性数据有封包图像的结构（像快、宏块、片层、帧层、帧组层）、帧频、码率等；

38、音频文件中有采样频率、样本数据、（样值、子带、帧）、缩放因子等。由此可见，虽然各种类型的媒体都是以数据和文件形式存储的，但是彼此的格式不同。多媒体计算机不仅可以对其进行识别并分类管理，而且还需调用相应的软件才能处理这些文件。存储多媒体信息有两个特点，一是存储的信息大（特别是视频图像和三维动画），因此一方面要求提高存储器的存取速度和增大存储容量；另一方面则要求对媒体信息中的冗余量进行压缩（视频压缩问题将在下节中讨论）。二是需要解决（计算机和视频）两类媒体信息输入、输出接口的差异问题。由于多媒体计算机除采用内置大容量硬（磁）盘作存储器外，还大量采用了各种类型外接存储设备，因而涉及到计算机数据信息和

39、视频数据信息的输入、输出问题。目前多媒体计算机采用的外接存储设备的范围十分广泛，包括l 磁盘型；移动磁盘、磁盘录像机、磁盘阵列等；l 光盘型：DVD、VCD、CD-ROM光盘驱动器、光盘播放阵列等；l 磁带型：DV系列摄录机、数字录像带阵列等；l 半导体存储芯片型：U盘、固态硬盘等。如此众多的外接存储设备所采用的接口，除磁盘等各种阵列采用SCSI接口外，大体可以归纳为两类，即视音频领域通用的（如莲花插头、HDMI等）接口与近年来在计算机领域流行的USB接口。前者实际上提供的是模拟视、音频信号传送；后者既可用于交换计算机数据、也适用于交换视音频数据。目前多媒体计算机的主板上大多配置了USB接口，

40、并且大有用USB接口取代串、并联接口的趋势。此外，机内配置视、音频适配卡上的视音频（莲花接头）接口，也是专为连接上述外接视、音频设备设计的。因此，上述外接存储设备基本都能与多媒体计算机连接。随着视音频设备向数字化方向的不断转变，可用于计算机上的USB接口也出现在电视机、摄像机等设备上，同样来自数字电视领域的一些接口（如HDMI）也出现在多媒体计算机上，因此上述两类接口差异逐渐消失了。综上所述，在多媒体计算机图形、图像处理方面需要研究的内容如下：l 计算机图形处理技术；l 计算机动画制作技术；l 计算机的内置的各种多媒体板卡；l 多媒体计算米的输入、输出设备，等等。1.4.2 数字音频、视频处理

41、技术原先的电视技术是模拟的，它向多媒体技术演变发展是从数字化开始的。电视技术的数字化，除了有助于与计算机技术的结合外，还有力地推动了广播、通讯领域的发展。由于视频信号的信息量过大，对于计算机处理或者网络传输都造成了几乎难以承受的压力。因此数字视、音频信号的压缩编码一直是多媒体计算机的重要研究内容之一。此外，模拟视、音频信号数字化以后，在网络中传输实际属于数据通信的研究内容，同样需要采用通信领域的信道编码技术（即调制技术和容错技术）。因此，数字视音频处理技术主要由三部分组成，其中包括：模拟视音频信号的数字化编码（模/数转换A/D）、数字视音频信息的压缩编码（信源编码）以及数字视音频信息的传输编码

42、（信道编码）。其中A/D转换是将人所能接受的模拟视音频信号转换为计算机能够识别的数字信号，它是数字视音频处理技术中的基础。信源编码则是将数字视音频信号的数据根据不同的应用，按照不同的标准及其算法进行压缩处理，从而达到降低码率的目的，它是数字视音频处理技术的关键。信道编码是将压缩后的视音频数据根据与传输的不同介质进行相应的调制，使得调制后的数据格式符合该介质的要求或者达到提高频率资源利用率的目的；与此同时信道编码还有一个十分重要的作用，就是对传输的数据进行容错技术处理，以确保重放数据的准确性，因此，可以认为信道编码是数字视音频处理技术的保证。应该指出的是，以上三种编码的过程均是可逆的，因为数字视

43、音频处理技术最终的目的是视音频信息的还原与重放。需要强调指出，数字视、音频压缩技术不仅在多媒体技术中的地位是举足轻重的，而且在电视领域也导致了一场重大的变革。事实上，在多媒体技术发展初期，视频媒体由于信息量过大，受到传输速度和存储容量限制而不能适用于当时的计算机、通信网络等领域，甚至在MPC1.0和2.0的标准中也是不包括视频的。随着数字视、音频压缩技术的迅速发展，现在视频图像已经能够广泛地出现在DVD、视频点播、多媒体课件、网络课程、视频通讯等场合。此外，采用数字视、音频压缩技术的视频编辑卡，配合非线性编辑软件组成的非线性编辑系统完全取代了模拟电视后期制作所需的一批硬件设备（编辑器、特技机、

44、字幕机等），而且制作质量和功能都有明显改进，实可谓电视领域制作技术的一次质的飞跃！综上所述，在数字音频、视频处理方面需要研究的内容如下：l 音频、视频数字化；l 音频、视频的压缩技术；l 数字信号的传输编码；l 数据存储及存储设备，等等。1.4.3 多媒体网络通信技术在§1.4.1中曾经指出；多媒体技术还可分为单机和网络两类。本节讨论的多媒体网络通信技术，同样也是从当年三个网络领域按照各自轨迹朝着“结合”的方向逐渐演变、发展而来的。 事实上，20世纪70年代前后，在社会上普及的网络信息业务分别是：l 通信网： 以模拟或部分数字形式传输电话、电报及传真等信息；l 计算机网： 以数字形式

45、传输文本数据信息；l 广播电视网：以模拟形式传输视频、音频信息。1 通信网的发展主要沿着两个方向：l 有线网朝着数字、宽带和综合业务方向发展，将原来只有语音业务的电话网，升级为可以传输话音、数据、文本、图像和视频等多种媒体的宽带综合业务数据网（B ISND，Broud band Integrated Services Digital Network）。l 无线网在发展初期定位于（数字、窄带的）个人移动通信业务（PCS，Personal Communication Services）,即手机业务。通过无线网络应用协议（WAP，Wireless Application Protocol），也能将移

46、动网络与因特网结合起来，即实现手机上网。近年来，随着第三、四代（3G、4G）移动通信技术的应用，手机电视、手机导航等业务也相继出现了。 2 数字、交互和因特网是计算机的潜在优势。其中因特网是目前关注的焦点，人们购买计算机的目的之一便是为了上（因特）网；通信网和广播电视网的发展方向之一，也是为了与因特网链接。在因特网上，文字或语音通讯的功能早已实现，如E-mail、IP电话、BBS、B-log等。近年来随着数字视、音频压缩技术的成熟，特别是多媒体存储和传输技术的迅速发展，使得视频点播（VOD, Video on Demand）, 交互电视（ITV, Interactive Television）

47、、MP-3、MPEG-4等视、音频流媒体也如同在电视网络中一样运转如常了。3广播电视网的发展是在三个层面上进行的：l 技术层面：数字化高清（晰度）化l 传输层面：卫星直播有线电视l 服务层面：交互电视综合服务 20世纪80年代中后期，日本和西欧开始提出的高清晰度电视（HDTV，High Definition Television）都是模拟的，后来由于美国成功地实现了数字式HDTV方案，既ATSC, 日本和西欧才相继推出了ISDB（综合业务数字广播）和DVB（数字视频广播）的数字高清晰度电视标准。我国采用的HDTV方案与DVB标准接近。 我国在传输层面的发展比技术层面超前一些，现在大部分地区的地

48、面广播已被卫星直播和有线电视取代，但是由模拟、标清向数字、高清晰度的转换尚处于过渡中。 图文电视是指利用时分复用原理，在电视信号场消隐期间传送一些综合服务信息，如气象、股票、交通时刻表、文字新闻等。供装有图文电视解码器的电视机选择收看。随着因特网的日益普及，出现了许多将（有线）电视网连通因特网以实现综合服务的技术方案。概括地讲，大体可以归纳为“准双向传播”（机顶盒）方案和双向传输（交互电视）方案两类。 4. 综上所述，所谓“三网合一”，实际上是指三个网络干线合一。这个干线网络可以采用高速、宽带和固定终端的B-ISDN通信，也可以采用低速、窄带和移动终端的PCS通信。既可通过光纤电缆和铜线电缆，

49、也可通过卫星链路与地面微波。至于各网络的终端及其接口，鉴于应用需求和历史原因，可能还要维持相当一段时期的差异。因此，多媒体网络通信方面需要研究的内容如下：l 网络协议与网络体系结构的问题；l 接入网与接入技术的问题；l 对多媒体数据库进行管理的问题；l 在网络上传输视、音频媒体的问题；l 构建多媒体网络教学环境的问题，等等。1.5 多媒体技术发展中值得思考的问题随着多媒体技术的深入发展，人们对它的认识也在不断深化，这种深化已经超出了技术本身，进入到应用业务领域，甚至深入到文化发展领域。从技术角度看，所谓“多媒体的内涵即跨领域”；“多媒体技术的核心在于结合（Integrating）”,实际是指（

50、通信、计算机、电视）三个领域的媒体可以配合运用；技术可以相互支持；设备分工合作；业务界限逐渐淡化。例如手机可以照相、上网；因特网上可以通（IP）电话、下载（MP3）音乐；录音可以采用U盘、记忆棒；录像可以采用光盘、磁盘，等等。随着每个领域业务的综合化，必将导致完成同一业务的多渠道化。现在的问题是，这三个领域原本都是具有完整体系的不同领域，各自存在自身的优势和局限。它们在向多媒体技术演变、发展的过程中，必然会遇到按照“优胜劣汰”原则接受选择的问题。从文化角度看，多媒体技术是在信息时代问世的，因此在处理技术与艺术内容的关系上，不可避免地带着浓厚的时代气息。基于多媒体技术和多媒体艺术的人性化、自然化

51、界面设计，已成为信息时代四大热门课题之一。这使得它在开发应用中与传统意义上的技术有着质的不同，因此要求学习者除了学习多媒体技术外，还应该具备起码的艺术修养和审美意识，通过理性思维与感性思维的结合，才能对多媒体产品进行人性化和自然化的设计。本节打算用历史发展的观点，并且采用分析、比较的方法，对上述问题作进一步地探讨。1.5.1存储媒介演变、发展的问题如前所述（见§1.2），20世纪80年代出现在电视录像与计算机领域的（磁带与磁盘）存储媒介之争，导致了90年代的光盘鼎盛时期。其实，磁带、光盘、磁盘在随后这段期间都有了长足的进步，分别在克服自身不足方面有了突破性的佳绩：光盘解决了可读写问题

52、；硬（磁）盘可以移出计算机箱；磁带解决了寻址问题。加之接口技术的进步提高了存取速度；改进各存储媒介记录密度，尤其是阵列技术的采用，使其存储容量大幅度提高，因而再度形成了新一轮的（磁带、光盘、磁盘）存储媒介竞争的局面。那么未来的赢家到底是谁？有趣的是，就在这场激烈争夺战的背后，存储媒介家族中又增添了新的一员 半导体存储媒介。随着闪存技术的飞速发展，原本只充当（工作）内存的读写存储器，开始挤进了“外存”行列。由于该存储媒介与磁带、光盘、磁盘比较，无需传动装置，具有省电、轻便的明显优点。因而它一问世，便备受开发商和用户的青昧，只是由于存储容量和成本问题尚待进一步解决，目前只好暂时委身于手机、数码相机

53、、mp3播放器、数码伴侣和移动U盘中存储数据信息。由于省电、轻便是移动通讯和无限上网技术中的关键指标（见§1.5.2），因此可以预见，随着闪存技术的进一步提高，一旦存储容量和成本问题得到妥善解决，该存储媒介将很有可能后来居上，进而成为多媒体技术领域的主流存储媒介。1.5.2 PC机演变、发展的问题 在§1.2中曾经提到，PC机的升级换代对于多媒体技术的演变、发展是何等的至关重要。正是由于CPU主频的不断提高以及多媒体操作系统版本的不断升级，才为视、音频信号融入计算机、进入因特网奠定了基础。正因为如此，Intel 公司和微软公司才得以在多媒体技术发展进程中形成了“霸主”地位。

54、但是现在用今天的眼光重新回顾这段历程，却发现其中存在一个根本性问题没有解决，即当时多媒体技术的发展方向，是按照用户的需求，还是按照少数拥有垄断技术公司的利益确定的？首先以提高CPU主频为例，这是当时PC机从x86升级到奔腾机的主要标志。如果按照用户的文字处理、文件管理、业务报表等一般需求，其实根本用不着升级。至于各种多媒体应用，的确需要适当提高CPU的主频，以适应MPEG编解码、MP-3解码等要求，但是至多提高到400MHZ足矣！而Intel公司推出CPU芯片的主频却不停地提升，后来超过了4GHZ，几乎到了极限值！试想用超过300多美元的“奔腾”CPU去干只需十几美元的DSP芯片便能做的MPE

55、G 编解码工作，显然不是用户的需求，而是出于公司商业利润的考虑，这就是PC机升级换代背后存在的问题。再说微软公司的Windows 操作系统的版本升级，其实在上世纪90年代后期其产品升级到Windows 98时，普遍反映已经比较稳定、实用了。也是出于公司商业利润的考虑，后来又推出了Windows ME、XP等，先不说其中太多的Bug，就是其巨无霸的体积就引起了用户普遍的不满，更不用后续的Vista、Windows 7了。PC机的不断更新换代，对于用户来讲实际是在不停地烧钱。相比之下，电视机的过渡方案只是让用户一次性地添置一台机顶盒便能实现交互、上网，倒是更加符合用户需求一些。概括地讲，用户的需求

56、应该是两条：经济和实用。从实用角度看，PC机的升级思路显然有些顾此失彼，即重视主机性能的提高，忽视了用户个性化，移动化的需求。以台式（PC）机为例，主机升级意味着不停地添加外接连线。除原有的电源线、键盘电缆和显示器电缆外，又添加了（因特）网线、USB接口线、音箱电缆（音箱又带电源线）等，显得十分杂乱。因此，PC机后期（又叫“后PC时期”）的发展思路转变了方向。个性化和移动化成为了这一时期关注的热点，市场上流行的是笔记本电脑和一些无线上网的产品（如智能手机、PDA掌上电脑、平板电脑）等。笔记本电脑为用户提供了使用时间和空间的自由，充分体现了个性化的需求。但是又出现了新的矛盾：CPU的功耗与其主频

57、成正比、与其内晶体管数量成正比、与其工作电压的平方成正比。CPU功耗增加不仅减少了电池使用时间，而且需要配置CPU芯片的风扇和散热器，不利于将体积、重量降下来。在这种新形势下，Intel公司片面提升CPU主频的发展思路受到了挑战，一批能与X86兼容的低能耗CPU应运而生，如Crusoe、DragonBall、Geode等。例如Transmeta公司生产的Crusoe芯片，能与X86兼容，而其中晶体管数量仅为后者一半，运行DVD解压时，功耗仅为Intel芯片的20%。用闪存芯片取代硬（磁）盘是符合轻便、节能要求的。鉴于目前闪存的存储器容量所限，另一霸主微软公司升级Windows操作系统版本的发展

58、思路也受到了挑战，因为这类软件需要占用大量（几百兆字节）的存储容量。现在已经也有一些适应个性化、移动化需要的轻量级操作系统问世，如PALM操作系统、嵌入式Linux操作系统、Android操作系统等。纵观这一时期的发展方向，似乎具有这样的特点：少数霸主的地位已开始动摇，用户的需求越来越受到重视。或者换句话讲，多媒体技术正在经历着摆脱人为操纵，而进入顺其自然的发展阶段。1.5.3 无线上网演变、发展的问题到目前为止，台式PC机或笔记本电脑仍然是以有线上（因特）网为主要形式，而采用无线上网方式的主要有手机上网和移动便携电脑上网两类。1、手机上网需要将（电信）移动网络和因特网连接起来。通信网发展早期时的移动通信网是个窄带网，而且当时手机的CPU速度慢、内存不大、电源有限、显示屏小、按键数量少，这些先天条件都不适合接收