1多媒体技术概述

1、多媒体计算机技术鲁宏伟第一章 多媒体技术概述 多媒体技术根本概念 媒体的定义和分类 多媒体的定义和特征 多媒体信息处置的总目的多媒体计算机技术及其开展历史 多媒体技术的主要内容 多媒体的软硬件平台 公用芯片多核处置器 数据紧缩及编码技术多媒体同步多媒体技术的运用 多媒体技术促进了计算机、通讯和群众媒体的交融 思索题多媒体网络与分布式处置技术 信息的组织与管理 多媒体数据存储 虚拟现实技术人机界面技术高速多媒体通讯技术媒体的定义和分类什么是媒体？ 媒体Medium在计算机领域中有两种含义，一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；一是指信息的载体，如数字

2、、文字、声音、图形图像和视频等。CCITT曾给媒体做了如下的分类： 觉得媒体Perception Medium 表示媒体Representation Medium 显示媒体Presentation Medium 存储媒体Storage Medium 传输媒体Transmission Medium媒体食物(价值)链多媒体作品(文档)媒体集成媒体编辑媒体预备媒体编辑媒体预备媒体编辑媒体预备媒体编辑媒体预备网络媒体通讯媒体消费文本图像音频视频内容(content)媒体显示媒体消费媒体显示数字项 (digital item)前往几种媒体的关系CPUOutputDeviceStorageInputDev

3、ice表示媒体存储媒体显示媒体显示媒体觉得媒体觉得媒体表示媒体传输媒体觉得媒体 觉得媒体是指能直接作用于人的感官，使人能直接产生觉得的一类媒体。觉得媒体有人类的各种言语、音乐，自然界的各种声音、图形、静止和运动的图像等。 觉得媒体视觉媒体文字景象听觉媒体言语声音触觉媒体嗅觉媒体味觉媒体力,运动,温度气味味道声音景象类 型 名 称 分类表示媒体 表示媒体是为了加工、处置和传输觉得媒体而人为地研讨、构造出来的一种媒体。其目的是能将觉得媒体从一个地方向另一个地方传送，以便于加工和处置。表示媒体有各种编码方式如语音编码、文本编码、静止和运动图像编码等。 表示媒体举例时间属性/空间属性/生成属性 图象i

4、mage图形graphics文本text视频video动画animation合成语音MIDI音乐(MIDI)MP3音乐波形声音(wave)表示媒体的时间属性time-independent ( discrete ) media离散媒体，值不会随着时间而变化text , graphics , static image, .time-dependent ( continuous ) media 延续媒体，值随着时间而变化speech , music , video , animation, .表示媒体的空间属性1D媒体单声道speech , music , 2D媒体双声道music ; text

5、, image , 2D graphics ,3D及多维媒体3D graphics , 全景图像 , 空间立体声music , 表示媒体的生成属性自然媒体(运用数字化方法从现实世界获取的媒体)取样声音 , image , video合成媒体(运用计算机创建的媒体)合成语音, MIDI , graphics , animation自然媒体与合成媒体的区别 自然媒体 合成媒体来源获取创建表示方法取样表示符号表示表现才干 真实感强 真实感有限 可编辑性有限全部存储数据量很大数据量很小检索困难容易传输要求高要求低展现处置容易处置复杂前往显示媒体 显示媒体是指觉得媒体与用于通讯的电信号之间转换用的一类媒

6、体。它包括输入显示媒体如键盘、摄像机、话筒等和输出显示媒体如显示器、喇叭和打印机等。 前往存储媒体 存储媒体是用来存放表示媒体，以方便计算机处置加工和调用，这类媒体主要是指与计算机相关的外部存储设备。 前往传输媒体 传输媒体是用来将媒体从一个地方传送到另一个地方的物理载体。传输媒体是通讯的信息载体，如双绞线、同轴电缆、光纤等。 前往多媒体的定义“多媒体译自20世纪80年代初产生的英文词“multimedia，最早出现于美国麻省理工学院(MIT)递交给国防部的一个工程方案报告中。 多媒体是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种方式。 多媒体技术是利用

7、计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进展综合处置，使多种信息之间建立逻辑衔接，集成为一个完好的系统。 多媒体的特征 多媒体从本质上来说具有三个最重要的特征:- 多维化 - 集成性 - 交互性 除了以上三个特征，实践上多媒体还具有很多其它的特征，例照实时性，它主要指类似声音和视频这样的媒体，它们具有很强的时间相关性。 前往多维化多维化是指信息媒体的多样化。它使人们思想的表达不再限于顺序的、单调的、狭小的范围内，而有充分自在的余地。多媒体信息多维化不仅是指输入，而且还指输出，目前主要包括听觉和视觉两个方面。 前往集成性这不仅是指多媒体设备集成，而且也包含多媒体信息集成或表现集成

8、。 早期的各项技术都可以单一运用和运用，但很难有大的作为，由于它们是单一的、零散的，如声音、图像和交互式技术等。 信息空间的不完好例如，仅有静态图像而无动态视频、仅有声音而无图形等都限制了信息空间中的信息组织，也就限制了信息的有效运用。 前往交互性这是人们获取和使信息变被动为自动的最为重要的特征。 多媒体信息空间中的交互性向用户提供更加有效地控制和运用信息的手段，同时也为运用开辟了更宽广的领域，交互可以添加对信息的留意和了解，延伸保管的时间。 前往多媒体信息处置的总目的使能跨越各种不同网络和设备, 透明地、强化地运用多媒体资源。前往多媒体信息处置空间离散媒体：text, image,延续媒体：

9、audio, video, .媒体处置媒体类型单媒体复合媒体运用方式单机运用方式网络运用方式获取(创建)编 辑管 理 传 输检 索描 述展 现说 明编 码前往多媒体计算机技术及其开展历史1984年Apple公司在苹果机Macintosh(也称为Mac)上引入了位图(Bitmap)概念进展图形处置，并运用了窗口(Windows)和图标(Icon)作为用户界面，标志了多媒体及多媒体技术的产生和运用。 1986年，Philips公司和Sony公司结合推出了交互式紧凑光盘系统CD-ICompact Disc Interactive，可以将声音、文字、图形图像等多媒体信息数字化并存储到光盘片上 多媒体计

10、算机技术及其开展历史1987年，RCA公司推出了交互式数字视频系统DVI(Digital Video Interactive)，以计算机为根底，运用规范光盘来存储、检索多媒体数据；1989年IBM公司推出AVC系统(Audio Visual Connection)，提供了多媒体编辑功能;1990年Philips等十多家厂商成立了多媒体市场协会，并制定了MPC(多媒体计算机)的市场规范MPC1多媒体计算机技术及其开展历史1993年5月MPC联盟又制定了第二代多媒体计算机规范MPC2，主要是提高了根本部件的性能目的 1995年6月制定了MPC第三代的规范。添加了全屏幕、全动态(30帧/秒)视频及加

11、强版CD音质的视频和音频硬件规范 前往项目MPC1MPC2MPC3RAM2MB4MB8MB运算处理器16MHz 386SX25 MHz 486SX75 MHz Pentium同等级X86CD-ROM150kB/s最大寻址时间1s300kB/s最大寻址时间400msCD-ROM XA600kB/s最大寻址时间200msCD-ROM XA声卡8bit数字声音8个合成音MIDI16bit数字声音8个合成音MIDI8bit数字声音Wavetable(波表)MIDI显示64048016色64048065536色64048065536色硬盘容量30MB160MB540MB彩色视频播放-352240 30f

12、ps输入输出端口MIDI I/O,摇杆端口，串并联端口MIDI I/O,摇杆端口，串并联端口MIDI I/O,摇杆端口，串并联端口前往多媒体的软硬件平台软件及硬件平台是实现多媒体系统的物质根底，其中每一项重要的技术突破都直接影响到多媒体的开展与运用的进程。 前往多媒体硬件视频信号I/O接口卡音频信号I/O接口板视频、音频紧缩解紧缩视频、音频信号实时处置驱动软件(Driver)驱动器接口模板视频/音频支撑系统或视频/音频中心部件在初始化引导程序作用下把它安装到系统RAM中常驻内存。一个驱动器对应一种硬件设备的接口。多媒体计算机的中心软件公用芯片数字化后的音频和视频数据量非常大，因此必需进展紧缩并

13、需求大容量的存储器；音频和视频的输入和输出是实时的，需求高速度。要实现以上最根本的要求，在很多情况下，需求公用硬件支持。多媒体计算机公用芯片可归纳为两种类型：一种是固定功能的芯片；一种是可编程的处置器 片上系统(System on a chip,SOC)顺应了人们对于提高性能、减少尺寸、降低能耗、快速上市和降低本钱等诸多方面的需求公用芯片NEC公司称其已开发出了一种用于图像识别的单芯片并行处置器。这种处置器每秒能处置50.2G(1G10亿)条指令。这一速度是3GHz的PC处置器的4倍，能耗却只需1/10这个由3270万个晶体管构成的芯片由一个128个8位RISC处置单元和一个用于控制功能的16

14、位处置器并行构成。每个处置单元只需100MHz的任务频率，从而大幅降低了能耗，其每个处置单元都拥有2KB的存储空间，用于存储图像数据这个处置器的功耗相当于PDA的处置器、图形处置性能相当于4台PC，而尺寸却只需1111毫米前往多核处置器目前最快的PC处置器上晶体管的数目曾经到达了5500万个，保守一点估计，到2007年一个处置器将集成10亿只晶体管频率大约是6GHz。宏大的晶体管数量意味着宏大的能耗，随之而来的散热问题也日益凸显。 毫无疑问，工艺的提升有助于部分地处理散热问题，但消费工艺提升本身就是一个耗资宏大一条0.18微米的消费线造价大约是20亿美圆的工程多核处置器从实际上讲，由于将两个或

15、多个运算核封装在一个芯片内部，首先节省了大量的晶体管和封装本钱CPU的核很小，将多个核封装在一同给外形尺寸带来的变化并不显著，同时还能显著提高处置器的性能。多核处置器对外的“界面还是一致的有的多核产品甚至不会改动针脚数，所以整个计算机系统需求为此做出的改动就很有限，这意味着用户不会在主板、硬件体系方面做大的改动，从兼容性和系统晋级本钱方面来思索有诸多的优势多核处置器双核或多核处置器早已有之，SOC、多媒体、网络等一些嵌入式处置器中都采用了多核技术IBM Power 4处置器一样，将两颗完全一样的处置器封装在一个芯片内，到达双倍或接近双倍的处置性能，由于共享了缓存和系统总线，因此这种做法的优点是

16、能节省运算资源。而Sun公司明年即将发布的双核处置器Ultra SPARC IV那么将两颗处置器集成在一个硅片上，这样封装面积更小，相对功耗也更低多核处置器采用0.13微米工艺的Madison芯片面积将降低到200300mm2之间；到2004年采用0.09微米工艺的第五代安腾处置器Montecito的产品面积能够会进一步降低到150mm2；直到2005年65纳米工艺诞生，IA64处置器的大小能够会降低到100mm2以下，届时，这些技术进展会为Intel多核处置器的诞生打下坚实的根底前往数据紧缩及编码技术多媒体系统要求具有综合处置声、图、文的才干，面临的主要问题是宏大的数据量，尤其是对动态图形和

17、视频图像多媒体信源引起了“数据爆炸假设不进展数据紧缩 传输和存储都难以适用化多媒体数据1分钟数字音频信号需求的存储空间分钟数字视频信号需求的存储空间1时间域紧缩迅速传输媒体信源频率域紧缩并行开通更多业务空间域紧缩降低存储费用能量域紧缩降低发射功率数据紧缩的益处前往多媒体同步多媒体信息本身的特点使得各种信息之间在时间上具有一定的相关性，最明显的例子是声音和图像，二者都是时间的函数 在对多媒体数据进展综合处置时，不仅要思索到各种媒体的相对独立性，为了到达较好的信息表示效果，还要留意坚持媒体之间在时间和空间上的相关性 前往多媒体网络与分布式处置技术多媒体单机系统的研讨目前已相对成熟，但对多媒体计算机

18、网络的研讨目前还不够成熟 数字化的网络集多媒体信息的获取、存储、处置、编辑、综合、传输于一体，并运转于网络上，网络的恣意节点都可以共享网上的多媒体信息多媒体技术要充分开展其对多媒体信息的处置才干，必需与网络技术相结合 运转于网络环境下多媒体系统，由于它可以不受时空限制地使多个用户透明地共享网上的数据，特别是多个用户同时共同对一个数据文件进展编辑，这使得多媒体技术有了更广泛的运用 前往信息的组织与管理信息及数据管理是信息系统的中心问题之一 多媒体的数据量宏大，种类繁多，每种媒体之间的差别又是那样明显，但这些信息又存在种种关联性，这些都给数据与信息的管理带来了新的问题 有一种新型的信息管理方法，即

19、超媒体(Hypermedia)，有人称之为天然的多媒体信息管理方法 信息的组织与管理无边无际的信息海洋中如何找到想要的信息，这真像大海捞针。 探求者和研讨者们早在20世纪60年代就曾经开场了对“大海捞针技术的研讨与开发，并卓有效果。信息的组织与管理IBM将推出一种新技术，这种被称为非构造化的信息管理架构UIMA的技术是一种基于XML的数据检索体系，它将极大地扩展和加强检索技术。当人们面对越来越多的音频、视频、文本等数据时，这种人工智能技术将极大地改善用户的数据存取情况。一个典型的运用是网上的数据检索，它将运用户检索到的数据只是用户真正想要的内容，而不是如今这样的数十页甚至更多的信息。前往多媒体

20、数据存储随着网络技术的不断开展，对那些网络效力提供商而言，数据的增长速度促使硬件的存储才干必需不断提高，因此需求思索存储才干的可扩展性 目前一些新的技术，例如SAN(Storage Area Network, 存域网)曾经在实践中得到运用，这些技术的运用为系统的不断晋级提供了能够 前往虚拟现实技术 所谓虚拟现实，就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的觉得世界，用户可以用人的自然技艺对这个生成的虚拟实体进展交互调查。这个概念包含三层含义： - 虚拟实体用计算机来生成的一个逼真的实体； - 用户可以经过人的自然技艺(人的头部转动、眼动、手势或其它的身体动作)与这个环境交互； -

21、要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。 虚拟现实技术它综合集成了计算机图形学、人机交互技术、传感与丈量技术、仿真、人工智能、微电子等科学技术 虚拟现实技术主要运用于工程设计、数据可视化、飞行模拟、模拟实验、多媒体远程教育、远程医疗、旅游文娱等方面 网络通讯与虚拟现实技术的结合具有诱人的前景和宏大的潜在运用价值，它将在某种程度上改动人类的思想方式和时空观，实现真正意义上的远程交互式教育 虚拟现实技术的开展必需有大容量的数据存储，快速的数据处置和宽频信息通道的技术支撑 前往人机界面技术 人机界面设计的目的是经过对用户需求的解释到达一种人机之

22、间较好的通讯才干，为了到达这个目的，需求在以下几个方面进展研讨：稳健的言语处置方式，包括语音识别和自然言语了解。手势分析和了解模型的设计。上述两个方面的通讯方式的交融，由于二者之间在对用户需求的了解上是相互补充的。多方式环境中的对话管理。这是保证一个延续的对话过程所必需的。义务的优化的图形表示使得对象可以被用户以一种比较容易了解的方式出现。前往高速多媒体通讯技术 所谓高速多媒体通讯技术，是指为满足新一代信息系统中实时多媒体信息传输的需求，网络的带宽能够要在1000Gbps 以上，而且要能支持效力质量控制(QoS)，以顺应不同媒体对传输质量的要求。 前往网 络多媒体技术的运用多媒体技术的运用多媒体宣传演示系统多媒体信息咨询系统地理信息系统效力行业多媒体运用多媒体教学系统多媒体训练系统多媒体电子出版多媒体文娱系统IP视频效力将进入高潮无线视频效力将在两年内兴起，届时，它将成为宽带网络的新亮点人们对基于宽带网络的效力曾经成为美国高科技工业和布什政府在科技政策领域的关键目的。同时，视频效力的增长也将