第二章_多媒体系统结构精要

1、一、多媒体系统结构在第一章中，我们介绍了多媒体的一些基础内容，我想大家已经有了一个初步的认识，今天我们继续从宏观的角度学习一下多媒体的组成结构。前边我们提到过，多媒体计算机系统是由两个大类组成的，即多媒体硬件系统和软件系统，我们这章的学习重点是让大家了解多媒体计算机的硬件和外围设备，关于多媒体系统软件部分的内容我们简要的介绍一下，后边会有专门的课程安排大家来学习。上一节内容中我们说多媒体技术的兴起时在20世界80年代，也就是我们所的那三个MPC标准的界定（上MPC图）。时至今日，多媒体技术也已经成功地渗透到了教育、医疗、影视、娱乐、咨询、设计、军事等各行各业。这个过程中多媒体技术在向着智能化和

2、立体化两个方向发展。一方面我们说图像处理、语音识别、虚拟现实在蓬勃发展，人们与计算机的交互正在从机器语言的方式转变为直接通过语言行为等自然交往的方式进行；另一方面，随着网络、通讯等技术的高速发展，多媒体的实时性水平也在逐步提高。现在我们来看一下，完整的多媒体计算机系统应该包含以下几个层次：（列五层结构的示意图）我们看到第一层也是最底层是多媒体计算机的硬件系统也是我们今天课程学习的重点，包括了。（表上内容），这一层的主要任务就是综合处理图文，声像信息，同时需要对多媒体信息进行实时的压缩与解压缩。第二层是多媒体的软件系统，包括了。这里操作系统的主要功能在于进行任务调度，提供用户界面管理功能和同步控

3、制多媒体设备，而通讯软件则包含了我们平时常用的QQ，微信，SKYPE这些与其他用户进行沟通软件。第三层是多媒体应用程序接口API，这一层的意义在于沟通软硬件，让程序员能够通过软件控制计算机硬件。第四层是多媒体著作工具及软件，利用图形图像软件，视频处理软件，音频处理软件来制作多媒体作品和素材，比如说PPT，PHOTOSHOP，audition这些都是我们所说的多媒体著作工具及软件。第五层也就是最上层是多媒体应用系统，这一层直接面对的是广大用户为大家提供各种需求的服务。二、多媒体计算机硬件简介下面我从几个时期来看一下多媒体硬件是如何发展和进化以不断满足人们的服务需求的。我们说在早期，多媒体计算机要

4、快速实时的完成视频和音频的压缩解压缩以及图像特效（比如说缩放，旋转，淡入淡出，雾化，阴影）以及图形处理等等呢，常常需要一些专用的硬件来完成。在后边的实验课程中我会教大家如何制作图像特效让大家自己动手体会，现在我们还是专注于理论方面的认识和理解。1995年，VCD开始流行，它的造型（上VCD图）和我们见到的光盘基本是一致的，它的数据格式是MPEG。而当时对应的计算机CPU基本上是486系列，主频极低如果用这样的计算机直接播放VCD，不但颜色失真而且每秒只能播放几帧的画面，卡顿明显。为了解决这个问题，开发出了一种MPEG专用的解压卡，也就是电影卡，从而减轻了CPU的符合让VCD的流畅播放得以实现。

5、21世纪，三维技术高度发展，3D游戏逐渐取代2D游戏成为主流。我们前边说过3D游戏或者的电影的一大特点是需要先建立一个三维的虚拟世界。在这个世界中所有的物体都是由若干个三角形或者是四边形组成，比如说这个球体在三维世界中的结构就是这样的，全部是四边形围起来的（上图）。我们理解了这个三维世界以后还要知道只有这些三维模型是远不能达到我们想要的亦真亦幻的效果的，我们还需要后续添加灯光、材质、特效、动画等等要素。那么这些内容在于人的交互中千变万化，以当时显卡和CPU的工作效率来说也很难完成。于是人们又开发出了Voodoo卡（上图），也就是图形加速卡同样使得问题得到解决。这里我们说只有3D游戏存在这个问题

6、而3D动画电影则不会被这个问题困扰，为什么？有没有同学愿意说一下自己的看法？因为三维动画电影在制作的过程中与3D游戏非常相近，但它们最大的区别在于3D游戏存在大量交互内容，而3D电影则没有。也就是说观众无法控制动画电影的流程和发展，那么动画电影就可以通过专业计算机生成最终结果与视频或者是胶片的形式播放给观众，它呈现最终效果时就不需要CPU进行三维方面的运算了。而我们说3D游戏中用户会左右游戏世界的发展，所以在制作时无法按照线性的方式得出最终结果，因此很多内容都需要在个人计算机中运算，因此造成了3D游戏对计算机配置的苛刻要求，而动画电影则对硬件配置几乎没有什么要求。我们刚才看到的这两块图形处理卡

7、体积还是比较大的，随着科技的发展我们现在的家用计算机已经不需要它们，大多数的媒体处理功能都被集成在小小CPU中，从而进一步实现了计算机的微型化，这是计算机系统结构的革命性创新。当然在一些专业领域需要同时对多个多媒体数据进行加工还是需要用到专门的媒体处理器。说了这么多，那么多媒体计算机高速发展的意义何在？一方面我们说它在不断满足我们日益增长和多样化的服务需求，另一方面就是不断地优化这些服务，让用户界面更友好，便捷，美观，同时提供更丰富的输入输出设备。我们可以通过WINDOWS操作系统历史版本的变化感受到同一个操作系统在用户体验方面的不断完善，其实每一款软件想要不断发展壮大，用户界面都是非常重要的

8、一环，因为我们说无论开发者使用多先进的技术最终呈现在普通用户面前的还是用户界面，这有这一环节做好了，才能被用户认可，用户可不会关注你用了多牛的技术，那些都是领域内的人自己该讨论的问题。三、多媒体I/O设备好的，现在我们来介绍一下种类丰富的I/O设备，我们看I/O就是输入/输出（Input/Output ）输入/输出，指的是一切操作、程序或设备与计算机之间发生的数据传输过程。那么输入/输出设备，就是指可以与计算机进行数据传输的硬件。1. 扫描仪我们先来看扫描仪，他其实就是一个模拟信号和数字信号的转换器，它把模拟视觉的信号，比如说文件，杂志，照片等内容转换为计算机能够识别的数字化的图形图像。这一过

9、程是通过扫描仪自带或者是第三方的图形图像转换软件配合扫描仪硬件共同完成的。（上扫描仪图）在扫描仪中最重要的部件是CCD，也就是电荷耦合器，我们也可以称他为图像传感器（上CCD图）。他可以把光信号转换为电信号并将其存储转移，完成光电转换，实现图像信息的留存，CCD不仅应用于扫描仪，它被更加广泛地应用在数码相机、摄像机中。一般来说CCD的加工工艺有两种，一种是TTL，一种是CMOS，TTL的呈像质量要优于CMOS，但是功耗较大，一般民用都是采用CMOS的工艺，关于这个我们知道一下就可以了，不需要做过多理解。评价CCD的标准主要有以下几个方面：像素、清晰度、灵敏度、信噪比、扫描制式、电源规格。（1）

10、像素我们前边举例讲解过，对于CCD来说它决定了显示对象的清晰程度，理论上说分辨率越高，图像细节的表现就越丰富。这里CCD的像素与我们说的显示器上的像素略有区别，它是由若干感光元素组成的，每一个感光元素被称为一个像素。目前市面上民用CCD的像素在几百到几千万不等，这个大家可以回去查一查自己手机摄像头的像素数量就知道了。（2）灵敏度就是CCD对环境光线的敏感程度，所以我们也称它为感光度，一般来说我们认为CCD正常呈像所需要的最暗光线越少意味着CCD的灵敏越高，品质也就越高，因为在黑暗环境中如果CCD的感光效能不足就会导致成像质量大幅下降，出现噪点。这就是我们再黑夜中拍照没有白天清晰的原因，这个大家

11、自己用手机实拍一下就知道了。（3）扫描制式值得是我们所说的PAL制和NTSC制，与电视的制式是一致的。（4）电源规格主要是针对摄像机或者照相机进行供电，交流电源针对不同国家有220V比如中国，还有110V的比如日本，这些都是根据各国家的实际情况决定的，直流电源一般是12V或者9V等。（5）我们再来看一看信噪比，信噪比，又称为讯噪比。它反映摄像机成像的抗干扰能力，反应在画质上就是画面是否干净无噪点；狭义来讲是指放大器的输出信号的功率与同时输出的噪声功率的比，常常用分贝数表示，设备的信噪比越高表明它产生的杂音越少。介绍了扫描仪的核心部件CCD，下面我们来看一看扫描仪自身的重要性能标准：色彩数和分辨

12、率（1） 我们现在用到的扫描仪基本都是彩色扫描仪了。我们说自然界中各种颜色都可以利用红绿蓝三原色按不同浓度配比混合而成，扫描仪就是利用这种原理采用8位深度的RGB色彩组合出上千万种丰富多彩的颜色，以还原被扫描内容的原貌。（2） 分辨率的单位是DPI，也就是每平方英寸中能检测到多少个点，我们可以把每一个点理解为对应一个像素。这样，单位面积内的像素点越高画面就越精细。一般来说人眼对于颜色的识别远远达不到千万种之多，因此扫描仪呈像质量的好坏主要不在色彩数而是分辨率。关于扫描仪与计算机的连接主要是通过接口实现的，早期的接口有并口和SCSI接口（上图），现在最常用的是USB接口这里我们介绍了传统扫描仪的

13、相关内容，这些其实没什么特别的，主要是让大家理解下理论上的东西。现在我们来看一些扫描仪的新技术，已经基本脱离了我们对于传统扫描形式的理解。（放视频）我们看到这款叫做structure sensor也就是结构扫描仪的产品基本上就是把小型化的感应器、透过特殊的固定架安装到平板电脑上；透过感应器，就可以让使用者可以拿著平板、扫描环境裡面的物品、或是整个环境！透过这样的设计，可以当场把平板加上深度摄影机的功能，除了可以用来建立物体的 3D 模型外，也可以用来扫描整个房间，而如果和游戏、或其他互动、游戏整合的话，也可以做到更好的增强实境的效果！一会儿在讲解打印机的时候我们还会看到，配合3D打印就可以将任

14、何零件记录和转换为三维模型，打印出几乎完全相同的真实物体。2. 数字实物展示台它的作用是将摄像头拍下的景物通过与外部输入输出设备的配套使用将其演示出来，方便进行观察和学习。当外设为计算机时，可通过配置的图像采集卡和标准并行通信接口，利用相关程序软件将视频展示台输出的视频信号输入计算机进行各种处理，实现扫描仪和数码相机的部分功能。一般来说视频展示台式由“摄像头”和“演示平台”两部分构成的，有些根据需要也会配备遥控器。（上数字视频展示台图并解释下）视频展示台由摄像头将展示台上放置的物体转换为视频信号，输入到放映设备；灯光用来照亮物体，以保证图象清晰明亮，这个原因咱们刚才在介绍CCD的时候已经说过了

15、；台面用来放置物体；接口用来输出各种视频信号和控制信号。比较好一些的数字展示台通过计算机图像捕捉设备与计算机连接，通过相关的应用程序，可将视频展示台输出的视频信号输入计算机进行各种外处理。视频展示台上的小液晶监视器便于用户直接观察被投物体的图像，这样在展示过程中就不用另外准备监视器也不用看着屏幕来移动物体了。我们说数字展示台的优劣主要取决于以下几个方面，首先是CCD的质量，这点与扫描仪一样会直接决定投影的质量，此外投影仪对于色彩的还原能力也很重要，如果色彩失真比较严重，那么在展示的时候就不能起到辅助说明的作用甚至可能产生误导。3. 投影仪我们再来看投影仪，它可以与录像机、摄像机、影碟机和多媒体

16、计算机系统等多种信号输入设备相连，可将信号放大投影到大面积的投影屏幕上，获得巨大逼真的画面，从而方便地供多人观看，成为计算机教学、演示汇报等的必备设备。我们说这种严格意义上的投影仪根据其发展历史基本经历了两个个阶段，及CRT投影，LCD投影。这两种技术也被应用在显示器中，其中CRT投影技术是通过阴极管把RGB三种颜色分别发射到荧光屏上产生不同色彩的，这种技术的优势在于它的色彩还原度非常好，但它的主要的问题就在于体积过大，发热量也大，我们早期使用的大砖头显示器就是给予CRT投影原理的，大家可以看一下，这就是早期的CRT显示器（上图）后来出现了LCD投影技术，也就是我们常说的液晶屏，它主要是通过光

17、电效应使得液晶分子在通电受热时透光率和反射率发生明显变化，从而产生不同灰度层次以及颜色。由于其体积轻便并且功耗和发热都比较低，所以已经基本取代CRT成为投影仪和显示器中的主流。虽然早期的液晶技术在色彩还原上不如CRT，但随着技术的进步，LED的色彩还原度正在像CRT靠近。这些都是比较老式的投影设备，虽然我们现在基本不用了，但是它的出现对于多媒体领域来说在当时仍然是很了不起的事情，下面我们来看两段全息投影的视频，它代表了投影的最新形态和发展方向。（放全息投影视频之一）看了这段视频大家可能对全息投影的感知更深入了一步，但是对于他的原理我们还不太清楚，那么我们再来看一段视频将这项技术简化一下。我们说

18、全息投影主要是通过“双目效应”的视觉原理来实现的。每个人都有两个眼睛，每个眼睛的视角大约为80度，但是两个眼睛一起的视角只有120度，也就是说有40度的视角是重合的，所以我们的左右两个眼睛所看到的的东西其实是不同的，比如你闭上左眼用右眼看或者反过来，就能测试出来效果，左右两眼接收到的物体转发给大脑做判断物体的远近才能形成立体感。3D立体技术就是模拟这个过程而形成的。此外我们再电影院中看到的IMAX 3D电影也是利用这个原理，完成电影拍摄制作后，根据“双目效应”，将图像分解，让左眼只看见偏左的画面，右眼只看见偏右侧的画面，这样才能使大脑产生远近的判断而生出立体感。在放映时，偏左的画面和偏右侧的画

19、面所用的投射光是不同的，虽然颜色画面一样，但投影用的光的传播方向是不同的，偏左画面用的是纵波光（光波沿纵向传递），偏右画面用的是横波光（光波沿横向传递），由于偏振光的特点纵波光只能穿过纵纹，不能穿过横纹，因此左眼只看见偏左侧的画面，右眼只看见偏右侧的画面，我们便产生了远近感和立体感。3D电影源投放在一定角度的银幕上，观众需要带上3D眼镜观看。而全息投影则不需要带眼镜，只要肉眼就可以观看，其原因在于全息投影是在利用“双目效应”的基础上配合光线的干涉和衍射原理来实现的，可以认为是通过光学原理欺骗了我们的眼睛。那么关于全息投影大家知道这样一个基本原理就可以了。4. 触摸屏触摸屏是一种常见的多媒体界面

20、，它提供了一种人与计算机非常简单、直观的输入方式，我们说现在商场、车站、金融公司都在大量使用触摸屏作为输入设备进行公共信息查询，给人们带来了很多便利。我们平时使用的平板电脑就是触摸屏和计算机共同的衍生物。一般来说触摸屏分为三类，红外线式、电阻式、电容式。红外线式是在屏幕的左边和上边各安放一排红外发射器，屏幕的右边和下边安放一排红外接收器，这样当人的手指移动到触摸屏任意位置时就会阻断某几排红外线的传输，从而确定手指的坐标，再将这些坐标发送给计算机就可以执行相应的操作了。红外式触摸屏是一种最早的形态，它的分辨率很低，而且比较迟钝。后来出现的电阻式触摸屏分辨率就有了非常大的提高，它主要是通过双层膜挤

21、压产生电阻变化的原理来确定手指坐标的。电阻式进一步演化就是我们现在一般智能手机最常用的电容屏，它具有更大的分辨率和更加精准的灵敏感应。触摸屏的出现使得人们与计算机的交互过程更加人性化，也更加方便快捷。同样的，我们了解了这些中规中矩的触摸屏，再来看一看让我眼前一亮的新型触摸设备。（放三段视频，前两段是已经实现的技术，第三段是展望）5. 数码相机在传统的摄影过程中，我们如果想要把风景变成计算机可处理的图像，需要使用胶片拍摄照片然后再暗房将照片洗出来再使用扫描仪扫描进计算机中，这样一系列的人工操作不但非常麻烦而且会导致计算机中图像质量的下降。（上胶片相机图）而现在我们使用数码相机只要把照片拍摄下来它

22、就已经是计算机可以直接处理的图像了，大大节约的时间并且保证了图像质量。一般来说，数码相机是由镜头、CCD、模数转换器、微处理器、存储卡、LCD、内置存储器和相关接口组成的。数码相机中只有镜头部分与普通相机一致，机身其他部分的原理完全不同。那么，我们简要地了解一下数码相机的内部机制。外部景物通过镜头将光线汇聚到感光元件CCD上并被转换为电荷，然后通过模数转换器将模拟信号转换为数字信号，再通过微处理器将数字信号压缩并存储为特定的图像格式，比如说JPEG等等。最后再被保存到存储器中。下面咱们来介绍一些实用的摄影知识。（1） 焦距，焦距是指通过镜头的平行光的焦点与镜头透镜的距离（上焦距说明图）。我们再

23、选购相机镜头的时候常常会听说变焦、定焦、广角等这些镜头名称。这里变焦指的是一款镜头可以通过手动或者电动的方式改变焦距。而定焦镜头则相反，它的焦距是固定无法改变的，只能通过摄影者的移动来保证对准焦点。那么这里肯定有些同学会觉得变焦镜头完爆定焦镜头。其实不然，定焦镜头的呈像质量相比变焦是有较大优势的。因此二者各有利弊部分高下。此外广角镜头是指通过缩小焦距到一定距离使得视角达到550以上的这样一种镜头，这样的镜头比普通镜头能够获得更广阔的视野（放一张广角镜头和普通镜头的对比），还有一种长焦镜头可以使焦距极度伸长减小视野范围的同时清晰的拍摄出远处的物体。（放长焦对比图）（2） 光圈，光圈的意义在于通过

24、改变镜头上光孔的大小来调节镜头的进光量。光圈一般用f来表示，比如f4,f12等等，数字越小说明光圈越大，也就是说数字与进光量大小是像反的。这里我们要注意光圈在调节的过程中要考虑到与焦距的配合，当我们拍摄远处物体使用长焦的时候，由于被射物体离镜头叫远，因此光线的衰减也就比较多，那么为了保证呈像质量就需要较大的进光量，所以我们说在使用长焦的时候光圈一般是比短焦大的。（3） 快门，快门的作用是用来控制进光时间长短的，在胶片相机中，快门的速度会控制曝光的程度。快门时间越短意味着进光量越小，而快门时间越长则进光量越大。比如我们看这张夜景所表现的灯线就是通过延长快门时间使得不同时间点的光线照射效果都被记录

25、下来而形成的。（上夜景拉线图）（4） 白平衡，白平衡是对白色的界定，由于物体反射出的颜色是由光源色彩决定的，因此在不同环境下数码相机记录的“白色”是不尽相同的，需要对白色进行矫正以使其符合人脑所识别的正确的白色。一般来说数码相机提供了多种光源环境下的白平衡选项。日光色温6000K，阴天色温3000K-3500K，荧光灯色温5500K等等，我们可以根据拍摄时的环境选择白平衡，然后数码相机就可以自动矫正了。（白平衡矫正照片）（5） 景深，景深是指拍摄出的影像在垂直于照片方向的清晰范围，比如我们看到这副图片中，主体的部分这一块是清晰的，而周围的背景部分是模糊的，这就是景深效果。而这张正相反，前景部分

26、是模糊的，后边的主体反而是清晰的，这也是景深效果，景深的意义在于帮助突出画面的重点，模糊掉次要因素，使人们能够快速聚焦到重要的元素上，表现戏剧化的效果。景深效果可以通过焦距和光圈的调节方便的实现不同效果。（上两张景深图，一张背景模糊，一张前景模糊）6. 手写输入设备最早的手写输入设备主要是用于文字的录入，通过汉字识别软件将手写的文字转换成文本文件，后来由于压感的实现，手写输入设备扩展出另一大功能就是绘画。一般来说手写输入设备可以分为两个部分一部分是手写板，另一部分是手写笔（上手写板图），实际上手写识别的原理就是将手写板上获取的轨迹信息和压力信息转化为连续的坐标序列和压力值序列传输到计算机中再结

27、合相应的软件转换成数字化的信息，这里由于手写文字的笔画不可能达到机器文字的准确度，所以文字输入时还需要考虑到识别率的问题。下面我们来看一个带有压感的手写输入设备的简要介绍视频，加深一下认识。（放压感笔视频）我们看到压感笔设备比传统的手写输入设备可以获得多种级别的压力感应，这样我们输入计算机的笔画就有了轻重的区别，就可以模拟人手在纸上绘画的效果，而不仅仅是简单地写字。7. 显示设备显示设备包括我们平时用到的显示器和电视机等等，我们说显示系统在多媒体中起到非常重要的作用，如果没有好的显示效果就等同于我们在于计算机交互的过程中丢失了视觉信息，损失是非常严重的。显示器按原理可以分为CRT和LCD，这两

28、个原理就是我们刚才所说的投影技术，那么现在我们来看一看这两种显示器有哪些主要的影响因素。（1） CRT显示器在CRT显示器中以下的几个因素是非常重要的，包括点距，像素，分辨率，行频，场频。像素、分辨率这些上节课我们已经讲解过了，这里我不在复述。点距，指的是显示屏上两个磷光点之间的距离，点距越小画面就越清晰，这个有点像我们说的单位面积内像素点越高图像就越清晰。行频指的是CRT显示器中发射电子束的电子枪每秒在屏幕上扫描过的水平线条数，而场频指的是每秒钟屏幕重复绘制显示画面的次数，也就是我们常说的刷新率，刷新率一般来说高于60Hz人眼就很难感受到屏幕的闪烁了。（2） LCD显示器在LCD中重要的参数

29、包括：1） 视度角：它指的是我们从侧面观看液晶显示器时再多少夹角的一个范围内可以看到清晰真实的图像。如果我们自己观察液晶显示器就会发现，不论多好的显示器如果我们侧着看到达一定的角度，它的颜色和亮度一定会失真，非常明显，这就是视度角。2） 点距和分辨率，这点和CRT基本是一样的要求3） 亮度对比度，这一点我们说在CRT显示器中可以很好地表现最亮和最暗的效果，而在液晶中反而比较难，原因在于LCD都是采用背照式的发光模式，那么要获得最黑暗的效果需要完全遮挡背面光源这一点在技术上很难达到，这也是为什么我们看液晶的深色画面经常会在边角出现漏光现象。而要达到最亮的一个效果则需要大幅度提高背光的亮度，这样又有可能会灼伤人眼，所以，在处理亮度对比度时LCD还是有一定劣势的。4） 色彩表现度，显示器一般都是采用RGB色彩空间来表现数千万中颜色，虽然说我们人眼可明确识别的颜色只有数百种，但是显示器能够表现的颜色种类越多就会与生动，关于色彩这一块内容我们在图形图像处理的课程中再继续学习。5） 反应时间，它指的是液晶显示器各像素点对输入信号反应的速度，这个时间越短越好，一旦过长机会让人感觉到拖影，这在LCD中是非常明显的。好的，了解显示器的这些基本知识，我们来感受一下新型的柔性显示屏与我们常用的显示器有什么不同。8. 打印机打印机是计算