多媒体技术教程

1、第二章 多媒体信息的表示【学习目的】1.掌握：位图、矢量图的定义。2.了解：音频信号的数字化处置，矢量图与位图、图像与图形的比较。3.了解：超文本与超媒体。【学习要点】多媒体信息文字、音频、视觉媒体、动画在计算机中是如何表示的。2.1文字文字是人与计算机之间进展信息交换的主要媒体。文本文件在现实世界中，文字是人们进展通讯的主要方式，文字包括西文和汉字。2.1.1西文 在计算机中西文采用ASCII码表示。是由美国国家规范局(ANSI)制定的ASCII码American Standard Code for Information Interchange 例如：字符A的ASCII码值为065； 字符

2、B的ASCII码值为066； 字符C的ASCII码值为067；2.1.2汉字1.汉字的输入编码1数字编码 数字编码输入的优点是无重码，缺陷难以记忆。2拼音码以汉语拼音为根底的输入法，汉字输入法重码率很高，同音字的选择影响了输入速度的提高。3字型编码五笔2.汉字内码 汉字内码用于汉字信息的存储、交换、检索等操作的机内代码，普通采用两个字节表示。3.汉字字模码字模码是用点阵表示的汉字字形代码，它是汉字的输出方式2.2 音 频音频 分类1.波形声音包含了一切的声音方式，它可以把任何声音都进展采样量化，并恰当地恢复出来。 2.2音 频音频 分类2.语音人的说话声虽是一种特殊的媒体，但也是一种波形，所以

3、和波形声音的文件格式一样。3.音乐符号化了的声音，乐谱可转变为符号媒体方式。2.2.1 数 字 音 频音频数字声音波形质量的主要技术参数采样频率等于波形被等分的份数，份数越多，质量越好11.025KHZ、 22.05KHZ、44.1KHZ采样精度每次采样信息量 8位、16位通道数声音产生的波形数单声道、立体声道、5.1声道数据量计算：(采样频率采样精度通道数 时间 )/8 字节2.1.1 常见的媒体元素动画动画的概念 运动的图画，本质是一幅幅静态图像的延续播放。动画的延续播放既指时间上的延续，也指图像内容上的延续，即播放的相邻两幅图像之间内容相差不大 。计算机设计动画方法 外型动画 帧动画 2

4、.1.1 常见的媒体元素动画帧动画 2.1.1 常见的媒体元素动画帧动画 2.1.2 媒体的种类 视觉视 觉静止图像图形文字符号言语文字笼统化笼统化 动态图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体2.1.2 媒体与多媒体听觉触觉其他觉得笼统化听觉声音声响自然界语音人类言语音乐其它嗅觉、味觉等触觉振动运动传感/发生器2.1.3 媒体的性质和特点 各种媒体具有不同特点和性质 媒体是有格式的 不同媒体表达信息的特点和程度各不一样 媒体之间可以相互转换 媒体之间的关系也具有丰富的信息 媒体具有空间性质 表现空间 媒体按相互的空间关系进展组织视觉空间、听觉空间和触觉空间这3者

5、既相互独立又需求相互结合 2.1.3 媒体的性质和特点 媒体的时间性质 表现需求时间媒体在时间坐标轴上的相互关系 媒体的语义 媒体的语义是有层次的笼统的程度不同，语义的重点也就不同 媒体结合的影响 媒体结合是多层次的 媒体结合有利于信息接受和了解隐喻 交互的概念模型，也称心智模型 2.2 听觉媒体技术 2.2.1 声音心思学 1.声音的量纲 声音的振动是一种正弦波，声音的变化必需确定三件事：频率变化的速度、幅度产生的压力、相位何时开场。 另外一方面，人们可以觉得到声音的强弱，可以觉得到歌唱家音调的高低。 因此，声音的量纲分为声音的物理量纲和心思量纲。2.2.1 声音心思学 物理量纲可以用准确的

6、值来描画，但对某一详细声音得来的心思印象却不容易阐明白，由于心思印象要由被测者的阅历而定。 声音的心思属性和物理属性不可等同，首先，这些关系不是线性的；其次这些关系不是孤立的；第三这些关系不是不变的。2.2.1 声音心思学 两者之间确有关系：例如声音的响度取决于强度和频率两个要素，假设频率不变，强声显得比弱声要响些。但假设强度不变，过高频率的声音和过低频率的声音似乎比中频的声音听起来都要弱一些。由此可见，响度依赖于频率，缘由是人耳能反响的频率范围是有上限和下限的。 2.2.1 声音的量纲 心思变量首要的物理变量次要的物理变量响度声强声波频率音调声波频率声强音色声波复合音量频率和强度密度频率和强

7、度调和流畅或粗糙谐波构造音乐技巧噪声强度频率组合，各种时间参量骚扰声强度频率组合，无意义2.2.1 声音心思学 2.听觉特性等响曲线 由于响度与频率和强度有关，所以在不同频率上的强度是不同的。先设一个音为规范音，给予固定的频率、强度和继续时间，例如1000Hz、40分贝、继续0.5秒；再给一个音也继续0.5秒，但频率不同，经过调整使其响度听起来一样，得到的这样一组曲线称之为等响曲线。等响曲线描画的是响度与频率和强度的关系。从声音心思学思索，对同一响度的声音在频率上和强度上可以有很大的差别，这对声音表现有重要意义。 2.2.1 声音心思学掩蔽masking 声音的响度不仅取决于本身的强度和频率，

8、而且也依赖于同时出现的其它声音。各种声音可以相互掩蔽，也就是说一种声音的出现能够使得另一种声音难于听清。由于声音的掩蔽效果，可以欺骗人的听觉。例如，本来是多种频率的声音的复合，但听众以为是另一种声音。所以，声音的掩蔽特性经常用于声音的紧缩。2.2.1 声音心思学临界频带 在频率的某一临界区里，各种声音是相互作用的，合成声音的响度由这些频率共同决议。假设超出临界区，声音的响度不再相互作用，声音的响度随频率的改动而改动。这个临界区就是临界频带，其宽度视其中心频率而定。对于临界频带确实定，使得对声音响度的处置可以有的放矢。2.2.1 声音心思学相位 从声音的波形来看，声音的起点和方向也要反映声音的特

9、性，这就是声音的相位。当两个声音一样相位完全相反时，它们将相互抵消；当两个声音一样而且相位也一样时，声音就会得到加强。 相位确实定对于多声道声音系统的设计非常重要，其可以运用在回声的消除、会议系统的声音设计上。 2.2.1 声音心思学自然声音的时变景象 声音的音调分成三个区域：起始区、稳定形状区、延迟区。 研讨阐明，音调的频谱分量随时间改动。在稳定形状区，频谱坚持固定。在起始区，振幅频谱随时间变化。因此自然声音的起始部分是非常难识别的。例如刚听了一小节音调后要识别乐器，专家也会觉得较难。时变景象用于数字系统中，阐明声音中的某些错误是不太容易发现的，但假设出现停顿就很容易引起人的留意。 2.2.

10、1 声音心思学听觉空间 人耳可听到来自各个方向的声音，并用不同的要素来断定声源的位置。声源的位置不论对于增进人们的感受还是增进对声音的了解，都是非常重要的。经过声音的准确再现，就可以构造出听觉空间。 方位的线索是各种声音到达两耳的准确时间和强度。2.2.1 声音心思学听觉的频谱特性 声音是时间函数，经过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。在言语中，元音很少有频谱变速变化的区域。基频改动，人耳是很敏感的。例如：快进的录像，音调会发生变化。 音色非常复杂，目前尚在研讨中。音色的处置将使我们能识别音源，音色也代表和声音有关的客观质量。 2.2.1 声音心思学声音的心思模

11、拟 经过人工真实的方法，可以对视觉空间的景物进展再造或虚拟，同样也可以对听觉空间的声音进展心思的模拟，这就是所谓的可听化audiolization。用声音可以表达出一些声音的效果。 2.2.2 音频的数字化和符号化 从人与计算机交互的角度看，音频信号的处置包括下述3点：人与计算机通讯，也就是计算机接纳音频信号。包括音频获取、语音的识别和了解。计算机与人通讯，也就是计算机输出音频。包括音乐合成、语音合成、声音的定位以及音频视频的同步。人-计算机-人通讯。人经过网络与异地的人进展语音通讯，相关的音频处置有语音采集、音频的编码和解码、音频的存储、音频的传输、基于内容的检索等。2.2.2 音频的数字化

12、和符号化 1音频的数字化与再现 在计算机中，一切的信息都以数字来表示。声音信号也是由一系列的数字来表示的，称为数字音频。数字音频的特点就是保真度好，动态范围大。 数字声音是一个数据序列。它是由外界声音经过采样、量化和编码后得到的。 2.2.2 音频的数字化和符号化 对声音进展采样用奈奎斯特采样定理来决议采样的频率。根据该定理，只需采样频率高于信号中最高频率的两倍，就可以从采样中完全恢复原始信号的波形。由于人耳所能听到的频率范围为20Hz到20KHz，所以实践的采样过程中，为了到达好的效果，就采用44.1KHz作为高质量声音的采样频率。假设达不到这么高的频率，声音恢复的效果就会差一些，例如声音的

13、质量等。普通来说，声音恢复和采样频率、信道带宽都有关。 声音的采样以及量化图2.2.2 音频的数字化和符号化2.2.2 音频的数字化和符号化 与数字音频相关的重要特性：采样频率 采样频率与声音的质量关系最为严密。采样频率越高，声音质量越接近原始声音，所需的存储量便越多。规范的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。采样位数 存放一个采样点所需的比特数。普通的采样位数为8位或16位，即把声音采集为256等份或65536等分。2.2.2 音频的数字化和符号化声道数 有单声道、双声道和多声道。如多种言语音频混存时，需求多声道数据量 (采样频率每点采样位数声道数)数据量

14、 8(字节/秒)2.2.2 音频的数字化和符号化 2声音的符号化 波形声音可以把音乐、语音都进展数据化并且表示出来，但是并没有把它看成音乐和语音。 对于声音的符号化也可以称为笼统化表示包括两种类型：一种是音乐，一种是语音。2.2.2 音频的数字化和符号化1音乐的符号化MIDI MIDI(Music Instrument Digital Interface)是指乐器数字接口的国际规范。 MIDI音讯，是指乐谱的数字描画。 任何电子乐器，只需有处置MIDI音讯的微处置器和适宜的硬件接口，就构成了一个MIDI设备。当一组MIDI音讯经过音乐合成芯片处置时，合成器能解释这些符号并且产生音乐。 MIDI

15、的关键是作为媒体可以记录这些音乐的符号，相应的设备可以产生和解释这些符号。它给出了一种得到音乐声音的方法。2.2.2 音频的数字化和符号化 MIDI的特点：与波形声音相比，MIDI不是声音数据而是指令，所以数据量要少得多。30分钟的音乐， 用MIDI文件记录只需200KB，用16位CD质量的未紧缩WAV文件记录需317MB MIDI可以与其他波形声音配合运用，构成伴乐的效果。而两个波形声音普通是不能同时运用的对MIDI的编辑也很灵敏，用户可以自在地改动音调、音色等属性，直到本人想要的效果 MIDI在音质上还不能与真正的乐器完全类似。无法模拟自然界中其它非乐曲类声音2.2.2 音频的数字化和符号

16、化2语音的符号化 语音与文字是对应的。波形声音可以记录表示语音，它是不是语音取决于听者对声音的了解。对语音的符号化实践上就是对语音的识别，将语音转变为字符，反之也可以将文字合成语音。 语音指构成人类语音信号的各种声音。在采集和存储上可以与波形声音一样，但由于语音是由一连串的音素组成。“一句话中包含许多音节以及上下文过渡过程的衔接体等特殊的信息，并且语音本身与言语有关，所以要把它作为一个独立的媒体来对待。2.2.3 音频媒体的三维化处置 1三维虚拟声空间 所谓三维虚拟声空间Three Dimensional Virtual Acoustic，3DVA，是指用一定的声音设备人为地产生出来的具有空间

17、位置信息的声音空间。 三维听觉的运用明显地依赖于用户对听觉空间中各种信息源的定位才干。普通说来，三维虚拟声空间要到达以下的一些目的： 在可听的范围内重现频率分辨度和动态范围； 在三维空间中准确地呈现声音的位置信息； 能表达多个静止和挪动的声源； 能和头部的动作具有一定的关联； 可以支持一定程度的交互。2.2.3 音频媒体的三维化处置 23DVA的根本实际 人类感知声源位置的最根本的实际是双工实际，该实际基于两种要素：两耳间声音的到达时间差ITDInteraural Time Differences和两耳间声音的强度差IIDInteraural Intensity Differences。 时间

18、差是由于间隔的缘由呵斥的，当声音从正面传来时，间隔相等，所以没有时间差；但假设偏右3o，那么到达右耳的时间就要比左耳约早30ms，而正是这30ms，使得我们区分出了声源的位置。 强度差是由于信号衰减呵斥的，信号的衰减是由于间隔产生的，在很多情况下是由于人的头部遮挡，使声音衰减，产生了强度的差别，使得接近声源一侧的耳朵听到的声音强度要大于另一耳。2.2.3 音频媒体的三维化处置 3DVA实际较笼统地阐明：人耳对声音定位的特性，经过大脑的综协作用后，对有差别的声音信号进展了相对于空间位置的定位。 人耳对声源方位的断定起决议作用的是耳廓。当声波从声源传到听者的耳部时，声波会在耳廓发生不断的反射和折射

19、，然后由内耳道传到耳鼓，使人产生音感。这种反射、折射是依赖于频率的，经过不同频率的变化，使得人耳可以区分声源的方位。另外，当声音从声源传到人的内耳并构成听觉时，声音信号曾经携带了两个很重要的信息，从而构成了空间真实感和环境真实感。声源的本身信号特征、声源的空间三维位置、声源所处的环境这三个要素描画了声源的全部信息。 2.2.3 音频媒体的三维化处置 3HRTF方法 实现空间真实感的关键是建立起耳廓模型，这种方法被称为“双耳相关函数法，也即HRTFHead-Related Transfer Function，与头部有关的转移函数。 从实际上利用HRTF产生真实空间声音的算法如以下图所示。 2.2

20、.3 音频媒体的三维化处置 2.3 视觉媒体技术 2.3.1 视觉心思学 1视觉的心思特征 视觉是人类最重要的感知才干，经过视觉可以感知到外部世界的外形、大小、颜色、明暗、机理和运动等多方面的信息。 同声音心思学类似，与视觉相对应的光学物理性质和心思知觉也是截然不同的。虽然光的物理特性与心思知觉有关，但它们的关系并不是线性的。对光的颜色和亮度的觉得不仅和它的频率和强度有关，而且还和它出现的背景有关，和同时出现的周围光有关。2.3.1 视觉心思学视觉心思变量主要的物理变量亮度光强颜色彩色波长浓度彩色的浓度光谱成分对比光强、波长、周围光2.3.1 视觉心思学 2. 视觉特性 亮度 亮度是人眼对光强

21、度的感受。 一个物体的亮度不仅跟目的的物理强度有关，而且与周围的背景有关。假定整个照明增大了，目的和环境的光强就按照比例增大了，两者之间的物理对比就维持不变。但当照明加强时，目的的亮度能够会亮一些，也能够坚持不变，甚至看起来亮度减少一些。这些都取决于中心和周围之间的相对强度，也就是对比度。 对图像的处置最重要的是亮度的差别。2.3.1 视觉心思学 与声音类似，视觉上也有等亮曲线，反映了视觉在亮度上与波长的关系。在同一亮度觉得下，不同波长的光具有不同的光强。 视觉也有掩蔽景象，在很亮的高光周围时难以看清的，道理和声音是类似的。2.3.1 视觉心思学视觉的时间特性 建立视觉图像需求时间，而一旦建立

22、起来之后，即使把图像对象拿走，这种反响也要维持一段时间。这是由于把光转变为神经电需求时间。正由于视网膜图像时逐渐衰退的，所以视觉暂留可以存在非常之几秒。2.3.1 视觉心思学彩色 表示颜色需求思索三种心思属性：颜色、亮度和饱和度。颜色就是通常意义下的彩色，它随波长的变化而变化，反映颜色的根本特性。亮度是光作用于人眼所引起的亮堂程度的觉得，与光强有关。饱和度是代表为了产生所感知到的彩色在白光中必需混入的纯单色光的相对数量，或者说是颜色的深浅程度。对同一颜色的彩色光，饱和度越深颜色越艳丽。颜色和饱和度统称为色度。 2.3.1 视觉心思学 颜色是由三种原色光混合而成的。可见光的波长从380纳米到78

23、0纳米。不同波长呈现出不同颜色，可见光波长从长到短依次为红橙黄绿青蓝紫。 只需单一波长成分的光称为单色光，含有两种以上波长成分的光称为复合光，一切可见光按照一定比例混合就是白色光。 在辐射功率一样的条件下，不同波长的光不仅给人不同的颜色觉得，而且也给人不同的亮度觉得。人眼普通感到红光最暗，蓝光次之，而黄绿光最亮。研讨阐明，人眼对亮度信息敏感，而对颜色的敏感程度相对较弱。2.3.1 视觉心思学 在白色背景下，普通运用红黄蓝作为原色来混合其它颜色，这就是减基色合成彩色系统。 在黑色背景下，普通运用红绿蓝作为基色来混合其它颜色，这就是加基色合成彩色系统。 普通绘画时采用前者，电视中采用后者。2.3.

24、1 视觉心思学凝视点和视野范围 人在察看视觉类媒体时，凝视点喜欢集中在什么地方？研讨阐明，视觉凝视点主要集中在图像中黑白交界的部分，尤其是拐角处。假设是闭合图形，凝视点往往向内侧挪动。凝视点容易集中在时隐时现运动变化的部分或者图像中特别不规那么的地方。 人眼的视野开阔，左右视角约为180度，上下约为60度。但视力好的部位仅限于2到3度，用于察看视觉媒体的细节。而在周边，那么主要识别特征。但是需求留意，只需大的视野才有能够制造出临场感。2.3.2 模拟视频原理光栅扫描原理 视频摄像机将图像转换为电信号，电信号是一维的，但图像是二维的，将二维图像转成为一维电信号是由光栅扫描的方法实现的。快速的扫描

25、线从顶部开场，一行一行地向下扫描，直至显示器的最底部，然后再前往顶部的起点，重新开场扫描。这个过程产生的一个有序的图像信号集合，就组成了电视显示中的一幅图像，在此称为帧。延续不断的图像序列就构成了动态视频图像。 2.3.2 模拟视频原理 分辨率表现的是电视系统中重现场景细节的才干。程度扫描线所能分辨出的点数称为程度分辨率。普通来说，点数越小，线越细，分辨率就越高。一个系统的程度分辨率为400线，指在对应于图像高度的程度间隔内能交替显示200条白线和200条黑线。相应地，一帧中垂直扫描的行数称为垂直分辨率。垂直分辨率和每帧中的扫描线有关，扫描线越多，分辨率就越高。广播电视系统垂直的行数普通是52

26、5线北美和日本和625线欧洲和中国。2.3.2 模拟视频原理 每一秒钟所扫描的帧数称为帧频，普通为25帧PAL或者30帧NTSC。由于是隔行扫描，所以垂直频率分别是每秒50帧和60帧。因此，人眼就不容易看到闪烁。 宽高比是扫描的一个重要的参数。扫描行的长度与在图像垂直方向上的一切扫描行所跨过的间隔之比，就成为宽高比。目前电视中的宽高比为4：3，新型电视的宽高比为16：9，有些电影系统的宽高比为2：1 。2.3.2 模拟视频原理彩色视频 加基系统是彩色视频系统的根底。彩色电视采用红绿蓝RGB作为三基色进展配色，产生出R、G、B三个输出信号，RGB信号可以分别传输，但是要配上相应的同步信号。在RG

27、B系统中需求三根视频电缆互连，但是三个信号在同步关系方面相当复杂，所以大部分彩色电视不处置RGB，而是将RGB信号组合起来在一条电缆中传输，这就是复合信号。2.3.2 模拟视频原理 现有的几种不同的复合信号有NTSC、PAL和SECAM。根据亮度/色度原理，任何彩色信号都可以分为亮度和色度。色度只需运用色差就可以表示颜色信号，而不用运用RGB三个完好的信号。将亮度和色度交错陈列分别放到电缆上，就组成了复合信号。 电视系统的三种制式采用的信号方式也不完全一样。NTSC的亮度信号称为Y，色度信号为I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度与之相对应为YUV，它们的差别在于编码方式

28、的不同。YUV、YIQ可以与RGB互换。RGB、YUV和YIQ等都被称为彩色空间。2.3.2 模拟视频原理视频设备 按照用途不同，视频设备可以分为广播、专业和消费三个级别。广播级普通是大型的电视台和网络站运用，它的性能最好，用于大系统运用，价钱昂贵；专业级普通用于教育界和工业界的小广播站，有较好的性能。而消费级是家用设备，普通操作简单、性能可靠，普通价钱是第一位的。 详细的视频设备有如彩色摄影机、视频记录设备和视频监视设备。 2.3.3 视觉媒体数字化 1位图图像与数字视频 对计算机来说，无论是文字或图形，还是图像或视频，在计算机上进展处置首先要数字化。与音频信号类似，对所要处置的一幅画面，经

29、过对每一个象素进展采样，并且按照颜色或者灰度进展量化，就可以得到图像的数字化结果。数字化的结果放在显示缓存区中，与显示器上的点一一对应，这就是位图图像。对视频按照时间进展数字化所得到的图像序列，就构成了数字视频序列。它同样与频率和量化的比特数有关。频率必需足够高，以跟上模拟信号流；量化的比特数越多，量化的值就越多，所能表示的颜色或灰度级数就越多。2.3.3 视觉媒体数字化 在一幅图像的X轴上是一行的点数，在Y轴上是行数。X、Y的交叉点就是一个象素，每一个象素可以有假设干比特来表示。按照规范间隔在时间轴上采样的图像组组成视频序列。所以可以说，图像是离散的视频，而视频是延续的图像。当进展再现时，被

30、表示称数字方式的数据按格式和时间送上显示器，就又恢复了原先的形状。其它的视觉媒体如文字、图形等，在显示原理上都是以此为根底的，它们都是经过预先的编码表示出显示的方式，在再现时，在显示器上画出所要的图形或者文字。2.3.3 视频媒体数字化2.3.3 视频媒体数字化文件格式说 明GIFGraphics Interchange Format的缩写，是由Compu-Serve公司于1987年为制定彩色图像传输协议而开发的一种图像文件格式TIFFTag Image File Format缩写，是由Alaus和Microsoft公司为扫描仪和桌上出版系统研发的一种图像文件格式，它的文件格式全部基于标志域T

31、GATarge Image Format的缩写，是Truevision公司为Targe和Vista图像获取板设计的软件TIPS所运用的文件格式BMPBitmap是一种与设备无关的图像文件格式，是Windows软件引荐运用的一种格式PCX是由Zsoft公司研制开发的，普通与PC-Paint Brush图像软件一同运用MPG根据国际规范MPEG编码的一种动态图像文件格式AVSIntel和IBM公司共同研制的DVI系统的一种动态图像文件格式，AVS文件只能在DVI系统硬件下才可以读写AVIIntel和IBM公司共同研制的DVI系统的一种动态图像文件格式2.3.3 视觉媒体数字化 2图形 图形(Gra

32、phics)：一种笼统化的图像，是对图像根据某个规范进展分析而产生的结果。它不直接描画数据的每一点，而是描画产生这些点的过程及方法。因此被称之为矢量图形，普通直接称为图形。2.3.3 视觉媒体数字化 矢量图形是以一组指令的方式存在的，这些指令描画一幅图中所包含的直线、圆、弧线、矩形的大小和外形，也可以用更为复杂的方式表示图像中曲面、光照、材质等效果。在计算机上显示一幅图像时，首先要解释这些指令，然后将它们转变成屏幕上显示的外形和颜色。 图形的矢量化使得有能够对图中的各个部分分别进展控制。计算机可以对其中任何对象分别进展恣意的变换：放大、减少、旋转、变形、扭曲、移位、叠加等，并仍坚持图形特性。图

33、形变换的灵敏性，使其在处置上获得了更大的自在度。 2.3.3 视觉媒体数字化 3符号与文字 符号媒体：是某种笼统的结果。各种描画量、言语、数据、标识符、数值、字符等都是符号媒体。 由于符号具有明显的构造性，大脑可以识别这种构造，进而可识别出由这一组符号所代表的信息。这种构造可以组成文本，即字符串；也可以组成数据组，如数据库中的一个元组，均可表达特定的信息 。2.3.3 视觉媒体数字化 符号媒体特点：符号媒体要知识的辅助才干运用，知识的辅助随着层次的升高而不断加强作用 “I CAN SPEAK ENGLISH 如学英文时，开场只认识字母； 学过英文单词后，认识到一个个单词； 学习文法后，发现是一

34、个句子符号媒体表达精度高符号媒体存储量小2.3.3 视觉媒体数字化 文本媒体是用得最多的符号媒体方式。主要特点如下：文本是流构造方式：由具有上下文关系的字符串组成,它与字符的构造款式有关，与方式无关对文本的控制不影响媒体信息本来的表达文本显示的改动只是属性的改动，并不影响文本本身的含义对文本的处置应服从文本内部的构造，如断词，接尾，分段，章节安排2.3.4 视觉媒体的三维立体显示 1立体显示原理 三维显示实践上具有两个含义，一个是指物体的三维图像在平面上的显示，特别是三维图形的显示，这是图形学的重点。另一个含义是指所显示的图像确确实实是立体的，是“浮在空间中的，和我们所看的立体电影一样。这是我

35、们讨论的重点。 视差parallax是投影到人眼视网膜上图像上两点间的程度间隔，正是这个间隔产生了视觉上的立体感。凝视远处的物体时的视差与凝视近处物体时的视差是不同的，因此所谓的立体感正是这个不同间隔作用的结果。 2.3.4 视觉媒体的三维立体显示 视差2.3.4 视觉媒体的三维立体显示 2视差 决议立体视觉的是视差。视差的种类大致分为四种：零视差、正视差、负视差和发散视差。它们产生的立体觉得是不同的。零视差：当显示的左右眼图像之间没有缝隙时，视差为零，就称为零视差。 正视差：一旦计算机显示的立体图像对的视差大于0，我们就可以看到深度。正视差差值大于0且小于等于人眼之间的间隔。 负视差：当两眼

36、的目光交叉时，就会产生负视差。这时，所察看的对象将会浮如今两眼与显示器之间的空间中。 发散视差 ：视差的值比两眼之间的间隔还要大。 2.3.4 视觉媒体的三维立体显示 3立体图像的产生1旋转法 一个很简单的方法是将一幅图像进展旋转以制造出视差效果。旋转的顺序是： 将整个图像从左至右旋转4，以产生左眼图像 将整个图像从右至左旋转4，以产生右眼图像 执行透视投影 显示图像 运用旋转的方法产生出的立体图像对一些人来说并不适宜，会引起不温馨感，显示立体图像时普通不采用这种方法。 2.3.4 视觉媒体的三维立体显示 2投影变换法 投影变换法是模拟人眼察看物体时产生的视差，经过运算后投影到显示器上。在这种

37、方法中，场景中的物体对象在建模之后，经过投影变换生成线框图，然后对该物体进展成像处置，生成左右眼的图像。 规范的投影变换基于单视点的投影。在坐标系中，以视点为投影中心，将三维物体的点投影于显示器的投影平面上，便在该平面上产生三维物体的像。把投影中心的单点变换为双点，很容易构造出双眼的投影视图出来。 2.3.4 视觉媒体的三维立体显示 4立体图像的显示 立体图像的显示方法有两种。一种方法是让一只眼睛看一个显示器，每个显示器只显示对应眼睛的图像，这样头脑中就产生了立体图像。这种方法的实现是把显示器减少，放入到头盔中，这就是所谓的头盔显示器。另一种方法是在显示器上快速地显示两眼不同的图像，而察看者带

38、上立体眼镜进展察看。由于眼镜中的液晶片与显示的图像同步地进展开关切换，使得在每一时辰只需一只眼睛可以看到对应的图像，只需速度足够快，由眼睛的暂留景象和大脑的作用，觉得到的就是立体的图像。 2.4 触觉媒体技术 2.4.1 触觉媒体概述 皮肤可以觉得环境的温度、湿度，也可觉得压力，身体可以觉得振动、运动、旋转等，这些都是触觉在起作用，都可以作为传送信息的媒体。现实上，触觉媒体就是环境媒体，它描画了该环境中的一切特征和参数。2.4.1 触觉媒体概述 人体在信息交流过程中起的作用最大的是人的头部、手部和整体躯干。与外界环境的触觉交互主要包括位置跟踪、力量反响等方面。 对手部信息的处置包括手部的位置、

39、手指的动作类型、手部的觉得、手部的力量反响等。这些都要有特殊的设备和技术完成系统对手部信息的数字化和跟踪，并将它们与系统的控制和运用结合起来。这些设备和技术包括数据手套、压力传感手套、手部位置超声波跟踪器、力量反响接口等。对躯干的位置跟踪和反响与手部和头部很类似，但它要反映人体的体势言语和外界对人体的力量反响，如振动、倾覆、旋转等。这些设备包括数据服装、三维数据座舱、模拟器等。 2.4.2 简单指点设备与技术 1指点的义务指点的义务包括： 选择 定位 定向 途径 数量 操作2.4.2 简单指点设备与技术 2指点设备 指点设备分成直接指点设备和间接指点设备两类。前者直接运用特殊的指点设备或用手指

40、点屏幕，后者那么经过指点设备的间接动作对屏幕上的对象进展指点。 直接指点设备包括：光笔、触摸屏及输入笔等。 间接指点设备包括：鼠标、跟踪球、控制杆和图形板。这些设备不接触显示屏幕，所以运用时不会遮挡视野，也不易疲劳。 2.4.2 简单指点设备与技术 这些指点设备的输入都是在显示平面上的二维坐标空间中进展的，包括坐标改动的速度。除非经过特殊的变换，很难把它们向三维空间转换。如今又出现了一些新型的指点设备，例如脚用鼠标器、视野跟踪器、凝视检测控制器等。 2.4.3 位置跟踪 为了与系统交互，系统必需了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。系统将这些位置与运动的数据转变为特定的方式，对相应的动作进展表示。 1手指动作丈量和数字化 对手部的跟踪采用一种称为数据手套的工具。对手指的丈