多媒体信息的表示

第二章多媒体信息的表示【学习目标】1.掌握：位图、矢量图的定义。2.理解：音频信号的数字化处理，矢量图与位图、图像与图形的比较。3.了解：超文本与超媒体。【学习要点】多媒体信息（文字、音频、视觉媒体、动画）在计算机中是如何表示的。2.1文字文字是人与计算机之间进行信息交换的主要媒体。文本文件在现实世界中，文字是人们进行通讯的主要形式，文字包括西文和汉字。2.1.1西文在计算机中西文采用码表示。是由美国国家标准局()制定的码（）例如：字符A的码值为065；字符B的码值为066；字符C的码值为067；2.1.2汉字1.汉字的输入编码（1）数字编码数字编码输入的优点是无重码，缺点难以记忆。（2）拼音码以汉语拼音为基础的输入法，汉字输入法重码率很高，同音字的选择影响了输入速度的提高。（3）字型编码五笔2.汉字内码汉字内码用于汉字信息的存储、交换、检索等操作的机内代码，一般采用两个字节表示。3.汉字字模码字模码是用点阵表示的汉字字形代码，它是汉字的输出形式2.2音频音频分类1.波形声音包含了所有的声音形式，它可以把任何声音都进行采样量化，并恰当地恢复出来。2.2音频音频分类2.语音人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。3.音乐符号化了的声音，乐谱可转变为符号媒体形式。2.2.1数字音频音频数字声音波形质量的主要技术参数采样频率等于波形被等分的份数，份数越多，质量越好11.025、22.05、44.1采样精度每次采样信息量8位、16位通道数声音产生的波形数单声道、立体声道、5.1声道数据量计算：(采样频率×采样精度×通道数×时间)/8字节常常见的媒体体元素动画动画的概念运动的图画，，实质是一幅幅幅静态图像像的连续播放放。动画的连连续播放既指指时间上的连连续，也指图图像内容上的的连续，即播播放的相邻两两幅图像之间间内容相差不不大。计算机设计动动画方法造型动画帧动画常常见的媒体体元素动画帧动画常常见的媒体体元素动画帧动画媒媒体的种种类视觉视觉（静止）图像图形文字符号语言文字抽象化抽象化（动态）图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体媒媒体与多媒媒体听觉触觉其他感觉抽象化听觉声音声响（自然界）语音（人类语言）音乐其它（嗅觉、、味觉等）触觉振动运动传感/发生器媒媒体的性质质和特点各种媒体具有有不同特点和和性质媒体是有格式式的不同媒体表达达信息的特点点和程度各不不相同媒体之间可以以相互转换媒体之间的关关系也具有丰丰富的信息媒体具有空间间性质表现空间媒体按相互的的空间关系进进行组织视觉空间、听听觉空间和触触觉空间这3者既相互独独立又需要相相互结合媒媒体的性质质和特点媒体的时间性性质表现需要时间间媒体在时间坐坐标轴上的相相互关系媒体的语义媒体的语义是是有层次的抽象的程度不不同，语义的的重点也就不不同媒体结合的影影响媒体结合是多多层次的媒体结合有利利于信息接受受和理解隐喻交互的概念模模型，也称心心智模型2.2听听觉媒体技术术声声音心理学学1.声音的量量纲声音的振动是是一种正弦波波，声音的变变化必须确定定三件事：频频率（变化的的速度）、幅幅度（产生的的压力）、相相位（何时开开始）。另外一方面，，人们可以感感觉到声音的的强弱，可以以感觉到歌唱唱家音调的高高低。因此，声音的的量纲分为声声音的物理量量纲和心理量量纲。声声音心理学学物理量纲可以以用精确的值值来描述，但但对某一具体体声音得来的的心理印象却却不容易说明明白，因为心心理印象要由由被测者的经经验而定。声音的心理属属性和物理属属性不可等同同，首先，这这些关系不是是线性的；其其次这些关系系不是孤立的的；第三这些些关系不是不不变的。声声音心理学学两者之间确有有关系：例如如声音的响度度取决于强度度和频率两个个因素，如果果频率不变，，强声显得比比弱声要响些些。但如果强强度不变，过过高频率的声声音和过低频频率的声音似似乎比中频的的声音听起来来都要弱一些些。由此可见见，响度依赖赖于频率，原原因是人耳能能反应的频率率范围是有上上限和下限的的。声声音的量纲纲心理变量首要的物理变量次要的物理变量响度声强声波频率音调声波频率声强音色声波复合－音量频率和强度－密度频率和强度－谐和（流畅或粗糙）谐波结构音乐技巧噪声强度频率组合，各种时间参量骚扰声强度频率组合，无意义声声音心理学学2.听觉特性性等响曲线由于响度与频频率和强度有有关，所以在在不同频率上上的强度是不不同的。先设设一个音为标标准音，给予予固定的频率率、强度和持持续时间，例例如1000、40分贝贝、持续0.5秒；再给给一个音也持持续0.5秒秒，但频率不不同，通过调调整使其响度度听起来一样样，得到的这这样一组曲线线称之为等响响曲线。等响响曲线描述的的是响度与频频率和强度的的关系。从声声音心理学考考虑，对同一一响度的声音音在频率上和和强度上可以以有很大的差差别，这对声声音表现有重重要意义。声声音心理学学掩蔽（）声音的响度不不仅取决于自自身的强度和和频率，而且且也依赖于同同时出现的其其它声音。各各种声音可以以互相掩蔽，，也就是说一一种声音的出出现可能使得得另一种声音音难于听清。。由于声音的的掩蔽效果，，可以欺骗人人的听觉。例例如，本来是是多种频率的的声音的复合合，但听众以以为是另一种种声音。所以以，声音的掩掩蔽特性常常常用于声音的的压缩。声声音心理学学临界频带在频率的某一一临界区里，，各种声音是是相互作用的的，合成声音音的响度由这这些频率共同同决定。如果果超出临界区区，声音的响响度不再相互互作用，声音音的响度随频频率的改变而而改变。这个个临界区就是是临界频带，，其宽度视其其中心频率而而定。对于临临界频带的确确定，使得对对声音响度的的处理能够有有的放矢。声声音心理学学相位位从声声音音的的波波形形来来看看，，声声音音的的起起点点和和方方向向也也要要反反映映声声音音的的特特性性，，这这就就是是声声音音的的相相位位。。当当两两个个声声音音相相同同相相位位完完全全相相反反时时，，它它们们将将相相互互抵抵消消；；当当两两个个声声音音相相同同而而且且相相位位也也相相同同时时，，声声音音就就会会得得到到加加强强。。相位位的的确确定定对对于于多多声声道道声声音音系系统统的的设设计计非非常常重重要要，，其其可可以以应应用用在在回回声声的的消消除除、、会会议议系系统统的的声声音音设设计计上上。。声声音音心心理理学学自然然声声音音的的时时变变现现象象声音音的的音音调调分分成成三三个个区区域域：：起起始始区区、、稳稳定定状状态态区区、、延延迟迟区区。。研究究表表明明，，音音调调的的频频谱谱分分量量随随时时间间改改变变。。在在稳稳定定状状态态区区，，频频谱谱保保持持固固定定。。在在起起始始区区，，振振幅幅频频谱谱随随时时间间变变化化。。因因此此自自然然声声音音的的起起始始部部分分是是非非常常难难识识别别的的。。例例如如刚刚听听了了一一小小节节音音调调后后要要识识别别乐乐器器，，专专家家也也会会觉觉得得较较难难。。时时变变现现象象用用于于数数字字系系统统中中，，说说明明声声音音中中的的某某些些错错误误是是不不太太容容易易发发现现的的，，但但如如果果出出现现停停顿顿就就很很容容易易引引起起人人的的注注意意。。声声音音心心理理学学听觉觉空空间间人耳耳可可听听到到来来自自各各个个方方向向的的声声音音，，并并用用不不同同的的因因素素来来判判定定声声源源的的位位置置。。声声源源的的位位置置不不论论对对于于增增进进人人们们的的感感受受还还是是增增进进对对声声音音的的理理解解，，都都是是非非常常重重要要的的。。通通过过声声音音的的精精确确再再现现，，就就可可以以构构造造出出听听觉觉空空间间。。方位的线线索是各各种声音音到达两两耳的精精确时间间和强度度。声声音心理理学听觉的频频谱特性性声音是时时间函数数，通过过傅里叶叶变换可可做出其其频谱图图。人耳耳对频谱谱成分的的波峰和和波谷是是非常敏敏感的。。在语言言中，元元音很少少有频谱谱变速变变化的区区域。基基频改变变，人耳耳是很敏敏感的。。例如：：快进的的录像，，音调会会发生变变化。音色非常常复杂，，目前尚尚在研究究中。音音色的处处理将使使我们能能识别音音源，音音色也代代表和声声音有关关的主观观质量。。声声音心理理学声音的心心理模拟拟通过人工工真实的的方法，，可以对对视觉空空间的景景物进行行再造或或虚构，，同样也也可以对对听觉空空间的声声音进行行心理的的模拟，，这就是是所谓的的可听化化（）。。用声音音可以表表达出一一些声音音的效果果。音音频的数数字化和和符号化化从人与计计算机交交互的角角度看，，音频信信号的处处理包括括下述3点：人与计算算机通信信，也就就是计算算机接收收音频信信号。包包括音频频获取、、语音的的识别和和理解。。计算机与与人通信信，也就就是计算算机输出出音频。。包括音音乐合成成、语音音合成、、声音的的定位以以及音频频视频的的同步。。人-计算算机-人人通信。。人通过过网络与与异地的的人进行行语音通通信，相相关的音音频处理理有语音音采集、、音频的的编码和和解码、、音频的的存储、、音频的的传输、、基于内内容的检检索等。。音音频的数数字化和和符号化化1．音频频的数字字化与再再现在计算机机中，所所有的信信息都以以数字来来表示。。声音信信号也是是由一系系列的数数字来表表示的，，称为数数字音频频。数字字音频的的特点就就是保真真度好，，动态范范围大。。数字声音音是一个个数据序序列。它它是由外外界声音音经过采采样、量量化和编编码后得得到的。。音音频的数数字化和和符号化化对声音进进行采样样用奈奎奎斯特采采样定理理来决定定采样的的频率。。根据该该定理，，只要采采样频率率高于信信号中最最高频率率的两倍倍，就可可以从采采样中完完全恢复复原始信信号的波波形。因因为人耳耳所能听听到的频频率范围围为20到20，所以以实际的的采样过过程中，，为了达达到好的的效果，，就采用用44.1作为为高质量量声音的的采样频频率。如如果达不不到这么么高的频频率，声声音恢复复的效果果就会差差一些，，例如电电话声音音的质量量等。一一般来说说，声音音恢复和和采样频频率、信信道带宽宽都有关关。声音的采采样以及及量化图图音音频的数数字化和和符号化化音音频的数数字化和和符号化化与数字音音频相关关的重要要特性：：采样频率率采样频率率与声音音的质量量关系最最为紧密密。采样样频率越越高，声声音质量量越接近近原始声声音，所所需的存存储量便便越多。。标准的的采样频频率有三三个：44.1，22.05，和11.025。。采样位数数存放一个个采样点点所需的的比特数数。一般般的采样样位数为为8位或或16位位，即把把声音采采集为256等等份或65536等分分。音音频的数数字化和和符号化化声道数有单声道道、双声声道和多多声道。。如多种种语言音音频混存存时，需需要多声声道数据量

(采样频率×每点采样位数×声道数)数据量＝

8(字节/秒)音音频的数数字化和和符号化化2．声音音的符号号化波形声音音可以把把音乐、、语音都都进行数数据化并并且表示示出来，，但是并并没有把把它看成成音乐和和语音。。对于声音音的符号号化（也也可以称称为抽象象化）表表示包括括两种类类型：一一种是音音乐，一一种是语语音。音音频的数数字化和和符号化化（1）音音乐的符符号化－－()是指指乐器数数字接口口的国际际标准。。消息，是是指乐谱谱的数字字描述。。任何电子子乐器，，只要有有处理消消息的微微处理器器和合适适的硬件件接口，，就构成成了一个个设备。。当一组组消息通通过音乐乐合成芯芯片处理理时，合合成器能能解释这这些符号号并且产产生音乐乐。的关键是是作为媒媒体能够够记录这这些音乐乐的符号号，相应应的设备备能够产产生和解解释这些些符号。。它给出出了一种种得到音音乐声音音的方法法。音音频的数数字化和和符号化化的特点：：与波形声声音相比比，不是是声音数数据而是是指令，，所以数数据量要要少得多多。30分钟的的音乐，，用文文件记录录只需200，，用16位品质质的未压压缩文件件记录需需317可以与其其他波形形声音配配合使用用，形成成伴乐的的效果。。而两个个波形声声音一般般是不能能同时使使用的对的编辑辑也很灵灵活，用用户可以以自由地地改变音音调、音音色等属属性，直直到自己己想要的的效果在音质上上还不能能与真正正的乐器器完全相相似。无无法模拟拟自然界界中其它它非乐曲曲类声音音音音频的数数字化和和符号化化（2）语语音的符符号化语音与文文字是对对应的。。波形声声音可以以记录表表示语音音，它是是不是语语音取决决于听者者对声音音的理解解。对语语音的符符号化实实际上就就是对语语音的识识别，将将语音转转变为字字符，反反之也可可以将文文字合成成语音。。语音指构构成人类类语音信信号的各各种声音音。在采采集和存存储上可可以与波波形声音音一样，，但由于于语音是是由一连连串的音音素组成成。“一一句话””中包含含许多音音节以及及上下文文过渡过过程的连连接体等等特殊的的信息，，并且语语音本身身与语言言有关，，所以要要把它作作为一个个独立的的媒体来来看待。。音音频媒体体的三维维化处理理1．三维维虚拟声声空间所谓三维维虚拟声声空间（（，，3）），是指指用一定定的声音音设备人人为地产产生出来来的具有有空间位位置信息息的声音音空间。。三维听觉觉的使用用明显地地依赖于于用户对对听觉空空间中各各种信息息源的定定位能力力。一般般说来，，三维虚虚拟声空空间要达达到以下下的一些些目标：：①在可可听的范范围内重重现频率率分辨度度和动态态范围；；②在三三维空间间中精确确地呈现现声音的的位置信信息；③能表表达多个个静止和和移动的的声源；；④能和和头部的的动作具具有一定定的关联联；⑤能够够支持一一定程度度的交互互。音音频媒体体的三维维化处理理2．3的的基本理理论人类感知知声源位位置的最最基本的的理论是是双工理理论，该该理论基基于两种种因素：：两耳间间声音的的到达时时间差（（））和两耳耳间声音音的强度度差（））。。时间差是是由于距距离的原原因造成成的，当当声音从从正面传传来时，，距离相相等，所所以没有有时间差差；但若若偏右3o，则则到达右右耳的时时间就要要比左耳耳约早30，而而正是这这30，，使得我我们辨别别出了声声源的位位置。强度差是是由于信信号衰减减造成的的，信号号的衰减减是因为为距离产产生的，，在很多多情况下下是因为为人的头头部遮挡挡，使声声音衰减减，产生生了强度度的差别别，使得得靠近声声源一侧侧的耳朵朵听到的的声音强强度要大大于另一一耳。音音频媒体体的三维维化处理理3理论较较形象地地说明：：人耳对对声音定定位的特特性，通通过大脑脑的综合合作用后后，对有有差别的的声音信信号进行行了相对对于空间间位置的的定位。。人耳对声声源方位位的判定定起决定定作用的的是耳廓廓。当声声波从声声源传到到听者的的耳部时时，声波波会在耳耳廓发生生不断的的反射和和折射，，然后由由内耳道道传到耳耳鼓，使使人产生生音感。。这种反反射、折折射是依依赖于频频率的，，通过不不同频率率的变化化，使得得人耳能能够辨别别声源的的方位。。另外，，当声音音从声源源传到人人的内耳耳并形成成听觉时时，声音音信号已已经携带带了两个个很重要要的信息息，从而而形成了了空间真真实感和和环境真真实感。。声源的的本身信信号特征征、声源源的空间间三维位位置、声声源所处处的环境境这三个个因素描描述了声声源的全全部信息息。音音频媒媒体的的三维维化处处理3．方方法实现空空间真真实感感的关关键是是建立立起耳耳廓模模型，，这种种方法法被称称为““双耳耳相关关函数数法””，也也即（（，，与与头部部有关关的转转移函函数））。从理论论上利利用产产生真真实空空间声声音的的算法法如下下图所所示。。音音频媒媒体的的三维维化处处理2.3视视觉觉媒体体技术术视视觉心心理学学1．视视觉的的心理理特征征视觉是是人类类最重重要的的感知知能力力，通通过视视觉可可以感感知到到外部部世界界的形形状、、大小小、色色彩、、明暗暗、机机理和和运动动等多多方面面的信信息。。同声音音心理理学相相似，，与视视觉相相对应应的光光学物物理性性质和和心理理知觉觉也是是截然然不同同的。。虽然然光的的物理理特性性与心心理知知觉有有关，，但它它们的的关系系并不不是线线性的的。对对光的的色调调和亮亮度的的感觉觉不仅仅和它它的频频率和和强度度有关关，而而且还还和它它出现现的背背景有有关，，和同同时出出现的的周围围光有有关。。视视觉心心理学学视觉心理变量主要的物理变量亮度光强色调（彩色）波长浓度（彩色的浓度）光谱成分对比光强、波长、周围光视视觉心心理学学2.视视觉觉特性性亮度亮度是是人眼眼对光光强度度的感感受。。一个物物体的的亮度度不仅仅跟目目标的的物理理强度度有关关，而而且与与周围围的背背景有有关。。假定定整个个照明明增大大了，，目标标和环环境的的光强强就按按照比比例增增大了了，两两者之之间的的物理理对比比就维维持不不变。。但当当照明明增强强时，，目标标的亮亮度可可能会会亮一一些，，也可可能保保持不不变，，甚至至看起起来亮亮度减减少一一些。。这些些都取取决于于中心心和周周围之之间的的相对对强度度，也也就是是对比比度。。对图像像的处处理最最重要要的是是亮度度的差差别。。视视觉心心理学学与声音音相似似，视视觉上上也有有等亮亮曲线线，反反映了了视觉觉在亮亮度上上与波波长的的关系系。在在同一一亮度度感觉觉下，，不同同波长长的光光具有有不同同的光光强。。视觉也也有掩掩蔽现现象，，在很很亮的的高光光周围围时难难以看看清的的，道道理和和声音音是类类似的的。2.3.1视觉心心理学视觉的时间间特性建立视觉图图像需要时时间，而一一旦建立起起来之后，，即使把图图像对象拿拿走，这种种反应也要要维持一段段时间。这这是因为把把光转变为为神经电需需要时间。。正因为视视网膜图像像时逐渐消消退的，所所以视觉暂暂留可以存存在十分之之几秒。2.3.1视觉心心理学彩色表示颜色需需要考虑三三种心理属属性：色调调、亮度和和饱和度。。色调就是是通常意义义下的彩色色，它随波波长的变化化而变化，，反映颜色色的基本特特性。亮度度是光作用用于人眼所所引起的明明亮程度的的感觉，与与光强有关关。饱和度度是代表为为了产生所所感知到的的彩色在白白光中必须须混入的纯纯单色光的的相对数量量，或者说说是颜色的的深浅程度度。对同一一色调的彩彩色光，饱饱和度越深深颜色越鲜鲜艳。色调调和饱和度度统称为色色度。2.3.1视觉心心理学颜色是由三三种原色光光混合而成成的。可见见光的波长长从380纳米到780纳米米。不同波波长呈现出出不同颜色色，可见光光波长从长长到短依次次为红橙黄黄绿青蓝紫紫。只有单一波波长成分的的光称为单单色光，含含有两种以以上波长成成分的光称称为复合光光，所有可可见光按照照一定比例例混合就是是白色光。。在辐射功率率相同的条条件下，不不同波长的的光不仅给给人不同的的颜色感觉觉，而且也也给人不同同的亮度感感觉。人眼眼一般感到到红光最暗暗，蓝光次次之，而黄黄绿光最亮亮。研究表表明，人眼眼对亮度信信息敏感，，而对颜色色的敏感程程度相对较较弱。2.3.1视觉心心理学在白色背景景下，一般般使用红黄黄蓝作为原原色来混合合其它颜色色，这就是是减基色合合成彩色系系统。在黑色背景景下，一般般使用红绿绿蓝作为基基色来混合合其它颜色色，这就是是加基色合合成彩色系系统。一般绘画时时采用前者者，电视中中采用后者者。2.3.1视觉心心理学注视点和视视野范围人在观察视视觉类媒体体时，注视视点喜欢集集中在什么么地方？研研究表明，，视觉注视视点主要集集中在图像像中黑白交交界的部分分，尤其是是拐角处。。如果是闭闭合图形，，注视点往往往向内侧侧移动。注注视点容易易集中在时时隐时现运运动变化的的部分或者者图像中特特别不规则则的地方。。人眼的视野野开阔，左左右视角约约为180度，上下下约为60度。但视视力好的部部位仅限于于2到3度度，用于观观察视觉媒媒体的细节节。而在周周边，则主主要识别特特征。但是是需要注意意，只有大大的视野才才有可能制制造出临场场感。2.3.2模拟视视频原理光栅扫描原原理视频摄像机机将图像转转换为电信信号，电信信号是一维维的，但图图像是二维维的，将二二维图像转转成为一维维电信号是是由光栅扫扫描的方法法实现的。。快速的扫扫描线从顶顶部开始，，一行一行行地向下扫扫描，直至至显示器的的最底部，，然后再返返回顶部的的起点，重重新开始扫扫描。这个个过程产生生的一个有有序的图像像信号集合合，就组成成了电视显显示中的一一幅图像，，在此称为为帧。连续续不断的图图像序列就就形成了动动态视频图图像。2.3.2模拟视视频原理分辨率表现现的是电视视系统中重重现场景细细节的能力力。水平扫扫描线所能能分辨出的的点数称为为水平分辨辨率。一般般来说，点点数越小，，线越细，，分辨率就就越高。一一个系统的的水平分辨辨率为400线，指指在对应于于图像高度度的水平距距离内能交交替显示200条白白线和200条黑线线。相应地地，一帧中中垂直扫描描的行数称称为垂直分分辨率。垂垂直分辨率率和每帧中中的扫描线线有关，扫扫描线越多多，分辨率率就越高。。广播电视视系统垂直直的行数一一般是525线（北北美和日本本）和625线（欧欧洲和中国国）。2.3.2模拟视视频原理每一秒钟所所扫描的帧帧数称为帧帧频，一般般为25帧帧（）或者者30帧（（）。由于于是隔行扫扫描，所以以垂直频率率分别是每每秒50帧帧和60帧帧。因此，，人眼就不不容易看到到闪烁。宽高比是扫扫描的一个个重要的参参数。扫描描行的长度度与在图像像垂直方向向上的所有有扫描行所所跨过的距距离之比，，就成为宽宽高比。目目前电视中中的宽高比比为4：3，新型电电视的宽高高比为16：9，有有些电影系系统的宽高高比为2：：1。2.3.2模拟视视频原理彩色视频加基系统是是彩色视频频系统的基基础。彩色色电视采用用红绿蓝（（）作为三三基色进行行配色，产产生出R、、G、B三三个输出信信号，信号号可以分别别传输，但但是要配上上相应的同同步信号。。在系统中中需要三根根视频电缆缆互连，但但是三个信信号在同步步关系方面面相当复杂杂，所以大大部分彩色色电视不处处理，而是是将信号组组合起来在在一条电缆缆中传输，，这就是复复合信号。。模模拟视频频原理现有的几几种不同同的复合合信号有有、和。。根据亮亮度/色色度原理理，任何何彩色信信号都可可以分为为亮度和和色度。。色度只只要使用用色差就就可以表表示颜色色信号，，而不必必使用三三个完整整的信号号。将亮亮度和色色度交错错排列分分别放到到电缆上上，就组组成了复复合信号号。电视系统统的三种种制式采采用的信信号形式式也不完完全一样样。的亮亮度信号号称为Y，色度度信号为为I和Q，即方方式。制制式和制制式的亮亮度和色色度与之之相对应应为，它它们的差差别在于于编码方方式的不不同。、、可以与与互换。。、和等等都被称称为彩色色空间。。模模拟视频频原理视频设备备按照用途途不同，，视频设设备可以以分为广广播、专专业和消消费三个个级别。。广播级级一般是是大型的的电视台台和网络络站使用用，它的的性能最最好，用用于大系系统应用用，价格格昂贵；；专业级级一般用用于教育育界和工工业界的的小广播播站，有有较好的的性能。。而消费费级是家家用设备备，一般般操作简简单、性性能可靠靠，一般般价格是是第一位位的。具体的视视频设备备有如彩彩色摄影影机、视视频记录录设备和和视频监监视设备备。视视觉媒体体数字化化1．位图图图像与与数字视视频对计算机机来说，，无论是是文字或或图形，，还是图图像或视视频，在在计算机机上进行行处理首首先要数数字化。。与音频频信号相相似，对对所要处处理的一一幅画面面，通过过对每一一个象素素进行采采样，并并且按照照颜色或或者灰度度进行量量化，就就可以得得到图像像的数字字化结果果。数字字化的结结果放在在显示缓缓存区中中，与显显示器上上的点一一一对应应，这就就是位图图图像。。对视频频按照时时间进行行数字化化所得到到的图像像序列，，就构成成了数字字视频序序列。它它同样与与频率和和量化的的比特数数有关。。频率必必须足够够高，以以跟上模模拟信号号流；量量化的比比特数越越多，量量化的值值就越多多，所能能表示的的颜色或或灰度级级数就越越多。视视觉媒体体数字化化在一幅图图像的X轴上是是一行的的点数，，在Y轴轴上是行行数。X、Y的的交叉点点就是一一个象素素，每一一个象素素可以有有若干比比特来表表示。按按照标准准间隔在在时间轴轴上采样样的图像像组组成成视频序序列。所所以可以以说，图图像是离离散的视视频，而而视频是是连续的的图像。。当进行行再现时时，被表表示称数数字形式式的数据据按格式式和时间间送上显显示器，，就又恢恢复了原原先的形形态。其其它的视视觉媒体体如文字字、图形形等，在在显示原原理上都都是以此此为基础础的，它它们都是是通过预预先的编编码表示示出显示示的形式式，在再再现时，，在显示示器上画画出所要要的图形形或者文文字。视视频媒体体数字化化视视频媒体体数字化化文件格式说明GIFGraphicsInterchangeFormat的缩写，是由Compu-Serve公司于1987年为制定彩色图像传输协议而开发的一种图像文件格式TIFFTagImageFileFormat缩写，是由Alaus和Microsoft公司为扫描仪和桌上出版系统研发的一种图像文件格式，它的文件格式全部基于标志域TGATargeImageFormat的缩写，是Truevision公司为Targe和Vista图像获取板设计的软件TIPS所使用的文件格式BMP（Bitmap）是一种与设备无关的图像文件格式，是Windows软件推荐使用的一种格式PCX是由Zsoft公司研制开发的，一般与PC-PaintBrush图像软件一起使用MPG根据国际标准MPEG编码的一种动态图像文件格式AVSIntel和IBM公司共同研制的DVI系统的一种动态图像文件格式，AVS文件只能在DVI系统硬件下才能够读写AVIIntel和IBM公司共同研制的DVI系统的一种动态图像文件格式视视觉媒体体数字化化2．图形形图形()：一种种抽象化化的图像像，是对对图像依依据某个个标准进进行分析析而产生生的结果果。它不不直接描描述数据据的每一一点，而而是描述述产生这这些点的的过程及及方法。。因此被被称之为为矢量图图形，一一般直接接称为图图形。视视觉媒体体数字化化矢量图形形是以一一组指令令的形式式存在的的，这些些指令描描述一幅幅图中所所包含的的直线、、圆、弧弧线、矩矩形的大大小和形形状，也也可以用用更为复复杂的形形式表示示图像中中曲面、、光照、、材质等等效果。。在计算算机上显显示一幅幅图像时时，首先先要解释释这些指指令，然然后将它它们转变变成屏幕幕上显示示的形状状和颜色色。图形的矢矢量化使使得有可可能对图图中的各各个部分分分别进进行控制制。计算算机可以以对其中中任何对对象分别别进行任任意的变变换：放放大、缩缩小、旋旋转、变变形、扭扭曲、移移位、叠叠加等，，并仍保保持图形形特性。。图形变变换的灵灵活性，，使其在在处理上上获得了了更大的的自由度度。视视觉媒体数数字化3．符号与文文字符号媒体：是是某种抽象的的结果。各种种描述量、语语言、数据、、标识符、数数值、字符等等都是符号媒媒体。由于符号具有有明显的结构构性，大脑可可以识别这种种结构，进而而可识别出由由这一组符号号所代表的信信息。这种结结构可以组成成文本，即字字符串；也可可以组成数据据组，如数据据库中的一个个元组，均可可表达特定的的信息。视视觉媒体数数字化符号媒体特点点：符号媒体要知知识的辅助才才能使用，知知识的辅助随随着层次的升升高而不断增增强作用“I””如学英文时，，开始只认识识字母；学过英文单词词后，认识到到一个个单词词；学习文法后，，发现是一个个句子符号媒体表达达精度高符号媒体存储储量小视视觉媒体数数字化文本媒体是用用得最多的符符号媒体形式式。主要特点点如下：文本是流结构构形式：由具具有上下文关关系的字符串串组成,它与与字符的结构构样式有关，，与形式无关关对文本的控制制不影响媒体体信息本来的的表达文本显示的改改变只是属性性的改变，并并不影响文本本本身的含义义对文本的处理理应遵从文本本内部的结构构，如断词，，接尾，分段段，章节安排排视视觉媒体体的三维立体体显示1．立体显示示原理三维显示实际际上具有两个个含义，一个个是指物体的的三维图像在在平面上的显显示，特别是是三维图形的的显示，这是是图形学的重重点。另一个个含义是指所所显示的图像像确确实实是是立体的，是是“浮”在空空间中的，和和我们所看的的立体电影一一样。这是我我们讨论的重重点。视差（）是投投影到人眼视视网膜上图像像上两点间的的水平距离，，正是这个距距离产生了视视觉上的立体体感。注视远远处的物体时时的视差与注注视近处物体体时的视差是是不同的，因因此所谓的立立体感正是这这个不同距离离作用的结果果。视视觉媒体体的三维立体体显示视差视视觉媒体体的三维立体体显示2．视差决定立体视觉觉的是视差。。视差的种类类大致分为四四种：零视差差、正视差、、负视差和发发散视差。它它们产生的立立体感觉是不不同的。零视差：当显显示的左右眼眼图像之间没没有缝隙时，，视差为零，，就称为零视视差。正视差：一旦旦计算机显示示的立体图像像对的视差大大于0，我们们就可以看到到深度。正视视差差值大于于0且小于等等于人眼之间间的距离。负视差：当两两眼的目光交交叉时，就会会产生负视差差。这时，所所观察的对象象将会浮现在在两眼与显示示器之间的空空间中。发散视差：：视差的值比比两眼之间的的距离还要大大。视视觉媒体体的三维立体体显示3．立体图像像的产生（1）旋转法法一个很简单的的方法是将一一幅图像进行行旋转以制造造出视差效果果。旋转的顺顺序是：将整个图像从从左至右旋转转4°，以产产生左眼图像像将整个图像从从右至左旋转转4°，以产产生右眼图像像执行透视投影影显示图像使用旋转的方方法产生出的的立体图像对对一些人来说说并不适合，，会引起不舒舒适感，显示示立体图像时时一般不采用用这种方法。。视视觉媒体体的三维立体体显示（2）投影变变换法投影变换法是是模仿人眼观观察物体时产产生的视差，，通过运算后后投影到显示示器上。在这这种方法中，，场景中的物物体对象在建建模之后，通通过投影变换换生成线框图图，然后对该该物体进行成成像处理，生生成左右眼的的图像。标准的投影变变换基于单视视点的投影。。在坐标系中中，以视点为为投影中心，，将三维物体体的点投影于于显示器的投投影平面上，，便在该平面面上产生三维维物体的像。。把投影中心心的单点变换换为双点，很很容易构造出出双眼的投影影视图出来。。视视觉觉媒体体的三三维立立体显显示4．立立体图图像的的显示示立体图图像的的显示示方法法有两两种。。一种种方法法是让让一只只眼睛睛看一一个显显示器器，每每个显显示器器只显显示对对应眼眼睛的的图像像，这这样头头脑中中就产产生了了立体体图像像。这这种方方法的的实现现是把把显示示器缩缩小，，放入入到头头盔中中，这这就是是所谓谓的头头盔显显示器器。另另一种种方法法是在在显示示器上上快速速地显显示两两眼不不同的的图像像，而而观察察者带带上立立体眼眼镜进进行观观察。。由于于眼镜镜中的的液晶晶片与与显示示的图图像同同步地地进行行开关关切换换，使使得在在每一一时刻刻只有有一只只眼睛睛能够够看到到对应应的图图像，，只要要速度度足够够快，，由眼眼睛的的暂留留现象象和大大脑的的作用用，感感觉到到的就就是立立体的的图像像。2.4触触觉觉媒体体技术术触触觉媒媒体概概述皮肤可可以感感觉环环境的的温度度、湿湿度，，也可可感觉觉压力力，身身体可可以感感觉振振动、、运动动、旋旋转等等，这这些都都是触触觉在在起作作用，，都可可以作作为传传递信信息的的媒体体。事事实上上，触触觉媒媒体就就是环环境媒媒体，，它描描述了了该环环境中中的一一切特特征和和参数数。触触觉媒媒体概概述人体在在信息息交流流过程程中起起的作作用最最大的的是人人的头头部、、手部部和整整体躯躯干。。与外外界环环境的的触觉觉交互互主要要包括括位置置跟踪踪、力力量反反馈等等方面面。对手部部信息息的处处理包包括手手部的的位置置、手手指的的动作作类型型、手手部的的感觉觉、手手部的的力量量反馈馈等。。这些些都要要有特特殊的的设备备和技技术完完成系系统对对手部部信息息的数数字化化和跟跟踪，，并将将它们们与系系统的的控制制和应应用结结合起起来。。这些些设备备和技技术包包括数数据手手套、、压力力传感感手套套、手手部位位置超超声波波跟踪踪器、、力量量反馈馈接口口等。。对躯躯干的的位置置跟踪踪和反反馈与与手部部和头头部很很类似似，但但它要要反映映人体体的体体势语语言和和外界界对人人体的的力量量反馈馈，如如振动动、倾倾覆、、旋转转等。。这些些设备备包括括数据据服装装、三三维数数据座座舱、、模拟拟器等等。简简单单指点点设备备与技技术1．指指点的的任务务指点的的任务务包括括：选择定位定向路径数量操作简简单单指点点设备备与技技术2．指指点设设备指点设设备分分成直直接指指点设设备和和间接接指点点设备备两类类。前前者直直接使使用特特殊的的指点点设备备或用用手指指点屏屏幕，，后者者则通通过指指点设设备的的间接接动作作对屏屏幕上上的对对象进进行指指点。。直接指指点设设备包包括：：光笔笔、触触摸屏屏及输输入笔笔等。。间接指指点设设备包包括：：鼠标标、跟跟踪球球、控控制杆杆和图图形板板。这这些设设备不不接触触显示示屏幕幕，所所以使使用时时不会会遮挡挡视线线，也也不易易疲劳劳。简简单单指点点设备备与技技术这些指指点设设备的的输入入都是是在显显示平平面上上的二二维坐坐标空空间中中进行行的，，包括括坐标标改变变的速速度。。除非非经过过特殊殊的变变换，，很难难把它它们向向三维维空间间转换换。现现在又又出现现了一一些新新型的的指点点设备备，例例如脚脚用鼠鼠标器器、视视线跟跟踪器器、凝凝视检检测控控制器器等。。位位置置跟踪踪为了与与系统统交互互，系系统必必须了了解参参与者者的身身体动动作，，包括括头、、眼、、手、、肢体体等部部位的的位置置与运运动方方向。。系统统将这这些位位置与与运动动的数数据转转变为为特定定的模模式，，对相相应的的动作作进行行表示示。1．手手指动动作测测量和和数字字化对手部部的跟跟踪采采用一一种称称为数数据手手套的的工具具。对对手指指的测测量主主要采采用在在手套套的手手指部部位装装上能能够测测量手手指弯弯曲、、移动动的检检测器器。检检测器器的种种类有有光纤纤、测测力板板等。。数据据手套套将接接收到到的数数据送送入计计算机机中，，在计计算机机中被被转换换为相相应的的数字字化格格式。。位位置置跟踪踪对手指指动作作的测测量和和数字字化，，实际际上更更关心心的是是手指指的相相对位位置。。拇指指和食食指、、食指指和其其他手手指等等的相相对动动作包包含了了许多多含义义。识识别这这些相相对的的动作作，采采用的的方法法就是是建立立手指指动作作模式式库。。首先先将各各种手手指的的动作作数据据进行行采集集，进进行规规范化化处理理后建建立起起动作作模式式并存存储起起来。。在使使用时时将实实时采采样得得到的的数据据与库库中的的模式式进行行比较较，就就可以以知道道手指指的动动作。。手指指动作作的数数字化化分辨辨率越越高，，模式式就越越复杂杂，对对手指指动作作的解解释就就越丰丰富、、越精精确。。位位置置跟踪踪2．空空间位位置跟跟踪在数据据手套套上有有一个个定位位的装装置，，这是是用于于进行行手部部位置置跟踪踪的。。手部部的位位置是是指手手部在在空中中的相相对位位置，，所以以还需需要一一个坐坐标原原点。。事实实上，，无论论是数数据手手套还还是头头部的的位置置跟踪踪其原原理都都是一一样的的。另外一一种测测量空空间位位置的的装置置称为为三维维定位位机构构，它它也是是一种种有六六个自自由度度的空空间位位置传传感器器，可可相对对于某某一固固定位位置的的原点点，得得到目目标所所处位位置的的相对对方向向和位位置信信号。。力力反反馈与与触觉觉反馈馈这与位位置跟跟踪正正好相相反，，是由由系统统向参参与者者反馈馈力和和运动动的信信息，，如触触觉刺刺激（（物体体的表表面纹纹理等等）、、反作作用力力（推推门的的门重重感觉觉）、、运动动感觉觉（摇摇晃、、振动动等））及温温度、、湿度度等环环境信信息。。1．．力力反反馈馈力反反馈馈包包括括对对重重量量的的感感知知、、对对阻阻力力的的感感知知（（在在水水中中前前进进与与前前进进中中碰碰壁壁是是不不同同的的阻阻力力））、、吸吸引引力力（（如如分分子子间间的的吸吸引引力力、、磁磁铁铁的的吸吸引引力力））等等。。建立立力力反反馈馈的的直直接接方方法法是是利利用用提提供供动动力力的的电电动动机机和和对对人人体体或或人人体体部部位位进进行行力力反反馈馈的的““外外骨骨系系统统””。。力力反反馈馈与与触触觉觉反反馈馈建立立力力的的反反馈馈可可以以采采用用简简单单的的方方法法，，通通过过颜颜色色、、声声音音或或运运动动都都可可以以间间接接获获得得力力的的反反馈馈效效果果。。例例如如，，通通过过改改变变屏屏幕幕上上对对象象的的颜颜色色，，可可以以表表示示出出对对象象的的受受力力情情况况。。通过过力力感感反反馈馈装装置置，，可可以以直直接接提提供供力力的的反反馈馈，，提提供供使使人人感感受受到到的的物物理理力力。。目目前前已已建建造造了了一一些些用用以以提提供供力力感感反反馈馈的的装装置置。。力力反反馈馈与与触触觉觉反反馈馈2．．触触觉觉反反馈馈对于于触触觉觉的的反反馈馈需需要要能能够够让让人人体体区区别别出出不不同同物物体体的的质质感感和和纹纹理理结结构构。。抚抚摸摸小小猫猫的的皮皮肤肤与与抚抚摸摸乌乌龟龟壳壳的的感感觉觉肯肯定定是是不不一一样样的的。。采用用某某些些物物理理装装置置，，可可以以提提供供一一种种直直接接通通过过皮皮肤肤感感知知的的触触觉觉反反馈馈。。例例如如使使用用一一种种手手套套，，分分布布在在手手套套内内表表面面上上的的是是一一个个具具有有若若干干振振动动凸凸起起物物的的矩矩阵阵，，通通过过这这些些振振动动凸凸起起物物的的作作用用，，可可以以模模拟拟出出一一定定的的触触觉觉效效果果。。其其他他的的可可能能方方法法还还有有：：在在手手套套内内部部安安装装一一些些可可膨膨胀胀的的特特制制小小泡泡或或微微型型弹弹簧簧，，或或基基于于在在电电荷荷的的作作用用下下某某些些材材料料可可由由液液态态变变为为固固态态以以及及利利用用记记忆忆合合金金的的变变形形功功能能等等。。力力反馈馈与触觉觉反馈3．热觉觉反馈热觉反馈馈也是一一种触觉觉反馈，，但它提提供的是是温度的的反应。。当拿一一个物体体时，应应该感觉觉到物体体的温度度；当靠靠近一盆盆虚拟的的篝火时时，应能能感觉到到篝火的的温度。。这些反反馈需要要的就是是热觉反反馈。有一种热热觉反馈馈系统使使用了加加热泵、、温度传传感器和和热表面面，通过过计算机机对系统统进行控控制，控控制的温温度范围围目前在在10～～35℃℃之间。。加热泵泵将热从从热表面面上移入入移出，，通过传传感器的的控制，，就可以以得到所所需要的的温度。。2.5小小结结本章重点点媒体的种种类，常常见的媒媒体元素素及特点点听觉特性性音频的数数字化和和符号化化及三维维化处理理视觉特性性视觉媒体体的数字字化和三三维立体体显示触觉特性性指点、位位置跟踪踪、力反反馈与触触觉反馈馈.（.....）成立于于2004年，专注注于企业业管理培培训。提供60万企业管管理资料料下载，，详情查查看：提供5万集管理理视频课课程下载载，详情情查看：：提供2万GB高清管