第二章媒体及媒体技术2

第二章媒体及媒体技术2.1媒体的种类和特点；

2.2听觉媒体技术；

2.3视觉媒体技术；

2.4触觉媒体技术。12.1媒体的种类和特点22.1.1常见的媒体元素文本文本的定义用字符代码和字符格式表示数据。文本的分类；非格式化文本格式化文本文件——多媒体应用中可显示给用户的媒体形式。32.1.1常见的媒体元素图形图形的概念一般指用计算机绘制的画面。图形文件的格式是一组描述点、线、面等几何图形的大小、形状及其位置、维数的指令集合。图形文件的特点只记录生成图的算法和图上的某些特征点，也称矢量图。line（x1,y1,x2,y2,color）circle（x,y,r,color）

42.1.1常见的媒体元素图形

图形的特征图形是对图象进行抽象的结果（人工或自动）；图形的矢量化使得有可能对图中的各个部分分别进行控制（放大、缩小、旋转、变形、扭曲、移位等）图形的产生需要计算时间52.1.1常见的媒体元素图像图像的概念用数字点阵方式表示的场景画面。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。62.1.1常见的媒体元素图像

图像的主要技术参数分辨率屏幕分辨率计算机显示器屏幕显示图像的最大显示区

图像分辨率

数字化图像的大小

像素分辨率像素的宽高比，一般为1∶17图像的分类矢量图与点位图

点位图是将一副图像在空间上离散化，即将图像分成许许多多的像素，每个象素用若干个二进制位来指定该像素的颜色或灰度值。

点位图的优点是：

（1）显示速度快。

（2）点位图转化方便。

点位图的缺点是：

（1）数据量比较大。

（2）容易失真。8图像的分类矢量图点位图9图像的分类灰度图标准单色图标准灰度图1位…..8位10图像的分类彩色图256色标准图像24位标准图像112.1.1常见的媒体元素图像图形与图象的关系图形是矢量概念，图元；图象是位图概念，象素；图形变换无失真；图象变换有失真；图形以图元为单位修改属性、编辑；图象只能对象素或图块处理；图形是对图象的抽象，但在屏幕上两者无异122.1.1常见的媒体元素视频

视频的概念由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉。132.1.1常见的媒体元素视频

视频的数字化指在一段时间内以一定的速度对视频信号进行捕获并加以采样后形成数字化数据的处理过程。视频的制式PAL制（625/50）

每秒25帧，水平扫描线为625条，水平分辨率240~400个像素，隔行扫描。62年诞生于德国，应用于中国大陆、新加坡、欧洲地区等（Pal-B、D、G、H、I、N、NC）。模拟信号数值化142.1.1常见的媒体元素视频

视频的制式NTSC制（525/60）每秒30帧，水平扫描线为525条，水平分辨率240~400个像素，隔行扫描

。53年诞生于美国，应用于美国、日本、台湾等（NTSC-M、NC、Japan等）。SECAM制（625/50）每秒25帧，水平扫描线为625条。由法国人提出，应用于俄罗斯、法国、非洲地区等。152.1.1常见的媒体元素视频

视频的技术参数颜色空间R、G、B（红、绿、蓝）Y、U、V（Ｙ为亮度，U、V为色差）H、S、I（色调、饱和度、强度）可以通过坐标变换而相互转换帧速每秒钟显示的帧数目，计量单位为帧率（fps）视频根据制式的不同：30帧/秒（NTSC）、25帧/秒（PAL）162.1.1常见的媒体元素视频

视频的技术参数数据量帧速×每幅图像的数据量（不计压缩）图像质量与数据源质量有关（>：表示“好于”）RGB视频>YUV视频>Y/C视频(S视频)>复合视频与视频数据压缩的倍数有关注1：UV两个色差信号可合成为一个色度信号C，进而形成Y/C记录方式，这种方式得到的视频称为S视频。注2：把亮度Y与色度C进一步混合在一起，便形成复合视频。172.1.1常见的媒体元素动画动画的概念

运动的图形，实质是一幅幅静态图形的连续播放。计算机设计动画方法造型动画：每一帧中图元表演帧动画：位图组成的联系画面脚本182.1.1常见的媒体元素动画帧动画192.1.1常见的媒体元素音频

分类波形声音(后缀.WAV，.VOC)包含了所有的声音形式，它可以把任何声音都进行采样量化，并恰当地恢复出来。

20用声音录制软件记录的英文单词“Hello”的语音实际

波形212.1.1常见的媒体元素音频

分类语音人的说话声虽是一种特殊的媒体，但也是一种波形，所以和波形声音的文件格式相同。音乐（.MID，.CMF）符号化了的声音，乐谱可转变为符号媒体形式。只能记录规定的有限种乐器的组合222.1.1常见的媒体元素音频数字声音波形质量的主要技术参数采样频率单位时间采集的信号份数，份数越多，质量越好11.025KHZ、22.05KHZ、44.1KHZ采样精度每次采样信息量8位、16位通道数声音产生的波形数单声道、立体声道、5.1声道数据量计算：(采样频率×采样精度×通道数×时间)/8

字节232.1.2媒体的种类视觉视觉（静止）图像图形文字符号语言文字抽象化抽象化（动态）图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体242.1.2媒体与多媒体听觉触觉其他感觉抽象化听觉声音声响（自然界）语音（人类语言）音乐其它（嗅觉、味觉等）触觉振动运动传感/发生器252.1.3媒体的性质和特点各种媒体具有不同特点和性质媒体是有格式的不同媒体表达信息的特点和程度各不相同媒体之间可以相互转换媒体之间的关系也具有丰富的信息媒体具有空间性质表现空间(出现、显示的位置分布)媒体按相互的空间关系进行组织（本身的三维结构）视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合262.1.3媒体的性质和特点媒体的时间性质表现需要时间（时间点属性）媒体在时间坐标轴上的相互关系（结构）媒体的语义媒体的语义是有层次的抽象的程度不同，语义的重点也就不同应用依赖于语义的理解媒体结合的影响媒体结合是多层次的媒体结合有利于信息接受和理解隐喻交互的概念模型，虚拟现实空间

272.2听觉媒体技术

282.2.1声音心理学1.声音的量纲物理量纲：频率，幅度，相位；心理量纲：响度，音调；

292.2.1声音心理学1.声音的量纲

物理量纲和心理量纲不等同，也确有关系。响度:强度>频率；20HZ~20kHZ

音调:频率>声强。心理变量首要的物理变量次要的物理变量响度声强声波频率音调声波频率声强音色声波复合－音量频率和强度－密度频率和强度－谐和（流畅或粗糙）谐波结构音乐技巧噪声强度频率组合，各种时间参量骚扰声强度频率组合，无意义302.2.1声音心理学1.声音的量纲

物理量纲和心理量纲的关系：

非线性；不孤立；不是一成不变的。312.2.1声音心理学2.听觉特性等响曲线定义:等响曲线描述的是响度一定时，频率和强度之间的关系。曲线确定办法：设定一标准音；调整强度和频率，使得其响度相等。结论：同一响度的声音，在频率和强度上可以有很大差别。322.2.1声音心理学2.听觉特性掩蔽定义:一种声音的出现可能使得另一种声音难以听清。声音的掩蔽效应可用于声音的压缩：33一般来说，弱纯音离强纯音越近就越容易被掩蔽。声强为60dB、频率为1kHz纯音的掩蔽效应1kHz1.1kHz2kHz342.2.1声音心理学

2.听觉特性临界频带定义：在频率的某一临界区里，各种声音的强度是相互作用的，合成声音的响度由这些频率共同决定。当噪声掩蔽纯音时，起作用的是以纯音频率为中心频率的一定频带宽度内的噪声频率。对声音响度的处理可有的放矢。35任何频率的细小声音都会因掩蔽效应而被临界频带内音量较高的声音所覆盖在20Hz到16kHz的音频范围内有24个临界频带362.2.1声音心理学

2.听觉特性相位定义：声音的起点和方向。用途回声的消除；会议系统的声音设计。反相抵消同相加强372.2.1声音心理学

2.听觉特性自然声音的时变现象声音的音调分成三个区域：起始区、稳定状态区、延迟区。区域特点：结论：声音的起始部分难以识别。382.2.1声音心理学2.听觉特性听觉空间声源位置的确定：低频靠时差，高频靠强度。通过声音的精确再现，就可构造出听觉空间。人耳3种机制：定位、减少干扰和使掩蔽达到最小。392.2.1声音心理学2.听觉特性听觉的频谱特性定义：声音是时间函数，通过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。音色：由混入基音的泛音所决定的。每个基音都有其固有频率和不同音强的泛音，因此使得每个声音具有特殊的音色效果。最低频率402.2.1声音心理学

2.听觉特性声音的心理模拟定义：通过人工真实的方法，可以对听觉空间的声音进行心理的模拟。以流水声为例：声音高低——流体的粘度冷暖音色——流体的温度412.2.2音频的数字化和符号化1．音频的数字化与再现

为什么要数字化？数字音频的特点：保真度好，动态范围大。数字音频的产生：由外界声音经过采样、量化和编码后得到的。422.2.2音频的数字化和符号化1．音频的数字化与再现

采样频率的确定：奈奎斯特采样定理：只有采样频率高于信号中最高频率的两倍，才可以从采样中完全恢复原始信号的波形。采用44.1KHz作为高质量声音的采样频率。为什么？PAL制式：294×50×3=44.1K43

声音的采样以及量化图2.2.2音频的数字化和符号化442.2.2音频的数字化和符号化与数字音频相关的重要特性：采样频率采样频率与声音的质量关系最为紧密。标准的采样频率有三个：44.1KHz，22.05kHz，和11.025kHz。采样位数存放一个采样点所需的比特数。一般的采样位数为8位或16位，即把声音采集为256等份或65536等分。452.2.2音频的数字化和符号化声道数有单声道、双声道和多声道。如多种语言音频混存时，需要多声道数据量

(采样频率×每点采样位数×声道数)数据量＝

8(字节/秒)462.2.2音频的数字化和符号化WAV文件又称波形文件，来源于对声音模拟波形的采样，并以不同的量化位数把这些采样点的值轮换成二进制数，然后存入磁盘，这就产生了波形文件。WAV文件用于保存Windows平台的音频信息资源，被Windows平台及其应用程序所广泛支持。

Wave格式支持多种压缩算法，支持多种音频位数、采样频率和声道，是PC机上最为流行的声音文件格式，但其文件尺寸较大，多用于存储简短的声音片断。472.2.2音频的数字化和符号化MPEG音频文件——.MP1/.MP2/.MP3指的是MPEG标准中的音频部分，即MPEG音频层(MPEGAudioLayer)。MPEG音频文件的压缩是一种有损压缩，根据压缩质量和编码复杂程度的不同可分为三层(MPEGAudioLayer1/2/3)，分别对应MP1、MP2和MP3这三种声音文件；

MPEG音频编码具有很高的压缩率，MP1和MP2的压缩率分别为4∶1和6∶1～8∶1，而MP3的压缩率则高达10∶1～12∶1，也就是说一分钟CD音质的音乐，未经压缩需要10MB存储空间，而经过MP3压缩编码后只有1MB左右，同时其音质基本保持不失真。482.2.2音频的数字化和符号化

2．声音的符号化

波形声音可以把音乐、语音都进行数据化并且表示出来，但是并没有把它看成音乐和语音。对于声音的符号化（也可以称为抽象化）表示包括两种类型：一种是音乐，一种是语音。492.2.2音频的数字化和符号化（1）音乐的符号化－MIDIMIDI(MusicInstrumentDigitalInterface)是指乐器数字接口。

MIDI消息，是指乐谱的数字描述。任何电子乐器，只要有处理MIDI消息的微处理器和合适的硬件接口，就构成了一个MIDI设备。当一组MIDI消息通过音乐合成芯片处理时，合成器能解释这些符号并且产生音乐。

50MIDI实质上是由MIDI控制器（或MIDI文件）产生的指示电子音乐合成器要做什么、怎么做（如演奏某个音符、加大音量、生成音响效果）的一套标准指令。MIDI不是声音信号，在MIDI电缆上传送的不是声音，而是动作指令。51MIDI的通道概念单个物理MIDI通道分为16个逻辑通道，每个逻辑通道可指定一种乐器。MIDI键盘可设置在这16个通道中的任何一个，MIDI合成器可以被设置在指定的通道上接受。

522.2.2音频的数字化和符号化（2）语音的符号化对语音的符号化实际上就是对语音的识别，将语音转变为字符，反之也可以将文字合成语音。

532.2.3音频媒体的三维化处理1．三维虚拟声空间目的：作用：空间信息，逼真的虚拟空间定义：三维虚拟声空间（ThreeDimensionalVirtualAcoustic，3DVA），是指用一定的声音设备人为地产生出来的具有空间位置信息的声音空间。 三维听觉明显依赖于人对听觉空间中声源的定位能力542.2.3音频媒体的三维化处理

2．3DVA的基本理论人类感知声源位置的最基本的理论是双工理论：两耳间声音的到达时间差（因距离原因而致）ITD（InterauralTimeDifferences）；两耳间声音的强度差（因信号衰减而致）IID（InterauralIntensityDifferences）。大脑根据IID和ITD分别对高频与低频声音定位552.3视觉媒体技术

562.3.1视觉心理学

1．视觉的心理特征

同声音心理学相似，与视觉相对应的光学物理性质和心理知觉也是截然不同的。虽然光的物理特性与心理知觉有关，但它们的关系并不是线性的。对光的色调和亮度的感觉不仅和它的频率和强度有关，而且还和它出现的背景有关，和同时出现的周围光有关。572.3.1视觉心理学视觉心理变量主要的物理变量亮度光强色调（彩色）波长浓度（彩色的浓度）光谱成分对比光强、波长、周围光582.3.1视觉心理学

2.视觉特性

亮度亮度是人眼对光强度的感受。一个物体的亮度不仅跟目标的物理强度有关，而且与周围的背景有关。对图像的处理最重要的是亮度的差别。“看”并非如你想象得那么简单。“看”是一个建构过程，在此过程中，大脑以并行的方式对景物的很多不同“特征”进行响应，并以以往的经验为指导，把这些特征组合成一个有意义的整体。592.3.1视觉心理学与声音相似，视觉上也有等亮曲线，反映了视觉在亮度上与波长的关系。在同一亮度感觉下，不同波长的光具有不同的光强。视觉也有掩蔽现象，在很亮的高光周围时难以看清的，道理和声音是类似的。602.3.1视觉心理学彩色表示颜色需要考虑三种心理属性：色调、亮度和饱和度。色调就是通常意义下的彩色，它随波长的变化而变化，反映颜色的基本特性。亮度是光作用于人眼所引起的明亮程度的感觉，与光强有关。饱和度是代表颜色的深浅程度。色调和饱和度统称为色度。

61视觉系统对颜色的感知眼睛本质上是一个照相机。人的视网膜(humanretina)通过神经元来感知外部世界的颜色，每个神经元或者是一个对颜色敏感的锥体(cone)，或者是一个对颜色不敏感的杆状体(rod)。62人的视网膜有对红、绿、蓝颜色敏感程度不同的三种锥体细胞，另外还有一种在光功率极端低的条件下才起作用的杆状体细胞，因此颜色只存在于眼睛和大脑中。颜色是视觉系统对可见光的感知结果。红、绿和蓝三种锥体细胞对不同频率的光的感知程度不同，对不同亮度的感知程度也不同，因此不同组成成分的可见光就呈现出不同的颜色。632.3.1视觉心理学

在辐射功率相同的条件下，不同波长的光不仅给人不同的颜色感觉，而且也给人不同的亮度感觉。

人眼对亮度信息敏感，而对颜色的敏感程度相对较弱。

纯正的颜色的明暗差别

64视觉系统对颜色的感知视觉系统对颜色和亮度的响应特性曲线（各个波长的光的强度相等）65RGB颜色模型CMYK

颜色模型颜色模型用于显示设备用于打印设备66RGB模型称为相加混色模型，用于光照、视频和显示器。例如，显示器通过红、绿和蓝荧光粉发射光线产生彩色。RGB颜色模型67CMYK颜色模型CMYK模型称为相减混色模型。之所以称为相减色，乃是因为它减少了为视觉系统识别颜色所需要的反射光。68相加色与相减色的关系69光亮度与反差的关系：图中点线所示为光强度的分布，若上述现象实现点线的光强度分布，则人所能感到的光亮度为用实线表示。这就好像一个带子，所以被称为马赫带(Machband)。

70视觉系统对颜色的感知许多具有不同光谱分布的光产生的视觉效果（颜色）是一样的。即光谱与颜色的对应是多对一的。光谱分布不同而看上去相同的两种颜色称为条件等色（匹配等色）。71匹配任意可见光所需的三原色光比例曲线可见光谱722.3.1视觉心理学视觉的时间特性

建立视觉图像需要时间，而一旦建立起来之后，即使把图像对象拿走，这种反应也要维持一段时间。732.3.1视觉心理学注视点和视野范围

整体性主观轮廓74注视点主要集中在：

1、图像中黑白交界的部分，尤其是拐角处。2、闭合图形内侧移动。3、时隐时现运动变化的部分或者图像中特别不规则的地方。

视野开阔，1、左右视角约为180度，2、上下约为60度。3、视力好的部位仅限于2到3度752.3.2模拟视频原理光栅扫描原理将二维图像转成为一维电信号是由光栅扫描的方法实现的。762.3.2模拟视频原理

分辨率表现的是电视系统中重现场景细节的能力。

水平分辨率垂直分辨率垂直分辨率vs

扫描线数目772.3.2模拟视频原理帧频：每一秒钟所扫描的帧数。PAL(625/50),NTSC(535/60)帧频是？宽高比---扫描行的长度:扫描行所跨过的距离

目前电视中的宽高比为4：3，新型电视的宽高比为16：9，有些电影系统的宽高比为2：1。782.3.3视觉媒体数字化

1．位图图像与数字视频

图像的数字化

（象素点）采样--量化

数字视频序列

时间排序按照颜色或灰度进行792.3.3视觉媒体数字化

2．图形

不需要逐点量化保存，是以一组指令的形式存在产生这些点的过程及方法802.3.3视觉媒体数字化

3．符号与文字

文本，即字符串；

数据组，如数据库中的一个元组，均可表达特定的信息。需要借助辅助知识才能使用例如“ICANSPEAKENGLISH”812.3.4视觉媒体的三维立体显示

1．立体显示原理

三维显示（本文）：所显示的图像确确实实是立体的。

视差（parallax）是投影到人眼视网膜上图像上两点间的水平距离，正是这个距离产生了视觉上的立体感。822.3.4视觉媒体的三维立体显示

视差

右眼图像

左眼图像

视差距离

左右眼图像之间有缝隙832.3.4视觉媒体的三维立体显示

2．视差零视差正视差负视差发散视差它们产生的立体感觉是不同的。842.3.4视觉媒体的三维立体显示

零视差：视差为零，没有立体感正视差：视差大于0，可看到深度。正视差大于0且小于等于两眼间距（平均64mm）。852.3.4视觉媒体的三维立体显示

负视差：两眼目光交叉。发散视差：视差值比两眼间距还大。尽量避免86立体图像的产生旋转法双机摄影法产生左右眼图像投影变换法模仿人眼视差建模–-投影变换—生成做右眼图像87xyz(X,Y)P(x,y,z)A(0,0,-d)单投影中心L(-e/2,0,-d)P(x,y,z)R(e/2,0,-d)左眼右眼(XL,YL)(XR,YR)双投影中心？？？X/x=d/(d+z)X=x/(z/d+1)(XL+e/2)/(x+e/2)=d/(d+z)XL=(xd+ze/2)/(d+z)模仿人眼视差建模882.3.4视觉媒体的三维立体显示

3．立体图像的显示

让一只眼睛看一个显示器.例如，头盔显示器。

在显示器上快速地显示两眼不同的图像。

例如，3d眼镜89裸眼3D利用电子光栅，左右眼各自看到对应的画面。903D显示的问题：视觉疲劳

912.4触觉媒体技术

922.4.1触觉媒体概述

皮肤和身体的触觉：温度湿度压力振动、运动、旋转等

触觉媒体就是环境媒体。环境的特征与参数932.4.2简单指点设备与技术1．指点的任务指点