四川大学多媒体课件2

1、第2章 多媒体信息数据描述2.1 声音2.2 文本2.3 图像12.1 声音2.1.1声音信号数字化 2.1.2声音文件格式2.1.3声音处理、播放软件22.1.1 声音信号数字化 声音的种类：人的话音、乐器声、动物发出的声音、自然界的雷声、风声、雨声、闪电声、机器产生的声音等声音电信号在时间和幅度上都是连续的模拟信号 声音信号的两个基本参数：频率：信号每秒钟变化的次数，用Hz表示。 幅度：信号的强度32.1.1 声音信号数字化时间和幅度都用离散的数字表示的信号就称为数字信号。声音信号数字化：将声音模拟信号转换成数字信号4 2.1.1 声音信号数字化声音信号数字化步骤：采样(sampling)

2、 ：某些特定的时刻对声音模拟信号的幅度值进行测量。均匀采样(uniform sampling）：每隔相等的一小段时间采样一次。 量化(quantization):把采样得到的信号幅度转换成数值。线性量化（均匀量化）：幅度的划分等间隔非线性量化（非均匀量化）:幅度的划分不等间隔5问题：每秒钟需要采集多少个声音样本？采样频率(fs)每个声音样本的位数(bit per sample，bps)是多少？量化精度2.1.1 声音信号数字化6 2.1.1 声音信号数字化采样频率奈奎斯特理论(Nyquist theory)：采样频率不应低于声音信号最高频率的两倍。这样就能把以数字表达的声音还原成原来的声音无损

3、数字化(lossless digitization)。采样定律公式： fs 2f 或者： Ts T/2 其中f为被采样信号的最高频率例：声音信号：看成由许许多多正弦波组成，一个正弦波至少需要两个采样样本表示。电话话音：信号频率约为3.4 kHz，采样频率就选为8 kHz。 72.1.1 声音信号数字化采样精度声音样本的位数bit/s(即bps) 反映度量声音波形幅度的精度。例如：每个声音样本用16位(2字节)表示，测得的声音样本值是在065536的范围里，它的精度就是输入信号的1/65536。位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。采样精

4、度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noise ratio，SNR) ：SNR 10 log (Vsignal)2 / (Vnoise)220 log (Vsignal / Vnoise)其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝(db)82.1.2 声音文件格式常见的声音文件格式有：WAV,VOC,MIDI,CMF,MOD,MP3WAV文件是Windows所使用的标准数字音频文件，称为波形文件。MP3文件是近几年产生的音乐文件，是以音频压缩标准MPEG Layer 3压缩编码的一种音频格式文件。9波形音频素材的通过以下途径获取

5、：（1）利用麦克风直接录音，获取数字化的语音和音乐素材。（2）家用音响设备、录音机、收音机、电视机以及所有声源的音频输出信号接入声卡的线路输入端，利用音频处理软件将对其进行录音，以此获得是数字音频信号。（Line in）（3）将音乐光盘放入ROM驱动器中，对音轨进行声音采样，转化为数字音频信号。（4）利用专用软件，将mp3格式的压缩音频文件转换成波形音频文件。2.1.2 声音文件格式102.1.2 声音文件格式WAV音频文件的特点采样频率越高，数字化声音与声源的声音效果越接近，音质越好。采样精度越高，数据的表达越精确，音质越好。可选择数字音频信号的立体声或单声道形式，立体声比单声道的数据量大一

6、倍。 采样频率和采样精度越高，音频信号数据量就越大。数据记录详尽，音频数据基本上没有经过压缩处理，数据量大。112.1.2 声音文件格式MIDI（Musical Instrument Digital Interface “电子乐器数字接口”）用于在音乐合成器(music synthesizers)、乐器(musical instruments)和计算机之间交换音乐信息的一种标准协议。MIDI优点：生成的文件比较小，因为MIDI文件存储的是命令，而不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，和其它的媒体，如数字电视、图形、动画、话音等一起播放，加强演示效果。12

7、2.1.2 声音文件格式产生MIDI乐音的方法（用得较多的两种）FM(frequency modulation频率调制 )合成法： 波形用数字来表达，用数字计算机它们组合起来，通过数模转换器(digital to analog convertor，DAC)来生成乐音。 乐音样本合成法，也称为波形表(Wavetable)合成法： 真实乐器发出的声音以数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音阶的音符。 132.1.3 声音处理、播放软件声音软件的作用：是把声音数字化，并对其进行编辑加工、合成多个声音素材，制作某种声音效果，以及保存声音文件等。常用声音工具：Easy CD

8、-DA Extractor , Real Jukebox , ColdWave , Cool Edit Pro , Acid WAV， RealOne Player等14 2.1.3 声音处理、播放软件Windows的录音器152.2 文本2.2.1 文本的文件格式2.2.2 文字处理软件162.2.1 文本的文件格式文本文件可以分两大类：纯文本文件和有格式文本文件纯文本文件是由ASCII字符和其他字符标准（如汉字编码标准GB2312）字符构成的文件。如DOS下的TXT文件、各种程序设计语言的源程序文件、数据文件等。172.2.1 文本的文件格式格式的文本文件中不仅包含上述字符，而且还含有文字

9、格式（如字体、字号、颜色、下划线、加粗、斜体等）和排版格式（如段落缩进、行间距、边框底纹等）等信息。许多字符处理软件如MS Word,Word Star ,WPS ,CCED 等生产的文档文件均属此类。182.2.2 文字处理软件：功能：输入和编辑文字，并具有图形文字混合排版、制表、表格运算等功能常用：Word2000,wps2000等193 图像3.1 图像的颜色模型3.2 图像的三个基本属性3.3 图像的种类 3.4 图象的文件格式3.5 图像处理软件203.1 图像的颜色模型颜色是视觉系统对可见光的感知结果 自然界中的任何一种颜色都可以由R，G，B这3种颜色值之和来确定，它们构成一个3维

10、的RGB矢量空间。这就是说，R，G，B的数值不同混合得到的颜色就不同，也就是光波的波长不同。 213.1 图像的颜色模型组合这三种光波以产生特定颜色称为相加混色，称为RGB相加混色模型。颜色R(红色的百分比)G(绿色的百分比)B(蓝色的百分比)有源物体 （如显示器）用RGB模型色调-饱和度-亮度(hue-saturation-lightness，HSL)颜色模型同RGB223.1 图像的颜色模型任何一种颜色都可以用三种基本颜料：青色(Cyan)、品红(Magenta)和黄色(Yellow)按一定比例混合得到，称为CMY相减混色模型。（它减少了为视觉系统识别颜色所需要的反射光。）无源物体 （如打

11、印机、彩色印刷）用CMY模型233.1 图像的颜色模型相加色与相减色的对应关系关系（表5-4）相加混色相减混色生成的颜色RGBCMY000111黑001110蓝010101绿011100青100011红101010品红110001黄111000白243.2 图像的三个基本属性3.2.1 分辨率1. 显示分辨率显示屏上能够显示出的像素数目. (如640480） 2. 图像分辨率组成一幅图像的像素密度的度量方法。 (如300 DPI) 253.2 图像的三个基本属性3.2.2 像素深度存储每个像素所用的位数，它也是用来度量图像的分辨率。 如：RGB 8:8:8，像素的深度为24 263.2 图像的

12、三个基本属性3.2.3 真彩色、伪彩色与直接色1. 真彩色(true color)每个像素值中，有R，G，B三个基色分量，每个基色分量直接决定显示设备的基色强度 ，这样产生的彩色称为真彩色。如：RGB 5:5:5来表示，每个彩色分量占5个位，再加1位显示属性控制位共2个字节，生成的真颜色数目为215 = 32K。真彩色通常指 RGB 8:8:8（颜色数224 ），也称全彩色。273.2 图像的三个基本属性2. 伪彩色(pseudo color)把像素值当作彩色查找表(color look-up table，CLUT)的表项入口地址，去查找一个显示图像时使用的R，G，B强度值，用查找出的R，G，

13、B强度值产生的彩色称为伪彩色。 283.2 图像的三个基本属性3. 直接色(direct color)每个像素值分成R，G，B分量，每个分量作为单独的索引值对它做变换。也就是通过相应的彩色变换表找出基色强度，用变换后得到的R，G，B强度值产生的彩色称为直接色。（对每个基色进行变换） 293.3 图像的种类 3.3.1 矢量图与点位图表达图像和计算机生成的图形图像，有两种常用的方法：一种叫做是矢量图(vector based image)法，另一种叫点位图(bit mapped image)法 303.3 图像的种类 矢量图是用一系列计算机指令来表示一幅图，如画点、画线、画曲线、画圆、画矩形等。

14、这种方法实际上是数学方法来描述一幅图，然后变成许多的数学表达式，再编程，用语言来表达。在计算显示图时，也往往能看到画图的过程。 313.3 图像的种类点位图法 是把一幅彩色图分成许多的像素，每个像素用若干个二进制位来指定该像素的颜色、亮度和属性。因此一幅图由许多描述每个像素的数据组成，这些数据通常称为图像数据，而这些数据作为一个文件来存储，这种文件又称为图像文件。323.3 图像的种类矢量图与点位图相比较：显示点位图文件比显示矢量图文件要快；矢量图侧重于“绘制”、去创造，而点位图偏重于“获取”、去“复制”；矢量图和点位图之间可以用软件进行转换，由矢量图转换成点位图采用光栅化(rasterizi

15、ng)技术，这种转换也相对容易；由点位图转换成矢量图用跟踪(tracing)技术，这种技术在理论上说是容易，但在实际中很难实现，对复杂的彩色图像尤其如此。 333.3 图像的种类3.3.2 灰度图与彩色图灰度图(gray-scale image) 按照灰度等级的数目来划分。只有黑白两种颜色的图像称为单色图像图中的每个像素的像素值用1位存储，它的值只有“0”或者“1”，一幅640480的单色图像需要占据37.5 KB的存储空间。343.3 图像的种类5.5.2 灰度图与彩色图标准灰度图像如果每个像素的像素值用一个字节表示，灰度值级数就等于256级，每个像素可以是0255之间的任何一个值，一幅64

16、0480的灰度图像就需要占据300 KB的存储空间。 353.3 图像的种类彩色图像(color image)可按照颜色的数目来划分，例如256色图像和真彩色(22416 777 216种颜色)等。如：彩色图像的每个像素的R、G和B值用一个字节来表示，一幅640480的8位彩色图像需要307.2 KB的存储空间；一幅640480的真彩色图像需要921.6 KB的存储空间。 363.4 图象的文件格式1. BMP文件格式位图文件格式BMP(Bitmap-File)是最普遍的点阵图格式之一，也是WINDOWS系统下的标准格式，我们利用WINDOWS的调色盘绘图，就是存成BMP格式，扩展名是 .bm

17、p373.4 图象的文件格式BMP文件组成：位图文件头(bitmap-)、位图信息头(bitmap-information header)、彩色表(color table)定义位图的字节阵列 383.4 图象的文件格式位图文件头包含有关于文件类型、文件大小、存放位置等信息。位图信息头包含有位图文件的大小、压缩类型（没有压缩/RLE压缩）、颜色格式 。彩色表包含的元素与位图所具有的颜色数相同，像素的颜色用RGBQUAD结构来定义。对于24位真彩色图像就不使用彩色表。图像数据字节阵列图像的每一扫描行由表示图像像素的连续的字节组成，每一行的字节数取决于图像的颜色数目和用像素表示的图像宽度。扫描行是由

18、底向上存储 。 392 、GIF文件格式 图形交换格式GIF（Graphics Interchange Format ）是Compuserve公司所制订的格式，因为compuserve公司开放使用权限，所以广为应用。 GIF文件格式可在一个文件中存放多幅彩色图形/图像。如果在GIF文件中存放有多幅图，它们可以像演幻灯片那样显示或者像动画那样演示。3.4 图象的文件格式403.4 图象的文件格式GFI图像文件以数据块(block)为单位来存储图像的相关信息。一个GIF文件由表示图形/图像的数据块、数据子块以及显示图形/图像的控制信息块组成，称为GIF数据流(Data Stream)。数据流中的所

19、有控制信息块和数据块都必须在文件头(Header)和文件结束块(Trailer)之间。GIF文件格式采用了LZW(Lempel-Ziv Walch)压缩算法来存储图像数据定义了允许用户为图像设置背景的透明(transparency)属性。 413.4 图象的文件格式3. JPEG格式 JPEG (Joint Photographic Experts Group)联合图象专家组是ISO和 IEC联合组成的图象权威机构。使用比较广泛的还是JPEG文件交换格式(JPEG Format，JFIF)版本号为1.02。 JPEG格式是一种高效率的压缩文件，但并不适合放大观看，输出成印刷品时品质也会受到影响

20、。JPEG文件使用的颜色空间是CCIR 601推荐标准进行的彩色空间423.4 图象的文件格式JPEG文件由下面的8个部分组成：(1) 图像开始SOI(Start of Image)标记(2) APP0标记(Marker)(3) APPn标记(Markers)，其中n=115(任选) (4) 一个或者多个量化表DQT(difine quantization table)(5) 帧图像开始SOF0(Start of Frame)(6) 一个或者多个霍夫曼表DHT(Difine Huffman Table)(7) 扫描开始SOS(Start of Scan)(8) 图像结束EOI(End of I

21、mage)433.4 图象的文件格式4、 PNG格式 PNG （流式网络图形格式 Portable Network Graphic Format) ：是一种位图文件(bitmap file)存储格式。PNG用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的通道数据。PNG使用从LZ77派生的无损数据压缩算法。443.4 图象的文件格式PNG文件格式保留GIF文件格式的下列特性：使用彩色查找表或者叫做调色板可支持256种颜色的彩色图像。 流式读/写性能(streamability)：图像文件格式允许连续读出和写入图像数据，这个特性

22、很适合于在通信过程中生成和显示图像。 逐次逼近显示(progressive display)：这种特性可使在通信链路上传输图像文件的同时就在终端上显示图像，把整个轮廓显示出来之后逐步显示图像的细节，也就是先用低分辨率显示图像，然后逐步提高它的分辨率。 453.4 图象的文件格式透明性(transparency)：这个性能可使图像中某些部分不显示出来，用来创建一些有特色的图像。 辅助信息(ancillary information)：这个特性可用来在图像文件中存储一些文本注释信息。 独立于计算机软硬件环境。 使用无损压缩。463.4 图象的文件格式PNG文件格式中增加的GIF文件格式所没有的特性

23、：每个像素为48位的真彩色图像。 每个像素为16位的灰度图像。 可为灰度图和真彩色图添加通道。 添加图像的信息。 使用循环冗余码(cyclic redundancy code，CRC)检测损害的文件。 加快图像显示的逐次逼近显示方式。 标准的读/写工具包。 可在一个文件中存储多幅图像。 473.4 图象的文件格式文件结构一个8字节的PNG文件署名域(PNG ) 和按照特定结构组织的3个以上的数据块(chunk)组成。PNG文件署名域（8字节）用来识别该文件是不是PNG文件。PNG数据块两种类型：关键数据块(critical chunk)标准辅助数据块(ancillary chunks)可选483.4 图象的文件格式关键数据块中的4个标准数据块：(1) 文件头数据块IHDR(header chunk)：它包含有PNG文件中存储的图像数据的基本信息， (2) 调色板数据块PLTE(palette chunk)：它包含有与索引彩色图像相关的彩色变换数据， (3) 图像数据块IDAT(image