多媒体技术期末复习提要

1、多媒体技术期末复习提要第一章多媒体技术概论复习内容：1、 多媒体、多媒体技术、多媒体系统媒体在计算机领域通常有两种含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等；二是指传递信息的载体，如数字、文字、声音、图形和图像等。可见多媒体技术中的媒体是指后者。国际电话电报咨询委员会CCITT（Consultative Committee on International Telephone and Telegraph，国际电信联盟ITU的一个分会）把媒体分成5类： (1)感觉媒体（Perception Medium）：指直接作用于人的感觉器官，使人产生直接感觉的媒体。如引起听觉反应的声音

2、，引起视觉反应的图像等。 (2)表示媒体（representation Medium）：指传输感觉媒体的中介媒体，即用于数据交换的编码。如图像编码（JPEG、MPEG等）、文本编码（ASCII码、GB2312等）和声音编码等。 (3)表现媒体（Presentation Medium）：指进行信息输入和输出的媒体。如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、喇叭等为输出媒体。 (4)存储媒体（Storage Medium）：指用于存储表示媒体的物理介质。如硬盘、软盘、磁盘、光盘、ROM及RAM等。 (5)传输媒体（Transmission Medium）：指传输表示媒体的物理

3、介质。如电缆、光缆等。文本、声音、图形、图像和动画等是信息的载体，其中两个或多于两个的组合构成了多媒体。多媒体的英文单词是Multimedia，它由media和multi两部分组成。一般理解为多种媒体的综合。ITU对多媒体含义的描述是： 使用计算机交互式综合技术和数字通信网技术处理多种表示媒体-文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个交互系统。多媒体系统是指利用计算机技术和数字通讯网技术来处理和控制多媒体信息的系统，如：CAI课件、视频/音频演示系统等。2、 促进多媒体技术发展的关键技术（1） 多媒体存储与管理技术（2） 多媒体的标准化技术 （3） 多媒体数据库（4） 数据压

4、缩与编码 （5） 多媒体通信 （6） 多媒体系统集成技术3、 多媒体技术的特性主要有：集成性、实时性、交互性、高质量4、 多媒体系统的组成多媒体系统的基本构成主要有：计算机硬件、多媒体计算机所配置的硬件（如压缩、解压缩专用芯片）、多媒体I/O控制及接口、多媒体的核心系统、多媒体创作系统和多媒体应用系统。5、多媒体的技术研究与应用开发 多媒体涉及的技术范围很广，技术很新、研究内容很深，是多种学科和多种技术交叉的领域。目前，多媒体技术的研究和应用开发主要在下列几个方面：(1) 多媒体数据的表示技术(2) 多媒体创作和编辑工具(3) 多媒体数据的存储技术(4) 多媒体的应用开发第二章 音频信号及其处

5、理1、 声音信号的物理特征 声音信号主要的物理特征有：频率、振幅、响度、音调、音色、和谐、不和谐等。频率：信号的频率是指信号每秒种变化的次数，波形中两个连续波峰（或波谷）之间的距离称为周期T，一秒钟内所出现的周期数目即为频率，频率的单位为赫兹（Hz）。频率能反映出声音的声调，我们所听到的声音如果细尖表示频率高，声音粗低表示频率低。声音按照频率分为三种类型：次声、可听声、超声。低于20Hz的声音为次声，或称为亚音信号(subsonic)；可听声的声音频率范围为2020000 Hz；高于20000 Hz的声音为超声，或称超声波(ultrasonic)信号。多媒体计算机中处理的声音主要指可听声。一般

6、情况下人说话的话音信号的频率范围在3003000 Hz，称为话音(speech)信号，在这种频率范围里感知的声音幅度大约在0120 dB之间。振幅：声音信号的另一个基本参数是振幅，它表示声音信号的强弱。声音信号的强度相差很大，从可以听见的最弱声到最强声，其强度相差1万亿倍。声音的强弱采用分贝作为量纲，区别两个强度I和I0的分贝数（dB）是：声音分贝数 = 10*log(I/ I0 )在心理上，声音有两个最重要的量纲，即响度和音调，其他还有音色、和谐、不和谐等。由声音的物理特性得知，声音的振幅增加，声音的响度也增加；频率增高，音调则增高。幅度与响度之间的关系是非线性的，幅度加倍不等于响度加倍；频

7、率与响度、音调之间也有关系，频率的变化既影响响度也影响音调；它们的关系起决于它们出现的情景，即使是最简单的物理量纲也要受神经系统的综合分析。例如，一个乐队创造出丰富多彩的听觉感受，一个精彩的报告给人们留下深刻的印象，而一些机器轰鸣声和飞机的噪音使人烦躁不安。这些平时听到的声音感觉好坏不时响度和音调参数所能表达的，而是声音心理学研究的问题。声音的响度起决于幅度和频率两个因素，如果频率不变，幅度高比幅度低的声音信号要响些，如果幅度不变，甚高频和甚低频的声音似乎比中频声音要柔弱的多。音频的定义以及分类，声音的三要素：l 音频的频率范围在20Hz到20kHz之间。l 音频这种听觉媒体主要分为波形声音、

8、语音和音乐。l 声音的三要素指音调、音强和音色。2、模拟信号和数字信号我们把在时间和幅度上都是连续的信号称为模拟信号。在某些特定的时刻对这种模拟信号进行测量叫做采样(sampling)，由这些特定时刻采样得到的信号称为离散时间信号。采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。我们把时间和幅度都用离散的数字表示的信号就称为数字信号。音频信号的数字化处理过程：（1）选择采样频率，进行采样；（2）选择分辨率，进行量化；（3）形成声音文件。数字化实际上就是采样和量化。如前所述，连续时间的离散化通过采样来实现

9、，就是每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniform sampling)；连续幅度的离散化通过量化(quantization)来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为线性量化，否则就称为非线性量化。3、采样定理采样频率的高低是根据奈奎斯特理论(Nyquist theory)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化(lossless digitization)。采样定律用公式表示为fs >= 2f 或者 Ts <= T/

10、2其中f为被采样信号的最高频率。如果不遵循采样定理，则必然造成误差，通常称为混叠效应。为了更好地防止混叠效应，一是对信号进行滤波，滤除高频成分，使信号的最高频率限制在fmax之内。其二是严格依据定理，以22fmax的频率进行采样。4采样精度、采样位数、声道数采样数据位数（Sampling Data）也称量化精度，是指每个采样点在A/D转换后所表示的数据范围。常用的采样数据位数有：8bit，14bit，16bit。样本大小是用每个声音样本的位数bit/s(即bps)表示的，它反映度量声音波形幅度的精度。样本位数的大小影响到声音的质量，位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声

11、音的质量越低，需要的存储空间越少。一个声音文件的数据量可由下列公式推导出来： （采样频率*采样数据位数*声道数）/8 = 字节数/秒（B/s）如果对每个取样的幅度值用R位二进制编码（R比特）表示，就得到数字信号的传输速率或比特率I，I=fs*R(bit/s 或 b/s)当信号带宽给定从而fs已知且不变时，传输速率就简单地由采样位数R来确定。在有关编码的文献及书本中，比特率（或数码率、码率、速率、数据率）用来表示I和R，具体指哪一个从其量纲即可以确定，不会混淆。一般传输时多用I，存储时多用R。5常见的音频信号常见的音频信号主要有：电话音频信号、调频调幅无线电广播音频信号和高保真的立体声音频信号。

12、由于其用途不同，这些音频信号的带宽也各不相同，而且在音响设备中，通常以带宽来衡量声音的质量。图2-05表示了这4种常见音频信号的带宽。数字激光唱盘（CD）FM无线电广播AM无线电广播电 话10 20 50 200 3400 7k15k 20k图2-05音频信号的带宽6质量的评价声音质量的评价是一个很困难的问题，目前还在继续研究的课题。前面介绍了用声音信号的带宽来衡量声音的质量，等级由高到低依次是DAT，CD，FM，AM和数字电话。此外，声音质量的度量还有两种基本的方法：一种是客观质量度量，另一种是主观质量度量。评价语音质量时，有时同时采取两种方法评估，有时以主观质量度量为主。声音客观质量的度量

13、主要用信噪比(signal to niose ratio，SNR)，峰值信噪比（PSNR）等。7音频信号的标准和规范表2-04数字电话的编码标准组 织ISOCCITTGSMCTIANSA标 准G.711G.721G.728GSMGIA制定时间19921972198419921983198919891982传输率Kb/s1286432161384.82.4编码算法PCMADPCMLD-CELPRPE-LTVSELPCELPLPC质 量5.04.34.14.03.73.83.22.5使用场合CD长途电话网络移动通信保密电话CCITT：国际电报电话咨询委员会，GSM：欧洲移动通信专家组，CTIA：美

14、国移动通信标准，NSA：美国国家安全局。8、 音频文件大小的计算文件的字节数/每秒=采样频率（Hz）´采样位数（位）´声道数/89、常见的声音文件格式，如：.WAV、.VOC、.MIDI文件10、 MIDI的含义、MIDI与数字化声音的比较MIDI是乐器数字接口的英文缩写，泛指数字音乐的国际标准，它是音乐与计算机结合的产物。MIDI信息实际上是乐谱的数字描述，这里乐谱完全由音符序列、定时以及被称为合成音色的乐器定义组成。当一组MIDI消息通过音乐合成器芯片演奏时，合成器就会解释这些符号并产生音乐。选择MIDI还是数字化声音，要考虑计算机处理数字文件的能力，对回放硬件的控制能

15、力以及是否有语言对话的需要等方面因素。产生MIDI乐音的方法很多，现在用得较多的方法有两种：一种是(frequency modulation，FM)合成法，另一种是乐音样本合成法，也称为波形表(Wavetable)合成法。11、波形声音与MIDI音乐的比较MIDI消息实际上就是乐谱的数字表示。与波形声音相比，MIDI数据不是声音而是指令，因此它的数据量要比波形声音少得多。如30分钟的立体声高品质音乐，用波形文件无压缩录制，约需300MB的存储空间；而同样的MIDI数据，则只需200KB，两者相差1500倍之多。另外，对MIDI的编辑很灵活，可以自由地改变曲调、音色等属性，波形声音就很难做到这一

16、点。波形声音与设备无关，MIDI数据是与设备有关的，即MIDI音乐文件所产生的声音与用来回放的特定的MIDI设备有关。总的来说，数字化声音最重要的优点是重放质量的一致性、可靠性比较好，可自始至终保证质量，而MIDI在这一点上则比较差。12、数据压缩基础信源信宿信源编码信源解码信道编码信道解码调 制传输通道解 调信 源 编 码信 道 解 码信道噪 声图2-2-1统一的数字传输系统模型图中信源编码和信源解码即为本课程所要研究的内容，统称为信源解码；而信道编码和信道解码统称为信道编码。信源解码：主要解决有效性问题。通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码传递最大的信息量，使信号更适

17、宜传输。信道编码：主要解决可靠性问题。即尽量使处理过的信号在传输过程中不出错或少出错，即使出了错也要能自动检错和尽量纠错。如果信道编码的纠错能力足以保证对数字序列的无误差解码，则图2-2-1中的信道编码、解码器（简写为Codec，即Coder+Decoder），调制、解调器（简写为Modem，即Modulator + Demodulator），以及实际的物理传输通道（模拟信道），有时集中成一个理想的方框，叫作无噪声数字信道，如图2-2-1中的虚线右边部分。而模拟信道加上Modem构成的方框，即为一个实际的数字信道。因此，从信息论角度看，信源编码编码的一个最主要的目的，就是要解决数据的压缩问题，

18、它构成了数据压缩的理论基础。13、数据压缩及其必要性数据压缩，就是以最少的数码表示信源所发的信号，减少容纳给定消息集合或数据采样集合的信号空间。所谓信号空间即被压缩的对象是指：1、 物理空间，如硬盘、磁盘、磁带等数据存储介质；2、 时间空间，如传输给定消息集合所需要的时间；3、 电磁频谱区域，如为传输给定消息集合所要求的带宽等。而数据压缩的好处就在于：1、 较快地传输各种信源（降低信道占有费用）-时间域的压缩；2、 在现有通信干线上开通更多的并行业务（如电视、传真、可视电话等）-频率域的压缩；3、 降低发射机功率-能量域的压缩；4、 紧缩数据存储量（降低存储费用）-空间域的压缩。14、数据压缩

19、技术的分类比较一致的分类方法，是将数据压缩分为在某种程度上可逆的与实际上不可逆的两类，这样更能说明它们的本质区别。1、 可逆压缩也叫作无失真编码、无噪声编码（Noiseless Coding）、冗余度压减（Redundancy reduction）、熵编码（Entropy Coding）、数据紧缩（Data compaction）、信息保持编码（Lossless，bit-preserving）,等等。2、 不可逆压缩又称有失真（Lossy）编码，信息论中叫熵压缩（Entropy Compression）.15、 实用的数据压缩数据压缩冗余度压缩熵压缩统计编码霍夫曼编码游程编码二进制编码LZW编

20、码其它量 化特征提取零记忆量化均匀量化马克斯量化压扩量化序列量化预测编码分组量化直接映射变换编码分析-合成增量调制线性预测非线性预测自适应预测运动补偿预测矢量量化神经网络方块截尾KLTDCTDFTHAAR非正交编码第三章 语音编码技术1、 数据压缩技术的三个重要指标 这三个指标是：压缩前后所需的信息存储量之比；压缩算法；恢复效果。2、音频信号的编码方式大致分为三大类：（1） 波形编码，如PCM、APC、SDC、ATC（2） 音源编译码器（分析合成方法），如LPC（3） 混合编码方法2、 话音信号压缩的主要依据音频冗余主要表现为时域冗余度、频域冗余度。 一、时域信息冗余度l 幅度非均匀分布l 样

21、本间的相关性l 周期之间的相关性l 基音之间的相关性l 静止系数（话音间隙）l 长时自相关函数  二、频域信息冗余度l 非均匀的长时功率谱密度l 语音特有的短时功率谱密度三、人的听觉感知机理l 人的听觉具有掩盖效应l 人耳对不同频率声音的敏感程度不同，对低频率比较敏感l 人耳对对语音信号的相位变化不敏感4、常见的语音编码技术有：常见的音频数据压缩方法无损压缩有损压缩哈夫曼编码算术编码行程编码波形编码音源编码混合编码PCMDM、ADMDPCM、ADPCM子带编码失量编码LPCMPE、RPE、CELP、MP-LPC5、 PCM由采样和量化两部分组成，量化有好几种方法，但可归纳成两类：一类

22、称为均匀量化，另一类称为非均匀量化（律压扩(companding)算法，另一种称为A律压扩算法。）。采用的量化方法不同，量化后的数据量也就不同。因此，可以说量化也是一种压缩数据的方法。、DM、ADM、DPCM、ADPCM6、 DM增量调制也称调制(delta modulation，DM)，它是一种预测编码技术，是PCM编码的一种变形。PCM是对每个采样信号的整个幅度进行量化编码，因此它具有对任意波形进行编码的能力；DM是对实际的采样信号与预测的采样信号之差的极性进行编码，将极性变成“0”和“1”这两种可能的取值之一。由于DM编码只须用1位对话音信号进行编码，所以DM编码系统又称为“1位系统”。

23、 DM存在“斜率过载”(slope overload)和粒状噪声(granular noise)。7、自适应增量调制(ADM) 为了对DM中出现的“斜率过载”和“粒状噪声”问题进行改进，从而提出了自适应增量调制(ADM) 。使增量调制器的量化阶能自适应，也就是根据输入信号斜率的变化自动调整量化阶的大小，在检测到斜率过载时开始增大量化阶，而在输入信号的斜率减小时降低量化阶。8、自适应脉冲编码调制(adaptive pulse code modulation，APCM)是根据输入信号幅度大小来改变量化阶大小的一种波形编码技术。这种自适应可以是瞬时自适应，即量化阶的大小每隔几个样本就改变，也可以是音

24、节自适应，即量化阶的大小在较长时间周期里发生变化。改变量化阶大小的方法有两种：一种称为前向自适应(forward adaptation)，另一种称为后向自适应(backward adaptation)。9、差分脉冲编码调制DPCM(differential pulse code modulation)是利用样本与样本之间存在的信息冗余度来进行编码的一种数据压缩技术。差分脉冲编码调制的思想是，根据过去的样本去估算(estimate)下一个样本信号的幅度大小，这个值称为预测值，然后对实际信号值与预测值之差进行量化编码，从而就减少了表示每个样本信号的位数。它与脉冲编码调制(PCM)不同的是，PCM是

25、直接对采样信号进行量化编码，而DPCM是对实际信号值与预测值之差进行量化编码，存储或者传送的是差值而不是幅度绝对值，这就降低了传送或存储的数据量。此外，它还能适应大范围变化的输入信号。10、ADPCM是利用样本与样本之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术，CCITT为此制定了G.721推荐标准，这个标准叫做32 kb/s自适应差分脉冲编码调制32 kb/s Adaptive Differential Pulse Code Modulation7。CCITT推荐的G.721 ADPCM标准是一个代码转换系统。它使用ADPCM转换技术，实现64 kb/s A律或律PCM速率和3

26、2 kb/s速率之间的相互转换。11、 重点了解DPCM系统原理图中各个信号的含义，及主要处理的过程描述。第四章 视 频 信 号 处 理1、 图像的属性主要包括：分辨率、像素深度、图像深度、真/伪彩色、图像的表示法和种类等。其中分辨率又包括：显示分辨率和图像分辨率。2、 位图图像、矢量图形的概念；矢量图与位图比较位图图像（Bit-Map Image）是指在空间和亮度上已经离散化的图像。通常把一幅位图图像考虑为一个矩阵，矩阵中的一个元素（像素）对应图像的一个点，相应的值表示该点的灰度或颜色等级。矢量图形（Vector-Based Image）是用一个指令集合来描述的。这些指令用来描述图中线条的形

27、状、位置、颜色等各种属性和参数。矢量图与位图比较，主要看空间和性能两方面，一般说来，要看图像的复杂程度，简单的图使用矢量图描述好一些，复杂的图使用位图好一些。3、 计算机中常用的颜色模型主要有红绿蓝（RGB）和色调-饱和度-亮度(hue-saturation-lightness，HSL)颜色模型。在HSL模型中，H定义颜色的波长，称为色调；S定义颜色的强度(intensity)，表示颜色的深浅程度，称为饱和度；L定义掺入的白光量，称为亮度。4、 称为CMY模型由青色(Cyan)、品红(Magenta)和黄色(Yellow)三基色组成，通常写成CMY。用这种方法产生的颜色之所以称为相减色。5、

28、目前采用的彩色空间变换有三种：YIQ, YUV和YCrCb。每一种彩色空间都产生一种亮度分量信号和两种色度分量信号，而每一种变换使用的参数都是为了适应某种类型的显示设备。其中，YIQ适用于NTSC彩色电视制式，YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器。6、 YUV表示法的重要性是它的亮度信号(Y)和色度信号(U、V)是相互独立的，也就是Y信号分量构成的黑白灰度图与用U、V信号构成的另外两幅单色图是相互独立的。由于Y、U、V是独立的，所以可以对这些单色图分别进行编码。此外，黑白电视能接收彩色电视信号也就是利用了YUV分量之间的独立性。YUV表示法的另一个优点

29、是可以利用人眼的特性来降低数字彩色图像所需要的存储容量。7、 目前世界上现行的彩色电视制式有三种：NTSC制、PAL制和SECAM制。这里不包括高清晰度彩色电视HDTV (High-Definition television)。8、 在彩色电视中，用Y、C1, C2彩色表示法分别表示亮度信号和两个色差信号，C1，C2的含义与具体的应用有关。在NTSC彩色电视制中，C1，C2分别表示I、Q两个色差信号；在PAL彩色电视制中，C1，C2分别表示U、V两个色差信号；在CCIR 601数字电视标准中，C1，C2分别表示Cr，Cb两个色差信号。所谓色差是指基色信号中的三个分量信号(即R、G、B)与亮度信

30、号之差。在彩色电视中，使用Y、C1，C2有两个重要优点：Y和C1，C2是独立的，因此彩色电视和黑白电视可以同时使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响重显彩色图像的观看。因此，为了满足兼容性的要求，彩色电视系统选择了一个亮度信号和两个色差信号，而不直接选择三个基色信号进行发送和接收。9、 彩色电视信号的类型主要有：复合电视信号、分量电视信号、S-Video信号。10、对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(su

31、bsampling)。 这种压缩方法的基本根据是人的视觉系统所具有的两条特性， 一、是人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达颜色的信号去掉一些而使人不察觉； 二、是人眼对图像细节的分辨能力有一定的限度，利用这个特性可以把图像中的高频信号去掉而使人不易察觉。10、 了解行程编码的主要概念，熟悉掌握LZW编码的编、译码过程。11、变化编码的基本概念：变换编码就是对图象进行某种正交变换,并对变换后的数据进行编码,从而达到压缩数据的目的. 常见的正交变换有:傅立叶变换、哈尔变换、斜变换、正弦变换、余弦变换、K-L变换、小波变换等。从理论上讲， K-L变换效果最佳

32、，但由于其只有求出输入数据的相关矩阵和本征矢量，才能进行K-L变换，且没有快速算法，实现复杂，因此，很少使用。 正交变换的具有如下特性：Ø 熵保持Ø 能量保持Ø 去相关Ø 能量重新分布与集中11、 详细了解JPEG编码和译码的主要步骤、及各个步骤的作用和理论依据。12、 DC和AC系数各有何特点，分别采用什么方法对它们进行数据压缩。13、 按照JPEG中的要求，对DC和AC系数进行实际的编码。14、 掌握Huffman编码过程。Huffman编码体现了统计编码的思想。它对于出现频率大的符号用较少的位数来表示，而对于出现频率小的符号用较多的位数来表示。其编

33、码效率主要取决于需编码的符号出现的概率分布，越集中则压缩比越高。第五章 动态图像的处理1、 动态图像的特点：（1） 数据量大（2） 帧与帧之间存在大量的时间冗余信息（3） 帧内存在大量的空间冗余信息2、动态图像的数据压缩技术（1） 帧内有变换编码、预测编码、熵编码等（2） 帧间主要采用：帧间预测编码和运动补偿3、 帧间差值的统计特性表明：一般动态图像的帧间差值比较小，这种统计特性是帧间压缩编码的基本依据4、 运动补偿预测（Motion Compensation，简写)技术通常由以下几个方面组成：l 首先把图像分割为静止的和运动的两个部分，假设运动物体仅作平移。n 估计物体的位移值。n 用位移估值（即运动矢量motion vector)进行运动补偿预测n 预测信息编码。5、 熟悉运动补偿预测技术的基本原理，能解释其运动补偿预测编码的系统框图。量化器运动补