多媒体信号处理 课件 第1章 多媒体信息处理基础

1.1多媒体的基本概念1.2音d频信息处理基础1.3图像信息处理基第1章多媒体信息处理基础1.1.1媒体的概念1.1.2多媒体与多媒体技术1.1多媒体的基本概念1.媒体（medium）按传统的说法，媒体指的是信息的载体，如：报纸、杂志、电视、广播、因特网…在计算机领域有两种含义：信息的存储实体，如磁盘、光盘、磁带、半导体存储器等，中文常译为媒质或媒介；传递信息的基本元素，如文字、声音、图形、动画和图像等。1.1.1媒体的概念2.媒体的分类国际电话电报咨询委员会（CCITT）把媒体分成如下5类。（1）感知媒体（PerceptionMedium）感知媒体就是指能直接作用于人的感觉器官，使人直接产生感觉（视、听、嗅、味、触觉）的一类媒体，如语言、音乐、图形、动画、数据、文字、文件等都是感知媒体。（2）表示媒体（RepresentationMedium）表示媒体是为了更有效地加工、处理和传输感知媒体而人为研究和构造出来的一种媒体。它包括上述感知媒体的各种编码，诸如语言编码、静止和活动图像编码，以及文本编码等。1.1.1媒体的概念（3）呈现媒体（PresentationMedium）呈现媒体是感知媒体与用于通信的电信号之间在转换中用于信息输入和输出的媒体。可分为输入呈现媒体（如键盘、摄像机、话筒、扫描仪等）和输出呈现媒体（如显示器、扬声器、打印机等）两种。（4）存储媒体（StorageMedium）存储媒体用于存储表示媒体，即存放感知媒体数字化后的代码的媒体称为存储媒体，如磁盘、光盘、磁带、半导体存储器等。（5）传输媒体（TransmissionMedium）传输媒体是指用来将表示媒体从一处传递到另一处的物理传输介质，如同轴电缆、双绞线、光纤及其他通信信道。1.1.1媒体的概念

在多媒体技术中所说的媒体一般指感知媒体。常见的感知媒体包括：（1）视觉媒体：图像、图形、符号、视频、动画等。（2）听觉媒体：声音、语音、音乐和音响。（3）触觉媒体：通过直接或间接与人体接触，使人能感觉到对象的位置、大小、方向、方位、质地等性质。

1.1.1媒体的概念1．多媒体关于多媒体（Multimedium）的定义或说法多种多样，从不同的角度出发对多媒体给出了不同的描述，目前仍没有统一的标准。通常所说的多媒体就是各种媒体的综合，也就是声音、图像、动画、视频、文本等各种媒体的综合。“多媒体”常被当作“多媒体技术”的同义词。2．多媒体技术多媒体技术就是利用计算机技术把文本、图像、图形、动画、音频及视频等多种媒体有机地集成起来，使人们能以更加自然的方式使用信息，并与计算机进行交互，且使表现的信息图、文、声并茂。简言之，多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和交互性。1.1.2多媒体与多媒体技术1.2.1声音的基本特性1.2.2声音的主观感觉1.2.3音频信号的数字化

1.2音频信息处理基础声音是机械振动或气流振动引起周围传播媒质（气体、液体、固体等）发生波动的现象，通常将产生声音的发声体称为声源。当声源产生振动时，引起邻近空气的振动。这样空气就随着声源体所振动幅度的不同，而产生密或稀的振动，空气的这种振动被称为声波。声波可以用一条连续的曲线来表示，它可以分解成一系列正弦波的线性叠加。1.2.1声音的基本特性1.频率单位时间内信号振动的次数，单位是赫兹（Hz）。声音的音调由频率决定。声音尖细表示频率高，声音低粗表示频率低。1.2.1声音的基本特性次声波音频信号超声波<20Hz20～20000Hz>20000Hz声音信号按频率划分：2.频谱

声音信号按频率成分组成来分，可分为：纯音：频率单一、振幅随时间按正弦函数规律变化的声音复音：由不同频率和不同振幅的声波组合而成的声音基音：复音中频率最低的成分（分音）谐音：复音中频率与基音成整数倍的分音声音的频谱结构是用基音、谐音数目、各谐音振幅大小及相位关系来描述的。声音的音色就是由其频谱成分决定的。1.2.1声音的基本特性声压由声波引起的交变压强称为声压，一般用P表示，单位是帕（Pa）。声压的大小反映了声音振动的强弱，同时也决定了声波的幅度大小。声压级

用声压的相对大小（称声压级或声强）来表示声压的强弱。声压级用符号SPL

表示，单位是分贝（dB）：

式中，P为声压有效值；Pref为参考声压，一般取Pa，这个数值是人耳所能听到的1kHz声音的最低声压，低于这一声压，人耳就无法觉察出声波的存在了。3.声压及声压级

1.2.1声音的基本特性

人对声音的感知有响度、音调和音色三个主观听感要素。响度：与声波振动的幅度有关音调：取决于声波的基音频率音色：由声波的的频谱成分决定1.2.2声音的主观感觉1.响度：是人耳对声音强弱的主观感觉程度。在客观的度量中，声音的强弱是由声波的振幅（声压）决定的。但响度与声波的振幅并不完全一致。响度不仅取决于振幅的大小，还取决于频率的高低。响度用符号N表示，单位是宋(sone)。国际上规定，频率为1kHz的纯音在声压级为40dB时的响度为1宋（sone）。另外，响度的大小与距声源的距离有关，同一声音离声源越近，响度越大。

1.2.2声音的主观感觉2.响度级：人耳对声音强弱的主观感觉还可以用响度级来表示。响度级的单位为方（phon）。规定1kHz纯音声压级的分贝数定义为响度级的数值。响度／sone1248163264128256声压级／dB405060708090100110120响度级／phon405060708090100110120表1-1声压级与响度、响度级的关系1.2.2声音的主观感觉3.听阈与痛阈听阈：当声音减弱到人耳刚刚可以听见时，此时的声音强度称为最小可听阈值，简称为“听阈”或“闻阈”。一般以1kHz纯音为准进行测量，人耳刚能听到的声压级为0dB（通常大于0.3dB即有感受）。痛阈：当声音增强到使人耳感到疼痛时，这个听觉阈值称为“痛阈”。仍以1kHz纯音为准来进行测量，使人耳感到疼痛时的声压级约达到130~140dB左右。1.2.2声音的主观感觉4.音调音调也称音高，表示人耳对声音调子高低的主观感受。声音越低沉，音调越低；声音越尖细，音调越高。音调的高低是由发声体振动的频率决定的，频率越高，音调越高；频率越低，音调越低。物体的振动频率与发声体的结构有关，一般而言，大而长的物体振动频率低，小而短的物体振动频率高；物体绷得越紧，振动频率越高；物体越薄、越细，振动频率越高。音调单位是“美（Mel）”。频率为1kHz、声压级为40dB的纯音所产生的音调就定义为1Mel。音调大体上与频率的对数成正比。1.2.2声音的主观感觉声音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。数字化实际上就是对模拟信号进行采样、量化和编码。模/数转换1101110011001101把声音(模拟量)按照固定时间间隔，转换成有限个数字表示的离散序列1.2.3音频信号的数字化采样（Sampling）：每隔一定的时间间隔，抽取信号的一个瞬时幅度值（样本值），即在时间上将模拟信号进行离散化。采样后所得到的一系列在时间上离散的样本值称为样值序列。1.2.3音频信号的数字化量化（Quantization）：对每个样值的连续幅度进行离散化，即用有限个幅度值近似原来连续变化的幅度值，把模拟信号的连续幅度变为有限数量、有一定间隔的离散值。均匀量化（线性量化）：量化器的每个量化间隔都相等，量化电平取各量化区间的中间值。非均匀量化（非线性量化）：量化器的各个量化间隔是不相等的。1.2.3音频信号的数字化编码（Encoding）：采样、量化后的信号还不是数字信号，需要把它转换成数字编码脉冲，这一过程称为编码。最简单的编码方式是二进制编码。具体说来，就是用n比特二进制码来表示已经量化了的样值，每个二进制数对应一个量化电平，然后把它们排列，得到由二值脉冲组成的数字信息流。1.2.3音频信号的数字化1.2.4人耳听觉效应人耳的听觉系统人耳听觉的特性1）掩蔽效应2）双耳效应3）颅骨效应4）鸡尾酒会效应5）回音壁效应6）多普勒效应7）哈斯效应1.2.5音頻信号质量评价頻带宽度动态范围信噪比主观度量法表格1-1声音质量和数据率质量采样频率（kHz）样本精度（b/s）声道数数据率（kb/s）频率范围（Hz）频宽（kHz）电话88单声道64200～34003.2AM11.0258单声道88.250～70007FM22．0516立体声705.620～1500015CD44.116立体声1411.220～2000020DAT4816立体声1536.020～2000020

表格1-2几种音频业务的动态范围音频效果AMFM数字电话CD、DAT动态范围（dB）4060501001.1多媒体的基本概念1.2音频信息处理基础1.3图像信息处理基础第1章多媒体信息处理基础1.3.1图像信号的数字化

1.3.2三基色原理1.3.3典型的颜色空间模型及转换关系1.3图像信息处理基础

彩色图像信号一般表示为式中，x、y、z

表示空间某个点的坐标；λ为光的波长；t为时间轴坐标。当

t=t0（常数）时，则表示静态图像；当

z=z0

（常数）时，则表示二维图像；当λ=λ0（常数）时，则表示单色图像。由三基色原理知，其中

1.3.1图像信号的数字化1.图像信号的表示1.3.1图像信号的数字化2.图像信号的采样图像采样就是将二维空间上模拟的连续亮度（即灰度）或彩色信息，转化为一系列有限的离散数值来表示。采样就是对图像在水平方向和垂直方向上进行等间隔的采样，每个采样点组成图像的基本单位，称为像素（pixel）。在进行采样时，采样点间隔的选取是一个重要的问题，它决定了采样后的图像是否能真实地反映原图像的程度。一般来说，采样间隔越大，所得图像像素数越少，空间分辨率低，图像质量差，严重时出现马赛克效应；采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但数据量大。(a)256×256(b)128×128(c)32×32(d)16×16

采样点数与图像质量之间的关系1.3.1图像信号的数字化模拟图像经过采样后，在时间和空间上离散化为像素。

p.s.采样所得的像素值（灰度级）仍是一个有无穷多个取值的连续量。量化是指将具有无限多个取值的样值用有限个离散值来表示的过程。3.图像信号的量化1.3.1图像信号的数字化

用有限个离散灰度值表示无穷多个连续灰度的量必然引起误差，称为量化误差，有时也称为量化噪声。量化分层越多，则量化误差越小。对于不同的图像，量化方法分为两种：等间隔量化（均匀量化或线性量化）非等间隔量化

等间隔量化就是简单地把采样值的灰度范围等间隔地分割并进行量化。对于像素灰度级在黑-白范围分布较均匀的图像，这种量化方法可以得到较小的量化误差。1.3.1图像信号的数字化一幅图像在采样时，行、列的采样点与量化时每个像素量化的级数，既影响数字图像的质量，也影响到该数字图像数据量的大小。假定图像取M×N个采样点，每个像素量化后的灰度二进制位数为Q，一般Q总是取为2的整数幂，即Q=2k,则存储一幅数字图像所需的字节数B为4.采样与量化精度对图像质量的影响

1.3.1图像信号的数字化对一幅图像，当量化级数Q一定时，采样点数M×N对图像质量有着显著的影响。采样点数越多，图像质量越好；当采样点数减少时，图上的块状效应就逐渐明显。(a)256×256(b)128×128(c)32×32(d)16×16

采样点数与图像质量之间的关系1.3.1图像信号的数字化当图像的采样点数一定时，采用不同量化级数的图像质量也不一样。量化级数越多，所得图像层次越丰富，图像质量越好，但数据量大；量化级数越少，图像层次欠丰富，图像质量越差，会出现假轮廓现象，但数据量小。量化级数最小的极端情况就是二值图像（即非黑即白，灰度级没有中间过渡的图像）。1.3.1图像信号的数字化

从数字图像的获取过程可以知道，一幅采样图像由M（行）、N（列）个采样点组成，每个采样点（像素）是组成图像的基本单位。黑白图像的像素只有1个亮度值，彩色图像的像素是矢量，它由多个彩色分量组成，一般有3个分量：R（红）、G（绿）、B（蓝），因此，采样图像在计算机中的表示方法是：单色图像用一个矩阵来表示；彩色图像用一组（一般是3个）矩阵来表示，矩阵的行数称为图像的垂直分辨率，列数称为图像的水平分辨率，矩阵中的元素是像素颜色分量的亮度值，使用整数表示。1.3.1图像信号的数字化

一幅M×N的数字图像可用矩阵表示为

数字图像中的每个像素都对应于矩阵中相应的元素。把数字图像表示成矩阵的优点在于，能应用矩阵理论对图像进行分析处理。数字图像的表示1.3.1图像信号的数字化

(a)256级灰度图象(b)子图(c)子图对应的量化数据

数字图像实例1.3.1图像信号的数字化1.3.2三基色原理三种基色必须是相互独立的，即任一种基色都不能由其他两种基色混合得到。自然界中绝大多数的彩色可以分解为三基色，三基色按一定比例混合，可得到自然界中绝大多数彩色。混合色的色调和饱和度由三基色的混合比例决定，混合色的亮度等于三种基色亮度之和。1.RGB颜色空间模型在RGB模型中，颜色空间里所有的颜色都是由R、G、B

(红、绿、蓝)三种光依不同的比例相加而成。RGB的每一色光，含有亮度成分，例如R的成分越多，表示越红越亮。各色光混合后，会比原来单独的色光还亮，称为相加混色；适合在以主动光源显示影像的场合使用，如电视、电脑、投影等。1.3.3典型的颜色空间模型及转换绿(0,1,0)青(0,1,1)黄(1,1,0)黑(0,0,0)蓝(0,0,1)品红(1,0,1)白(1,1,1)红(1,0,0)1.3.3典型的颜色空间模型及转换相加混色RGB颜色000黑001蓝010绿011青100红101品红110黄111白2.CMY/CMYK颜色空间模型在彩色印刷、彩色胶片和绘画中的混色采用相减混色。彩色印刷或彩色打印的纸张是不能发射光线的，因而印刷机或彩色打印机就只能使用一些能够吸收特定的光波而反射其他光波的油墨或颜料。任何一种由颜料呈现的颜色都可以用青（Cyan）、品红（Magenta）和黄（Yellow）这三种基色按不同的比例混合而成，我们称这种颜色空间为CMY颜色空间。由于彩色墨水和颜料的化学特性，用等量的CMY三基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色墨水（BlackInk）