多媒体信息处理基础

1、1 1、国际电话电报咨询委员会（、国际电话电报咨询委员会（ CCITT CCITT ）把媒体分几类？）把媒体分几类？2 2、影响位图文件大小的因素有哪些？、影响位图文件大小的因素有哪些？3 3、动画与视频的区别是什么？、动画与视频的区别是什么？4 4、声音按频率成分组成来分，可分为哪几类？、声音按频率成分组成来分，可分为哪几类？5 5、声音的频谱结构怎么描述？、声音的频谱结构怎么描述？6 6、通常所说的声音多少、通常所说的声音多少“分贝分贝”，是指什么？，是指什么？7 7、三个主观听感要素是什么？、三个主观听感要素是什么？8 8、声音的音色是由什么决定的？、声音的音色是由什么决定的？9 9、决

2、定响度（声响）的因素有哪些？、决定响度（声响）的因素有哪些？10.10.人类可听见的声音频率范围是多少？人类可听见的声音频率范围是多少？内容回顾内容回顾n1.1 多媒体的基本概念多媒体的基本概念n1.2 音频信息处理基础音频信息处理基础n1.3 图像信息处理基础图像信息处理基础n1.4 视频信号的数字化视频信号的数字化n1.5 MATALAB在图像处理中的应用在图像处理中的应用第第1章章 多媒体信息处理基础（二）多媒体信息处理基础（二）1.2.3 音频信号的数字化音频信号的数字化声源声源声波声波传声器传声器模拟电信号模拟电信号数字声音数字声音模模/数转换数转换n声音信号是典型的连续信号，不仅在

3、声音信号是典型的连续信号，不仅在时间上是连续的时间上是连续的，而且在而且在幅度上也是连续的幅度上也是连续的。1.2.3 音频信号的数字化音频信号的数字化(a) 模拟音频信号(c) 采样信号的量化(a) 模拟音频信号(b) 音频信号的采样数字化实际上就是对模拟信号进行数字化实际上就是对模拟信号进行采样采样、量化量化和和编码。编码。数字化音频的过程如下图所示：1.2.3 音频信号的数字化音频信号的数字化n采样（采样（Sampling）：）：每隔一定的时间间隔，抽取信每隔一定的时间间隔，抽取信号的一个瞬时幅度值（样本值），即在时间上将模号的一个瞬时幅度值（样本值），即在时间上将模拟信号进行离散化。采

4、样后所得到的一系列在时间拟信号进行离散化。采样后所得到的一系列在时间上离散的样本值称为样值序列。上离散的样本值称为样值序列。n奈奎斯特（奈奎斯特（Nyquist）采样定理：）采样定理：只要采样频率只要采样频率大于大于或等于声音信号最高频率的两倍（或等于声音信号最高频率的两倍（ fs2fmax ），），就就可以通过理想低通滤波器，从样值序列中无失真地可以通过理想低通滤波器，从样值序列中无失真地恢复原始模拟信号。也就是说，在满足奈奎斯特采恢复原始模拟信号。也就是说，在满足奈奎斯特采样定理的条件下，在时间上离散的样值序列包含有样定理的条件下，在时间上离散的样值序列包含有采样前模拟信号的全部信息。采样

5、前模拟信号的全部信息。n常用音频采样频率常用音频采样频率：8kHz、11.025kHz、22.05kHz、32kHz、44.1kHz、48kHz、96kHz1.2.3 音频信号的数字化音频信号的数字化n量化（量化（Quantization）：）：对每个样值的连续幅度进对每个样值的连续幅度进行离散化，即用行离散化，即用有限个幅度值有限个幅度值近似原来连续变化的近似原来连续变化的幅度值，把模拟信号的连续幅度变为有限数量、有幅度值，把模拟信号的连续幅度变为有限数量、有一定间隔的离散值。一定间隔的离散值。n均匀量化（线性量化）：均匀量化（线性量化）：量化器的每个量化间隔都相等，量化器的每个量化间隔都相

6、等，量化电平取各量化区间的中间值。量化电平取各量化区间的中间值。n非均匀量化（非线性量化）：非均匀量化（非线性量化）：量化器的各个量化间隔是量化器的各个量化间隔是不相等的。不相等的。1.2.3 音频信号的数字化音频信号的数字化均匀量化与非均匀量化均匀量化与非均匀量化n编码（编码（Encoding）：）：采样、量化后的信号还不是数字信号，需采样、量化后的信号还不是数字信号，需要把它转换成数字编码脉冲，这一过程称为编码。要把它转换成数字编码脉冲，这一过程称为编码。1.2.3 音频信号的数字化音频信号的数字化10,20, 4000001010,00010100,00101000量化值量化值二进制编码

7、二进制编码n最简单的编码方式是二进制编码。具体说来，就是用最简单的编码方式是二进制编码。具体说来，就是用n比特二比特二进制码来表示已经量化了的样值，每个二进制数对应一个量化进制码来表示已经量化了的样值，每个二进制数对应一个量化电平，然后把它们排列，得到由二值脉冲组成的数字信息流。电平，然后把它们排列，得到由二值脉冲组成的数字信息流。质量等级采样频率/kHz量化精度/bit声道数数码率/ kbit/s频带/ Hz电话话音88单声道642003400AM11.0258单声道88.2507000FM22.0516双声道705.62015000CD44.116双声道1411.2 2020000DAT4

8、816双声声音质量与数码率的关系声音质量与数码率的关系1.2.3 音频信号的数字化音频信号的数字化n1.1 多媒体的基本概念多媒体的基本概念n1.2 音频信息处理基础音频信息处理基础n1.3 图像信息处理基础图像信息处理基础n1.4 视频信号的数字化视频信号的数字化n1.5 MATALAB在图像处理中的应用在图像处理中的应用第第1章章 多媒体信息处理基础多媒体信息处理基础n1.3.1 光的颜色与彩色三要素光的颜色与彩色三要素n1.3.2 三基色原理三基色原理n1.3.3 典型的颜色空间模型及转换关系典型的颜色空间模型及转换关系n1.3.4 图像信号的数字化图像信号的数

9、字化 1.3 图像信息处理基础图像信息处理基础 光是一种电磁波。光是一种电磁波。 电磁辐射的波长范围很宽，按波长从长电磁辐射的波长范围很宽，按波长从长到短的顺序排列，依次是无线电波、红外到短的顺序排列，依次是无线电波、红外线、可见光、紫外线、线、可见光、紫外线、X X射线和宇宙射线等。射线和宇宙射线等。 图图1-31-3是按波长的顺序排列的电磁波谱。是按波长的顺序排列的电磁波谱。 1.3.1 光的颜色与彩色三要素光的颜色与彩色三要素图图1-3 1-3 电磁波谱电磁波谱n波长在波长在380380780nm780nm范围内的电磁波能够使人眼产生颜色感觉，范围内的电磁波能够使人眼产生颜色感觉，称为称

10、为可见光可见光。可见光在整个电磁波谱中只占极小的一段。可见光在整个电磁波谱中只占极小的一段。1.3.1 光的颜色与彩色三要素光的颜色与彩色三要素彩色三要素彩色三要素：亮度亮度、色调色调和和色饱和度。色饱和度。亮度亮度反映光的明亮程度。反映光的明亮程度。彩色光辐射的功率越大，亮度越高，反之亮度越低。彩色光辐射的功率越大，亮度越高，反之亮度越低。不发光物体的亮度取决于它反射光功率的大小。不发光物体的亮度取决于它反射光功率的大小。若照射物体的光强度不变，物体的反射性能越好，物体越若照射物体的光强度不变，物体的反射性能越好，物体越明亮，反之越暗。对于一定的物体，照射光越强，明亮，反之越暗。对于一定的物

11、体，照射光越强， 物体物体越明亮，反之越暗。越明亮，反之越暗。 1.3.1 光的颜色与彩色三要素光的颜色与彩色三要素 色调色调反映彩色的类别，反映彩色的类别，例如例如红红、橙橙、黄黄、绿绿、青青、蓝蓝、紫紫等不同颜色。等不同颜色。 发光物体的色调由光的发光物体的色调由光的波长决定，不同波长的波长决定，不同波长的光呈现不同的色调；光呈现不同的色调； 不发光物体的色调由照不发光物体的色调由照明光源和该物体的吸收、明光源和该物体的吸收、反射或透射特性共同决反射或透射特性共同决定。定。 色饱和度色饱和度反映彩色光的深浅程度。同一色调的反映彩色光的深浅程度。同一色调的彩色光，会给人以深浅不同的感觉，彩色

12、光，会给人以深浅不同的感觉，深红、深红、 粉粉红红是两种不同饱和度的红色，是两种不同饱和度的红色，深红色饱和度高深红色饱和度高，粉红色饱和度低。粉红色饱和度低。 1.3.1 光的颜色与彩色三要素光的颜色与彩色三要素1.3.2 三基色原理三基色原理n根据人眼的视觉特性，在电视机中重现图像时并不要求完根据人眼的视觉特性，在电视机中重现图像时并不要求完全重现原景物反射或透射光的光谱成分，而应获得与原景全重现原景物反射或透射光的光谱成分，而应获得与原景物相同的彩色感觉。物相同的彩色感觉。n因此仿效人眼三种锥状细胞，可以选择三种基色，将它们因此仿效人眼三种锥状细胞，可以选择三种基色，将它们按不同比例进行

13、组合，可得到自然界中绝大多数的彩色。按不同比例进行组合，可得到自然界中绝大多数的彩色。这三种基色必须是相互独立的，即任一种基色都不能由其这三种基色必须是相互独立的，即任一种基色都不能由其他两种基色混合得到。他两种基色混合得到。n混合色的色调和饱和度由三基色的混合比例决定，混合色混合色的色调和饱和度由三基色的混合比例决定，混合色的亮度等于三种基色亮度之和。的亮度等于三种基色亮度之和。n因为人眼的三种锥状细胞对因为人眼的三种锥状细胞对红光红光、绿光绿光和和蓝光蓝光最敏感，所以最敏感，所以在在红色红色、绿色绿色和和蓝色蓝色光谱区中选择三个基色按适当比例混色光谱区中选择三个基色按适当比例混色可得到较多

14、的彩色。在彩色电视中，选用了可得到较多的彩色。在彩色电视中，选用了红红、 绿绿、 蓝蓝作为作为三基色，分别用三基色，分别用R、 G、 B来表示。来表示。波长为波长为700 nm的红光为红基色的红光为红基色R(红红)波长为波长为546.1nm的绿光为绿基色的绿光为绿基色G(绿绿)波长为波长为435.8nm的蓝光为蓝基色的蓝光为蓝基色B(蓝蓝)1. RGB颜色空间模型颜色空间模型n在在RGB模型中，颜色空间里所有的颜色都是由模型中，颜色空间里所有的颜色都是由R、G、B ( (红、绿、蓝红、绿、蓝) )三种光依不同的比例相加而三种光依不同的比例相加而成。成。nRGB的每一色光，含有亮度成分，例如的每

15、一色光，含有亮度成分，例如R的成分的成分越多，表示越红越亮。各色光混合后，会比原来越多，表示越红越亮。各色光混合后，会比原来单独的色光还亮，称为单独的色光还亮，称为相加混色相加混色；n适合在以主动光源显示影像的场合使用，如电视、适合在以主动光源显示影像的场合使用，如电视、电脑、投影等。电脑、投影等。绿绿(0,1,0)(0,1,0)青青(0,1,1)(0,1,1)黄黄(1,1,0)(1,1,0)黑黑(0,0,0)(0,0,0)蓝蓝(0,0,1)(0,0,1)品红品红(1,0,1)(1,0,1)白白(1,1,1)(1,1,1)红红(1,0,0)(1,0,0)相加混色相加混色RGB颜色000黑001

16、蓝010绿011青100红101品红110黄111白2. CMY/CMYK颜色空间模型颜色空间模型n在彩色印刷、彩色胶片和绘画中的混色采用相减混色。在彩色印刷、彩色胶片和绘画中的混色采用相减混色。n彩色印刷或彩色打印的纸张是不能发射光线的，因而印刷彩色印刷或彩色打印的纸张是不能发射光线的，因而印刷机或彩色打印机就只能使用一些能够吸收特定的光波而反机或彩色打印机就只能使用一些能够吸收特定的光波而反射其他光波的油墨或颜料。射其他光波的油墨或颜料。n任何一种由颜料呈现的颜色都可以用任何一种由颜料呈现的颜色都可以用青（青（Cyan）、品红）、品红（Magenta）和黄（）和黄（Yellow）这三种基色

17、按不同的比例混这三种基色按不同的比例混合而成，我们称这种颜色空间为合而成，我们称这种颜色空间为CMY颜色空间。颜色空间。n由于彩色墨水和颜料的化学特性，用等量的由于彩色墨水和颜料的化学特性，用等量的CMY三基色三基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色墨水（正的黑色墨水（Black Ink），于是），于是CMY颜色空间也称为颜色空间也称为CMYK颜色空间。颜色空间。相减混色相减混色C(青色)M(品红)Y(黄色)颜色000白001黄010品红011红100青101绿110蓝111黑n RGB CMYBGR111YMCRGB和

18、和CMY值都归一到值都归一到0，1nYUV是是PAL（Phase Alternating Line，逐行倒相）制彩，逐行倒相）制彩色电视系统所采用的一种颜色空间模型。其中，色电视系统所采用的一种颜色空间模型。其中， （1）Y表示明亮度（Luminance或Luma），也就是灰阶值； （2）U和V 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色； （3）U表示蓝色色差（即B-Y），V代表红色色差（R-Y） 3. YUV颜色空间模型颜色空间模型大面积着色原理大面积着色原理（1）Y分量描述黑白图像 （2）V分量描述的图像 （3）U分量描述的图像

19、 （4）YUV三幅合成得到的正常图像 由此得出：由此得出：Y Y分量是黑白轮廓图像，分量是黑白轮廓图像，UVUV分量很模糊，只是大约分量很模糊，只是大约描述了整块的色彩，这就是描述了整块的色彩，这就是“大面积着色原理大面积着色原理”。 n采用采用YUV色彩空间的重要性：色彩空间的重要性：n亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，表示的图为黑白灰度图。解决彩色电视和黑白电视兼容的问题。n由于人眼对彩色的敏感度低于对亮度的敏感度的视觉特性，并基于“大面积着色原理”，可用较窄的频带传送U、V信号，优化彩色电视信号的传输。n RGB YUVVUY0032.21581.0

20、395.01140.101BGRBGR100.0515.0615.0437.0289.0148.0114.0587.0299.0VUYnYIQYIQ颜色空间是由颜色空间是由YUVYUV推导而来，是推导而来，是NTSC NTSC 制彩色电视系统所采用的一制彩色电视系统所采用的一种颜色空间模型；种颜色空间模型；nYIQYIQ系统中，系统中，Y Y分量代表图像的亮度分量代表图像的亮度信息，信息，I I、Q Q两个分量则携带颜色信两个分量则携带颜色信息，息，I I分量代表从橙色到青色的颜分量代表从橙色到青色的颜色变化，而色变化，而Q Q分量则代表从紫色到分量则代表从紫色到黄绿色的颜色变化黄绿色的颜色变

21、化。 nI I、Q Q是通过将是通过将U U、V V轴逆时针旋转轴逆时针旋转3333度获得的度获得的。 I = V I = V* *cos33cos33。-U U* *sin33sin33。 Q = V Q = V* *sin33sin33。+U+U* *cos33cos33。4. YIQ颜色空间模型颜色空间模型YIQ颜色模型的优点颜色模型的优点n由人眼彩色视觉的特性表明，人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝、紫之间颜色变化的能力最弱。通过一定的变化，I对应于人眼最敏感的色度，而Q对应于人眼最不敏感的色度。这样，传送Q可以用较窄的频带，而传送分辨率较强的I信号时，可以用较宽的频带。n

22、 RGB YIQQIY703.1106.11647.0272.01621.0956.01BGRBGR312.0523.0211.0322.0274.0596.0114.0587.0299.0QIYn由由YUVYUV颜色空间派生的一种颜色空间模型，其中颜色空间派生的一种颜色空间模型，其中Y Y是指亮度是指亮度分量，分量，CbCb指蓝色色度分量，而指蓝色色度分量，而CrCr指红色色度分量。指红色色度分量。nYCbCrYCbCr主要用于数字电视系统，是主要用于数字电视系统，是DVDDVD、摄像机、数字电视、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。等消费类视频产品中，常用的色彩编码方案

23、。YCbCr YCbCr 有时有时会称为会称为 YCCYCC。 nYCbCrYCbCr不是一种绝对色彩空间，是不是一种绝对色彩空间，是YUVYUV压缩和偏移的版本。压缩和偏移的版本。5. YCbCr颜色空间模型颜色空间模型128Cr128CbY077200. 1171414. 034414. 01040200. 11BGR1BGR10001280813. 04187. 05000. 01285000. 03313. 01687. 001140. 05870. 02990. 01CrCbYRGB YCbCrnHSV(hue, saturation and value)的缩写的缩写nA. R. S

24、mith根据颜色的直观特性于根据颜色的直观特性于1978年创建的年创建的, 也称六也称六角锥体模型角锥体模型(hexcone model)nHSV的表示方法的表示方法n色调（色调（H）：用角度度量，）：用角度度量，0360。红色为。红色为0，按逆时针方向计算，绿色为按逆时针方向计算，绿色为120，蓝色为，蓝色为240n饱和度（饱和度（S）：取值范围为）：取值范围为0.01.0n亮度值（亮度值（V）：取值范围为）：取值范围为0.0(黑色黑色)1.0(白色白色) 6. HSV颜色空间模型颜色空间模型图1-7 HSV颜色空间 RGBRGB与与HSVHSV互转的算法互转的算法nHSVHSV和和RGBR

25、GB之间没有转换矩阵，但可对它们之间的转换算法之间没有转换矩阵，但可对它们之间的转换算法进行描述进行描述n max=max(R,G,B)max=max(R,G,B) min=min(R,G,B) min=min(R,G,B) if R = max, H = (G-B)/(max-min) if R = max, H = (G-B)/(max-min) if G = max, H = 2 + (B-R)/(max-min) if G = max, H = 2 + (B-R)/(max-min) if B = max, H = 4 + (R-G)/(max-min) if B = max, H =

26、 4 + (R-G)/(max-min) H = H H = H * * 60 60 if H 0, H = H + 360 if H 0, H = H + 360 V=max(R,G,B) V=max(R,G,B) S=(max-min)/max S=(max-min)/max HSVHSV转化到转化到RGBRGB的算法的算法 if s = 0，R=G=B=V else H /= 60; i = INTEGER(H) f = H - i a = V * ( 1 - s ) b = V * ( 1 - s * f ) c = V * ( 1 - s * (1 - f ) ) switch(i)

27、 case 0: R = V; G = c; B = a; case 1: R = b; G = v; B = a; case 2: R = a; G = v; B = c; case 3: R = a; G = b; B = v; case 4: R = c; G = a; B = v; case 5: R = v; G = a; B = b; nHSI (hue, saturation and HSI (hue, saturation and IntensityIntensity) )的缩写的缩写nHSIHSI模型是美国色彩学家孟塞尔模型是美国色彩学家孟塞尔(H.A.Munseu)(H.A.Munseu)于于19151915年提年提出的，它反映了人的视觉系统感知彩色的方式，以色调、出的，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和强度三种基本特征量来感知颜色。饱和度和强度三种基本特征量来感知颜色。n色调色调H(Hue)H(Hue)：与光波的波长有关，它表示人的感官对不同：与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。围的颜色，如暖色、冷色等。n饱和度饱和度S(Saturati