多媒体技术第三章教材

第3章音频、视频信号及数字化

3.1音频信号及数字化

3.1.1声音与听觉器官1．声音的产生

声音是指通过一定介质（如空气、水等）传播的一种连续波，其本质是机械振动或气流扰动引起周围弹性媒质发生波动的现象，它是一个随着时间连续变化的模拟信号，在物理学中称为声波。声波具有普通波所具有的特性，即反射（Reflection）、折射（Refraction）和衍射（Diffraction）2．声音的几个重要指标（1）基准线——提供模拟信号的基准点。（2）振幅（Amplitude）——波的高低幅度，表示声音的强弱。（3）周期（Period）——两个相邻波之间的时间长度。（4）频率（Frequency）——每秒钟振动的次数，以Hz为单位。基准线O周期振幅At声音的重要指标

3．

声音信号的分类音频(Audio)信号亚音信号，或称为次音信号(subsonic)超音频信号，或称超声波(ultrasonic)信号（应用）话音(speech)信号（300～3000Hz）人的发音器官发出的声音频率大约是80～3400Hz。在多媒体技术中，处理的信号主要是音频信号，它包括音乐、话音、自然声等。

4．声音的三要素声音的三要素为音调、音色和音强。就听觉特性而言，这三者决定了声音的质量。1）音调——代表声音的高低。音调与频率有关，频率越高，音调越高，反之亦然。当人们提高唱盘的转速时，声音频率提高，音调也提高。当使用音频处理软件对声音进行处理时，频率的改变可造成音调的改变。2）音强——代表声音的强度，也称“响度”，“音量”是指音强。音强与声波的振幅成正比，振幅越大，强度越大。定量描述声音强弱的方式有多种，声压和声压级就是其中的两种形式。3）音色——具有特色的声音，它与声波的形状有关，是由混入基音的泛音决定。通常的声音分为纯音和复音两种类型。所谓纯音，是指振幅和周期均为常数的声音，一般只会出现在专用的电子设备中；复音则是具有不同频率和振幅的混合音，大自然中的声音大部分是复音。复音中最低的频率称为基频，即“基音”，它是声音的基调。其他频率复音称为“谐音”，也叫泛音，复音中的基频和谐音决定了复音的音质和音色。各种声源都有自己独特的音色，如各种乐器、不同的人、各种生物等，即使在同一音高和同一声音强度的情况下，人们也能根据音色辨别声源种类。第3章音频、视频信号及数字化

3.1音频信号及数字化

3.1.2

音频信号及其相关概念

1．声压（P）

声波引起某处媒质压强的变化量称为该处的声压。（单位为Pa（帕斯卡），即牛顿/米2是压强的量纲）也就是说：有声波时该处的压强值与没有声波时该处的压强值的差值2．声压级（SPL）由于人耳对声音强弱的感觉并不与声压的大小成线性关系，而是大体上与声压有效值的对数成正比。因此，为了适应人类听觉的这一特性，通常对声压的有效值取对数，用其对数值来表示声音的强弱即声压级。rmsrefPPSPLlg20=

3.1.2

音频信号及其相关概念

（单位用分贝dB）

Prms----计量点的声压有效值

Pref----零声级的参考声压值（Pref=2×10-5帕）a.Pref为具有正常听力的年轻人对1kHz的声音刚好能察觉的声压值。b.声压级实际上是一种相对量，是某点的声压与零声压的比，是描述声音变化的动态范围的物理量第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2音频信号及其相关概念

3.音频与音高音频是指声音信号的频率;音高则是指音调的高低。人对于声音频率的感觉表现为音调的高低。音高与声音频率的关系也大体上呈对数关系。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2音频信号及其相关概念

4．音频带宽

20Hz～20kHz是人类的听觉频带①人耳对不同频率的敏感程度有很大差别。②中频段（2kHz～4kHz）最为敏感，幅度很低的信号都能被人耳听到。③低频区和高频区较不敏感，能被人耳听到的信号幅度比中频段要高得多。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2音频信号及其相关概念

5.响度与响度级响度是指人类所感受到声音大小的程度，而响度级则是以1kHz信号的声压级数定义的响度的数值，单位是“方”（Phon）。注：声压级是客观量，而响度级则是主观量。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2

音频信号及其相关概念

6．等响度曲线具有相等响度的不同频率的点连接起来构成的一条条曲线被称为等响度曲线第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2

音频信号及其相关概念

注：每条曲线上的各点响度相同但声压级不同。

7．绝对听阈

在安静环境中，能被人耳听到的纯音的最小值(该曲线为0方响度级等响度曲线,即该曲线在1kHz时声压级为0db)第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2音频信号及其相关概念

注：在绝对听阈曲线以下的各种声音将不能被人耳察觉。

掩蔽听阈:频域中的一个强音会掩蔽与之同时发声的附近的弱音。

第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2

音频信号及其相关概念

注:①某一频率强音的存在会改变其附近的绝对听阈曲线,而改变部分称为掩蔽听阈曲线。②改变后的听阈曲线以下的各种声音将不能被人耳察觉。1．模拟信号

从时间上以及幅值上都连续（不间断）变化的信号称为模拟信号第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2模拟信号与数字信号注:①模拟信号强调在时间上的连续性。②模拟信号强调在幅值上的连续性。③计量和描述方式，一般采用十进制数。2．数字信号

在时间上和幅值上都是离散（不连续）的信号称为数字信号。

第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2模拟信号与数字信号注：①数字信号强调在时间上和幅值上都不连续。②数字信号的描述方式采用二进制数量来表示。③二进制数与数字信号是两个概念，前者只是对后者的一种描述，在数字信号中强调的是状态。④正逻辑是人们用“1”表示有脉冲或电源接通，而用“0”表示无脉冲或电源断开。⑤二进制与十进制的关系：第3章音视频信号及数字化

3.1音频信号及数字化

3.1.2模拟信号与数字信号D=Σbi

2

in-1i=0仅从三个方面分析1.音频信号的动态范围①实际声场中声音强弱的变化达120dB。②传统的模拟音响设备的动态范围：采用模拟信号处理方式记录和重放音频信号。比如：磁带录音机等，其动态范围不会超过60dB。③数字音响设备的动态范围。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.3为什么要数字化

采用16bit量化(如16位声卡)，则声音的强弱范围就可划分成：个等级，因而动态范围可达。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.3为什么要数字化

结论：数字系统的音频信号动态范围比模拟系统提高了近一倍。这也是CD技术之所以获得高水准的音质的重要原因。20lg216=96(dB)2.噪声容限（对噪声的承受能力）①传统的音响设备的失真情况在重放时，由于失真、噪声、电机转速不匀等原因，重放效果大打折扣。②数字音响设备的失真情况数字系统只要能识别码的长短或脉冲的有无，即可再现出原来的信号。结论：数字信号的噪声容限比较高

第3章音视频信号及数字化

3.1音频信号及数字化

3.1.3为什么要数字化

3.与计算机的兼容性多媒体是以计算机控制为基础的，而计算机处理、存储的都是数字信息，即“0”、“1”信号，所以在多媒体中的音频、视频信号必须是数字信号。

第3章音视频信号及数字化

3.1音频信号及数字化

3.1.3为什么要数字化

①动态范围大。若采用16bit量化方法，音频信号的幅度可分为65536个量化级，动态范围达96dB。②信息易处理。可以通过计算机对音频、视频信号进行各种特技及非线性编辑。③媒体易保存。使用时间长，采用数字化的光盘，重放时不存在机械磨损，使用寿命长。④成本低。数字化信息便于大规模集成电路的存储和处理，可降低成本。⑤可靠性高。数字信号只要求脉冲的有无，而不依赖信号的幅值大小，对硬件一致性和稳定性要求下降了许多，从而提高了可靠性。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.4数字化的特点1．模拟信号的数字化将模拟信号转变成数字信号的处理过程称为模拟信号的数字。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.5数字化方法（三步曲）2．模拟信号的数字化方法①采样：以适当的时间间隔观测模拟信号波形幅值的过程叫采样。②量化：将采样时刻的信号幅值归整（四舍五入）到与其最接近的整数标度叫做量化。③编码：将量化后的整数,用一个二进制数码序列来表示叫做编码。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.5数字化方法（三步曲）采样周期

两次采样的时间间隔大小叫做采样周期,用Ts表示2.采样频率

单位时间内的采样次数.用fs表示.并有:第3章音视频信号及数字化

3.1音频信号及数字化

3.1.6采样定理及音频采样频率标准fs=1Ts3.采样频率的选择

①与采样精度和采样后的数据量大小有关。在单位时间内采样次数越多,则对信号的描述越细腻,越接近真实信号，即采样频率fs应尽量高。但一味提高采样频率，增大数据量，给数据处理带来了麻烦，增加了技术实现上的困难。

②与被测信号的变化速度有关。

在过短的时间里反复测量体温或是河流水位的变化是完全没有必要的。这就是说，采样频率的选择必须考虑被采样信号变化的快慢程度,fs是一个相对值。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.6采样定理及音频采样频率标准4.采样定理采样频率fs必须高于被采样信号所含最高频率的两倍。该定理指出：当对连续变化的信号波形进行采样时，若采样频率fs高于该信号所含最高频率的两倍，那么可以由采样值通过插补技术正确地恢复原信号的波形，否则将会引起频谱混叠（Aliasing）产生混叠噪声（AliasingNoise）,而重叠的部分是不能恢复。这一定理不仅适用于模拟音频信号，也同样适用于模拟视频信号的采样。第3章音视频信号及数字化

3.1音频信号及数字化

3.1.6采样定理及音频采样频率标准量化过程对非整数的采样值整数化（四舍五入）的过程2.量化级

对满幅度信号所取的量化份数为量化级3.量化级差量化分度的最小单位称为量化级差，用△表示第3章音视频信号及数字化

3.1音频信号及数字化

3.1.7量化4.量化误差（量化噪声）由四舍五入所引起的输入信号样值与量化后输出值的差，叫做量化误差，也称为量化噪声(N)。

由于量化值是在对应量化级内四舍五入得到的，所以量化误差应不大于：│N│＜△/2第3章音视频信号及数字化

3.1音频信号及数字化

3.1.7量化5.音频信号的量化位数CD和VCD中的音频采用16bit量化器6.音频码率

码率:为单位时间内传输的数据bit数。如以CD为例音频码率：R=44.1×103×16×2=1.41×106

b/s第3章音视频信号及数字化

3.1音频信号及数字化

3.1.7量化7.均匀量化均匀量化就是采用相同的“等分尺”来度量采样得到的幅度，也称为线性量化，如下图所示。8.非均匀量化非线性量化的基本想法是，对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔，如图3-09所示。这样就可以在满足精度要求的情况下用较少的位数来表示。

9数字音频的存储量：

可用以下公式估算声音数字化后每秒所需的存储量（未经压缩的）存储量=采样频率×量化位数÷8

例如，数字激光唱盘（CD-DA）的标准采样频率为44.1kHz，量化位数为16位，立体声。一分钟CD-DA音乐所需的存储量为:

44.1K×16×2×60÷8=10584KB若使用双声道，存储量再增加一倍编码就是把已经量化后的采样值用二进制数码表示出来自然码无符号的二进制代码2.符号-数值码

在自然码最高位（MSB）增加了一个符号位而构成，用以表示数值的正负，一般用“0”表示正，而用“1”表示负，一般用来表示双极性信号。如下图：第3章音视频信号及数字化

3.1音频信号及数字化

3.1.8编码自然码图+127…+64+320-32-64…-12801001010符号-数值码图3.格雷码每增加1个数值时只有一个码元变化的码000001011010110111101100格雷码01234567十进制数第3章音视频信号及数字化

3.1音频信号及数字化

3.1.8编码Windows95/98本身带的“SoundRecorder”买声音卡时带的工具网络上下载的工具

CoolEdit软件

GoldWave软件第3章音视频信号及数字化

3.1音频信号及数字化

3.1.9声音工具

3.1.10声音质量与数据率

质量采样频率(kHz)样本精度(bit/s)单道声/立体声数据率(kB/s)(未压缩)频率范围电话88单道声8200～3400HzAM11.0258单道声11.020～15000HzFM22.05016立体声88.250～7000HzCD44.116立体声176.420～20000HzDAT4816立体声192.020～20000Hz

1.黑白电视的扫描方式第3章音视频信号及数字化

3.2.1模拟黑白视频信号(1)扫描及每帧扫描行数①扫描：按一定规律做周期性的运动称为扫描。②行扫描与帧（或场）扫描：电子束在水平方向的扫描运动称为行扫描，在垂直方向的扫描为帧（或场）扫描。③一帧图像的形成：在视频图像的传送中，是将一帧图像的每一个像素按从左到右，从上到下的顺序逐点扫描传送的，在每一时刻，电子束只打在屏幕的一个像素点上。而全屏效果是通过人眼的惰性，和荧光粉的余辉而产生的。

④扫描正程与逆程：电子束自左往右扫描称为行扫描正程，自右回到左为行扫描逆程。自上而下扫描称为帧（或场）扫描正程，自下回到上为帧（或场）扫描逆程。注：扫描正程时间长,逆程时间短，回扫，应消隐。逆程是为下一个正程做准备。⑤一帧图像的扫描行数：PAL制中1帧分625个扫描行。NTSC制中1帧分525个扫描行。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号（2）逐行扫描与隔行扫描①逐行扫描：在一帧图像中，各扫描行按次序扫描的方式为逐行扫描（显示器一般都采用逐行扫描）。②隔行扫描：在一帧图像中，分别按奇数或偶数扫描行扫描的方式为隔行扫描。

第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号（3）视频图像的场：为提高活动图像的闪烁频率，使人们观看时比较舒适，将一帧图像分为“奇”、“偶”两场，分别传送信号，其中奇数场扫描一帧中1，3，5，…，奇数行。偶数场扫描该帧的2，4，6，…，偶数行。①奇偶两场的扫描行数：把原来一帧625扫描行分为每场312.5行。②奇数场扫描过程：奇数场扫描以整行开始，以半行结束。③偶数场扫描过程：偶数场扫描以半行开始，以整行结束。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号

（a)(b)(c)隔行扫描原理图隔行扫描图像再现示意图第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号

(6)场频与场周期①PAL制帧频为:25Hz,而一帧分为两场,所以场频为:fv=50Hz,场周期为:Tv=1/fv=20ms②

NTSC制帧频为:30Hz,所以场频为:fv=60Hz场周期为:Tv=1/fv=16.67ms(7)行周期与行频:由于场周期为20ms,而每场有312.5行,所以有行周期为:行频为:TsTVHm64312.5==1HzTfHH15625==第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号2.行视频信号（PAL）

行视频信号=图像信号+消隐信号+同步信号第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号ABCDt（d）视频信号黑灰白75%100%25%白电平t1t2t3t4t5图像信号行扫描全程64μs行扫描正程52μst1t2t（a）t（b）t（c）t2t5t3t4同步信号消隐信号75%25%（1）一行全电视信号组成：图像信号、消隐信号、同步信号如上图（a）。（2）负极性图像信号：图像的亮暗与信号电压成反比的图像信号称为负极性信号（我国的电视信号制式，采用的是此种信号）。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号（3）图像信号①时间范围：图像信号在行描扫正程的t1～t2期间，只有52us

，见上图（b）。②幅值大小：为满幅值的12.5%～75%(62.5%)对应着不同灰度的图像（亮条）。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号（4）消隐信号①时间范围：行逆程,即消隐信号（t2～t5）为12us

。（1/5强）t2～t3称为行同步前肩，t4～t5为行同步后肩。②幅值大小：满幅度的75%对应的为黑电平，行逆程（行消隐信号t2～t5）对应的正是这个电平，见上图（c），在此时间内回扫线被消隐掉了。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号(5)同步信号①时间范围：行同步脉冲宽度（t3～t4）为4.7us.②幅值大小：从信号幅值的75%～100%为行同步信号（又称同步头）见上图（d）。第3章音视频信号及数字化

3.2视频信号及数字化

3.2.1模拟黑白视频信号第3章音视频信号及数字化

3.2视频信号及数字化

3.2.2彩色电视基础彩色显象管产生颜色的原理

1.亮度方程（1）

视见度曲线：人眼对能量相等而波长不同的光的视觉反应是不同的。人眼对波长为550纳米的黄绿光灵敏度最高；对红光和紫光较不敏感；而对红外和紫外光则无视觉反应。视见度曲线第3章音视频信号及数字化

3.2视频信号及数字化

3.2.2彩色电视基础

(2)三基色的视见度：等强度的红（R）、绿（G）、蓝（B）单色光给人们的亮度感觉是不一样的。绿色光的亮度最亮，红色光的亮度约为绿色光的亮度的一半，而蓝色光的亮度最弱，约为红色光的三分之一。

(3)亮度方程：设白色光的亮度（Y）为100%，则三基色亮度的百分比为：绿色59%；红色30%；蓝色11%。因此得到亮度方程为：Y=0.30R+0.59G+0.11B第3章音视频信号及数字化

3.2视频信号及数字化

3.2.2彩色电视基础BGRY11.059.030.0++=3.2.2彩色电视基础1）上式中Y只表示亮度，不一定是白光的亮度，也可以是其他颜色光的亮度。2）如果将色度方程和亮度方程结合起来就可得到任意颜色的亮度。如红+绿=黄，则黄光的亮度只有白光的89%，所以在黑白电视中看黄色比白色暗。3）亮度方程说明了景物的亮度和三个基色分量之间的关系，只要知道任何三个量均可求得第四个参量，它对于解决彩色电视信号的传送起着很重要的作用。3.2.2彩色电视基础2．彩色电视传送的基本过程与要求依据三基色的原理，彩色电视信号的传送要求在发送端把彩色图像分解为R、G、B三幅基色图像，再分别将三幅基色图像的光信号转换成电信号ER、EG、EB进行传输。彩色电视中图像色彩的显示要求在接收端把ER、EG、EB三种基色的电信号通过彩色显像管转换成光信号，在荧光屏上呈现出三幅基色图像，再利用“空间”混色法在屏幕上就得到一幅完整的彩色图像。在彩色电视中传送的是构成图像的三基色所对应的电信号ER、EG、EB，但是为了与当时的黑白电视信号兼容，对彩色电视信号的三个分量还有特殊要求。3.2.2彩色电视基础3．亮度信号和色差信号1）亮度信号和亮度方程由于在光电转换中，光信号（YRGB）与电信号（EY、ER、EG、EB）是成正比的线性关系，所以亮度信号EY也可以由ER、EG、EB按亮度方程的规律合成，其中EY是RGB的线性组合，亮度信号公式为：EY=0.30ER+0.59EG+0.11EB。如果假定信号满幅度为1V时，根据以上公式可以得到如下结论：（1）当ER=EG=EB=1V时，EY=1V为白色光的亮度电平。（2）当1V＞ER=EG=EB＞0V时，1V＞EY＞0V为灰色的亮度电平。（3）当ER=EG=EB=0时，EY=0为黑色的亮度电平。（4）当ER≠EG≠EB时，EY对应各种彩色的亮度电平。3.2.2彩色电视基础3．亮度信号和色差信号2）色差信号与色差方程通过上面的讨论可知，除了黑白电视所需的亮度信号EY之外，色度信号可以在三基色信号ER、EG、EB中任选两个作为调制信号。但是为了进一步改善与黑白电视的兼容性，可以使色度信号中不含有亮度信息。现行的三大制式都是选用两个色差信号作为调制信号。色差信号就是基色信号与亮度信号之差，即ER-EY、EG-EY和EB-EY，由于EG-EY的幅值比ER-EY和EB-EY的幅值都小，在传送过程中易受杂波干扰，所以，为了提高信噪比，三大制式都选用红基色信号减去亮度信号（ER-Y）和蓝基色信号减去亮度信号（EB-Y）来传送色度信息。色差方程是由三基色信号的线性组合其公式为：ER-Y=ER-EY=ER-（0.30ER+0.59EG+0.11EB）=0.70ER-0.59EG-0.11EBEB-Y=EB-EY=EB-（0.30ER+0.59EG+0.11EB）=-0.30ER-0.59EG+0.89EB3.2.2彩色电视基础实际上，为了防止过调失真和破坏接收机同步，需要对色差信号进行压缩。在PAL制中有经压缩后的信号公式为：U=0.493EB-Y=-0.147ER-0.289EG+0.436EBV=0.877ER-Y=0.615ER-0.515EG-0.096EB常见视频素材获取的方式有如下几种：1．网络及素材库获取2