第二章音频信息处理ver30

第二章 音频信息处理 1第二章第二章 音频信息处理音频信息处理多媒体技术的特点是 交互式 地 综合处理声文图 信息。在多媒体系统中语音和音乐是不可少的。没有音频的视频是不可接受的。音频和视频同步，才能使视频图像更具真实性。娓娓动听的音乐和解说，会使静态图像变得更加丰富多彩。可视电话、电视会议中的声音更为重要。第二章 音频信息处理 2第二章音频信息处理第二章音频信息处理2.1 声音概述 （重点）2.2 音频信息数字化 （重点）2.3 音频文件的格式2.4 语音压缩编码 （重点）2.5 音乐合成和 MIDI （重点）第二章 音频信息处理 32.1 声音概述声音概述一、 声音及其分类1、声音声音是通过空气传播的一种连续的波， 称为声波 。基本参数频率： 声音的 频率， 体现音调的 高低振幅 ： 声波压力的 大小， 体现声音的 强弱第二章 音频信息处理 42.1 声音概述声音概述 声音信号由许多频率不同的信号组成，是 复合信号。重要参数 带宽 ： 复合信号的频率范围例如： 高保真 (high-fidelityaudio)声音的频率范围为 10Hz 20000Hz，其带宽约为 20KHz。 而视频信号的带宽 是 6MHz。第二章 音频信息处理 52.1 声音概述声音概述2、声音的分类 声音： 无规则的噪音 和 有规则的音频信号 。 音频信号携带的信息可分为：语言、音乐和音效等三类。第二章 音频信息处理 62.1 声音概述声音概述3、声音的三要素音调、音色和音强 是声音的三要素。在任一时刻， 模拟声波 信号曲线都可以分解为一系列 正弦波 的线性叠加。其中 0称为 基频或基音 (最低的音波 )；n* 0称为 0的 n次 谐波分量 或称为 泛音 ，其频率是基频的整数倍。第二章 音频信息处理 72.1 声音概述声音概述 音调在音乐中称为 音高 ，音高是指声波的 基频 。将基频取对数后与人的音高感觉成线性关系，音律中最常见的 12平均律中的音阶划分，就是在频率对数坐标取等分而得来的。 音色取决于声波的 频谱 ，即由混入基音的泛音所决定的。各阶谐波即泛音的幅度比例不同，随时间衰减的程度不同，则音色就不同。若中高频泛音丰富，音色就明亮，如小号；若低频泛音丰富，音色就低沉，如低音贝司。第二章 音频信息处理 82.1 声音概述声音概述 音强取决于声波信号的 强弱程度 ，即与声音信号的幅度成正比。人耳在辨别声音的能力只有在音强适中时才最灵敏。由于人的听觉响应与声音信号强度不是成线性关系，因此一般用声音信号幅度取对数后再乘 20所得值来描述声强，以 分贝（ dB） 为单位，此时称为 音量 。在处理音频信号时，一般用 动态范围 来定义音频信号的相对强度：动态范围 =20log （信号的最大强度 /信号最小强度）单位： dB第二章 音频信息处理 92.1 声音概述声音概述二、音频信号（ 1）语音：具有语言内涵和人类约定成俗的特殊媒体。（ 2）音乐：规范的符号化了的声音。（ 3）音效 (响）：人类熟悉的其他声音，如动物发声、机器产生的声音、自然界的风雨雷电声等。音频的 作用 ： 直接通过讲话表达信息、制造某种效果和气氛、演奏音乐等。第二章 音频信息处理 102.1 声音概述声音概述1、 音频 人类听觉所感知范围内的频率，也称 声频。音频 (Audio):频率范围是 20Hz20KHz的声音信号（人耳能听到）次声波 (subsonic)： 频率低于 20Hz的信号 （ 亚音）超声波 (ultrasonic)：频率高于 20KHz的信号 （ 超音频）说明 1：次声波和超声波 之间 的音频为 可听声波 ， 属于 多媒体音频信息范畴。第二章 音频信息处理 112.1 声音概述声音概述说明 2：人的发音器官发出的声音频率大约是 80 3400Hz，但人说话的信号频率通常为 300 3000Hz，人们把在这种频率范围的信号称为 语（话）音 (speech)信号 ；实际上，人最敏感的频率范围是 3KHz5KHz。 对于高于1820kHz和低于 1620Hz的 声音信号，无论音强如何，一般人都听不到。第二章 音频信息处理 122.1 声音概述声音概述Q： 地震来临前，狗、老鼠等动物会比我们人类早知道，并有一些异常反应，请解释原因。 地震 时能量主要 集中在 次声波 狗 、猫等动物的听觉范围比人 广如 ：狗的听觉范围是 15Hz 50000Hz猫 的听觉范围是 60Hz 56000Hz。第二章 音频信息处理 132.1 声音概述声音概述2、音频信号 用电压或电流模拟信号表示声音信号，在多媒体技术中采用的是数字化音频信息。3、音频信息处理技术（ 1）音频获取技术（语音的采集、识别和理解）（ 2）音频合成技术（音乐的合成和语音的合成）（ 3）音频定位技术（模拟立体声、音频 /视频同步）（ 4）音频编码、解码技术（ 5）音频网络传输技术第二章 音频信息处理 142.1 声音概述声音概述4、 音 频 信号的技 术 指 标 频带宽 度 ：音 频 信号的 频 率范 围 ，是衡量 音 质 的 标 准。 频带越宽，包含的音频信号分量越丰富，则音质越好。 通常将音质定义为 4个等级标准： CD-DA唱盘为 10Hz 22KHz； FM广播为 20Hz 15KHz； AM广播为 50Hz 7KHz； 数字电话为 200Hz 3.4KHz。第二章 音频信息处理 152.1 声音概述声音概述第二章 音频信息处理 162.1 声音概述声音概述 动态范围动态范围 20log （信号的最大强度 /信号的最小强度）动态范围越大，说明音频信号的相对变化范围大， 音响 效果越好。几种音频业务的动态范围 音质效果 AM广播 FM广播 数字电话 CD DA 动态范围（ dB） 40 60 50 100 第二章 音频信息处理 172.1 声音概述声音概述 信噪比 SRN（ Signal to Noise Rate ， dB）信噪比： 有用信号 的平均功率与 噪音 的平均功率之比。 信噪比越高， 则 音效越好。例： 设 ，采 样 精度 16位表示 ，求其 SNR？ SNR 96dB第二章 音频信息处理 182.1 声音概述声音概述说 明： 通常 信噪比分 为 系 统输 入信号的信噪比 SRN（ in）和系 统输 出信号的信噪比 SRN（ out）。 一般来 说 ，在 语 音和 图 像信号的 编码 中， 主 观 的 质 量 评 价较 客 观 的 质 量 评 价更 为 恰当。第二章 音频信息处理 192.1 声音概述声音概述5.音 频 信号的特点 由于音 频 是 依 赖时间 的 连续 媒体，因此音 频处 理的 时 序性 要求高； 由于人 类 接收声音有两个通道，因此 计 算机合成的声音 应是 立体声 ； 由于 语 音信号携 带 了情感意向，因此 对语 音信号的 处 理还 要抽取 语 意 等其 它 信息。第二章 音频信息处理 202.1 声音概述声音概述三、数字音频1.数字音频将模拟的 (连续的 )声音波形数字化 (离散化 )，以便利用数字计算机进行处理的过程。（ A/D转换）主要包括 采样 、 量化 和 编码 几个方面。2.数字音频的技术指标采 样频 率 、 量化位数 、 声道数 、 编码 算法数字音频的 质量 取决于： 采样频率 和 量化位数 这两个重要参数。此外，声道的数目、相应的音频设备也是影响 音频质量的原因。第二章 音频信息处理 212.1 声音概述声音概述3. 数字音频等级各种声音质量的压缩比声音质量 宽带（ kHz) 声道 数据率（ Kb/s) 压缩比CD音质 15 双声道立体声 112 128 1： 14 1： 12接近 CD 15 双声道立体声 96 1： 16调频广播 11 双声道立体声 56 64 1： 27 1： 24中波广播 7.5 单声道 32 1： 24短波广播 4.5 单声道 16 1： 48电话音质 2.5 单声道 8 1： 96第二章 音频信息处理 232.1 声音概述声音概述4.从人机交互的角度看音频信号处理（ 1）人 计算机包括：音频获取、语音识别和理解等；（ 2）计算机 人包括：音乐合成、语音合成、立体声模拟等；（ 3）人 计算机 人包括：语音采集、音频编码 /解码、音频传输、基于内容的检索等；第二章 音频信息处理 242.2 音频信息数字化音频信息数字化一、模拟信号与数字信号 在时间和幅度上都连续的信号称为 模拟信号。在时间和幅度上都离散，用数字表示的信号称为 数字信号。 对模拟信号的处理：比较复杂，难于精确控制，成本高。 将模拟信号数字化目的： 处理简单，控制精确 。第二章 音频信息处理 252.2 音频信息数字化音频信息数字化二、 模拟信息数字化的主要优点 数字信号计算是一种 精确 的运算方法，它 不受时间和环境变化 的影响； 表示部件功能的数学运算不是物理上实现的功能部件，而是仅用数学运算去模拟，其中的 数学运算也相对容易实现 ； 可以对数字运算部件进行 编程 ，如欲改变算法或改变某些功能，还可对数字部件进行再编程。第二章 音频信息处理 262.2 音频信息数字化音频信息数字化三、模拟声音数字化过程 采样在某特定时刻对模拟信号进行测量叫 采样。每隔相等的一段时间进行采样，称为 均匀采样 ， 否则为非均匀采样。 量化把信号幅度划分成若干小段，若每段都是相等的，称为线性量化 ，否则称为 非线性量化 。 编码 ：将离散的模拟信号转化为数字信号，即对量化后的离散值用二进制代码取代。第二章 音频信息处理 272.2 音频信息数字化音频信息数字化1、采样 采样 (sampling) 在时间轴上对信号数字化。 采样周期 ：对连续信号采样的时间间隔 T 采样频率 ：单位时间内的采样次数（ 1/T）。 采 样频 率越高，可恢复的声音保真度越好。 常用采样频率11.025KHz、 22.05KHz、 44.1KHz、 48KHz。如何保证采样的声音不失真？第二章 音频信息处理 282.2 音频信息数字化音频信息数字化奈魁斯特 (Nyquiest)采样定理 ：若对某一模拟信号进行采样，只要采样频率 f(1/T)高于输入信号最高频率 fC的两倍 (f2fC)，则经过采样后的采样信号能够包含原模拟信号的全部信息，且经过反变换和低通滤波后可不失真地恢复原