多媒体技术与应用02.ppt

第二章 数字音频技术,第二章 数字音频技术,2.1 数字音频基础 2.2 数字音频压缩标准 2.3 声卡与电声设备 2.4 MIDI与音乐合成 2.5 音频编辑软件 2.6 语音识别技术 本章小结,2-3,一、声音的基本概念 声音是通过一定介质传播的连续的波。,声波,2.1 数字音频基础,2-4,声音按频率分类：,语音信号频率范围：300Hz-3kHz,2.1 数字音频基础,2-5,声音的传播携带了信息，它是人类传播信息的一种主要媒体。 声音的三种类型： 波形声音：包含了所有声音形式 语音：不仅是波形声音，而且还有丰富的语言内涵(抽象提取特征意义理解) 音乐：与语音相比，形式更规范。,音乐是符号化的声音。,2.1 数字音频基础,2-6,二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机) 2.声音数字化过程,模拟信号,数字信号,A/D ADC,D/A DAC,2.1 数字音频基础,2-7,3.声音数字化过程,示意,2.1 数字音频基础,2-8,4.声音数字化三要素,2.1 数字音频基础,2-9,5.声音数字化的数据量 音频数据量采样频率量化位数 声道数/8(字节/秒),2.1 数字音频基础,2-10,三、音频的文件格式 1.WAV文件 WAV是Microsoft/IBM共同开发的PC波形文件。因未经压缩，文件数据量很大。 特点：声音层次丰富，还原音质好,2.1 数字音频基础,2.MP3文件 MP3(MPEG Audio layer3)是一种按MPEG标准的音频压缩技术制作的音频文件。 特点：高压缩比(11:1)，优美音质,2-11,3.RA文件 RA(RealAudio，即时播音系统）新型流式音频，RA、RM、RMX。 特点：在低速的广域网上实时传输音频 4. WMA文件 WMA(Windows Media Audio)是Windows Media格式中的一个子集(音频格式)。 特点：压缩到MP3一半,2.1 数字音频基础,2-12,5. MIDI和RMI文件 MIDI(乐器数字接口)是由一组音乐、乐谱或乐器符号的数字集合。 特点：播放效果与硬件相关，数据量很小，音质不高、音色单调等 6.VOC文件 创新公司开发的声音文件格式，由文件头块和音频数据块组成。,2.1 数字音频基础,2-13,四、音频的采集与处理 1.声音的采集 录音软件 专业录音棚 唱盘活录音带转录 数字音频库,2.1 数字音频基础,2.声音的处理 剪接、降噪、均衡、效果、动态处理、格式转换。,2-14,2.2 数字音频压缩标准,一、音频压缩方法概述,压缩编码技术是指用某种方法使数字化信息的编码率降低的技术,音频信号能压缩的基本依据： 声音信号中存在大量的冗余度； 人的听觉具有强音抑制弱音的现象； 低频段敏感、高频段不敏感。,2-15,音频信号压缩编码的分类： 无损压缩(熵编码) 霍夫曼编码、算术编码、行程编码 有损压缩 波形编码-PCM、DPCM、ADPCM 子带编码、矢量量化 参数编码-LPC 混合编码-MPLPC、CELP,2.2 数字音频压缩标准,2-16,2.2 数字音频压缩标准,二、音频压缩技术标准,2-17,2.2 数字音频压缩标准,三、音频压缩工具 音频文件转换：Audio Converter、另存为 MP3压缩工具：MP3Resizer,2-18,2.3 声卡与音箱,一、声卡(声音卡、音频卡) 1.声卡的主要功能 声卡是负责录音、播音和声音合成的一种多媒体板卡。其功能包括：,录制、编辑和回放数字音频文件 控制和混合各声源的音量 记录和回放时进行压缩和解压缩 语音合成技术(朗读文本) 语音识别技术 具有MIDI接口(乐器数字接口),2-19,2.声卡的组成原理,2.3 声卡与音箱,2-20,3.声卡的性能指标 采样和量化能力 衡量音响器材音质好坏。 采样频率：11.025kHz (语音效果) 22.05 kHz (音乐效果) 44.1 kHz (高保真效果) 量化等级： 8位/256级 (语音质量) 16位/65536级(高保真质量),2.3 声卡与音箱,2-21,芯片类型 CODEC芯片(依赖CPU，价格便宜) 数字信号处理器DSP(不依赖CPU) 总线类型 ISA总线、PCI总线、USB接口 输出声道数 2声道(立体声)、2.1/4.1/5.1声道 多通道声卡(营造杜比环绕立体声),2.3 声卡与音箱,2-22,4.声卡的外部接口,2.3 声卡与音箱,2-23,2.3 声卡与音箱,2-24,二、电声设备 1.传声器 传声器是一种将声信号转换成相应电信号的能量转换器件（话筒、麦克风）。 传声器的分类： 换能原理、声学原理、指向性、用途、使用方式、有线无线,2.3 声卡与音箱,2.3 声卡与音箱,传声器的工作原理：声 能 （1）电动式传声器，包括动圈式传声器和带式传声器两种，电磁换能原理。 优点：简单方便、无需放大器、性能稳定、价格低廉 （2）电容式传声器，振膜震动引起电容量变化实现换能。 优点：灵敏度高、动态范围大、瞬态特性好、失真度低 缺点：振膜受潮会导致变形,2.3 声卡与音箱,（3）驻极体式传声器，利用驻极体材料制作的电容传声器。 优点：简单、体积小、耐振动、价格低 （4）无线传声器，声音信号转变为电信号，形成超高频信号。 无线传声器不是指传声器的结构原理，而是指信号的传输方法。 优点：可随身携带、无需电缆 缺点：时远时近，影响拾音效果,2.3 声卡与音箱,传声器的性能指标： （1）灵敏度，传声器的声电转换效率。 动圈式：-60-70dB；电容式：-40-50dB （2）频率响应，输出电平与频率的关系。 （3）指向性，某频率下声波入射方向对应灵敏度的变化特性。 （4）输出阻抗，两根输出线之间在1kHZ时的阻抗。 （5）动态阈，规定谐波失真条件下，传声器承受最大压级与安静时等效噪声级之差。,2-28,2.扬声器 将电信号转换成声音信号的电声器件。 （1）磁路系统，磁铁、导磁板、心柱 （2）振动系统，纸盆、音圈 （3）辅助系统，纸架、铁架、防尘盖 电流音圈磁力振动 纸盆振动声音,2.3 声卡与音箱,2.3 声卡与音箱,扬声器的分类： （1）按工作原理分类，电动式、电磁式、静电式、压电式等。 （2）按放声频率分类，低音、中音、高音、全频带等。 性能指标： 输出功率、频率特性、信噪比、谐波失真、灵敏度和额定阻抗。,2-30,3.音箱 音箱是一种电声转换的发音设备。 将高、中、低音扬声器组装在专门设计的箱体内，经过分频网络将高、中、低频信号分别送至相应的扬声器进行重放。,2.3 声卡与音箱,音箱是扬声器系统,2-31,音箱的分类： 使用场合：家用音箱、专用音箱 功率放大器：有源音箱、无源音箱 声道：2.0双声道立体声 2.1双声道超重低音声道 4.1/5.1/7.1 5.1五声道超重低音声道,2.3 声卡与音箱,2-32,音箱的性能指标： （1）输出功率：额定、最大峰值。 （2）频率范围：指音箱最低有效回放频率和最高有效回放频率之间的范围。 （3）信噪比：音箱回放的有效信号与噪声信号的比值。信噪比较低时，噪声严重。,信噪比70-80dB普通音箱 信噪比80-90dB高档音箱 信噪比95dB 专业音箱,2.3 声卡与音箱,2.3 声卡与音箱,（4）失真度：谐波失真、互调失真、瞬态失真。 其中，瞬态失真直接影响到音质音色还原程度。 （5）灵敏度：指音箱产生全功率输出时的输入信号。 输入信号越低，灵敏度越高，性能越好 （6）阻抗：扬声器输入信号的电压与电流比值。高阻抗、低阻抗。,2-34,2.4 MIDI与音乐合成,一、MIDI技术概述 1.什么是MIDI MIDI(Musical Instrument Digital Interface，乐器数字接口)是一种利用合成器产生的音乐技术。 采用数字信号处理技术合成的音效： 模仿钢琴、小提琴、吉他等音色 超越时空的太空音乐,2-35,2.MIDI标准 MIDI是各种电子音乐设备之间以及与计算机之间交换信息的国际标准。 MIDI硬件规范：硬件接口标准和信号传输机制(I/O通道、连接电缆和插座形式)。 MIDI软件规范：音乐信息数字化编码方式(音符、音符长短、音调和音量等)。,2.4 MIDI与音乐合成,2-36,二、MIDI合成方式 1.调频合成法-FM 原理：MIDI合成器接收到MIDI音乐信息后，利用傅立叶级数原理将其分解为若干个不同频率的正弦波，然后生成MIDI音乐信息中指定乐器的各个正弦波分量，最后将这些分量合成起来送至扬声器播放。 特点：系统开销小，声音清脆 声音音色少，音质较差,2.4 MIDI与音乐合成,2-37,2.波形表合成法-WT 原理：在MIDI合成器的ROM中预先存放各种实际乐器的声音样本，在进行音乐合成时以查表的方式调用这些样本，使其与MIDI音乐信息的要求完全相配，然后合成器将这些分段合成的样本送至扬声器播放。 特点：音乐真实感强，音色自然 硬波形表，软波形表。,2.4 MIDI与音乐合成,2-38,三、MIDI的工作过程,音序器是MIDI音乐 创作的核心控制部件。,2.4 MIDI与音乐合成,2-39,四、音乐制作系统 1.基本设备 音源：声卡(模拟乐器发声的设备) 音序器：硬件音序器、软件音序器 Cakewalk, Logic Audio 输入设备：电子琴(MIDI In,MIDI Out) MIDI键盘(省去音源) Cakewalk虚拟键盘,2.4 MIDI与音乐合成,2-40,2.音乐软件分类 音序软件：Cakewalk、MusicatorWin3、 Logic Audio、Cubase VST 乐谱打印软件：MIDI Scan、Encore 音乐教育软件：Earnaster、Tonica 音频编辑软件：Cool Edit、Audition、 Sound Forge、wavelab 效果器软件：TC Native、VST,2.4 MIDI与音乐合成,2-41,2.6 语音识别技术,语音识别：利用计算机自动识别语音的技术。如将语音转换成其所对应的文字，利用语音信号中所包含的特定人的信息进行说话人身份辨认的说话人识别技术。 一、语音识别的发展历史 1952：Bell实验室研制出可识别10个英文数字的语音识别器(Audry系统)。 1988：卡内基梅隆大学研制SPHINX识别系统(非特定人、大词汇量、连续语音)。,2-42,二、语音识别基本原理 语音识别本质上是一种模式识别过程，主要包括语音信号预处理、特征提取、特征建模(建立参考模式库)、相似性度量(模式匹配)和后处理等几个功能模块。,2.6 语音识别技术,2-43,三、语音识别系统的分类 1.根据词汇量大小 小词汇量：100词 中词汇量：100-1000词 大词汇量：1000词以上 2.根据对说话人依赖程度 特定人：针对某个用户进行识别工作 非特定人：针对任何人进行识别工作 限定人：针对特定一组人进行识别工作,2.6 语音识别技术,2-44,3.根据对说话人说话方式 孤立词识别：每次只含词汇表中的一个词条，如一个词、一个词组或一条命令。 连接词识别：每次说词汇表中若干个词条来进行识别，该若干词条以慢速连续的方式连续说出，一般指十个数字连接而成的多位数字的识别。 连续语音识别：指说话人以日常自然的方式讲述并进行识别。,2.6 语音识别技术,2-45,四、语音识别软件 中文听写 语音识别软件 语音命令 语音合成 IBM ViaVoice 8.0中文语音识别系统,2.6 语音识别技术,2-46,五、文本-语音转换技术 基于声音合成技术的声音产生技术。能将计算机内的文本转换成连续自然的语言流。 包含两种类型： （1）有效词汇的计算机语音输出。 用于语音报时、汽车报站 （2）基于语音合成技术的文本-语音转 换器TTS。 包括对语言的理解和语音的声韵处理,2.6 语音识别技术,2-47,2.5 音频处理软件,专业音乐软件,2-48,一、Audition概述 1.Audition的发展历史 1997年 syntrillium公司 Cool Edit pro1.0、 1999年(1.2)、2002年（2.0） 2003年 Adobe公司 Audition 1.0、 2004年(1.5)、 2006年(2.0)、2007(3.0) 2.Audition的主要功能 Adobe Audition 3.0是集声音录制、音频混合和编辑于一体的数字音频处理软件。,2.5 音频处理软件,主要功能：录音、混音、音频编辑、效果处理、降噪、音频压缩、刻录音乐CD等,2-49,3.Audition的启动和退出 开始/程序/Adobe Audition、图标、启动栏 4.Audition的窗口组成,2.5 音频处理软件,2.5 音频处理软件,（1）标题栏：显示应用程序名称和正在处理的音频文件名； （2）菜单栏：完成对音频文件的读取、修改、存储和软件设置等； （3）工具栏： 编辑视图： 多轨视图： CD视图： 工作区：,2.5 音频处理软件,（4）“文件”和“效果”列表框： （5）波形显示区：显示音频文件的波形 （6）控制面板：,2.5 音频处理软件,（7）“电平”指示条：当前音频电平大小 （8）状态栏：状态信息。 5.编辑视图和多轨视图 编辑视图：编辑独立的音频文件。 多轨视图：混合多轨文件或混合MIDI音乐及视频。,采用破坏性编辑方法,采用非破坏性编辑方法,2-53,二、音频的基本操作 1.导入、录音与播放 （1）导入： 文件/打开；文件/打开视频中的音频,2.5 音频处理软件,2-54,（2）录音： a.文件/新建新建波形 b.录音按钮 c.录制停止 2.后期音频剪辑 一方面包括复制、剪切和粘贴，另一方面能够选择编辑对象或范围。还包括内部剪贴板、声音混合、删除静音等功能,2.5