多媒体技术及应用数字音频技术

1、第二章数字音频技术第二章 数字音频技术2.1 数字音频根底2.2 数字音频紧缩规范2.3 声卡与电声设备2.4 MIDI与音乐合成2.5 音频编辑软件2.6 语音识别技术本章小结2-3一、声音的根本概念 声音是经过一定介质传播的延续的波。t振幅周期A声波振幅：音量的大小周期：反复出现的时间间隔频率：指信号每秒钟变化的次数重要目的2.1 数字音频根底2-4 声音按频率分类：次声波可听声波超声波20Hz20kHzf(Hz)语音信号频率范围：300Hz-3kHz2.1 数字音频根底10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播AM广播f(Hz)频带声音质量的频率范围：2-

2、5 声音的传播携带了信息，它是人类传播信息的一种主要媒体。 声音的三种类型： 波形声音：包含了一切声音方式 语音：不仅是波形声音，而且还有丰富的言语内涵(笼统提取特征意义了解) 音乐：与语音相比，方式更规范。音乐是符号化的声音。2.1 数字音频根底2-6二、声音的数字化 1.声音信号的类型 模拟信号(自然界、物理) 数字信号(计算机) 2.声音数字化过程采样量化编码模拟信号数字信号模拟信号数字信号A/D ADCD/A DAC2.1 数字音频根底2-7 3.声音数字化过程延续的模拟声音信号声音信号的采样离散的音频信号表示2.1 数字音频根底2-8 4.声音数字化三要素采样频率量化位数声道数每秒钟

3、抽取声波幅度样本的次数每个采样点用多少二进制位表示数据范围使用声音通道的个数采样频率越高声音质量越好数据量也越大量化位数越多音质越好数据量也越大立体声比单声道的表现力丰富，但数据量翻倍11.025kHz22.05 kHz44.1 kHz 8位25616位65536单声道立体声2.1 数字音频根底2-9 5.声音数字化的数据量 音频数据量采样频率量化位数 声道数/8(字节/秒)采样频率(kHz)量化位数(bit)数据量(KB/s)单声道立体声11.025810.7721.531621.5343.0722.05821.5343.071643.0786.1344.1843.0786.131686.1

4、3172.272.1 数字音频根底2-10三、音频的文件格式 1.WAV文件 WAV是Microsoft/IBM共同开发的PC波形文件。因未经紧缩，文件数据量很大。 特点：声音层次丰富，复原音质好2.1 数字音频根底 2.MP3文件 MP3(MPEG Audio layer3)是一种按MPEG规范的音频紧缩技术制造的音频文件。 特点：高紧缩比(11:1)，优美音质2-11 3.RA文件 RA(RealAudio，即时播音系统新型流式音频，RA、RM、RMX。 特点：在低速的广域网上实时传输音频 4. WMA文件 WMA(Windows Media Audio)是Windows Media格式中

5、的一个子集(音频格式)。 特点：紧缩到MP3一半2.1 数字音频根底2-12 5. MIDI和RMI文件 MIDI(乐器数字接口)是由一组音乐、乐谱或乐器符号的数字集合。 特点：播放效果与硬件相关，数据量很小，音质不高、音色单调等 6.VOC文件 创新公司开发的声音文件格式，由文件头块和音频数据块组成。 2.1 数字音频根底2-13四、音频的采集与处置 1.声音的采集录音软件专业录音棚唱盘活录音带转录数字音频库2.1 数字音频根底 2.声音的处置 剪接、降噪、平衡、效果、动态处置、格式转换。2-142.2 数字音频紧缩规范一、音频紧缩方法概述编码器传输/存储解码器输入音频信号输出音频信号紧缩编

6、码技术是指用某种方法使数字化信息的编码率降低的技术 音频信号能紧缩的根本根据：声音信号中存在大量的冗余度；人的听觉具有强音抑制弱音的景象；低频段敏感、高频段不敏感。 2-15 音频信号紧缩编码的分类： 无损紧缩(熵编码) 霍夫曼编码、算术编码、行程编码 有损紧缩 波形编码-PCM、DPCM、ADPCM 子带编码、矢量量化 参数编码-LPC 混合编码-MPLPC、CELP2.2 数字音频紧缩规范2-162.2 数字音频紧缩规范二、音频紧缩技术规范分类标准说明电话语音质量G.711采样8kHz，量化8bit，码率64kbpsG.721采用ADPCM编码，码率32kbpsG.723采用ADPCM有损

7、压缩，码率24kbpsG.728采用LD-CELP压缩技术，码率16kbps调幅广播质量G.722采样16kHz，量化14bit，码率224(64)kbps高保真立体声MPEG音频采样44.1kHz，量化16bit，码率705kbps (MPEG三个压缩层次，384-64kbps)2-172.2 数字音频紧缩规范三、音频紧缩工具 音频文件转换：Audio Converter、另存为 MP3紧缩工具：MP3Resizer2-182.3 声卡与音箱一、声卡(声音卡、音频卡) 1.声卡的主要功能 声卡是担任录音、播音和声音合成的一种多媒体板卡。其功能包括：录制、编辑和回放数字音频文件控制和混合各声源

8、的音量记录和回放时进展紧缩和解紧缩语音合成技术(朗诵文本)语音识别技术具有MIDI接口(乐器数字接口)2-19 2.声卡的组成原理线性输出总线接口芯片数字音频处置芯片音乐合成器A/D和D/AMIDI接口混音器CD接口计算机总线话筒输入线性输入扬声器输出A/D数据处置D/A声波喇叭2.3 声卡与音箱2-20 3.声卡的性能目的 采样和量化才干 衡量音响器材音质好坏。 采样频率：11.025kHz (语音效果) 22.05 kHz (音乐效果) 44.1 kHz (高保真效果) 量化等级： 8位/256级 (语音质量) 16位/65536级(高保真质量)2.3 声卡与音箱2-21 芯片类型 COD

9、EC芯片(依赖CPU，价钱廉价) 数字信号处置器DSP(不依赖CPU) 总线类型 ISA总线、PCI总线、USB接口 输出声道数 2声道(立体声)、2.1/4.1/5.1声道 多通道声卡(营造杜比环绕立体声)2.3 声卡与音箱2-22 4.声卡的外部接口2.3 声卡与音箱2-232.3 声卡与音箱线性输入接口Line In用来连接外部音频设备以便进行录音，如录音机、CD唱机和音响等话筒输入接口Mic In用来连接话筒，直接输入现场的声音信号线性输出接口Line Out用来连接外部音频设备的输入口，也可连接大功率有源音响等扬声器输入接口/Spk Out用来连接扬声器，从声卡的内置功率放大器向扬声

10、器输出声音游戏杆MIDI接口用来连接游戏杆或MIDI设备。CD音频连接器用来连接CD-ROM驱动器，可以直接播放CD音乐，而不占用CPU时间2-24二、电声设备 1.传声器 传声器是一种将声信号转换成相应电信号的能量转换器件话筒、麦克风。 传声器的分类： 换能原理、声学原理、指向性、用途、运用方式、有线无线2.3 声卡与音箱2.3 声卡与音箱传声器的任务原理：声 能1电动式传声器，包括动圈式传声器和带式传声器两种，电磁换能原理。优点：简一方便、无需放大器、性能稳定、价钱低廉2电容式传声器，振膜震动引起电容量变化实现换能。优点：灵敏度高、动态范围大、瞬态特性好、失真度低缺陷：振膜受潮会导致变形2

11、.3 声卡与音箱3驻极体式传声器，利用驻极体资料制造的电容传声器。优点：简单、体积小、耐振动、价钱低4无线传声器，声音信号转变为电信号，构成超高频信号。无线传声器不是指传声器的构造原理，而是指信号的传输方法。优点：可随身携带、无需电缆缺陷：时远时近，影响拾音效果2.3 声卡与音箱传声器的性能目的：1灵敏度，传声器的声电转换效率。动圈式：-60-70dB；电容式：-40-50dB2频率呼应，输出电平与频率的关系。3指向性，某频率下声波入射方向对应灵敏度的变化特性。4输出阻抗，两根输出线之间在1kHZ时的阻抗。5动态阈，规定谐波失真条件下，传声器接受最大压级与安静时等效噪声级之差。2-28 2.扬

12、声器 将电信号转换成声音信号的电声器件。1磁路系统，磁铁、导磁板、心柱2振动系统，纸盆、音圈3辅助系统，纸架、铁架、防尘盖 电流音圈磁力振动 纸盆振动声音2.3 声卡与音箱2.3 声卡与音箱扬声器的分类：1按任务原理分类，电动式、电磁式、静电式、压电式等。2按放声频率分类，低音、中音、高音、全频带等。性能目的：输出功率、频率特性、信噪比、谐波失真、灵敏度和额定阻抗。2-30 3.音箱 音箱是一种电声转换的发音设备。将高、中、低音扬声器组装在专门设计的箱体内，经过分频网络将高、中、低频信号分别送至相应的扬声器进展重放。2.3 声卡与音箱音箱是扬声器系统2-31音箱的分类：运用场所：家用音箱、公用

13、音箱功率放大器：有源音箱、无源音箱声道：2.0双声道立体声 2.1双声道超重低音声道 4.1/5.1/7.1 5.1五声道超重低音声道2.3 声卡与音箱2-32 音箱的性能目的： 1输出功率：额定、最大峰值。 2频率范围：指音箱最低有效回放频率和最高有效回放频率之间的范围。 3信噪比：音箱回放的有效信号与噪声信号的比值。信噪比较低时，噪声严重。信噪比70-80dB普通音箱信噪比80-90dB高档音箱信噪比95dB 专业音箱2.3 声卡与音箱2.3 声卡与音箱4失真度：谐波失真、互调失真、瞬态失真。其中，瞬态失真直接影响到音质音色复原程度。5灵敏度：指音箱产生全功率输出时的输入信号。输入信号越低

14、，灵敏度越高，性能越好6阻抗：扬声器输入信号的电压与电流比值。高阻抗、低阻抗。2-342.4 MIDI与音乐合成一、MIDI技术概述 1.什么是MIDI MIDI(Musical Instrument Digital Interface，乐器数字接口)是一种利用合成器产生的音乐技术。 采用数字信号处置技术合成的音效： 模拟钢琴、小提琴、吉他等音色 超越时空的太空音乐2-35 2.MIDI规范 MIDI是各种电子音乐设备之间以及与计算机之间交换信息的国际规范。 MIDI硬件规范：硬件接口规范和信号传输机制(I/O通道、衔接电缆和插座方式)。 MIDI软件规范：音乐信息数字化编码方式(音符、音符长

15、短、音调和音量等)。原声钢琴8分音符的C3音：00 00 60音色Piano编号 音符C3编号 8分音符编号2.4 MIDI与音乐合成2-36二、MIDI合成方式 1.调频合成法-FM 原理：MIDI合成器接纳到MIDI音乐信息后，利用傅立叶级数原理将其分解为假设干个不同频率的正弦波，然后生成MIDI音乐信息中指定乐器的各个正弦波分量，最后将这些分量合成起来送至扬声器播放。 特点：系统开销小，声音洪亮 声音音色少，音质较差2.4 MIDI与音乐合成2-37 2.波形表合成法-WT 原理：在MIDI合成器的ROM中预先存放各种实践乐器的声音样本，在进展音乐合成时以查表的方式调用这些样本，使其与M

16、IDI音乐信息的要求完全相配，然后合成器将这些分段合成的样本送至扬声器播放。 特点：音乐真实感强，音色自然 硬波形表，软波形表。2.4 MIDI与音乐合成2-38三、MIDI的任务过程MIDI输入设备MIDI接口MIDI文件音序器合成器扬声器音频卡PC机 音序器是MIDI音乐创作的中心控制部件。2.4 MIDI与音乐合成2-39四、音乐制造系统 1.根本设备 音源：声卡(模拟乐器发声的设备) 音序器：硬件音序器、软件音序器 Cakewalk, Logic Audio 输入设备：电子琴(MIDI In,MIDI Out) MIDI键盘(省去音源) Cakewalk虚拟键盘2.4 MIDI与音乐合

17、成2-40 2.音乐软件分类 音序软件：Cakewalk、MusicatorWin3、Logic Audio、Cubase VST 乐谱打印软件：MIDI Scan、Encore 音乐教育软件：Earnaster、Tonica 音频编辑软件：Cool Edit、Audition、Sound Forge、wavelab 效果器软件：TC Native、VST2.4 MIDI与音乐合成2-412.6 语音识别技术 语音识别：利用计算机自动识别语音的技术。如将语音转换成其所对应的文字，利用语音信号中所包含的特定人的信息进展说话人身份识别的说话人识别技术。一、语音识别的开展历史 1952：Bell实验

18、室研制出可识别10个英文数字的语音识别器(Audry系统)。 1988：卡内基梅隆大学研制SPHINX识别系统(非特定人、大词汇量、延续语音)。2-42二、语音识别根本原理 语音识别本质上是一种方式识别过程，主要包括语音信号预处置、特征提取、特征建模(建立参考方式库)、类似性度量(方式匹配)和后处置等几个功能模块。2.6 语音识别技术2-43三、语音识别系统的分类 1.根据词汇量大小 小词汇量：100词 中词汇量：100-1000词 大词汇量：1000词以上 2.根据对说话人依赖程度 特定人：针对某个用户进展识别任务 非特定人：针对任何人进展识别任务 限定人：针对特定一组人进展识别任务 2.6

19、 语音识别技术2-44 3.根据对说话人说话方式 孤立词识别：每次只含词汇表中的一个词条，如一个词、一个词组或一条命令。 衔接词识别：每次说词汇表中假设干个词条来进展识别，该假设干词条以慢速延续的方式延续说出，普通指十个数字衔接而成的多位数字的识别。 延续语音识别：指说话人以日常自然的方式讲述并进展识别。2.6 语音识别技术2-45四、语音识别软件 中文听写 语音识别软件 语音命令 语音合成 IBM ViaVoice 8.0中文语音识别系统2.6 语音识别技术2-46五、文本-语音转换技术基于声音合成技术的声音产生技术。能将计算机内的文本转换成延续自然的言语流。包含两种类型：1有效词汇的计算机

20、语音输出。 用于语音报时、汽车报站2基于语音合成技术的文本-语音转换器TTS。 包括对言语的了解和语音的声韵处置 2.6 语音识别技术2-472.5 音频处置软件专业音乐软件音乐编曲软件(音序器)合成器软件Cakewalk 1.0-9.0Sonar 1.0-4.xCubase VSI 5.xCubase SX 2.1Logic Audio(PC版、Apple版)(MIDI/音频/合成器一体化)录音、混音、音频编辑软件CoolEdit (Syntrillium)Audition (Adobe)GoldWare (GoldWare Inc.)效果器软件效果器插件Waves Native Gold

21、Bundle(20以上)TC Native Bundle(4)Ultrafunk Sonltus fx(7)2-48一、Audition概述 1.Audition的开展历史1997年 syntrillium公司 Cool Edit pro1.0、 1999年(1.2)、2002年2.0 2003年 Adobe公司 Audition 1.0、 2004年(1.5)、 2006年(2.0)、2007(3.0) 2.Audition的主要功能 Adobe Audition 3.0是集声音录制、音频混合和编辑于一体的数字音频处置软件。2.5 音频处置软件主要功能：录音、混音、音频编辑、效果处置、降噪、

22、音频紧缩、刻录音乐CD等2-49 3.Audition的启动和退出 开场/程序/Adobe Audition、图标、启动栏 4.Audition的窗口组成2.5 音频处置软件2.5 音频处置软件1标题栏：显示运用程序称号和正在处置的音频文件名；2菜单栏：完成对音频文件的读取、修正、存储和软件设置等；3工具栏：编辑视图：多轨视图：CD视图：任务区：2.5 音频处置软件4“文件和“效果列表框：5波形显示区：显示音频文件的波形6控制面板：2.5 音频处置软件7“电平指示条：当前音频电平大小8形状栏：形状信息。5.编辑视图和多轨视图编辑视图：编辑独立的音频文件。多轨视图：混合多轨文件或混合MIDI音乐及视频。采用破坏性编辑方法采用非破坏性编辑方法2-53二、音频的