第3章 声音媒体信息

声音是人们用来传递信息的一种方式，是携带大量信息的及其重要的媒体，因此音频信息的处理在多媒体技术中是十分重要的。3.1声音及其分类3.2数字音频基础知识3.3声卡及其应用3.4音频信息的采集3.5音频信息处理编辑3.6MIDI音乐的合成3.7语音识别技术与语音合成3.1声音及其分类3.1.1声音的概念

声音是通过空气传播的一种连续的波，当物体振动时会激励它周围的空气质点振动，由于空气的惯性和弹性，在空气质点的相互作用下，振动就会逐渐向外传播而产生声波。声音属于听觉媒体，其频率范围大约在20Hz~20KHz。几个重要参数：1.周期：声波每完成一次振动需要的时间称为周期，通常用T表示，单位是秒。2.频率：每秒钟所完成的振动次数称为频率，用来体现音调的高低，单位是赫兹(Hz)。3.振幅：振幅是指声波的高低幅度，表示声音的强弱。振幅用来定量研究空气受到压力的大小。4.带宽：带宽指频率覆盖的范围。3.1.2声音的分类在多媒体技术中，将声音媒体分为语言、音乐和音响三类。1.语言：指具有人类约定成俗的和语言内涵的特殊媒体。2.音乐：是指规范的符号化了的声音。3.音响：是指人们熟悉的其他声音，包括自然界的风声、雨声以及机器发出的声音等。3.1.3声音的要素1.音调：人耳对声音频率高低的感觉称为音调。音调由声源振动频率所决定。2.音色：音色是用来描述声音品质的，主要决定于声音频谱结构中的泛音多少。3.音强：音强是衡量声波在传播过程中声音强弱的物理量，即与声音信号的幅度成正比。3.2数字音频基础知识3.2.1声音信号数字化过程1．采样（sampling）采样是将声音信号在时间上离散化，即每隔一定的时间间隔对模拟信号进行取样。2.量化(quantization)是对采样后的声音样本在幅值上离散化，即把信号强度划分为不同的等级，然后将每一个样本归入预先编排的量化等级上。3.编码：是将量化后的离散值用二进制代码表示。3.2.1数字化声音的技术指标1.采样频率：单位时间内采样的个数称为采样频率，用fs表示。奈奎斯特定理，即fs≥2fmax。2.量化位数：每个取样点能够表示的数据范围。3.声道数：指一次同时产生的声波组数。4.数据文件格式：数据量（Byte）=(采样频率×量化位数×声道数×声音持续时间)/8表采样频率、量化位数、声道数及存储容量采样频率(KHz)量化位数(bit)单声道(MB/min)双声道(MB/min)11.02580.631.2622.0581.262.5222.05162.525.0444.1165.0410.08表数字音频等级声音类型频率范围（Hz）采样率（kHz）量化位数（bit）电话话音200~340088调幅广播50~70001616调频广播20~15k22.0516高质量音频20~20k44.1163.2.3声音质量的度量声音质量的两种方法：一种是客观评价，即音频信号的技术指标，如：频带宽度、动态范围和信噪比；另一种是主观评价。对于语音和图像信号使用主观评价更恰当一些。1.音频信号的技术指标：频带宽度：音频信号的频率范围，是衡量音质的标准。动态范围:音频信号最大强度与最小强度之比。信噪比：有用信号的平均功率与噪音的平均功率之比。2.主观评价法：声音质量主观评价评分标准分数质量级别失真级别5优(Excellent)无察觉4良(Good)(刚)察觉但不讨厌3中(Fair)(察觉)有点讨厌2差(Poor)讨厌但不反感1劣(Bad)极讨厌(令人反感)3.2.4数字音频的文件格式1.波形文件扩展名为*.wav，是通过对模拟音频以不同的采样频率、不同的量化位数进行数字化而得到的数字信号存入磁盘而形成的波形文件。适用于：记录讲话语音、CD音质的音乐、单声道或立体声的声音信息，并能保证声音不失真。缺点是未经压缩的声音文件占用存储盘空间太大。2.PCM：由模拟音频信号直接通过A/D转换而形成的二进制序列文件，特点是保真度高，解码速度快，但编码后数据量大。3.AIFF文件：.AIF/.AIFF苹果公司开发的一种声音文件格式，被Mac平台及其应用程序所支持，NetscapeNavigator浏览器中的LiveAudio也支持AIFF格式，SGI及其他专业音频软件包也同样支持这种格式。4.VOC：多用于保存CreativeSoundBlaster系列声卡所采集的声音数据，被Windows平台和DOS平台所支持。5.AU：SunMicrosystems公司推出的一种经过压缩的数字声音格式，在Internet中经常使用。6.RM：RealNetworks公司开发的一种适合于网络实时流技术的音频文件格式，主要用于在低速率的广域网上实时传输音频信息。7.MP3：MPEGAudioLayer3的简写，压缩率高达10∶1～12∶1，音质基本保持不失真。8.CD：一种数字化的声音，其采样频率为44.1KHz，量化位数为16bit，可以高质量地重现原始声音。9.MIDI：文件本身不包含任何的音频信息，主要记录指令和数据，文件所占用的空间非常小。MIDI文件与Wave文件的区别：首先，Wave文件是通过直接对模拟声波进行数字化得到的音频信号数据。而MIDI文件只是记录了一系列乐谱指令。其次，Wave文件是直接通过声卡输入端口获取的音源，并可从输出端口直接播放。而MIDI是通过MIDI接口由音序器记录电子乐谱的指令数据。最后，采用MIDI格式记录比采用Wave格式记录的数据量小两个数量级以上。3.2.5音频信号处理的特点⑴由于音频信息是在时间上连续的信号，因此在处理时对时序性的要求很高。⑵由于人有左耳和右耳，类似于两个通道，因此计算机输出的声音应该是立体声的。⑶由于语音信号携带了情感意向，因此对语音信号的处理还要抽取语意等其它信息。3.3音频卡及其应用3.3.1音频卡功能声卡主要是用来对不同来源的音频信号进行采集与回放，其功能就是使计算机能够处理音频信号。声卡的功能主要有以下几点：⑴录制、编辑与回放声音文件。⑵在采集和回放过程中对文件进行压缩和解压缩。⑶编辑与合成音乐文件。⑷文本转换和语音识别。⑸MIDI音乐的合成。3.3.2音频卡工作原理声卡的主要作用是实现对音频信息的采集与回放。音频信息有很多来源，如磁带录音机、CD、录像机等等。声卡的工作原理1.声卡处理需要的基本条件：⑴采样频率：一般的声卡均支持双声道立体声信号的采集。⑵量化位数：声卡中的量化位数一般为8位、16位、32位以及64位，量化位数越高，声音质量越好。⑶声道数：单声道或立体声。⑷实时硬件压缩/软件压缩：2.混音器音频卡上的混音器Mixer主要目的是将不同输入音源的信号进行混音，并且提供音量的软件控制功能。通过I/O端口（地址和数据端口）可对混音器的各种功能进行可编程设置。3.MIDI合成器与接口MIDI是一种用于在不同制造商的电子乐器设备和计算机之间进行数据交换的国际标准。它指定硬件接口，同时指定通信协议，可以将数据从一个设备传输到另一个设备。3.3.3声卡的安装和使用1.硬件安装与使用声卡的接口及与外部设备的连接硬件安装步骤：首先关闭电源，拔下电源插头，然后打开机箱外壳，将声卡插入空闲的16位扩展槽内，连接好外部的音频输入/输出线，如麦克风、线路输入等。如果有CD-ROM驱动器，将驱动器的接口电缆插在卡的相应接口上，并将CD-ROM的音频输出线接到声卡的针形输入线上。最后盖上机箱外壳，插好电源插头即可。2.软件安装包括驱动程序和应用软件。当安装完声卡并重新启动计算机后，系统能够自动识别声卡，并且提示需要安装驱动程序。3.声卡的技术指标⑴采样频率和量化位数采样频率与量化位数越高，声音的质量越好。⑵FM合成与波表合成一般较好的声卡采用的都是波表法合成。⑶总线类型⑷即插即用能力⑸DSP数字信号处理器⑹兼容性⑺音效⑻外围接口⑼音频压缩3.4音频信息的采集音频文件的采集方法有以下几种：1.音频文件的直接采集2.利用Windows自带的“录音机”来录制声音。利用录音机录音的操作步骤如下：⑴准备一份需要录制的材料。⑵将麦克风插到声卡上的MICIN接口上。⑶选择Windows中的【开始】菜单，在【程序/附件/娱乐】下面选择【录音机】，打开录音机，单击红色的【录音】按钮开始录音。当录制结束后单击【停止】按钮。⑷执行菜单中【文件/另存为】命令，在出现的【另存为】对话框中单击【格式】选项，选择【更改】。在【声音选定】对话框中选择【属性】项更改声音的采样频率、量化位数、声道数和数据率，单击【确定】按钮返回。选择文件保存的路径、保存的类型，并命名。记录失败时检查一下系统右下角任务栏中声音图标是否设置正确。将【回放】选项改为“录音】，并在下方【显示下列音量控制】中选择【麦克风】选项，就可以正常录音了。3.用其它音频设备输入录像机、磁带录音机、电视机等都能提供不同内容的音频节目。这些设备需要通过线路输入的方式（LINEIN）连接到计算机的声卡上，通过相应的软件将音频信号采集进来，并以数字音频的形式存储在计算机中。4.MIDI音乐合成

3.5音频信息处理编辑AdobeAudition是一款功能强大的音频编辑软件，其前身是CoolEditPro。可以实现：音频的录制：波形文件的存储：文件的编辑：利用软件制作音频节目时需要注意以下几点：⑴一般大段的旁白和背景音乐采用MIDI格式存储，这样不仅可以减少存储空间，而且处理的速度比较快。⑵注意音乐和音响效果的选择应该和节目的主题相一致，特别是背景音乐，一定不要喧宾夺主。下面就介绍AdobeAudition的使用方法。实例一：声音的降噪处理：在这个实例中要将录制好的一段带有噪声的语音做降噪处理。操作步骤：1.选择【开始/程序/AdobeAudition1.5】启动软件，AdobeAudition1.5基本的文件操作包括新建，打开，保存，剪切、复制和粘贴等。2.降噪处理。降噪处理是将噪音的样本特征提取出来，然后将噪音从原始音频信号中去除，使声音清晰自然。通常用于录制的音频信号，特别是通过麦克风录制的人声或者是磁带录音中的噪声。最关键的一步就是选择噪声样本。为了便于观察，将波形放大，选择窗口下面的缩放工具即可。将噪声区内波形最平稳且最长的一段选中。然后执行菜单中【效果/降噪/降噪】命令，进入降噪窗口。单击【捕捉线图】按钮采集噪声样本，几秒钟后就会出现噪声样本轮廓图。在降噪控制面板中将“降噪电平”数值改为80，“FFT大小”数值改为8192。“精度系数”数值改为9。“平滑总计”数值改为9左右。当各个参数都设置好之后，单击【OK】按钮，就开始进行降噪处理了。3．进行多轨混音编排。选择【编辑/混合粘贴】命令，在这个功能中提供了混合时的音量设置和混合方式。其混合方式共有4种：插入、覆盖（