第二章-多媒体音频技术(1)分解.ppt

返回 多媒体音频技术 主讲教师 张敏 第二章 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成 多媒体中的媒体元素 音频 动画 视频 文本 图形 图像 目录 2 1数字音频基础 返回 2 2声卡与音箱 2 3MIDI音频 2 4语音识别技术 2 5音频处理软件 2 1数字音频基础 2 1 1声音的基本概念 2 1 2声音的数字化 返回 2 1 3数字音频的文件格式 音频 数字音频 Audio 可分为波形声音 语音和音乐 波形声音实际上已经包含了所有的声音形式 它可以将任何声音都进行采样量化 相应的文件格式是WAV文件或VOC文件 语音也是一种波形 所以和波形声音的文件格式相同 音乐是符号化了的声音 乐谱可转变为符号媒体形式 对应的文件格式是MID或CMF文件 2 1 1声音的基本概念 声音是由空气中分子的振动而产生的 自然界的声音是一个随时间而变化的连续信号 可近似地看成是一种周期性的函数 通常用模拟的连续波形描述声波的形状 单一频率的声波可用一条正弦波表示 如下图所示 振幅 周期 基线 声音的质量 次声波声音频率可听声波20Hz 20kHz超声波语音信号频率 300Hz 3Khz 与声音的带宽有关 一般来说频率范围越宽 声音质量也就越高 声音质量的频率范围 频域或频带 声音是具有一定的振幅和频率且随时间变化的声波 通过话筒等转化装置可将其变成相应的电信号 模拟信号 不能由计算机直接处理 为使计算机能处理音频 必须对声音信号数字化 2 1 2声音的数字化 采样 编码 量化 声音的模拟信号 声音的数字信号 声音的数字化过程 模拟信号 数字信号 A DADC D ADAC 采样和量化 c 采样信号的量化 a 模拟音频信号 b 音频信号的采样 数字化音频的过程如下图所示 示意 采样定理 仅当采样频率 2倍的原始信号频率时 才能保证采样后信号可被保真地恢复为原始信号 模拟声音在时间上是连续的 或称连续时间函数x t 用计算机处理这些信号时 必须先对连续信号采样 即按一定的时间间隔 T 在模拟声波上截取一个振幅值 通常为反映某一瞬间声波幅度的电压值 得到离散信号x nT n为整数 T称采样周期 1 T称为采样频率 量化 为了把采样得到的离散序列信号x nT 存入计算机 必须将采样值量化成有限个幅度值的集合x nT 采样值用二进制数字表示的过程称为量化编码 对模拟音频信号进行采样量化编码后 得到数字音频 数字音频的质量取决于采样频率 量化位数和声道数三个因素 影响数字音频质量的技术参数 采样频率是指一秒钟时间内采样的次数 在计算机多媒体音频处理中 采样频率通常采用三种 11 025KHz 语音效果 22 05KHz 音乐效果 44 1KHz 高保真效果 常见的CD唱盘的采样频率即为44 1KHz 1 采样频率 2 量化位数 量化位数也称 量化精度 是描述每个采样点样值的二进制位数 例如 8位量化位数表示每个采样值可以用28即256个不同的量化值之一来表示 而16位量化位数表示每个采样值可以用216即65536个不同的量化值之一来表示 常用的量化位数为8位 12位 16位 3 声道数 声音通道的个数称为声道数 是指一次采样所记录产生的声音波形个数 记录声音时 如果每次生成一个声波数据 称为单声道 每次生成两个声波数据 称为双声道 立体声 随着声道数的增加 所占用的存储容量也成倍增加 SamplingResolution8bitSamplingFrequency11KHz SamplingResolution16bitSamplingFrequency22KHz 数字音频文件的存储量 存储量 采样频率 量化位数 8 声道数 时间 例如 用44 1KHz的采样频率进行采样 量化位数选用16位 则录制1秒的立体声节目 其波形文件所需的存储量为 以字节为单位 模拟波形声音被数字化后音频文件的存储量 假定未经压缩 为 44100 16 8 2 1 176400 字节 数字音频信号的编码 一般情况下 声音的制作是使用麦克风或录音机来产生 再由声卡上的WAVE合成器的 模 数转换器 对模拟音频采样后 量化编码为一定字长的二进制序列 并在计算机内传输和存储 在数字音频回放时 再由数字到模拟的转化器 数 模转换器 解码可将二进制编码恢复成原始的声音信号 通过音响设备输出 如下图所示 模拟音频信号输入 采样 量化编码 传输 存储 解码 播放 1 WAV文件 扩展名 wav相关公司或组织 Microsoft和IBM主要优点 声音层次丰富 还原性好 表现力强 可通过增加驱动程序而支持各种各样的编码技术 主要缺点 波形文件的数据量大 不适于传播和用作聆听 支持的编码技术大部分只能在Windows平台下使用 适用领域 自然语音的保存与重放 2 1 3数字音频的文件格式 2 MP3文件 扩展名 mp3 包括mp2和mp1等 相关公司或组织 Fraunhofer IIS主要优点 在低至128kbps的比特率下提供接近CD音质的音频质量 广泛的支持 主要缺点 出现得比较早 因此音质不是很好 适用领域 一般聆听和高保真聆听 3 mp3PRO文件 扩展名 mp3 包括mp2和mp1等 相关公司或组织 Fraunhofer IIS CodingTechnologies ThomsonMultimedia主要优点 在低至64kbps的比特率下提供接近CD音质的音频质量 主要缺点 专利费用较高 支持的软件和硬件不多 适用领域 一般聆听和高保真聆听 4 WMA文件 扩展名 wma asf相关公司或组织 Microsoft主要优点 功能齐全 使用方便 同时支持无失真 有失真 语音压缩方式 在MP3文件一半大小的前提下 保持相同的音频 主要缺点 失真压缩方式下音质不高 必须在Windows平台下才能使用 适用领域 音频档案级别保存 一般聆听 网络音频流传输 5 MIDI文件 乐器数字接口 扩展名 MID MIDI RMI XMI等相关公司或组织 MIDIAssociation主要优点 音频数据为乐器的演奏控制 通常不带有音频采样 主要缺点 没有波表硬件或软件配合时播放效果不佳 适用领域 与电子乐器的数据交互 乐曲创作等 2 2声卡与音箱 2 2 1声卡 2 2 2音箱 2 2 1声卡 1 声卡的主要功能 2 声卡的组成原理 3 声卡的性能指标 4 声卡的外部接口 1 声卡的主要功能 声卡是负责录音 播音和声音合成的一种多媒体板卡 其功能包括 录制 编辑和回放数字音频文件 控制各种声源的音量并加以混合 在记录和回放数字音频文件时进行压缩和解压缩 采用语音合成技术让计算机朗读文本 初步的语音识别 MIDI接口和输出放大等 2 声卡的组成原理 总线接口芯片 混音器 A D和D A 数字音频处理芯片 音乐合成器 话筒输入 线性输入 扬声器输出 线性输出 MIDI接口 CD接口 对以下音源进行混合 数字化声音 DAC 调频FM合成音乐 FM CD音频 CD ROM 线路输入 AUX 话筒输入 MIC 及PC声音输出 SPK 将数字音频波形数据或MIDI消息合成为声音 完成信号的记录 播放任务 ADPCM压缩 改变采样频率 解释MIDI指令等 3 声卡的性能指标 采样和量化能力 采样频率和量化位数越高 声卡产生的声音越细腻 直接影响声卡的频率响应范围 芯片类型 通常有2声道 2 1声道 4 1声道 5 1声道 总线类型 输出声道数 按声卡与计算机连接方式不同 分为ISA总线 PCI总线和USB电缆连接方式 CODEC芯片 专用数字信号处理器 4 声卡的外部接口 LINEIN LINEOUT SPKOUT 游戏杆 MIDI 录音机 CD唱机等线性输出 话筒 扬声器 线性输入立体声放大器 MIDI设备 游戏杆 MICIN 2 2 2音箱 1 音箱的分类 2 音箱的性能指标 音箱的分类 按照箱体材质 塑料和木质音箱 按照功率放大器的内外置 通常有2 0 2 1 4 1 5 1 7 1 按照接口 按照声道数量 普通声卡接口 数字接口 USB接口等 有源音箱和无源音箱 音箱的性能指标 输出功率 分为 额定功率和最大峰值功率两种 音箱功率越大 音质效果越好 频率范围与频率响应 信噪比 普通音箱 70 80dB 高档音箱 80 90dB 专业音箱 95dB以上 音箱的频率响应曲线越平坦 失真越小 性能越高 音箱的性能指标 cont 灵敏度 指产生全功率输出时的输入信号 输入信号越低 灵敏度越高 音箱性能就越好 阻抗 扬声器输入信号的电压与电流的比值 低阻抗的音箱可以获得较大的输出功率 但阻抗太低又会造成低音劣化等现象 分为谐波失真 互调失真和瞬态失真3种 失真度 2 4MIDI音频 MIDI是MusicalInstrumentDigitalInterface 乐器数字接口 的缩写 MIDI是一种国际标准 是计算机和MIDI设备之间进行信息交换的一整套规则 包括各种电子乐器之间传送数据的通信协议 适用于长时间音乐演奏的场合 1 什么是MIDI MIDI音频是将电子乐器键盘上的弹奏信息记录下来 包括键名 力度 时值长短等 是乐谱的一种数字式描述 当需要播放时 只需从相应的MIDI文件中读出MIDI消息 生成所需要的声音波形 经放大后由扬声器输出 1 什么是MIDI 2 MIDI设备配置 3 MIDI文件的特点 MIDI设备就是处理MIDI信息所需的硬件设备 其基本组成包括 2 MIDI设备配置 1 MIDI端口 2 MIDI键盘 3 音序器 Sequencer 4 合成器 1 MIDI端口 一台MID设备可以有一至三个MIDI端口 分别称为MIDIIn MIDIOut MIDIThru 它们的作用是 MIDIIn 接收来自其它MIDI设备的MIDI信息 MIDIOut 发送本设备生成的MIDI信息到其它设备 MIDIThru 将从MIDIIn端口传来的信息转发到相连的另一台MIDI设备上 2 MIDI键盘 MIDI键盘是用于MIDI乐曲演奏的 MIDI键盘本身并不发出声音 当作曲人员触动键盘上的按键时 就发出按键信息 所产生的仅仅是MIDI音乐消息 从而由音序器录制生成MIDI文件 3 音序器 Sequencer 用于记录 编辑 生成MIDI的声音文件 音序器有以硬件形式提供的 目前大多为软件音序器 音序器可捕捉MIDI消息 将其存入MIDI文件 MIDI文件扩展名为 MID 音序器还可编辑MIDI文件 4 合成器 MIDI文件的播放是通过MIDI合成器 合成器解释MIDI文件中的指令符号 生成所需要的声音波形 经放大后由扬声器输出 声音的效果比较丰富 1 MIDI合成方式MIDI合成方式主要有调频合成 FM 和波形表合成 WaveTable 两种方式 调频合成方式 其原理是根据傅立叶级数而来 波形表合成的原理是ROM中已存储着各种实际乐器的声音采样 合成时以查表方式调用这些样本将其还原回放 2 硬波形表合成与软波形表合成硬波表合成方式的数字声音样本被保存在ROM内或RAM 可动态更换 内 而软波表的数字化样本保存于系统主存中 合成运算靠CPU完成 最终的音频合成靠声卡上的WAVE合成器来完成 软波表实际上是针对合成MIDI音乐而开发的一套软件 其主要作用是控制高速CPU来完成波表MIDI合成器的部分功能 3 MIDI文件的特点 1 由于MIDI文件只是一系列指令的集合 因此它比数字波形文件小得多 大大节省了存储空间 2 使用MIDI文件 其声音卡上必需含有硬件音序器或者配置有软件音序器 3 MIDI声音适于重现打击乐或一些电子乐器的声音 利用MIDI声音方式可用计算机来进行作曲 4 对MIDI的编辑很灵活 在音序器的帮助下 用户可自由地改变音调 音色以及乐曲速度等 以达到需要的效果 2 4语音识别技术 2 4 1语音识别的发展史 2 4 2语音识别的基本原理 2 4 3语音识别系统的分类 2 4 4语音识别软件 2 4 1语音识别的发展史 1 20世纪50年代 1952 Bell K H David 识别10个数字1952 J W Rorgie 英文元音和孤立字2 20世纪60年代 提出DP LP技术 3 20世纪70年代末80年代初 LP DTW成熟 提出VQ HMM理论 实现了基于线性预测倒谱和DTW技术的特定人 孤立词 小词汇量与语音识别系统 4 20世纪80年代 HMM ANN 卡内基 梅隆大学运用VQ HMM的非特定人 大词汇量 连续语音识别系统 5 20世纪90年代 IBM ViaVoice AT T NTT 2 4 2语音识别的基本原理 2 4 3语音识别系统的分类 1 按识别的词汇量 小词汇量 中等词汇量 大词汇量 2 从说话者与识别系统的相关性 特定人 非特定人 限定人 3 从说话的方式 孤立词 连接词语 连续语音 2 5音频数据处理 2 6 2音频编辑软件CoolEdit2000简介 2 6 3音频编辑软件CoolEditPro简介 2 6 1准备音频数据 2 6 1准备音频数据 1 音频的获取途径 2 音频的存储格式 3 音频数据的编辑 1 音频的获取途径 音频数据的获取方法主要有以下几种 1 使用声卡录制 采集声音信息 并以文件的形式存储在计算机中 2 使用声卡及MIDI设备在计算机上创作乐曲 3 从互联网下载或购买音频光盘 2 音频的存储格式 在多媒体音频技术中 存储声音信息的文件格式有多种 如WAV MIDI MP3 RM及CD唱盘数字音频 1 WAV格式 2 MIDI格式 3 CD DA格式 4 MP3格式MP3采用MPEGLayer3标准对WAVE音频文件进行压缩而成 以达到CD唱盘的音质 5 RM格式RM采用音频 视频流和同步回放技术来实现在互联网上提供优质的多媒体信息 3 音频数据的编辑 音频数据的编辑包括声音的剪辑 删除片段 插入声音 混入声音 特殊效果的添加等操作 除了Window自带的 录音机 程序可进行音频的制作编辑外 目前广泛使用的音频处理软件还有SoundForge WaveEdit CoolEdit等 2 6 2音频编辑软件CoolEdit2000简介 1 CoolEdit2000的功能 2 CoolEdit2000应用程序界面 3 音频的录制 4 音频的基本编辑 5 音频特殊效果编辑 1 CoolEdit2000的功能 使用CoolEdit2000可以录制音频文件 轻松地在音频文件中进行剪切 粘贴 合并 重叠声音操作 提供有多种特效如放大 降低噪音压缩 扩展 回声 延迟 失真 调整音调等 使用它可以生成噪音 低音 静音 电话信号等声音 其他功能有自动静音检测和删除 自动节拍查找等 另外 它还可以在多种文件格式之间进行转换 2 CoolEdit2000应用程序界面 CoolEdit2000应用程序界面主要由标题栏 菜单栏 工具条 状态栏 编辑区等组成 3 音频的录制 安装好声卡 将麦克风与声卡的MICIN连接或将线性输入设备如录音机 CD唱机等输出端与声卡的LINEIN接口正确连接 然后运行CoolEdit2000程序 执行File New命令 弹出对话框 在对话框中选择采样频率 量化位数 声道数后单击 确定 然后单击功能键中的录音按钮 开始录音 录制完毕单击停止按钮停止录音 最后执行File Save命令保存声音文件 4 音频的基本编辑 在CoolEdit2000中 不管进行什么操作 都要首先选择需要处理的区域 如果不选 CoolEdit2000则认为要对整个音频文件进行操作 1 删除选好要操作的选区 执行Edit DeleteSelection命令或直接按DEL键就可删除当前被选择的音频片段 这时后面的波形自动前移 2 剪切执行Edit Cut命令将当前被选择的片段从音频中移去并放置到内部剪贴板上 3 拷贝执行Edit Copy命令将拷贝选区到内部剪贴板上 4 粘贴执行Edit Pastet命令将内部剪贴板上