第2章数字音视频技术

第2章数字音视频技术第一页，共63页。音调与基频

音阶CDEFGAB简谱符号1234567频率（Hz）261293330349392440494频率（对数）20log48.349.350.350.851.852.853.8音阶与基频的对应关系2.1概述2第二页，共63页。音色与谐波音强与幅度用动态范围来定义音频信号的相对强度：

动态范围＝20×lg（信号的最大强度/最小强度）（dB）信噪比SNR3第三页，共63页。音宽与频带

语音（Speech）带宽音频（Audio）带宽次声带超声带

203003K20Kf(Hz)4第四页，共63页。声音的质量

声音的质量与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。声音类型带宽电话语音300Hz－3.4kHz调幅广播50Hz－7kHz调频广播20Hz－15kHzCD20Hz－20kHz5第五页，共63页。声音质量MOS标准

分数质量级别失真级别5优(Excellent)察觉不到4良(Good)（刚）察觉但不讨厌3中(Fair)（察觉）及有点讨厌2差(Poor)讨厌而不反感1劣(Bad)极讨厌（令人反感）6第六页，共63页。计算机模拟人类交流信息的过程:(1)将大脑产生的思想转换成语言(2)将语言转换成相应的语音(3)识别表达语言的语音内容(4)理解语音所表达的语言意义自然语言生成自然语言理解语音合成语音识别7第七页，共63页。2.2音频信号数字化

音频信息处理主要包括音频信号的数字化和音频数据的压缩两大技术。在这一处理过程中涉及到模拟音频信号的采样、量化和编码。

从模拟到数字声源声波传声器模拟电信号数字声音8第八页，共63页。(1)标准采样频率采样频率采样次数/s声音质量8KHz8000电话音质11.025KHz11025AM音质22.05KHz22050FM音质44.1KHz44100CD音质48KHz48000DAT音质DAT指数字录音带格式（Digitalaudiotype）9第九页，共63页。

(2)量化过程

量化的过程：先将整个幅度划分为有限个小幅度（量化阶距）的集合，把落入某个阶距内的样值归为一类，并赋予相同的量化值。10第十页，共63页。量化的物理过程11第十一页，共63页。量化噪声：量化误差，随阶距变大而增加。-(Δ/2)≤e(n)≤(Δ/2)量化位数/采样字长：表示采样值的二进制位数（比特数），决定了采样值的精度。例如：量化位数16bit，可以表示65536个不同量化值，精度（阶距）1/65536。量化位数8bit，可以表示256个不同量化值，精度（阶距）1/256。12第十二页，共63页。数据量的计算数据量（字节/秒）=（采样频率×采样字长×声道数）/8采样字长为16bit的双声道立体声歌曲，问一张容量为640MB的CD唱盘最多能存储多长时间的CD音质？每秒：(44100×16bit×2/8)=176400Byte(640×1024×1024)/176400=3804s=1h3min24s13第十三页，共63页。数字声音相关的参数质量采样频率（kHz）样本精度单道声/立体声数据率（kb/s）频率范围（kHz）电话88单道声64200～3400AM11.0258单道声8850～7000FM22.05016立体声705.620～15000CD44.116立体声1411.220～20000DAT4816立体声153620～2000014第十四页，共63页。WAV文件15第十五页，共63页。

(3)编码过程 编码过程是指用二进制数来表示每个采样的量化值。如果量化是均匀的，又采用自然二进制数表示，这种编码方法就是脉冲编码调制(PulseCodeModulation，PCM），这是一种最简单、最方便的编码方法。16第十六页，共63页。采样值电压范围量化(dec)编码(bin)0.5~0.7 3 0110.3~0.5 2 0100.1~0.3 1 001-0.1~0.1 0 000-0.3~-0.1 -1 111-0.5~-0.3 -2 110-0.7~-0.5 -3 101-0.9~-0.7 -4 10017第十七页，共63页。2.3音频信号压缩编码从20世纪30年代提出PCM（脉冲编码调制）原理以及声码器的概念以来，音频信息压缩编码技术主要是向基于波形和基于参数两个方向发展的，从这个角度出发，音频信息编码技术可分为三类：18第十八页，共63页。

（1）波形编码 主要基于语音波形预测，它力图使重建的语音波形保持原信号的波形状态。优点：编码方法简单、易于实现、适应能力强、语音质量好等。缺点：压缩比相对来说较低，需要较高的编码速率。常用的波形法编码技术有增量调制(DM)、自适应差分脉冲编码调制（ADPCM）、子带编码(SBC)和矢量量化编码（VQ）等。19第十九页，共63页。

（2）参数编码与波形编码不同的是，这类编码方法通过语音信号的数学模型对语音信号特征参数进行提取及编码，力图使重建的语音信号尽可能保持原信号的语意，而重建的语音信号波形同原信号的波形可能会有较大的区别。基于这种编码技术的编码系统一般称为声码器，它主要用于在窄带信道上提供4.8kb/s以下的低速语音通信和一些对延时要求较宽的应用场合（如卫星通信等）。最常用的参数编码法为线性预测编码（LPC）。20第二十页，共63页。

(3)混合编码克服了原有波形编码与参数编码的弱点，并且结合了波形编码的高质量和参数编码的低数据率，取得了比较好的效果。无论是在音频信号的数据压缩中，还是在图像信号的数据压缩中，混合编码均被广泛采用。21第二十一页，共63页。

2.4语音压缩编码标准

22第二十二页，共63页。

1．G.711标准1972年制定的电话质量的PCM语音压缩标准，采样频率8kHz，每个样值采用8位二进制编码，速率为64kb/s。推荐使用A律或μ律的非线性压扩技术，将13位的PCM按A律，14位的PCM按μ律转换成8位编码。广泛用于数字语音编码。23第二十三页，共63页。2．G.721标准ITU-T于1984年制定的，用于64kb/s的A律和μ律PCM与32kb/s的ADPCM之间的转换。基于ADPCM技术，采样频率为8kHz，每个样值与预测值的差值用4位编码，其编码速率为32kb/s，ADPCM是一种对中等质量音频信号进行高效编码的有效算法之一，它不仅适用于语音压缩，而且也适用于调幅广播质量的音频压缩和CD-I音频压缩等应用。

24第二十四页，共63页。3．G.722标准G.722标准提供比G.711或G.721标准压缩技术更高的音质，G.722编码采用了高低两个子带内的ADPCM方案，即用子带ADPCM(SB-ADPCM)编码方案。高低子带的划分以4kHz为界，然后再对每个子带内采用类似G.721标准的ADPCM编码。25第二十五页，共63页。3．G.722标准

它是1988年ITU-T为调幅广播质量的音频信号压缩制定的标准。G.722能将224kb/s的调幅广播质量的音频信号压缩为64kb/s，主要用于视听多媒体和会议电视等。G.722压缩信号的带宽范围为50Hz～7kHz。26第二十六页，共63页。4．G.728标准G.728标准是一个追求低比特率的标准，其速率为16kb/s，其质量与32kb/s的G.721标准相当。它使用了LD-CELP（低延时码激励线性预测）算法。27第二十七页，共63页。4．G.728标准该算法考虑了人耳的听觉特性，具有以块为单位的后向自适应高阶预测、后向自适应型增益量化、以矢量为单位的激励信号量化等特点。语音输入为5个取样值，附加上激励信号的波形与增益表达信息10比特，编码时延在2ms以内。28第二十八页，共63页。5．G.729标准G.729标准是ITU-T为低码率应用设计而制定的语音压缩标准，其码率为8kb/s，算法相对较复杂，采用码激励线性预测（CELP，CodeExcitationLinearPrediction）技术，同时为了提高合成语音质量，采取了一些措施，具体的算法要比CELP复杂一些。通常称为共轭结构代数码激励线性预测（CS-ACELP，ConjugateStructureAlgebraicCodeExcitedLinearPrediction）。29第二十九页，共63页。6．G.723.1标准ITU-T颁布的语音压缩标准中码率最低的,分别为5.3kbit/s和6.3kbit/s。Forthehighbitrate,Multi-PulseMaximumLikelihoodQuantization(MP-MLQ)excitationisused,andforthelowbitrate,anAlgebraicCodeExcitedLinearPrediction(ACELP)isused.G.723.1标准主要是用于各种网络环境中的多媒体通信的。30第三十页，共63页。7．GSM音频编码标准GSM是欧洲电信管理局（EuropeanTelecommunicationAdministration）下属的一个工作小组CEPT-CCH-GSM（GroupSpecialMobile）的缩写。GSM是欧洲采用的移动电话的压缩标准。GSM所采用的算法为长时预测规则码激励（RPE-LTP，Regular-PulseExcitation/LongTermPrediction），采样频率为8kHz，运行速率为13kb/s。31第三十一页，共63页。2.5IP电话技术

网络电话(IPPhone)是以因特网作为传送媒体的电话系统。网络电话在IP网上（以IP为网络层协议的计算机网络）传送数字化语音(VoIP，VoiceoverIP)，占用信道资源少，成本较低，价格便宜。网络电话还将与图片、视频等结合在一起，可以开通传真、广播、电视等业务，其市场应用前景广阔。

32第三十二页，共63页。1.网际协议IP及其配套协议

各种应用层协议网络接口层(TELNET,FTP,SMTP等)物理硬件运输层TCP,UDP应用层ICMPIPRARPARP与各种网络接口网际层IGMP33第三十三页，共63页。因特网的网际协议IP网际协议IP是TCP/IP体系中两个最主要的协议之一。与IP协议配套使用的还有四个协议：地址解析协议ARP(AddressResolutionProtocol)逆地址解析协议RARP(ReverseAddressResolutionProtocol)因特网控制报文协议ICMP(InternetControlMessageProtocol)因特网组管理协议IGMP(InternetGroupManagementProtocol)34第三十四页，共63页。ARP

不管网络层使用的是什么协议，在实际网络的链路上传送数据帧时，最终还是必须使用硬件地址。每一个主机都设有一个ARP高速缓存(ARPcache)，里面有所在的局域网上的各主机和路由器的IP地址到硬件地址的映射表。35第三十五页，共63页。ARP

当主机A欲向本局域网上的某个主机B发送IP数据报时，就先在其ARP高速缓存中查看有无主机B的IP地址。如有，就可查出其对应的硬件地址，再将此硬件地址写入MAC帧，然后通过局域网将该MAC帧发往此硬件地址。

36第三十六页，共63页。MAC地址37第三十七页，共63页。2.IP电话的实现方式(1)PC到PC：利用IP地址发出呼叫，并采用语音压缩打包传送方式，在Internet上实现实时话音传送。话音压缩、编解码和打包等处理过程均由PC中的处理器、声卡和网卡等硬件资源完成。这种方式与公用电话通信方式存在较多差异，且限定在Internet上，所以局限性较大。38第三十八页，共63页。(2)电话机到电话机首先通过程控电话交换机将传统电话机连接到IP电话网关上，通过电话号码在IP网上呼叫，发送端网关鉴别主叫用户，在翻译电话号码/网关IP地址后，发出IP电话呼叫，并与最近的被叫网关连接，同时完成话音编码和打包，最后接收端网关实现拆包、解码和连接被叫。在电话到PC或PC到电话的实现方式中，由网关负责IP地址和电话号码的对应和翻译，并完成话音编解码和打包。39第三十九页，共63页。3.IP电话的系统构成

40第四十页，共63页。

IP电话终端有传统电话机、配备有IP电话软件（如Netmeeting）的PC机和以太电话机等。如果使用传统电话机，则需要通过网关设备或适配器进行数据转换，才能形成IP网数据包。

41第四十一页，共63页。

IP电话网关为IP网络与电话网之间提供接口，用户通过PSTN本地环路与IP网关相连，该网关负责把模拟信号转换为数字信号，并压缩打包，形成可以在Internet上传输的IP分组语音信号，然后通过Internet传送至被叫用户的网关端，由被叫端网关对IP数据包进行解包、解压和解码，还原为可识别的模拟语音信号，再通过PSTN传送至被叫方的终端。42第四十二页，共63页。

网守

是IP电话网的智能集线器，是整个系统的服务平台，负责系统的管理、配置和维护，提供拨号方案管理、安全性管理、集中账务管理、数据库管理及备份和网络管理等功能。43第四十三页，共63页。IP电话网关的几种连接方法

分组交换电路交换电路交换

因特网PC到PC公用电话网IP

电话网关

因特网PC到普通电话机公用电话网IP

电话网关公用电话网IP

电话网关因特网普通电话机到普通电话机44第四十四页，共63页。

4.IP电话与传统电话的比较

语音传输的媒介的不同IP电话的传输媒介为IP网络，而传统电话为公众电话交换网。

交换方式的不同IP电话运用的是分组交换技术，信息根据IP协议分成一个个分组进行传输，每个分组上都有目的地址与分组序号，到目的地后再还原成原来的信号，且分组可以沿不同的途径到达目的地。45第四十五页，共63页。而传统电话用的是电路交换的方式，即电话通信的电路一旦接通后，电话用户就占用了一个信道，无论用户是否在讲话，只要用户不挂断，信道就一直被占用着。由于IP电话提高了语音的线路利用率，所以电话费用能够大大降低。

46第四十六页，共63页。5.IP电话中主要的技术问题

(1)信令在IP网络中，信令工作过程是：网关把从交换机接收的拨号数字映射为IP地址，并向该IP地址的站点发送通知建立请求信号。同时，系统使用控制信道建立实时协议语音流，并使用RSVP（资源预留协议）请求服务质量。47第四十七页，共63页。(2)寻址在电话网络中要实现寻址功能，其每一部电话机都必须有一个单独的地址。传统电话网络的寻址依靠国际和国内标准、本地电话公司服务和内部用户特定代码等技术相结合来完成。

IP网络采用TCP／IP的寻址规则和协议。48第四十八页，共63页。(3)路由传统电话网络的路由与编号规则和线路密切相关，路由用于建立从主叫电话到被叫电话的通话。然而，大多数路由操作则复杂得多。49第四十九页，共63页。(4)延迟在语音网络中，距离是导致延迟的主要因素。50第五十页，共63页。IP电话的端到端时延

(1)话音信号进行模数转换要经受时延。(2)话音比特流装配成话音分组的时延。(3)话音分组的发送需要时间，此时间等于话音分组长度与通信线路的数据率之比。(4)话音分组在因特网中的存储转发时延。(5)话音分组在接收端缓存中暂存所引起的时延。(6)话音分组还原成模拟话音信号的时延。(7)话音信号在通信线路上的传播时延。(8)终端设备的硬件和操作系统产生的接入时延。

51第五十一页，共63页。6.VOIP网络电话的工作方式(1)单机工作： 直接下载安装软件电话，宽带---电脑---耳麦，实现话务通讯，（或使用USB专用话机）；（特点：使用时需电脑开机，可能不太符合一些客户的使用习惯）(2)配合企业集团电话使用： 宽带---VOIP语音网关---电话交换机---普通电话机；（优点：不改变原有使用习惯，利用单位普通电话系统即可打VOIP电话。同时不影响原有电信线路的通话，如以拨9或拨0等加以区分）52第五十二页，共63页。6.VOIP网络电话的工作方式(3)直接使用语音网关： 宽带---VOIP语音网关---普通电话机；（优点：简单、方便，比较适合中小型公司和宽带家庭用户使用）(4)直接使用网络话机： 宽带---RJ45口话机。（特点：独立使用，与电脑关机无关）53第五十三页，共63页。7.典型应用方案应用一：宽带家庭用户在家庭宽带原有条件下增加一个单口语音网关，即可实现用普通话机拨打网络电话，另外，华为单口语音网关还具有路由功能，可为用户省去购买路由器的费用。54第五十四页，共63页。应用二：企业单位用户企业内部原有电话和电脑网络的基础上，增加一台四口语音网关，便可实现使用普通电话分机拨打网络电话，同时不影响电信线路通话，以拨9或拨0等加以区分，不改变使用习惯。55第五十五页，共63页。应用三：中小型公司用户此方案适用于长话相对不多的小型公司，增加一台多口语音网