第六讲 VQ_语音信号处理第4章

1、u矢量量化的基本原理矢量量化的基本原理u问题分解问题分解1. 1.矢量量化基本原理矢量量化基本原理v量化分为两类：量化分为两类： * * 标量量化标量量化：将取样后的信号值逐个地进行量化。：将取样后的信号值逐个地进行量化。 * * 矢量量化矢量量化：将若干取样信号分成一组，即构成一：将若干取样信号分成一组，即构成一个矢量，然后对此矢量一次进行量化。个矢量，然后对此矢量一次进行量化。v矢量量化（矢量量化（VQVQ，Vector QuantizationVector Quantization）是一种极是一种极其重要的信号压缩方法。其重要的信号压缩方法。VQVQ在语音信号处理中占十在语音信号处理中占

2、十分重要的地位。广泛应用于语音编码、语音识别和分重要的地位。广泛应用于语音编码、语音识别和语音合成等领域。语音合成等领域。v凡是要用量化的地方都可以采用矢量量化凡是要用量化的地方都可以采用矢量量化。VQ的定义vK维欧几里德空间 中的任意矢量 X 到K维空间 有限子集 Y 的映射KRKRJKYYYYXRQ,:21jiRRRRjiKJjj,1iiRY 术语v码本 Codebookv码字 CodeWordv码本大小 Codebook SizevVoronoi Cell 胞腔v矢量量化简约历史矢量量化简约历史早在早在5050和和6060年代就被用于语音压缩编码。年代就被用于语音压缩编码。7070年代线

3、性预测技术被引入语音编码后，矢量量年代线性预测技术被引入语音编码后，矢量量化技术才活跃起来。化技术才活跃起来。7070年代末，年代末，Linda, Linda, BuzoBuzo 等人解决了码本生成问等人解决了码本生成问题题8080年代初，矢量量化技术的理论和应用研究得到年代初，矢量量化技术的理论和应用研究得到迅速发展。迅速发展。v采用矢量量化的压缩作用采用矢量量化的压缩作用对信号波形或参数进行压缩处理，可以获得很对信号波形或参数进行压缩处理，可以获得很好的效益，使存储要求、传输比特率需求或和好的效益，使存储要求、传输比特率需求或和计算量需求降低计算量需求降低. .量化压缩案例量化压缩案例10

4、KHz, 16-bit PCM 160,000bps100 spectral vectors of dimension p=10 1001032 = 32,000bps 51VQ: 1024 codebook 10010 = 1000bps 321采用矢量量化的效果优于标量量化的原因？采用矢量量化的效果优于标量量化的原因？矢量量化能有效的应用矢量中各分量之矢量量化能有效的应用矢量中各分量之间的四种相互关联性质来消除数据中的冗间的四种相互关联性质来消除数据中的冗余度。余度。线性依赖线性依赖( (相关性相关性) )非线性依赖非线性依赖( (统计不独立统计不独立) )概率密度函数的形状概率密度函数的

5、形状矢量量化的维数矢量量化的维数而标量量化仅能利用线性依赖和概率密而标量量化仅能利用线性依赖和概率密度函数的形状来消除冗余度。度函数的形状来消除冗余度。矢量量化研究的目的？矢量量化研究的目的？ 针对特定的信息源和矢量维数，设计针对特定的信息源和矢量维数，设计出一种最优化的量化器，在出一种最优化的量化器，在R（量化速（量化速率）一定的情况下，给出的量化失真尽率）一定的情况下，给出的量化失真尽可能接近可能接近D(R)(最小量化失真最小量化失真)。矢量量化的形象说明矢量量化的形象说明 以以K K2 2进行说明进行说明： 当当K K2 2时，所得到的是二维矢量。所有可时，所得到的是二维矢量。所有可能的

6、二维矢量就形成了一个平面。能的二维矢量就形成了一个平面。 记为（记为（a a1 1,a,a2 2）, ,所有可能的（所有可能的（a a1 1,a,a2 2）就是一个二维空间。如图就是一个二维空间。如图7-17-1（a a）所示）所示图图7-1 7-1 矢量量化概念示意图矢量量化概念示意图图图7-2 7-2 矢量量化系统的组成矢量量化系统的组成 工作过程工作过程：v在编码端在编码端，输入矢量，输入矢量X Xi i与码书中的每一个码字进行与码书中的每一个码字进行比较，分别计算出它们的失真。搜索到失真最小的比较，分别计算出它们的失真。搜索到失真最小的码字码字 的序号的序号 （或该码字所在码书中的地（

7、或该码字所在码书中的地址），这些序号就作为传输或存储的参数。址），这些序号就作为传输或存储的参数。v在恢复时在恢复时，根据此序号从恢复端的码书中找出相应，根据此序号从恢复端的码书中找出相应的码字的码字 。由于两本码书完全相同，此时失真。由于两本码书完全相同，此时失真最小，所以最小，所以 就是输入矢量就是输入矢量X Xi i的重构矢量。的重构矢量。 minjYjminjYminjY特点：特点：传输存储的不是矢量本身而是其序号，所以传输存储的不是矢量本身而是其序号，所以据有高保密性能据有高保密性能收发两端没有反馈回路，因此比较稳定收发两端没有反馈回路，因此比较稳定矢量量化器的关键是编码器的设计，译

8、码器矢量量化器的关键是编码器的设计，译码器只是简单的的查表过程。只是简单的的查表过程。VQ的优、劣势v自由构造量化区域的形状v码本大小可随意选择v量化失真v码本存储. . . . . .101101101011一、如何划分一、如何划分M M个区域边界个区域边界 方法是：将大量欲处理的信号的矢量进行统计划分，方法是：将大量欲处理的信号的矢量进行统计划分，进一步确定这些划分边界的中心矢量值来得到码书。进一步确定这些划分边界的中心矢量值来得到码书。二、类中心计算方法二、类中心计算方法三、两矢量的相似度测度三、两矢量的相似度测度 这个测度就是两矢量间的距离，或以其中某一这个测度就是两矢量间的距离，或以

9、其中某一矢量为基准时的失真度。它描述了当输入矢量用码矢量为基准时的失真度。它描述了当输入矢量用码书所对应的矢量来表征时所付出的代价。书所对应的矢量来表征时所付出的代价。四、四、如何准备码本训练集如何准备码本训练集 完备性：根据具体应用而定完备性：根据具体应用而定 2. VQ问题分解问题分解 失真测度是矢量量化和模式识别中一个失真测度是矢量量化和模式识别中一个十分重要的问题，选择合适与否直接影响系十分重要的问题，选择合适与否直接影响系统的性能。统的性能。 失真是将输入信号矢量用码书的重构矢量失真是将输入信号矢量用码书的重构矢量来表征时的误差或所付出的代价。这种代价来表征时的误差或所付出的代价。这

10、种代价的统计平均值（平均失真）描述了矢量量化的统计平均值（平均失真）描述了矢量量化器的工作性。器的工作性。3.3. 失真测度失真测度失真度选择必须具备的特性失真度选择必须具备的特性必须在主观评价上有意义，即小的失真应该对应于必须在主观评价上有意义，即小的失真应该对应于好的主观语音质量；好的主观语音质量；必须是易于处理的，即在数学上易于实现，这样可必须是易于处理的，即在数学上易于实现，这样可以用于实际的矢量量化器的设计；以用于实际的矢量量化器的设计；平均失真存在并且可以计算；平均失真存在并且可以计算；易于硬件实现易于硬件实现 失真测度主要有均方误差失真测度（即欧氏距失真测度主要有均方误差失真测度

11、（即欧氏距离）、加权的均方误差失真测度、板仓斋藤离）、加权的均方误差失真测度、板仓斋藤（ItakuraItakuraSaitoSaito）距离，似然比失真测度等，还）距离，似然比失真测度等，还有人提出的所谓的有人提出的所谓的“主观的主观的”失真测度。失真测度。一、欧氏距离均方误差一、欧氏距离均方误差 设输入信号的某个设输入信号的某个K K维矢量维矢量X X，与码书中某个，与码书中某个K K维矢量维矢量Y Y进行比较，进行比较，x xi i,y,yi i分别表示分别表示X X和和Y Y中的各元中的各元素素 ，则定义均方误差为欧氏距离：则定义均方误差为欧氏距离： KYXYXyxKYXdTKiii)

12、()()(1),(122 )1 (Ki 几种其他常用的欧氏距离：几种其他常用的欧氏距离：1.1.r r方平均误差方平均误差 KiriiryxKYXd11),(2. r2. r平均误差平均误差 rKiriiryxKYXd111),( 3.3.绝对值平均误差绝对值平均误差 KiiiyxKYXd111),(4.4.最大平均误差最大平均误差 iiKirrrMyxYXdYXd 11max),(lim),(二、线性预测失真测度二、线性预测失真测度 用全极模型表示的线性预测方法，广泛应用于语用全极模型表示的线性预测方法，广泛应用于语音信号处理中。它在分析时得到的是模型的预测系数音信号处理中。它在分析时得到的

13、是模型的预测系数. .仅由预测系数的差值，不能完全表征这两个语音信息仅由预测系数的差值，不能完全表征这两个语音信息的差别。应该直接由这些系数所描述的信号模型的功的差别。应该直接由这些系数所描述的信号模型的功率谱来进行比较。率谱来进行比较。222)()()( jjeAeXf 当预测器的阶数当预测器的阶数 ，信号与模型，信号与模型完全匹配时，信号功率谱为：完全匹配时，信号功率谱为： p信号的功率谱信号的功率谱预测误差能量预测误差能量预测逆滤波器的频率响应预测逆滤波器的频率响应222)()()( jpjeAeXf 1ln),(2 aRaffdTISTa相应的，设码书中某重构矢量的功率谱为相应的，设码

14、书中某重构矢量的功率谱为则定义则定义Itakura-Saito距离为距离为 piaaTirirrrRaa1)()(2)0()0( 这种失真测度是针对线性预测模型、用最这种失真测度是针对线性预测模型、用最大似然准则推导出来，所以特别适用于大似然准则推导出来，所以特别适用于LPC参参数，描述语音信号的情况，常用于数，描述语音信号的情况，常用于LPC编码中。编码中。我们由此又推导出两种线性预测色失真测度，我们由此又推导出两种线性预测色失真测度，他们比上述具有更好的性能，即他们比上述具有更好的性能，即)ln(ln),(22RaaaRaffdTTpLLR 对比似然比失真测度对比似然比失真测度模型失真测度

15、模型失真测度11),(22 RaaaRaffdTTpm 注：这两种失真测度都仅仅比较两矢量的注：这两种失真测度都仅仅比较两矢量的功率谱，而没有考虑其他能量信息。功率谱，而没有考虑其他能量信息。三、识别失真测度三、识别失真测度失真测度的定义失真测度的定义)(),(),(EEgffdEfdLLR 加权因子加权因子输入信号矢量的归一化能量输入信号矢量的归一化能量码书重构矢量的归一化能量码书重构矢量的归一化能量 )()()(0)(FFddxxxxxxxxxxg当两矢量的能量接近时（即当两矢量的能量接近时（即 ），忽略能量差异引起的影响；当），忽略能量差异引起的影响；当两矢量能量相差很大时，即进行线性加

16、权；而当能量差超过门限两矢量能量相差很大时，即进行线性加权；而当能量差超过门限 时，则时，则为固定值为固定值dxEE Fx4 . 最佳矢量量化器和码本的设计最佳矢量量化器和码本的设计最佳设计就是使失真最小最佳设计就是使失真最小1、最佳划分、最佳划分2、最佳码书、最佳码书一、矢量量化器最佳设计的两个条件一、矢量量化器最佳设计的两个条件最佳矢量量化器满足的两个必要条件最佳矢量量化器满足的两个必要条件1）Voronoi分割条件（最近邻准则）分割条件（最近邻准则）对信号空间的分割应满足对信号空间的分割应满足);,(),(:liYXdYXdRXSilKl根据该条件可以对信号空间进行最佳划分，根据该条件可

17、以对信号空间进行最佳划分，得到的得到的 称为一个胞腔称为一个胞腔lS2）Centroid质心条件质心条件子空间分割固定后，子空间分割固定后，Voronoi胞元胞元的质心就是量化器的码字的质心就是量化器的码字llSXXEY 对于一般的失真测度和信源分布，很难找到对于一般的失真测度和信源分布，很难找到质心的计算方法，但对于一般的分布和常用的质心的计算方法，但对于一般的分布和常用的均方失真测度，可以证明均方失真测度，可以证明 lSXllXNY1是是 中包含的矢量个数中包含的矢量个数lS二、二、LBG算法算法 K-means clustering algorithm 1980年由年由Linde，Buz

18、o和和Gray提出，提出，它是标量量化器中它是标量量化器中Lloyd算法的推广，在矢算法的推广，在矢量量化中是一个基本算法。量量化中是一个基本算法。 LBG算法由于其理论上的算法由于其理论上的严密性严密性、应用、应用上的上的简便性简便性以及以及较好的设计效果较好的设计效果，得到了广，得到了广泛的应用，并常被作为各种改进算法的基础泛的应用，并常被作为各种改进算法的基础LBG算法步骤算法步骤第一步：初始化第一步：初始化 给出训练给出训练VQ码书所需的全部参考矢量码书所需的全部参考矢量X，X的集合用的集合用S表示；设定量化级数，失真控制门表示；设定量化级数，失真控制门限限 ，算法最大迭代次数，算法最大迭代次数L以及初始码以及初始码书书 ；设总失真；设总失真 ；迭代；迭代次数的初始化为次数的初始化为m1 ,)0()0(2)0(1NYYY ) 0(D第二步：迭代第二步：迭代2）计算失真：）计算失真：1）根据最近邻准则将）根据最近邻准则将S分成分成N个子集个子集 ， ， ， 即当即当 时，下式成时，下式成立：立：)(1mS)(mNS)(2mS)(1mSX ljiYXdYXdmiml ,),(,()1()1( NiSXmlmmlYXdD1)1()()(),(4）计算相对失真改进量）计算相对失真改进量 ：3）计算新码字）计算新码字)(1)(miSXimiX