语音信号处理第4章-矢量量化.

1、信息科学与工程学院东南大学第四章 语音信号的矢量量化4.14.1概述概述4.24.2矢量量化的基本原理矢量量化的基本原理4.34.3失真测度失真测度4.44.4最佳矢量量化器和码本设计最佳矢量量化器和码本设计4.54.5语音参数的矢量量化语音参数的矢量量化信息科学与工程学院东南大学4.1 概述n矢量量化（矢量量化（VQ，Vector Quantization）分）分为两类：为两类：l标量量化：将取样后的信号值逐个地进行量化标量量化：将取样后的信号值逐个地进行量化l矢量量化：将若干取样信号分成一组，即构成矢量量化：将若干取样信号分成一组，即构成一个矢量，然后对此矢量一次进行量化。一个矢量，然后对

2、此矢量一次进行量化。n凡是要用量化的地方都可以采用矢量量化凡是要用量化的地方都可以采用矢量量化信息科学与工程学院东南大学4.1 概述n采用矢量量化的效果优于标量量化的原因采用矢量量化的效果优于标量量化的原因l 矢量量化能有效的应用矢量中各分量之间的四矢量量化能有效的应用矢量中各分量之间的四种相互关联性质来消除数据中的冗余度。种相互关联性质来消除数据中的冗余度。 线性依赖线性依赖(相关性相关性)、 非线性依赖非线性依赖(统计不独立统计不独立)、 概率密度函数的形状概率密度函数的形状 矢量量化的维数矢量量化的维数n标量量化仅能利用线性依赖和概率密度函标量量化仅能利用线性依赖和概率密度函数的形状来消

3、除冗余度。数的形状来消除冗余度。信息科学与工程学院东南大学4.1 概述n矢量量化研究的目的：矢量量化研究的目的：l针对特定的信息源和矢量维数，设计出一种最针对特定的信息源和矢量维数，设计出一种最优化的量化器，在优化的量化器，在R（量化速率）一定的情况（量化速率）一定的情况下，给出的量化失真尽可能接近下，给出的量化失真尽可能接近D(R)(最小量化最小量化失真失真)。信息科学与工程学院东南大学4.2 矢量量化的基本原理n标量量化是对信号的单个样本或参数的幅标量量化是对信号的单个样本或参数的幅度进行量化；标量是指被量化的变量，为度进行量化；标量是指被量化的变量，为一维变量。一维变量。n矢量量化的过程

4、是将语音信号波形的矢量量化的过程是将语音信号波形的K个样个样点，或有点，或有K个参数构成个参数构成K维空间的一个矢量维空间的一个矢量，然后对这个矢量进行量化。，然后对这个矢量进行量化。n矢量量化将矢量量化将K维无限空间划分为维无限空间划分为M个区域边个区域边界，然后将输入矢量界，然后将输入矢量Xi与这些边界进行比与这些边界进行比较，并被量化为较，并被量化为“距离距离”最小的区域边界最小的区域边界的中心矢量值。的中心矢量值。信息科学与工程学院东南大学4.2 矢量量化的基本原理n将信号序列将信号序列xi的每的每K个连续样点分成一组个连续样点分成一组，形成，形成K维欧式空间中的一个矢量，矢量量维欧式

5、空间中的一个矢量，矢量量化就是把这个化就是把这个K维输入矢量维输入矢量X映射成另一个映射成另一个K维量化矢量。维量化矢量。n量化矢量构成的集合量化矢量构成的集合Yi 称为码书或码本，称为码书或码本，码书中的每个矢量码书中的每个矢量Yi称为码字或者码矢。称为码字或者码矢。,21KiNRYYYYY 信息科学与工程学院东南大学4.2 矢量量化的基本原理n以以K2进行说明：所有可能的二维矢量就进行说明：所有可能的二维矢量就形成了一个平面，记为（形成了一个平面，记为（ a1,a2 ）。）。n（a1,a2）就是一个二维空间。）就是一个二维空间。信息科学与工程学院东南大学4.2 矢量量化的基本原理n矢量量化

6、的码本设计：将二维平面划分为矢量量化的码本设计：将二维平面划分为J个互不相交的子区域，个互不相交的子区域，S1，S2，SJ，从，从每一子区域中找出代表值每一子区域中找出代表值Yi（i1，2.J），构成一个有，构成一个有J个区间的二维矢量量化器。个区间的二维矢量量化器。图示的是一个图示的是一个7区间的二维矢量量化器，即区间的二维矢量量化器，即K2，J7。n J个量化矢量构成的集合个量化矢量构成的集合Yi 称为码书或码称为码书或码本本n码书中的每个量化矢量码书中的每个量化矢量Yi （i1，2.J）称为码字或码矢。称为码字或码矢。信息科学与工程学院东南大学4.2 矢量量化的基本原理n区域划分不同或者

7、量化矢量选取不同，构区域划分不同或者量化矢量选取不同，构成不同的矢量量化器。成不同的矢量量化器。n根据仙农信息论，矢量越长越好。实际中根据仙农信息论，矢量越长越好。实际中码书是不完备的，即矢量数是有限的，而码书是不完备的，即矢量数是有限的，而对于任何一个实际应用来说，矢量通常是对于任何一个实际应用来说，矢量通常是无限的。在实际运用中，输入矢量和码书无限的。在实际运用中，输入矢量和码书中码字不匹配的情况下，这种失真是允许中码字不匹配的情况下，这种失真是允许的。的。信息科学与工程学院东南大学4.2 矢量量化的基本原理n矢量量化过程：对一个矢量矢量量化过程：对一个矢量X进行量化，首进行量化，首先选择

8、一个合适的失真测度，然后用最小先选择一个合适的失真测度，然后用最小失真原理，分别计算矢量失真原理，分别计算矢量X和各个量化矢量和各个量化矢量Yi之间的失真。之间的失真。n最小失真值所对应的那个量化矢量，就是最小失真值所对应的那个量化矢量，就是矢量矢量X的重构矢量（或恢复矢量）。的重构矢量（或恢复矢量）。信息科学与工程学院东南大学4.2 矢量量化的基本原理n存在的问题存在的问题n 一、如何划分一、如何划分M个区域边界。个区域边界。l将大量欲处理的信号矢量进行统计划分，进一将大量欲处理的信号矢量进行统计划分，进一步确定这些划分边界的中心矢量值来得到码书步确定这些划分边界的中心矢量值来得到码书n二、

9、如何确定两矢量在进行比较时的测度二、如何确定两矢量在进行比较时的测度l测度就是两矢量间的距离，或以其中某一矢量测度就是两矢量间的距离，或以其中某一矢量为基准时的失真度。为基准时的失真度。信息科学与工程学院东南大学4.2 矢量量化的基本原理n图图7-2 矢量量化系统的组成矢量量化系统的组成信息科学与工程学院东南大学4.2 矢量量化的基本原理n工作过程：工作过程：n编码端编码端:输入矢量输入矢量Xi与码书中的每一个码字与码书中的每一个码字进行比较，分别计算出它们的失真。搜索进行比较，分别计算出它们的失真。搜索到失真最小的码字到失真最小的码字Yjmin 的序号的序号j，这些序号，这些序号就作为传输或

10、存储的参数。就作为传输或存储的参数。n在恢复时，根据此序号从恢复端的码书中在恢复时，根据此序号从恢复端的码书中找出相应的码字找出相应的码字Yjmin 。此时，。此时， Yjmin就是输就是输入矢量入矢量Xi的重构矢量。的重构矢量。 信息科学与工程学院东南大学4.2 矢量量化的基本原理n特点：特点：l传输存储的不是矢量本身而是其序号，所以数传输存储的不是矢量本身而是其序号，所以数据有高保密性能。据有高保密性能。l收发两端没有反馈回路，因此比较稳定收发两端没有反馈回路，因此比较稳定l矢量量化器的关键是编码器的设计，译码器只矢量量化器的关键是编码器的设计，译码器只是简单的查表过程。是简单的查表过程。

11、信息科学与工程学院东南大学4.2 矢量量化的基本原理n性能指标：码书的大小性能指标：码书的大小J和由于量化而产生和由于量化而产生的平均信噪比。的平均信噪比。n矢量量化的准则：在给定码本大小时使量矢量量化的准则：在给定码本大小时使量化所造成的失真最小。化所造成的失真最小。n矢量量化的设计：从大量信号样本中训练矢量量化的设计：从大量信号样本中训练出好的码书，从实际效果出发寻找最好的出好的码书，从实际效果出发寻找最好的失真测度定义公式，设计出最佳的矢量量失真测度定义公式，设计出最佳的矢量量化系统，以便用最少的搜索和计算失真的化系统，以便用最少的搜索和计算失真的计算量，来实现最大可能的平均信噪比。计算

12、量，来实现最大可能的平均信噪比。信息科学与工程学院东南大学4.3 失真测度n设计矢量量化器的关键是编码器的设计，设计矢量量化器的关键是编码器的设计，就需要引入失真测度的概念。就需要引入失真测度的概念。 n失真测度（距离测度）：是将输入矢量失真测度（距离测度）：是将输入矢量Xi用用码本重构矢量码本重构矢量Yi来表征时所产生的误差或失来表征时所产生的误差或失真的度量方法，它可以描述两个或多个模真的度量方法，它可以描述两个或多个模型矢量间的相似程度。型矢量间的相似程度。信息科学与工程学院东南大学4.3 失真测度n失真度选择必须具备的特性失真度选择必须具备的特性l主观评价上有意义，即小的失真应该对应于

13、好主观评价上有意义，即小的失真应该对应于好的主观语音质量；的主观语音质量；l易于处理的，即在数学上易于实现；易于处理的，即在数学上易于实现；l平均失真存在并且可以计算；平均失真存在并且可以计算；l易于硬件实现易于硬件实现 信息科学与工程学院东南大学4.3 失真测度n一、欧氏距离均方误差一、欧氏距离均方误差K维矢量维矢量X和码矢量和码矢量Y的欧式距离定位：的欧式距离定位：l1. 均方误差均方误差 l2.r方平均误差：方平均误差： KiriiryxKYXd11),(2211() ()(, )()TKiiiXYXYdX YxyKK信息科学与工程学院东南大学4.3 失真测度l3.r平均误差：平均误差：

14、l4.绝对值误差：绝对值误差：l5.最大平均误差：最大平均误差：rKiriiryxKYXd111),( KiiiyxKYXd111),(iiKirrrMyxYXdYXd 11max),(lim),(信息科学与工程学院东南大学4.3 失真测度n二、线性预测失真测度二、线性预测失真测度 l由预测系数的差值，不能完全表征这两个语音由预测系数的差值，不能完全表征这两个语音信息的差别，应由预测系数对应的信号功率谱信息的差别，应由预测系数对应的信号功率谱来进行比较。来进行比较。l信号功率谱：信号功率谱：222)()()( jjeAeXf 信号的功率谱信号的功率谱预测误差能量预测误差能量预测逆滤波器的频率响

15、应预测逆滤波器的频率响应信息科学与工程学院东南大学4.3 失真测度n相应的，设码书中某重构矢量的功率谱为相应的，设码书中某重构矢量的功率谱为n定义定义Itakura-Saito距离为：距离为：222)()()( jpjeAeXf 1ln),(2 aRaffdTIS piaaTirirrrRaa1)()(2)0()0(信息科学与工程学院东南大学4.3 失真测度n两种线性预测的失真测度，即：两种线性预测的失真测度，即：l1.对比似然比失真测度对比似然比失真测度l2.模型失真测度模型失真测度)ln(ln),(22RaaaRaffdTTpLLR 11),(22 RaaaRaffdTTpm 信息科学与工

16、程学院东南大学4.3 失真测度n 三、识别失真测度三、识别失真测度lg(x)的作用：当两矢量的能量接近时，忽略能量差异引的作用：当两矢量的能量接近时，忽略能量差异引起的影响；当两矢量能量相差很大时，即进行线性加起的影响；当两矢量能量相差很大时，即进行线性加权；而当能量差超过门限时，则为固定值权；而当能量差超过门限时，则为固定值)(),(),(EEgffdEfdLLR 加权因子加权因子输入信号矢量的归一化能量输入信号矢量的归一化能量码书重构矢量的归一化能量码书重构矢量的归一化能量 )()()(0)(FFddxxxxxxxxxxg信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计n最佳矢量

17、量化器设计的两个必要条件最佳矢量量化器设计的两个必要条件l1)Voronoi分割条件（最近邻准则）分割条件（最近邻准则）对空间的分割应满足对空间的分割应满足根据该条件可以对信号空间进行最佳划分，得到根据该条件可以对信号空间进行最佳划分，得到的的Sl 称为一个胞腔称为一个胞腔);,(),(:liYXdYXdRXSilKl信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计l2）Centroid质心条件：子空间分割固定后，质心条件：子空间分割固定后，Voronoi胞元的质心就是量化器的码字。胞元的质心就是量化器的码字。 一般而言，质心较难计算。对于一般的分布和一般而言，质心较难计算。对于一般

18、的分布和常用的均方失真测度，可以证明常用的均方失真测度，可以证明llSYXEY lSXllXNY1是是 中包含的矢量个数中包含的矢量个数lS信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计n二、二、LBG算法算法l 1980年由年由Linde，Buzo和和Gray提出，它是标量提出，它是标量量化器中量化器中Lloyd算法的推广，在矢量量化中是算法的推广，在矢量量化中是一个基本算法。一个基本算法。 信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计LBG步骤步骤n第一步：初始化第一步：初始化l给出训练给出训练VQ码书所需的全部参考矢量码书所需的全部参考矢量X，用，用S表示；表示

19、；l设定量化级数，失真控制门限设定量化级数，失真控制门限，算法最大迭算法最大迭代次数代次数L以及初始码书以及初始码书Y1(0), Y2(0), YN(0)；l设总失真设总失真D(0) =，迭代次数的初始化为，迭代次数的初始化为m1信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计n第二步：迭代第二步：迭代l1)根据最近邻准则将根据最近邻准则将S分成分成N个子集个子集 S1(m), S2(m), SN(m):l2)计算失真计算失真()(1)(1)(,(,),mlmmliXSd X Yd X Yi jl即时 NiSXmlmmlYXdD1)1()()(),(信息科学与工程学院东南大学4.4

20、最佳矢量量化器和码本设计l3)计算新码字计算新码字Y1(m), Y2(m), YN(m)l4)计算相对失真改进量计算相对失真改进量(m) 将将(m) 与失真门限与失真门限 进行比较，若进行比较，若(m) 则转入则转入 6），否则转入），否则转入5)(1)(miSXimiXNY)()()1()()()(mmmmmmDDDDD 信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计l5)若若mL，则转至，则转至6），否则），否则m加加1，转至，转至1)l6)得到最终的训练码书得到最终的训练码书Y1(m), Y2(m), YN(m)，并输，并输出总失真出总失真D(m) l为了避免迭代算法无限制循环下去，这里设置为了避免迭代算法无限制循环下去，这里设置了两个阈值参数：最大迭代次数了两个阈值参数：最大迭代次数L和失真控制和失真控制门限门限。信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计信息科学与工程学院东南大学4.4 最佳矢量量化器和码本设计n三、初始码书的选择三、初始码书的选择l随机选取法随机选取法方法：从训练序列中随即按选择方法：从训练序列中随即按选择J个矢量作为初个矢量作为初始码字始码字缺点：收敛速度慢或者不能收敛缺点：收