语音信号盲分离—ICA算法

1、语音信号盲分离 ICA算法主要内容u背景介绍u研究现状介绍u盲分离的概念、方法和准则uFast ICA算法u语音信号盲分离实例背景介绍 语音信号的分离近年来成为信号处理领域的一个研究热点，它在电话会议、助听器及便携设备、机器的语音识别方面有很多的应用与影响。而盲信号处理的方法常被用于语音分离中去，“盲”是指没有关于源信号本身以及传输信道的知识，盲分离的理论基础是独立分量分析（ICA），其可以广泛的被应用于通信、图像、语音、生物医学、雷达、地震、声纳等多种类型信号的处理。盲分离技术可以用于消除不需要的干扰以增加语音质量。 语音分离使得助听器有更强大的处理功能，使得接收信号分离出尽可能接近原始的语

2、音。更适合于语音编码和基音检测。特别是在混合语音信号进行编码方面，传统的单通道方法处理起来十分困难，而混合语音可以看作多路语音信号的线性组合，其每一路语音信号都可视为独立分量，这正好与ICA的假设相符。语音识别。机器的语音识别能力远不及人类，尤其是在有噪音和干扰的背景下。 这时作为语音识别的前端处理，盲语音分离可以很好的去除干扰，不论是加性噪声还是其他不感兴趣的语音，这就大大增强了机器的识别率。 盲信号处理(Blind Signal Processing, BSP)作为计算智能学的核心研究内容，是20世纪最后十年迅速发展起来的一个新研究领域，是人工神经网络与统计信号处理以及信息理论相结合的产物

3、，已经成为一些领域研究与发展的重要课题，它具有可靠的理论基础和许多方面的应用潜力。事实上，盲信号处理已成为重要的研究课题，并在许多领域得到发展，特别是在生物医学工程、医疗成像、语音增强、遥感、雷达与通信系统、地震勘探、地球物理学、计量经济学、数据挖掘等方面均具有突出的作用。盲信号处理技术原则上不利用任何训练数据，也没有关于卷积、滤波、混合系统参数的先验知识。而且随着盲信号处理技术的不断成熟，从传统的信号处理、神经元网络领域到通信、生物医学工程、地球物理、以及图像工程、控制工程等领域，盲信号处理技术正在得到越来越广泛的应用。因此，大力发展盲信号处理技术，不仅会积极地促进信号处理、神经网络的研究，

4、而且也将会对多个领域新技术的发展起到一定的促进作用。背景介绍研究现状简介 线性瞬时混合信号 较早进行盲源分离方法研究的是jutten和Herault,1986年，他们提出了一种盲源分离方法，该方法基于反馈神经网络，通过选取奇次的非线性函数构成Hebb训练，从而达到盲源分离的目的。但该方法不能完成多于两个源信号的分离，非线性函数的选取具有随意性，并且缺乏理论解释。 1991年，Juttcn, Herault以及Comon和Sorouchyari在杂志Signal Processing上发表了关于盲信号分离的三篇经典文章，标志着盲源分离问题研究的重大进展.他们不仅提出了盲源分离中著名的H-J学习算

5、法，而且设计了专门的CMOS集成芯片来实现他们的算法。H-J方法后来由Jutten和Herault、Comon, Cichocki和Moszczynski以及其他研究者解释并发展。Tong和liu分析了盲源分离的可分离性和不确定，并给出了一类基于高阶统计量的矩阵代数分方法。 1993年，Cardoso提出了基于高阶统计的联合对角化盲源分离方法，并应用于波束形成。 1995年，Bell和Sejnowsk基于信息理论，通过最大化输出非线性节点的熵，得出一种最大信息(Informatian Maximization,简记Infomax)传输的准则函数，并由此导出一种自适应盲源分离和盲反卷积方法，当该

6、方法中非线性函数的选取逼近源信号的概率分布时，可以较好地恢复出源信号。该算法虽有其局限性，但在分离线性混合的语音信号方面非常有效。 1997年，Hyvarinen等基于源信号非高斯性测度，给出一类定点训练算法(fixed-point)，该类算法可以提取单个具有正或负峰度的源信号。 1999年，Lee、 Girolami和Sejnowski将信息最大化原则的独立分量分析作了进一步的扩展，实现了超高斯源信号和亚高斯源信号的盲源分离，这个方法选取两个不同的非线性函数分别实现超高斯信号和亚高斯信号的盲源分离。但是这个方法只局限于实现标准的独立分量分析，不能解决当源信号维数大于混合信号维数时的盲源分离向

7、题，也不能实现具有噪音的独立分量分析。研究现状简介非线性瞬时混合信号 最近，人们已经开始研究存在噪声的混合和非线性混合信号的盲源分离问题。非线性盲源分离比线性情况的分离难度更大，目前基本还处在最初的摸索阶段。较早涉及非线性混合信号盲源分离的是Burel,1992年他用一个两层感知器和基于误差后向传输思想的无监督训练算法，得到一种盲源分离算法，可以用于非线性混合信号的盲源分离。 1994年，Krob和Benidir研究了利用高阶统计量解决多项式结构的非线性混合问题。 1995年，Deco和Brauer研究了一个基于Volume-Conserving结构的非线性变换的盲源分离。 1997年，Yan

8、g、Amari和Cichocki基于对于源信号各分量统计独立的假设，利用两层感知器网络结构得出基于最大熵( Minimum Entropy，简记ME)和最小互信息思想(Minimum Mutual information，简记MMI )的代价函数，并提出了反向学习算法，当合理选择非线性函数时该算法可以分离出一些特定非线性混合的源信号。研究现状简介 1998年，Taleb、Jutten 和 Olympieff 提出了一种非线性混合信号盲源分离算法，该算法基于熵，对于分离某些盲混合信号具有良好性能。 2001年，Valpola、Honkela 和 Karhunen提出了贝叶斯集合学习算法(Baye

9、sian Ensemble Learning Algorithm )，该算法采用多层感知器神经元网络(MLP )，能够对非线性静态和动态过程实现盲源分离。Tan和Wang提出了基于遗传算法( Genetic Algorithm)的盲源分离方法，该算法利用遗传算法使信号非线性混合度最小化，然后对去除非线性后的数据进行线性分离，从而实现盲源分离。与传统的梯度算法相比，基于遗传算法的盲源分离方法有着更快的收敛速度和稳定性，能够在全局范围内寻找最优解。Tan、Wang和Zurada提出了径向基网络算法(Radial Basis Function Network Algorithm)，使用径向基函数神经

10、网络来逼近非线性混合的逆映射实现盲源分离。研究现状简介盲分离的概念、方法和准则盲分离的数学模型盲源分离原理可用如下图所示的数学模型来描述：BBS的数学模型如上图所示，其中 是n维未知源信号向量，A为未知混合系统, 是m维的观测信号矢量，它们均为源信号矢量的组合,并受到噪声矢量 的干扰。盲源分离的目的就是在源信号s和混合系统A均未知的情况下，仅由观测数据向量x通过调整分离系统W，使得输出y是源信号s的估计，即： Tntststs,1 Tmtxtxtx,1 Tmtntntn,1 sxWy盲源分离的基本方法 盲源分离包含了线性瞬时混合和卷积混合两种盲源分离问题。解决盲源分离问题的重要方法一独立分量分

11、析(Independent Component Analysis，ICA)通常以线性瞬时混合为模型，而盲解卷积则是一种更为实际的盲源分离问题，其混合模型是一种卷积混合，线性卷积混合模型比较接近实际，这是因为： (1)实际中每一个源信号不会同时到达所有的传感器，每一个传感器对不同的源延时不同，延时值的大小取决于传感器与源信号间的相对位置以及信号的传播速度； (2)源信号到达传感器是经过多途传播的，即多径效应。假设信号是线性组合的，则从传感器观测到的信号是源信号各种延时值的线性组合。解决此类问题的盲信号处理方法就是盲解卷积。特别地，ICA方法也可被用于盲解卷积或盲均衡。此外，盲信号处理还包括许多重

12、要内容，例如非线性BSS或非线性ICA问题、盲多用户检测以及盲波束形成等等。盲分离的概念、方法和准则盲源分离的基本方法 尽管有许多不同的盲源分离算法可用，但它们的原理却都可以归纳为如图所示的以下四个方法：相互独立、非高斯、ICA时序结构、线性可预测时频、谱和空间多样性非稳态、时变方差盲分离的概念、方法和准则盲源分离的基本方法 (1) 最普遍的方法就是使用代价函数来衡量信号独立性和非高斯性或者稀疏性。当假信号具有统计独立性，且没有时间结构时，高阶统计量方法是求解盲源分离问题的基段(间接或直接的)，这种方法对多于一个高斯分布的源信号不适用。 (2)如果源信号具有时序结构，则其有非零的时序相关数，从

13、而可以降低对统计独立性的限制条件，用二阶统计量方法(SOS)就足以估计混合矩阵和源信号。这种(SOS)方法不允许分离功率谱形状相同或i.id(独立同分布)的源信号。 (3)第三种方法即采用非平稳性(Ns)和二阶统计量(SOS)。由于源信号主要随时间有不同的变化，就可以考虑利用二阶非平稳性。Matsuoka等人首先考虑了非平稳性，并证明在盲源分离中可以应用简单的解相关技术。与其他方法相比，基于非平稳性信息的方法能够分离具有相同功率谱形状的有色高斯源，然而，却不能够分离具有相同非平稳特性的源信号。盲分离的概念、方法和准则盲源分离的基本方法 (4)第四种方法运用了信号的不同多样性，典型的是时域多样性

14、、频域多样性(谱或时间相干性”)或者时频域多样性，更一般的，即联合空间一时间一频率(STF)多样性。BSS和ICA的区别与关系 自从 BSS 和 ICA 的概念产生以来，人们几乎是不加区分地使用这两个概念。但是，如果深入研究 BSS 和ICA 的基本原理和作用对象，两者之间的区别和联系是显而易见的。 Comon 对 ICA 给出了较严格的定义：对于观测信号矢量，存在一个线性变换，使得观测信号在线性变换下各分量的统计独立性最大化。这一过程称之为 ICA 过程。 与此对应，可以给出BSS的如下定义：对于观测信号矢量，存在线性变换w，使得全局矩阵G的各行及各列中只有一个非零元素(不妨称之为广义对角矩

15、阵)，即G=PD。其中P为置换阵；D为对角阵，从而实现信号分离。盲分离的概念、方法和准则BSS和ICA的区别与联系 ICA的目的是通过线性变换使得观测信号的各个分量的统计独立性最大化。通常用输出信号的互信息、熵等作为统计独立性的量度，如基于信息论的Informax 算法、Amari 的自然梯度算法等。如果源信号之间具有统计独立性，那么可以通过ICA实现信号的分离。 BSS考察的是在什么条件下可以使全局矩阵实现广义对角化，而不去衡量输出信号的统计独立性是否达到最大化。因此BSS并不一定要求源信号是统计独立的。例如AMUSE、GED算法只要求源信号具有统计不相关性。如果源信号是统计独立的，那么BS

16、S的输出信号也一定是统计独立的，这时BSS和ICA等价。 从作用对象看，ICA除了可以用于多源信号的分离外，还可以用于其它多维数据的分析，例如图像的特征提取、经济数据分析等。而BSS不仅仅局限于瞬时混合信号的分离，还包括实际应用中更重要的卷积混合信号的分离。 可以说ICA是实现BSS的一种方法，而BSS是ICA的一个具体的应用。盲分离的概念、方法和准则盲分离的目标准则 根据源信号不同的特征，盲源分离的实现方法有很多，但它们的原理可以归纳为以下四种准则： (1)独立分量分析(Independent Component Analysis, ICA)：当假设源信号各分量间彼此统计独立，且没有时间结构

17、时，在某一分离准则下通过对神经网络权值的反馈调整，使得变换后信号的不同分量之间的相依性最小，也即输出达到尽可能的独立。这种方法对多于一个高斯分布的源信号不适用(因为高斯信号的线性叠加仍是高斯信号)，这是近年来盲源分离的主要解决方法。 (2)主分量分析(Principal Component Analysis, PCA)的方法：在尽可能保持原始变量更多信息的前提下，导出一组零均值随机变量相对少的不相关线性组合（主分量），并由此恢复出对源信号的估计。盲分离的概念、方法和准则盲分离的目标准则 (3)二阶非平稳性：即采用非平稳性和二阶统计量。由于源信号随时间有不同的变化，所以可以考虑利用二阶非平稳性，

18、应用简单的解相关技术实现盲源分离。与其他方法相比，它能够分离具有相同功率谱形状的有色高斯源，然而却不能分离具有相同非平稳特性的源信号。 (4)运用信号的不同多样性，典型的是时域多样性、频域多样性或时频域多样性，更一般的，即联合空间-时间-频率多样性，如果源信号具有不同的时频域多样性，信号的时频域特征不完全重叠，那么可以通过屏蔽时频域的单个源信号或干扰信号，并从一个(或多个)传感器信号中提取源信号，然后再在时频域中合成，然而这些情况下，通常需要一些源信号的先验知识，所以这种分离只能是一种半盲分离。盲分离的概念、方法和准则盲源分离的研究领域 在BSS问题的研究和发展过程中，基于其不同的应用环境，进

19、行了不同角度的扩展，形成了不同的研究领域，可以对BSS的研究领域做如下的分类： 依据信号混合方式不同，盲信号的混合方式有瞬态线性混合、卷积混合、非线性混合等方式，针对不同的混合方式需要采用不同的分离方法。在瞬态线性混合方式下，观测信号是原始信号在相同时刻的线性叠加，即不同信号到达各个传感器的时间差别可以忽略不计，此时混合矩阵是实矩阵，盲分离过程等价于寻找混合矩阵的逆矩阵过程。如果信道的传输延迟等对观测信号的影响较大，观测信号是原始信号在过去不同时刻的线性叠加，则属于卷积混合方式，此时的传递通道矩阵可以用有限长冲激响应滤波器模型来构造，盲解卷过程就需要利用相应的解卷滤波器实现。如果信号所处的环境

20、是动态变化的且具有非线性特征，则需要利用非线性特征函数实现盲分离。盲分离的概念、方法和准则盲源分离的研究领域 对信号的处理角度不同，BSS可在时域、频域或时频域进行研究。时域盲分离比较直观，但不能利用信号的频谱特征，在瞬态线性混合情况下应用较多；频域盲分离可以将时域上的卷积运算转化为频域上的直接乘积形式，从而可以利用时域盲分离算法解决盲解卷/盲均衡问题，但频域上的尺度与交互不确定性问题以及较大的计算量是阻碍信号进行频域盲分离的主要障碍。利用信号的时频特性进行盲分离，可以充分利用时域和频域分析的优点，其主要困难在于时频点的合理选择。 信号本身的属性有平稳信号与非平稳信号之分、窄带信号与宽带信号的

21、差别。平稳信号的盲分离，常需要利用信号的高阶统计量信息；而对于非平稳信号，如语音信号，则利用信号的二阶时间相关属性实现盲分离；宽带信号通常要先分解为多个窄带信号，逐个进行盲分离。盲分离的概念、方法和准则盲分离的研究内容 盲源分离的基本框架是根据某种优化准则，先选出合适的目标函数，然后通过某种优化算法来搜索目标函数的极值点，其中优化准则保证了算法实现的可能性和实现途径；具体的目标函数决定了算法的统计性能，优化算法则决定了算法的搜索性能。因此BSS的研究内容涉及优化准则及目标函数的确定、信源概率密度函数(Probability density function, pdf)的估计、各种优化算法、算法

22、的性能评价指标等多个方面。(1)优化准则 独立分量分析(ICA)是目前解决BSS问题的主要方法，而ICA的目的在于确定一非线性变换使得输出各分量间尽可能的相互独立，因此一般采用输出各分量间的最大化独立性作为算法的优化准则。信号分量间的独立性程度可以采用非高斯性、高阶统计量、熵、互信息、概率密度函数(pdf)以及两种pdf距离的Kullback-Leibler 散度等函数进行度量。盲分离的概念、方法和准则(2)信源概率密度函数的估计目标函数最优解的迭代计算通常需要知道信源s的概率分布，这显然不切实际，所以需要对输出矢量的概率密度函数进行估计。常用的方法有采用级数展开的方法对概率密度函数进行逼近、

23、或通过估计概率模型中未知参数的方法估计概率密度函数、核函数法等方法，以及正在兴起的结合神经网络和机器学习理论的支持向量机（SVM）回归估计方法等，本文正是在这个理论的基础上对原有算法提出了新的改进，并取得而来良好的效果。(3)优化算法及其性能分析 根据算法的迭代和搜索最优点的过程是基于单次观测样本还是全部样本，可以将算法分为在线自适应算法和离线批处理算法。评价算法性能的指标一般有收敛速度、分离精度、局部(全局)稳定性、算法的复杂性以及适用范围等，常用的具体函数有系统矩阵的串音误差、与对角阵的距离，范数误差等。盲分离的概念、方法和准则数据的预处理 一般情况下，获得的数据具有相关性，要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，简化后续独立分量的提取过程，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。 白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。Fast ICA算法 Fast ICA算法，又称固定点(Fixed-Point)算法，是一种快速