独立成分分析课件

1、独立成分分析Independent component analysis独立成分分析盲源分离与盲源分离与ICA概念概念ICA简介简介ICA过程过程 Infomax Infomax算法算法 fastICA算法算法数学基础数学基础独立成分分析根据源信号的统计特性，仅由观测的混合信号恢复(分离)出未知原始源信号的过程“盲”源信号不可观测混合系统的特性事先不可知盲源分离（Blind Source Seperation）1、盲源分离与ICA的概念盲源分离的目的是求得源信号的最佳估计。独立成分分析给定随机变量的一组观测（ X1(t)， X2(t)， X3(t) ）其中t是时间或者样本标号。假设他们有独立成

2、分线性的混合而产生：式中，A是一个未知矩阵。在我们观测仅能观测到Xi(t)的情况下，独立分量分析就要同时估计出矩阵A和Si（t）。并且假设观测到的独立成分Xi(t)数目与Si（t）数目相同。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx当盲源分离的各分量相互独立时，就成为独立分量分析公式1独立成分分析我们将ICA定义为另一种模式寻找一个类似于【公式1】中矩阵B确定线性变换，使得随机变量Yi，i=1，.n尽可能独立。如矩阵B能估计出，对其求逆就能得到矩阵A。独立成分分析

3、 ICA是20世纪90年代提出的，起初是神经网络的研究中有一个重要的问题，独立成分分析是一个解决问题的新方法。在许多应用方面，包括特征识别、信号分离。这种方法是用一种解线性方程组的方式的估计方式求解信号源。独立成分分析独立成分分析声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麦克风1麦克风2麦克风3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts

4、)(3ts23a31a32a33a独立成分分析 a为权重的参数，在鸡尾酒舞会问题中为距离，x为两个话筒得到信号，s为两个表演者的声音。这两个人的声音相对独立并且忽略所有的其他因素比如声音的时间延迟。 如果我们知道a的参数，也就是说知道距离，反解出s就很简单。（半盲源） 但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分离的一种算法。独立成分分析ICA的约束为了确保上边刚刚给出的基本的ICA模型能被估计，我们必须要做出一定的假设和约束。1.独立成分被假定是统计独立的；2.独立成分具有非高斯的分布；3.假定混合矩阵是方阵；独立成分分析1.独立成分被假定是统计独立的该假设是

5、ICA能够成立的前提。概念上理解：我们说随机变量y1，y2.yn独立，是指在ij时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上理解：联合概率密度等于各边缘概率密度的乘积。独立成分分析2.独立成分具有非高斯的分布 如果观测到的变量具有高斯分布，那么ICA在本质上 是不可能实现的。原因：因为独立成分联合分布式高斯的，那么他们的联合概率密度为：P(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp（-|s|2/2）假定S经过混合矩阵A后，他们的联合概率密度仍然不变化，因此我们没有办法在混合中的得到混合矩阵的信息。独立成分分析3. 假定混合矩阵是方阵 换句话

6、说，就是独立成分的个数与观测到的混合量个数相同。独立成分分析ICA的含混因素 在公式1定义的ICA模型中，存在一些含混因素和不确定性。1.我们无法观测处独立成分的幅值； 原因：在计算的过程中我们做过相应的预处。 单位化。2.我们无法确定独立成分的次序； 原因：也是由于S和A的未知造成的。独立成分分析寻找独立成分方法1.极大化非高斯性；2.非线性去相关；独立成分分析1.极大化非高斯性（fastICA） 分离过程中，可通过对分离结果的非高斯性度量来表示分离结果间的相互独立性，当非高斯性度量达到最大时，则表明已完成对各独立分量的分离。2.非线性去相关(infomaxICA) 独立性本身蕴含了非线性不

7、相关性：若S1和S2独立，那么任何非线性变换g(s1)和h(s2)都是不相关的。这样我们可以通过一种更强的形式去相关运算来实现ICA。即：寻找举证B(分离矩阵)，使得yi即使经过非线性变化仍然不相关。独立成分分析应用场景生物医学信号领域心电图(ECG)脑电图(EEG)信号分离听觉信号分析、功能磁共振图像(FMRI)分析处理孕妇身上测到的心电信号，分别得到孕妇自己和胎儿的心电信号独立成分分析阵列信号处理领域应用场景在阵列传感器中，各传感器接收到混合信号，源信号和混合特性未知，是典型的盲分离应用问题。在移动通信阵列天线处理、海洋声纳探测等方面的作用越来越重要独立成分分析声信号处理领域应用场景移动通

8、信中，ICA技术能够有效地消除噪声、抑制干扰、增强语音，提高通信质量；通过ICA方法对车辆行驶时产生的声音信号进行分离，对车辆个数与行车方向进行估计，实现车辆的简单分类独立成分分析3、数学基础 牛顿迭代法 熵 负熵独立成分分析牛顿迭代法法 牛顿法最初是用于求解方程f(x)=0的解。其解的过程：由初始值x(k)开始，用一阶导数f(x(k)=0计算新的估计值x(k+1)。 x(k+1)由f(x)在Pk点的切线与x轴的交点来确定。因此：f(xk)=f(xk) Xk-xk+1Xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始点的导数，是可以很容易求出来的。独立成分分析例.用牛顿迭代

9、法求方程的根:0133xx解:13)(3xxxf设33)(2xxf由牛顿迭代法)()(1kkkkxfxfxx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度达10-8 1kx*x)(xfy kx独立成分分析熵 由信息论理论可知： 对于一个离散取值的随机变量X，他的熵定义为H：H(x)=-p(xi)log(p(xi) (i=1,2,.n) Xi是X可能的取值。P是X取不同值的概率。 对于一个连续取值的随机变量X,他的熵定义为H(微分熵)随

10、机变量越随机，越是难预测和非结构化，他的熵就越大。假设一个概率接近于1，其他的概率接近于0。那么该随机变量就没有什么随机性，他的熵就更小。如果所有概率相等，那么它们都远离0和1，意味着它们的熵较大。独立成分分析负熵我们可以利用熵来度量非高斯性，常用熵的修正形式，即负熵。 独立成分分析4、fastICA算法独立成分分析(fastICA）-极大化非高斯性FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvrinen等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处理的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并

11、行处理的观点看该算法仍可称之为是一种神经网络算法。FastICA算法有基于峭度、基于似然最大、基于负熵最大等形式，这里，我们介绍基于负熵最大负熵最大的FastICA算法。 独立成分分析独立分量分析（ICA）的过程如下图所示：在信源中各分量相互独立的假设下，由观察值X通过解混系统把他们分离开来，使输出逼近。独立成分分析 等于球化白化原因：一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。白化白化操作：独立成分

12、分析独立成分分析均匀分布的两个独立成分S1，S2的联合分布观测混合量X1，X2的联合分布均匀分布的两个独立成分白化混合的联合分布独立成分分析g+ W0TE ZW Z221TEW ZWfastICA实际上是一种寻找wTz（Y= wTz ）的非高斯最大的不动点迭代方案。为了推导近似牛顿法，首先wTz的近似负熵的极大值通常在Eg(wTz) 极值点处取得。根据拉格朗日条件， Eg(wTz) 在约束 条件下的极值，是在那些使得下面拉格朗日乘子式的梯度为零的点处取得：正交系统221TEW ZW为拉格朗日乘子独立成分分析现在我们试图采用牛顿法来求解方程。用F表示上方程的左部分，求的其梯度为：为了简化矩阵求逆

13、的过程需要对上式第一项进行近似。因为数据已经是球化过的，似乎可以作为一个合理的近似。这是梯度变化成了对角矩阵，可以简单的求逆，这样我们的到了近似的牛顿迭代算法：gg=gTTTTTE ZZW ZE ZZEW ZEW ZIg/gTTWWE ZW ZWEW Z在上式两边同时乘以 进一步简化得：ggTTWE ZW ZEW ZW每次迭代完成后对W进行标准化。以上就是fastICA算法中不动点迭代的基本公式独立成分分析独立成分分析代码实现独立成分分析独立成分分析算法结果独立成分分析5、infomaxICA独立成分分析是美国Salk Institute计算神经生物学实验室的研究者没首先提出的。其特点就是在输

14、出y之后逐分量的引入一个非线性函数ri=gi(yi)来代替高阶统计量的估计。BinfomaxICA- 非线性去相关独立成分分析Infomax法的判据是：经过B阵解混后对所得的y的每一个分量yi分别用一个非线性的函数gi(yi)加以处理，得r=g(y)=g1(y1),-gn(yn)=r1,r2-rnT自适应处理的目标函数是：调节B使r的总熵量H(B，r)极大; H(r)极大便意味着y的各分量之间的互信息极小,互信息小意味着y的各个分量相互独立。在结构上看，B，g合在一起就是单层感知机，只是r并不是我们需要的输出，它只是为达到使y各分量尽可能独立而引入的辅助环节。参数的调节以下式为指导：B独立成分

15、分析1r=( )log|log()MixiiHH xBEgy（ ，B）1( )r =-( )log()Miiip yHp ydygy（ ）1( )=-( )log|()Miiip xp xdxBgy1=( )( )log|()MiH xp xBgi yi dx式中Ex（.）是指P（x）为概率的函数的均值。在做梯度处理时，取消总集的均值过程，得：1r=( )log|log( )MiiiHH xBgy（ ，B）独立成分分析1r=( )log|log( )MiiiHH xBgy（ ，B）log|TBBB1log()( )MTiiigyy xB 将上式对B求导 第一项：与B无关； 第二项： 第三项：式中i1ij()()()1log()b()()()Miiiiiiiiijiiiijiiijiig ygyygygyxg ybg ybg y由于得()()iiig yp y()( )iig yp y dy要使y接近S，则应使p(yi