独立成分分析ICA深圳大学ppt课件

1、Independent component analysis ICA是20世纪90年代提出的，起初是神经网络的研讨中有一个重要的问题，独立成分分析是一个处理问题的新方法。在许多运用方面，包括特征识别、信号分别。这种方法是用一种解线性方程组的方式的估计方式求解信号源。假想一下，在一个房 间里的不同位置放着两个麦克风，同时有两个人说话。两个麦克风能同时记录下两个时间信号，假设仅用这两个记录的信号来估计出原来的两个语音信号，那将是一件非常有意义的事情，这也就是所谓的“鸡尾酒会问题 。由于主成分分析(PCA)和奇特值分解(SVD)是基于信号二 阶统计特性的分析方法，其目的用于去除图像各分量之间的相关性

2、，因此它们主要运用于图像数据的紧缩；而ICA 那么是基于信号高阶统计特性的分析方法，经ICA分解出的各信号分量之间是相互独立的。正是由于这一特点，使ICA在信号处置领域遭到了广泛的关注声音提取： 典型例子：“鸡尾酒会的问题。 人的大脑可以很快辨出或集中听某种需求关注声音。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx麦克风1麦克风2麦克风3)(1tx) (2tx)(3tx11a12a13a21a22a)(1ts)(2ts)(3ts23a31a32a33a a为权重的参

3、数，在鸡尾酒舞会问题中为间隔，x为两个话筒得到信号，s为两个扮演者的声音。这两个人的声音相对独立并且忽略一切的其他要素比如声音的时间延迟。假设我们知道a的参数，也就是说知道间隔，反解出s就很简单。半盲源但ICA是在不知道a和Si(t)的情况下的一种估计的算法，也就是说的盲信号分别的一种算法。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatxICA的约束为了确保上边刚刚给出的根本的ICA模型能被估计，我们必需求做出一定的假设和约束。1.独立成分被假定是统计独立的；2.独立成

4、分具有非高斯的分布；3.假定混合矩阵是方阵；1.独立成分被假定是统计独立的该假设是ICA可以成立的前提。概念上了解：我们说随机变量y1，y2.yn独立，是指在ij时，有关yi的取值情况对于yj如何取值没有提供任何信息。技术角度上了解：结合概率密度等于各边缘概率密度的乘积。2.独立成分具有非高斯的分布 假设观测到的变量具有高斯分布，那么ICA在本质上 是不能够实现的。缘由：由于独立成分结合分布是高斯的，那么他们的结合概率密度为：P(s1,s2) =1/2*exp-(s12+s22)/2 = 1/2*exp-|s|2/2假定S经过混合矩阵A后，他们的结合概率密度依然不变化，因此我们没有方法在混合中

5、的得到混合矩阵的信息。3. 假定混合矩阵是方阵 换句话说，就是独立成分的个数与观测到的混合量个数一样。根据源信号的统计特性，仅由观测的混合信号恢复(分别)出未知原始源信号的过程“盲源信号不可观测混合系统的特性事先不可知盲源分别Blind Source Seperation1、盲源分别与ICA的概念盲源分别的目的是求得源信号的最正确估计。给定随机变量的一组观测 X1(t)， X2(t)， X3(t) 其中t是时间或者样本标号。假设他们有独立成分线性的混合而产生：式中，A是一个未知矩阵。在我们观测仅能观测到Xi(t)的情况下，独立分量分析就要同时估计出矩阵A和Sit。并且假设观测到的独立成分Xi(

6、t)数目与Sit数目一样。)()()()()()()()()()()()(333232131332322212123132121111tsatsatsatxtsatsatsatxtsatsatsatx当盲源分别的各分量相互独立时，就成为独立分量分析公式1运用场景生物医学信号领域心电图(ECG)脑电图(EEG)信号分别听觉信号分析、功能磁共振图像(FMRI)分析处置孕妇身上测到的心电信号，分别得到孕妇本人和胎儿的心电信号阵列信号处置领域运用场景在阵列传感器中，各传感器接纳到混合信号，源信号和混合特性未知，是典型的盲分别运用问题。在挪动通讯阵列天线处置、海洋声纳探测等方面的作用越来越重要声信号处置

7、领域运用场景挪动通讯中，ICA技术可以有效地消除噪声、抑制干扰、加强语音，提高通讯质量；经过ICA方法对车辆行驶时产生的声音信号进展分别，对车辆个数与行车方向进展估计，实现车辆的简单分类ICA范例EEG 信号与假象分别 噪声条件下研讨脑活动 监测多个脑活动过程ICA范例fMRIICA Component TypesSustained task-related(a)Transientlytask-related(b)Slowly-varying(c)Quasi-periodic(d)Abrupt headmovement(e)ActivatedSuppressedSlow headmovemen

8、t(f) fMRI数据噪声大且复杂 ICA辨识同时产生的血流动力学过程 不需求特定的实验相关先验知识3、数学根底 牛顿迭代法 熵 负熵牛顿迭代法法 牛顿法最初是用于求解方程f(x)=0的解。其解的过程：由初始值x(k)开场，用一阶导数f(x(k)=0计算新的估计值x(k+1)。 x(k+1)由f(x)在Pk点的切线与x轴的交点来确定。因此：f(xk)=f(xk) Xk-xk+1Xk+1=xk-f(xk)f(xk)而式中的f(xk)可以看做是在初始点的导数，是可以很容易求出来的。例.用牛顿迭代法求方程的根:0133xx解:13)(3xxxf设33)(2xxf由牛顿迭代法)()(1kkkkxfxf

9、xx得取初值,5 .00 xx0 =0.5;x1 =0.3333333333x2 =0.3472222222x3 =0.3472963532x4 =0.3472963553331323kkkkxxxx迭代四次精度达10-8 1kx*x)(xfy kx熵 由信息论实际可知： 对于一个离散取值的随机变量X，他的熵定义为H：H(x)=-p(xi)log(p(xi) (i=1,2,.n) Xi是X能够的取值。P是X取不同值的概率。 对于一个延续取值的随机变量X,他的熵定义为H(微分熵)随机变量越随机，越是难预测和非构造化，他的熵就越大。假设一个概率接近于1，其他的概率接近于0。那么该随机变量就没有什么

10、随机性，他的熵就更小。假设一切概率相等，那么它们都远离0和1，意味着它们的熵较大。负熵我们可以利用熵来度量非高斯性，常用熵的修正方式，即负熵。 (fastICA-极大化非高斯性FastICA算法，又称固定点(Fixed-Point)算法，是由芬兰赫尔辛基大学Hyvrinen等人提出来的。是一种快速寻优迭代算法，与普通的神经网络算法不同的是这种算法采用了批处置的方式，即在每一步迭代中有大量的样本数据参与运算。但是从分布式并行处置的观念看该算法仍可称之为是一种神经网络算法。FastICA算法有基于峭度、基于似然最大、基于负熵最大等方式，这里，我们引见基于负熵最大的FastICA算法。 独立分量分析

11、ICA的过程如以下图所示：在信源中各分量相互独立的假设下，由察看值X经过解混系统把他们别分开来，使输出逼近。 等于球化白化缘由：普通情况下，所获得的数据都具有相关性，所以通常都要求对数据进展初步的白化或球化处置，由于白化处置可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进展白化处置与不对数据进展白化处置相比，算法的收敛性较好。白化白化操作：g+ W0TE ZW Z221TEW ZWfastICA实践上是一种寻觅wTzY= wTz 的非高斯最大的不动点迭代方案。为了推导近似牛顿法，首先wTz的近似负熵的极大值通常在Eg(wTz) 极值点处获得。根据拉格朗日条件， Eg(wTz) 在约束 条件下的极值，是在那些使得下面拉格朗日乘子式的梯度为零的点处获得：正交系统221TEW ZW为拉格朗日乘子如今我们试图采用牛顿法来求解方程。用F表示上方程的左部分，求的其梯度为：为了简化矩阵求逆的过程需求对上式第一项进展近似。由于数据曾经是球化过