盲源分离-独立分量分析(ICA)

独立分量分析法报告人：巫书航导师：山秀明苏威积目录目录问题的提出数学准备独立分量法具体算法总结与展望目录目录问题的提出一、时域雷达信号分选二、信号与随机变量间的关系三、独立分量分析法(ICA)的基本问题四、独立分量分析法(ICA)的历史与应用数学准备独立分量法具体算法总结与展望问题的提出：1、时域雷达信号分选一、时域雷达信号分选数学模型：时间、幅度图像问题的提出：2、信号与随机变量间的关系二、信号与随机变量间的关系问题：随机变量X在实际中的体现？答：独立重复试验，得到试验样本集{Xi}。由这组数据样本点可以估计出随机变量的各阶矩，近而估计出pdf等全部统计信息。问题的提出：2、信号与随机变量间的关系对一个信号X(t)：独立重复试验————抽样ti，i=1,2,…N样本集————{X(ti)}因而信号X(t)可以看成是一个随机变量,并可估算它的各阶矩，以及谈论它的pdf，独立、相关等统计特性。例如：问题的提出：3、独立分量分析法的基本问题假设源信号若干个统计上相互独立的信号组成的，它们在空间中形成交叠，独立分量分析(IndependentComponentAnalysis，ICA)是借助于多个信道同步观察交叠信号，将观察信号经过解混分解成若干独立成分，作为对源信号的一组估计。简化假设：1、A是线性系统，可用矩阵表示.(实际仿真时是随机阵)2、信道对信号无影响，观察信道数与信号数相同，(A，B方阵)问题的提出：3、独立分量分析法的基本问题问题的提出：3、独立分量分析法的基本问题问题的提出：3、独立分量分析法的基本问题几点说明：1、解出来的Y只要求各分量独立，因而解不是唯一的，可以有相移、次序颠倒、幅值变化等2、要解出Y，需要对Y各分量是否独立进行判断。确切地说，需要找到某种判断函数G，使Y个分量独立时G(Y)达到最大或最小值。3、由于独立判据函数G的不同，以及求解Y的步骤不同，有不同的独立分量分析法。问题的提出：4、独立分量分析法的历史与应用历史：是盲信号处理的一种，是90年代后期发展起来的ICA是盲信号处理的一个组成部分，20世纪90年代后期(1986、1991)发展起来的一项新处理方法，最早是针对“鸡尾酒会问题”这一声学问题发展起来的鸡尾酒会问题：从酒会的嘈杂的声音中，如何分辨出所关心的声音问题的提出：4、独立分量分析法的历史与应用应用：信号处理码分多址通信，雷达信号分选等生物医学心电图(胎儿)，脑电图等图像处理图像压缩，数字识别，图像融合等其他地震勘探、遥感遥测等，总之包含了信息、通讯、生命、材料、电力、机械、化学等各个学科目录目录问题的提出预备知识一、统计数学知识二、信息论基本知识三、概率密度函数的展开四、信号通过线性系统信息特征的变化独立分量法介绍总结与展望预备知识：一、统计数学知识1、特征函数2、第二特征函数各分量独立时：预备知识：一、统计数学知识3、矩n阶矩：4、累计量n阶累计量：预备知识：一、统计数学知识当各分量独立时：只有中一个非零，其他皆为零时，不为零。即互累计量为零。(可作为检验独立的一个判据)预备知识：二、信息论基本知识1、熵

信号中平均所含有的信息量。随机信号单变量：多变量：联合熵：各分量独立时：在协方差矩阵相同的概率密度函数中，高斯分布的熵最大。预备知识：二、信息论基本知识2、Kullback-Leibler散度

两个概率密度函数间相似程度的度量。概率密度函数：p(x),q(x)单变量：

多变量：

特点：预备知识：二、信息论基本知识3、互信息

可见，当仅但当各分量独立时，

互信息是各分量独立程度的最直接的量度！

预备知识：二、信息论基本知识4、负熵任意概率密度函数p(x)pG(x):与p(x)其具有相同协方差阵的高斯分布因为在协方差矩阵相同的概率密度函数中，高斯分布的熵最大，所以负熵非负。负熵用来度量p(x)的非高斯程度。非高斯性另一种衡量方法：四阶累计量k4,峰度(kurtosis)，单变量。|k4|

高斯信号k4=0

k4>0,超高斯k4<0,亚高斯预备知识：三、概率密度函数的展开高阶统计量形式：设x零均值，方差1（白化数据）Edgeworth展开Gram-Charlier展开缺点：大值野点会引起较大误差预备知识：三、概率密度函数的展开非多项式函数的加权和形式：文献提到，当

与标准高斯分布

相差不太大时，

可用若干个非多项式函数的加权和来逼近：

需要满足以下条件：(1)、正交归一性(2)、矩消失性探查性投影追踪为了使近似性能较好，F(y)除了上述性质外，最好能有以下性质：(1)、统计特性E[F(y)]不难求得(2)、当y增大时，F(y)的增长速度不能快于，以使E[F(y)]对野点不太敏感。通常N取1或2。有以下函数形式可用：预备知识：四、信号通过线性系统信息特征的变化信号通过线性系统熵关系：

|B|=1，即系统正交归一时，熵不变KL散度关系：|B|=1，即系统正交归一时，KL散度为0预备知识：四、信号通过线性系统信息特征的变化互信息关系：负熵关系：目录目录问题的提出数学准备独立分量法具体算法一、主要步骤二、各类ICA算法简介三、FastICA算法总结与展望目录：独立分量法具体算法独立分量法具体算法一、主要步骤二、各类ICA算法简介三、FastICA算法独立分量法具体算法：一、主要步骤独立分量分析：对交叠信号X，求解混矩阵B，使Y=BX各分量尽量相互独立。独立判据函数G。主要步骤：预处理部分（简化计算）核心算法部分独立分量法具体算法：一、主要步骤预处理部分：1、对X零均值处理√2、球化分解（白化）即：乘球化矩阵S，使Z=SX各行正交归一，即ZZ’=I意义：消除原始各道数据间二阶相关，以后只需要考虑高阶矩量(因为独立时各阶互累积量为0)，使很多运算过程简化。注意：各道数据间不相关，不一定独立，除非是高斯信号独立分量法具体算法:一、主要步骤——主成分分析与球化协方差矩阵：特征值分解：U:特征向量矩阵，正交归一，每一列称为一特征向量Λ:特征值对角矩阵，可排序：特征值代表分量功率大小。P中各行正交，称为X的主分量，且可见各行能量从大到小排列可以选择能量大的主分量代表X，此即为主成份分析的由来。独立分量法具体算法:一、主要步骤——主成分分析与球化取球化阵：可见：满足球化条件！独立分量法具体算法：一、主要步骤主要步骤：预处理部分——得到0均值，方差1数据Z√核心算法部分

寻求解混矩阵U，使Y=UZ，Y各道数据尽可能独立（独立判据函数G）注意：(1)、由于Y独立，各行必正交。且通常取U保持Y各行方差为1，故U是正交变换。

(2)、所有算法预处理部分相同，以后我们都设输入的为球化数据z，寻找正交矩阵U，使Y=Uz独立。由于独立判据函数G的不同，以及步骤不同，有不同的独立分量分析法。目录：独立分量法具体算法独立分量法具体算法一、主要步骤二、各类ICA算法简介三、FastICA算法独立分量法具体算法：二、各类ICA算法二、各类ICA算法1、批处理2、自适应算法3、探查性投影追踪独立分量法具体算法：二、各类ICA算法1、批处理算法：指依据一批已经取得的数据X来进行处理，而不是随着数据的不断输入做递归式处理。已有算法：成对数据旋转法(Jacobi法)及极大峰度法(Maxkurt法)特征矩阵的联合近似对角化法(JADE法)四阶盲辨识(FOBI)JADE法和Maxkurt法的混合独立分量法具体算法：二、各类ICA算法2、自适应算法：根据数据陆续得到而逐步跟新处理器参数，使处理所得逐步趋近于期望结果，即各分量独立。已有算法：常规的随机梯度法自然梯度与相对梯度串行矩阵更新及其自适应算法扩展的Infomax法非线性PCA自适应法独立分量法具体算法：二、各类ICA算法3、探查性投影追踪按照一定次序把各独立分量一个一个的逐次提取出来，每提取一个，就将该分量从原始数据中去掉，对剩下的部分提取下一个分量。已有算法：梯度算法旋转因子乘积法固定点算法(FastICA)——最常用算法目录：独立分量法具体算法独立分量法具体算法一、主要步