主成分分析简介课件

独立成分分析法基本原理主成分分析简介主成分分析是将多指标化为少数几个综合指标的一种统计方法。宗旨：降维综合变量既要能尽可能多地反映原来变量的信息，又要彼此互不相关主成分分析简介总体：Z=AX,Z、X均为随机向量，A为线性变换矩阵。对第i个变量，要使方差最大，且与前面的所有变量均不相关样本：Z=XA,X为样本数据阵，Z为样本主成分，A为线性变换矩阵。主成分分析简介考虑p维随机向量X（均值为，协方差阵为）的线性变换主成分分析简介对，要使它尽可能多地反映原来变量的信息，最经典的方法就是以它的方差来表达，在限制条件下，方差越大则其包含的信息就越多（其将包含各的方差及协方差）同时，对于，则不希望再出现所反映过的信息，所以要求如此类推，…则可解出全部主成分。可以证明，就样本数据而言，对样本相关阵

作特征值分解，即可获得以上理论所阐述的主成分Z=XA主成分分析简介ICA的背景介绍ICA可以看成是主成分分析与因子分析的延展,它是一种强有力的技术,当经典方法完全失效时,仍能找到支撑观测数据的内在因子。目的：从多通道测量中得到的有若干独立信源线性组合成的观察信号中，将这些独立成分分解开来。基本ICA模型变量的设定S，不可知的真实变量所构成的数据样本X，通过多个通道观测到的数据样本Z，对观测数据进行白化（whitening）处理后的数据矩阵Y，对Z进行线性处理后得到的对S的估计A，线性变换矩阵，X=ASB，A的逆，非方阵为广义逆矩阵基本ICA模型可以认为，观测到的n个随机变量，由另外n个随机变量线性组合得到独立成分必须是非正态的或至少不全是正态的，在正态假设下，直接使用主成分分析或因子分析方法即可达到目的，由相关性的理解，ICA的解法中必然将涉及到高阶累积量(高阶矩构成的统计量)基本ICA模型假定未知的混合矩阵A为方阵，则在它的估计矩阵不可逆或行列式接近于0时，所估计的独立成分中有可忽略的冗余变量实践中无法估计各成分的方差，为方便求解，一般先将X白化，但这将导致结果中符号的不确定性并没有确切的方法确定各成分的顺序，但可以通过B了解各成分对不同通道的影响基本ICA模型各ICA计算方法优劣评判准则讨论：采用针对实际目标的模拟数据（X=AS

已知），通过算法得出A的估计;以作为处理效果的衡量标准;理论支持：如果估计完全准确，则P应为单位阵（由于独立成分的排序不定，允许各行序列的变化），则可以通过对角元素平方和评判优劣。观测数据白化的基本原理

由PCA出发作出解释C为X的协方差阵（未取均值），可以证明，观测数据白化的基本原理由于Z矩阵是正交矩阵，于是使得白化阵不唯一以上白化完全消除各观测间的二阶相关性基于四阶累积量的JADE法是在累积量矩阵特征分解下的引申首先要定义四阶累计量（四阶矩的函数）矩阵基于四阶累积量的JADE法由为对称阵，则存在这样的特征分解，所找到的矩阵起到将对角化的作用基于四阶累积量的JADE法步骤：1、取一组矩阵，由定义分别求（矩阵的简单取法：取N*N个矩阵，分别只有一个元素为1，或取一组对称/反对称的基矩阵，引自[2]P53）通过优化求解U，使各联合对角化（使中非对角元素的平方和最小）基于四阶累积量的JADE法分解结果：JADE法应用：最多只有一个分布接近正态分布盲分离的移位阻断法

shiftblockmethodofblindseparation基于数据的maxkurt法(峰度，四阶矩的函数)比较直接，但效果相对较差，基于四阶累积量的JADE法效果虽然较好，但是需要n*n个矩阵，计算所需内存较大。混合法（SHIBBS）将这两种折中与综合具体步骤①选择p个矩阵M，p<<n*n②作一轮旋转扫描：对各矩阵估计，得到全部四阶累积量，对它们估计联合对角化矩阵U③更新；如果U足够接近于恒等变换则终止。否则作更新，并返回步骤①此法的矩阵集合可取为分解结果：非线性PCA的自适应算法以均方误差最小作为收敛判据，非线性PCA引入非线性因素等效于考虑高阶矩算法具体步骤为：1、对观测值求均值，用递归法求白化阵Z，2、初始化U阵：设U(0),要求各列正交且范数均为1（单位正交阵）非线性PCA的自适应算法3、按以下公式更新：4、如未收敛则回到步骤3注：其中是两个待调整的参数；函数g(y)的选择见参考文献[2]P68逐次提取独立成分

—投影追踪方法度量非正态性（非高斯性）：可以认为，两个独立变量之和形成的分布比两个原始变量中的任意一个都更接近于正态分布由于Z是Y的线性组合，只要找到一个度量非正态性的量，使达到最大，就可以使Y中各分量独立性最大负熵是四阶矩（峰度）的函数逐次提取独立成分

—投影追踪方法负熵是四阶矩（峰度）的函数所以利用负熵作为度量的算法与以峰度度量的maxkurt法有很大的相似性，但是前者对于超正态（超高斯）、次正态（次高斯）具有更灵活的算法主要算法有梯度算法、固定点算法、旋转因子乘积法等逐次提取独立成分

—投影追踪方法利用固定点算法（FastICA）逐次提取多个独立成分：步骤：1、设m为待提取ICs的数目，并令p=1；2、任意取，要求；3、迭代公式如下函数f(y)的选择见参考文献p97表6-1逐次提取独立成分

—投影追踪方法4、为了保证每次提取出来的都是尚未提取过的信源，因此使用正交化步骤，Gram-Schmidt正交分解法：逐次提取独立成分

—投影追踪方法5、归一化：如果未收敛，回到步骤3；令p加1，当p<=m时，回到步骤3。参考文献[1]A.Hyvarinen等著，周宗潭等译，独立成分分析，北京：电子工业出版社，2007年[2]杨福生、洪波著，独立分量分析的原理与应用，北京：清华大学出版社，2006年内容总结独立成分分析法基本原理。综合变量既要能尽可能多地反映原来变量的信息，又要彼此互不相关。ICA可以看成是主成分分析与因子分析的延展,它是一种强有力的技术,当经典方法完全失效时,仍能找到支撑观测数据的内在因子。S，不可知的真实变量所构成的数据样本。Z，对观测数据进行白化（whitening）处理后的数据矩阵。A，线性变换矩阵，X=AS。B，A的逆，非方阵为广义逆矩阵。首先要定义四阶累计量（四阶矩的函数）矩阵。非线性PCA引