PCA主成分分析原理课件

PCA主成分分析principalcomponentanalysisPCA主成分分析principalc1内容一、PCA背景二、主成分的定义及导出三、从相关阵出发求主成分四、主成分分析总结内容一、PCA背景2在模式识别中，一个常见的问题就是特征选择或特征提取，理论上我们要选择与原始数据空间相同的维数。但是，为了简化计算，设计一种变换使得数据集由维数较少的“有效”特征来表示。找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。一、主成分分析背景在模式识别中，一个常见的问题就是特征选择或特征提取，3PCA的优点是简单，而且无参数限制，可以方便的应用与各个场合。

因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。

PCA的优点是简单，而且无参数限制，可以方便的应用与4PCA主成分分析（PrincipalComponentAnalysis，PCA）或者主元分析。是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。PCA主成分分析（PrincipalComponent5PCA主成分分析原理［课件］6PCA主成分分析原理［课件］7写成拉格朗日问题现在关于求导并令其等于0，得到如果是的特征向量，是对应的特征值，则上式是成立的写成拉格朗日问题8同时我们还得到为了使方差最大，选择具有最大特征值的特征向量，因此，第一个主成分是输入样本协方差阵的具有最大特征值对应的特征向量。同时我们还得到为了使方差最大，选择具有最大特征值的特征向量9第二个主成分也应该最大化方差，具有单位长度，并且与正交。对于第二个主成分，有关于

求导并令其为0，得到第二个主成分也应该最大化方差，具有单位长度，并且与10上式两边乘以得：其中可知β=0，并且可得上式两边乘以得：其中可知β=0，并且可得11这表明应该是的特征向量，具有第二大特征值

类似的，可以证明其它维被具有递减的特征值的特征向量给出。这表明应该是的特征向量，具有第二大特征值12另一种推导：，W是矩阵。如果建立一个矩阵C，其第i列是的规范化的特征向量，则，并且三、从相关阵出发求主成分另一种推导：，W是矩阵。三、从相关阵出发求主成13其中，D是对象矩阵，其对角线元素是特征值

，称为的谱分解由于C是正交的，并且，在的左右两边乘以和C，得到如果则为了使它等于一个对角矩阵,可以令W=C其中，D是对象矩阵，其对角线元素是特征值14在实践中，即使所有的特征值都大于0，某些特征值对方差的影响很小，并且可以丢失，因此，我们考虑例如贡献90%以上方差的前k个主要成分，当降序排列时，由前k个主要成分贡献的方差比例为:在实践中，即使所有的特征值都大于0，某些特征值对方差的15实践中，如果维是高度相关的，则只有很少一部分特征向量具有较大的特征值，k远比n小，并且可能得到很大的维度归约。实践中，如果维是高度相关的，则只有很少一部分特征向量16总方差中属于主成分的比例为称为主成分的贡献率。第一主成分的贡献率最大，表明它解释原始变量的能力最强，而的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。总方差中属于主成分的比例为17前k个主成分的贡献率之和称为主成分的累计贡献率，它表明

解释的能力。

通常取较小的k,使得累计贡献达到一个较高的百分比(如80％～90％)。此时，可用来代替,从而达到降维的目的，而信息的损失却不多。前k个主成分的贡献率之和18在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平，其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释。主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。四.主成分分析总结在主成分分析中，我们首先应保证所提取的前几个主成分的累19如果原始变量之间具有较高的相关性，则前面少数几个主成分的累计贡献率通常就能达到一个较高水平，也就