PCA算法的原理及其示例

1、PCA算法的原理及其示例郑琛（北京师范大学,北京100875）摘要：主成分分析是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物 中解析出主要影响因素，揭示事物的本质，简化复杂的问题，对于某些复杂数据 就可应用主成分分析法对其进行简化。计算主成分的目的是将高维数据投影到较 低维空间。文中介绍了 PCA算法的基本概念和基本原理，利用算法在降维和特 征提取方面的有效性，结合人脸识别的实例进行详细的阐述。关键字：主成分分析；数据降维；特征提取一、PCA算法的基本概念PCA是Principal component analysis的缩写，中文翻译为主成分分 析。主成分又称主分量、主元素。它是研究如

2、何通过原来变量的少数 几个线性组合来解释随机向量的方差协方差结构，是数据压缩和特征 提取中一种多维向量的统计分析方法。这种方法可以有效的找出数 据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据 降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单,而且无 参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科 学到计算机图形学都有它的用武之地。被誉为应用线形代数最有价值 的结果之一。二、PCA算法的原理与基本思想PCA算法的原理是设法将原来变量重新组合成一组新的互相无 关的几个综合变量，同时根据实际需要从中可以取出几个较少的总和 变量尽可能多地反映原来变量的信息的统计的方

3、法，也是数学上处理 降维的一种方法。PCA算法的基本思想是设法将原来众多具有一定相关性(比如P 个指标)，重新组合成一组新的互相无关的综合指标来代替原来的指 标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综 合指标。典型的做法就是用F1 (选取的第一个线性组合，即第一个 综合指标)的方差来表达，即Var (Fl)越大，表示Fl包含的信息 越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称 F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息, 再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1 已有的信息就不需要再出现再F2中，用数学语言表达就是要求C

4、ov (Fl, F2) =0,则称F2为第二主成分，以此类推可以构造出第三、 第四，第P个主成分。应当注意，主成分分析本身往往并不是目的，而是达到目的的一种手段，因此，它多用在大型研究项目的 某个中间环节。如把它用在多重回归，便产生了主成分回归，这种回 归具有优良性质，另外，它在压缩、特征提取及分类应用中非常有用。三、PCA求解的一般步骤PCA求解：特征方程的根在线形代数中,PCA问题可以描述成以下形式： 寻找一组正交基组成的矩阵P,有Y=PX,使得Cy三右丫丫丁是对角阵。 则P的行向量(也就是一组正交基)，就是数据X的主元向量。对Cy进行推导：1丁Cp YYT1T京(PX)(PX)T 詁I

5、PXXTMCy=-T PAPTn-1定义A三XX则A是一个对称阵。对A进行对角化求取特征向量得: a=edet则D是一个对角阵，而E则是对称阵A的特征向量排成的矩阵。这里要提出的一点是,A.是一个mXm的矩阵，而它将有Ta<m)个 特征向量。其中t是矩阵A.的秩。如果r<m,则丄即为退化阵。此时 分解岀的特征向量不能覆盖整个m空间。此时只需要在保证基的正 交性的前提下，在剩余的空间中任意取得m-r维正交向量填充勺空 格即可。它们将不对结果造成影响。因为此时对应于这些特征向量的 特征值，也就是方差值为零。求出特征向量矩阵后我们取P±t,则A=PtDP,由线形代数可知 P矩阵

6、有性质P"=PT,从而进行如下计算：Cy=t PAPtn-1召 P(PTDP)PT=占(PPT)D(PPT)=占(PPJ)D(PP")2右D可知此时的P就是我们需要求得变换基。至此我们可以得到PCA的 结果：©X的主元即是XXT的特征向量，也就是矩阵P的行向量。矩阵Cy对角线上第i个元素是数据X在方向P1的方差。 我们可以得到PCA求解的一般步骤：1) 釆集数据形成mXn的矩阵。m为观测变量个数,n为采样点个数。2) 在每个观测变量(矩阵行向量)上减去该观测变量的平均值得到矩阵3）对XXT进行特征分解，求取特征向量以及所对应的特征根。四、举例说明一一基于PCA算法

7、的人脸识别PCA方法由于其在降维和特征提取方面的有效性，在人脸识别领域 得到了广泛的应用。PCA方法的基本原理是:利用K-L变换抽取人脸的主要成分，构成 特征脸空间，识别时将测试图像投影到此空间，得到一组投影系数， 通过与各个人脸图像比较进行识别。利用特征脸法进行人脸识别的过 程由训练阶段和识别阶段两个阶段组成。其具体步骤如下：训练阶段第一步：假设训练集有200个样本，由灰度图组成，每个样本大小为其中向量X为由第i个图像的每一列向量堆叠成一列的MN维列向量, 即把矩阵向量化,如下图所示：如：第i个图像矩阵为门4728369第二步：计算平均脸4】计算训练图片的平均脸:第三步：计算差值脸计算每一张

8、人脸与平均脸的差值：< 二X, -二1,2,.,200第四步：构建协方差矩阵A =，20。）第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间 协方差矩阵的维数为MN*MN,考虑其维数较大，计算量比较大，所 以釆用奇异值分解(SingularValue Decomposition ,SVD)定理习，通过求 解AT A的特征值和特征向量来获得从丁的特征值和特征向量。 求出AT A的特征值 人及其正交归一化特征向量", 根据特征值的贡献率选取前p个最大特征向量及其对应的特征向量 贡献率是指选取的特征值的和与占所有特征值的和比，即：一般取q = 99%即使训练样本在前p个特征向量

9、集上的投影有99%的能量求出原协方差矩阵的特征向量u则"特征脸"空间为：W = (%，弘2 ,知)第六步将每一幅人脸与平均脸的差值脸矢量投影到“特征脸"空间, 即 Q,=屛/(心1,2,200)识别阶段第一步：将待识别的人脸图像r与平均脸的差值脸投影到特征空间, 得到其特征向量表示：Qr = wr（r-T）第二步：定义阈值 O = *max专C, C畀,，丿=1,2,200 第三步：釆用欧式距离来计算"°厂与每个人脸的距离5 材半厂/（心临）为了区分人脸和非人脸，还需要计算原始图像厂与由特征脸空间重 建的图像rz之间的距离£n其中：V

10、f =+ T根据以下规则对人脸进行分类：1）若s>e ,则输入图像不是人脸图像；2）若£<0，且, 6 > o则输入图像包含未知人脸；3）若8<e，且/，s<e则输入图像为库中第k个人的人脸。五、结束语PCA技术的一大好处是对数据进行降维的处理。我们可以对新 求出的“主元”向量的重要性进行排序,根据需要取前面最重要的部 分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压 缩的效果。同时最大程度的保持了原有数据的信息。在前文的例子中，经过PCA处理后的数据只剩下了一维，也就是 弹簧运动的那一维，从而去除了冗余的变量，揭示了实验数据背后的物 理原

11、理。PCA技术的一个很大的优点是，它是完全无参数限制的。在PCA 的计算过程中完全不需要人为的设定参数或是根据任何经验模型对 计算进行干预，最后的结果只与数据相关，与用户是独立的。但是，这一 点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识， 掌握了数据的一些特征，却无法通过参数化等方法对处理过程进行干 预，可能会得不到预期的效果，效率也不高。参考文献：1 Jose C.A Fast On-line Algorithm for PCA and Its Convergence CharacteristicsJ.IEEE,Transactions on Neural Network, 2000, 4(2):299-3072 唐懿芳，钟达