主成分分析从一维到多维

主成分分析从一维到多维第一页，共66页。引言提纲主成分分析（PCA）二维主成分分析（2DPCA）总结多维主成分分析（MPCA）第二页，共66页。基因数据引言：高维数据人脸图像数据数字手写体数据……其他数据第三页，共66页。降维——从3维到2维第四页，共66页。?高维数据的降维技术如何挖掘高维数据中隐藏的知识高维数据内蕴知识……线性鉴别分析（LDA）流形学习（ML）主成分分析（PCA）第五页，共66页。LineartransformationOriginaldatareduceddata线性降维技术数学模型第六页，共66页。主成分分析（PCA）第七页，共66页。[1]L.SirovichandM.Kirby,“Low-DimensionalProcedureforCharacterizationofHumanFaces,”J.OpticalSoc.Am.,vol.4,pp.519-524,1987.[2]M.KirbyandL.Sirovich,“ApplicationoftheKLProcedurefortheCharacterizationofHumanFaces,”IEEETrans.PatternAnalysisandMachineIntelligence,vol.12,no.1,pp.103-108,Jan.1990.[3]M.TurkandA.Pentland,“EigenfacesforRecognition,”J.CognitiveNeuroscience,vol.3,no.1,pp.71-86,1991.参考文献第八页，共66页。主成分分析(PrincipalComponentAnalysis,简称PCA)是将多个变量通过线性变换以选出较少个数重要变量（主成分）的一种多元统计分析方法。确定主成分权重系数的过程就可以看作是主成分分析的过程主成分分析的概念第九页，共66页。

均值方差标准差假设有n个D维的样本：，则：

基本数学概念第十页，共66页。协方差矩阵/散布矩阵

协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。第十一页，共66页。主成分分析目标:寻找最能够代表原始数据分布特性的投影方向。散布矩阵：PCA目标函数：第十二页，共66页。AssumeFormthematrix:then主成分分析计算机理第十三页，共66页。TofindthatmaximizessubjecttoLetλbeaLagrangemultiplierisaneigenvectorofScorrespondingtothelargesteigenvaluetherefore主成分分析计算机理第十四页，共66页。TofindthenextcoefficientvectormaximizingthenletλandφbeLagrangemultipliers,andmaximizesubjecttoandtoFirstnotethatuncorrelated主成分分析计算机理第十五页，共66页。主成分分析计算机理第十六页，共66页。WefindthatisalsoaneigenvectorofSwhoseeigenvalueisthesecondlargest.Ingeneral

ThekthlargesteigenvalueofSisthevarianceofthekthPC.主成分分析计算机理第十七页，共66页。重构误差:结论1、求重构误差最小的投影方向等价于求散度最大的投影方向主成分分析:寻找在最小均方误差意义下最能够代表原始数据的投影方向。结论2、主成分分析的本质就是对角化协方差矩阵最大散度：第十八页，共66页。1、降噪，消除维度间的相关性，恢复主要维度应有能量2、去冗余，即去掉多余维度，压缩数据中包含的信息。主成分分析的物理意义PCA第十九页，共66页。•••••••••••••••••••••••••••••••••••••主成分分析的几何解释：平移、旋转坐标轴平移、旋转坐标轴的目的是使样本数据在主轴方向的离散程度最大，且不同轴之间具有不相关性。第二十页，共66页。xy示例第二十一页，共66页。%matlabcodeD=load('pca.txt');var_x=sum((D(:,1)-mean(D(:,1))).^2)/(length(D(:,1))-1);var_y=sum((D(:,2)-mean(D(:,2))).^2)/(length(D(:,2))-1);cov_xy=sum((D(:,2)-mean(D(:,2))).*(D(:,1)-mean(D(:,1))))/(length(D(:,2))-1);%theabovethreelinesequalto:cov(D)示例第二十二页，共66页。[ei_vector,ei_value]=eig(cov(D))示例第二十三页，共66页。d=1d=2d=4d=8d=16d=32d=64d=100原始图像具体应用:图像压缩第二十四页，共66页。+c2*

+…+cd*≈

c1*+δ(I)具体应用:人脸识别……第二十五页，共66页。对于分类问题是否最优？是否可以提取带有判别信息的主成分信息？思考基于信息重构的最佳表示能否设计直接面向图像矩阵和高维矩阵（比如彩色图像，监控视频）的主成分分析方法？第二十六页，共66页。主成分分析提取判别信息

1、引入各个分量的分类性能J(xj)2、将J(xj)重新排队确定由前d个特征分量来表征对象的显著性第二十七页，共66页。二维主成分分析（2DPCA）第二十八页，共66页。

[1]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentationandrecognition[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2004,26(1):131-137.[2]YangJ,YangJ.Y.,“FromImageVectortoMatrix:AStraightforwardImageProjectionTechnique—IMPCAvs.PCA,”PatternRecognition,vol.35,no.9,pp.1997-1999,2002.参考文献第二十九页，共66页。X是n维列向量，A是mxn的图像矩阵，Y是线性变换后的m维投影向量。定义Y的协方差矩阵的迹为总散度：最大化该准则，就找到了最优的投影方向X使得投影后的向量Y分得最开。二维主成分分析（2DPCA）第三十页，共66页。

表示为：记第三十一页，共66页。

称作图像协方差（散度）矩阵。从定义可以看出它是非负定的n×n维矩阵。假设有M张训练图像，第j张图像表示为，所有训练图像的均值记作

准则化为第三十二页，共66页。最大化上式的X称作最优投影轴。最优投影轴是的最大特征值对应的特征向量。通常一个最优投影轴是不够的，因此选对应特征值最大的取前d个相互正交的单位特征向量作为最优投影轴。第三十三页，共66页。第三十四页，共66页。特征提取2DPCA的最优投影向量用来做特征提取。对于给定的样本图像A，有得到的投影特征向量称作样本图像A的主成分（向量）。主成分向量形成m×d的矩阵称作样本图像A的特征矩阵或特征图像。第三十五页，共66页。分类方法采用最近邻分类。任意两个图像的特征矩阵和之间的距离定义为：给定测试样本B，如果，并且，则分类结果是。第三十六页，共66页。基于2DPCA的图像重构主成分向量是，令，那么由于是正交的，所以图像A的重构图像为：令，它的大小和图像A一致，称作图像A的重构子图。当d＝n时，是完全重构；当d<n时，是近似重构。第三十七页，共66页。实验

人脸库人数图像数训练集测试集图像大小主要变化ORL4010×4020020092×112PoseAR65＋55120×13×2Varied50×40OverTimeFacialExpressionsLightingConditionsYale1511×15Leave-one-out100×80FacialExpressionsLightingConditions第三十八页，共66页。

第三十九页，共66页。ORL

第四十页，共66页。

第四十一页，共66页。

第四十二页，共66页。

第四十三页，共66页。

第四十四页，共66页。AR

第四十五页，共66页。

第四十六页，共66页。

第四十七页，共66页。

第四十八页，共66页。

第四十九页，共66页。Yale

第五十页，共66页。SampleimagesforoneobjectoftheYaledataset第五十一页，共66页。结论：2DPCA是将一幅图像的每一行当成一个样本，进行PCA的运算。2DPCA与PCA的关系第五十二页，共66页。2DPCA与PCA（Eigenfaces）比较优点：提取特征的方法简单、直接实验对比中显示识别率高提取特征的计算效率高缺点：表示图像时需要的系数多，因此需要更多的存储空间分类所需的计算时间稍多

第五十三页，共66页。为什么2DPCA的性能优于PCA对于小样本数据（比如人脸识别）来说，2DPCA更加稳定。因为它的图像协方差矩阵比较小。2DPCA比PCA能更加精确的刻画图像的协方差矩阵

第五十四页，共66页。多维主成分分析（MPCA）第五十五页，共66页。[1]LuH,PlataniotisKN,VenetsanopoulosAN.MPCA:Multilinearprincipalcomponentanalysisoftensorobjects[J].NeuralNetworks,IEEETransactionson,2008,19(1):18-39.[2]LuH,PlataniotisKN,VenetsanopoulosAN."GaitRecognitionthroughMPCAplusLDA",inProc.BiometricsSymposium2006(BSYM2006),Baltimore,US,September2006.参考文献第五十六页，共66页。1-modeunfoldingMultilinearprojection第五十七页，共66页。张量散度矩阵第五十八页，共66页。优化函数ThisisnoknownoptimalsolutionwhichallowsforthesimultaneousoptimizationofNprojection