主成分分析-从一维到多维

报告人：赵才荣博士后zhaocairong@

主成分分析（PCA）

——从一维到多维引言提纲主成分分析（PCA）二维主成分分析（2DPCA）总结多维主成分分析（MPCA）基因数据引言：高维数据人脸图像数据数字手写体数据……其他数据降维——从3维到2维?高维数据的降维技术如何挖掘高维数据中隐藏的知识高维数据内蕴知识……线性鉴别分析（LDA）流形学习（ML）主成分分析（PCA）LineartransformationOriginaldatareduceddata线性降维技术数学模型主成分分析（PCA）[1]L.SirovichandM.Kirby,“Low-DimensionalProcedureforCharacterizationofHumanFaces,”J.OpticalSoc.Am.,vol.4,pp.519-524,1987.[2]M.KirbyandL.Sirovich,“ApplicationoftheKLProcedurefortheCharacterizationofHumanFaces,”IEEETrans.PatternAnalysisandMachineIntelligence,vol.12,no.1,pp.103-108,Jan.1990.[3]M.TurkandA.Pentland,“EigenfacesforRecognition,”J.CognitiveNeuroscience,vol.3,no.1,pp.71-86,1991.参考文献主成分分析(PrincipalComponentAnalysis,简称PCA)是将多个变量通过线性变换以选出较少个数重要变量（主成分）的一种多元统计分析方法。确定主成分权重系数的过程就可以看作是主成分分析的过程主成分分析的概念

均值方差标准差假设有n个D维的样本：，则：

基本数学概念协方差矩阵/散布矩阵

协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。主成分分析目标:寻找最能够代表原始数据分布特性的投影方向。散布矩阵：PCA目标函数：AssumeFormthematrix:then主成分分析计算机理TofindthatmaximizessubjecttoLetλbeaLagrangemultiplierisaneigenvectorofScorrespondingtothelargesteigenvaluetherefore主成分分析计算机理TofindthenextcoefficientvectormaximizingthenletλandφbeLagrangemultipliers,andmaximizesubjecttoandtoFirstnotethatuncorrelated主成分分析计算机理主成分分析计算机理WefindthatisalsoaneigenvectorofSwhoseeigenvalueisthesecondlargest.Ingeneral

ThekthlargesteigenvalueofSisthevarianceofthekthPC.主成分分析计算机理重构误差:结论1、求重构误差最小的投影方向等价于求散度最大的投影方向主成分分析:寻找在最小均方误差意义下最能够代表原始数据的投影方向。结论2、主成分分析的本质就是对角化协方差矩阵最大散度：1、降噪，消除维度间的相关性，恢复主要维度应有能量2、去冗余，即去掉多余维度，压缩数据中包含的信息。主成分分析的物理意义PCA•••••••••••••••••••••••••••••••••••••主成分分析的几何解释：平移、旋转坐标轴平移、旋转坐标轴的目的是使样本数据在主轴方向的离散程度最大，且不同轴之间具有不相关性。xy示例%matlabcodeD=load('pca.txt');var_x=sum((D(:,1)-mean(D(:,1))).^2)/(length(D(:,1))-1);var_y=sum((D(:,2)-mean(D(:,2))).^2)/(length(D(:,2))-1);cov_xy=sum((D(:,2)-mean(D(:,2))).*(D(:,1)-mean(D(:,1))))/(length(D(:,2))-1);%theabovethreelinesequalto:cov(D)示例[ei_vector,ei_value]=eig(cov(D))示例d=1d=2d=4d=8d=16d=32d=64d=100原始图像具体应用:图像压缩+c2*

+…+cd*≈

c1*+δ(I)具体应用:人脸识别……对于分类问题是否最优？是否可以提取带有判别信息的主成分信息？思考基于信息重构的最佳表示能否设计直接面向图像矩阵和高维矩阵（比如彩色图像，监控视频）的主成分分析方法？主成分分析提取判别信息

1、引入各个分量的分类性能J(xj)2、将J(xj)重新排队确定由前d个特征分量来表征对象的显著性二维主成分分析（2DPCA）2024年1月20日29

[1]YangJ,ZhangD,FrangiAF,etal.Two-dimensionalPCA:anewapproachtoappearance-basedfacerepresentationandrecognition[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2004,26(1):131-137.[2]YangJ,YangJ.Y.,“FromImageVectortoMatrix:AStraightforwardImageProjectionTechnique—IMPCAvs.PCA,”PatternRecognition,vol.35,no.9,pp.1997-1999,2002.参考文献X是n维列向量，A是mxn的图像矩阵，Y是线性变换后的m维投影向量。定义Y的协方差矩阵的迹为总散度：最大化该准则，就找到了最优的投影方向X使得投影后的向量Y分得最开。2024年1月20日30二维主成分分析（2DPCA）

表示为：记2024年1月20日31

称作图像协方差（散度）矩阵。从定义可以看出它是非负定的n×n维矩阵。假设有M张训练图像，第j张图像表示为，所有训练图像的均值记作

准则化为2024年1月20日32最大化上式的X称作最优投影轴。最优投影轴是的最大特征值对应的特征向量。通常一个最优投影轴是不够的，因此选对应特征值最大的取前d个相互正交的单位特征向量作为最优投影轴。2024年1月20日332024年1月20日34特征提取2DPCA的最优投影向量用来做特征提取。对于给定的样本图像A，有得到的投影特征向量称作样本图像A的主成分（向量）。主成分向量形成m×d的矩阵称作样本图像A的特征矩阵或特征图像。2024年1月20日35分类方法采用最近邻分类。任意两个图像的特征矩阵和之间的距离定义为：给定测试样本B，如果，并且，则分类结果是。2024年1月20日36基于2DPCA的图像重构主成分向量是，令，那么由于是正交的，所以图像A的重构图像为：令，它的大小和图像A一致，称作图像A的重构子图。当d＝n时，是完全重构；当d<n时，是近似重构。2024年1月20日

37实验

人脸库人数图像数训练集测试集图像大小主要变化ORL4010×4020020092×112PoseAR65＋55120×13×2Varied50×40OverTimeFacialExpressionsLightingConditionsYale1511×15Leave-one-out100×80FacialExpressionsLightingConditions2024年1月20日38

2024年1月20日39ORL

2024年1月20日40

2024年1月20日41

2024年1月20日42

2024年1月20日43

2024年1月20日44AR

2024年1月20日45

2024年1月20日46

2024年1月20日47

2024年1月20日48

2024年1月20日49Yale

2024年1月20日50SampleimagesforoneobjectoftheYaledataset结论：2DPCA是将一幅图像的每一行当成一个样本，进行PCA的运算。2024年1月20日522DPCA与PCA的关系2DPCA与PCA（Eigenfaces）比较优点：提取特征的方法简单、直接实验对比中显示识别率高提取特征的计算效率高缺点：表示图像时需要的系数多，因此需要更多的存储空间分类所需的计算时间稍多

2024年1月20日53为什么2DPCA的性能优于PCA对于小样本数据（比如人脸识别）来说，2DPCA更加稳定。因为它的图像协方差矩阵比较小。2DPCA比PCA能更加精确的刻画图像的协方差矩阵

2024年1月20日54多维主成分分析（MPCA）2024年1月20日552024年1月20日56[1]LuH,PlataniotisKN,VenetsanopoulosAN.MPCA:Multilinearprincipalcomponentanalysisoftensorobjects[J].NeuralNetworks,IEEETransactionson,2008,19(1):18-39.[2]LuH,PlataniotisKN,VenetsanopoulosAN."GaitRecognitionthroughMPCAplusLDA",inProc.BiometricsSymposium2006(BSYM2006),Baltimore,US,September2006.参考文献1-modeunfoldingMultilinearprojection张量散度矩阵优化函数Thisisnoknownoptimalsolutionwhichallo