PCA人脸识别理论基础附源码

-.z.1 PCA与人脸识别及其理论根底1.1问题描述[1]对于一幅图像可以看作一个由像素值组成的矩阵也可以扩展开看成一个矢量如一幅N*N象素的图像可以视为长度为N2的矢量，这样就认为这幅图像是于2一个点这种图像的矢量表示就是原始的图像空间但是这个空间仅是可以表示或者检测图像的许多个空间中的一个不管子空间的具体形式如何这种方法用于图像识别的根本思想都是一样的首先选择一个适宜的子空间图像将被投影到这个子空间上然后利用对图像的这种投影间的*种度量来确定图像间的相似度，最常见的就是各种距离度量。变换[1]PCA方法是由urk和Pentlad提出的，它的根底就是Karhunen-ove变换(简称KL变换)，是一种常用的正交变换。下面我们首先对K-L变换作一个简单介绍:假设*为n维的随机变量，*可以用n个基量的加权和来表示:n*=∑αiii1-.z.式中:αi是加权系数，i是基向量，此式还可以用矩阵的形式表示:-.z.-.z.12 n 1 2 n*=φ,φ,"12 n 1 2 n=Φα-.z.-.z.取基向量为正交向量，即T1i=j T-.z.则系数向量为：ΦΦj=⎨0⎩0i≠j⇒ΦΦj=I-.z.α=ΦT*综上所述，K-L展开式的系数可用以下步骤求出:步骤一求即向量*的自相关矩阵R=E⎣*T*⎦，由于没有类别信息的样本集的µ均值向-.z.量，常常没有意义，所以也可以把数据的协方差矩阵∑K_L坐标的产生矩阵，这里µ是总体均值向量。=E⎣(*−µ(*−µT⎦作为-.z.步骤二求自相关矩阵或协方差矩阵R的本值i和本征向量i，Φ=1,i,",φn)步骤三展式系数即为α=ΦT*KL换的实质是建立了一个新的坐标系，将一个物体主轴沿特征矢量对齐的旋转变换，这个变换解除了原有数据向量的各个分量之间相关性，从而有可能去掉那些带有较少信息的坐标系以到达降低特征空间维数的目的。-.z.利用PCA进展人脸识别完整的PCA人脸识别的应用包括几个步骤：人脸图像预处理；读入人脸库，训练形成特征子空间；把训练图像和测试图像投影到上一步骤中得到的子空间上；选择一定的距离函数进展识别。下面详细描述整个过程〔源码见’faceRe.。1. 读入人脸库归一人脸库后将库中的每人选择一定数量的图像构成训练集其余构成测试集设归一化后的图像是n*,按列相连就构成N=n*m维矢量，可视为N维空间中的一个点，可以通过K-L变换用一个低维子空间描述这个图像。2. 计算K-L变换的生成矩阵所有训练样本的协方差矩阵为〔以下三个等价：-.z.⎧1.TT TCA=(M∑k1kik)/M−m*im*-.z.⎨A⎪2.C⎨A=(iT)/M〔1〕-.z.⎪⎡M⎤-.z.⎪3.C⎩A=⎢∑⎣i1(*−m(*−mT⎥ii * i *-.z.-.z.A=1,φ2,...,φM},i=i−m*,m*是平均人脸,M训练人脸数，协方差矩阵CA是-.z.一个N*N的矩阵,N是i的维数。A为了方便计算特征值和特征向量一般选用第个公式根据K-L变原理我们所求的新坐标系即由矩阵iT的非零特征值所对应的特征向量组成直接求N*N大小矩阵C的特征值和正交归一特征向量是很困难的,根据奇异值分解原理〔见段落1.2.5和12.6，可以A通过求解TiA的特征值和特征向量来获得TiA的特征值和特征向量。N*r在计算得到CA的所有非零特征值[0,1,",r1〔从大到小排序1≤r<M及其对应的单位正交特征向量[u0,1,",ur1]后，可以得到特征空间U=[u0,1,",urN*r计算一张图片*在特征空间上的投影系数〔也可以理解为*在空间U中的坐标：-.z.3. 识别Y=UT**∈ℜr〔2〕-.z.利用公式〔，首先把有训练图片进展投影，然后对于测试图片也进展同样的投影，采用判别函数对投影系数进展识别。1.2PCA的理论根底投影[2]设d维样本1，*2，",*n，以及一个d维基w，则标量：-.z.i iy=i i-.z.是相当于*i在基上的坐标值。如果w=1,i就是把*i向方向为w的直线进展投影的结果，-.z.可以从图1看到推广之如果有一组〔m个组成的空间W=[w1,w2,",wm]则可Tm以得到*i在空间W上的坐标为：Y=W*∈ℜ。-.z.i* 证明：wT*=iw又∵θyw⋅*⋅osθ*⋅cosθ=y, w=1-.z.i⇒wT*=yi图1投影图进一步，表达式w=m+ae表示w是一条通过点m，方向为e的直线。1.2.2PCA的作用及其统计特性[3]采用PCA对原始数据的处理，通常有三个方面的作用—降维、相关性去除、概率估计。下面分别进展介绍：ƒ 去除原始数据相关性从统计学上讲，E[*−E(*)]Y−EY)}称为随机变量*与Y协方差，记为-.z.Cov(*,Y)。令ρY=Cov(*,Y)，称为随机变量*与Y的相关系数。ρY=1则*与-.z.D(*)DY)-.z.Y是相关的，ρY=0，则*与Y是不相关的。T-.z.命题1矩阵A来，如果是一对角阵A的量是非关。-.z.由PCA处理的人脸库数据的非相关性可以从两点进展说明。〔1〕基底的非相关性-.z.T特征空间基U=[u0,1,",ur1]是非相关的，即UUT=I。-.z.-.z.〔2〕投影系数的非相关性T由SVD可知A=1,φ2,...,φM}＝UΛVT,其中i=i−*,m*是平均人脸根-.z.-.z.据公式〔2可以把A映射到特征空间上，得到：关的，可由下面得到证明：B=UT*A，其中B是非相-.z.Y的协方差矩阵为：C=1BBT=1UTATU=1Λ23〕-.z.BM M M由命题1知，B是相关的。ƒ 统计参数〔均值及方差〕-.z.均值即m*--平均人脸。命题2随变量方越，包含信越多，一变量方差为0时，该量常数，不含任何息。用PCA计算主分量，就是寻找一组向量，使得原始数据A=1,φ2,...,φM}在这组向量上的投影值的方差尽可能大最大方差对应的向量就是第一主成份以后递推就是第二主成份，第三主成份……。用PCA计算主分量就是求原始数据A=1,φ2,...,φM}〔其中i=i−*协方差-.z.T矩阵的特征向量U=[u0,1,",ur1]由公〔3可知，P=uiTA=(1,p2,",pm)是A在ui-.z.上的投影值，其中P的方差就是ui对应的特征值i，可以理解为：命题3所原始数在分量ui上的投值方差为i。ƒ 降维如果在始空间表示一幅n*m大小的图片*则需要一个N＝nm维矢量但是当用公式(2)把它映射到特征空间后，只需要一个r*1维的量就可。另外命题2可可以根据方差的大小来判断特征向量的重要性由ORL图片库的20人脸计算得到的特征值呈图2分可知特征向量重要性呈指数下降据此可以只选用前面几个重要的特征向量来构建特征空间。通过计算前1个特值占了9.17%因此r以取1而非20从而进一步降维的作用。图2特征的分布特征脸U=[u0,1,",ur1]中的每一个单位向量都构成一个特征脸如图3所示由这些特征脸所张成的空间称为特征脸子空间需要注意对于正交基的选择的不同考虑对应较大特征值的特征向量(正交基)也称主分量用于表示人脸的大体形状而对应于较小特征值的特征向量则用于描述人脸的具体细节，或者从频域来看，主分量表示了人脸的低频局部，而此分量则描述了人脸的高频局部〔源码见’EignFace。-.z.1 2 10 50 70 averae图3特征，分别第，2，0，，70分量最后一是均脸。图片重建-.z.*要进展图片*的重建首先对*投影到特征空间上得到系数Y=UT(*−m*),然后选用一-.z.局部系数与特征向量进展原始图片的重建：*'=m*+U1:t)*Y1:t)其中1:t表示取前t个元素〔见’recontrut.’〕在图4中其中前两张图片来自训练样本第3张来自测样本可以看到对于训练样本，PCA系数可以对图片实现很好重建，而对于训练样本以外的图片重建效果很差。-.z.Original15 50 10 50 199-.z.图4人脸像重建第张图片输原始图其列图片重结果，字示t的目。奇异值分解〔VD〕[1]设A是秩为r的*n〔>>n〕维矩，则存在两个正交矩阵和一个对角阵：TA=[1,a2,",ar]=UΛVT-.z.T其中U=[u0,1,",ur1]，V=[0,1,",r1]，Λ=diag(0,1,",r1)，且UUT=I，VVT=I，-.z.2Tm*mTn*n TT-.z.i呈降序排列其中i为A∈ℜ和AA∈ℜ的非零特征值i和i分别是A和AA-.z.i对应于λ2的特征向量。可得一个推论：iU=AVΛ−1可以计算TA的特征值λ2及相应的正交归一特征向量v后，可由推论知T的正交归一特ii-.z.征向量λiu=1λiiiiAi-.z.-.z.注意，协方差矩阵CA=(iT)/M的特征值为：λ2/M。-.z.利用小矩阵计算大矩阵特征向量高阶矩阵的特征向量可以转化为求低阶矩阵的特征向量：-.z.设：A是秩为r的*n〔>>n〕维矩阵，C*=T∈ℜm*m，是一个矩阵，现在要求C的-.z.-.z.*特征值及特征向量，可通过先求小矩阵TA∈ℜn*n的特征向量[v,v,",v*]和特征值-.z.01r1[0,1,",r1]，两者之间有以下关系：i i iTA⋅i i ii i iA→T(A⋅v)=λi i i-.z.显然，C=T的特征向量是A⋅v〔注意没有单位化，[λ,λ,",λ]亦为其特征值。-.z.* i01r1-.z.结论与1.2.6方法计算协方差矩阵的特征向量特征值的结果是一致的只是要注意中的特征值要除以M，中的特向量要单位化。图片归一化图片标准化通常是一个整体概念，要求把图片归一到均值为0，方为1下情下。这个概念类似于一般正态分布向标准正态分布的转化：命题4假设*∼N(µ,σ2)，则Z=*−µ∼N(,)σ所以要对一组图片中的一张*i进展归一〔标准化只需要去均值除以方差就可以了。M-.z.T均值m*=∑*iTiM，方差为D=E⎣(*−m*(*−m*)⎦-.z.1.3参考文献[1]邓楠,基于成份分析的人脸识别,北大学硕士学位论文，2006.06[2da,E.Hart,andD..tork,attenClasifcaton,econded.Johnly&Sons,201.[3]SaiRodhni.FaceIageAnlsisusngautpleFeatureFitigtrteg.PDThesis,UniverstyofBasel,Switzelad,Jnary205.[4]SaiRodhni.ACERECOGNITIONUSINGPRINCIALPONENTSANAYSIS.1.4附录—matlab源码人脸识别%Faceec.m%PCA人脸识别修订版，识别率8％%clc*ea,sigaandtseiendeposiinallsaples=[]%所有训练图像fori=1:40forj=1:5=iread(strct(e:\ORL\s,nu2str(i),\,nu2str(j),.jpg));%ishow(a);b=a(1:12*92);%b是行矢量1×N其中N＝1004提取顺序是先列后行即从上到下，从左到右b=oblebllsaples[llsaples;b]; %alsaples是个M*N阵allsaples中每一行数据代表一张图片，其中M＝20ndendsapleeanean(allsaples); %平均图，1×Nfori=1:200*mean(i,:)=allaples(i,:)-spleean; %*ean是一个M×N矩阵，*ean每一行保存的数据是"每个图片数据-平均图片〞end;%获取特值及特征向量siga=*ean**ean; %M*M矩阵[vd]=eig(sigma);d1dag(d);%按特征大小以降序排列dsort=flpdd1);vsort=flplrv);-.z.%以下选择0%的能量dsum=su(dsort);dsu_e*tract=;p=0;wile(du_e*tratdum<0.9)p=p+1;ds_e*tract=u(dsort(1:p);-.z.i=;nd-.z.%(训练阶段)计算特征脸形成的坐标系base=*ean'*vsort(:1p)*iagdsort(:p).^(-12));%bae是×p阶矩阵除以dsort(i)(1/2是对脸图像的标准化〔使其方差为1〕%详见"于PCA的人脸识别算法研究"p1%*ean'*vsort(:,i是小阵的特征向量向大矩阵特征向量转换的过程%while(i<p&&dsort(i))%ase(:i)=dsot(i)^(-12)**ean'*vsort(:i);%bae是Np阶矩阵以dsorti)^(12)是对人脸图像的标准化〔使其方差为1〕%详见"于PCA的人脸识别算法研究"p1% i=i+1; %*ean'*vsort(,i小矩阵的特征向量向大矩阵特征向量转换的过程%end%以下两行addbygong*un将训练本对坐标系上进展投影,得到一个*p阶矩阵lcooralloor=llsples*base;%alcor里面是每张训练人脸图片在Mp空间中的一个点，即在子空间中的组合系数，accu=0;%面的人脸识别过程中就是利用这些组合系数来进展识别%测试过程fori=1:40forj=6:10%读入40*5副测试像=read(strcat('e:\ORL\s,num2str(i),\,num2str(j),.jpg));b=a1:004;b=oble(b;cr=b*ase;计算坐标，是1p阶阵ork=:00dist()=nor(tcoo-alloor(,:));ed;%阶近邻[istide2]sort(dist);las1=flor((inde*21)-1)/5)+1;class2=loor((inde*2(2)-1)/5)+1;class3=loor((inde*2(3)-1)/5)+1;-.z.ifcass1~clas2&&class2~=lass3cass=cass1;lsefclass==las2cass=cass1;lsefclass==las3cass=cass2;n;ifcass==iacuacu;-.z.end;n;n;-.z.accuacy=au/200%输识别率特征人脸%egfac.mfuncin[]=igfae()%clc*ea,sigaandtseiendeposiinallsaples=[]%所有训练图像fori=1:40forj=1:5=iread(strct(e:\ORL\s,nu2str(i),\,nu2str(j),.jpg));%ishow(a);b=a(1:12*92);%b是行矢量1×N其中N＝1004提取顺序是先列后行即从上到下，从左到右b=oblebllsaples[llsaples;b]; %alsaples是个M*N阵allsaples中每一行数据代表一张图片，其中M＝20ndendsapleeanean(allsaples); %平均图，1×Nfori=1:200*mean(i,:)=allaples(i,:)-spleean; %*ean是一个M×N矩阵，*ean每一行保存的数据是"每个图片数据-平均图片〞end;%获取特值及特征向量siga=*ean**ean; %M*M矩阵[vd]=eig(sigma);d1dag(d);-.z.d