模式识别方法大作业实验报告

1、模式识别导论期末大作业2010-2011-2学期 第 3 组学号姓名工作量(%)08007204李双1008007205陈书瑜3508007218王健勇1008007236梁文卓3508007243仲红月10模式识别大作业人脸识别方法一- 基于pca和欧几里得距离判据的模板匹配分类器一、 理论知识1、主成分分析主成分分析是把多个特征映射为少数几个综合特征的一种统计分析方法。在多特征的研究中，往往由于特征个数太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度上有信息的重叠。当特征较多时，在高维空间中研究样本的分布规律就更麻烦。主成分分析采取一种降维的方法，找出几个综合因子来代表原

2、来众多的特征，使这些综合因子尽可能地反映原来变量的信息，而且彼此之间互不相关，从而达到简化的目的。主成分的表示相当于把原来的特征进行坐标变换（乘以一个变换矩阵），得到相关性较小（严格来说是零）的综合因子。1.1 问题的提出一般来说，如果n个样品中的每个样品有n个特征，经过主成分分析，将它们综合成n综合变量，即由下列原则决定：1、和（，i,j = 1,2,.n）相互独立；2、y的排序原则是方差从大到小。这样的综合指标因子分别是原变量的第1、第2、第n个主分量，它们的方差依次递减。1.2主成分的导出我们观察上述方程组，用我们熟知的矩阵表示，设是一个n维随机向量，是满足上式的新变量所构成的向量。于是

3、我们可以写成y=cx,c是一个正交矩阵，满足cc=i。坐标旋转是指新坐标轴相互正交，仍构成一个直角坐标系。变换后的n个点在轴上有最大方差，而在轴上有最小方差。同时，注意上面第一条原则，由此我们要求轴和轴的协方差为零，那么要求令，则经过上面式子的变换，我们得到以下n个方程1.3主成分分析的结果我们要求解出c，即解出上述齐次方程的非零解，要求的系数行列式为0。最后得出结论是的根，的方差为。然后选取前面p个贡献率大的分量，这样就实现了降维。也就是主成分分析的目标。二、 实现方法1、 获取数据。在编程时具体是把一幅二维的图像转换成一维的；2、 减去均值。要使pca正常工作，必须减去数据的均值。减去的均

4、值为每一维的平均，所有的x值都要减去，同样所有的y值都要减去，这样处理后的数据都具有0均值；3、 计算协方差矩阵；4、 计算协方差矩阵的特征矢量和特征值。因为协方差矩阵为方阵，我们可以计算它的特征矢量和特征值，它可以告诉我们数据的有用信息；5、选择成分组成模式矢量现在可以进行数据压缩降低维数了。如果你观察上一节中的特征矢量和特征值，会注意到那些特征值是十分不同的。事实上，可以证明对应最大特征值的特征矢量就是数据的主成分。对应大特征值的特征矢量就是那条穿过数据中间的矢量，它是数据维数之间最大的关联。一般地，从协方差矩阵找到特征矢量以后，下一步就是按照特征值由大到小进行排列，这将给出成分的重要性级

5、别。现在，如果你喜欢，可以忽略那些重要性很小的成分，当然这会丢失一些信息，但是如果对应的特征值很小，你不会丢失很多信息。如果你已经忽略了一些成分，那么最后的数据集将有更少的维数，精确地说，如果你的原始数据是n维的，你选择了前p个主要成分，那么你现在的数据将仅有p维。现在要做的是你需要组成一个模式矢量，这只是几个矢量组成的矩阵的一个有意思的名字而已，它由你保持的所有特征矢量构成，每一个特征矢量是这个矩阵的一列。6、获得新数据这是pca最后一步，也是最容易的一步。一旦你选择了须要保留的成分（特征矢量）并组成了模式矢量，我们简单地对其进行转置，并将其左乘原始数据的转置：其中rowfeaturevec

6、tor是由特征矢量作为列组成的矩阵的转置，因此它的行就是原来的特征矢量，而且对应最大特征值的特征矢量在该矩阵的最上一行。rowdataadjust是减去均值后的数据，即数据项目在每一列中，每一行就是一维。finaldata是最后得到的数据，数据项目在它的列中，维数沿着行。finaldata = rowfeaturevector * rowdataadjust这将仅仅给出我们选择的数据。我们的原始数据有两个轴（x和y），所以我们的原始数据按这两个轴分布。我们可以按任何两个我们喜欢的轴表示我们的数据。如果这些轴是正交的，这种表达将是最有效的，这就是特征矢量总是正交的重要性。我们已经将我们的数据从原

7、来的xy轴表达变换为现在的单个特征矢量表达。如果我们已经忽略了一些特征矢量，则新数据将会用我们保留的矢量表达。三、 matlab编程matlab程序分为三部分。程序框图如下图所示。这个函数将源图像提取成特征脸，然后比较它们之间的欧几里得距离这个函数首先得到二维数组，包括所有的训练样本向量并且从训练样本中返回3个输出量这个函数将所有训练样本的二维图像转换成一维列向量。接着，它把这些一维列向量组合到一行里面构造出二维向量t，即每个单元的信息量是一幅图片maineigenfacecorerecognitioncreatdatabase四、 总结从书里看我觉得最让人明白模板匹配分类器的一段话，就是“譬

8、如a类有10个训练样品，就有10个模板，b类有8个训练样品，就有8个模板。任何一个待测样品在分类时与这18个模板都算一算相似度，找出最相似的模板，如果该模板是b类中的一个，就确定待测样品为b类，否则为a类。”意思很简单吧，算相似度就是算距离。就是说，模板匹配就要用你想识别的样品与各类中每个样品的各个模板用距离公式计算距离，距离最短的那个就是最相似的。实验结果表明识别率达90%。这样的匹配方法明显的缺点就是在计算量大，存储量大，每个测试样品要对每个模板计算一次相似度，如果模板量大的时候，计算量就十分的大。五、 参考文献【1】 边肇其，张学工.模式识别【m】.第2版.北京.：清华大学出版社，200

9、0【2】 周杰，卢春雨，张长水，李衍达，人脸自动识别方法综述【j】.电子学报，2000，5（4）：102-106六、 附录（matlab 程序代码）第一部分：creatdatabase.mfunction t = creatdatabase(traindatabasepath)%一系列人脸（训练样本t1,t2,，tm）%函数描述：这个函数将所有训练样本的二维图像转换成一维列向量。接着，它把这些一维列向量组合到一行里面构造出二维向量t，即每个单元的信息量是一幅图片%参数： traindatabasepath - 训练数据库的路径%返回值：t -%一个二维矩阵，包含了所有一维向量。假设所有在训练样

10、本的p幅图像拥有相同的大小（m*n）。因此，这些一维向量的长度是m*n而且t将是一个mn*p的二维%矩阵%文件处理%trainfiles = dir(traindatabasepath);train_number = 0;for i = 1:size(trainfiles,1) t = size(trainfiles,1); if not(strcmp(trainfiles(i).name,.)|strcmp(trainfiles(i).name,.)|strcmp(trainfiles(i).name,thumbs.db) train_number = train_number + 1; e

11、ndend%从一维数组构造成二维数组%t = ;for i = 1: train_number str = int2str(i); str = strcat(,str,.pgm); str = strcat(traindatabasepath,str); img = imread(str); irow icol = size(img); temp = reshape(img,irow*icol,1);%将二维数组变成一维数组 t = t temp;end第二部分：eigenfacecore.mfunction m,a,eigenfaces = eigenfacecore(t)%利用主成分分析（

12、pca）的方法在各张人脸中决定最明显的特征%描述：这个方程首先得到二维数组，包括所有的训练样本向量并且从训练样本中返回3个输出量%参数：t - 一个二维矩阵，包含了所有一维向量。假设所有在训练样本的p幅图像拥有相同的大小（m*n）。因此，这些一维向量的长度是m*n而且t将是一个mn*p的二维%矩阵%返回值： m -（m*nx1）训练样本的均值% eigenfaces - (m*nx(p-1)训练样本协方差矩阵的特征向量% a - （m*nxp） 中心向量的矩阵%计算均值%m = mean(t,2); %计算样本平均值 m = (1/p)*sum(tjs)train_number = size(

13、t,2);%计算每个图像与均值的差%要使pca正常工作，必须减去数据的均值。减去的均值为每一维的平均，所有的x值都要减去，同样所有的y值都要减去%这样处理后的数据都具有0均值%a = ;for i = 1 : train_number temp = double(t(:,i) - m; a = a temp; %再次合并矩阵end%计算协方差矩阵%计算协方差矩阵的特征矢量和特征值%l = a*a; %l代表协方差矩阵 c = a*a.v d = eig(l);%计算矩阵a的特征值d(eigenvalues)和特征矩阵v(eigenvectors)%选择成分组成模式矢量%l_eig_vec =

14、;for i = 1:size(v,2) if(d(i,i)1) l_eig_vec = l_eig_vec v(:,1); endend%计算协方差矩阵的特征向量%eigenfaces = a * l_eig_vec;第三部分：recognition.mfunction outputname = recognition(testimage, m, a, eigenfaces)%函数描述：这个函数将源图像提取成特征脸，然后比较它们之间的欧几里得距离%输入量: testimage -测试样本的路径% m -（m*nx1）训练样本的均值% eigenfaces - (m*nx(p-1)训练样本协方

15、差矩阵的特征向量% a - （m*nxp） 中心向量的矩阵%返回值： outputname -在训练样本中的被识别的图像的名字%从中心向量中提取特征脸%projectedimages = ;train_number = size(eigenfaces,2);for i = 1:train_number temp = eigenfaces * a(:,i) projectedimages = projectedimages temp;end%从测试样本中提取pca特征%inputimage = imread(testimage);temp = inputimage(:,:,1);irow ico

16、l = size(temp);inimage = reshape(temp,irow*icol,1);difference = double(inimage) - m;projectedtestimage = eigenfaces*difference;%计算欧几里得几何距离%euc_dist = ;for i = 1 : train_number, q = projectedimages(:,i); temp = (norm(projectedtestimage - q)2; euc_dist = euc_dist temp;end%找出a中最小元素及其索引，把最小值返回给c，最小值索引返回

17、给i。 %如果有几个相同的最小值，那么返回第一个被发现的索引。euc_dist_min, recognized_index = min(euc_dist);outputname = strcat(int2str(recognized_index),.pgm);主程序clear allclcclose alltraindatabasepath = uigetdir(c:matlab7workpca, select training database path );testdatabasepath = uigetdir(c:matlab7workpca, select test database

18、path);prompt = enter test image name(a number between 1 to 10):;dlg_title = input of pca_based face recognition system;num_lines = 1;def = 1;testimage = inputdlg(prompt,dlg_title,num_lines,def);testimage = strcat(testdatabasepath,char(testimage),.pgm);im = imread(testimage);t = creatdatabase(trainda

19、tabasepath);m, a, eigenfaces = eigenfacecore(t);outputname = recognition(testimage, m, a, eigenfaces);selectedimage = strcat(traindatabasepath,outputname);selectedimage = imread(selectedimage);imshow(im)title(test image);figure, imshow(selectedimage);title(equivalent image);str = strcat(matched imag

20、e is : , outputname);disp(str)模式识别大作业人脸识别方法二- 基于pca和fld的人脸识别的线性分类器一、理论知识1、 fisher概念引出在应用统计方法解决模式识别问题时，为了解决“维数灾难”的问题，压缩特征空间的维数非常必要。fisher方法实际上涉及到维数压缩的问题。fisher分类器是一种几何分类器, 包括线性分类器和非线性分类器。线性分类器有：感知器算法、增量校正算法、lmse分类算法、fisher分类。若把多维特征空间的点投影到一条直线上，就能把特征空间压缩成一维。那么关键就是找到这条直线的方向，找得好，分得好，找不好，就混在一起。因此fisher方法

21、目标就是找到这个最好的直线方向以及如何实现向最好方向投影的变换。这个投影变换恰是我们所寻求的解向量，这是fisher算法的基本问题。样品训练集以及待测样品的特征数目为n。为了找到最佳投影方向，需要计算出各类均值、样品类内离散度矩阵和总类间离散度矩阵、样品类间离散度矩阵，根据fisher准则，找到最佳投影准则，将训练集内所有样品进行投影，投影到一维y空间，由于y空间是一维的，则需要求出y空间的划分边界点，找到边界点后，就可以对待测样品进行进行一维y空间的投影，判断它的投影点与分界点的关系，将其归类。fisher法的核心为二字：投影。二、 实现方法(1) 计算给类样品均值向量，是各个类的均值，是类

22、的样品个数。(2) 计算样品类内离散度矩阵和总类间离散度矩阵(3) 计算样品类间离散度矩阵(4) 求向量我们希望投影后，在一维y空间各类样品尽可能地分开，也就是说我们希望两类样品均值之差（）越大越好，同时希望各类样品内部尽量密集，即希望类内离散度越小越好，因此，我们可以定义fisher准则函数：使得取得最大值的为 (5) 将训练集内所有样品进行投影如果是非奇异的，则要获得类间离散度与类内离散度的比值最大的投影方向的满足下式：其中是满足下式的和对应的m个最大特征值所对应的特征向量。注意到该矩阵最多只有c-1个非零特征值，c是类别数。2、程序中算法的应用fisher线性判别方法（fld）是在fis

23、her鉴别准则函数取极值的情况下，求得一个最佳判别方向，然后从高位特征向量投影到该最佳鉴别方向，构成一个一维的判别特征空间。将fisher线性判别推广到c-1个判决函数下，即从n维空间向c-1维空间作相应的投影。利用这个m维的投影矩阵m将训练样本n维向量空间转化为m维的mef空间并且获得在mef空间上的最佳描述特征，即由这n个mef空间上的最佳描述特征可以求出的样品类内离散度矩阵和总类间离散度矩阵，取的k个最大的特征可以构成fld投影矩阵w。将mef空间上的最佳描述特征在fld投影矩阵w上进行投影，将mef空间降维到mdf空间，并获得对应的mdf空间上的最佳分类特征，即通过计算的欧氏距离，可以

24、将训练样本分为c（c等于的秩），完成对训练样本集的分类1、 matlab编程1、fisher判别法人脸检测与识别流程图2、matlab程序分为三部分。程序框图如下图所示。mainfisherfacecorerecognitioncreatdatabase这个函数将所有训练样本的二维图像转换成一维列向量。接着，它把这些一维列向量组合到一行里面构造出二维向量t，即每个单元的信息量是一幅图片这个函数将源图像提取成特征脸，然后比较它们之间的欧几里得距离pca提取特征值fisher分类器设计。从fisher线性空间中提取图像2、 总结从计算成本来看，pca+lda方法的好处在于对高维空间的降维，避免了类

25、内离散度矩阵不可逆的情况。然而，从识别性能来看，由于主成分只是代表图像的灰度特征，是从能量的角度衡量主成分大小的，应用pca之后，舍弃的对应较小特征值的次要成分有可能对lda来说重要的分类信息，有可能降低分类识别性能。而且，在实际应用中，特别是在人脸图像识别中，由于“维数灾难”的存在，fld通常会遇到两个方面的困难：（1） 类内离散度矩阵总是奇异的。这是由于的秩最多为n-c，（n是用于训练样本的图像数目，c是人脸的类别数）。而一般情况下，用于训练的图像数目n是远小于每幅图像的像素数目，即“小样本问题“经常出现。（2） 计算的复杂度。在高维空间中，要得出一个分类向量的复杂度远远高于计算一个低维空

26、间中的分类向量。3、 参考文献【1】边肇其，张学工.模式识别【m】.第2版.北京.：清华大学出版社，2000【2】周杰，卢春雨，张长水，李衍达，人脸自动识别方法综述【j】.电子学报，2000，5（4）：102-1064、 附录（matlab 程序代码）1、第一部分：creatdatabase.mfunction t = creatdatabase(traindatabasepath)trainfiles = dir(traindatabasepath);train_number = 0;%统计文件数%for i = 1:size(trainfiles,1) if not(strcmp(trai

27、nfiles(i).name,.)|strcmp(trainfiles(i).name,.)|strcmp(trainfiles(i).name,thumbs.db) train_number = train_number + 1; endend%二维转一维%t = ;for i = 1 : train_number str = int2str(i);%把文件索引转换为字符串格式 str = strcat(,str,.pgm); str = strcat(traindatabasepath,str); img = imread(str); irow icol = size(img); temp

28、 = reshape(img,irow*icol,1); t = t temp;endt = double(t);2、第二部分：fisherfacecorefunction m_database v_pca v_fisher projectedimages_fisher class_number class_population = fisherfacecore(t)%返回值注释%m_database - (m*nx1)维的训练样本均值%v_pca - (m*nx(p-c)训练样本协方差的特征向量%v_fisher - (p-c)x(c-1) 最大的（c-1）维j = inv(sw) * sb

29、的特征矩阵%projectedimages_fisher - (c-1)xp)维训练样本，这些样本从fisher线性空间中提取%基本量赋值 %class_number=(size(t,2)/9; 类的数目，除以8取决于样本中有多少类人class_population = 9;%每一类的图像数目p = class_population * class_number; %总训练样本的数目%计算均值%m_database = mean(t,2);%包含t每一行均值的列向量%计算方差%a = t - repmat(m_database,1,p);%计算特征脸的算法%l = a * a;v d = ei

30、g(l);v = fliplr(v);%筛选小的特征值%l_eig_vec = ;dig = fliplr(max(d);for i = 1 : class_number l_eig_vec = l_eig_vec v(:,i)/sqrt(dig(i);end%计算特征矩阵的协方差矩阵c%v_pca = a * l_eig_vec;%v_pca就是降维后的协方差矩阵projectedimages_pca = ;for i = 1 : p temp = v_pca*a(:,i); projectedimages_pca = projectedimages_pca temp; end%fisher

31、分类器的设计方法%计算在特征空间里面每一个类的均值%m_pca = mean(projectedimages_pca,2) %特征空间总的均值m = zeros( class_number, class_number );sw = zeros( class_number, class_number);sb = zeros( class_number, class_number); for i = 1 : class_number m(:,i) = mean( ( projectedimages_pca(:,(i-1)*class_population+1):i*class_population

32、) ), 2 ); %每一类的样本分别求均值 s = zeros(class_number, class_number); for j = (i-1) * class_population + 1) : ( i*class_population ) s = s + ( projectedimages_pca(:,j) - m(:,i) * (projectedimages_pca(:,j) - m(:,i); end sw = sw + s;sb = sb + (m(:,i) - m_pca) * (m(:,i) - m_pca)end %计算fisher判别准则，目标是获取最大类间离散度和最

33、小类内离散度%j_eig_vec, j_eig_val = eig(sb,sw);j_eig_val = max(j_eig_val); j_eig_vec = fliplr(j_eig_vec); %去除0特征根和排序for i = 1 : class_number - 1 v_fisher(:,i) = j_eig_vec(:,i);%fisher判别法将n维映射到c-1维end %从fisher线性空间中提取图像%yi = v_fisher * v_pca * (ti - m_database)for i = 1: class_number * class_population projectedimages_fisher(:,i) = v_fisher * projectedimages_pca(:,i); end%由pca过渡到fld%img_fisher = w_fisher * pca_img;%projectedimages_fisher = v_fisher * projectedimages_pca; 3、第三部分：recognition.mfunction outp