模式识别——感知器准则与Fisher算法实验

1、实验二 感知器准则与Fisher算法实验 1、【实验目的】 贝叶斯分类方法是基于后验概率的大小进行分类的方法，有时需要进行概率密度函数的估计 而概率密度函数的估计通常需要大量样本才能进行，随着特征空间维数的增加，这种估计所 需要的样本数急剧增加，使计算量大增。 在实际问题中，人们可以不去估计概率密度，而直接通过与样本和类别标号有关的判别 函数来直接将未知样本进行分类。这种思路就是判别函数法，最简单的判别函数是线性判别 函数。采用判别函数法的关键在于利用样本找到判别函数的系数，模式识别课程中的感知器 算法是一种求解判别函数系数的有效方法。本实验的目的是通过编制程序，实现感知器准则 算法，并实现线

2、性可分样本的分类。 本实验通过编制程序让初学者能够体会Fisher线性判别的基本思路，理解线性判别的基 本思想，掌握 Fisher线性判别问题的实质。 2、实验内容 1 实验所用样本数据如表 2-1给出（其中每个样本空间（数据）为两维， x 1表示第一维的值、x 2表示第二维的值），编制程序实现 3 1、3 2类3 2、3 3类的分类。分析分类器算法的性能。 案别 ill 2 a 3 C 1 1 12 K. 1 K 1 1.1 7A *2 3.0 2.9 2.0 B.4 2 7.1 rl 4 43 1.5 A.7 恥 _2 5 4 A 4.5 1.9 2.1 4.7 4 20 2.7 S.1

3、1 6 0 1 5.3 It 5 -3.2 5 4 1 42 1.9 22 6,7 -4, a hi ).1 5 JO 1.4 1 5 3.7 os -9.2 7 0 8 2.4 -3.4 2 -5.3 R I 2 25 -6.1 J L 34 R7 9 5.0 卅 3.7 5.t 1.6 7.1 0 4J0 4A A L9 5.1 a 具体要求 1、复习感知器算法； 2、写出实现批处理感知器算法的程序 1 ）从a=0开始，将你的程序应用在 3 1和3 2的训练数据上。记下收敛的步 数。 2）将你的程序应用在 32和3 3类上，同样记下收敛的步数。 3 ）试解释它们收敛步数的差别。 3、 提高

4、部分：3 3和34的前5个点不是线性可分的，请手工构造非线性映 射，使这些点在映射后的特征空间中是线性可分的，并对它们训练一个感 知器分类器。分析这个分类器对剩下的（变换后的）点分类效果如何？ 2. Fisher 准则 下面表样本数据中的类别3 1和3 2计算最优方向 W。画出最优方向 W的直线，并标记出 投影后的点在直线上的位置。 4UI Ll2 样成 比 K 2 cl 覽1 K 3 rr -0J OJN 1039 泅 I.C -O.QH 工 027 la L6 14S 3 o.Jd QJ055 4)03 4.44 -0.41 32 4 -0.15 0tS3 1.0 0.(M7 -0_45

5、1 J OJS 0.47 HIM 1.1 7.1 -4.1 2.7 2.8 5.0 -1.3 1.2 6.4 4.0; w2=7.1 -1.4 4.5 6.3 4.2 1.4 2.4 2.5 8.4 4.1;4.2 -4.3 0.0 1.6 1.9 -3.2 -4.0 -6.1 3.7 -2.2; w3=-3.0 0.5 2.9 -0.1 -0.4 -1.3 -3.4 1 -5.1 1.9;-2.9 8.7 2.1 5.2 2.2 3.7 6.2 3.4 1.6 5.1; ww1=o nes(1,size(w1,2);w1; ww2=o nes(1,size(w2,2);w2; ww3=o n

6、es(1,size(w3,2);w3; w12=ww1,-ww2; y=zeros(1,size(w12,2); a=1;1;1; k=0; while any(y0) for i=1 ： size(y,2) y(i)=a*w12(:,i); end a=a+(sum(w12(:,find(y=0); k=k+1; end a k figure(1) plot(w1(1,:),w1(2,:),r); hold on plot(w2(1,:),w2(2,:),*) xmin=min(min(w1(1,:),min(w2(1,:); xmax=max(min(w1(2,:),min(w2(2,:)

7、; ymin=min(min(w1(1,:),min(w2(1,:); ymax=max(min(w1(2,:),max(w2(2,:); xindex=xmin-1:(xmax-xmin)/100:xmax+1; yindex=-a(2)*xindex/a(3)-a(1)/a(3); plot(xindex,yindex); w12=ww2,-ww3; y=zeros(1,size(w12,2); a=1;1;1; k=0; while any(y0) for i=1;size(y,2) y(i)=a*w12(:,i); end a=a+(sum(w12(:,find(y0 plot3(A(1,k),A(2,k),A(3,k),go); % plot3(A11(1),A11(2),A11(3),go); % 点为 rp 对应第一类 投影为r+对应go类 else plot3(A(1,k),A(2,k),A(3,k),m+); % plot3(A11(1),A11(2),A11(3),m+); % end 点为bh对应m+类 投影为b*对应m+类 end %画出最佳方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,k); view(-37.5,30); axis(-2,3,-1,