Fisher-线性判别及感知器判别

模式识别上机实验4：Fisher线性判别及感知器判别姓名寸正雄学号20081910073根据给出的触角长度和翼长识别出一只标本是Af还是Apf是重要的。两种蠓虫，Af和Apf已由生物学家W.L.Grogna和W.W.Wirth（1981）根据它们的触角长度和翼长加以区分，见表中数据。试分别用Fisher判别和感知准则函数求判别函数并判别出最后5个样本的类别，并画出20个样本的散点图及分类直线。2，4.最小均方误差准则函数。序号.12345678910翼长1.201.301.181.141.261.281.361.481.401.38触角长1.861.961.781.782.002.001.741.821.701.90类别ApfApfApfApfApfApfAfAfAfAf序号11121314151617181920翼长1.241.381.541.381.561.241.281.401.221.36触角长1.721.641.821.822.081.801.782.041.881.78类别AfAfAfAfAf?????方法判别函数1617181920Fisher(6302644881021315*x2)/2251799813685248-(5185937669541779*x1)/1125899906842624+2027480948322517/2251799813685248ApfAfApfApfAf感知器(587*x2)/125-(5113*x1)/750-1/5AfAfAfApfAfFisher感知模式识别上机实验4：Fisher线性判别及感知器判别姓名寸正雄学号20081910073问题分析线性判别函数在实际问题中有好多样本无法的到准确度角高的样本密度估计，只能采用样本本身直接进行分类器设计。具体说就是，首先给定某个判别函数类，然后再利用样本确定出判别函数中的未知参数。线性判别函数法是一种比较简单的判别函数，首先假定判别函数是的线性函数，即（1.1）对于类问题，可以定义个判别函数，，(1.2)然后再采用样本的到判别函数中的位置参数和。Fisher线性判别Fisher线性判别法，就是把样本投影到某个方向上，在该方向上可以简单的得到分类结果。如一个二维的两类样本可以投影到一条直线上，在这直线上课一找到一个点就可以将两类分开。那么要利用Fisher方法，应该怎样做呢？第一就是要找到可以将两类样本分开的投影线或向量。Fisher方法采用两个样本的中心的所在的方向：(2.1)让后就是确定分开两类的那个点，Fisher有如下三种方法：（其中，为样本在上的摄影）(2.2)分好也后就是，利用原样本把要决策的样本投影到直线上与比较，Fisher中就采用下方法：(2.3)其中为样本的散度矩阵(2.4)样本的投影：(2.5)确定决策规则：(2.6)其决策面为：(2.7)感知准则函数与Fisher相反，Fisher是降低维数，感知算法则是增加维数，要利用感知算法首先要把样本规范化，最常用的规范化就是吧类别以的方式加入到原样本中。当样本为两类是，其规范化如下：(2.8)规范化后就是利用规范化后的样本来找到一个决策函数，用于未知分类的样本决策。感知算法采用梯度算法：(2.9)如此找到一个使得所有的都满足，找到后可得到决策函数(2.10)课得到决策规则如下：(2.11)问题求解题意分析该题中样本数较少，而且是线性可分的，样本中只有两个属性值。Fisher线性判别用Fisher算法计算，先把样本分成第一类第二类待分类，利用(2.1)式计算的均值和，在利用(2.3)、(2.4)式子计算、和，并计算就可以得到决策规则和决策函数。带入数据可得到下结果：P=12112F=(6302644881021315*x2)/2251799813685248-(5185937669541779*x1)/1125899906842624+2027480948322517/2251799813685248图如下：图3.1感知准则函数先将样本规范化，在利用(2.9)式计算得到，在利用(2.10)、(2.11)式可得到决策规则和决策面，带入数据计算结果入下：P=-1-1-11-1F=(587*x2)/125-(5113*x1)/750-1/5程序代码样本yangben.mX1=[1.201.86；1.301.96；1.181.78；1.141.78；1.262.00；1.282.00];X2=[1.361.74；1.481.82；1.401.70；1.381.90；1.241.72；1.381.64；1.541.821.381.82；1.562.08];Y=[1.241.80；1.281.78；1.402.04；1.221.88；1.361.78];Fisher线性判别Fisher.mfunction[Pf]=Fisher(X1,X2,Y)m1=mean(X1);m2=mean(X2);s1=zeros(2,2);fori=1:6s1=s1+(X1(i,:)-m1)'*(X1(i,:)-m1);ends2=zeros(2,2);fori=1:9s2=s2+(X2(i,:)-m2)'*(X2(i,:)-m2);endsw=s1+s2;W=(m1-m2)*inv(sw);M1=m1*W';M2=m2*W';y0=((M1+M2)/2);fori=1:5y=Y(i,:)*W';ify>=y0P(i)=1;elseP(i)=2;endendplot(X1(:,1)',X1(:,2)','o');holdon;plot(X2(:,1)',X2(:,2)','*')symsx1x2f=W*[x1;x2]-y0;ezplot(y0);holdoff;标准化BiaoZhunHua.mfunctionBZY=BiaoZhunHua(X1,X2)N1=size(X1,1);N2=size(X2,1);X1=[ones(N1,1),X1];X2=-[ones(N2,1),X2];BZY=[X1;X2];感知算法GanZhi.mfunction[Pf]=GanZhi(X1,X2,Y)BZY=BiaoZhunHua(X1,X2);N=size(BZY,1);t=0;k=1;a=mean(BZY);whilet==0fori=1:Nifa*BZY(i,:)'<=0a=a+BZY(i,:);t=0;break;elset=1;endendk=k+1;ifk==N*Ndisp('²»¿ÉÓø÷½·¨Çó');break;endendsymsx1x2f=a*[1;x1;x2];fori=1:5x1=