FISHER线性判别MATLAB实现

.Fisher线性判别上机实验报告班级：学号：姓名：.一．算法描述Fisher线性判别分析的基本思想：选择一个投影方向（线性变换，线性组合），感谢阅读将高维问题降低到一维问题来解决，同时变换后的一维数据满足每一类内部的样本精品文档放心下载尽可能聚集在一起，不同类的样本相隔尽可能地远。Fisher线性判别分析，就是通过给定的训练数据，确定投影方向W和阈值谢谢阅读w0， 即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，谢谢阅读得到测试数据的类别。线性判别函数的一般形式可表示成g(X)WTXw其中0xw11wXW2xdwdFisher选择投影方向W的原则，即使原样本向量在该方向上的投影能兼顾类谢谢阅读间分布尽可能分开，类内样本投影尽可能密集的要求。如下为具体步骤：谢谢阅读（1）W的确定各类样本均值向量mimi

1N

x,i1,2ixXi样本类内离散度矩阵S 和总类内离散度矩阵SwiS

(xm)(xm)T,i

1,2i

i

ixXi.SSw 1 2样本类间离散度矩阵SbS(mm)(mm)Tb1212在投影后的一维空间中，各类样本均值m'=WTm谢谢阅读i i样本类内离散度和总类内离散度S'=WSTWS'=WSTW精品文档放心下载i i w w样本类间离散度S'=WTSWb b~~Fisher准则函数为maxJ(W)(mm)2~1~2FS2S212（2）阈值的确定w是个常数，称为阈值权,对于两类问题的线性分类器可以采用下属决策规则:谢谢阅读0g(x)g(x)g(x)1 2令 则：如果g(x)>0,则决策xw；如果g(x)<0,则决策xw；如果g(x)=0,则可将x感谢阅读1 2任意分到某一类，或拒绝。（3）Fisher线性判别的决策规则Fisher准则函数满足两个性质：1.投影后，各类样本内部尽可能密集，即总类内离散度越小越好。精品文档放心下载2.投影后，各类样本尽可能离得远，即样本类间离散度越大越好。精品文档放心下载根据这个性质确定准则函数，根据使准则函数取得最大值，可求出感谢阅读：W=S-1(m-m)。w 1 2这就是Fisher判别准则下的最优投影方向。最后得到决策规则.g(x)w1(mm))大于或小于logP(w)wTPx{212(w)1w若1，则2对于某一个未知类别的样本向量x，如果y=WT·x>y0，则x∈w1；否则x∈w2。谢谢阅读二．数据描述1.iris数据IRIS数据集以鸢尾花的特征作为数据来源，数据集包含150个数据集，有4维，分为3类，每类50个数据，每个数据包含4个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。谢谢阅读2.sonar数据Sonar数据集包含208个数据集，有60维，分为2类，第一类为98个数据，第二类为110个数据，每个数据包含60个属性，是在数据挖掘、数据分类中非常常用的测试集、训练集。精品文档放心下载三．实验结果以及源代码1.Iris（1）代码：clccleardata=xlsread('Iris');Iris1=data(1:50,1:4);Iris2=data(51:100,1:4);Iris3=data(101:150,1:4);.%类均值向量m1=mean(Iris1);m2=mean(Iris2);m3=mean(Iris3);%各类内离散度矩阵s1=zeros(4);s2=zeros(4);s3=zeros(4);fori=1:1:30s1=s1+(Iris1(i,:)-m1)'*(Iris1(i,:)-m1);谢谢阅读endfori=1:1:30s2=s2+(Iris2(i,:)-m2)'*(Iris2(i,:)-m2);谢谢阅读endfori=1:1:30s3=s3+(Iris3(i,:)-m3)'*(Iris3(i,:)-m3);谢谢阅读end%总类内离散矩阵sw12=s1+s2;sw13=s1+s3;sw23=s2+s3;.%投影方向w12=((sw12^-1)*(m1-m2)')';谢谢阅读w13=((sw13^-1)*(m1-m3)')';谢谢阅读w23=((sw23^-1)*(m2-m3)')';谢谢阅读%判别函数以及阈值T（即w0）T12=-0.5*(m1+m2)*inv(sw12)*(m1-m2)';谢谢阅读T13=-0.5*(m1+m3)*inv(sw13)*(m1-m3)';谢谢阅读T23=-0.5*(m2+m3)*inv(sw23)*(m2-m3)';谢谢阅读kind1=0;kind2=0;kind3=0;newiris1=[];newiris2=[];newiris3=[];fori=31:50x=Iris1(i,:);g12=w12*x'+T12;g13=w13*x'+T13;g23=w23*x'+T23;if((g12>0)&(g13>0))newiris1=[newiris1;x];kind1=kind1+1;.elseif((g12<0)&(g23>0))感谢阅读newiris2=[newiris2;x];elseif((g13<0)&(g23<0))感谢阅读newiris3=[newiris3;x];endendfori=31:50x=Iris2(i,:);g12=w12*x'+T12;g13=w13*x'+T13;g23=w23*x'+T23;if((g12>0)&(g13>0))newiris1=[newiris1;x];elseif((g12<0)&(g23>0))感谢阅读kind2=kind2+1;newiris2=[newiris2;x];elseif((g13<0)&(g23<0))精品文档放心下载newiris3=[newiris3;x];endendfori=31:50x=Iris3(i,:);g12=w12*x'+T12;.g13=w13*x'+T13;g23=w23*x'+T23;if((g12>0)&(g13>0))newiris1=[newiris1;x];elseif((g12<0)&(g23>0))感谢阅读newiris2=[newiris2;x];elseif((g13<0)&(g23<0))精品文档放心下载kind3=kind3+1;newiris3=[newiris3;x];endendcorrect=(kind1+kind2+kind3)/60;感谢阅读fprintf('\n综合正确率：%.2f%%\n\n',correct*100);谢谢阅读（2）实验结果：综合正确率=96.67%2.Sonar（1）代码：clccleardata=xlsread('sonar');Sonar1=data(1:98,1:60);Sonar2=data(99:208,1:60);%类均值向量.m1=mean(Sonar1);m2=mean(Sonar2);%各类内离散度矩阵s1=zeros(60);s2=zeros(60);fori=1:1:70s1=s1+(Sonar1(i,:)-m1)'*(Sonar1(i,:)-m1);谢谢阅读endfori=1:1:80s2=s2+(Sonar2(i,:)-m2)'*(Sonar2(i,:)-m2);精品文档放心下载end%总类内离散矩阵sw12=s1+s2;%投影方向w12=((sw12^-1)*(m1-m2)')';谢谢阅读%判别函数以及阈值T（即w0）T12=-0.5*(m1+m2)*inv(sw12)*(m1-m2)';感谢阅读kind1=0;kind2=0;.newsonar1=[];newsonar2=[];fori=71:98x=Sonar1(i,:);g12=w12*x'+T12;ifg12>0newsonar1=[newsonar1;x];kind1=kind1+1;elsenewsonar2=[newsonar2;x];endendfori=81:110x=Sonar2(i,:);g12