作业二简述基于Fisher准则线性分类器设计

1、cheng作业二Fisher线性判别分类器一实验目的本实验旨在让同学进一步了解分类器的设计概念,能够根据自己的设计对线性分类器有更深刻地熟悉,理解Fisher准那么方法确定最正确线性分界面方法的原理,以及Lagrande乘子求解的原理.二实验条件Matlab软件三实验原理线性判别函数的一般形式可表示成(m r2)2Jf(W)g (X)wtx wo其中Xw/XiW2WXdWd根据Fisher选择投影方向 W的原那么,即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开,类内样本投影尽可能密集的要求,用以评价投影方向W的函数为:2s2* 1WSw (mi m2)上面的公式是使用 Fisher准那

2、么求最正确法线向量的解,该式比拟重要.另外,该式这种1形式的运算,我们称为线性变换,其中mi m2式一个向量,Sw/是Sw的逆矩阵,如m m2 是d维,S和需都是d x d维,得到的 W*也是一个d维的向量.向量W*就是使Fisher准那么函数JF(W)达极大值的解,也就是按Fisher准那么将d维X 空间投影到一维 Y空间的最正确投影方向,该向量W*的各分量值是对原 d维特征向量求加权和的权值.以上讨论了线性判别函数加权向量W确实定方法,并讨论了使Fisher准那么函数极大的d维向量W*的计算方法,但是判别函数中的另一项Wo尚未确定,一般可采用以下几种方cheng法确定W0如Woimiim2

3、2N1r1 N2r2或者W0112 2 mNi N2或当P 1与P 2时可用Worim22In p( 1)/ p( 2)N1N2 2当w确定之后,那么可按以下规那么分类,WTXWoX1WTXw0X2四实验程序及结果分析%可仲数据点的坐标x1 =0.23311.52070.64990.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407-0.21260.0507-0.08100.73150.33451.0650-0.02470.10430.31220.66550.58381.16531.26530.8137-0.339

4、90.51520.7226-0.20210.4070-0.1717-1.0573-0.2099;x2 =2.33852.19461.67301.63651.78441 2.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604;x3 =0.53380.85141.08310.41641

5、.1176i 0.55360.60710.44390.49280.59011.09271.07561.00720.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548;%各x1、x2、x3变为行向量x1=x1(:);x2=x2(:);x3=x3(:);%十算第一类的样本均值向量m1m1(1)=mea n(x1);m1(2)=mea n( x2);m1(3)=mea n(x3);

6、%计算第一类样本类内离散度矩阵 S1S1=zeros(3,3);for i=1:36-m1(2)+x2(i)S1=S1+-m1(1)+x1(i) -m1(2)+x2(i) -m1(3)+x3(i)'*-m1(1)+x1(i) -m1(3)+x3(i);end%w加勺数据点坐标x4 =1.4010 1.2301 2.0814 1.1655 1.3740 1.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.931

7、31.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.9414;x5 =1.02980.96110.9154 1.49010.82000.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288;x6 =0.6210

8、1.36560.5498 0.67080.89321.43420.95080.73240.57841.49431.09150.76441.21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458;x4=x4(:);x5=x5(:);x6=x6(:);%计算第二类勺样本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%

9、计算第二类样本类内离散度矩阵S2S2=zeros(3,3);for i=1:36-m2(2)+x5(i)S2=S2+-m2(1)+x4(i) -m2(2)+x5(i) -m2(3)+x6(i)'*-m2(1)+x4(i) -m2(3)+x6(i);end%总类内离散度矩阵 SwSw=zeros(3,3);Sw=S1+S2;%样本类间离散度矩阵 SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最优解 WW=SwA-1*(m1-m2)'%各W变为单位向量以方便计算投影W=W/sqrt(sum(W.A2);%十算一维Y空间中的各类样本均值 M1及M2

10、 for i=1:36y(i)=W'*x1(i) x2(i) x3(i)' endM1=mean(y)for i=1:36y(i)=W'*x4(i) x5(i) x6(i)'endM2=mean(y)%用当P(w1)与P(w2)时的公式计算 W0 p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2); %计算将样本投影到最正确方向上以后的新坐标 X1=x1*W(1)+x2*W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'% 得到投影长度 XX1=W(1)*X1;W(2)

11、*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;% 得到新坐标%绘制样本点figure(1) plot3(x1,x2,x3,'r*') %第一类hold onplot3(x4,x5,x6,'bp') %第二类legend(' 第一类点 ',' 第二类点 ') title('Fisher 线性判别曲线 ') W1=5*W;%画出最正确方向 line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','b');%

12、判别已给点的分类 a1=1,1.5,0.6'a2=1.2,1.0,0.55'a3=2.0,0.9,0.68'a4=1.2,1.5,0.89'a5=0. 23,2.33,1.43'A=a1 a2 a3 a4 a5 n=size(A,2);%下面代码在改变样本时都不必修改 %绘制待测数据投影到最正确方向上的点 for k=1:nA1=A(:,k)'*W;A11=W*A1;%y=W'*A(:,k)+W0;%if y>0plot3(A(1,k),A(2,k),A(3,k),'go'); % plot3(A11(1),A11(

13、2),A11(3),'go'); % elseplot3(A(1,k),A(2,k),A(3,k),'m+'); %plot3(A11(1),A11(2),A11(3),'m+'); %得到待测数据投影计算后与 0 相比以判断类别,大于0 为第一类,小于点为 "rp" 对应第一类 投影为 "r+" 对应 go 类点为"bh"对应m+类投影为"b*"对应m+类0 为第二类endend%画出最正确方向 lin e(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','k'); view(-37.5,30);axis(-2,3,-1,3,-0.5,1.5);grid onhold off实验结果和数据:.数据的样本点首先根据求出最正确投影方向,然后根据此方向,将待测数据进行投影 分布如下：Fisher线性判别图像T-2101.510.5-0.533其中,红色的*是给出的第一类样本点,蓝色的五角星是第二类样本点.下方的实