Fisher分类算法

1、实验二用身高与或体重数据进行性别分类得实验一、实验目得1 ）加深对F isher线性判别方法原理得理解与认识2 ）掌握Fis h e r线性判别方法得设计方法二、实验数据训练样本集FAMALE、TXT 50个女生得身高、体重数据MALE、TX T50个男生得身高、体重数据测试样本集t es t 1、t x t 3 5个同学得身高、体重、性别数据（1 5个女生、20个男生）test2、txt 3 0 0个同学得身高、体重、性别数据（50个女生、250个男生）三、实验内容试验直接设计线性分类器得方法，与基于概率密度估计得贝叶斯分类器进行比较。同时采用身高与体重数据作为特征，用Fi s h er线性

2、判别方法求分类器，将该分类器应用到训练与测试样本，考察训练与测试错误情况.将训练样本与求得得决策边界画到图上同时把以往用B a yes方法求得得分类器（例如 ：最小错误率Bayes分类器）也画到图上，比较结果得异同。四、原理简述、程序流程图1、 Fisher 线性判别方法首先求各类样本均值向量,然后求各个样本得来内离散度矩阵，再求出样本得总类内离散度,根据公式求出把X 投影到 Y 得最好得投影方向。再求出一维Y 空间中各类样本均值,其中，本次实验得分界阈值我们用如下方法得到：,最后，将测试样本中得值代入，求出 y,并将其与y0来进行比较来分类。2、流程图求各类产本均值向量矩障二鼾二间向维y空间

3、投盛-维空阊样本 均值乘职阈信网火策判断计算律美楼水的曾误率五、实验结果1、错误率表格男生错误个数女生错误个数总错误男生错误率女生错误率总错误率2 722 91 0、8%4 %9、6 7%841 21 6 %8%1 2 %分析：用训练样本得到得分类器测试测试样本时错误率低，测试结果较好，但测试训练样本时,其错误率较高，测试结果不好。2、Fishe r判别方法图像X分析：从图中我们可以直观得瞧出对训练样本Fisher判别比最大似然 B a yes判别效果更好。六、总结与分析本次实验使我们对加深Fisher判别法得理解。通过两种分类方法得比较，我们对于同一种可以有很多不同得分类方法，各个分类方法各

4、有优劣，所以我们更应该熟知这些已经得到充分证明得方法，在这些方法得基础上通过自己得理解，创造出更好得分类方法。所以模式识别还有很多更优秀得算法等着我们去学习。七、附录1、 f i s her、 mfunction w, y 0 =fi shcr(AA, BB ) A= A A 'B=B B'k1,l 1 =s i z e (A);k2, 1 2 = s ize (B);M 1 = s um (AA);M 1 =M 1 'M 1 =M1/l1; %男生均值向量M2=sum(BB );M2 = M2'M 2 = M 2/l 2 ;%女生均值向量S 1=z e r o

5、 s (k1,k1); %建立矩阵S2= z e r o s(k2, k2);for i =1 ： 11S仁S1+ (A (:,i) M1)* (A (:, i ) M 1)、/ ); %男生得类内离散度矩阵endfor i = 1 ： 12S2=S2+(B (:, i)-M2 ) * ( (B(:,i) M2)、');女生得类内离散度矩阵endSw = 0、5*Sl+0、5*S2; %总类内离散度矩阵，先验概率0、5w=i n v(S w ) * (M1 M2) ; %两列wT=w' ;%wTM就是使Fish er准则函数JF(w)取极大值时得解，也就就是d维X空间到1 维

6、Y 空间得最好得投影方向for i= 1 ： l1Y1(i尸wT (1, 1) *A(1,i)+wT(1 , 2) * A( 2 , i) ;%求出二维男生样本集映射到一维时得量endf or i= 1 ： l 2Y 2 ( i ) =wT( 1 , 1 ) * B( 1 ,i) + wT(1 , 2) *B ( 2 , i); %求出二维女生样本集映射到一维时得量endm 1 =sum(Y 1 ) / l1;m2=sum (Y2) / l 2 ;y0=( 1 1*m1 + l 2 * m2) / (l1+l2);2、 d e te rmi n e> m%用f ishe r线性判别函数来

7、判断clcc l e ar al lA1 A2= te xtscan L MALE、tx yj % f%V );B1 B2 = tex tscan ( ' EE MAL E、tx t ', / % f % f ');AA =A1 A 2 ;BB = B1 B2;w , y 0 = f i she r (AA, B B);wT = w'girl = 0;boy =0 ;bad = 0;e rrorgir 1= 0;err o rboy = 0;e r ror = 0;e rrorgir 1 rat e = 0;er r o r b oyr a te = 0 ;e

8、rr o r r ate = 0 ;T 1 T2= textsca n( ' test2tx t ', '%f%f%*sQ;TT = T 1 T2; T = TTk 3 l3 = s ize (T );for k = 1 ： 50y ( k ) = wT*T(: , k) if y(k ) >y 0errorgirl = erro rg i rl+1;else if y ( k ) y 0girl = g i r l+1 ;el s ebad = bad + 1;en dendendf or k = 5 1:30 0y (k) = wT*T(: , k);i f

9、y(k) >y0boy = b o y +1 ;e 1 se i f y (k)<y0e r ro r bo y = er r or boy+1 ;e lsebad = bad+1;en den dende r rorgirl;err o rboy;bad;girl = er r orboy+ g irl ;boy = b oy+err o r g i rl;er r or = error g i rl+errorboy;error g ir 1 rate = err orgirl/50 ;erro rboy r ate = error b o y / 25 0 ;erro r r

10、a t e = e rro r/l3;3、 h ua t u、mA1 A2 = t e xt r e ad('MAL E、txt',' 烦 V);B1 B 2 = tex tread (/ FEMAL E、txt/，/ %f%f);AA = A1 A 2 ;BB= Bl B 2;A=AA'B= BB，;k1 ,门=si ze(A);k 2,l2 =size(B);w, y0=fisher (AA,BB);for i=1:l1x = A (1, i);y=A (2,i); % x就是身高，y就是体重plo t (x, y/R、/);hol d o n endfor

11、 i=1 ： 12x=B(1 ， i);y=B ( 2,i) ;pl o t ( x ,y, 'G、;)h o Id onenda1=min(A ( 1,:) ) ； %男生身高最小值a 2= m ax(A (1,:) )；%男生身局最大值b1 = m in ( B( 1 , : ); %女生身高最小值 b2=max(B (1,: ); %女生身高最大值 a3=min(A (2 ,：) ;%男生体重最小值 a4=max(A(2, :) ;%男生体重最大值 b3 =m i n (B (2, :) ;%女生体重最小值 b4=max( B( 2,： ) ;女生体重最大值if a 1 <

12、b1a= a 1;elsea=b1; % a就是所有人中身高最小值 endif a2>b2b= a 2;elseb =b2; %b就是所有人中身高最大值 endif a3Vb 3c=a 3 ;e 1 sec= b3; % c就是所有人中体重最小值 endi f a4> b 4d= a 4 ;elsed= b 4; % d为所有人中体重最大值 endx= a :0、0 1 :b;y =(y o x*w( 1,1)/w (2, i)；pl o t ( x , y/B，)； hold on；%身高体重相关,判别测试样本手动先验概率P1=0、5;P2 =0、5;FA=B;MA = A;a=

13、 cov (FA，) * l length (FA) 1 ) /le n gth (FA);b =co v (MA') * (1 ength ( MA)-1)/lengt h (MA);W1=- 1/2* i n v(a);W2= 1/2 * inv(b);Ave1=(su m (FA，)/l e ng t h(FA)'A v e2= (sum (MA，)/lengt h (MA)'w1=inv (a)*Avel;w 2=in v ( b) * Ave2;w 1 0=-1/2*Ave1 / * i n v ( a )*Ave 1 1 /2*log(det(a ) )+lo g ( P1);w20=- 1 /2