模式识别感知器算法求判别函数

1、感知器算法求判别函数一、实验目的掌握判别函数的概念和性质,并熟悉判别函数的分类方法,通过实验更深入的了解判别函数及感知器算法用于多类的情况,为以后更好的学习模式识别打下根底.二、实验内容学习判别函数及感知器算法原理,在MATLAB平台设计一个基于感知器算法进行练习得到三类分布于二维空间的线性可分模式的样本判别函数的实验,并画出判决面,分析实验结果并做出总结.三、实验原理3.1判别函数概念直接用来对模式进行分类的准那么函数.假设分属于必,32的两类模式可用一方程d(X)=0来划分,那么称d(X)为判别函数,或称判决函数、决策函数.如,一个二维的两类判别问题,模式分布如图示,这些分属于必,32两类

2、的模式可用一直线方程d(X)=0来划分.其中d(X)=wkw2x2w3=0(1)x1,x2为坐标变量.将某一未知模式X代入(1)中：假设(X)>0,那么XW孙类;假设(X)<0,那么X亡鬼类；假设(X)=0,那么X*r或X*s或拒绝维数=3时：判别边界为一平面.维数>3时：判别边界为一超平面1.3.2 感知器算法1958年,(美)F.Rosenblatt提出,适于简单的模式分类问题.感知器算法是对一种分类学习机模型的称呼,属于有关机器学习的仿生学领域中的问题,由于无法实现非线性分类而下马.但“赏罚概念(reward-punishmentconcept)得到广泛应用,感知器算法

3、就是一种赏罚过程2.两类线性可分白模式类与.2,设d(X)=WX其中,w=JW1,w2,wn,wn小,X=X1,x2,xn,1T应具有性质T0,d(X)=WTX0,对样本进行标准化处理,即32类样本全部乘以(-1),那么有:(3)火X)=wTx>o感知器算法通过对类别的练习样本集的学习,寻找一个满足上式的权向量.感知器算法步骤：(1)选才IN个分属于/和32类的模式样本构成练习样本集X1,XN构成增广向量形式,并进行标准化处理.任取权向量初始值W(1),开始迭代.迭代次数k=1o(2)用全部练习样本进行一轮迭代,计算WT(k)Xi的值,并修正权向量.分两种情况,更新权向量的值：1 .假设

4、WT(kXi00,分类器对第i个模式做了错误分类,权向量校正为：Wk1=WkcXic：正的校正增量.2 .假设W(kXi>°,分类正确,权向量不变：W(k+1)=W(k)统一写为：W(jt)+cxWr(Jt)Xt>0Wr(t)X,<0(4)(3)分析分类结果：只要有一个错误分类,回到(2),直至对所有样本正确分类.感知器算法是一种赏罚过程：分类正确时,对权向量“赏一一这里用“不罚,即权向量不变；分类错误时,对权向量“罚一一对其修改,向正确的方向转换3.3.3 感知器算法的流程及框图1、确1定样本：输入向量P、目标向量To2、网络大小：根据向量的维数来选择网络规模.3

5、、初始化：Wb取随机值,范围-1,+1网络输出：根据P、Wb来计算网络的输出Y.5 、学习偏差：E=T-Y.6 、新的网络参数：W?=W+EXPT、.=0+E(5)反复练习,直到到达目标,或到达最大的练习次数.任选一初始增广权矢量用练习样本检盍分类是否前二二No对权值进行校正1号所有练习样本都正确分类匚二IYesEND图1感知器算法流程图四、实验结果与分析本次实验先产生了三组服从正态分布的样本,通过感知器算法画出了他们的判别函数如图2所示：FileEditViewInsertTookDesktopWn-dowHelpSJd/环10群®0乂,曼口OINatenewtoolbarbutt

6、ons:d田tmbruEhimig&.linkEdplots乂1,4国vid/口x10e6420H1NVhh-s一巍窣才+4"->*a49*d14aP一$一J：X1、w!A*：J留过*1*1sli411I-10-GJ-20246810图2画出的判别面得到的判别函数分别是d1=47.2296x1-92.9167x2+20.0000d2=55.4429x1-80.6872x2-48.0000d3=-252.8807x1-224.7119x2-72.0000通过分析上述实验结果,虽然由于感知器算法是俩俩比拟,并且是线性分类,所以第三条判别函数可能会穿过第三类样本,但可以看出判

7、别函数把三类样本两两分开,到达了实验的目的,也掌握了感知器算法的原理.五、总结本文通过研究基于感知器算法进行样本分类,用MATLAB语言设计了程序,结果说明该系统根本实现了要求的功能,但系统也存在第三条判别函数不理想的情况,这也是感知器算法无法实验非线性分类的结果,以后学习其他算法后可以改良.参考文献1夏东盛,李永涛,张晓,等.模式线性可分时的一种单层感知器算法C/中国计算机学会第一届全国Web信息系统及其应用学术会议.2004:29-31.2刘建伟,申芳林,罗雄麟.感知器学习算法研究J.计算机工程,2021,第7期(7):190-192.3易中凯.感知器网络学习算法研究与应用D.北京理工大学

8、,2001.附录程序源代码clear;clc;mu1=12;S1=0.250;00.7;data1=mvnrnd(mu1,S1,100);mu2=46;S2=0.50;00.45;data2=mvnrnd(mu2,S2,100);mu3=-55;S3=0.70;00.4;data3=mvnrnd(mu3,S3,100);data=data1;data2;data3;%生成三组服从正态分布的样本one=zeros(100,1);one(:,1)=1;X1=data1one;X2=data2one;X3=data3one;知曾广矩阵W1=0,0,0;W2=0,0,0;W3=0,0,0;%W台权向量

9、whiletruecounter=0;fori=1:100%寸第一组练习样本迭代d11=W1*X1(i,:)'d12=W2*X1(i,:)'d13=W3*X1(i,:)'ifd11>d12&&d11>d13counter=counter+1;elseW1=W1+2*X1(i,:);W2=W2-2*X1(i,:);W3=W3-2*X1(i,:);endendfori=1:100%寸第二组练习样本迭代d21=W1*X2(i,:)'d22=W2*X2(i,:)'d23=W3*X2(i,:)'ifd22>d21&

10、&d22>d23counter=counter+1;elseW1=W1-2*X2(i,:);W2=W2+2*X2(i,:);W3=W3-2*X2(i,:);endendfori=1:100%对第三组练习样本迭代d31=W1*X3(i,:)'d32=W2*X3(i,:)'d33=W3*X3(i,:)'ifd33>d31&&d33>d32counter=counter+1;elseW1=W1-2*X3(i,:);W2=W2-2*X3(i,:);W3=W3+2*X3(i,:);endendifcounter=300breakenden

11、dplot(data(:,1),data(:,2),'b.','MarkerSize',6);%出三组聚类点holdon;a1=W1(:,1);b1=W1(:,2);c1=W1(:,3);a2=W2(:,1);b2=W2(:,2);c2=W2(:,3);a3=W3(:,1);b3=W3(:,2);c3=W3(:,3);x=linspace(-10,25,1000);y1=-(a1-a3)*x/(b1-b3)-(c1-c3)/(b1-b3);%fe成函数y2=-(a2-a1)*x/(b2-b1)-(c2-c1)/(b2-b1);y3=-(a3-a2)*x/(b3-

12、b2)-(c3-c2)/(b3-b2);holdon;plot(x,y1,'c',x,y2,'r',x,y3,'b')徭出判决面axis(-1010-210);holdon;gridon;7 Toolate为时太晚Theplanewaslateanddetectiveswerewaitingattheairportallmorning.TheywereexpectingavaluableparcelofdiamondsfromSouthAfrica.Afewhoursearlier,someonehadtoldthepolicethatthiev

13、eswouldtrytostealthediamonds.Whentheplanearrived,someofthedetectiveswerewaitinginsidethemainbuildingwhileotherswerewaitingontheairfield.TwomentooktheparcelofftheplaneandcarrieditintotheCustomsHouse.Whiletwodetectiveswerekeepingguardatthedoor,twoothersopenedtheparcel.Totheirsurprise,thepreciousparcel

14、wasfullofstonesandsand!飞机误点了,侦探们在机场等了整整一上午.他们正期待从南非钻石的贵重包裹.几个小时前,有人告诉警察,小偷想偷钻石.当飞机到达时,一些侦探等候在主楼内,另一局部那么等在停机坪.两个男人带着包裹下了飞机,进了海关.当两个侦探把住门口,另外两个翻开包裹.令他们吃惊的是,那珍贵的包裹里面装的全是石头和沙子！Thebestandtheworst最好的和最差的JoeSandershasthemostbeautifulgardeninourtown.Nearlyeverybodyentersfor'TheNicestGardenCompetition'eachyear,butJoewinseverytime.BillFrith'sgardenislargerthanJoe's.BillworksharderthanJoeandgrowsmoreflowersandvegetables,butJoe'sgardenismoreinteresting.Hehasmadeneatpathsandhasbuiltawoodenbridgeoverapool.Ilikegardenstoo,butIdonotlikehardwork.EveryyearIent