Adaline的LMS算法

1、神经网络导论实验报告-Adaline的LMS®法专业：信息与通信工程班级：5030班学号：3115091011姓名：王静神经网络导论实验一Adaline的LMS算法1、通过实验了解Adaline的工作原理2、对比LMS的三种算法，并通过上机实验掌握具体实现方法3、与采用硬限幅函数的单个神经元模型进行对比，比较其异同:、实验原理采用硬限幅函数的单个神经元，通过简单的学习算法，可以成功实现两类线性可分类的分类功能。但对于大多数的非线性可分类来说，则无法完成分类功能，为此我们转而采用具有线性功能函数的神经元Adaline(AdaptiveLinearElement)方法。设输入矢量X=?,

2、?,?,加权矢量W=?,?,?,则神经元的输出可以通过下式来计算：I=WXT=XWTy=fI=WXT=XWT要实现Adaline的分类功能，按照最小二乘法的统计意义而言，就是要求所有样本的实际输出值与理想预期值之间的误差的均方值最小。设输入观察矢量X的期望输出是d,当权向量为W时的实际输出是y,定义？?=?考虑所有可能出现样本的均方误差：?=?(?2(2)将(1)式代入，可得：?=?+?-2?(3)g其中，？?？?是输入向量的自相关矩阵，？?？?是输入向量与期望输出的互相关向量。由(3)式可知必定存在最佳的加权矢量？?使均方误差达到最小，对(3)式求梯度可得：?=2?02?由(4)式可解最优权

3、向量：?=?r?(5)(5)式给出了求最佳加权矢量的方法，但是需要做大量的统计计算，而且当输入矢量X的维数很大时，需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出下面三种递推求解的方法。2.1 LMS学习问题的严格递推学习算法1 .任意设置初始权向量W(0);2 .对于每一个时序变量k,按下式调整权向量W:Wk+1=Wk+a-?(?),?=1,2，(6)(6)式的含义为，应该向梯度的负方向调整加权向量W(k),只要选定合适的步幅系数刚能保证学习的收敛性。求出(6)式中的梯度：?=-2?(?)(7)于是(6)式变为：Wk+1=Wk+2oE?(?(8)用这种方法可以保证求得严格的最佳解

4、，而且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算，统计计算的困难尚需解决。2.2 LMS学习问题的随机逼近算法将(8)是修正为如下形式：Wk+1=Wk+2a(k)X(k)(9)即得到随机逼近算法，与其严格递推算法的区别在于：用Kk)X(k)代替EKk)X(k),由此避免了统计计算的困难，但同时也给加权矢量的变化趋势带来了随机性。2.3 LMS学习问题的基于统计的算法这是一种具有一定统计特性的学习算法假设学习进行到第k步时，可能出现的样本有P个，分别用？?不？?表示，下标p=1,2P表示在第k步学习过程中可能出现的不同样本编号。第p个样本的理想输出和实际输出分别用？?？?和

5、？?(？?表示。我们定义“误差平方和"J(k)如下：碇？=？?叙?(10)其中？?？=?-?,?)相对于W的梯度为：_2_?=-%?%?(11)令误差朝J(k)«小的方向调整，可得如下递推算法：?+1=?+£?«?(12)当P的数量非常大，使上式右端的求和项足以代表输入的统计特性时，(12)式与(8)式(严格递才t算法)一致，当P取1时，(12)式与(9)式(随机逼近算法)一致。三、实验内容及步骤3.1 LMS算法根据实验原理，？?？?即输入矢量的自相关阵，可得：2.01061.15151l.15151.73981?是输入向量与期望输出的互相关向量，可得

6、:P-11.10581.0074最佳权向量？?？=?大则有：W：=PR'=0.35170.34631档W=?时，均方误差取得最小值：可得：E?=?=?2-?=0.26233.2 随机逼近算法随机逼近算法，根据给出的权向量初始值，每步从样本中随机的选择一个，按照迭代公式(9),计算下一步的权向量，根据计算出的权向量，计算此时系统的输出矢量Y,与理想输出比较，得到此时系统的均方误差，若均方误差满足要求，则迭代结束，否则再选择样本进行训练。下图为随机逼近算法的简单结构框图：随机逼近算法框图其中，步幅系数a=0.01,加权系数的初始值选择为W(1)=0.1,0.1,学习结束的条件为随机逼近算法

7、的均方误差E?<?0.001图1a=0.01时，均方误差随训练次数的变化曲线迭代结束后，随机逼近算法计算出的加权系数矩阵：W=0.3793,0.3257如图1所示为实验结果。在a=0.01时，均方误差随训练次数的变化曲线，随着学习的进行，均方误差逐渐减小。但是从图中可以看见会有微小的起伏，这是因为每一步加权系数的调整量是向所选样本的误差梯度的负方向调整，但是总的趋势是误差减小的方向，最后满足误差的要求。卜列各图为版值不同时，均方误差随训练次数变化的曲线。D&蛙机后近翼法，HpitaH.OaZ45OHH港工里03±°'2&Q20JO6000100

8、12014U160160200训临改数k图3a=0.008时，均方误差随训练次数的变化曲线图2a=0.002时，均方误差随训练次数的变化曲线0IQ203040906G7QHO90IM谢蜘*麴k，机售近算法，alpha=D.O1L.匕二III，I“IIIM机/近算法一方误差口6-IsEminIW更RE0510IS20训辘.曲t花04,350.30O啜售HS图4a=0.01时，均方误差随训练次数的变化曲线图5a=0.02时，均方误差随训练次数的变化曲线随机逐近草注,而位=01xi0aH防机逼近复法，呻h#=Q5随机返近算法后方误差Emin'一二而舐篁法后方俣差Emin11tli，it010

9、203040900070训陈次数k°050a10001500国00250Q30003500400口4500训练次数k图6a=0.1时，均方误差随训练次数的变化曲线图7a=0.3时，均方误差随训练次数的变化曲线从图中可以看出，在a=0.002,0.008,0.01,0.02时，学习均是收敛的，只是对于不同的步幅系数，收敛速度不同。在a=0.02时收敛最快，在a=0.002时收敛较慢，但是当a=0.1和a=0.3时学习是不收敛的。原因：步幅系数影响每次对于加权系数W的调整量，因此，在步幅系数较小时（例a=0.002）,每次学习对于加权系数的调整很小，因此训练的次数较多，但是会收敛。在步幅

10、系数较大时（例a=0.1）,每次学习对于加权系数的调整也会较大，所以，可能会出现这次学习之前，误差没有达到指定的精度，但是学习之后，由于调整量太大而又超过了指定精度。所以会出现想图6所示的振荡现象。3.3 基于统计的算法基于统计的算法，根据给出的权向量初始值，每步随机的选择几个样本，（在本次实验中，随机的选择5个样本）按照迭代公式（12）,计算下一步的权向量，根据计算出的权向量，计算出此时系统的输出矢量Y,与理想输出比较，得到此时的均方误差，若均方误差满足要求，则迭代结束，否则再选择样本进行训练。下图为基于统计算法的简单结构框图：计算E?=?2E?-?>0.001结束基于统计的算法框图其

11、中，步幅系数a=0.02,输入矢量样本P=5,加权系数的初始值选择为W（1）=0.1,0.1,学习结束的条件为此算法的均方误差E?<?0.001基干绕计篁法，P=60.663O5&O56O.35O.54山口谢理KEO.图8P=5时，均方误差随训练次数的变化曲线迭代结束后，基于统计的算法计算出的加权系数矩阵为：W=0.3283,0,3506如图8所示为基于统计的算法的实验结果。在P=5时，随着学习的进行，均方误差逐渐减小。与随机逼近算法一样，图中可以看出在逼近过程中会有微小的起伏，这是因为每一步加权系数的调整量是向所选5个样本的误差平方和的梯度的负方向调整。但是总的趋势是误差减小的

12、方向，最后满足误差的要求。下列各图为P取值不同时，均方误差随训练次数变化的曲线。0.260204CBCBO10D1州140训练次射k至于统计草法，P=2ILrill-诲不算法的均方误差0.G-min0554s3,5。do.maooo图9P=2时，均方误差随训练次数的变化曲线图10P=50时，均方误差随训练次数的变化曲线"二IiiI|-020口mEOQ曲口1000120DUffl1BQD19Hll-k垩干婉甘耳法，P=50ULiiii,-于，砰克法的均方误差0.6XEmin55O36O551-口O.J1曲舞K客3O.从图中可以看出在合适的步幅系数a=0.02时，学习过程均是收敛的，随着

13、P取值的不同，训练次数不同。P取值越大，每步调整的加权系数W越精确，所以训练的次数应该越小。但是我的实验中，在P=50时，虽然收敛的效果很好，但是训练次数太多。3.4Widrow严格递推算法Widrow严格递推算法，与前两种方法不同的是，每一步调整都是利用所有的样本，计算其理想输出与实际输出的误差，权向量向误差梯度的负方向调整。即每一步利用所有的样本计算调整量，根据给出的权向量初始值，按照迭代公式（8）,计算下一步的权向量，再计算此时系统的输出矢量丫，与理想输出比较，得到此时系统的均方误差，若均方误差满足要求，则迭代结束，否则选择样本进行训练。下图为Widrow严格递推算法的简单结构框图：Wi

14、drow严格递推算法框图其中，步幅系数a=0.02,力口权系数的初始值选择为W(1)=0.1,0.1,学习结束的条件为此算法的均方误差E?w?0.001101556O4Q45Q.图11a=0.02时，均方误差随训练次数的变化曲迭代结束后，Widrow严格递推算法计算出的加权系数矩阵：W=0.3454,0.3296如图11所示，为a=0.02时，Widrow的严格递推算法计算的系统的均方误差随训练次数的变化情况，从图中可以看见，因为此算法每次对于加权系数的调整是利用所有的输入矢量，即向系统的均方误差减小的方向调整，所以迭代次数比起另外两种方法少很多。而且均方误差随着训练次数的变化曲线是一直减小的

15、，因为每一步计算的均方误差也是系统的均方误差时口6*的户博K：苣；跟02图12a=0.02时，均方误差随训练次数的变化曲460.32词占k：k悔:，dEJrtnWidrow需*特口市Emn图13a=0.05时，均方误差随训练次数的变化曲VWdh浙储产喀月理，8lpha7.35阳50L格比医Effin0舰夜抬k10002000300040005COO60007000-V燃次箱K图14a=0.1时，均方误差随训练次数的变化曲线图I5a=0.35时，均方误差随训练次数的变化曲如上图所示为做不同的值的时候，系统均方误差随训练次数的变化曲线，步幅系数旗响每一次加权系数的调整量。从图中可以看见当做0.02

16、,0.05,0.1时,迭代均是收敛的，而且臧大，收敛的越快，训练次数越少。但是当疝t大时，像实验中的a=0.35迭代不收敛。3.5检验本实验在检验时，对于用于测试的200个样本，按照三种方法计算出的加权系数分别计算其对应的实际输出，再与理想输出对比，确定分类是否正确。其中确定错误分类的个数时，用每一个样本的实际输出与对应的理想输出相乘，结果为正则分类正确，结果为负则分类错误。下面为三种方法分类的结果算法加权系数错误个数正确率（）随机逼近算法W=0.3793,0.3257995.5基于统计的算法W=0.3283,0.3506995.5WidrowW=0.3454,0.32961095四、实验总结

17、与思考4.1 实验总结本次实验，由于我对MATLA邳握的不是很好，所以刚开始在编程方面有一点困难，但是在理解了整体的思想和学习之后，进行了实验。三种方法实质上就是运用不同的方法计算加权系数W,随机逼近算法每次随机的选择一个样本进行调整，基于统计的算法每次选择P个样本进行调整，Widrow严格递推算法每次用所有的输入矢量进行调整。所以Widrow严格递推算法最快，因为它每次调整的方向都是向系统误差减小的方向调整。算出加权系数W之后，接下来三种方法都一样，就是根据W计算实际输出，再计算均方误差，根据误差精度的要求确定迭代是否结束。问题：在基于统计的算法中，随着P的增加，应该训练次数减少，但是在我的

18、实验中，当P=50时，虽然收敛结果很好，但是训练次数太多。比P=5的时候还多。4.2 实验思考题1、如果想采用硬限幅函数的单个神经元完成该分类任务，会出现什么样的现象？可能结果会不收敛，因为采用硬限幅函数的单个神经元只能完成线性可分类问题，但是对于非线性的分类问题可能结果会不收敛。2、通过观察比较随机逼近算法与不同P时最陡下降算法的均方误差曲线随时序变量k的变化有什么不同，并简要解释原因。随机逼近算法与基于统计的算法都是利用少量的样本进行加权系数的计算，每次调整都是向所选样本误差减小的方向调整，所以误差曲线都有微小的波动。但是基于统计的算法随着样本P的增加，其误差曲线趋近平滑，因为所选样本越多

19、，越能反映总体的误差情况。五、代码5.1 LMS算法计算输入矢量的自相关矩阵R,矩阵P,最佳权向量W*和最小均方误差Emin虬MF算法；closeallcleard也'EC课:程'神轻网络、实骁'实验一己Y.strcatVlMSJsanp,):%加戴蔽福X=sa*p(：P1:2):，输入矢量X为其前两列d-saup(:*3h%理强输出为第三列R<HsuB=zros2);BWeros(lT2)：H_5UB-r»x；R.=R_su*./200：R-E：XT*XP_£UH=dTK：嗫LSSL为其输出与对应输入的乘积PP_sua./200：2P*R飞-

20、1)代计算最佳权向里坟d.“2:Ed2-sui(d2>/200.EmE=Ed2-F球：、最小购方误差5.2 随机逼近算法closeillcl片二InadirE、渠桂t神经网络l实噎t实监一tiiinje、，strcat(plns_sonip,)/加虱啦据alpha=0401:出口；E-：研、E分别为最后显示时迭代的次数和每步的均方误差拒陈i=l：(k-0.1,0,Ll：，加权系数的初始值m=L%按照题目要求误差不起过Eehi+0.口口匕所以ndKKOR-Em水=1Ml7'hilgi'n>0.OOL),随机的抽取一个Kn=randi(sizeCsamj,11):何置一

21、个随机额nb=samp!rit;);寸由取3a凹的cHn行3-bC，L2)，输入矢量工为苴前两冽d=b<：l3)这个X的理想输出为前三列«用一个随机矢里兄计算加靓系数可(k)-d-yM;甲k+L)/也1+2，乱1由尹Mk)也工由一个陆机输久计苴的加权系数送代公式请算岂前将对应的总的弱方联差31=samp(:J：2);%输入关里口二一呼理想输出Y=Wk+ll*K*、实际输出ERROR_sua-suiiC(D-r).2)：ERfiONE际0R_3um/20。个均方误差TERROR-0.2623：X*k；E(k)=ERHOE:?=k+L;fndA=：Lk;E=：0,26230.26方

22、冲显示最小的均方误差Eniinplot(KtE,&Blegends遁机逼近苴法均方误差'JEmin')：title('慎机逼近直法，lpha"0.01P);xlati曰L训练次数M):ylabelt,均方ift差'>:5.3 基于统计的算法closeallclearLead(7F谭程1神绎网络实蛉、实脸一tzcatClKE_saap3):力匚载到'掘E=I1：E<%K*E分别为第后显示时送E的次数和每曲的均方误差拒降alpha-0-02.k=l:崔)=01,0.L注加权索撇的初培值2工1；卜横照四目要求费差不超过Enm+口.

23、001,ftla-ERR0X-Emin<-0.001-.while(n>0.001),得到5个随机祥本nrandi(size(samp,1)1.%相语一彳随机效力iln<5n=n+5;eldel£n>19Sn=n-5;endend务因为要电B个洋本，这个程序实现时是齐生一个随叽数位取M,第4个F始国湮续5个作为样本，因此要睚免。3物21鸵网的情臭b=5anp(n.n+4,.)二典从口开治的5个作为样本x-b(:,1:2):%输人矢置M为宜前限列d=b("3)f理想输出为其第三列»用5个:机样本计篁加权系救*产工"司河,；第十悻玄的

24、实际输出e粒三4步踮个样本休)谩差矩晦-fcrp=l;6p_：suB*zeros(1,2)p_stun.-p_sii>+ekip,:j：-end哥k+l=Wk+2*alpha*p_sum/&苴当前节对应能总的均方方差»saBp：Tr2凸输入矢里B=sanp(:+3)岛理掘输出加J(k+U软'、冥际输出EKR0R_Sursun(W-Y').Z).ERRCiR*E即0R_3UH2。0、均方误茎a-ERRO£-0.2023PE(k>kE(k)-ERRORk=k+l:LndK口k：E=0,2623。6您If显示最小的均方误差三皿二nplot(K.

25、Etlegendf基干埔计算法的均方误型/Emin')：title星干统计算法，457;关1就门训妹次数£,)：ylabel(，均方IftSt).5.4Widrow严格递推算法closea11clearE;课程"神轻网绪A实随"实魁一,strcatC占一3aap');*加载敷据alpha=0.02；K=I;E-EAK、E分别为最后显示时迭代的次数和每步的均方误差矩阵k=l;Wftt-to.l,0,口;*加枳系数的初始值雏三1：%按照氯目要求误差不超过E.H140OOL所以“ERROR-E*i*>L00"while(n>0,001)EFsanpC：,1:2)*输入矢量为其前两列d=gani0(：，？)、理想输出为第三列y=x*Hk：psilon=d-y;epsilon_SLiQi=epEiIon.'*x：Eepsilon=epsilon_5UJD./200:%k十l=Jk)+Malph好EepKlm：%由一个值机输入计苴的加权系麴迭代公式H计算当前f对应的总的我方误差X=sampCi1：2);舟输入矢里D-呷£:*:为理想输出Y=WU+l*Xh将实际输出ERROR,sum-5um(D-T)/2);ERROR=ERRO