下载本文档
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
1、极限学习机的回归拟合及分类单隐含层前馈神经网络（sin gle-hidden layer feedforward neural network ）以其良好的学习能 力在许多领域中得到了广泛的应用。然而，传统的学习方法（如BP算法等）固有的一些缺点，成为制约其发展的主要瓶颈。前馈神经网络大多采用梯度下降方法，该方法主要存在以下几方面的缺点：（1）训练速度慢。由于梯度下降法需要多次迭代以达到修正权值和阈值的目的，因此训练过程耗时较长。（2）容易陷入局部极小点，无法达到全局最小。（3）学习率的选择敏感。学习率对神经网络的性能影响较大，必须选择合适的，才能获得较为理想的网络。若口太小，则算法收敛速度很
2、慢，训练过程耗时长；反之，若 太大，则训练过程可能不稳定（收敛）。因此，探索一种训练速度快，获得全局最优解，且具有良好的泛化性能的训练算法是提升前 馈神经网络性能的主要目标，也是近年来的研究热点和难点。本文将介绍一个针对 SLFN的新算法极限学习机（ extreme learning machine,ELM），该算法随即产生输入层和隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要在设置隐含层神经元的个数便可以获得唯一的最优解。与传统的训练方法相比，该方法具有学习速度快、泛化性能好等优点。1.1 ELM的基本思想典型的单隐含层前馈神经网络结构如图1所示，该网络由输入层、隐含层
3、和输出层组成，输入层与隐含层、隐含层与输出层神经元间全连接。其中，输入层有n个神经元，对应n个输入变量；隐含层有I个神经元；输出层有 m个神经元，对应 m个输入变量。图1不是一般性，设输入层与隐含层的连接权值W为飞ii ' 'i2y* in I飞ii ' 'i2y* in I2i CO 22-'2nli ' 'I2'In>n其中，ji表示输入层第i个神经元与隐含层第j个神经元间的连接权值。飞ii ' 'i2y* in I飞ii ' 'i2y* in I设隐含层与输出层的连接权值 一：为UiBi
4、i2P22Bimp2mli12Lm>m其中，"jk表示隐含层第j个神经元与输出层第k个神经元间的连接权值。飞ii ' 'i2y* in I飞ii ' 'i2y* in I设隐含层神经元的阈值 b为bi b2飞ii ' 'i2y* in I飞ii ' 'i2y* in I设具有Q个样本的训练集输入矩阵XiQX21X22'XniXn2XnQ n Q其中，Wi-'ii / 'i2,上式可表示为i>iX和输出矩阵yiiyi2y2iy2iymiym2Y分别为yiQymQ m Qin，Xi 二勺必厂,Xnj'。，j "23,Q飞ii ' 'i2y* in IH，T'其中，T'为矩阵T的转置；H称为神经网络的隐含层输出矩阵，具体形式为HCi；'2/ , l,bi,b2, ,b,Xi,X2, ,Xq)二 g (叫 Xi+bi) g(国 2洛+匕2) g 为+bi) g®x +D) g(&#
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论