下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1极限学习机传统前馈神经网络采用梯度下降的迭代算法去调整权重参数,具有明显的缺陷:1) 学习速度缓慢,从而计算时间代价增大;2) 学习率难以确定且易陷入局部最小值;3) 易出现过度训练,引起泛化性能下降。这些缺陷成为制约使用迭代算法的前馈神经网络的广泛应用的瓶颈。针对这些问题,huang等依据摩尔-彭罗斯(MP)广义逆矩阵理论提出了极限学习(ELM)算法,该算法仅通过一步计算即可解析求出学习网络的输出权值,同迭代算法相比,极限学习机极大地提高了网络的泛化能力和学习速度。极限学习机的网络训练模型采用前向单隐层结构。设m,M,n分别为网络输入层、隐含层和输出层的节点数,gG)是隐层神经元的激活函数,七为阈值。设有N个不同样本G,t), 1<i<N,其中X=[x,x,xbC.Rm.t=,[ttt1,GRn,则极限学习机的网络训练模型如i i1i2im iii1in2图1所示。图1极限学习机的网络训练模型极限学习机的网络模型可用数学表达式表示如下:丈Pg(①x+b)=o,j=1,2,...,Niiiiji=1
式中,①=[%,气.,...,①.]表示连接网络输入层节点与第i个隐层节点的输入权值向量;P=[0,P,…,P》表示连接第i个隐层节点与网络输出层节点的输出i i1i2in权值向量;o=[气,o.2,・..,oj表示网络输出值。极限学习机的代价函数E可表示为E(S,&)=尹他―七j=1式中,,=(«,,b,i=1,2,...,M),包含了网络输入权值及隐层节点阈值。Huang等指出极限学习机的悬链目标就是寻求最优的S,。,使得网络输出值与对应实际值误差最小,即min(E(S,B))。min(E(S,p))可进一步写为.,①,b,...,b,x,...,x)P-TM1M1N.,①,b,...,b,x,...,x)P-TM1M1N3广4,& 1式中,H表示网络关于样本的隐层输出矩阵,万表示输出权值矩阵,T表示样本集的目标值矩阵,H,月,T分别定义如下:H(3H(3,…,3,b,…,b,x,…,xNg(3x+b)•••g(3x+b))="1M1Mg(3x+b)•••g(3x+b)L1N1 mNM」NxMJ:机NJ:机NNxN: ,T=pT^MxN极限学习机的网络训练过程可归结为一个非线性优化问题。当网络隐层节点的激活函数无限可微时,网络的输入权值和隐层节点阈值可随机赋值,此时矩阵H为一常数矩阵,极限学习机的学习过程可等价为求取线性系统Hp=T最小范数的最小二乘解&,其计算式为p=H+T式中H+时矩阵H的MP广义逆。2实验结果>>ELM('diabetes_train','diabetes_test',1,20,'sig')TrainingTime=0.0468TestingTime=0TrainingAccuracy=0.79
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 安全检查服务合同范本
- 冀少版八年级生物上册第三单元第三节无机盐与植物的生长课件
- 学前教育进入“有专门法可依”新阶段
- 部编本二年级上册语文第四至七单元(内容含课文口语交际及语文园地)全部教案
- 七年级下册古诗文预习《爱莲说》-2022-2023学年七年级语文古诗文寒假复习预习课
- 消防安全群防群治实施细则
- 人教版新课标小学数学四年级下册教案
- 医疗行业专业劳务派遣方案
- 石油勘探设备校正操作规程
- 电力工程投标诚信承诺书模板
- 期中(1-4单元)(试题)-2024-2025学年六年级语文上册统编版
- 【八上沪科版数学】安徽省合肥市蜀山区名校2023-2024学年八年级上学期期中模拟数学试卷
- GB/T 22838.5-2024卷烟和滤棒物理性能的测定第5部分:卷烟吸阻和滤棒压降
- 评标专家库系统系统总体建设方案
- 学校学生食堂“三防”制度
- 人教版美术八年级上册 第一单元 第1课《造型的表现力》 教案
- 数学-湖湘名校教育联合体2024年下学期高二10月大联考试题和答案
- 2024年农村合作社管理制度范本(二篇)
- 2024年上海市教育委员会科技发展中心拟聘人员历年高频难、易错点500题模拟试题附带答案详解
- 2024-2030年中国共享汽车行业市场深度调研及发展趋势与投资前景研究报告
- 2024-2030年中国门禁机市场发展趋势及前景运行战略规划报告
评论
0/150
提交评论