版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、简单易学的机器学习算法极限学习机(ELM)一、极限学习机的概念 极限学习机(Extreme Learning Machine) ELM,是由黄广斌提出来的求解单隐层神经网络的算法。 ELM最大的特点是对于传统的神经网络,尤其是单隐层前馈神经网络(SLFNs),在保证学习精度的前提下比传统的学习算法速度更快。二、极限学习机的原理ELM是一种新型的快速学习算法,对于单隐层神经网络,ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。(选自黄广斌老师的PPT)对于一个单隐层神经网络(见Figure 1),假设有个任意的样本,其中,。对于一个有
2、个隐层节点的单隐层神经网络可以表示为其中,为激活函数,为输入权重,为输出权重,是第个隐层单元的偏置。表示和的内积。 单隐层神经网络学习的目标是使得输出的误差最小,可以表示为即存在,和,使得可以矩阵表示为其中,是隐层节点的输出,为输出权重,为期望输出。,为了能够训练单隐层神经网络,我们希望得到,和,使得其中,这等价于最小化损失函数传统的一些基于梯度下降法的算法,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重和隐层的偏置被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解
3、一个线性系统。并且输出权重可以被确定其中,是矩阵的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。三、实验 我们使用简单易学的机器学习算法Logistic回归中的实验数据。原始数据集我们采用统计错误率的方式来评价实验的效果,其中错误率公式为:对于这样一个简单的问题,。MATLAB代码主程序plain view plain copy 1. % 主函数,二分类问题 2. 3. %导入数据集 4. A = load(
4、9;testSet.txt'); 5. 6. data = A(:,1:2);%特征 7. label = A(:,3);%标签 8. 9. N,n = size(data); 10. 11. L = 100;%隐层节点个数 12. m = 2;%要分的类别数 13.
5、60;14. %-初始化权重和偏置矩阵 15. W = rand(n,L)*2-1; 16. b_1 = rand(1,L); 17. ind = ones(N,1); 18. b = b_1(ind,:);%扩充成N*L的矩阵 19. 20. tempH = data*W+b; 21. H = g(tempH);%得到H
6、 22. 23. %对输出做处理 24. temp_T=zeros(N,m); 25. for i = 1:N 26. if label(i,:) = 0 27. temp_T(i,1) = 1; 28. &
7、#160; else 29. temp_T(i,2) = 1; 30. end 31. end 32. T = temp_T*2-1; 33. 34. outputWeight =
8、;pinv(H)*T; 35. 36. %-画出图形 37. x_1 = data(:,1); 38. x_2 = data(:,2); 39. hold on 40. for i = 1 : N 41.
9、60;if label(i,:) = 0 42. plot(x_1(i,:),x_2(i,:),'.g'); 43. else 44. plot(x_1(i,:),x_2(i,
10、:),'.r'); 45. end 46. end 47. 48. output = H * outputWeight; 49. %-计算错误率 50. tempCorrect=0; 51. for i = 1:N 52.
11、160; maxNum,index = max(output(i,:); 53. index = index-1; 54. if index = label(i,:); 55. tempCorrect = tempCorrect+
12、1; 56. end 57. end 58. 59. errorRate = 1-tempCorrect./N; 激活函数plain view plain copy 1. function H = g( X ) 2. H =
13、1 ./ (1 + exp(-X); 3. end ELM(Extreme Learning Machine)是一种新型神经网络算法,最早由Huang于2004年提出【Extreme learningmachine: a new learning scheme of feedforward neural networks】。与SVM,传统神经网络相比,ELM的训练速度非常快,需要人工干扰较少,对于异质的数据集其泛化能力很强。Huang在【Extreme learning machines: a survey,2
14、011】这篇论文中对ELM进行了总结,包括最初的ELM算法和后来被发展延伸的ELM算法(比如在线序列ELM算法、增量ELM算法和集成ELM算法等),里面的很多知识点值得学习。ELM的原理从神经网络的结构上来看,ELM是一个简单的SLFN,SLFN示意图如下:该SLFN包括三层:输入层、隐含层和输出层(忽略输入层则为两层)。其中隐含层包括L个隐含神经元,一般情况下L远小于N,输出层的输出为m维的向量,对于二分类问题,显然该向量是一维的。对于一个训练数据样本,忽略输入层和隐含层而只考虑隐含层神经元的输出和输出层,则神经网络的输出函数表达式为:ai和bi是隐含层节点的参数,表示第i个隐含层神经元和输
15、出神经元之间的连接权值,即它是一个m维的权值向量。公式里面的G是隐含层神经元的输出。针对加法型隐含层节点,G为:其中,小g为激励函数,激励函数可以是线性函数,也可以是sigmoid函数;针对RBF型隐含层节点,G为:ai和bi分别表示了第i个径向基函数节点的中心和影响因子。神经网络输出函数可以写成:,其中:如果神经网络能够无误差的预测训练样本,那么隐含层和输出层的权值是有解的,特别的,当L=N时,肯定有解。但是实际问题中,L往往是远小于N的,那么求解权值向量的问题是无解的,即网络输出和实际值之间有误差,可以定义代价函数为:接下来如何求解最优的权值向量,使得损失函数J最小呢?针对这个问题ELM分
16、两种情况解决:a.如果H是列满秩的,那么可以通过最小二乘找到最佳的权值,其解为:,其中:b.如果H是非列满秩的,则使用奇异值分解求解H的广义逆来计算最佳权值。和BP使用梯度下降迭代更新所有层之间权值不同,ELM不调整SLFN的输入层和隐含层的权值,这些权值是随即设定的,因此ELM的训练速度非常快。ELM注重于隐含层到输出层的权值的选取,其采用的方法是最小二乘。ELM算法一般可以描述如下:在Huang的survey中描述了一种思想,该思想把SVM也看成了神经网络,该思想把神经网络的输入层到最后一层隐含层的部分或者SVM核函数映射的部分都看成了从输入空间到一个新的空间的转换,然后,BP会将误差反向
17、传播更新权值使得误差最小化,而SVM则力求找到最大分界间隔的分界面,将新空间映射到输出空间,从这个角度来看,SVM确实可以看成是一种神经网络。ELM最初算法就如上所述,从2004年至今,后来的学者对其进行了很多改进,主要包括对输入层和隐含层权值随即确定权值的优化、求解隐含层和输出层权值的优化(使得ELM更适应于噪声数据集)、核函数ELM以及加入了正则化项的损失函数(求解结构风险而不再是经验风险)、ELM和其他方法相结合等。ELM为神经网络的结构设计提供了一个新的思路,使我们更好地理解神经网络,但是还有很多问题需要解决,比如隐含层节点个数的确定,正则化项的选择等等。作为一个性能很好的机器,我们也
18、可以将其应用到诸多交叉学科的应用中。极限学习机(ELM)算法的matlab与C+实现· 极限学习机的原理 极限学习机(Extreme learning machine,ELM)是单隐层神经网络的算法,其最大特点就是能在保证学习精度的前提下比传统的学习算法快。其结构如下图所示: 对于一个单隐层神经网络,假设有N个任意的样本(Xi,ti),其中, Xi=xi1,xi2,xinTRnti=ti1,ti2,timTRm 一个有L个隐层节点的单隐层神经网络可以表示为: i=1Lih(WiXj+bi)=ojj=1,N其中,h(x)为激活函数,
19、160;Wi=wi1,wi2,winT 为输入权重,i为输出权重,bi是第个隐层单元的偏置。Wi·Wj表示Wi和Wj的内积。 单隐层神经网络学习的目标是使得输出的误差最小,可以表示为: j=1Nojtj=0 即存在i,Wi和 bi使得 i=1Lih(WiXj+bi)=tjj=1,N 可以矩阵表示为: H=T 其中,是H隐层节点的输出,为输出权重,为T期望输出。 H(W1,WL,b1,bL,X1,XL)=h(W1X1+b1)h(W1XN+b1)h(WLX1+bL)h(WLXN+bL)=T1TLT=
20、TT1TTNN×m传统的一些基于梯度下降法的算法,可以用来求解这样的问题,但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中, 一旦输入权重Wi和隐层的偏置bi被随机确定,隐层的输出矩阵就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统H=T。并且输出权重可以被确定。 =H+T其中,H+是矩阵H的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。以一个简单的二分类为例,分别用matlab和c+实现。matlab代码如下:traindata=load('traindata.txt');feature=t
21、raindata(:,1:2);%特征label=traindata(:,3);%标签X=feature;N,n=size(X);L=100;m=2;%二分类W=rand(n,L)*2-1;%权重-1到1b_1=rand(1,L);b=ones(N,1)*b_1;H=1./(1+exp(-X*W+b);temp_T=zeros(N,m);for i=1:N if(label(i)=1) temp_T(i,1)=1; temp_T(i,2)=0; else temp_T(i,1)=0; temp_T(i,2)=1; endendT=temp_T*2-1;beta=pinv(H)*T;x_1=X(
22、:,1);x_2=X(:,2);hold onfor i=1:N if(label(i)=1) plot(x_1(i),x_2(i),'.g'); else plot(x_1(i),x_2(i),'.r'); endc+代码如下,这里的矩阵运算采用Eigen工具包,最难的地方就是广义逆矩阵怎么求,参照网上的资源,代码如下:#include <iostream>#include <fstream>#include <vector>#include <string>#include <Eigen/Dense>
23、;#include <Eigen/SVD>using namespace std;using namespace Eigen;template<typename _Matrix_Type_>bool pseudoInverse(const _Matrix_Type_ &a, _Matrix_Type_ &result, double epsilon = std:numeric_limits<typename _Matrix_Type_:Scalar>:epsilon() Eigen:JacobiSVD< _Matrix_Type_ &g
24、t; svd = a.jacobiSvd(Eigen:ComputeThinU | Eigen:ComputeThinV); if (a.rows() < a.cols() typename _Matrix_Type_:Scalar tolerance = epsilon * std:max(a.cols(), a.rows() * svd.singularValues().array().abs()(0); result = svd.matrixV() * (svd.singularValues().array().abs() > tolerance).select(svd.si
25、ngularValues().array().inverse(), 0).matrix().asDiagonal() * svd.matrixU().adjoint(); / return false; else typename _Matrix_Type_:Scalar tolerance = epsilon * std:max(a.cols(), a.rows() * svd.singularValues().array().abs().maxCoeff(); / Eigen:JacobiSVD< _Matrix_Type_ > svd = a.jacobiSvd(Eigen:
26、ComputeThinU | Eigen:ComputeThinV); / typename _Matrix_Type_:Scalar tolerance = epsilon * std:max(a.cols(), a.rows() * svd.singularValues().array().abs().maxCoeff(); result = svd.matrixV() * (svd.singularValues().array().abs() > tolerance).select(svd.singularValues().array().inverse(), 0).matrix(
27、).asDiagonal() * svd.matrixU().adjoint(); return true;int main() ifstream trainfile; trainfile.open("traindata.txt"); vector<vector<double>> traindata; vector<double> rowdata; double temp3; while (!trainfile.eof() for (int i = 0; i < 3;i+) trainfile >> tempi; rowdata.push_back(tempi); traindata.push_back(rowdata); rowdata.erase(rowdata.begin(), rowdata.end(); trainfile.close(); MatrixXd feature(traindata.size(), 2); VectorXd label(traindata.size();
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024-2030年玻璃纤维电气电子产品行业市场现状供需分析及投资评估规划分析研究报告
- 2024-2030年环保检测行业并购重组机会及投融资战略研究咨询报告
- 2024-2030年猪浓缩饲料行业市场发展分析与发展趋势及投资前景预测报告
- 2024-2030年特种刀具市场发展现状调查及供需格局分析预测报告
- 2024-2030年牛仔裤企业创业板IPO上市工作咨询指导报告
- 2024-2030年牙科急救箱行业市场现状供需分析及投资评估规划分析研究报告
- 2024-2030年爆炸痕量检测(ETD)行业市场现状供需分析及投资评估规划分析研究报告
- 出线洞施工方案
- 2024-2030年热敏标签打印机行业市场深度调研及供需格局与投资前景研究报告
- 2024-2030年烟罩专用清洁剂行业市场发展分析及发展趋势前景预测报告
- 2024年交管12123学法减分考试题库和答案
- 深基坑开挖与支护施工监理实施细则
- 【北师大版】《心理健康》三年级下册-第19课《每天自省五分钟》课件
- 湖南省生育津贴申领表
- 厨房炒菜所需材料大全
- 中国药典要求阴凉储存的药材及饮片一览表(共1页)
- 高中研究性学习课题报告
- 防雷等级计算公式
- 绿豆发芽观察日记(汇编15篇)
- 江苏省护士执业注册健康体检表
- 1、深基坑水平环梁支撑体系换撑施工工法
评论
0/150
提交评论