ELM极限学习机相关

1、简单易学的机器学习算法一一极限学习机(ELM)极限学习机(ExtremeLearningMachine)ELM,是由黄广斌提出来的求解单隐层神经网络的算法。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM可以随机初始化输入权重和偏置并得到相应的输出权重。Figure1:SLFN:addibvehiddennodesOutputNeuronLHiddenNeuronsiiInputNeurone（选自黄广斌老师的PPT）对于一个单隐层神经网络（见Figurel）

2、,假设有个任意的样本其中E=切畑為丁G卅，朴=切忌如丁wR"。对于一个有丄个隐层节点的单隐层神经网络可以表示为J2爲g（Wi-兀+矗）=<?，打=1,、n=1其中，EM为激活函数，=叫叫为输入权重，方为输出权重，；是第;个隐层单元的偏置。i；表示i；和-的内积。单隐层神经网络学习的目标是使得输出的误差最小，可以表示为”ll°J=0即存在，i；和，使得工阳阿+如）=姑j=jN!=可以矩阵表示为=T其中，门是隐层节点的输出，为输出权重，广为期望输出。日评1，14么几虹.i门为了能够训练单隐层神经网络，我们希望得到I.'，'和，使得其中，；丨丄，这等价于最小

3、化损失函数A'/L-匸1!=1/传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中，一旦输入权重i；和隐层的偏置八被随机确定，隐层的输出矩阵口就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统：<0并且输出权重可以被确定j=HT其中，"是矩阵打的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。三、实验我们使用简单易学的机器学习算法一Logistic回归中的实验数161412108642-41012原始数据集我们采用统计错误率的方式来评价实验的效果，其中错误

4、率公式为:对于这样一个简单的问题，IIoMATLAB代码主程序plainviewplaincopy1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.%主函数，二分类问题%导入数据集A=load('testSet.txt');data=A(:,1:2);%特征label=A(:,3);%标签N,n=size(data);L=100;%隐层节点个数m=2;%要分的类别数%-初始化权重和偏置矩阵W

5、=rand(n,L)*2-1;b_1=rand(1,L);ind=ones(N,1);b=b_1(ind,:);%扩充成N*L的矩阵tempH=data*W+b;H=g(tempH);%得到H%对输出做处理temp_T=zeros(N,m);fori=1:Niflabel(i,:)=0temp_T(i,1)=1;elsetemp_T(i,2)=1;endendT=temp_T*2-1;outputWeight=pinv(H)*T;%-画出图形x_1=data(:,1);x_2=data(:,2);holdonfori=1:Niflabel(i,:)=0plot(x_1(i,:),x_2(i,:

6、),'.g');else44. plot(x_1(i,:),x_2(i,:),'.r');45. end46. end47.47. output=H*outputWeight;48. %-计算错误率49. tempCorrect=0;50. fori=1:N51. maxNum,index=max(output(i,:);52. index=index-1;53. ifindex=label(i,:);54. tempCorrect=tempCorrect+1;55. end56. end58.57. errorRate=1-tempCorrect./N;激活函

7、数plainviewplaincopy1. functionH=g(X)2. H=1./(1+exp(-X);3. endmachine:anewlearningschemeoffeedforwardneuralnetworks】。与SVM，传统神经网络相比，ELM的训练速度非常快，需要人工干扰较少,据集其泛化能力很强。Huang在【Extremelearningmachines:asurvey，2011】这篇论文中对ELM进行了总结，包括最初的ELM算法和后来被发展延伸的ELM算法（比如在线序列ELM算法、增量ELM算法和集成ELM算法等），里面的很多知识点值得学习。ELM的原理从神经网络的

8、结构上来看，ELM是一个简单的SLFN，SLFN示意图如下:该SLFN包括三层：输入层、隐含层和输出层（忽略输入层则为两层）。其中隐含层包括L个隐含神经元，一般情况下L远小于N,输出层的输出为m维的向量，对于二分类问题，显然该向量是一维的。对于一个训练数据样本，忽略输入层和隐含层而只考虑隐含层神经元的输出和输出层，则神经网络的输出函数表达式为:a,叽,11和bi是隐含层节点的参数,表示第i个隐含层神经元和输出神经元之间的连接权值，即它是一个m维的权值向量。公式里面的G是隐含层神经元的输出。针对加法型隐含层节点，G为：G（略如X）=列3X+frj.其中，小g为激励函数，激励函数可以是线性函数，也

9、可。曲也和一屮打IIX-a,.II).以是sigmoid函数；针对RBF型隐含层节点，G为：和bi分别表示了第i个径向基函数节点的中心和影响因子。神经网络输出函数可以写成：H0丫，其中：'h（xi）'H=:h（砧GL九,ka/）G（虹.欧）_|打皿如果神经网络能够无误差的预测训练样本，那么隐含层和输出层的权值是有解的，特别的,当L=N时，肯定有解。但是实际问题中，L往往是远小于N的，那么求解权值向量的问题是无解的，即网络输出和实际值之间有误差，可以定义代价函数为：丿二(H0T)(H0-T),ELM算法：Input:给定训练样本集1（环©）仁cxKHr,隐层输出函数G（

10、a,和隐层节点个数匚1商随机生成嗯房节点参数I丄；b计算隐层输出矩阵11（确探H列满秩）；c）Output网络绘优权伏p-HT.在Huang的survey中描述了一种思想，该思想把SVM也看成了神经网络，该思想把神经网络的输入层到最后一层隐含层的部分或者SVM核函数映射的部分都看成了从输入空间到一个新的空间的转换，然后，BP会将误差反向传播更新权值使得误差最小化，而SVM则力求找到最大分界间隔的分界面，将新空间映射到输出空间，从这个角度来看，SVM确实可以看成是一种神经网络。ELM最初算法就如上所述，从2004年至今，后来的学者对其进行了很多改进，主要包括对输入层和隐含层权值随即确定权值的优化

11、、求解隐含层和输出层权值的优化（使得ELM更适应于噪声数据集）、核函数ELM以及加入了正则化项的损失函数（求解结构风险而不再是经验风险）、ELM和其他方法相结合等。ELM为神经网络的结构设计提供了一个新的思路，使我们更好地理解神经网络,但是还有很多问题需要解决，比如隐含层节点个数的确定，正则化项的选择等等。作为一个性能很好的机器，我们也可以将其应用到诸多交叉学科的应用中。极限学习机（ELM）算法的matlab与C+实现极限学习机的原理极限学习机（Extremelearningmachine，ELM）是单隐层神经网络的算法，其最大4AII-f%特点就是能在保证学习精度的前提下比传统的学习算法快。

12、其结构如下图所示:OutputNeuronFigure1:SLFN:additivehiddennodesii：11;=iLiiLIliddenNeuronsnInputNeurons对于一个单隐层神经网络，假设有N个任意的样本(Xi,ti)，其中，Xi=xii'Xi2'xinT匕Rnti=ti1,ti2,timT匕Rm一个有L个隐层节点的单隐层神经网络可以表示为：Si=iL卩狙冋阿+0)=0沪1,N其中，h(x)为激活函数，Wi=Wii,Wi2，-,WinT为输入权重，Pi为输出权重，bi是第个隐层单元的偏置。WiWj表示Wi和Wj的内积。单隐层神经网络学习的目标是使得输出的

13、误差最小，可以表示为：j=1NOjtj=0即存在Pi，Wi和bi使得Si=iL卩ih(WiXj+bi)=tjj=l,N可以矩阵表示为：H卩二T其中，是H隐层节点的输出，卩为输出权重，为T期望输出。h(WXiH(Wi，,WL，bi,bL，Xi，,XL)=IUIh(WiXi+b)h(WiXN+bi)+bL)Jh(WL-XN+bL)UIIp=mI卩用ptluiiT=IUItt理ttniiiNxm传统的一些基于梯度下降法的算法，可以用来求解这样的问题，但是基本的基于梯度的学习算法需要在迭代的过程中调整所有参数。而在ELM算法中，一旦输入权重Wi和隐层的偏置bi被随机确定，隐层的输出矩阵就被唯一确定。训

14、练单隐层神经网络可以转化为求解一个线性系统HP=T。并且输出权重卩可以被确定。Pa=H+T其中，H+是矩阵H的Moore-Penrose广义逆。且可证明求得的解的范数是最小的并且唯一。以一个简单的二分类为例，分别用matlab和C+实现。matlab代码如下：traindata=load('traindata.txt');feature=traindata(:,1:2);%特征label=traindata(:,3);%标签X=feature;N,n=size(X);L=100;m=2;%二分类W=rand(n,L)*2-1;%权重一1至U1b_1=rand(1,L);b=on

15、es(N,1)*b_1;H=1./(1+exp(-X*W+b);temp_T=zeros(N,m);fori=1:Nif(label(i)=1)temp_Ti(,1)=1;temp_Ti(,2)=0;elsetemp_Ti(,1)=0;temp_Ti(,2)=1;endendT=temp_T*2-1;beta=pinv(H)*T;x_1=X(:,1);x_2=X(:,2);holdonfori=1:Nif(label(i)=1)plot(x_1i(),x_2(i),'.g');elseplot(x_1i(),x_2(i),'.r');endC+代码如下，这里的矩

16、阵运算采用Eigen工具包，最难的地方就是广义逆矩阵怎么求，参照网上的资源，代码如下：#include<iostream>#include<fstream>#include<vector>#include<string>#include<Eigen/Dense>#include<Eigen/SVD>usingnamespacestd;usingnamespaceEigen;template<typename_Matrix_Type_>boolpseudoInverse(const_Matrix_Type_&am

17、p;a,_Matrix_Type_&result,doubleepsilon=std:numeric_limits<typename_Matrix_Type_:Scalar>:epsilon()Eigen:JacobiSVD<_Matrix_Type_>svd=a.jacobiSvd(Eigen:ComputeThinU|Eigen:ComputeThinV);if(a.rows()<a.cols()typename_Matrix_Type_:Scalartolerance=epsilon*std:max(a.cols(),a.rows()*svd.sin

18、gularValues().array().abs()(0);result=svd.matrixV()*(svd.singularValues(a)r.ray().abs()>tolerance).select(svd.singularValues().array().inverse(),0).matrix().asDiagonal()*svd.matrixU().adjoint();/returnfalse;elsetypename_Matrix_Type_:Scalartolerance=epsilon*std:max(a.cols(),a.rows()*svd.singularVa

19、lues().array().abs().maxCoeff();/Eigen:JacobiSVD<_Matrix_Type_>svd=a.jacobiSvd(Eigen:ComputeThinU|Eigen:ComputeThinV);/typename_Matrix_Type_:Scalartolerance=epsilon*std:max(a.cols(),a.rows()*svd.singularValues().array().abs().maxCoeff();result=svd.matrixV()*(svd.singularValues()a.rray().abs()&

20、gt;tolerance).select(svd.singularValues().array().inverse(),0).matrix().asDiagonal()*svd.matrixU().adjoint();returntrue;intmain()ifstreamtrainfile;trainfile.open"traindata.txt");vector<vector<double>>traindata;vector<double>rowdata;doubletemp3;while(!trainfile.eof()for(inti=0;i<3;i+)trainfile>>tempi;rowdata.push_back(tempi);traindata.push_back(rowdata);rowdata.erase(rowdata.begin(),rowdata.end();trainfile.close();MatrixXdfeature(traindata.size(),2);VectorXdlabel(traindata.size();for(inti=0;i<traindata.size();i+)for(intj=0;j<3;j