无迭代的有序神经网络

1、无迭代优化的有序回归神经网络摘要：有序回归（OR）是多级分类回归问题的有监督学习的一个重要分支。本文中，传统的神经网络分类方案被用于适应学习序数排列。该模型提出对连接隐层与输出层的权重进行单调性约束。为此，使用填充变量记录权重。这就形成了所谓的不等式约束最小二乘问题（ICLS）。它的数值解可以通过几种迭代方法得出，例如置信域方法或线搜索算法。在这种方法中，最优解的确定分析可以根据Karush-Kuhn-Tucker条件下的ICLS的封闭解问题进行估计。此外，学习极端的机器框架的指导方针后，连接输入层和隐藏层之间的权重是随机生成的，因此最终模型估计的所有参数都是不含迭代优化的。提出的模型性能能够

2、与较先进的OR神经网络方法相媲美。1简介从预先标记的模型中学习分类或预测数值是机器学习和数据挖掘的一个核心研究主题1-4。与此同时，有序回归（OR,也称为顺序分类）问题则较少受到关注。在OR问题中，标签的目标变量表现出自然排序。与回归问题相比，OR问题的分类水平是离散的和有限的。由于存在排名信息，这些分类水平不同于名义上的分类问题的类目标。例如，等级标签规定DvCvBvA,而v表示这些分类水平之间给定的顺序。因此，OR是一个回归与名义分类之间的学习问题。OR被发现应用于各个领域，如应用医学研究56,审查排名7,计量经济学建模8，主权信用评级9等。在统计文献中，大部分模型都基于广义线性模型10。

3、比例优势模型（POM）10是一个著名的OR统计方法，它依赖于对于不可见的潜在变量（通常假设为一个符号逻辑分布）和一个随机的顺序输入空间的一个特定的分布假设。OR在过去几年在机器学习领域迅速发展,并在群体方面取得了许多成果11,如支持向量机（SVM）方法1213，高斯过程14，和判别学习15。极端学习机（ELM）是用于估计单层前馈神经网络（SLFNNs）参数的一个框架，而其隐层参数随机分配且不需要调整18。ELMs展示了其拥有良好的可扩展性和泛化性能，并且比与其他模型，如SVMs和反向传播神经网络相比，有更快的学习速度19。ELM框架对于OR问题的自然调整问题尚未被深入研究。OR问题的ELM（E

4、LMOR）算法20是这一研究方向的第一个研究实例。Deng等人20提出了一个编码为基础的OR问题框架，其中包括三种编码方案：单一多路输出分类器，采用一对多分解方法的多元二进制分类器及采用一对一分解方法的多元二进制分类器。然后，SLFNN的参数根据拟议中的编码和传统的ELM（输入权重分配随机，输出权重估计由Moore-Penrose伪逆矩阵进行求解）来决定。该方法的主要动机是提供一个竞争算法，其效率能与先进的OR神经网络相当。由此可得，该模型是由ELM框架为适应OR问题改编而成的。已经存在的ELMOR算法参数也有其限制，如连接隐层到输出层的参数是相互独立的，因此不能保证神经网络的输出值的单调性。

5、出于这个原因，本文提出的模型对连接隐层与输出层的权重0参数）进行了单调性约束。为此，本文提出了权重的再形成（用填充变量）取代0参数）。由于权重的再形成中所有的参数必须大于等于零，这就导致了所谓的不等式约束最小二乘法（ICLS）问题。问题的数值解由几个迭代算法获得21。然而，在这个提议，这些值根据求解Karush-Kuhn-Tucker（KKT）条件22啲封闭解进行解析确定。此外，根据ELM框架的指导23-25，连接输入和隐藏层的权重是随机生成的，因此最终的模型可不不用迭代优化的估计所有参数。因为0参数的单调性约束，输出节点向量被认为是类的累积概率分布的一个估计量。与这种假设保持一致性，OR编码

6、在输出节点采用指定的值20。提出的关于OR的先进的神经网络模型的主要优势如下。1）提出的模型比传统的OR神经网络模型更有效，这是因为模型的所有参数都是由分析确定而不是反复调整确定的。2）模型是基于一个有约束的分类制定（它是由J输出节点组成的，J是类别数目）。这使得该模型比传统的回归公式（如Mathieson8提出的势函数和J-1阈值的一个回归公式）有更大的灵活性。3）不同于17和20中提出的名义上的分类方法，该模型与单调性的输出一致。本文的其余部分组织如下。第二节中给出OR神经网络模型的简要分析。第三节中描述了提出的模型，并给出了分析估计参数的方法。第四节中介绍了实验结果。最后，第五节中总结了

7、取得的成就，并概述了该方法可能的一些未来的发展。2OR神经网络本节的目的从神经网络的角度来是描述各文献中解决OR问题主要方法。第一种用神经网络解决有序问题的方法是Mathieson8提出的，它从回归的角度来看OR问题。由于这个原因，该模型由一个势函数，f（x）:RK-R,和一个阈值向量，0URJ1组成，其中，K代表特征的数量，J代表类的数量。模型的势函数是一个回归神经网络192627,如图1所示。在这种方法中，势函数用于揭露假定潜在结果的性质，并用阈值向量估计不同的等级的可能尺度。阈值必须满足约束0102.+.1,Ii1ii-i+-+、ELM也已经适用于OR问题20,所谓ELMOR，和一种提出

8、的序数ELMs也采用OrderedPartitions编码。此外，多个模型也使用二进制分解和OrderedPartitions训练方法。在预测阶段则采用了以损失为基础的解码方法32，即选择使指数损失最小化的等级。指数损失：/=argmin血苗【以伍)iiJ其中，Mi为与类别i相关的编码方案(即表1的编码矩阵表中对应的第i行)，f(x):RK-RJ是一个矢量势函数(f(x)=(f1(x),.,fJ(x)每个部分否代表了相应类别的输出)，而dL(Mi,f(x)是指数损失函数：J血(、咕f(x)=工匕冲(一叫其中，miji,j=1,.,J=Mii=1,.,J=MeRJXRJ。另一方面，Costa33

9、为序数情况提出了一种概率神经网络。为使神经网络适应序数情况下结构，目标是根据OneVsFollowers实现方法重新规划，以及预测阶段实现第j个输出神经元的输出估计得出的概率为j和j1等级都为真283435。从另一个角度来看，Sanchez-Monedero等人36用由两两距离计算得到的输入空间类分布方法将OR问题转换为一个标准的回归问题。之后，用支持向量回归方法对最终目标变量进行估计。最终的分类器被称为两两类距离顺序分类器。最近，Seah等人37设计了进行转换序数标签学习的顺序分类器。在表2中，上面介绍的模型将按照下列属性进行分类：模型的线性度，训练方式(在线或批处理)，输出个数，是否能保证

10、每一类的输出值的单调性。如表2所示，J个输出节点的模型的每一类的输出值的单调性不一致。在本方法中，可以对连接隐层到输出层的参数进行单调性约束来解决上述问题。因此，在某种形式上，一个节点的输出取决于其他节点的输出。这就使神经网络输出层输出能够模拟累积分布输出的估计值。注意，由于对参数的约束，该模型输出单调性的一致性与17和20中提出的模型不同。表2OR神经网络及统计模型(POM)特征TABLEISummaryofCharacteristicqpNkliralNetworksANDSTATISTICALMODkLS(POM)FORORAlgurilhmRuiYuitrModelTraining#u

11、ulpulsMunutuniuicyPOM【1丨咖jncarBnLL-h1CtnisistenLNNPQX1|S|meNonlinearButuhONN281Consistent291绅Nonlinear(InlineCunsisLunLNNOPH2C08NiLlineaiBatchJIncotisistentELMOR201201()NonlinearEntL-liJlncnnsis:LentPCDOC203hkmlmujrUllCLIlCjnsisun在集成学习领域中，Fernandez-Navarro等人38最近提出一种改进的OR负相关框架。他们研究了基本算法的两个版本。第一个假设了一个

12、固定的阈值配置，而第二个采用了自适应阈值配置。最后，perezortiz等人39也通过制定不同的顺序假设提出了一个基于计算不同分类任务基础的整体阈值模型。每一个模型都被训练，以用于当将某一个体的等级低于或高于一个给定类j时，该模型可以将其区分开来。本文提出的方法可以被视为著名的one-versus-all方法的改进型。3提出方法该算法的主要特点将在本章中进行详细描述。首先，将展示该算法采用的编码方案和神经网络模型，并给出选择原因，然后讨论了输出的概率解释并对过程进行了描述，以此来分析推导模型参数。a编码方式假设存在一个训练样本集D=(X,Y)=(xn,yn)n=1N，其中xn=(xn(1),x

13、n(K)为取值RK的随机特征向量，和标签yn属于一个有限集C=C1,.,CJ。对于一个不考虑分类顺序的标准分类神经网络，我们的目标是预测样品xn属于一个类别j的可能性。简单来说，从现在开始，如果一个样品xn属于一个类Cj,在这种情况下，可以用(Cj,j)代表yn=Cj:=j。我们的目标是通过学习得到一个函数将输入向量xn映射到概率分布向量P=(P(yn=1|xn,z)、P(yn=2|xn,z),.,P(yn=j|xn,z),.,P(yn=J|xn,z),其中P(yn=|xn,z)更接近于1，而其他元素接近于零，且存在约束条件二=P(yn=j|xn,z)=1,z为一组模型参数集，其数值在在下一章

14、节中进行定义。这个编码是所谓1-of-J编码(即且当X为第i类中的一个样品时，否则：=)0相比之下，本文提出的神经网络模型考虑了类别的顺序。也就是说,，这些类别之间存在一种顺序关，如C1VC2V-CJ,其中v表示不同等级之间的给定顺序。如果一个样本xn属于类别Cj,那么它也将被自动分类至低顺位的类别(C1,C2,.,Cj-1)。因此，使用有序分区编码将xn的目标向量表示为mI：,其中对于所有的1Wi0巧=1、JTOC o 1-5 h z通过这种方式，参数被约束至假定的积极值-40等式(6)可以将第s个基函数用矩阵形式表达如下：00-0-1丿其中，CURJXRJ,列向量SURJ+。包含所有基函数

15、的向量Bs的矩阵形式可以表示为：AA|其中，)三。最后，完整等式的矩阵形式可以表示为:(10)c输出的概率解释由于在模型上施加的约束B，输出节点的累计输出：fj(xn)Wfj+1(xn),因此第j个输出节点的的累积概率被定义为：(H.)提出的模型粗略估计了样本属于类别Cj的后验概率:P(yn=jlsz)=P(ynz)P(ya冬j1Imz)旳=2,.丿P(yn=IIs疋)=PQnS1|X/T,z).(12)最后，用式(12)进行后验概率估计，模型的类别预测与输出值最大的类别相对应。通过这种方式，得到最优分类规则C(x)如下：C(x)=whereI*=argmaxP(yn=j|x,z).(13)l

16、/0.(20)同样，系统可以被定义为：予.(CT)=HAr(21)满足：A0.(22)注意且为矩阵第j歹U,当j=1,J时，下列约束二次规划问题，最小化误差平方来估计填充变量：MinimizeHA仃打口一H&)subjectto王0.(23)这就是所谓的ICLS的问题。其数值解可以由几种基于梯度的算法获得，例如，通过置信域反映算法在(MATLAB中的有约束线性最小二乘方法)或有效集算法21。这些技术的主要问题是它们都是迭代的方法，因此，计算成本比基于ELM的方法更高。我们需要分析确定解决ICLS问题的B矩阵的一个封闭解。这可以从凸极小化问题的KKT条件中估计得出22。Fomby等人44提出了通

17、用ICLS问题的封闭解：Minimize(y-(y-A：subjecttoA-0(24)其中，A是一个适合模型的矩阵，B在这里代表连接初始协变量(XeRNxRK)与输出(YURN)的权重。解决方案采用以下形式:ifA3*：3ifA20:fl+-A2)ifA0:介十兀23二Ap)其中,，且广为普通最小二乘估计量:(26)此外,定义子阵A2为(27)其中，、八-11且V.-0若始终有/-,则OLS问题的解同时也是ICLS问题的解。否则，根据文献44,为了确保B为ICLS问题的一个可行解，必须满足充分条件如下：ifA20ifA0.(28)对于式(23)中定义的约束优化问题的特殊情况，矩阵A等于单位矩

18、阵，则ICLS问题的第j个解变为：ifA;0：A;(29)_ifAsaJ0:Aj+AA21A(7_；(0-.42A)fifAy；=屮耳(30)其充分条件为:ifA2AJ0if,0.(31)最终填充矩阵可以一行一行的定义为:&=苛戶L,”（32）类似于标准的ELM,本文提出神经网络的隐层参数不需要调整1923。ELM学习理论表明，SLFNN的隐藏节点不需要调整，且这些参数可以随机估计。根据ELM学习理论，输入层到隐层的参数是由本文提出的神经网络随机生成的。总之，基于ELM的OR神经网络NNOR（ELM）算法如图3所示。：NNOR(ELM):2：Modifyrheencodingofthetarg

19、ets(Section111-A).3：GeneratethecosImatrix.4：SetthepEiramefersmatrixwrandomly.5：ComputethehiddenlayeroutputmatrixH.6：Calculateihtpaidinginaihx：7：Calculatetheoutputweightsflbyfl=C-A*.Fig.3.NNORELMframework.图3NNORELM框架4实验A实验设计在本节中，我们用实验来验证上述模型的有效性，介绍了数据集，用于比较的算法，采用的参数值和性能的评估。根据Gutierrez等人45的推荐，用两种类型的数据

20、集对模型进行了验证：实数OR数据集和离散回归数据集。离散回归数据集是由Chu和Ghahramani14的存储库提供的Chu和Ghahramani14提供的数据集并非真正意义上的顺序分类问题，而是回归问题，可以通过离散化目标变量，将其分为J个不同的等频数接收器来将其转化为顺序分类问题。对于这些数据集，我们采用了J=5和J=10两种，以讨论模型在不同复杂性下的反应。表3显示了16个数据集的特点，包括样本的数量、属性、类别和类分布（每个类的样本数量）。公开的顺序分类数据集从基准库UCI46和47）中提取，和回归数据集从Chu的网站上获得。表3基准数据集的特点（根据类别数量排序）T

21、ABLEIIICharacteristicsoftheRkmchmarkDataSrts.ORDkRDBYTHENLMkkROFCLASSEScontact-lenses24(i34car17282Lautomobile2(157Lviie4Uiry-rcd1599IIkKA100()4CM町(.112.12)(32-52.399,217)(1210849,65)(9380,403,197,27)(4.32,27)|：10,53/1.6389,18)(FJ2:112.181.172:】碣118.88,31：18)DiscretizedregiessiondatasetsData

22、set#Pat.#CIassesClassdistributionpyrim吕7427Ld(15.15,15,15.14)iiLakhinc520975(42,42,42,42,41)stocks700仃-门L40,14(),14().1401abalonc5417711.5(836,83635,835,835：!pynnilt)74271()7,7,7.7.7)mnchitie102097】u(21,211,21,21,21f2k2t21.20)stock11)7(10f)()(7().70,7().7(J.70,70,70.70,70;70)abalo口已）1177111()(41.LlS

23、5418:dl.418.48t4l8)417147:417)Realordinalregressiondatasets#1咖.#AiLr.#ClassesClassdistribulicn在实验部分，提出的算法与最先进的OR神经网络模型相对比。更具体的说：1）文献17中给出的神经网络模型。该模型采用了OrderedPartitions（NNOP）编码方案。然后，用输出的误差平方函数和iRProp+算法48优化参数；2）文献20中提出的单一ELM模型（ELMOR）。其他两个多模型方法是基于多个二进制的，有相同和不同的输入的ELMs，故没有考虑效率的原因；3）有分对数链接功能的线性POM49；4）

24、Mathieson8提出的神经网络（NNPOM）。用iRprop+算法48来估计模型的参数。实验使用了多个抵抗行交叉验证程序，其中3/4N为训练数据集，1/4N为推广集。为了简单起见，每个模型在推广组中使用平均零误差（MZE）进行性能评估，平均绝对误差（MAE）和每次迭代每个模型训练所需的平均时间，以秒（T）为单位。尽管如此，许多机器学习文献50-53中提出了不同的方法来验证OR模型。然而，最常见的是MAE和MZE方法13-15。所有的实验都在一个共同的MATLAB框架中运行，这一框架由文献45提出。所有模型超参数都是由一个嵌套的5倍交叉验证在训练集中选择的。选择最佳配置的标准是所有方法的MA

25、E性能，以获得更好的排序分类器。参数配置的研究如下所示。对于迭代神经网络算法(NNOP和NNPOM)，基函数的数量S是在以下值中饭选择的，Su5,10,20,30,40。S形激活函数作用于隐藏神经元。对于iRProp+算法，迭代的数量iter，也通过交叉验证法决定，其取值iteru50,100,150,.,500,算法的不同参数的推荐值见文献48。对于序数ELM算法ELMOR和ORNN(ELM)，鉴于依赖于随机预测的方法，必须考虑更广泛的基函数的可能数量，如Su5,10,20,30,40,50,60,70,80,90,100。可以使用Castano等人54的方法，自动确定基函数的最优数量，从而

26、不必使用交叉验证。尽管如此，为使计算时间有一个公平的对比，这些模型的基函数也由交叉验证决定。最后，对输入变量进行一个简单的线性尺度改变，将训练集的输入变量调整至区间(1,1)。B与最先进的OR神经网络模型进行对比在本节中，本文提出的模型ORNN(ELM)将与其他三种神经网络模型(NNOP、ELMOP和NNPOM)以及经典统计方法(POM)进行比较。本节的目的是表明提出的方法比其他专门为处理顺序问题设计的顶尖模型具有竞争力。表4与表5中展示了MZE和MAE的每个推广组中的数据集的平均值和标准偏差(MZEG和MAEG)。表4与表5中还包括了平均精度、平均值(MZEG和MAEG)和平均排名(RMZE

27、G和RMAEG)。由结果分析可得(考虑MZEG)，从纯描述性的观点来看，ORNN(ELM)方法在这七组数据集中获得最好的结果，而分别来看，NNOP方法取得了性能最好的四个数据集。此外，ORNN(ELM)方法获得了平均最优排名(RMZEG=1.8125)，紧随其后的是NNOP方法(吕MZEG=2.3750)。用MAEG作为变量测试时，对结果进行描述性分析，可以得到以下结果：ORNN(ELM)方法获得了16个最优结果中的9个，以及次优结果中的4个，平均排名也最高(RMAEG=1.718)。该算法关于POM和NNPOM的优点必须归功于包含于新模型的额外参数以及不同的问题公式化。这些算法用回归方法解决

28、了OR问题。该模型被用于作为模拟一个有约束的分类模型的基础来处理问题。关于ELMOP和NNOP(两者都是作为模拟一个分类模型的基础)精度的提高与该模型输出层提供的额外一致性相关。第二节中我们已经对一致性问题进行了描述。表4TABLEVTlstMZE；ResultsporEachDataSetandIncludingTHEAVkRAGkOVkRAl.L.THkDlkREHTSPLTS.ANDTHEStandardDeviation(MeanSD)TockTHkRWiththeResultsopTHtNosparamktricBomferrom-DunnTkst匚ONSDkRtCTHKMZE(;A

29、STHRTHSTVARIaHLENNOTF.F.MOPPOMNNPOMORNN(TIM)pyriin?C479.12356583is48&4“ElG333曲-617557LtiadujicS4000OEiMd.39414347.061,4134j05I35lock5llToisinsooiis3GEJ7j16i.1204.Q15.Q.10560123balciie5.5191,0005244.0M75aBS.M54述9卿紳499C讥呻蛾pYLimin,7K54,o9cuW”：.521,0713r734.706mavhine11-6：02an44-8008.OHLBA12-1.05956500.

30、Q5fl7口.62L!E72DQ517173.61230075OidinalLegnessiuiidataset-sWDFELMO?ORNMfELM)umlacL-lenjhe叫Z3#33m-33.L7043556.1562-SSSS.mapasture.空活TO1041-3BMi：j2-j-Ml刖1537.3519.igai4SO.s5SWD425!)Q3Qj.4547.QSDD4321D290.14RRQJ42.0255car0272oi3-15-15ono.84253063-046asj7-1113q093LhV鈿3也了3715Q湖-S7G7jzbo3796(J35.J,35730204

31、autOLiifsb订g“门整观73840QlE.115333诃佰.545)4oea-i.3710o2ov.LHcqiiLililyred39961(?1*5、3M站、4028j!54.4051,025.3905dmERAT14T0i石chEl.Mt)PpyrimSjnacluiicSstock?nldoncIjyrini10Tl：；iL：llLnC!-liJHtjtkII)iihalcneIU0,0*Q2120.464o_oes01200016旳1773&.：；71O942o.ui70,26S(j.q35J.3&弘.血1L-lJ.Z590，44dos50.115o0140UUU.：|.flJ

32、y20Slo.a340916o.i3s.-51u的丁I%.n7POM7T7而二财注汕尚.2“0.425doyyi).486u，o&s0.3950017乩皿2$O.69Oo0070.698.0131石4九.2曲2.19S.7&O,919ff.io0t935q444G.815q.)ji0+274q,quL454o.ni51.495o,q24NNPOMORNN(ET.M).UTTyiyj;451q屈012心uiuOLd1r&4o.棚0-931()430.2：*L-JL1.DO-JOrdinalrcgncsskwidatsebNNOP口.MOPtOXINNPOMORNNP；LsrurcSWDC；irL

33、EV；*ULOEllhTcwirLEqudiLily-redhraOMRQ.沖02410no0-447q.q3b0.029o.rjj40.408(j.(hifl5flS(i.ajjl.43n021iSwo522O1Z7604O4.：il4-i0452,0310-1Sd.cia如化丁0IIJ.09u0-40-0501.243a.on0.533oO.65oO.45Oo1451o04O9o0953uQ.135o1.218025J0gi:&4&niuASTOJT05CLl.4S3c.2Jj0.3700.J1.IO.479orDs：01了u.炖?;0.851q.J5D0.447o,D35.25%.Ofl

34、2O41403aL(J.0.#或內.舟dD1卿#0.402门oiijjOFOTaDAL.d16aaia1.163q037MAEg/gA叱0.6S92.5621】任府o.sm斗1M(1?JI4.IR706021.7187llicbcf-Lres11Llinrisinboldfaceandllicsecocidon-cilijtahcBi?LLrtOJii-lULLtestMAEqContnilMcditnlNNOPrt.MOPPQMNNP0MORNN(El.ORNIVEIJW)i.M.毀*1.8124氓*Bonfunoni-Dun】TdaI:(盘=,谢=L.256:SLaLiticllydiff

35、erencewith(10.1HC性能统计测试比较本文采用了假设检验技术来为结果的分析提供统计支持55。具体地说，我们使用非参数测试，这是由于保证参数测试可靠性的初始条件可能不能被满足，从而导致统计分析在这一类型的测试中失去信誉55。为了定义在每种方法每个数据集中观察到的等级差异的统计学意义，我们在将最优模型的MZEG和MAEG作为测试变量的情况下进行了非参数的Friedman测试56。弗里德曼的非参数的影响试验表明，该方法的分类效果在10%的显著性水平时在统计意义上非常重要，其置信区间为CO=(O,F0=2.04)和F分布统计值尸=6朋磋Cn(MZEG)和严=”三I（MAEG）。因此，无效假

36、设的驳回说明了所有算法在平均等级中是平等的。在驳回基础上，用Nemenyipost-hoc测试来两两比较分类器。不同算法之间的等级差异的排名和a=0.10时的Nemenyi测试的结果如图4所示（使用相应的临界值）。POMNNPOMCDORNNfELMNNOP匚L間OFCDNNPOMPOMELMOPORNNfELMJNNOP(b)Fig.4.Rcinkifiolesldiagram$I血themeancentralizalionMZE&jndMAE(；(a=0。.(a)NemcnyiCDdi迫哲mcomparinglhegeneralizalionMZEmeanrankingsoflhediff

37、erentmclhods.(b)NemenyiCDdiagramcomparingthegeneralzalionMAEmeanrankingsofthe(Jircrcnllmethods.图4平均推广组（a=0.10）的排名测试图a比较不同方法的MZE推广组的平均等级的NemenyiCD图b比较不同方法的MAE推广组的平均等级的NemenyiCD图用相应的临界值进行双尾Bonferroni-Dunn测试，当a=0.10时Bonferroni-Dunn测试的结果如表4和表5所示。从这些测试的结果可以得出结论，ORNN（ELM）方法在MZEG和MAEG中获得的排名比ELMOP，POM和NNPOM

38、更高。此外，该方法比上述方法需要计算时间也更短。对计算时间的分析将在下一节中进行进一步描述。D时间复杂度分析本节将分析本文提出的算法的时间复杂度。一般来说，标准OR算法涉及解决QP问题。解决一个有nxn的Hessian矩阵的QP问题的复杂性为O（n3）57。本文计算量最大的任务就是求矩阵的逆（需要估计参数B）。nxn矩阵求逆的复杂度为0（n2log（n）,比解决QP问题的nxn的Hessian矩阵要简单。在该算法中，在OLS估计和以防参数不满足约束所需要的校正中要进行矩阵求逆。剩余的参数（参数w）随机的。表6展现了算法的平均运行时间（交叉验证和测试时间也包括在内）。所有的实验都使用一个共同的MATLAB框架运行45。该算法在上述框架中运行并记录。一般来说，最有效率的算法是基于ELM的算法。两者都不用进行迭代训练。尽管如此，计算时间最短的是POM算法。这是由于POM算法不同于ELMOP和ORNN（ELM）（两者都有超参数：基函数数量S）,不含任何需要通过交叉验证进行优化的超参数。表6TABLEVICross-Validation,Trainc.anijTkstTimkResultsforEachDataSktandMethod,Includingth