使用神经网络对随机线性二次型奇异系统的最优控制

PAGE5OptimalcontrolforstochasticlinearquadraticsingularsystemusingneuralnetworksN.Kumaresan*,P.BalasubramaniamJournalofProcessControl19(2009)：Page482–488使用神经网络对随机线性二次型奇异系统的最优控制N.库玛瑞森博士，P.巴拉苏布拉马尼亚姆过程控制杂志19期(2009年)：引用482—488页摘要在本文中,最优控制随机线性奇异系统与二次型已经在神经网络领域获得使用。其目的是提供最优控制和努力通过比较矩阵Riccati微分方程(MRDE)的解减少微积分获得了从众所周知的传统Runge-Kutta(RK)方法和传统神经网络方法。为了获得最优控制,MRDE的解可以通过前向神经网络(FFNN)计算得到。更接近神经网络方法得到的精确解来解决这一问题性能更好。该方法的优点是,一旦网络运行起来,它可以瞬时计算出评估方案在任意点和任意少量的时间和记忆的支出，其计算时间的方法比传统RK方法更快、耗时更短。下面一个数值算例给出了该方法。关键词：矩阵微分方程；神经网络；最优控制；龙格库塔法；随机奇异线性系统型性能指标最小化：式中上标T指移位算子,和是的正定对称（或半正定）加权矩阵，R是u(t)的一个正定对称加权矩阵。假设对于某些S有。这种假设可保证任何输入u(t)会产生唯一的一个状态轨迹x(t)。如果所有状态变量是可测量的，那么可以得到一个线性状态反馈控制律[文献1，36]可以给出此系统描述Eq.(1)，此处(2)是一个对称矩阵并且是MRDE的解。与MRDE相关的随机线性奇异系统(1)是：(3)它有终止条件和。3MRDE的引入众所周知,最小化J相当于减少哈密顿量方程：在这里，通过最优轨迹。利用随机最优性条件和随机极值原理[文献7]，我们所得到的哈密顿量方程这意味着(4)和(5)由(4)，我们得到：(6)由(2)，我们得到：并且我们有：(7)通过Eqs.(5)和(6)代入(7)，我们得到：(8)这里，并且M是可积鞅。由于Eq.(8)适用于所有非零x(t)和M=0，那么约定左乘x(t)必须是零。因此,我们得到以下随机线性奇异系统(MRDE)(1)该方程已经在第二节求解K(t)得到最优解。在上述的方程式中运用适当的矩阵，将它们变成了一个奇异系统或者微分代数系统的一个指标。该系统运用一次代数微分方程可以变形为一个系统的非线性微分方程。所以，求解MRDE相当于求解系统的非线性微分方程。4MRDE的求解考虑系统的微分方程(3)(9)4.1Runge–Kutta法求解在连续时间动力学中，常微分方程的数值解是最重要的技术。由于大多数的微分方程是无法分析求解的，数值积分就是获得信息的唯一途径。下面提出了几种方法，用于准确求解各种类型的微分方程。他们是Runge-Kutta法，亚当斯前击法和向后微分公式法。上述所有方法都能使微分系统离散化产生差分方程。选择Runge-Kutta法的优势如下：1.它采用四阶方法思想，因此与低阶方法相比有更精确解，如：泰勒法,欧拉法。2.它能够精确调整为每一个问题。3.它采用控制理论思想，能有效控制步长的大小。4.在该方法中，步长的大小变化比其他方法如BDF(向后微分公式法)更简单。RK算法已被认为是常微分方程中数值积分最好的工具(ODEs)。系统(9)包含带有n2变量的一阶常微分方程组。特别是当n=2时，系统将包含四个等式。由于矩阵K(t)是对称的，并且该系统是奇异的，则k12=k21且k22是不受约束的(令k22=0)。最后，系统将含有两个变量和两个方程。因此用RK思想将系统表示成含有两个变量的一阶常微分方程组。其中用同样的方式，原系统(9)可以用含有n2的一阶常微分方程组求解。4.2神经网络求解在本方法中，新型前馈神经网络用于将Eq.(9)的误差解转变为求神经网络(9)的解。误差解可表示为两个不同的术语如下(参见[22])：(10)第一个术语满足了TCs和包含不可调和参数。第二个术语采用一种前馈神经网络和同神经结构权重对应的参数Wij。考虑一个拥有n个输入单位、n个反曲双隐层单位和一个线性输出设备的多层感知器。对于一个给定的输入向量，网络输出为(11)其中Wij指从输入单元j到隐藏单元i的权重，指从隐藏单元i到输出单元的权重，指隐藏单元i的偏移，是反曲的传递函数。式(11)的可微性的阶数和激活函数相同。由于我们选择的sigmoid函数是无穷可微函数，就给定的输入，网络输出将是(12)其中表示sigmoid函数就其标量输入，Eqs.(11)和(12)分别构成网络的输出和梯度方程。误差量可由下式最小化(13)神经网络进行训练，直到误差函数(13)变成零。一旦趋于零，(10)的误差解就是神经网络方程(9)的解。4.3FFNN结构FFNN结构由n个输入单元、一个包含n个反曲单元隐层和一个线性输出。每个神经元的输出是基于它的输入内积和适当的权值向量。图1出了神经网络结构用来计算Nij。权重和网络偏差初始值遵循NguyenandWidrow规则[文献26，27]。该规则的作用是通过设定初始网络权重的隐层，每一个隐藏的节点分配自己的区间，从而加快训练过程。在训练期间，网络训练的每个隐藏节点可以自由调整其区间的大小和它的位置。函数在区域(0，1)内神经网络不是全开状态的，它只有一种长度，但有n个隐藏的单元。因此，每一个隐藏的单位负责一个平均长度为的区间。由于在内近似线性，该收益区间长度为因此然而，所选区间最好略有重叠，这样我们可以选取，接着采集下一个，那么区间就位于的随机区域，区间的中心则位于介于0和1之间的均匀随机值这种良好的初始化可以大大加快学习过程。权重和偏差通过用Levenberg-Marquardt(LM)算法[文献18]的迭代更新，直到误差函数趋近于零。LM算法是一种变化的牛顿法，其目的是尽量使其他非线性函数的平方和最小化。这非常适合于神经网络训练。让我们首先考虑牛顿法的误差函数是平方和形式的情况，假设误差函数相对于参数向量已经最小化，那么牛顿法可以描述成(14)其中是一个海森矩阵，是梯度，如果假设为一个平方和函数那么我们可以得到这里的是雅可比矩阵和运用高斯-牛顿法，又假定，那么等式组(14)可变形为则Levenberg–Marquardt将高斯-牛顿法改进为无论是否增加，这里的参数都会和一些因子相乘，当每一步减少，被分割，注意此处值很大，这个公式的值将会最速下降变小，该方法称为高斯-牛顿法，LM法是训练中等前馈神经网络最快的方法，神经网络算法可以在CPU为1.7GHZ的个人电脑上使用MATLAB软件运行，它通过用神经计算的方法来近似求解线性随机奇异系统(1)的MRDE(3)图.1神经网络结构5神经网络算法步骤1：馈入输入向量。步骤2：用NguyenandWidrow规则初始化随机权重矩阵和偏移量。步骤3：计算。步骤4：将的值传递给个奇异函数。步骤5：从隐藏单元初始化权重向量到输出单元。步骤6：计算。步骤7：计算purelin函数。步骤8：计算误差函数的值。步骤9：如果值为0，停止训练；否则用LM算法更新权重矩阵。步骤10：重复神经网络训练直到下面误差函数该神经网络训练流程图已经在图.2中给出。6数值实例考虑最优控制问题：最小化它满足奇异线性系统：这里：为了求解以上与MRDE相关的线性奇异系统，数值实现应该满足条件，采用适当的矩阵代替Eq.(3)。在和中将MRDE化为系统的微分方程，在这个问题里，在系统的矩阵K(t)中是随机值，不妨设，则该系统的非线性微分方程为一个有5个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器，每个隐藏单位的曲形激活函数是。误差函数是在区间[0，2]内选取等距点作为输入向量。其学习速率是0.05。网络的权重和偏差遵循Nguyen和Widrow规则进行初始化，并利用Levenberg-Marquardt(LM)算法被反复更新。在100个周期之后网络的输出为：对应误差函数的值为0.0003。一个有10个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器。在100个周期之后网络的输出为：对应误差函数的值为0.0000005。运用RK方法和神经网络近似方法，MRDE通过计算得到数值解并显示在表.1上。一个有10个隐藏单元的隐藏层和一个线性输出单位被使用的多层感知器，每个隐藏单位的曲形激活函数是。6.1神经网络解的曲线神经网络和传统RK方法求MRDE的解和解之间的误差显示在图.3~图.6上。所求解的数值结果在表.1中列出。神经网络求解的计算时间是1.6秒。而用RK方法求解的计算时间是2.2秒。因此，神经网络解法比RK方法更快速。7总结随机线性奇异系统最优控制是通过神经网络的方法获得的。在这种方法中，很明显，所构造的误差函数在很短的时间内趋于0。因此，神经网络方法可以作为一个比标准解法如RK方法明显快速的MRDE解法。我们已经给出一个数值算例说明推导结果。寻找最优控制的长微积分时间是为了避免使用神经最优控制器。最优解的有效近似可以使用CPU为1.7GHZ的计算机上使用MATLAB软件实现。致谢作者非常感谢评审团对提高这篇论文所提出的宝贵意见。作者的工作得到了国务院科学与技术部政府的支持。印度-新德里-SERC项目序号：SR/S4/MS:485/07日期：2008年4月21日。参考文献[1]M.AitRam,J.B.Moore,X.Y.Zhou,IndefinitestochasticlinearquadraticcontrolandgeneralizeddifferentialRiccatiequation,SIAMJ.ControlOptim.40(2001)1296–1311.[2]M.Athens,SpecialissuesonlinearquadraticGaussianproblem,IEEEAutomat.ControlAC-16(1971)527–869.[3]P.Balasubramaniam,J.AbdulSamath,N.Kumaresan,A.VincentAntonyKumar,SolutionofmatrixRiccatidifferentialequationforthelinearquadraticsingularsystemusingneuralnetworks,Appl.Math.Comput.182(2006)1832–1839.[4]P.Balasubramaniam,J.AbdulSamath,N.Kumaresan,Optimalcontrolfornonlinearsingularsystemswithquadraticperformanceusingneuralnetworks,Appl.Math.Comput.187(2007)1535–1543.[5]P.Balasubramaniam,J.AbdulSamath,N.Kumaresan,A.VincentAntonyKumar,NeuroapproachforsolvingmatrixRiccatidifferentialequation,NeuralParallelSci.Comput.15(2007)125–135.[6]A.Bensoussan,LectureonstochasticcontrolpartI,in:NonlinearandStochasticControl,LectureNotesinMath,vol.972,Springer-Verlag,Berlin,1983,pp.1–39.[7]J.M.Bismut,Anintroductoryapproachtodualityinoptimalstochasticcontrol,Syst.ControlLett.39(2000)79–86.[8]F.Bucci,L.Pandolfi,Theregulatorproblemwithindefinitequadraticcostforboundarycontrolsystems:thefinitehorizoncase,Syst.ControlLett.39(2000)79–86.[9]S.L.Campbell,SingularSystemsofDifferentialEquations,Pitman,Marshfield,MA,1980.[10]S.L.Campbell,SingularSystemsofDifferentialEquationsII,Pitman,Marshfield,MA,1982.[11]C.H.Choi,AsurveyofnumericalmethodsforsolvingmatrixRiccatidifferentialequation,Proc.Southeastcon(1990)696–700.[12]S.P.Chen,X.J.Li,X.Y.Zho,Stochasticlinearquadraticregulatorswithindefinitecontrolweightcosts,SIAMJ.ControlOptim.36(5)(1998)1685–1702.[13]L.Dai,SingularControlSystems,LectureNotesinControlandInformationSciences,Springer,NewYork,1989.[14]G.DaPrato,A.Ichikawa,Quadraticcontrolforlinearperiodicsystems,Appl.Math.Optim.18(1988)39–66.[15]M.H.A.Davis,LinearEstimationandStochasticControl,ChapmanandHall,London,1997.[16]S.W.Ellacott,Aspectsofthenumericalanalysisofneuralnetworks,ActaNumer.5(1994)145–202.[17]F.M.Ham,E.G.Collins,AneurocomputingapproachforsolvingthealgebraicmatrixRiccatiequation,Proc.IEEEInt.Conf.NeuralNetworks1(1996)617–622.[18]M.T.Hagan,M.Menhaj,TrainingfeedforwardnetworkswiththeMarquardtalgorithm,IEEETrans.NeuralNetworks5(6)(1994)989–993.[19]M.Jamshidi,AnoverviewonthesolutionsofthealgebraicmatrixRiccatiequationandrelatedproblems,LargeScaleSyst.1(1980)167–192.[20]L.Jodar,E.Navarro,ClosedanalyticalsolutionofRiccatitypematrixdifferentialequations,IndianJ.PureAppl.Math.23(1992)185–187.[21]A.Karakasoglu,S.L.Sudharsanan,M.K.Sundareshan,Identificationanddecentralizedadaptivecontrolusingneuralnetworkswithapplicationtoroboticmanipulators,IEEETrans.NeuralNetworks4(1993)919–930.[22]I.E.Lagaris,A.Likas,D.I.Fotiadis,Artificialneuralnetworksforsolvingordinaryandpartialdifferentialequations,IEEETrans.NeuralNetworks9(1998)987–1000.[23]F.L.Lewis,Asurveyoflinearsingularsystems,Circ.Syst.Sig.Proc.5(1)(1986)3–36.[24]N.Lovren,M.Tomic,AnalyticsolutionoftheRiccatiequationforthehomingmissilelinearquadraticcontrolproblem,J.Guid.ControlDynam.17(1994)619–621.[25]K.S.Narendra,K.Parathasarathy,Identificationandcontrolofdynamicalsystemsusingneuralnetworks,IEEETrans.NeuralNetworks1(1990)4–27.[26]D.Nguyen,B.Widrow,Improvingthelearningspeedof2-layerneuralnetworksbychoosinginitialvaluesoftheadaptiveweights,Proc.Int.JointConf.NeuralNetworksIII(1990)21–26.[27]A.P.Paplinski,Lecturenotesonfeedforwardmultilayerneuralnetworks(NNet(L.5)),2004.[28]M.Razzaghi,ASchurmethodforthesolutionofthematrixRiccatiequation,Int.J.Math.Math.Sci.20(1997)335–338.[29]M.Razzaghi,SolutionofthematrixRiccatiequationinopti