（控制理论与控制工程专业论文）基于神经状态空间的非线性系统建模与控制研究.pdf

华中科技大学硕士学位论文 摘要 在控制科学与工程领域，非线性系统的建模、辨识、预报和控制一直都是研究的 重点和难点。本文在对国内外关于利用神经状态空间模型进行非线性系统建模、分析 和控制等研究现状及发展进行综述的基础上，论述了作者利用神经状态空间模型进行 非线性系统建模、辨识和控制等方面的研究成果。 提出了扩展线性化神经状态空间模型。f 对于单输入单输出和多输入多输出的非线 性系统，采用具有能控规范型的线性状态空间方程的形式。模型中的参数由多层神经 网络组成。从而将线性系统状态空间模型与神经网络巧妙地结合在一起。， 利用扩展线性化神经状态空间模型进行非线性系统辨识。f 辨识采用串并联结构， 模型参数采用扩展卡尔曼滤波的方法学习得到。从理论上证明了用此模型对一类非线 提出了基于扩展线性化神经状态空间模型的非线性系统一步超前预测控制方法。 证明了控制系统的闭环稳定性。将此方法分别运用到s i s o 系统和m i m o 系统，仿真 结果表明这种控制方法性能良好。 提出了基于扩展线性化神经状态空间模型的非线性系统近似极点配置控制方法。 给出了状态反馈矩阵表达式以及近似极点配置自适应算法并证明了此自适应控制算法 的收敛性。这种控制器设计方法是线性系统状态反馈极点配置方法在非线性系统中的 扩展。其优点是设计过程简便，控制性能良好。 最后，对全文进行总结，提出了神经状态空间模型在非线性系统建模和控制领域 需要进步研究和解决的问题。 关键词：神经状态空吵非线性着嗲；建移眇辨识；预犁箩制：极i & 要理 、v v 华中科技大学硕士学位论文 a b s t r a c t i nt h ef i e l do fc o n t r o ls c i e n c ea n d e n g i n e e r i n g ，t h er e s e a r c ho nm o d e l i n g ，i d e n t i f i c a t i o n 。 p r e d i c t i o na n d c o n t r o lo f n o n l i n e a r s y s t e m s i sa l la l o n ga ni m p o r t a n ta n dc u m b e r s o m e i s s u e i nt l l i st h e s i s ，b a s e do nar e n e wo fi t sc u r r e n tc o n d i t i o na n d d e v e l o p m e n th o m ea n da b r o a d s o m ea c h i e v e m e n t so fa p p l y i n gn e u r a ls t a t es p a c em o d e lt o m o d e l i n g ，i d e n t i f i c a t i o na n d c o n t r o io f n o n l i n e a r s y s t e m a r cs y s t e m a t i c a l l ye x p o u n d e d a ne x t e n d e dl i n e a r i z e dn e u r a l s t a t e s d a c e ( e l n s s ) m o d e l i s p r o p o s e d 1 1 地 c o n t r o l l a b l ec a n o n i c a lf o r mi sa d o p t e di nt h ee l n s sm o d e lt ot h es i s oa n dm i i v i o s y s t e m n l ep a r a m e t e r si n s i d et h ee u 、i s sm o d e la r ec o m p o s e do f m u l t i l a y e rn e u r a ln e t w o r k m s m e 血o dc o m b i n e st h e1 i n e a rs t a t es p a c em o d e lw i t hn e u r a ln e t w o r k s v e r ys k i l l f u l l y 乃fe l n s sm o d e li s a d o p t e dt oi d e n t i f yt h en o n l i n e a rs y s t e m 刀艟s e r i a l - p a r a l l e l s t r u c t u r ei s a d o p t e da n dt h ee x t e n d e dk a l r n a nf i l t e r ( e k f ) m e t h o di s u s e dt ot r a i nt h e p a r a m e t e r si nt h em o d e l t h ef e a s i b i l i t yo fu s i n ge l n s s m o d e lf o r 也ei d e n t i f i c a t i o no fa c l a s so fn o n l i n e a rd i s c r e t ed y n a m i cs y s t e m sa n dt h ec o n v e r g e n c eo f t r a i n i n gp r o c e s sa r e p r o v e nr e s p e c t i v e l y f r o mt h es i m u l a t i o n sa n dm o d e lv a l i d i t yt e s t s e l n s sm o d e lc a nb e u s e dt om o d e la n di d e n t i f yac l a s so f n o n l i n e a rs y s t e m sv e r yw e l l e l n s sm o d e lb a s e dn o n l i n e a rs v s t e mo n e s t e p a h e a dp r e d i c f i v ec o n t r o li sa d o p t e d t h e s t a b i l i t yo f c l o s e dl o o ps y s t e mi sp r o v e d t h es i m u l a t i o n so f a p p l y i n gs u c ha l g o r i t h m t o s i s oa n dm i m 0 s y s t e m s h o w g o o dp e r f o r m a n c e e l n s sm o d e lb a s e dn o n l i n e a rs y s t e ma p p r o x i m a t ep o l ea s s i g n m e n tc o n t r o lm e t h o di s p r o p o s e d 1 1 1 es t a t e f e e d b a c km a t r i xe x p r e s s i o ni na p p r o x i m a t ep o l ea s s i g n m e n tc o n t r o l m e t h o da n di t sa d a p t i v ea l g o r i t h ma r eg i v e nr e s p e c t i v e l y t h ec o n v e r g e n c eo f a p p r o x i m a t e p o l ea s s i g n m e n ta d a p t i v ea l g o r i t h mi sp r o v e d t h i sc o n t r o l l e rd e s i g nm e t h o d i sa ne x t e n s i o n o fl i n e a rs y s t e ms t a t ef e e d b a c kp o l ea s s i g n m e n tm e t h o dt on o n l i n e a rs y s t e mt h r o u g hn e u r a l n e t w o r k sa n di t sm o s ta d v a n t a g ei st h a ti tc a nb ec a r r i e do u t e a s i l y a n dh a s g o o d p e r f o r m a n c e f i n a l l y , t h es u m m a r yo ft h i st h e s i si sg i v e na n dt h ep r o b l e m st ob ef 1 l r t h e r s t u d i e d a b o u t a p p l y i n ge l n s s m o d e lt on o n l i n e a r s y s t e m a r ei n v e s t i g a t e dr e s p e c t i v e l y k e y w o r d s ：n e u r a ls t a t es p a c e ；n o n l i n e a rs y s t e m ；m o d e l i n g ；i d e n t i f i c a t i o n ； p r e d i c t i v ec o n t r o l ；p o l ea s s i g n m e n t i i 华中科技大学硕士学位论文 1 绪论 1 1 课题的来源和意义 人类认识世界和改造世界的历史进程，总是由低级向高级，由简单到复杂，由表 及里的纵深发展过程。在控制科学领域也是一样，最先研究的控制系统都是线性的， 例如，瓦特蒸气机的调节器，液面高度的调节等等。造成这种现象的原因，其一，是 由于受到人类对自然世界认识的水平和解决实际问题能力的限制。其次，对线性系统 的物理描述和求解相比非线性系统来说容易一些，已经形成了一套比较完善的线性系 统理论和分析研究方法。但是对于非线性系统而言，除少数情况外，现有的方法都是 针对某一类问题，不能普遍适用。另外，从人们对控制精度的要求来看，用线性系统 理论来处理大多数工程实际问题时，在一定范围内都基本上都可以得到比较满意的结 果。因此，一个真实系统的非线性因素就往往被人们所忽略或者被各种线性关系所代 替了。 但是，随着人类社会的发展与进步，越来越多的非线性现象和非线性问题已经引 起了人们广泛的关注。尤其是随着地球上非再生性资源的日趋减少，最佳性能指标和 最小能耗问题已经越来越受到人们的重视，人们对各种实际系统的控制精度提出了愈 来愈高的要求。同时，被控对象的种类也在日益增多，控制装置日趋复杂，这些都越 来越要求人们深入到事物的本质，用更精确的方法来处理实际的问题。在这种情况下， 非线性系统理论得到了飞速的发展。 在非线性控制系统的研究中，建立能够描述非线性对象的模型是基础。只有建立 了合适的模型之后，才能比较好的开展相关的分析、预报、设计、控制和计算机仿真 等工作。而如何设计控制器，得到理想的性能和效果则是研究的目的。因此，可以说 非线性系统的建模，辨识和控制一直部是控制理论和控制工程研究的重点。 n - - 十世纪四十年代，针对非线性系统的研究已经取得了一些明显的进展。主要 的分析方法有：相平面法，李亚普诺夫法和描述函数法等。虽然它们都在实际的非线 性系统控制问题中得到了广泛的应用，但这些方法都有一定的局限性，都不能成为分 析非线性系统的通用方法。例如，相平面法对于二阶以上的系统就不再适用了：李亚 普诺夫法仅限于分析一类非线性系统( 鲁里叶系统) 的稳定性；描述函数法只是一种工 程近似方法。在这种情况下，非线性系统的研究一直在进行着，新结果不断出现，如 频域分析方法( 如波波夫判据等) ，输入输出稳定性，多非线性系统，继电系统理论， 大系统方法等等i l 2 3 1 。 华中科技大学硕士学位论文 1 9 4 2 年，美国著名科学家、控制论的奠基人n w i e n e r 首次将v o l w r r a 泛函级数用 于非线性系统的分析【4 】，7 0 年代后，v o l t e r r a 泛函级数开始受到人们的普遍重视。v o l t e r r a 泛函级数理论不仅提供了一种新的理论体系，而且为真正解决非线性实际问题提供了 强有力的方法和工具。但掌握此理论和方法需要有较强的数学理论知识，因此推广起 来比较困难。 另外，人们从对生物神经网络的认识出发，经过抽象和提炼，提出了人工神经网 络模型。经过几十年的发展，神经网络理论日渐完善，应用范围也越来越广泛。神经 网络技术的发展给其它学科提供了新的方法和手段，推动了其它学科的发展。在控制 领域，神经网络与其它控制理论与技术的结合，如神经网络p i d 控制、神经网络自适 应控制、神经网络模糊控制和神经网络预测控制口】等，使得神经网络成为非线性系统 建模、辨识、预测和控制中最具魅力的理论和方法之一。尽管基于神经网络的非线性 系统研究已经取得了丰硕的成果，但是如何设计一种合适的神经网络结构和采用什么 样的学习算法，使得基于此网络模型的控制器设计变得简单而有效，一直是众多研究 者探讨的问题。 同时，人们在对线性系统的研究中也看到，建立在状态空间分析法基础之上的现 代控制理论对线性系统建模、辨识和控制的研究已经比较成熟和完善，具有丰富的研 究成果。“它山之石，可以攻玉”，推广与借鉴的思想一直都是科学研究的重要方法与 手段。于是可以提出这样一种思路：是否能够从线性系统辨识和控制的方法中得到启 发，将它们推广到非线性系统，从而建立起令人满意的非线性系统辨识模型并且设计 出性能优良的控制器。 本课题基于这种思路，将神经网络和线性系统状态空间模型相结合，提出了一种 新的神经状态空间模型并将其用于非线性系统辨识；将线性系统预测控制和状态反馈 极点配置方法推广，设计出几种新型的非线性系统控制器。这项课题对非线性系统的 辨识、预测和控制提出了一种新的研究思路和解决问题的方法，因而具有较大的理论 意义和工程实际意义。另外，本课题受到了国家自然科学基金( 6 9 9 7 4 0 1 7 ) 、湖北省自 然科学基金( 9 9 j j 0 1 5 ) 年 t 高等学校骨干教师资助计划的资助。 1 2 国内外相关课题的研究概况 1 9 9 5 年，s u y k e n s 等研究者首次提出了一种用于非线性系统辨识的神经状态空间 模型 6 1 ，并且分别讨论了确定性系统辨识模型和带噪声的随机系统辨识模型。这种神 经状态空间模型实质上是用神经网络参数化了的非线性状态方程。 2 华中科技大学硕士学位论文 考虑具有如下形式的非线性离散时间系统： 牌y k2 9 然ou “k 足w k mz ， 【 = ( x i ， ) + 、 其中输入向量u i r 1 ，输出向量y t r 。，状态向量x r 4 ，v t r ”为过程噪声，w r 是测量噪声，v 。，w 。都假设为具有如下协方差矩阵的零均值高斯白噪声，厶和g o 为连 续的非线性映射。 啦v k 卜v t 怫 c ，国 事实上，早在八十年代，非线性状态方程就已经被一些研究者用来作为非线性系 统的辨识模型。问题的关键是难以确定状态方程中的参数。对于确定性系统的辨识， l j u n g 采用如下的预测器： 删：愀：麓端k 矗确 m ， 对于给定的个输入输出数据z ”，采用预报误差算法使得如下目标函数最小。 ( 一，z ”) = 专地( 口) ) ( 1 - 4 ) 其中s ( p ) = y t 一九( 口) 是预报误差，f ( q ) 是标量正函数，通常1 ( 6 t ) = 2 2 。t 吼。 对于随机系统辨识的情况，一种选择预测器的方法是采用扩展卡尔曼滤波( e i c f ) 法，e k f 法通过将( 1 1 ) 中的非线性方程沿参考轨迹进行线性化来估计( 1 1 ) 所示系统的 状态量。这种滤波的方法虽然不是最优的状态估计方法，但它经常被采用。首先在 h = 毫，v 。= o ，m = o 处线性化非线性系统( 1 一1 ) ，再将e k f 用于线性时变系统，就可以 得到扩展卡尔曼滤波器如下： e ( 口) = j i + l = ，( i t ，“t ；口) + k j ( 口) ；i o2 x 0 夕k ：瑟黧篡埘坝铷哪段( o ) h 阳m 】_ l ( 1 5 ) i ( 目) = 【e ( 口) t ( p ) 月：( 口) + s ( 占) 】【圩l ( p ) 女(：( 口) + r ( 口) 】“ 、。 “l = 最( 口) t ，( 口) + q ( p ) 一k ( 口) 】【以( 口) z t ( 一) h 二( 口) 】足；( 口) 其中 五c 口，= 至! ! ! i ：叫。 t c 口，= 旦! ! i ：叫。， k 。( 口) 是卡尔曼增益。协方差矩阵q 足s 用口参数化，。为给定。 在1 9 8 4 年g o o d w i n u l j f d 1 9 7 9 年l j u n g t s l 的研究之后，一种改进型的e k f 方法被提 华中科技大学硕士学位论文 出来了，这种e k f 方法用于直接参数化卡尔曼增益，而不是通过求解黎卡提方程的方 式。n a r e n d r a 和p a r t h a s a r a t h y 【9 j 的研究工作中已经说明了这种直接参数化的优点，它比 通过扩展卡尔曼滤波法得到模型参数要简单的多。在这种情况下，得到一种具有如下 形式的新型预测器： 刚趴器嚣臻徊k 一。砘 ( 1 s ) 由于在一个致密区间中，含一层隐含层的神经网络可以任意逼近连续的非线性函 数。因此，可以用神经网络对 和g 。进行参数化，以上三种模型结构都可以用神经网 络来参数化，则分别可以得到如下三种预测模型： 僻盘糕能荡。”。 m ， 其中0 = e 8 ；成b ；f k c d ；v c ；v o ；皮d 7 ，e ( 0 ) 主i “= 阡，舳t a n h ( j t + “t + 卢肿) + k k ( 口) t ；王o = 工。 萝k ：器乏蒜嚣高涮钮蝴卅胛矿 m s ， 。( p ) = 【 ( 口) t ( 护) 日：( 口) + s ( 口) 】 日( 口) i ( 目) 月! ( 口) + r ( 口) 】“ 、7 i + l = 疋( 占) i ，( 口) + q ( 口) 一k t ( 口) 【日t ( 占) t ( 口) _ ( 口) 】足；( 占) 其中0 = ；p ；肠；锡；o s ；o r 】，o s ，0 r 代表参数化了的q ，s ，r 矩阵。 以加。( 印： i “i ：。 饥1 h ( _ 氟j + 夕伫卜r v t t a n h ( v ：k ) ；南。( 1 - 9 ) 以加f 慨：d t a n h ( v c i i + + 如) 其中0 = 【既日；吒；j b ；f l c d ；坼；吒】 值得一提的是，以上( 1 7 ) ，( 1 8 ) ，( 1 - 9 ) 所示三种形式的神经状态空间模型并不是 系统的最小实现。在线性状态空间模型中，可以通过线性变换得到唯一的系统最小实 现模型，即取标准型的形式。但是，s u y k e n s 的研究中并没有讨论是否可以通过非线 性变换来减少参数的个数。而且从计算的角度来看，非最小实现的参数在系统辨识中 同样起作用。确定性系统辨识的神经状态空间模型如图1 1 所示。 从图中可以看出，前馈网络g ( ) 代表了从输入量u k 和状态量五到输出量允的连续 非线性映射，而带有反馈环节的网络，( ) 则反映了非线性系统的动态特性。图中整个 虚线部分可以看成是由两个前馈网络通过状态反馈组成的一个反馈网络，因而整个神 经状态空间模型可以反映系统的动态特性。 4 华中科技大学硕士学位论文 图1 一l 确定性系统辨识的神经状态空间模型 对于仅仅对象的输出可以测出或只有少数状态量可测的情况，文献 1 0 】中给出了 另外一种神经网络状态空间辨识模型，并且讨论了用b p 算法训练此模型时的收敛条 件。同样考虑( 1 1 ) 所示的非线性状态空间方程，当其所有的状态量都可以通过测量输 出得到时，模型中的非线性函数，( ) 和g ( ) 可以被带部分时延反馈的前馈网络所近似。 但是，当只有输出信息和部分状态信息可以测得时，非线性方程( 1 1 ) 所表示的模型就 不能用两个神经网络来近似。这时，有学者提出一种新的神经网络状态空间辨识模型， 其结构如图1 2 所示。 x l ( f + 1 ) x n x ( f + 1 )y l ( r ) y m ( f ) d i l l x l ( ，) x ，c x ( t ) u t ( t ) u , v u ( t ) 图1 2 神经网络状态空间辨识模型 可以看出这种神经网络状态空间模型是一种动态映射，它具有内部的时延反馈， 因而是一种特殊的回归神经网络。从本质上来说，这种神经网络状态空间模型是一个 多层前向网络和一个外回归神经网络通过串并连接而组成的网络。原来它们各自所具 华中科技大学硕士学位论文 有的非线性映射能力在这里依然存在，其最大的优点是训练时仅需对象输出的测量值， 而无需对象状态的观测值。 1 9 9 8 年，为了便于对非线性系统进行收敛性和稳定性的分析，z a m a r r c n o 等学者 提出了另一种称为状态空间神经网络( s s m 叼的模型【l l 】，其结构如图1 3 所示。 输入层隐含层s b 6 状态层隐含层0输出层 b “2 l i n ：线性处理单元 舭：非线性处理单元( s i g m o i d ) 图l 一3 状态空间神经网络( s s m 叼模型 s s n n 模型具有非线性状态空间的形式，包含有以下五层： 1 输入层：此层接收输入信号，并将这些信号传向下一层的神经元。 2 隐含层s ：这一层代表了表达状态行为的非线性函数。 3 状态层：这一层的每个神经元表示一个状态量，其输出值就是状态量的输出值。 4 隐含层o ：这一层表示了神经网络的输出到状态之间的非线性函数。 5 输出层：此层接收隐含层0 的信号，并将这些信号在每个输出神经元处累加。 这一层的神经元输出就是状态空间神经网络的输出。 这种状态空间神经网络主要有以下两个优点：其一，它是一种神经网络，可以很 灵活的表示任意非线性函数。其二，它具有状态空间模型的形式，对外连接数最少。 输入是驱动系统的原因，输出是系统观察到的结果。因此可以在此模型和实际物理对 象之间建立起一种平行的关系( 因果关系) 。 在s s n n 模型中，状态量是以前时刻状态量和外部激励( 包括输入和扰动) 的一般非 线性函数，而输出则是状态量的函数。用数学公式表达为： 主( f + 1 ) = 6 z ( l ( 。) + 矿? ( ) + 曰6 ( 1 1 0 ) 萝( f ) = 矿。 ( 矿“2 i ( f ) + b 2 ) 、 7 其中，7 ，”，o 分别是h h ，s ，h s 和m h 2 的矩阵。对于s l s o 系统， 一，m = 1 ，而s ， ，h 2 需要根据经验或反复试验才能得到。b 6 和b “分别是含h 和 2 个元 素的偏置向量。 当s s n n 模型中的响应函数为线性，并且偏置量为零时，( 1 - 1 0 ) 所示方程可以表达为： 6 华中科技大学硕士学位论文 i ( f + i ) = 。( 矿j ( f ) + 矿厅( f ) ) = ( “w 7 f ( ，) + ( w “) i ( ，)、 =oi(f)+ri(f)(t-it) 萝( f ) = w 。l a w 5 2 i ( f ) ) = ( 纾7 0 降7 “2 ) i ( f ) = c 趸( f ) 这样s s n n 模型就具有了线性系统状态空间的形式： i ( r + 1 ) = o i ( f ) + r i ( r ) 一、 州f ) ：c i ( f ) u - l z ) 因此，线性系统状态空间模型只是s s n n 模型的一个特例，s s n n 模型是线性系统状态 空间模型在非线性系统中的扩展。 基于s s n n 模型，非线性系统的分析变得比较简单，z , a l l l a l t e n o 在文献【1 1 】中利用 泰勒级数讨论了自治系统的稳定性以及瞬时响应等问题。 基于文献 1 1 】中的理论分析，z a m a r r e n o 成功地将s s n n 模型用于了糖厂扩散器的 建模、废水车间的预测以及糖厂的模型预测控制【l ”。从这些实际运用的结果可以看出， 当传统的线性模型不能体现实际系统的非线性特性时，s s n n 模型显示了其在系统建 模、预测和控制中的优越性。 另外还有些学者也提出了其它种类的神经状态空间模型1 3 】，但从以上对前人研究 工作的总结来看，无论是神经状态空间模型还是状态空间神经网络模型，它们都借鉴 了状态空间的思想，即在系统的输入和输出之间引入一些状态量，并且这些状态量与 输入和输出之间的关系都呈非线性。这样从模型的外部来看只有输入输出关系，而系 统的非线性特性由内部的状态量来体现。以上所提到的模型尽管存在很多优点，如可 以逼近任意非线性函数，易于用数学公式表达和易于进行非线性系统分析等，但是， 基于这些模型的控制器设计仍然需要采用类似于基于神经网络控制器的设计方法，仍 然比较麻烦。所以，有必要设计一种新型的神经网络结构，使基于此模型的控制器设 计变得简单而有效。 1 3 课题研究的主要内容及特点 本论文主体部分共分为六章，其中第一章介绍了课题的来源及意义，分析了相关 课题国内外的研究现状，以及本课题研究的主要内容和特点。 第二章在简要回顾神经网络一般结构和常用学习算法以及与本课题相关的一种特 殊神经网络的基础上，分别提出了基于s i s o 系统和m i m o 系统的扩展线性化神经状 态空间( e l n s s ) 模型。 第三章主要讨论了基于扩展线性化神经状态空间模型的系统辨识问题。首先介绍 7 华中科技大学硕士学位论文 了系统辨识的概念和主要方法：神经网络系统辨识的基本结构、可行性和辨识算法的 收敛性；然后提出了利用扩展线性化神经状态空间模型进行系统辨识的结构，参数学 习方法，以及辨识算法的收敛性。接着以s i s o 系统和m i m o 系统为例分别进行了系 统辨识的计算机仿真，并对一工业用电加热炉系统做了系统辨识研究。最后提出辨识 模型的有效性问题和检验方法并对e l n s s 模型的有效性进行了检验。 第四章中首先介绍了预测控制的基本原理和基于神经网络的预测控制的主要方法 和研究成果。然后用e l n s s 模型建立了非线性系统的预测模型，设计了非线性系统的 一步超前预测控制器，并讨论了闭环系统的稳定性问题。对单变量和多变量系统的仿 真结果显示此控制方法性能良好。 第五章首先介绍了基于线性系统状态空间模型的极点配置方法。然后提出了基于 e l n s s 模型的非线性系统近似极点配置方法，并给出近似极点配置的自适应控制算法 以及此算法的收敛性证明。仿真结果证明这种控制器的设计方法简单而有效。 第六章全面总结了本论文的主要内容，并对研究前景迸行了展望。 8 华中科技大学硕士学位论文 2 扩展线性化神经状态空间模型 由于本课题所研究的扩展线性化神经状态空间模型与神经网络有密切的关系，因 此有必要先回顾一下神经网络的基础知识。 2 1 常用的神经网络模型结构 人工神经网络”4 - ”，”，”，”趣2 ”( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n ) 是人们在 对真实人脑神经网络( b i o l o g i c a ln e u r a ln e t w o r k s ，简写为b n n ) 进行研究的过程中得到 启发，通过对其结构、功能以及若干基本特性的某种理论抽象、简化和模拟而构成的 一种信息处理系统。从系统的观点来看，人工神经网络是由大量神经元通过极其丰富 和完善的联接而构成的一种自适应非线性动态系统。神经网络最初的结构是模拟人脑 神经系统提出的，然而，随着神经网络研究热潮的掀起，各学科的研究者从各自的应 用角度出发，提出了各种面向问题的神经网络模型结构和学习算法。尽管这些网络都 是由简单单元按并行结构经过可调的连接权连接而成，但由于神经元之间可以有不同 的连接方式，因而神经网络系统的结构形态也是多种多样的。 从二十世纪四十年代开始，人们先后提出了数百种神经元模型，较常用的有m p 模型，a d a l i n e 机，p e r c e p t r o n 模型。一般来说，神经元由三部分组成：加权求和部分、 线性动态s i s o 系统部分和非线性函数映射部分。如图2 1 所示。其中y 为神经元的输 出，“为外界输入，e 为常数，用数学方程可表达为如下形式： v 。( f ) = 唧y ) + e b , k u k ( t ) + o , 3 = 1k = l x t ( f ) = ih ( t f ) v 。( f ，) a t ( 2 1 ) y ，( r ) = g ( x 。( ，) ) ( f ) 一般取方框中五种响应之，g ( ) 原则上可根据具体问题选取，对于经典控制中 所涉及的本征非线性特性可取框中五种非线性函数之一。五种非线性函数所表示的非 线性特性分别为理想继电器特性、幅值在 0 ，l 】之间的单调递增函数、放大器饱和特性 和高斯特性。上述非线性函数均较简单，用它们来逼近较复杂的非线性特性，势必使 得所取的项数很大。于是近年来，从函数逼近的角度出发，人们提出输入直接通过非 线性映射成为输出的神经元。非线性映射所呈现的输入输出非线性函数关系可取自正 交多项式集，样条函数集和径向基函数r b f ( r a d i a lb a s i sf u n c t i o n ) 集等集合。 9 华中科技大学硕士学位论文 图2 1 神经元模型 神经网络从连接方式上可划分为前馈型网络和反馈型网络。其中前馈型网络中有 多层前向感知器( m l p ) 和径向基函数神经网络。反馈网络中有著名的霍普菲尔德网络 ( h o p f i e l d n e u r a ln e t w o r k s ) a 前馈型神经网络结构上采用的是其信息从输入层逐层向后传递，最后从输出层输 出，中间信号没有反馈。从学习的观点来看，前馈网络是一种强有力的学习系统，其 结构简单而且易于编程。从系统的观点来看，前向网络是一种静态的非线性映射，通 过简单非线性处理单元的复合映射可获得复杂的非线性处理能力。但从计算的观点看， 前向网络并不是一种强有力的计算系统，它缺乏丰富的动力学行为。大部分前向网络 都是学习网络，并不注重系统的动力学行为，它们的分类能力和模式识别能力一般强 于反馈网络。 前馈神经网络的拓扑结构如图2 2 所示。其神经元的g ( x 。) = t a n h ( x ，) 或 ( f ) = 8 ( 0 ， g ( x ) = l ( 1 + e 一) 。若令网络输入的维数为，第k 层神经元个数为( 1g k s 三) ，那 么第k 层第i 个神经元的输入输出关系表达式为 ”。- i v p = 口乒_ y r 。+ p r ，、 户l 、。， y ；) = g c v 2 ) ， 1s i 竹i ，l s k l 径向基函数神经网络的拓扑结构如图2 3 所示。它只有一个隐含层，输出单元是 线性求和单元，所以输出是各隐含层神经元输出的加权和。隐含层神经元的作用函数 为径向基函数，输入到隐含层的权值固定为l ，只有隐含层到输出层的权值可调。对 于输出层的神经元其b 。= 0 ，取v l 为其输出：对于输入层的神经元其口f ，= 0 ， ( f ) = 占( f ) ， 1 0 华中科技大学硕士学位论文 g ( ，) = p 。”。若令输入层和输出层神经元的个数分别为和m ，c ，和p 分别为j r b f 网络的中心和宽度，那么网络的输入和输出关系可表达为： 卫 ，( ”) = 2 二o vc x p ( _ 1 卜一c ，9 p ，) ， 1 is 口，(23) j - i 可以从以下几个方面来理解这类网络的作用。第一，把网络看成是对未知函数 f ( x ) 的逼近器，一般任何函数都可以表示成组基函数的加权和，这相当于选择各隐 单元的作用函数构成一组基函数用于近似f ( x ) 。第二，由模式识别理论可知，在低维 空间线性不可分的问题总可以映射到一个高维空间，使其在此离维空间中为线性可分。 在r b f 网络中，输入到隐含层的映射为非线性的，而隐含层到输出层则是线性的。可 把输出单元部分看成为一个单层感知器，这样，只要合理选择隐含层的神经元数r 高维 空间的维数) 及其作用函数，就可把原来问题映射为一线性可分问题，从而最后可用一 个线性单元解决。 反馈型神经网络又称递归( r e c u r r e n t ) 神经网络。递归是其主要特征，网络中允许单 元之间有双向连接，甚至有自反馈。所以，反馈式网络可以用一个完备图来表示。反 馈神经网络通过网络神经元状态的变迁而最终稳定于某一状态，从而得到联想存储或 者神经计算的结果。反馈神经网络是一种反馈动力学系统，它比前向神经网络具有更 强的计算能力。在此网络中稳定性与其联想记忆的能力密切相关，因而稳定性是一个 重要的研究领域。目前研究的比较多的是全局稳定性的问题。反馈型神经网络不仅可 以用作联想记忆，考虑到它的能量函数的总能量趋于极小值，因此任何优化闯题只要 它的目标函数能够表达成为能量函数的形式，原则上都可以用反馈神经网络来求解。 正因为如此，反馈型神经网络在联想记忆，模式识别，编码理论，组合优化问题求解 等众多领域得到了广泛的应用。 同络输出 网络输入 图2 - 2 前馈网络的拓扑结构 网络输出 网络输入 图2 - 3 r b f 网络的拓扑结构 凡 h 华中科技大学硕士学位论文 2 2 常用的神经网络学习算法 神经网络的性质主要取决于以下两个因素：一个是网络的拓扑结构；另一个就是 网络的学习规则4 ，1 5 ，1 6 1 7 ，1 8 1 9 ，2 0 , 2 ”。二者结合起来就构成了网络的主要特征。 神经网络的学习和计算机的机器学习有类似的分类，一类是从例子中学习，一类 为死记式学习，还有类无导师学习。人工神经网络的学习问题归根到底就是网络连 接权的调整问题。 现有的学习规则大体上可以分为以下几类： ( 1 ) 相关规则仅根据连接之间的激活水平改变权系数。常用于联想记忆式网络， 执行特殊状态的死记式学习。 ( 2 ) 纠错规则依赖关于输出节点的外部反馈来改变权系数，使实际节点的输出 与外部节点的输出一致。从方法上看，基于或等效于梯度下降法，通过在局部最大改 善的方向上逐步进行修正，力图达到表示函数功能问题的全局解，但不能保证得到全 局最优解。同时，这种学习规则还要求有大量的训练样本，因而收敛速度较慢。此外， 这种规则对样本的表示次序变化比较敏感。 ( 3 ) 无导师学习规则学习表现为自适应于输入空间的检测规则。该规则的关键 在于调整参数以反映观察事件的分布，即将事件空间分类成输入活动区域，并有选择 的对这些区域响应。 对于控制系统而言，神经网络的学习可能面临以下几个问题。 ( 1 ) 当输入、输出给定时的神经网络训练。 ( 2 ) 系统( 含神经网络控制器) 的输入、输出己知，系统模型结构已知时的学习问题。 ( 3 ) 系统( 含神经网络控制器) 的输入、输出已知，但系统模型未知。 ( 4 ) 学习的目标函数与系统的输入、输出没有明显关系( 如最短时间控制) 。 ( 5 ) 控制系统有约束条件。 多层前向神经网络的基本学习算法有最小二乘法，基于万学习规则的学习算法， 牛顿法和共轭梯度法等。在控制中广泛使用的是误差反向传播( b p ) 算法。其主要思想 是把学习阶段分为两个阶段，第一阶段( 正向传播过程) 给出输入信息通过输入层经隐 含层逐层处理并计算每个单元的实际输出值：第二阶段( 反向过程) ，若在输出层未能 得到期望的输出值，则逐层递归地计算实际输出与期望输出的差值( 误差) ，以便根据 此差来调整权值。具体的说，就是可对每一个权值计算出接收单元的误差值与发送单 元的激活值的积。因为这个积和误差对权重的负微商成正比( 又称梯度下降法) ，把它 华中科技大学硕士学位论文 称作权重误差微商。权重的实际改变可由权重误差微商一个模式一个模式地计算出来， 即它们可在这组模式集上进行累加。 b p 算法有两种学习方式，这是由于在求导运算中假定了所求的误差函数的导数是 所有模式的导数和。因此，权重的改变方式就有两种：一种是对所提供的所有模式的 导数求和，再改变权值。这就是训练期( e p o c h ) 的学习方式。具体的说，对每个模式要 计算出权重误差导数，直到该训练期结束时才累加，此时才计算权重变化a w u ，并把 它加到实际的权重数组上，每个周期只做一次。由于权重的修正是在所有样本输入完， 计算其总的误差后进行的，因此称其为批处理( b a t c h ) 方式。批处理修正可以保证其总 误差向减小方向变化，在样本数多的时候，它比分别处理的收敛速度快。另一种是在 计算每个模式的导数后，改变权重并求导数和，这就是模式( p a t t e r n ) 学习方式，它是每 处理一个模式就计算出该模式的权重误差导数，更新，在处理下一个模式之前就 把a w 。加到原来的权重w 。上，如果学习速率小，这两种做法之间就没有多少差别。若 模式的集合非常大，那么每处理一个模式就修正一个权重的做法似乎比较合适。 基于b p 算法的神经网络从运行过程中的信息流向来看，它是前馈型网络。这种 网络仅通过许多具有简单处理能力的神经元的复合作用使网络具有复杂的非线性映射 能力而没有反馈，因此，它不属于一个非线性动力学系统，而只是一个非线性映射。 尽管如此，由于它理论上的完整性和应用中的广泛性，所以具有重要的意义。 但是b p 算法存在以下几点不足之处： ( 1 ) 已学习好网络的泛化问题，即能否逼近规律和对大量未经学习过的输入矢量 也能正确处理，并且网络是否具有一定的预测功能。 ( 2 ) 基于b p 算法的神经网络的误差曲面存在以下三个特点： a 有多个全局最小点 b 存在些平坦区，在此区内误差变化很小。 c 存在不少局部最小值，在某些初值的条件下，训练过程容易陷入局部极小 值。 ( 3 ) 学习算法的收敛速度很慢。 ( 4 ) 网络隐含层节点个数的选取尚缺少统一而完整的理论指导。 根据以上b p 算法中存在的主要问题，人们提出了很多改进的方法，主要有：附 加动量法，改进误差函数法，自适应学习速率法和双极性s 型压缩函数法等。 实际上神经网络权值的学习过程是一个优化计算过程，因此很多优化算法都可以 华中科技大学硕士学位论文 用来训练神经网络。例如1 9 6 3 年，l e v e n b e r g 和m a r q u a r t d t 提出了一种称为l e v e n b e r 2 m a r q u a r t d t ( l m ) 的优化算法【2 2 1 。后来有人将其用于神经网络的训练中，训练的目标 函数定义为： ，= 寺( 姗一j ，( ，) ) 2 + , 2 l l w l l 2 ( 2 - 4 ) 其中是训练数据的个数，多是网络输出，y 是目标值，w 是网络权值向量，a 是正 规化参数。 权值用如下规律调整： 州川卜- 嵫器( 器 2 + 田) 蒜 ， w ( k + 1 ) = 阡( t ) + a w ( k + 1 ) 其中w ( k ) 和4 矿( t ) 分别是第女步的权值向量和权值向量的变化，r 是学习率，占是控 制搜索步长的参数。研究结果表明用此方法训练神经网络可以极大地提高学习精度和 学习速率。 另外，基于其它优化算法如基于遗传算法的学习方法【翊，基于e k f 的学习方法1 2 4 1 等也常常用来训练神经网络。 以上只是简单的介绍了一下神经网络的一般结构和常用的学习算法。神经网络技 术自诞生以来，经过几十年的发展和几代人的努力已经渗透到许多领域，并在模式识 别、机器视觉、信号处理、非线性优化、知识处理、传感技术，特别是智能控制领域 取得了令人鼓舞的进展。在智能控制研究中形成了一个重要的分支神经网络控制。 早在2 0 世纪6 0 年代，w i d r o w 和h o f f 就开始研究神经网络在控制中的应用了。 8 0 年代初神经网络的复兴也给神经网络控制带来了生机，尤其是1 9 8 6 年r u m e l h a r t 的突破性研究以来，神经网络在控制领域，特别是系统的建模、辨识、预报和控制等 方面的应用日益增多。神经网络对控制具有如此大的吸引力其原因在于：神经网络， i ) 能够充分逼近任意复杂的非线性关系；2 ) 能够学习并适应严重不确定性系统的动 态特性；3 ) 所有定性或定量的信息都等势分布存储于网络内各种神经元及其连接权 中，故有很强的鲁棒性和容错性：4 ) 采用并行分布处理方法，使得快速进行大量运算 成为可能。这些特点表明神经网络在解决高度非线性和严重不确定性系统的控制上有 着巨大的潜力。 尽管控制中所采用的神经网络种类繁多，但如何设计一种合适的网络结构并选择 一种恰当的学习算法，使得基于此神经网络模型的控制器设计简单而又性能优良，一 1 4 华