（运筹学与控制论专业论文）主次元分析与稳定性分析.pdf

中文摘要 本论文的研究目的是寻找使网络系统达到稳定的条件，并且这些条件对网络 自身的限制比较弱。从而使网络系统的设计更加容易，反过来也可以运用这些条 件验证一个网络系统是否稳定。通俗的说法就是对于用一般或特殊的微分方程所 描述的系统建立判别方法，以判断哪些系统受干扰或不受干扰的运动状态相差甚 微，哪些则相反，同时为稳定系统的设计，提供了更好的理论和方法。 本文主要运用数学工具对网络系统的几种变换形式进行了研究讨论。例如： 常数变易法，不等式分析技巧，g r o n w a l l b e l l m a n 不等式以及经典的l i a p u n o v 函数法，d i n i 导数等。 通过求解简单的一维微分方程，得到了仅由网络连接权矩阵的特征值和特征 向量表示的解的解析表达式，根据解析式的形式分析了网络的最终输出状态，从 而确定了网络达到稳定收敛的充分条件。 有时在实际问题中建立的微分方程形式的模型往往很复杂，无法求出其解的 解析表达式，就需要从方程本身运用一些直接方法来判断系统的渐近性态。零解 的稳定性。对变换后的网络模型，本文运用解对初值的连续依赖性和解的存在唯 一性以及一些变换算法，得到了不需求网络解的解析式，直接利用网络连接权矩 阵的特征值符号来判断网络的渐近行为和零解的稳定性条件。 对网络模型的另种变换形式，利用的是局部线性近似的方法，由于非线性 方程与它的线性部分在局部范围内的稳定性等价，可用非线性系统局部线性化后 的简单线性部分代替复杂的非线性方程。在讨论了l i a p u n o v 函数的存在性后， 可构造适当的v 函数直接对网络系统分析渐近性、稳定性、收敛性，对复数形式 的网络也进行了探讨，得到了网络输出在满足一定条件下最终收敛于权矩阵的最 大特征值对应的特征向量，实现了特征提取，变换权矩阵符号又得到了网络输出 最终收敛于最小特征值对应的特征向量的结论。 最后论文分析了细胞神经网络模型的稳定性，证明了细胞神经网络平衡点的 存在性，通过构造适当的l i a p u n o v 函数对其沿系统求d i n j 导数得到了平衡点全 局致渐近稳定的几个充分条件。 关键字：神经网络，稳定性，主次元分析，l i a p u n o v 函数 a b s t r a c t o u r g o a li st of i n do u t t h ec o n d i t i o n sw h i c hg u a r a n t e et h en e t w o r k ss t a b i l i t y t h - e s ec o n d i t i o n sb l ew e a k e rt h a ne v e ra n dm a k et h ed e s i g no f t h en e t w o r k se a s i e r i n g e n e r a l ，w ec a r tv e r i f yw h e t h e r t h en e t w o r k ss y s t e mi ss t a b l et h r o u g ht h e s ec o n d i t i o n s i no t h e rw o r d s ，w ec a ne s t a b l i s hs t a b l es y s t e mb a s eo nt h es t a b i l i t yc r i t e r i a w e m a i n l y u s em a t h e m a t i c a lt o o l st or e s e a r c hn e t w o r k sm o d e l f o re x a m p l ec o n s t a n c ev a r i a t i o n ，i n e q u a l i t ya n a l y z et e c h n i q u e ，g r o n w a l l b e l l m a ni n e q u a l i t ya n dc l a s s i c a ll i a p u n o vf u n c t i o n ，d i n ld e r i v a t i o ne c t t h ed i f f e r e n t i a le q u a t i o no ft h en e t w o r k sm o d e li ss o l v e db ys o l v i n gas i m p l eo n e d i m e n s i o n a le q u a t i o n t h es o l u t i o no f t h en e u r a ln e t w o r k st h a ti so b t a i n e di sr e p r e s e n - t e db yt h ee i g e n v a l u ea n d e i g e n v e c t o ro f t h ew e i g h t m a t r i x t h e nt h ea s y m p t o t i cs t a - b l eb e h a v i o ri na n a l y z e d s o m e t i m e sd i f f e r e n t i a le q u a t i o nf o r mi sc o m p l e x ，s ow e c a r l to b t a i nt h ea n a l y t i c e x p r e s s i o no f t h e s o l u t i o n w em a yu s es i m p l em e t h o d sf r o mt h ee q u a t i o ni t s e l f t od e - t e r m i n et h ea s y m p t o t i ca n dt h es t a b i l i t yo f t h et r i v i a ls o l u t i o n w eg a i ns o m e s t a b i l i t y c o n d i t i o n sb a s eo nt h ec o n t i n u o u sd e p e n d e n c eo f t h es o l u t i o nf o ri n i t i a l - v a l u ea n dt h e u n i q u ee x i s t e n c eo f as o l u t i o n u n d e rt h e s ec o n d i t i o n s ，w en e e d n ts o l u t et h ed i f f e r e n t i a le q u a t i o na n do n l ym a k eu s eo f t h es i g no f e i g e n v a l u ef o rw e i g h tm a t r i xt ov e r i f y t h ea s y m p t o t i ca n dt h es t a b i l i t yo f t r i v i a ls o l u t i o n f o r a n o t h e r t r a n s f o r m a t i o n o f t h e n e t w o r k m o d e l ，w e m a k eu s e o f l o c a l l i n e a ra p p r x i m a t i o n b e c a u s en o n l i n e a r e q u a t i o n i ss t a b l ee q u i v a l e n c ew i t hi t sl i n e a re q u a t i o ni n l o c a lr a n g e ，w eo n l yn e e da n a l y z et h el i n e a re q u a t i o n a f t e rd i s c u s st h ee x i s t e n c eo f t h el i a p u n o vf u n c t i o n ，w ec a nm a k e u pa p p o s i t ev f u n c t i o nt od e r i v a t em o n gt h em o d e l w eo b t a i nt h er e s u l tt h a tt h eo u t p u tw i l lc o n v e r g e n c et ot h ee i g e n v , e c t o rc o r r e s p o n d i o nt ot h el a r g e s te i g e n v a l u eo f w e i g h tm a t r i x s i n c et h e nr e a l i z et h ef e a t u r ee x t r a c t i o n t h r o u g hc h a n g i n gt h es i g no f w e i g h tm a t r i x ，w eo b t a i nt h e r e s u l tt h a tt h ef i n a l o u t p u t v e c t o ri st h ee i g e n v e c t o r c o r r e s p o n d i n g t ot h em i n i m u m e i g e n v a l u eo f w e i g h t m a t i x i nt h ef i n a ls e c t i o n ，w ea n a l y z et h es t a b i l i t yo fc e l l u l a rn e u r a l n e t w o r k s ，t h e np r o o f t h ee x i s t e n c eo f e q u i l i b r i u m p o i n t b y m e a n s eo f l i a p u n o vf u n c t i o nw eo b t a i ns e v e r e v a ls u f f i c i e n tc o n d i t i o n sw h i c h g u a r a n t e et h ee q u i l i b r i u mp o i n tu n i f o r m l ya s y m p t o t i ， c a ls t a b i l i t y k e y w o r d s ：n e u r a ln e t w o r k s ，s t a b i l i t y , p c aa n dm c a ，l i a p u n o vf u n c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 蜚壹恳 日期：2 0 0 4 年1 月日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 日期：2 0 0 4 年1 月日 电子科技大学硕士学位论文 1 1 背景 第一章绪论 神经网络是在许多学科的基础上发展起来的，它的研究的深入也带动了其它 相关学科的发展。它的发展在神经科学中推动理论神经科学的产生和发展，为计 算神经科学提供了必要的理论和模型。同时以神经网络研究为开端，整个科学界 对计算的概念和作用又有了新的认识和提高。计算不仅仅局限于数学中，更不仅 采取逻辑的离散的形式，在大量的物理现象以至生物学对象中，进行各种各样的 计算，而且大量的运算表现在对模糊的低精度的模拟量的并行计算上。对于后一 类计算，传统的计算机无法施展其威力。抽象的说，计算就是从一个符号行出发 到另一个符号行。对于神经网络来说，计算可理解为给定一组输入而得到一组输 出，对于给定的一组输入，其计算的终结就是神经网络中的状态转换进入稳定状 态，此时的输出就是神经网络计算的结果，因为只有稳定状态时的输出才是有效 的。 稳定性概念最早起源于力学，一个固体或一个力学系统具有某一平衡状态， 在有微小的干扰力的作用下，这种平衡状态能否保持，这是稳定性的雏形。而它 的发展却反过来为工程技术，提供了广泛的应用 8 , 9 , 1 2 - 2 9 , 3 3 - 5 5 】，因为一切工程技术 的设计都不能不考虑稳定性问题。 在力学上如何选择与稳定状态相对应的解这一问题很早就已经引起了广大 数学力学学者的研究兴趣，但一直没有得到数学理论上的彻底解决。实际上，稳 定性的概念早己为拉普拉斯( l a p l a c e ) 、拉格朗日( l a g r a n g e ) 、马克斯威尔 ( m a x w e l l ) 、汤姆逊和德特( t o r m s o na n dt a i t ) 、庞卡莱( p o i n c a r e ) 等采用过， 但都没有给稳定性以精确的数学定义。俄国著名数学家李雅普诺夫院士是第一个 给运动稳定性以精确的数学定义并普遍而系统的解决了运动稳定性的学者。他用 了十七年的辛勤劳动，在1 8 9 2 年写出了著名的博士论文“运动稳定性的一般问 题”，从此奠定了稳定性理论的坚实基础。 李雅普诺夫院士创造了解决稳定性问题的两个方法，特别是第二个方法一v 函数法非常巧妙，本文中稳定性的研究也大多依赖此方法。近年来第二种方法被 推广到动力系统的稳定性，偏微分方程组的稳定性，神经网络等。关于非驻定运 动情形的研究，时滞微分方程和中立型微分方程的稳定性研究及v 函数的存在问 题和构造问题的研究均有所加强或有所改造 3 3 - 3 9 , 5 5 j 。稳定性理论的应用领域大大 扩展，尤其在自动调节中的重要作用，正如勒托夫所说的“不管现代自动调节理 电子科技大学硕士学位论文 论用什么方式阐述，它总是依凭在一个固定的基础上，那就是李雅普诺夫关于运 动的稳定性理论”。 近年来，基于模拟电路的神经网络用于矩阵计算受到了广泛关注并取得了令 人鼓舞的成果【1 。由于这种网络具有异步并行处理，连续时间动力学，自适应 性，自组织，自学习能力和网络全局连接等特点，因而具有高度的运算能力，特 别适应于处理需要同时考虑许多因素和条件的不精确的、模糊的信息处理问题。 网络参数一旦确定，即可在其时常数数量级内给出问题的解。不同的计算所采用 的网络模型各不相同，但是只要通过某种自学习算法，可在输入信号统计特性未 知的情况下自动提取其有用特征，所以网络可用于特征提取。 许多信号处理系统中，从复杂的高维输入数据流中提取主要的内在特征是非 常必要的。许多信号处理技术都利用了输入信号的特征结构，从而得到最佳的所 需要的输出信号。因为在许多工程和通信问题中，常常需要求矩阵的特征值与特 征向量，特别是最小和最大特征值或其对应的特征向量，因此就需要输入满足一 定条件的信号。例如：图象数据压缩【1 】中的k l 变换利用数据相关矩阵的前p 个 大特征值对应的特征向量来构成变换矩阵，从而构成了均方意义下的统计最优数 据压缩技术。把输入数据投影到以特征向量为基张成的子空间进行处理已成了许 多现代信号处理的基本方法通常称之为基于特征分析的信号处理技术，这种技术 已经在模式识别口1 ，图象数据压缩吧阵列，高分辨处理 3 】，空时自适应处理 4 - 5 ， 多应户无线数字通信 6 1 等领域有广泛应用。 4 近几十年来对对称矩阵的特征值问题的研究已经涌现出了大量的计算方法。 比较典型的有幂方法，q r 分解法，l a n c z o s 方法和j a e o b i 方法。因为这些方法 是针对对称矩阵设计的，所以有定的局限性。 其实许多信号处理问题仅涉及部分特征向量，例如：图象数据压缩问题只涉 及与几个大特征值对应的特征向量，通常称为主分量或主元( p r i n c i p a l c o m p o n e n t p c ) ；而象频率估计等问题只涉及与几个小特征值对应的特征向量， 通常称为次分量或次元( m i n o rc o m p o n e n t m c ) 。 主元分析( p c a ) 是提取信号基本特征和进行数据压缩的基本方法，次元分析 ( m c a ) 在频率估计和曲线拟合方面也有着广泛的应用。但对于高维矩阵要实时进 行特征值分解通常是十分困难的。为了满足大量的实时应用需要，人们在不断地 探索高效的主次元提取方法。 最著名的主元提取技术是o j a 的子空间算法 9 1 。它是向量任意过程的主元提 取的并行算法并且能应用于线性神经网络，而且在广义条件下，许多其他的算法 能被简化到这种o j a 子空间算法。此算法公式化就是下面的迭代方程 电子科技大学硕士学位论文 m ( | ) 一m ( i j ) = r b ( ) 一m ( t 一1 ) y c o y t f ) y t ) = m i ( t ) x ( t ) 其中x r f j 是向量任意过程，m r u 是一个权矩阵，y 是一个固定常数，其相应的微 分方程就是 t 。 d m ( t ) ：c m ( t 一m f t m tq i c m i e 1 班 其中c 是自相关矩阵e ( x x 7 ，。从此人们开始用各种方法研究这个微分方程的性 质，例如梯度下降法，优化技巧，渐近分析等。 o j a 【7 】是于1 9 8 2 年提出了一种简化的单层线性神经网络模型，通过对h e b b 规则( 规则的数学描述是，以与神经元a 和b 的瞬时作用的乘积成比例来调节他 们之间的连接强度) 的归一化和随机近似，得到了一种稳定的学习规则一o j a 规 则，结果是网络的权向量自适应的学习了输入随机向量的最大主特征向量，从而 首先建立了线性神经网络与p c a 技术的联系，但这个网络只有个输出神经元即 只能提取单个主元。而实际应用中却需要提取多个主元，因此研究努力主要集中 在多个主元提取神经网络模型上。1 9 8 9 年o j a 又提出了子空间网模型1 9 】输出含有 多个神经元，可使权重向量收敛到输入数据相关矩阵向量张成的子空间的旋转基 上，但输出得到的并不是真实的特征向量，必须经过后处理才能获得相应的主分 量。1 9 8 9 年s a n g e r 提出了h e b b 算法 1 0 】，使权重向量收敛于真实的特征向量。 随后x u 川和o j a f l 习等给出了完善p c a 的算法一加法子空间法。通过对子空间方法 进行加权处理，使对称网络能够直接并行地提取多个主分量，而不需要后处理 王哲等”又提出了一种学习算法，使得特征值为重根的p c a 问题也得到了解决。 对于分析网络的全局渐近行为是一个很困难的工作，许多结果都没有全局渐近分 析，文献 3 2 弥补了这一缺憾。 人们在广泛研究p c a 神经网络及其应用的同时，也越来越重视与其相对的部 分次元分析( m c a ) 。但对m c a 算法的研究还不像p c a 那样完善，较成熟的算法是 o j a “”给出的算法，对特征值为单根的情况进行了讨论，并且该算法要求最小的 特征值必须小于l 。到现在为止就我们所知道的有x u 提出的反h e b b 算法。“2 ”。 1 9 9 7 年l u o 等。“3 修正了x u 等的算法，从而克服了原来的缺陷。 虽然p c a 和m c a 是相对的，但是也能用统的算法描述它们，文献 1 7 中所 提出的网络模型只须改变一下符号，该算法既可完成p c a 又可完成m c a ，实现了两 者的统一。p c a 和m c a 问题是实际应用中比较普遍的问题，对此人们付出了很多 努力，但仍未能有效的解决，无论是网络模型设计还是学习算法都有许多工作需 要深入研究。 电子科技大学硕士学位论文 1 2 本论文工作 i 因为微分方程往往可以看作是各种不同物理现象的数学模型，在工程技术上 建立微分方程的时候，考虑的是影响物理现象的主要因素，而把其他一些次要因 素忽略掉。这时所得到的微分方程的解和所考虑的物理现象比较接近。 本论文主要是应用数学方法研究网络模型。对网络的渐近性态及其稳定收敛 性展开讨论。提出了四种非线性神经网络模型，并分成四章分别对其进行了深入 研究。 第二章对非线性神经网络模型 皇掣：血( f ) + x r ( f ) 爿x ( f ) x o ) 进行了研究，主要讨论了模型解的渐近行为和零解的稳定性问题。详细讨论了怎 样利用特征值的符号，运用解对初值的连续依赖性和一些变换算法，而不需求出 解的解析表达式，就能判断方程解的渐近行为和零解的稳定性态。 第三章研究了非线性神经网络模型 旦掣：a x ( f ) _ x t ( r ) 擞( 咖( f ) 通过对简单一维微分方程的求解，得出了这类网络模型的解的解析表达式，是由 对称阵的特征值与特征向量表达，进而得到了该神经网络模型在特殊情况下的解 析表达式。 第四章对神经网络模型 a x _ _ ( t ) ：血( r ) _ x t ( r ) 爿x ( f ) x ( r ) 进行了研究。利用线性近似的方法对网络模型进行了详细讨论，得到了网络稳定 收敛的充分条件。又得到了网络收敛于最大特征值对应的特征向量构成的子空 间，并且对网络模型变换符号得到了变换后网络收敛于最小特征值对应的特征向 量构成的子空间的条件。 第五章讨论了细胞神经网络模型 掣一“卅缸驰m ( f _ 1 ，2 ，问 同样也是对其稳定性进行了研究，通过构造适当的泛函，采用一些变换算法并结 合不等式分析技巧，探讨了细胞神经网络的稳定性条件，证明了细胞神经网络的 平衡点的存在性，给出了细胞神经网络平衡点全局一致渐近稳定的条件a 4 电子科技大学硕士学位论文 2 1 预备知识 i ， 第二章用特征值研究网络的渐近稳定性 稳定性概念最早源于力学。一个固体或一个力学系统具有某一平衡状态，在 有微小的干扰力的作用下，这种平衡状态能否保持，这就是稳定性的雏形。在静 力学方面早在十九世纪出现过托里斯利( t o r r i c e u i ) 原理，即若物体仅受重力 作用，则当其重心位置最低时，其平衡是稳定的。当重心位置最高时，其平衡是 不稳定的，但在当时动力学方面，对应于稳定运动的严格的解的选择原理却未建 立。李雅普诺夫( l i a p u n o v ) 院士是第一位给出运动稳定性以精确的数学定义的 人。他的1 8 9 2 年的博士论文奠定了运动稳定性的一般理论。近1 0 多年来l i a p u n o v 函数又成功的应用到神经网络，借助于动力系统的吸引子和电子电路的实现来完 成某些智能优化计算和联想记忆，从而开辟了新途径。 由于在神经网络中只有稳定状态时的输出才是有效输出，所以神经网络系统 的零解的稳定性及解的渐近性态是自然科学和工程技术中很受人们关心的问题。 近几年来稳定性理论在世界各国都引起了科学家极大的兴趣，这个由著名学者 a m 李雅普诺夫( l i a p u n o v ) 在十九世纪九十年代开创的理论在物理科学和工程 技术的各个部门都获得的广泛的应用1 3 2 - 3 4 ，尤其是专著【3 3 】详细的讨论了稳定性 理论在各领域的应用。 下面我们给出几组定义 考虑用微分方程组描述的一般非自治系统 4 掣：g ( f ，y ) ( 1 ) a t 记j = 【0 ，+ ) ，q c r ”，q 为含原点的r ”空间的n 维子集，这里g 在i x q 中连 续，简记为g c p q ，r ”j ，j q ，r ”分别为g 的定义域和值域，为保证式( 1 ) 的解的唯一性，我们还假设g 关于第二个变量具有连续的一阶偏导数，且 g ( t ，0 ) = 0 ，设y = 妒( f ) 足式( 1 ) 的一个未受扰动的解，y 妒p ) 是式( 1 ) 的一个已 被扰动的解。作变换工= y e ( t ) 则式( 1 ) 化为 出a yd o ( t 1 出出础 = g ( t ，y ) 一g ( t ，妒0 ) ) = g ( t ，x + 尹( f ) ) 一g ( t ，伊( 功= f ( ( 2 ) 电子科技大学硕士学位论文 故式( 1 ) 的解y = p ( f ) 对应式( 2 ) 的平凡解x = d ，因此不失一般性，今后只研究式 ( 2 ) 的平凡解的稳定性就够了。 定义1 称方程( 2 ) 的平凡解x = 0 是稳定的，若v 0 ，v t 。， j 占= 占( s ，t o ) ，v ，当帖0 0 岛。 定义2 称方程( 2 ) 的平凡解x = 0 是吸引的，若v t o 0 ，v s 0 ，3 6 ( t o ) 0 了r ( s ，t 。，x 。) 0 ，当l i x o8 0 ，由式( 8 ) 我们有 而警 两边从t 。到f 积分得 脚主赢警衍n 出 则 五p - t o ) 高挚2 , , ( t - t o )五p ) i 。瓦赤丽亏锄 ) 因为 111 ( 1 + “0 ) 如( f ) u ( t ) 1 + u ( t ) 我们有 们n ( 高 砘( 嵩卜， 由指数函数的单调性，我们有 e 加_ f o 兰! 坐! ! ! 盟e 啪嘞) u ( t o ) 1 + “( f ) 即 ! ! 垒! p 南( ，一如 ! ! 生 ! ! 垒2 e ( h n ) 1 + u ( t o )1 + “( f )1 + u ( t o ) 2 4 问题收敛分析 定理1对于系统( 3 ) ，设五，如， 是“+ 爿7 的特征值，且 如兰旯。，贝0 有 。 ( 1 ) 若a 。 0 ，则系统( 3 ) 出现有限逸时。 证明：利用( 9 ) 式很容易推得 1 ) 丑。 0 时，若系统( 3 ) 不出现有限逸时，那么x ( f ) 对一切t r 。均存在 对式( 9 ) 两端取极限，有 l 鲫羔脚丽u ( t o ) = m 矛盾，所以系统( 3 ) 必然出现有限逸时。 当4 是实对称阵时，即a = a 7 ，此时设4 的特征值是w f ，于是可得 w ，= 拿 ( f _ 1 ，2 ，n ) 证毕。 我们有下面结论 推论：对于系统( 3 ) ，当4 是实对称阵时，设w ，w ：，w 。是a 的特征值，且 w l w 2 w n ，贝0 有 1 ) w 。 0 时，系统( 3 ) 出现有限逸时。 2 5 小结 详细讨论了怎样利用特征值的符号，而不需求出网络的解的解析式，就能直 接判别网络渐近行为和零解的稳定性态的几个条件。 1 0 电子科技大学硕士学位论文 3 1 预备知识 第三章一类神经网络的解及其渐近性态 在此章中我们研究的神经网络模型是 掣= 御_ x r 聊州f j ( 1 ) 其中x e r ”是神经网络的状态变量，b 分别看作神经网络的两个不同的连接权 强度，并且一为”n 对称矩阵，b 是n ”一般的矩阵，当b = a 时文献 1 9 】已经对 其进行了详细的讨论，并且得到了很好的结论。我们讨论的这类神经网络模型更 加广泛，更具有实用价值，因为对一个网络它的约束条件越少，就越容易设计， 就更有实际意义。 下面我们给出将要用到的基础知识- 考虑自治系统 掣：f ( t ，。) d i ? ， f ( t ，x ) 的要求同前一章描述的类似，也只考虑其平凡解。 定义1 称堕掣：，( f ，x ) 的平凡解x ：o 是一致稳定的，若v 占 0 ，j j ( s ) o ， d f v 屯，v x o ，当肛o o ， a 3 t = t ( 6 ) o ，x c v x o ，当1 k 。i i 0 ，于是有 旦。盟，：竺竺竺竺 西、z ，( f ) z ，2 ( f ) 解此式得 hn nh 【旯，一6 h z i ( t ) z j ( r ) z ，o ) z ，( f ) 一 兄，一6 目z ( t ) z j ( f ) z ，( r ) z 。( f ) 一旦l 型_ ：兰上l 一 z ，2 ( f ) = 逖娑产娟卅嚣 z ，2 ( f ) z ，( f ) z i ( t ) ：型4 坤：煎) l z r ( ，) z ，( o )z r ( o ) 下面先求解z ，在式( 5 ) 两边同乘以一i 丽2 可得 那么 丢( 去) = 之丑i + 2 善n 否n & ( 咖i 吾 川乃去+ 2 荟n 蔷n 掣 赳c 南噶势焉拶w 嚣抄训7 一一z 姒去砉磐嚣器e ” 用常数变易法解此式得 皇至型垫盔堂堡主堂垡堡奎 其中 于是有 而12 赤e m 砉弘器丽z a o ) c p 卜垆 又由式( 7 ) 得 即 2 赤e 赳e m 喜挚器器w 5 幽 = 泰忆哪喜喜桊籀 x o ) = f , a t ) = j ：少屿h 出 = 睁砂屿- 1 2 k + 2 j ：。0 z ，( r ) = z r ( o ) 8 即 三盟口k z r ( 0 ) 7 z i ( o ) p 却 z 。( o ) e 却q f 【0 ，f 一) l = l 证毕。 再考虑一种特殊情况，当b = a 时可得到下面的结论 推论：设神经网络系统( 1 ) 中，b = a ， ，且：，矗是a 的特征值， s 。( f = 1 , 2 ， ) 是a 的对应a 。( f = 1 , 2 ，r 1 ) 的特征向量组成的r ”中的一组标准正 交基，对任意x ( o ) r ”，若x ( 0 ) 在j ，( f = 1 , 2 ，行) 下的分解为 x ( o ) = _ ( o p 电子科技大学硕士学位论文 则式( 1 ) 过x ( o ) 的解为 其中 x ( f ) = 主毛( 啪却量 + r 【0 ，f 一) l _ l r 。= i n f r 。，- + 言z ，2c 。，。2 - f 一，= 。) 事实上，当b = 4 时 b 。= 汕i 却 吲铲毖拭 ：卜击( s 一) 一 ， l o ，七 ：i ( e 2 。：- 1 ) ，= 七 【0 ，k xf。：iii焘e22jt-1善2i。g却只 ，p ，f m “ j 1 + ( o ) ( ) 4 1 渐近性态就是随着时间的推移网络的最终状态如何，能否达到稳定状态，若 达到稳定又是多强的稳定。 定理2 若网络联结权矩阵4 的特征值均为负，即 0( i = 1 , 2 ，n ) 那 么系统( 1 ) 的零解是一致渐近稳定的， 证明：由于 ， 0( i = 1 , 2 ，n ) ，于是有a ，+ 九0 ( 七，j = 1 , 2 ，n ) 由 上面定理可知系统( 1 ) 的解为 工( f ) = 另一方面，对任意f 0 ，有p “1 ，从而有 z ( o ) e 却s ( 8 ) 电子科技大学硕士学位论文 令 m 喜骞矗z k ( o ) z j ( o 硼棚 疽z 砉喜i 熹卜m l ( 1 _ 抄圳。 a = 嘶川， 扛。m 。a xl 、b 。，, 由条件知， 0 ，则式( 1 ) 的从r ”一时中任意点出发的 在【o ，+ 。) 上存在的解均收敛于4 的对应于 的单位特征向量。 结论3 假设爿的最大特征值a 0 ，且至少有一个特征值为负，则方程( 1 ) 的一切从且“中的单位超球内出发的解均收敛于原点，而一切从单位超球外面出 发的解必出现有限逸时。 结论4 网络( 1 ) 的一切以r “中单位向量为初值的解均收敛于爿的单位特征 电子科技大学硕士学位论文 向量。 l ， 文献 1 9 主要是用直接求解析式的方法，讨论神经网络的渐近行为，并且得 到了网络从许多地方出发的解都收敛于矩阵的特征向量这一主要结论。 我们是用线性近似和l i a p u n o v 函数的方法对其进行研究，并且研究的网络 摆脱了矩阵一必须是对称的限制。 先看两个引理 引理1 设彳的特征值为2 t ( f - 1 , 2 ，挖) ，如果丑，+ 五o ( i ，k = 1 , 2 ，疗) ，则 对于给定的对称矩阵c ，矩阵方程a 7 b + b a = 一c 均存在唯一的解矩阵口。 证明：对矩阵彳，由线性代数的知识可知，存在可逆矩阵p ，使得 p - 1 4 _ p = 4 + = 0 d 2 2 00 00 oo 0o 一1 0 d 。丑。 其中d ，= 0 或1 ，即将矩阵化为了与其相似的若当标准形4 。，于是有 p 7 a 7 ( p 7 ) _ 1 p 7 b p + 尸7 b p p 一4 尸= 一p 7 c p 令 b = p t b p c = p t c p 则有 ( 4 ) 7 b + b + a + = 一c ( 2 ) 由若当标准形爿的特征，将矩阵方程( 2 ) 两端展开后可得 f ( ，+ 丑 ) 6 五十也+ 1 6 ：+ l + d j t l 6 二i k = 一c i( k = 1 , 2 ，n ；i = 1 , 2 ，玎一1 ) i ( 以+ 兄) 6 盖+ d t “6 盖+ 1 = 一c 二 ( 七= 1 , 2 ，一，玎) 其中k ，c i + k ( f ，k = 1 , 2 ，n ) 分别是b + ，c 的元素，规定d 。= 0 ，6 ：+ 。= 0 ， ( i = 1 , 2 ，n ) ，由于五+ 以o ( i ，k = 1 , 2 ，”) ，则可逐个求出露的元素 f6 乏= 一( 丑。+ 九) 。1 ( c 二+ d k 1 6 盖+ 1 ) 1 6 ；= 一( 旯。+ ) 一1 ( c ：+ d 。6 ：。+ d 。6 二。) ( _ i = l ，2 ，”) ( 3 ) ( f = 1 , 2 ，- 一，n 一1 ；k = 1 , 2 ，一，n ) 解出矩阵b 后，又b = ( p 。1 ) 7 b p ，则可确定b ，即矩阵方程“7 丑+ b a = - c 存 在解矩阵b 。 再证解矩阵b 的唯一性，若取c = 0 ，则c = 0 ，即= o ( i ，k = 1 , 2 ，托) ， 电子科技大学硕士学位论文 1 6 二= - 0 - + 屯) 。( c 二+ d + 1 蛲+ 1 ) ( 七= 1 , 2 ，- ，玎) 以+ 。= 0 i6 ：“= 0 t ( f = 1 ，2 ，竹) 4 1 6 二= 一( 兄，+ 九) _ 1 ( c 盖+ 以+ 1 6 二+ l + d 。+ 1 6 二i ) o = 1 ，2 ，一，凡一1 ；k = 1 ，2 ，。一，h ) d 。+ 1 = 0 ib k = 0 ( k = 1 , 2 ，n ) 又可逐个求得醛= o ( f _ 1 ，2 ，n 一1 ；k = 1 ，2 ，h ) ，即有唯一解b = 0 ，从而 假设b ib ：为方程4 7 b + b a = 一c 的两个解，则 4 7 且+ b 1 a = 一c ，a 7 8 2 + b 2 a = 一c 4 7 ( b 1 一b 2 ) + ( b 1 一b 2 ) 4 = 0 掣：a x ( t ) ( 4 ) 击 的系数矩阵，设由矩阵方程a r b + b a = 一c 解得的矩阵b 构成的二次型为 引理2 若c 为正定矩阵，且4 的特征值均具有负实部，贝e j v = x r b x 为正定 证明：由于矩阵a 的特征值均具有负实部，由线性方程组稳定性的基本理 论，知系统( 4 ) 的解x ( f ) 是渐近稳定的，即x ( f ) 斗0 0 斗+ 。o ) 电子科技大学硕士学位论文 d v 衍( t ) ”，= ( 参7 凰+ x r b ( d 篆- ) ：x 7 a 7 b x + x 7 b a x = x 1r a 2 b + b a ) x = - x r c x 因为c 是正定的，贝j j d v d ( f t ) ( 。) 是负定二次型。于是对任意r r 。 矿 x u ) v x ( t 1 ) 】 0 ，3 x o b 5 ，且0 ，使得 v ( x 。) 0 。设在时刻气过点的解为x ( t ，t 。，) ，则有 v x ( t ，“，) 】v x ( t l ，t o , ) 】 v x o 】0 另一面，由矿( x ) 的连续性，矿( 0 ) = o ，及，1 i r a 。x ( t ，b ，) = 0 可知 o = v ( o ) = l i m v x ( t ，f o ，) 】v x ( t ，t o ) 】 0 ， = z 7 a 7 b x x 7 b x x 7 4 x + x 7 b a x x 7 a x x r b x = x t 似7 b + b a ) x 一2 x 7 b x x 7 a x x t x 2 x 7 b ( x 7 a x ) x 1 1 4 - , o 掣= 。 i 弧娜有掣啡侧砷。 那么 i i 一2 x r b x x 7 一x 1 1 - 2 1 1 x i l l i b i i i i x 7 a x x l - 2 n i 占| l x i l 2 若耻右，就有竽卜刊1 2 i i1 1 4 1 x u 2 = 一毕 由l i a p u n o v 稳定性理论知系统( 1 ) 渐近稳定。 下面再讨论网络的渐近行为，对于式( 1 ) 若取x ( 0 ) = 0 ，显然矗