（计算数学专业论文）两类变分不等式问题的神经网络.pdf

两类变分不等式问题的神经网络 董宁 摘要变分不等式问题是一类重要的优化问题，它广泛地出现在信号和图像 处理、系统识别、滤波设计、自动控制、经济科学、运输科学、运筹学、非线性分 析等领域特别地，数学、物理和工程领域的许多问题都可以转化为它在许多 科学和工程技术领域中，往往要求实时并行求解变分不等式问题，然而传统数值 方法由于计算时间依赖问题的规模和结构以及所采用的算法，因而并不能实时求 解而基于电路实现的神经网络是一种自组织、自适应、自学习的非线性网络， 它具有大规模并行处理、分布式存贮、高度的容错能力以及计算时间几乎为零等 优点，被认为是实时并行求解优化问题的一种有效途径近年来，应用神经网络 求解优化问题已取得了很好的成果，因此，研究用神经网络实时求解变分不等式 具有重要的理论价值和实际意义 本文基于优化理论、射影理论、微分方程组的稳定性理论和l a s a l l e 不变原 理对求解广义变分不等式的神经网络进行了深入研究从理论上严格证明了这些 网络的各种稳定性，特别是指数稳定性数值实验还表明这些网络不仅可行，而 且非常有效 全文分四部分研究了求解两类变分不等式的神经网络及其稳定性 第一部分是绪论，综述了变分不等式的意义及其发展，并给出了射影理论、 微分方程组的稳定性理论和l a s a l l e 不变原理等基本理论 第二部分进一步分析了广义射影神经网络的稳定性，网络模型为 r h ， 5 ”7 “= 玮f g ) 一d f ( “) 】一g 心) 该网络的平衡点是相应的广义变分不等式问题的鳃，因此，可以用它来求解广义变 分不等式问题本章分三种情形用射影理论、稳定性理论和l a s a l l e 不变原理严格 证明了该网络的稳定性、渐近稳定性和指数稳定性与已有结果相比，前两种情形 的结论不需要v f ( u ) + v g ( u ) 对称，并且文中所有结论均不需要l i v f ( u ) + v g ( u ) | | 有界， 在第三部分，根据广义变分不等式问题的结构特点及其解的充要条件，构造 了一个求解它的新的神经网络模型： j a 。 等= ( v f ( u ) + v g ( 乱) 】一1 p n 【g ( 也) 一f ( u ) 一g ( u ) ) 其中v f ( u ) 表示映射f ( ) 的j a c o b i a 矩阵，( v f ( u ) + v g ( u ) ) _ 1 表示矩阵v f ( ) + i v g ( u ) 的逆矩阵理论结果表明，新网络的稳定性仪需要f ( u ) 是g 单调的，并 日其轨线收敛于广义变分不等式的解；当f ( u ) 是g 严格单调时，该网络全局渐 近稳定；当f ( u ) 足g 强单调时，该网络指数稳定显然，上述两个模型还可以 用来求解常义变分不等式( g ( “) = “) ，变量变分不等式( ，1 ( ”) = “) ，广义非线性互 补问题( f 2 = r “1 “0 和非线性方程组【n = r “) 等 第四部分讨论一类单调常义线性变分不等式的神经网络解法根据问题的特 点，构造了求解它的一个新的神经网络定义了恰当的能量函数，严格证明了该 网络是l y a p u n o v 稳定的，并且大范围渐近收敛于原问题的一个精确解此外， 凸二次极大极小问题的鞍点条件可以转化为该变分不等式，因此，该网络还可用 来求解凸二次极大极小问题 关键词t 变分不等式；神经网络；收敛性；稳定性；指数稳定性 n e u r a ln e t w o r k sf o rt w 0k i n d so f v ar i a t i o n a l i n e q u a l i t y p r o b l e m s d o n gn i n g a b s t r a c t ：v a r i a t i o n a li n e q u a l i t yp r o b l e m ( v i p ) i so n eo ft h em o s ti m p o r t a n to p t i m i z a t i o np r o b l e m s ，i ta r i s e si naw i d e l yf i e l d so fs i g n a lp r o c e s s i n g ，s y s t e m i d e n t i f i c a t i o n ，f i l t e rd e s i g n ，r o b o tc o n t r o l ，e c o n o m i cs c i e n c e ，t r a n s p r o t a t i o ns c i e n c e ， o p e r a t i o n a lr e s e a r c h ，a n dn o n l i n e a ra n a l y s i sf i e l d s m a n yp r o b l e m si nm a t h e m a t i c s ， p h y s i c s ，a n de n g i n e e r i n g e a l lb ef o r m u l a t e da si t ，t h u st h e yh a v et ob es o i v e di nr e a l t i m e ，s ot h ei n v e s t i g a t i o no fs o l v i n gi t i ss i g n i f i c a n ti nb o t ht h e o r ya n da p p l i c a t i o n s i n c e1 9 6 0 s ，p e o p l eb e g a nt os t u d yt h et h e o r ya n dm e t h o d o l o g yo fi ti nd e t a i l ，a n d t h e r ea r em a n ym e t h o d sf o rs o l v i n gi t b u ta l m o s ta l la r es e q u e n t i a li t e r a t i o n ，a n d h e s ec o n v e n t i o n a ln u m e r i c a lm e t h o d sm a yn o to b t a i ni t ss o l u t i o n si nr e a l t i m ed u e t os t r i n g e n tr e q u i r m e n to nc o m p u t a t i o n a lt i m e o n ep r o m i s i n ga p p r o a c ht oh a n d l e 如e s ep r o b l e m si st oe m p l o ya r t i f i e i a ln e u r a ln e t w o r kb a s e do i lc i r c u i ti m p l e m e n t a t i o n b e c a u s eo ft h ed y n a m i cn a t u r ea n dt h ep o t e n t i a lo fe l e c t r o n i ci m p l e m e n t a - t i o n ，n e u r a ln e t w o r k sc a nb ei m p l e m e n t e dp h y s i c a l l yb yd e s i g n a t e dh a r d w a r es u c ha s a p p l i c a t i o n s p e c i f i ci n t e g r a t e dc i r c u i t sw h e r et h ec o m p u t a t i o n a lp r o c e d u r ei st r u l y d i s t r i b u t e da n di n p a r a l l e l t h e r e f o r e ，t h en e u r a ln e t w o r ka p p r o a c hc a ns o l v eo p t i r n i z a t i o np r o b l e m si nr u n n i n gt i m e sa tt h eo r d e ro fm a g n i t u d em u c hf a s t e rt h a n c o n v e n t i o n a lo p t i m i z a t i o na l g o r i t h m se x e c u t e do ng e n e r a l - p u r p o s ed i g i t a lc o m p u t e r s a n di ti so fg r e a ti n t e r e s ti np r a c t i c et od e v e l o ps o m en e u r a ln e t w o r km o d e l s w h i c hc o u l dp r o v i d ear e a l t i m eo n l i n es o l u t i o nf o rv a r i a t i o n a li n e q u a l i t yp r o b l e m s i nt h i s p a p e r ，o p t i m i z a t i o nt h e o r y ，p r o j e c t i o nt h e o r y , s t a b i l i t yt h e o r yo fo r d i n a r yd i f f e r e n t i a le q u a t i o na n dl a s a l l ei n v a r i a n tt h e o r ya r eu s e dt oa n a l y z et h e s t a b i l i t i e so fn e u r a ln e t w o r k sf o rv i p a n di nt h e o r y , t h es t a b i l i t 3 q e s p e c i a l l ya s y m p o t i cs t a b i l i t ya n de x p o n e n t i a ls t a b i l i t yo ft h e s en e t w o r k sa r es t r i c t l yp r o v e d ；i n p r a t i e e li l l u s t r a t i v ee x a m p l e ss h o wt h a tt h e s en e t w o r k sa r en o to n l yf e a s i b l e ，b u t a l s oe f f e c t i v e t h ef i r s tp a r ti si n t r o d u c t i o n i nt h i ss e c t i o n ，t h e r ea r e s i g n i f i c a n c ea n dd e v e l o p m e n to fv i p ，a n ds o m ef u n d m e n t a lt h e o r i e s ，s u c ha so p t i m i z a t i o nt h e o r y ，p r o j e c t i o n t h e o r y ，s t a b i l i t yt h e o r yo fo r d i n a r yd i f f e r e n t i a le q u a t i o na n dl a s a l l ei n v a r i a n tt h e o r y i nt h es e c o n dp a r t lw ea n a l y z et h eg e n e r a lp r o j e c t i o nn e u r a ln e t w o r ka n di t s i i i s t a b i l i t y ，t h ed y n a m i cs y s t e mi s 豢= m z ) 一。f ( u ) 卜g ( u ) ， w h e r eai sp o s i t i v ec o n s t a n t s w i t hp r o j e c t i o nt h e o t y ，s t a b i l i t yt h e o r ya n dl a s a l l e i n v a r i a n ts e tt h e o r e m t h ea b o v en e u r a ln e t w o r ki ss h o w nt ob es t a b l ei n t h es e n s e o fl y a p u n o v a s y m p t o t i c a l l ys t a b l ea n de x p o n e n t i a l l ys t a b l e ，r e s p e c t i v e l yu n d e rd 墨 f e r e n tm i l dc o n d i t i o n s b a s e do nt h es t r u c t u r ec h a r a c t e r i s t i ca n dt h en e c e s s a r ya n ds u m c i e n tc o n d i t i o n o ft h es o l u t i o no ft h eo r i g i n a lp r o b l e m ，an e wn e u r a ln e t w o r ki sp r o p o s e di nt h e t h i r dp a r t ： 面d n = ( 铲f ( u ) + v g ( 乱) ) 一1 岛 g ( u ) 一f ( “) j g ( “) ) ， w h e r ev f ( u ) d e n o t e st h ej a c o b i nm a t r i xo fm a p p i n gf 心) ，( v f ( u ) + v g 心) ) - 1 d e n o t e st h ei n v e r s eo fm a t r i xv f ( u ) + v c ( u ) s i m i l a rt ot h ea n a l y s i si nt h es e c o n d p a r t ，w eg i v ei t ss t a b i l i t i e su n d e r d i f f e r e n tm i l dc o n d i t i o n s o b v i o u s l y ，t h ea b o v et w o n e t w o r k sc a nb eu s e df o rs o l v i n gc l a s s i c a lv i p ( g ( u ) = 让) ，v a r i a n tv i p ( f ( u ) = u ) ， g e n e r a ln o n l i n e a rc o m p l e m e n t a r yp r o b l e m ( n = 舻l u 0 ) a n d n o n l i n e a r e q u a t i o ns y s t e m s ( q = r “1 i nt h ef o u r t hp a r t ，ak i n do fm o n o t o n el i n e a rv a r i a t i o n a li n e q u a l i t yp r o b l e m a r ec o n s i d e r e d 。b a s e do ni t si n h e r e n tp r o p e r t i e s ，an e wn e u r a ln e t w o r km o d e li s p r e s e n t e df o rs o l v i n gi t ，w eh a v es h o w nt h a tt h en e wm o d e li ss t a b l ei nt h es e n s e o fl y a p u n o v ，a n dc a l lc o n v e r g et oa ne x a c ts o l u t i o nb yd e f i n i n ga ne n e r g yf u n c t i o n f u r t h e r m o r e ，t h ee x p o n e n t i a ls t a b i l i t yo f t h el l e wm o d e li sa l s os h o w nu n d e rc e n t a i n c o n d i t i o n ss i n c et h es i z eo ft h en e wm o d e li ss a m ea st h a to ft h eo r i 西n a lp r o b l e m ， a n di ti sm o r es u i t a b l et ob ei m p l e m e n t e nb y s i m p l eh a r d w a r e m o r e o v e r ，t h e s a d d l e p o i n to fc o n v e xq u a d r a t i cm i n i m a xp r o b l e m sc a nb ec o n v e r t e dt oi t ，t h u s ，t h en e w m o d e la l s oc a l ls o v l i n gt h ec o n v e xq u a d r a t i cm i n i m a xp r o b l e m s k e yw o r d s ：v a r i a t i o n a li n e q u a l i t y ； n e u r a ln e t w o r k ；c o n v e r g e n c e ；s t a b i l l t y ；e x p o n e n t i a ls t a b i l i t y 学位论文独创性声明 y 7 2 8 7 6 二, 本人声明所呈交的学位论文是我在导师的指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经注明引用的内容外，论文中不包含其他个人已 经发表或撰写过的研究成果，也不包含为获得陕西师范大学或其它教育机构的学 位或证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文 中作了明确说明并表示谢意。 作者签名：耋宣日期：趔：垒碰 学位论文使用授权声明 本人同意研究生在校攻读学位期间论文工作的知识产权单位属陕西师范大 学。本人保证毕业离校后，发表本论文或使用本论文成果时署名单位仍为陕西师 范大学。学校有权保留学位论文并向固家主管部门或其它指定机构送交论文的电 子版和纸质版；有权将学位论文用于非赢利目的的少量复制并允许论文进入学校 图书馆、院系资料室被查阅；有权将学位论文的内容编入有关数据库进行检索 有权将学位论文的标题和摘要汇编出版。 作者签名：董童日期：型堕! 幺必 第一章绪论 l 。l引言 变分不等式问题是一类重要的优化问题，其理论出现于2 0 世纪6 0 年代，它 在工业、金融、经济、社会、理论科学和应用科学领域都有广泛的应用，几十年 来，其理论和方法已经得到深入的研究用变分不等式的思想和技巧求解科学领 域的许多问题是非常有效的途径，而且，对于许多线性和非线性问题，变分不等 式理论提供了一类直接、简单、有效的处理方法在许多工程和科学技术领域， 特别是高科技领域中，往往要求实时求解大规模与超大规模优化问题基于数字 计算机的传统方法，由于计算时间依赖于问题的规模与结构，因而很难满足实时 性要求由于神经网络是一种自组织、自适应、自学习的非线性网络，它具有大 规模并行处理、分布式存贮和高度的容错能力，其算法具有极快的收敛速度和很 好的稳定性，因此神经网络被认为是求解大规模与超大规模的线性与非线性优化 问题的一个非常有效的途径 1 9 8 4 年j j ，h o p f i e l d 提出著名的人工神经网络模型【l l 并于1 9 8 5 年应用于 求解优化问题阳】他的开创性的研究不但有力地推动了神经网络的研究，而且 开拓了神经网络优化计算的新途径，因此引起了许多学者的关注 目前，优化神经网络主要围绕能否求出原问题的精确解，是否全局收敛和结 构简单便于电路实现三大问题研究因此，从硬件实现来讲，一个较好的神经网 络，其结构应相当简单；从计算性能来讲，一个较好神经网络应该是渐近f 或全 局) 稳定的，不含变量参数而且其平衡点是精确或近似最优解；从数学观点来说， 这些特性与设计网络模型所采用的优化技术密切相关 通常，建立神经网络的方法有两种： 第一种是先构造适当的能量函数，使能量函数的最小值点恰为所求问题的 解，然后让网络为能量函数的负导数( 梯度) 第二种是先构造适当的网络，然后选择适当的能量函数，使能量函数的最优 点恰为网络的平衡点 本文基于最优化理论、射影理论、微分方程组的稳定性理论和l a s a l l e 不变 原理，分析了广义射影神经网络的稳定性，并给出了求解广义变分不等式和一类 常义单调线性变分不等式问题的新的神经网络模型，从理论上严格证明了新模型 的各种稳定性，特别是渐近稳定性数值实例同时表明这些网络的可行性和有效 ，陛， 1 2 变分不等式问题的基本结论 广义变分不等式问题 1 6 1 为：找向量7 t , 8 俨，使 g ( “+ ) n ， “一g ( u + ) 】t f ( “+ ) 0 ， y u n ，( 12 1 ) 其中f 和g 是兄”到自身的连续映射，q r ”是非空闭凸集显然，问题( 12 1 ) 是常义变分不等式( g ( 让) = ) 的推广，它包括变量变分不等式( f ( “) = “) ，广义 非线性互补问题( q = 钍r “l “0 ) ) 和非线性方程组( n = r “) 为下文叙述方便，用v f ( u ) 表示映射f ( “) 在“点处的j a c o b i a 矩阵， ( v f ( “) ) - 1 表示矩阵v f ( u ) 的逆矩阵，”i i 表示欧氏范数 定义1 2 1 【q 设f 是舻到自身的映射若存在可微函数，：q _ r 1 ，使 v u n ，v f ( u ) = f ( u ) ，则称映射f 是q 上的梯度映射，函数，称为映射f 的梯 度函数 定义1 2 2 1 5 1 设eg 是舻到自身的映射若 f ( u ) f ( u + ) 丁 g ) 一g ( “) 】20 ， v u r ” 称f ( u ) 在 t t + 点g 单调；若u “+ 时，上述不等式严格成立，称f ( u ) 在扎+ 点 严格g 单调；若存在常数弘 0 ，使 f ( “) 一f ( u + ) 】r 【g ( “) 一g ( “+ ) ，z | | “一u l i 2 ，v uer “： 称f ( u ) 在u + 点g 强单调 显然上述定义是一般映射单调性定义的推广，并且由弱到强 定义1 ，2 3 1 6 设f j g 是肿到自身的映射若存在常数c 0 ，使 f f 忸) 一f ( u + ) ) t f g ( 扎) 一g ( 矿) c 0 f ( u ) 一f ( 札+ ) 1 1 2 ， v u r n ， 称，( ) 在“+ 点g 一强制 当g ( u ) = “时，f ( 铒) 在扎+ 点g 一强制即为f ( 珏) 在珏+ 点强制 定义12 4 设q 钟是一非空闭凸集，向量v 在q 上的射影算子玮( ) 定 义为 p n ( ) = r g r a 。i s n ：i i u 一“i i ( 1 2 2 ) 定理1 21 7 】+ 是广义变分不等式问题f 1 21 1 的解当且仅当 g ( 乱) = 只1 【g ( “+ ) 一a f ( + ) ：( 1 2 3 ) 2 其中n 是正常数，玮( t ) ：j p 斗( 2 是射影算子 定理12 2 【2 1 设【2 形是一非空闭凸集，只1 ( ) 足nl ：的射影算子，则有 l l 岛一焉( ”) | i 茎一v i i ，v 珏，”形 定理1 2 3 7 】设是问题f 1 2 1 ) 的解，则 陋( f ( u ) 一f ( u + ) ) + g ( u ) 一g ( u 4 ) t e ( “，o l ) l l e m ，。) l 2 + 。 f ( 乱) 一f ( 矿) 】t f g 心) 一g 似+ ) ， 其中e ( u ，0 = ) = g ( u ) 一岛 g ( “) 一。f ( “) 5 1 3微分方程稳定性理论与l a s a l l e 不变原理 考虑非线性自治系统： 裹= m ) ，z 删渚。c c 贮独 ( 1 ，2 ，5 ) ( 1 2 6 ) ( 13 1 ) 其中f ( o ) = o ，f ( x ) 是连续的并且满足初值问题存在惟一性定理的条件为方便， 不失一般性，我们假定。= 0 是系统( 1 3 1 ) 的平衡点 记系统( 1 3 1 ) 的满足初值条件。) = 护( t t o ) 的解为卫t o ，。) 定义1 , 3 1 v e 0 和t o 0 ，若存在d = 5 ( t o ，e ) 0 ，使得当l i x o f | o ( 0 ，水平集f z r “i v ( x ) sf ) 是有界的 定理1 3 6 【4 j 设函数g ：dcr “- 矗1 在凸集d ocd 是可微的那么，当 且仅当存在一个常数m 0 ，使得 g ( y ) 一g ( z ) v g ( z ) ( 可一贯) + m 掣一z l l 2 ，v 茁，静d o ， 成立，g 在d o 上是一致凸的( v 9 ( 茁) 表示函数窖( 。) 在x 点的梯度) 4 定理1 3 7 4j 设f ：dc 胛呻r 1 ，又设，在凸集d 。cd 是二阶可微的，那 么，慨：y d o ；存在一个t ( 0 、1 ) ，使得 1 ，( ) ，( z ) 一v ，( z ) ( f z ) = ；( z ) t v 2 。，( z + t ( y 一。) ) ( 一。) ， 其中v 2 ，( z ) 表示函数f ( z ) 在z 点的h e s s e 短阵 1 1 4 变分不等式问题的研究进展 在过去几十年中，许多数值方法被应用于求解变分不等式和相关的优化问 题，其中最重要的是基于w i e n e r h o p f 方程的射影算法，它对于求解变分不等式 问题的近似解是非常有效的射影算法的主要思想是利用射影概念，建立变分不 等式问题和不动点问题的等价关系，从而利用w i e n e r h o p f 方程求解这种等价 关系在研究求解变分不等式的射影算法中具有重要意义但是射影算法的收敛性 要求算子强单调且是l i p s c h i t z 连续的由于限制条件太强，使一大类问题不能 用这种方法求解，这就激发人们去改进射影算法或选用其它方法求解变分不等式 问题根据双射影理论，外梯度法通过在每次迭代增加一个预测和一个射影来克 服这个困难，因此，该方法也称为预估一校正法它的收敛性只要求原问题有解， 算予单调且l i p s c h i t z 连续。但当算子不是l i p s e h i t z 连续或l i p s c h i t z 常数不知道 时，外梯度法则需要类似于a r m i j o 线性搜索技巧在每一次迭代中用一个新的射 影来计算步长，这就使运算量加大为克服这些困难，文献 7 ，9 1 51 给出了若干 改进的射影算法和外梯度法 与广义变分不等式相关的有广义w i e n e r h o p f 方程1 1 7 , 1 8 1 s h i l l 9 1 和r o b i n s o n s o 从不同角度研究了w i e n e r h o p f 方程和广义变分不等式的关系利用射影 技巧，通常可以将变分不等式转化为等价的w i e n e r h o p f 方程，而w i e n e r h o p f 方程为求解变分不等式问题提供了一个有效的算法结构n o o r 等f 2 1 ，2 2 和 n o o r 、r a s s i a s 2 3 通过修正的w i e n e r ，h o p f 方程分析了求解广义变分不等式的 预估一校正型算法，并在文献2 1 2 3 1 中证明了该算法的有效性但是上述方法都 是序列迭代法，由于其计算时间依赖问题的规模和维数，因此很难满足实时性要 求，而且迭代法只能得到问题的近似解 自h o p f i e l d 和t a n k 】首次提出解线性规划的一个神经网络以来，用神经网 络求解优化问题得到了深入的研究，并取得了一些重要的成果 1 1 , 2 9 - 3 3 , 3 6 ，3 7 , 4 0 , 4 3 - 4 6 例如，k e n n e d y 和c h u a 4 0 】利用梯度法与罚函数法给出了解非线性规划的一 个神经网络，然而该网络的平衡点仅仅对应于非线性规划问题的近似解应用梯 度法与射影方法，b o u z e r d o r m 和p a t t i s o nf 3 3 1 提出了一个解有界约束的二次优 化问题的神经网络，此网络在目标函数严格凸的条件下，通过适当地选择权矩阵 就能指数稳定于唯一最优解此外，根据优化理论和射影方法，【4 1l 给出一个求 解具有上下界约束的非线性凸规划问题神经网络，并证明了在目标函数凸的条件 下，该网络一致渐近稳定地收敛于原问题的一个精确最优解对于常义变分不等 式问题，f r i e s z 等 4 2 提出一个射影神经网络求解它，但是 2 7 指出，文献 4 2 中保证网络稳定性的条件太强，而且在实际中很难验证f 2 7 j 进一步分析了该网 络的稳定性，但是其全局渐近稳定性要求变分不等式问题的解集有界以保证所给 的l y a p u n o v 函数的水平集有界而且，该文中指数稳定性条件也太强【2 8 】对 该网络的稳定性也进行了研究文中分三种情况用三个不同的l y a p u n o v 函数严 格证明了该网络的指数稳定性文献 4 3 ，4 4 ，45 1 还研究了具有非线性约束的变分 不等式的神经网络，其中 4 3 】研究了具有线性和上下界约束的变分不等式， 4 4 研究了具有不等式和等式约束的变分不等式，4 5 1 研究了具有不等式、等式和上 下界约束的变分不等式根据优化理论，上述几个问题均可等价转化为常义变分 不等式，利用射影技巧，f 4 3 ，4 4 ，4 5 构造了上述几个问题的神经网络，并在适当 的条件下证明了网络的稳定性和收敛性 上述神经网络适用于求解常义变分不等式及相应的优化问题，然而讨论用神 经网络求解广义变分不等式问题的文献还比较少文献 5 ，6 】讨论了用广义射影 神经网络求解广义变分不等式问题文献f 5 1 要求广义变分不等式中两个映射都 是可微的，并且其j a c o b i a 矩阵之和对称，然而在许多实际应用中，映射不可微， 或者其j a c o b i a 矩阵之和不对称，文献 5 对此并未给出任何结果文献 6 】也证 明了该网络的稳定性，并且其轨线指数收敛于广义变分不等式问题的精确解，但 是该证明是错误的 见第二章分析 基于上述考虑，有必要进一步讨论用神经网 络求解广义变分不等式问题此外，凸二次极大极小问题通过鞍点条件可以转化 为一类单调常义线性变分不等式问题，本文还给出了求解这一类变分不等式问题 的新的神经网络 1 5本文的主要研究工作 本文进一步讨论用神经网络求解变分不等式问题，主要有三方面的工作： 第一，分三种情况详细讨论广义射影神经网络的稳定性和收敛性与已有的 结果相比，前两种情形的结论不需要a v f ( u ) + v a ( u ) 对称，文中所有结论均不 要求f i c 。v f ( u ) + v g ( u ) | | 有界此外，文中还将常义变分不等式的一些结论推广 6 到广义变分不等式 第二，根据问题的结构特点及解的充要条件，构造了求解它的一个新的神经 网络，理论结果表明，当，1 ( “) 是g 单调时，该网络是l y a p u n o v 稳定的，并且其 轨线收敛于广义变分不等式问题的精确解与广义射影神经网络相比新模型的 稳定性不需要v f ( u ) + v a ( u ) 对称以及1 i v f ( u ) + v a ( u ) | | 有界 第三，讨论了一类单调线性变分不等式，一类凸二次极大极小阅题的鞍点条 件等价于该变分不等式基于问题的结构特点，提出了求解它的一个新的神经网 络定义了恰当的能量函数，严格证明了该网络是l y a p u n o v 稳定的，并且大范围 渐近收敛于原问题的一个精确解此外，新模型在适当的条件下是指数稳定的， 由于新模型与原问题规模相同，并且其参数易于选择因此其结构简单，适合硬 件实现 7 第二章广义射影神经网络 2 1 引言 考虑如下广义射影神经网络1 5 ，6 】： 面d u = 昂【g ( ) 一n f ( 珏) ) 一g ( 札) ， ( 21 1 ) 其中只g 是彤到自身的连续映射，q r “是非空闭凸集，o 是正常数，岛( ) 是射影算子显然，该动力系统仅用单层结构的回归神经网络就可实现吼而且 网络本身的复杂度只依赖映射f 似) 和g ( 札) 此外，该网络还包括一些已有神经 网络，例如：令g ( ) 一“，该网络变为如下形式 2 7 , 2 8 , 3 6 , 3 8 ： 面d u = 尸n u n f ( “) - “ ( 2 1 2 ) 当f ( ) = m u + p ( m 舻“是半正定矩阵，p r ”) 时，上述网络则为如下的 初始对偶神经网络【3 7 】： 面d u = p n u - a ( m u + 圳一u 。3 ) 令f ( u ) = 札，则该网络变为 4 9 1 ： 筹= p n a ( 札) 一q “卜州 ( 2 1 4 ) 当g ( 乱) = w u + q ( w r “是半正定矩阵，口r “) 时，上述网络则为如下的 对偶神经网络 3 5 】： 万d u = p n ( w 乱+ g a u ) 一u g ( 2 1 5 ) 当f ( u ) ，a ( u ) 均为如上仿射映射时，上述网络则为如下形式 5 】： 面d u ；p n ( w d m ) + ( q - a p ) 一甜一q ( 2 1 6 ) 由于映射f ( “) 和g ( ) 不一定是线性的，因此广义射影神经网络是上述射影神经 网络和对偶神经网络的推广 广义射影神经网络与广义变分不等式有密切关系广义变分不等式问题1 1 6 , 2 6 ( g v i ) 为：找向量珏8 兄n ，使 g ( “+ ) n ，阻一g ( 札+ ) 】t f ( u + ) 20 v u q ( 2 i 7 ) 8 关于其解的存在性可见 2 4 ，2 5 ，2 6 】 f i 2 1 】知求解( g v i ) 问题等价于解如f 广义 方程： g ( u j p f 2 f g ( n ) 一f ( u ) 】= o 21 8 ) 由上式知，广义射影神经网络( 21 ，1 ) 的平衡点即为( g v i ) 问题的解，因此( g v i ) 问题的解可由系统( 2 ，1 1 ) 的平衡点得到众所周知，( g v i ) 问题是许多优化问 题、经济问题和工程问题的一般模型特别地，( g v i ) 包括常义变分不等式问题、 变量变分不等式、常义互补问题和广义互补问题等常义变分不等式问题为：找 向量+ er “，使 + n ，( “一u + ) 7 。v ( u + ) 0 j v u q ( 2 1 9 ) 变量变分不等式问题为：找向量“+ 舻，使 g ( u ) n ，( u g ( “) ? 2 + 0 ，n ( 2 1 i 0 ) 常义互补问题为：找向量- g r ”，使 矿三0 ，f ( 4 ) 20 ，( 札+ ) 7 f ( u + ) = 0 广义互补问题为：找向量u 4 r n ，使 g ) 20 ，f ( u 8 ) 三0 ，g + ) ? f 心+ ) 一0 m 曼斟 9 解它根据6 1 中定理8 2 对任意初始点u o ，系统( 21 _ 2 ) 的解轨线指数收敛于该 问题的惟一解t z + ，但上述模型对初始点o = f 一】，l ，o 卵并不稳定( 见第三章例 3 34 及图3 4 ( a ) ) 此外，该例中v f ( u ) + v g ( t o ) = m + ，正定但并不对称，因此 【5 】中的结果对于上述问题并不能保证系统( 2 。1 2 ) 的稳定性基于上述考虑，有 必要进一步分析系统( 2 1 1 ) 的稳定性和收敛性， 本文假定问题( 21 7 ) 的解集n + d ，并且有有限解u + 5 2 2 稳定性分析 本节分三种情形：g 、f 分别为梯度映射以及g + 口f 为梯度映射来详细 讨论系统( 21 1 ) 的稳定性和收敛性首先讨论当g 是梯度映射时，系统( 2 , 1 1 ) 的动态行为 ag 是梯度映射 定理2 2 1 设f ( “) ，g ( 乱) 局部l i p s c h i t z 连续。若g ( u ) 是强单调的梯度映 射，并且f ( ) 在矿点g - 强制( 强制系数为c ) ，则当q 4 c 时，系统( 2 1 1 ) 是 l y a p u n o v 稳定的，且v u o r n ，( 2 1 1 ) 的对应轨线收敛n 4 特别地，当甜= 矿 时，系统( 2 1 1 ) 全局渐近稳定地收敛于“进一步，若f ( u ) 在( 2 17 ) 的所有解 处都是g 一强制时，系统( 2 11 ) 的轨线收敛于问题( 2 1 7 ) 的一个精确解 证明分三步证明定理结论( 1 ) 首先证明系统( 2 1 1 ) 的稳定性 由( 1 25 ) 式知射影算子忍( ) 是非扩张的由假设f ( u ) ，g ( 乱) 局部l i p s c h i t z 连续可得e ( u ，o ) 局部l i p s c h i t z 连续由微分方程初值问题解的存在惟一性定理 有，v u o r “，系统( 2 1 1 ) 存在惟一连续解( t ) ( “( o o ) = o ) ，且其最大存在区间 为 t o ，r ) 因为g ( u ) 是梯度映射，所以存在函数g ( ) ，使得v g ( u ) = g ( ) ，v u r “考 虑函数： ( 札) = g ( u ) 一g ( u + ) 一( u u + ) t g ( + ) ，v u r “，( 2 2 1 ) 其中u + q + 是( 2 1 7 ) 的有限解由定理1 ，2 3 ，f ( 甜) 在“+ 点g 一强制以及q 0 ， 使得 9 ( u ) g (