（应用数学专业论文）一类非线性共轭梯度法的收敛性研究.pdf

摘要 摘要 本文研究求解无约束优化问题的非线性共轭梯度法的全局收敛性问题，主要由 三部分组成： 第一部分，简要回顾了非线性共轭梯度法的产生、发展和特点，介绍了这种方 法的一些重要形式及其产生的背景，在这些算法中，d 哄轭梯度法由于其良好的内 在性质，近年来备受关注，我们结合种肋螗型的线搜索和d y 共轭梯度公式，提出 了一个新的求解无约束优化问题的共轭梯度算法，在适当的条件下，若目标函数为 严格凸函数，则无需下降洼条件，我们即可证明算法是全局收敛的。 ， 第二部分，我们给出了一个新的共轭梯度公式，并且分析了新公式所具有的两 个性质。即：如果目标函数为严格凸函数，那么不依赖任何的线搜索，新公式产生 一个下降方向，另外，如果线搜索采用腑妇线搜索准则，那么新公式也产生一个 下降方向。结合新公式和d y 公式，给出了一个混合的共轭梯度公式，在肋船线搜 索条件下，提出了一个共轭梯度算法，在无下降l 生条件下得到了算法的全局收敛性 结果。 第三部分，结合我们提出的新公式和h s 公式，给出了一个混合的共轭梯度公 式，结合姥线搜索，给出了一个新的共轭梯度算法，新算法具有性质( ) ，在两 个经典假设，以及充分下降眭条件满足的情况下，我们给出了算法的全局收敛性。 关键词：无约束优化；共轭梯度法；线搜索；全局收敛 a b s t r a c t a b s t r a c t t h i st h e s i sr e s e a r c h e st h eg l o b a lc o n v e r g e n c eo ft h en o n l i n e a rc o n j u g a t eg r a d i e n t m e t h o df o rs o l v i n gu n c o n s t r a i n e do p t i m i z a t i o np r o b l e m s t h e r ea r et h r e e p a r t si nt h i s t h e s i s f i r s t l y , w es i m p l yr e v i e wt h ee m e r g e n c e ，d e v e l o p m e n ta n dc h a r a c t e r i s t i c so f n o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o d ，i n t r o d u c i n gs o m ei m p o r t a n tf o r m u l a sa n dt h e i r b a c k g r o u n do ft h em e t h o d i na l lt h e s ef o r m u l a s ，d ym e t h o di sf a m o u sf o ri t sg o o di n n e r p r o p e r t i e s an e wa l g o r i t h me m p l o y i n gaw o l f e - t y p el i n es e a r c ha n dd ym e t h o di sg i v e n t h eg l o b a lc o n v e r g e n c eo ft h en e wa l g o r i t h mi s g i v e nw i t h o u td e s c e n tp r o p e r t yf o r s t r i c t l yc o n v e xo b j e c t i v ef u n c t i o nu n d e rs o m ep r o p e rc o n d i t i o n s s e c o n d l nw eg i v ean e wf o r m u l ao ft h ec o n j u g a t eg r a d i e n tm e t h o da n da n a l y z et w o p r o p e r t i e so f t h en e wf o r m u l a n a m e l y , t h en e wf o r m u l aw i l lp r o d u c ead e s c e n td i r e c t i o n w i t h o u ta n yl i n es e a r c h e si ft h eo b j e c t i v ef u n c t i o ni ss t r i c t l yc o n v e x w ep r o p o s ean e w c o n j u g a t eg r a d i e n ta l g o r i t h mf o ru n c o n s t r a i n e do p t i m i z a t i o nw i t hw o l f el i n es e a r c hr u l e s a n dam i x e df o r m u l at h a tc o m b i n e st h en e wf o r m u l aa n dd yf o r m u l a t h eg l o b a l c o n v e r g e n c eo f t h en e wa l g o r i t h mw i t h o u td e s c e n tc o n d i t i o ni sg o t t e n f i n a l l y , w ep r o p o s ea m i x e df o r m u l ac o m b i n e dn e wf o r m u l aa n dh sf o r m u l a an e w a l g o r i t h mi sd e v e l o p e dw i t ht h em i x e df o r m u l aa n dw o l f el i n es e a r c hr u l e t h en e w a l g o r i t h ms a t i s f i e sp r o p e r t y ( $ ) w ep r o v e dt h eg l o b a lc o n v e r g e n c eo ft h en e wa l g o r i t h m w h e nt w os t a n d a r da s s u m p t i o n sa n ds u f f i c i e n td e s c e n tc o n d i t i o na r es m i s f i e d k e yw o r d s ：u n c o n s t r a i n e do p t i m i z a t i o n ；e o n j u g a t eg r a d i e n tm e t h o d ；l i n es e a r c h ； g l o b a lc o n v e r g e n c e 青岛大学硕士学位论文 学位论文独创性声明 本人声明，所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中 依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法律意义上 已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申请的论文或成 果。 本人如违反上述声明，愿意承担由此引发的一切责任和后果。 论文作者签名： 醐：砷年砂j 日i ， 青岛大学硕士学位论文 学位论文知识产权权属声明 本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属学校。 学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校 后发表或使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为 青岛大学。 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密口。 ( 请在以上方框内打“4 ”) 论文作者签名：猎 导师签名 瀚之些 日期：却年f 月五 f 1 日期：z 舢车j 月；7 日 i f ( 本声明的版权归青岛大学所有，未经许可，任何单位及任何个人不得擅自使用) 引言 引言 在自然科学，社会科学，生产实践，工程设计和现代化管理中有许多实际问题， 需要从众多的方案中选出最优方案，这即是最优化问题最优化理论与方法是从上世 纪四十年代蓬勃发展起来的用来解决最优化问题的一门独立的学科。根据不同的分 类方法，最优化问题可以分为线性规划，非线性规划，整数规划，动态规划，多目 标规划等，其中很多问题最后都转化成无约束优化问题来求解本文主要研究求解无 约束优化问题的共轭梯度法 共轭梯度法具有算法简单，存储需求小，收敛速度快，易于实现等优点，十分 适用于求解大规模的无约束优化问题在石油勘探，大气模拟，航空航天，国防， 化工等领域出现的特大规模的优化问题常常也是利用共轭梯度法求解 共轭梯度法最早是由数学家h e s t e n e s q 和册咖产】在2 0 世纪5 0 年代初为求解线 性方程组 a x = b , x r ( 1 ) 而提出的，他们合作的著名文章 3 1 被认为是共轭梯度法的奠基工作该文章详细讨 论了求解线性方程组的共轭梯度法的性质及它与其他方法的关系当a 为对称正定 矩阵时，线性方程组( 1 ) 等价于最优化问题 r d m 。土，x r a x b 7 x ( 2 ) m 2 、7 因此，h e s t e n e s 和s a e f e t 的方法也可视为求二次函数极小值的共轭梯度法1 9 6 4 年 f l e t c h e r 和r e e v e s 将此方法推广到非线性优化，得到了求一般函数极小值的共轭梯 度法随后，b e a l e ，f l e t c h e r , p o w e l l 等学者对非线性共轭梯度法进行了深入的 研究，给出了非线性共轭梯度法收敛性分析的早期成果近年来，国内外的众多学者 在非线性共轭梯度法的收敛性方面作了大量的工作，得到了不少新鲜的结果 4 - 1 川 共轭梯度算法的基本原理是利用产生的共轭方向将一个1 7 维的优化问题转化为 等价的n 个一维问题对于无约束优化问题： n f m f ( x ) ( 3 ) j e j r 给出一个初始点气，算法产生迭代序列乜，x 3 ，希望某一稚是( 3 ) 的解或点列收敛的 解在线搜索型的方法中，第k 次迭代从当前点娩，产生一搜索方向以r ”，下一 迭代点为： 青岛大学硕士学位论文 x k + l = + 吼以 ( 4 ) 求解上述问题的共轭梯度法是从求解线性方程组( 1 ) 的线性共轭梯度法推广而 来的其搜索方向是负梯度方向与上一次迭代的搜索方向的线性组合，它表示为 玩= 一+ 反矾- i( 5 ) 计算喀的关键在于展的取法，不同的屈对应不同的非线性共轭梯度法 最早的非线性共轭梯度法用方法是由f e t c h e r 和r e e v e s 在1 9 6 4 年将求解线 性方程组的共轭梯度法推广用于求解优化问题( 3 ) 而得到的，其形式为 矽= 器 御 f r 方法具有很好的全局收敛性，但有时数值表现不是很好 由p o l a k g i b i a p o l y a k 在1 9 6 9 年提出的p r p 方法，其形式为 肛哗铲 p r p 方法是目前认为数值表现最好的共轭梯度法之一，其原因是当算法产生一 个小的步长时，由p r p 方法定义的搜索方向自动靠近负梯度方向，从而较为有效地 避免了f r 方法可能产生连续小步长的缺点，因而具有很好的数值表现，但得到的 全局收敛性结论不是很好 ， 由h e s t e n e s ，s t i e f e l 提出的月s 方法，其形式为 胪= 躺 ( 8 ) h s 方法的性质类似于p r p 方法，结合h s 方法，本文给出了一个混合的共轭梯度法， 其形式为 = 一t 蛙蓑耄掣，吣 并证明了算法具有性质( 。) 。 由我国学者戴或虹和袁亚湘在1 9 9 5 年提出的d y 方法，其形式为 肛鹄 ( 9 ) d y 方法具有很好的伞局收敛性和数值结果 2 引言 在迭代公式( 4 ) 中，吒为搜索步长，步长的选取方法有：精确或不精确线搜索 准则，取常数步长等精确线搜索的思想是：我们期望在迭代过程中从黾点出发得 到一个好的点作为下一个迭代点，也即使得函数值下降量最大，显然，最好的 点是使得函数值达到最小的点，即要求 厂( 鼍+ 嚷反) 2 咖，( 黾+ 口吱) 这就是所谓的精确线搜索由于精确线搜索要求一个单变量函数的极小值，计算量较 大，所以在实际计算中常常用到非精确线搜索常用的非精确线搜索准则主要有： w o l f e 线搜索准则： ，( 以+ 吼破) 一f ( x k ) 6 g ：畋 ( i o ) g ( x k + 吒反) 7 反仃反喀 ( 1 1 ) 其中，0 艿 仃 l 本文在第二章给出了一个新的计算公式2 刁g ；j ( g 云k 丽- d , _ 1 ) ，结合席7 给出了 一个混合的共轭梯度算法，并证明了算法在w o l f e 线搜索准则下的全局收敛性 如果( 1 1 ) 为 i g ( + 吒反) 卜口l 彩i ( 1 2 ) 其中0 6 矿 l ，则( 1 0 ) 和( 1 2 ) 称为强勋狰线搜索准则 如果( 1 1 ) 为 q g ( 以+ 吒破) 一c r 2 g k ( 1 3 ) 其中o d - - 2 0 o ! i l i d l0 2 0 1 4 ) 其中0 p 占 0 使： i i g ( x ) - g ( y ) l t - o ，面= 一g l ，k 净1 一 s t e p 2 如果0 矾l 占，则停止否则，进行线搜索求得败使其满足线搜索( 1 r 1 3 ) ( 1 1 4 ) ， 工k “= z + 口畋o ，以+ l = 一g “+ 屈“d i ，k - k + l ， 转s t e p 2 引理1 2 1 若假设条件俐成立，( x ) 为置”上的严格凸函数，则d y 方法产生 的搜索方向为下降方向，即对v 七一1 , 2 都有& 0 证明用归纳法证 当，l = 1 时，d l = - 9 1 ，有 6 第一章一种线搜索下d y 共轭梯度法的全局收敛性 d r g 。= 一1 2 o 成立 假设盯= k - 1 时有d h rg l l 0 也即： d h r ( g l g k t ) 0 d r g t = g t ( 一g i + 反d k 一1 ) = 一恢0 2 + 反g ：反。 = 一i m 2 + 热g ：或一。 即对于玎= k 的情况定理也成立 1 2 。( & 一g ) ( 1 2 1 ) 引理1 2 2 1 2 1 若假设( a ) ，彻成立，考虑一般方法x = h + 吼d k ，其中d k 是下 降方向，吼由线搜索( 1 1 3 ) ，( 1 1 4 ) 得到，则有 1 3 全局收敛性 砉学i d y l l 0 ，使得 7 青岛大学硕士学位论文 由d k = 一g k + 尻以一l 可得 慨0 2 - c ，k = l ，2 ， 对( 1 3 2 ) 式两边取模平方并移项可得 由( 1 2 1 ) 式可知 ( 1 3 1 ) ( 1 3 2 ) 1 2 = 群雌。卜2 9 。r d 。一i i g 。8 2 ( 1 3 3 ) 肚热= 磊g t d k 将此式带入( 1 3 3 ) 式并两边除以( g ：破) 2 可得 。i d2 1 i d , w 2 一监t l ( g ：d 。) 2c , - ，d 。一，) 2g 。t 或( g ；哝) 2 = 面l l d , - 再, l l 一 i i g , l l + 糕) 2 + 击 ( 9 0 以。) 2 、。g ；以7 。1 2 面n d , _ 再g + 玎1 d k i l g ( 1 3 4 ) ( g ：一ii ) 2 10 器= 蛾( - - g ( g o = 旨g i2 寿 ( 酊吐) 2 2 i li 【4 1 2 则对( 1 3 4 ) 式依次递推可得 盟 险+ l ( g ；以) 23 ( 9 0 一d “) 2 。i i g , 1 1 2 丽iid,_,112+丽1+玎1ig i g( g ：2 缸2 ) 。i 川2i 旷 上蚶 。 三 2 。i 这与引理1 2 2 矛盾，故假设错误，定理成立，全局收敛性得证 上述结果在理论上推广了d y 共轭梯度法 9 七一f 一 上蚶 。m 静 。柚 青岛大学硕士学位论文 第二章w o l f e 线搜索下一类混合共轭梯度法的全局收敛性 本章给出了一个新的共轭梯度公式，新公式在精确线搜索下与d y 公式等价， 并给出了新公式的相关性质结合新公式和d y 公式提出了一个新的混合共轭梯度 算法，新算法在肋瓣线搜索下产生一个下降方向，并证明了算法的全局收敛性 2 1 引言 对于无约束优化问题： 磐m ) 其中：彤_ r 是连续可微函数，我们仍然考虑一般的共轭梯度法 x i “= 工t + 口i d k( 2 1 1 ) 以= k ! ：，- ： 其中段是参数，步长因子满足w o l f e 线搜索准则 f ( x k + 吼矾) 一f ( x k ) 觑反吨 ( 2 i 3 ) g ( 黾+ a k d d 7 反d 苫：以 ( 2 1 4 ) 其中，0 艿 盯 l g f d k 0 魁 证明用数学归纳法证明 当k = 1 时 玎西= 一i i g , 1 1 2 o 假设对七一l 的情况有9 0 l 以一l o ( 2 1 6 ) 1 岛- l o 1 l 青岛大学硕士学位论文 则 故 8 0 2 。一。一0 爵吨。1 1 2 o 得 ( 一g k - 1 ) 2 哝- l 0 由( 2 1 5 ) 和归纳假设法可得 g t d k 0 定理2 1 1 刻画了新公式在肋舱线搜索准则下产生一个下降方向的性质，定理 2 1 2 说明当日标函数为严格凸函数时，不依赖于任何线搜索，新公式产生一个下降 方向 结合d y 共轭梯度公式和新公式，我们给出如下一个混合公式 厥p 蝶7 w , 硫t f o 。 如- i o ，盔= 一g i ，七_ 1 s t e p2 若i 陬8 0 使： i i g ( 力一g ( y ) 0 & - y u ，v x ，y u 对于算法2 2 1 ，我们有 引理2 3 1 l u l假设目标函数满足假设俐和例，考虑迭代以+ l = 黾+ o r l 以，其 中吐满足西以 o ，满足条件( 2 1 3 ) 春1 1 ( 2 1 4 ) ， 则有 砉学i d y l l 智i 2 引理2 - 3 2 如果目标函数满足假设例，考虑方法( 2 1 d - ( 2 1 2 ) ，其中满足 肋掘线搜索准则( 2 1 3 ) ( 2 1 4 ) ，厥由( 2 2 1 ) 计算，则有对v 七1 有西如 o 成立 证明当k = 1 ，我们有 万吨= 一2 o 假设正l 丸一1 。 蔹d f 感卜g 。+ 母一。0 = 一i l g k l l 2 + 热2 爵柏 = 磊j i 鲰l g k l l ：2 瓤一。) g l t 以一1 。 ( 2 3 1 ) 靠d k o 引理2 3 , 3 如果目标函数满足假设例，考虑方法( 2 1 d - ( 2 1 2 ) ，其中满 勋够线搜索准则( 2 1 3 ) ( 2 1 4 ) ，反由( 2 2 1 ) 计算，则对v 七1 我们有l 羼i 茎劈7 若 则 证明当0 盯 i 2 时，我们有2 1 盯 由( 2 i 6 ) 和( 2 3 2 ) 知 由( 2 3 3 ) 式，可得 o g r d k l 2 0 既俨 屈= 矿= 石g r ( 万g 女_ 面d k _ 1 ) 口：。岔一2 。， ( 2 3 2 ) ：划e 二出丝 露1 ( g k g k 1 ) = 矿一丽g 暑d k - 1 渊 一：刭剑： 一；建垡必 o d - l ( g k g k 1 )碰一( g k g k 一1 ) 1 4 第二章w o l f e 线搜索下一类混合共轭梯度法的全局收敛性 一瞅( 8 k = 8 h “8 由( 2 2 1 ) 式可知l 展i 厣7 成立 当1 2 o - 1 时， 我们有l 1 仃 2 ， 若 o 如1 割繇1 1 2 则 由( 2 1 6 ) 和( 2 3 4 ) 由( 2 3 5 ) ，可得 展= 矿= 躺a 11 2 0 一2 0 ，l = 一捣 一土f8 巡一 一虹 0 ， 使得 l i g k l l 2 c k = l ，2 ，( 2 3 6 ) 由( 2 1 2 ) ，我们有 吨+ 鲰= 版以一1 ( 2 3 7 ) 1s 青岛大学硕士学位论文 ( 2 3 7 ) 式两边平方可得 由引理( 2 3 3 ) 则 由( 2 3 1 ) 式 由( 2 3 8 ) 式可得 因为当k = l 时有 我们可得 由假设可知 慨1 1 2 = 所k 。1 2 2 9 ；d , 一1 2 展i s 劈7 靠f 1 2 ( 露y ) 28 以一l 2 2 9 ；d k i i g d 2 ( 2 3 9 ) 肛热= 畿 = 函4 1 d k - 再, h ：一喃+ 蚺g f d k + 砰1 旦 i i d y l l 2 一k 与引理2 3 1 矛盾，因此方法全局收敛 1 7 七一c v j i 蚶 。 静 。m 青岛大学硕士学位论文 第三章与h s 方法相关的一类混合共轭梯度法的全局收敛性 结合新的共轭梯度公式和h s 共轭梯度公式，给出了一个新的混合共轭梯度公 式，提出了一个新的共轭梯度算法，证明了新算法具有性质( 书) ，在w o l f e 线搜索下 证明了新算法具有全局收敛性 3 1 引言 仍然考虑求解如下无约束优化问题 ，m 。舻i n f ( 工) ( 其中f ：r ”寸r 连续可微) 的非线性共轭梯度法 黾“= 以+ c q d k 匝= 一g 。- + g 屏, 瓯。k ，2 ：2 其中葺是给定的初始点，以是搜索方向，是由w o l f e 线搜索准则 铒k + a k d k ) - - f ( x k ) i s c q 羲d k g b k + a 叠jd t 仃g ：d t ( 3 1 1 ) ( 3 1 2 ) ( 3 1 3 ) ( 3 1 4 ) ( 3 1 5 ) ( 兵甲，0 万 0 使： i i g ( x ) - g ( y ) l - o ，矾= - 9 1 ，k - 1 s t e p 2 若恬。i l 占，停止否则由w o l y e 线搜索条件( 3 1 4 ) 和( 3 1 5 ) 计算， x 2 x t + a t d k s t e p 3 由公式 = 一衅恚舞笋，m 计算像+ l ，d k “= - g + 尾+ i d k ，k 净k + l ，转s t e p 2 3 2 2 性质( 的 考虑方法( 3 1 2 ) 和( 3 1 3 ) ，假设 o r 0 ，使得 l a l _ - i ( 3 2 2 ) 且 i i s , - , l l 旯j 万1 3 ) 其中s k 一12 x k - x k 我们假设w o # 线搜索条件，两个假设和充分下降性条件 1 9 青岛大学硕士学位论文 一反- c i l g , l l ( 3 2 4 ) ( c 0 ) 满足，则由的定义，我们有 防l 防l = l g 。( ( g 吼k - 一g 2 - 一1 。) ) i 幽：刿址虹 ( 1 一盯) c i j 卫 n o r ) e 1 2 令 6 2 ( 1 - 生# ) c r 2 若恢。i i - - _ , ，则有 l l l 酽l = 旧g r ( ( g & k - 一g q 一，) ) i ! 堡垒二型! ( 1 - 力c i i 颤 - i ，则j 五 o ，使得v e z + 和七0 ， 存在，满足l 。 百a 其中z + 是正整数集，磷= z + ：k s i a k + a - i ，。0 m ，l 矗i 表示集合 k 。z 的元素个数 定理3 3 1 假设目标函数，满足假设( a ) 和( b ) ，考虑方法( 3 1 2 ) 和( 3 1 3 ) ，其 中展= = 一 鲢焉掣，0 ，步长满足蛐条件( 3 1 4 ) 和( 3 1 5 ) ，充分下降性条件( 3 2 4 ) 满足，则我们可得l i m i n fl i g j - - o 证明用反证法，假设结论不成立，则存在正常数厂 o ，使得 0 s , 1 1 2 y k - - 1 2 一 根据的定义，我们可知彤o ，则引理3 3 1 和引理3 3 2 的结论可得 我们令铲 | ，则删加狮趴我们有 而一以一。= h 陋 i l 青岛大学硕士学位论文 - - e h 慨。+ h 忖。；一“。) ( 3 3 1 ) 由假设俐，我们知j 善 0 ，使得 s 善 ( 3 3 2 ) 对( 3 3 1 ) 式两边取范数，结合( 3 3 2 ) 式， 我们可得 h 1 1 ( 3 3 5 ) 对v i 【七，七+ r 1 】，由c a u e h y s e h w a r z 不等式和( 3 3 4 ) 式，可得 1 1 , , , - 1 - u k - l l l e “l l q 一叫 s ( i - 舻( 翔u ，- u , _ , 1 1 2 ) 趟( 去卢 = 三 2 由上式，结合( 3 3 5 ) 式和( 3 3 2 ) 式， 我们可得 第三章与h s 方法相关的一类混合共轭梯度法的全局收敛性 2 孝i | k 乞+ a - 1 i i “i 二，i 鲁盼 勉 一 4 则我们可得a 8 ，这与的定义相矛盾 青岛大学硕士学位论文 结论 本文对共轭梯度法的全局收敛性进行了研究，取得的主要成果有以下几点： 1 针对一种新的线搜索厂( 以+ a , d d - f ( x d 一p 0 喀旷 g ( 以+ a k d i ) 7 以- 2 0 a k l k l i 旷 结合= 捣， 给出了一个新的共轭梯度算法，并且证明了新的算法具 有全局收敛性在理论上扩展了d y 共轭梯度法 2 我们得到了一个新的计算公式芦r = 孺g ；j ( g 夏k - - = d 云k _ j , ) ，并对新公式的性质进行了 讨论然后，证明了当目标函数为严格凸函数时，不依赖任何的线搜索，新公式产 生一个下降方向对于具有良好计算性质的肋蜘线搜索准则 f 缸k + a t d 0 一f 讧0 s a h k g ：d k g ( + 吒以) 1 嗄盯砟 其中o 占 盯 1 我们证明了新公式在肋盼线搜索准则下也具有下降性并且绘 出了如下的一个混合公式： 厥- 鬈铀一珈船肝 结合w o l f e 线搜索准则，我们给出了一个新的混合共轭梯度算法，并证明了算法的 全局收敛性 3 结合上述新公式和h s 公式，我们给出了如下一个混合公式： = 一t 址焉紫，o ， 使用肋舱线搜索准则，我们给出了一个新的混合共轭梯度算法，并且证明了如果 算法满足两个常用的假设条件以及充分下降性条件 一爵以c 0 0 2 则算法具有性质 ) ，进而算法的全局收敛性也得到了证明 以下问题还有待于我们进一步研究： 我们在文中给出的新公式，其在其他一些线搜索下的性质还有待迸一步探究 结论 利用非单调共轭梯度法来解决一些特殊问题，具有良好的效果，这也是值得我们进 一步探究的另外，a r m i j o 型线搜索也是一类非常重要的线搜索，对于这一类线搜 索下的共轭梯度法的研究，也具有非常重要的意义 青岛大学硕士学位论文 参考文献 lh c s t e n e sml li t e r a t i v em e t h o df o rs o l v i n gl i n e a re q u a t i o n s j o t a ，1 9 7 3 。l ：3 2 2 - 3 3 4 2s t i e f e ! el u b e re i n i g em e t h o d c md 盯r e l a t i o n s r e c h m m g z e i t s c h r i f i tf u ra n g e w a n d t e m a t h e m a t i k u n d e rp h y s l k3 。1 9 5 2 3 h e s t e n e s m s t i e f e l e l m e t h o d s o f c o n j u r e g r a d i e n t s f o r s o l v i n g l i n e a rs y s t e m s j r e s n a t b u r s t a n d a r d ss e c t 1 9 5 2 ，5 0 9 ) ：4 0 9 4 3 6 4f l e t c h e rl 乙r e e v e sc f u n c t i o nm i n i m i z a t i o nb yc o n j u g a t eg r a d i e n t s , c o m p u tj ，1 9 6 4 ，7 ：1 4 9 1 5 4 5g i l b e r t j c ，n o c e d 鼬j ，g l o b a l c o n v e r g e n c ep r o p c r t i e s o fc o n j u g a t eg r a d i e a tm e t h o d sf a r o p t i m i z a t i o n , s i a m j o u r n a lo no p t i m i z a t i o n , 1 9 9 2 ( 2 ) ：2 1 - 4 2 6d a iyi - ly u a ny an o n l i n e a rc o n j u g a t eg r a d i e n tw i t has t r o n gg l o b a lc o n v e r g e n c ep r o p e r t y ， s i a mj o u r n a lo f o p t i m i z 鲥o n , 2 0 0 0 , 1 0 ：1 7 1 8 2 7t o u a t i - a l w a e d1 3 , s t o r e yc e f f i c i e n th y b r i dc o n j u g a t eg r a d i e n tt e c h n i q u e s , j o p t i m i z a t i n nt h e o r y a p p l 1 9 9 0 ，6 4 ：3 7 9 - 3 9 7 8 z o u t e n d i j k ，g , n o n l i n e p r o g r a m m i n g ：c o m p u t a t i o n a l m e t h o d s , i n t e g e r o u d n o n l i n e a r p r o g r a m m i n g , e d i t a d b y j a b a d i e ，n o r t h - h o l l a n d , a m s t e r d a m h o l l a n d , 1 9 7 0 ，3 8 6 9a b b a a l m ，d e s c e n tp r o p e r t ya n dg l o b a lc o n v e r g e n c eo ft h ef l e t c h e r - r e e v e sm e t h o dw i t hi n e x a c t l i n es e a r c h e s ，i m a j o u r n a lo f n u m e d c a la n a l y s t s , 1 9 8 5 ( 5 ) ：1 2 1 - 1 2 4 1 0c o h e n a ，r a t eo fc o n v e r g e n c eo fs e v e r a lc o n j u g a t eg r a d i e n ta l g o d t h m s , s i a m j n u m e r , a n a l , 1 9 7 2 ( 9 ) ：2 4 8 - 2 5 9 11d a ly u h o n g , y u e ny a x i a n g an o n l i n e a rc o n j n g a t eg r a d i e n tw i t has t r o n gg l o b a lc o n v e r g e n c e p r 叩e 吼s i a mj o u m a lo f o p t i m i z a t i o n , 2 0 0 0 ，1 0 ：1 7 7 1 8 2 1 2w a n gc h a n g y n , d us h o u q i a n g , c h c n l 卸”l ，g l o b a lc o v e r g e n c ep r o p e r t i e so ft h r e e t e r m c o n j u g a t eg r a d i e n tm e t h o dw i t hn e w - t y p el i n es e a r c h , j o u r n a lo fs y g e m ss c i e n c e a n d c o m p l e x l y , 2 0 0 4 , 1 7 ( 3 ) ：4 1 2 - 4 2 0 。 1 3 c _ 7 _ o m e n d i j k , n o n l i n e 舡p r o d m n m i n g , m p u t a t i o n a lm e t h o d s , i n ：i n t e g e r a n dn o n l i n e a r p r o g r a m m i n g , a b e d i e ，e d , n o r t h - h o l l a n d , a m s t e r d a m , 1 9 7 0 ，3 7 8 6 1 4 戴或红，袁亚湘非线性共轭梯度法上海：上海科学技术出版社，2 0 0 0 1 5 郭文英，徐大川，申贵成h e s t e n a s s f i e f e l 共轭梯度法的全局收敛性科学通 报1 9 9 5 , 2 3 ( 4 0 ) ：2 11 3 - 2 11 7 参考文献 1 6 袁亚湘，孙文瑜最优化理论与方法北京：科学出版社，1 9 9 7 1 7 徐泽水 c l a s so f n e wc o n j u g a t eg r a d i e n tm e t h o d s 数学杂志v 0 1 2 2 ( 2 0 0 2 ) n o 1 2 3 0 1 8 席少霖非线性最优化方法北京：高等教育出版社，1 9 9 2 1 9p o w e l lmjd n o n c o n v e xm i n i m i z a t i o nc a l c u l a t i o n sa n dt h ec o n j u g a t eg r a d i e n tm e t h o d , i n ：l e c t u r e n o e si nm m h e m a t i e sv o l1 0 6 6 ，b e r l i n ：s p r i n g e r - v e r l a g , 1 9 8 4 ：1 2 2 - 1 4 1 2 0t o u a t i - a h m e dd s t o r e yt e f f i c i e n th y b r i dc o n j u g a t eg r a d i e n te c l m i q u e s , j o p t i m i z a t i o nt h e o r y a p p l 1 9 9 0 , 6 4 ：3 7 9 3 9 7 2 1 戚厚铎，韩继业，刘光辉修正 b t e n e p s t i e f e l 共轭梯度算法擞学年刊，1 9 9 6 ，1 7 a ( 3 ) ：2 7 7 - 2 8 4 2 2 y h d a l y x y u a n a ne f f i c i e n th y b r i dc o n j u g a t eg r a d i e n tm e t h o df o ru n c o n s t r a i n e d o p t i m i z a t i o n , a n n a l so f o p e r a t i o n sr e s e a r c h1 0 3 ( 2 0 0 1 ) ：3 3 4 7 2 3d a iyny u a ny af l u e e - p a r a m e t e rf a m i l yo fn o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o d s , r e s e a r c h r e p o r ti c m - 9 8 - 0 5 0 , i n s t i t u t eo fc o m p u t a t i o n a lm a t h e m a t i c sa n ds c i e u t i f i c e n g i n e e r i n go n i n p u n i n g ，c h i n e s ea c a d e m yo f s c i e n c e , 1 9 9 8 2 4 p o w e l l mj d r e s t a r t p r o c e d u r e s o f t h e c o n j u g a t e g r a d i e n t m e t h o d , m a t l i p r o g r a m 1 9 7 7 , 2 ：2 4 1 - 2 5 4 2 5p o l y a kbt t h ec o n j u g a t eg r a d i e n tm c