非线性最优化问题的一种混合解法

1、非线性最优化问题的一种混合解法摘要：把BFGS方法与混沌优化方法相结合，基于混沌变量提出一种求解具有变量边界约束非线性最优化问题的混合优化方法。混合算法兼顾了混沌优化全局搜索能力强和BFGS方法收敛速度快的优点，成为一种求解非凸优化问题全局最优的有效方法。算例表明，当混沌搜索的次数达到一定数量时，混合优化方法可以保证算法收敛到全局最优解，且计算效率比混沌优化方法有很大提高。关键词：混合法；BFGS方法；混沌优化方法；全局最优1引言在系统工程、控制工程、统计学、反问题优化求解等领域中，很多问题是具有非凸性的。对此普通的优化技术只能求出局部最优解，因为这些确定性算法总是解得最近的一个极值点1，只有

2、能够给出很好的初始点才有可能得出所需要的全局最优解。为此，实际应用中通过在多个初始点上使用传统数值优化方法来求取全局解的方法仍然被人们所采用，但是这种处理方法求得全局解的概率不高，可靠性低，建立尽可能大概率的求解全局解算法仍然是一个重要问题。近年来基于梯度法的全局最优化方法已经有所研究2，基于随机搜索技术的遗传算法和模拟退火算法等在全局优化问题中的应用也得到越来越大的重视3-4。本文则基于混沌优化和BFGS方法，提出一种求解具有简单界约束最优化问题(1)的混合算法。min(1)混沌是存在于非线性系统中的一种较为普遍的现象。混沌运动宏观上无序无律，具有内随机性、非周期性和局部不稳定性，微观上有序

3、有律，并不是完全的随机运动，具有无穷嵌套的自相似几何结构、存在普适性规律，并不是杂乱无章的。利用混沌变量的随机性、遍历性和规律性特点可以进行优化搜索5，且混沌优化方法容易跳出局部最优点。但是某些状态需要很长时间才能达到，如果最优值在这些状态时，计算时间势必很长5。可以说混沌优化具有全局搜索能力，其局部搜索能力稍显不足，文5采用二次载波技术，文6考虑逐渐缩小寻优变量的搜索空间都是为了弥补这一弱点。而本文则采用混沌搜索与BFGS方法进行优化求解，一方面采用混沌搜索帮助BFGS方法跳出局部最优，另一方面利用BFGS增强解附近的超线性收敛速度和搜索能力，以提高搜索最优的效率。2混沌BFGS混合优化方法

4、2.1BFGS方法作为求解无约束最优化问题的拟牛顿方法类最有代表性的算法之一，BFGS方法处理凸非线性规划问题，以其完善的数学理论基础、采用不精确线性搜索时的超线性收敛性和处理实际问题有效性，受到人们的重视7-9。拟牛顿方法使用了二阶导数信息，但是并不直接计算函数的Hesse矩阵，而是采用一阶梯度信息来构造一系列的正定矩阵来逼近Hesse矩阵。BFGS方法求解无约束优化问题min()的主要步骤如下：(1)给变量赋初值x0，变量维数n和BFGS方法收敛精度，令B0=I（单位阵），k=0，计算在点x0的梯度g0。(2)取sk=-Bk-1gk，沿sk作一维搜索，确定最优步长k，得新点xk+1=xk+

5、ksk，计算xk+1点的梯度gk+1。(3)若|gk+1|，则令，BFGS搜索结束，转步骤3；否则执行(4)。(4)计算Bk+1：(2)(3)(5)k=k+1，转(2)。2.2混沌优化方法利用混沌搜索求解问题(1)时，先建立待求变量与混沌变量的一一对应关系，本文采用。然后,由Logistic映射式(4)产生个轨迹不同的混沌变量（）进行优化搜索，式(4)中=4。已经证明，=4是“单片”混沌，在0,1之间历遍。(4)(1)给定最大混沌变量运动次数M；给赋初值，计算和；置，。(2)。(3)。(4)若kM，若，令，；若，和保持不变；然后令k=k+1，转(2)。若kM，则，混沌搜索结束。2.3混合优化方

6、法混沌方法和BFGS方法混合求解连续对象的全局极小值优化问题(1)的步骤如下：step1设置混沌搜索的最大次数M，迭代步数iter=0，变量赋初值x0，。step2以为始点BFGS搜索，得当前BFGS方法最优解及=。step3若，取=；若，取；若，取，是相对于,较小的数。step4以为始点进行混沌搜索M次，得混沌搜索后的最优解及=。step5若，iter=iter+1，转step2；否则执行step6。step6改变混沌搜索轨迹，再次进行混沌搜索，即给加微小扰动，执行step4，得搜索结果和。若，iter=iter+1，转step2；否则计算结束，输出、。对全局极大值问题，max，可以转化为求

7、解全局极小问题min。混合算法中混沌搜索的作用是大范围宏观搜索，使得算法具有全局寻优性能。而BFGS搜索的作用是局部地、细致地进行优化搜索，处理的是小范围搜索问题和搜索加速问题。3算例图1函数-特性示意图图2函数特性示意图采用如下两个非常复杂的、常用于测试遗传算法性能的函数测试本文算法：函数称为Camel函数，该函数有6个局部极小点(1.607105,0.568651)、(-1.607105,-0.568651)、(1.703607,-0.796084)、(-1.703607,0.796084)、(-0.0898,0.7126)和(0.0898,-0.7126)，其中(-0.0898,0.71

8、26)和(0.0898,-0.7126)为两个全局最小点，最小值为-1.031628。函数称为Schaffer's函数，该函数有无数个极大值，其中只有（0，0）为全局最大点，最大值为1。此函数的最大峰值周围有一圈脊，它们的取值均为0.990283，因此很容易停留在此局部极大点。文献10采用该函数对该文提出的基于移动和人工选择的改进遗传算法（GAMAS）其性能进行了考察，运行50次，40的情况下该函数的唯一全局最优点能够找到。而采用本文混合算法，由计算机内部随机函数自动随机生产100个不同的初始点，由这些初始点出发，一般混合算法迭代24次即能够收敛。M取不同数值时对函数、的计算结果分别如

9、表1和表2所示，表中计算时间是指在奔腾133微机上计算时间。由表2可见，当M=1500时，本文方法搜索到最优解的概率即达到40，而此时计算量比文献10小。同样由混合算法的100个起始点，采用文献5的算法对函数优化计算100次，以作为收敛标准，混沌搜索50000次，计算结果为67次搜索到最优解，概率为67%，平均计算时间为1.2369s。而即使保证混合算法100次全收敛到最优解所花费的平均计算时间也只为0.2142s（表1），可见混合算法优于文献5的方法。表1M取不同数值时函数的计算结果_M搜索到全局最优点的次数搜索到最优的概率平均计算时间(-0.0898,0.7126)(0.0898,-0.7

10、126)_%0.1214s%0.1955s%0.2142s_表2M取不同数值时函数的计算结果_M搜索到全局最优点的次数搜索到最优的概率平均计算时间_15004040%0.1406s50007373%0.2505s%0.4197s%1.6856s_4计算结果分析由表1和表2可见，混合算法全局寻优能力随M的增加而增大，当M达到某一足够大的数值Mu后，搜索到全局最优的概率可以达到100。从理论上说，Mu趋向无穷大时，才能使混沌变量遍历所有状态，才能真正以概率1搜索到最优点。但是，本文混沌运动M次的作用是帮助BFGS方法跳出局部最优点，达到比当前局部最优函数值更小的另一局部最优附近的某一点处，并不是要

11、混沌变量遍历所有状态。由混沌运动遍历特性可知，对于某一具体问题，Mu达到某一具体有限数值时，混沌变量的遍历性可以得到较好模拟，这一点是可以满足的，实际算例也证实了这一点。由于函数性态、复杂性不同，对于不同函数，如这里的测试函数、，数值Mu的大小是有差别的。对于同一函数，搜索区间增大，在相同混沌运动次数下，即使始点相同，总体而言会降低其搜索到全局最优的概率,要保证算法仍然以概率1收敛到全局最优，必然引起Mu增大。跟踪计算中间结果证实，当M足够大时，混合算法的确具有跳出局部最优点，继续向全局最优进行搜索的能力；并且混合算法的计算时间主要花费在为使混合算法具有全局搜索能力而进行混沌搜索上。5结语利用

12、混沌变量的运动特点进行优化，具有非常强的跳出局部最优解的能力，该方法与BFGS方法结合使用，在可以接受的计算量下能够计算得到问题的最优解。实际上，混沌优化可以和一般的下降类算法结合使用，并非局限于本文采用的BFGS方法。采用的Logistic映射产生混沌变量序列，只是产生混沌变量的有效方式之一。混沌运动与随机运动是不同的。混沌是确定性系统中由于内禀随机性而产生的一种复杂的、貌似无规的运动。混沌并不是无序和紊乱，更像是没有周期的秩序。与随机运动相比较，混沌运动可以在各态历经的假设下，应用统计的数字特征来描述。并且，混沌运动不重复地经过同一状态，采用混沌变量进行优化比采用随机变量进行优化具有优势。

13、混沌优化与下降类方法结合使用是有潜力的一种全局优化途径，是求解具有变量界约束优化问题的可靠方法。如何进一步提高搜索效率，以及如何把混沌优化有效应用于复杂约束优化问题是值得进一步研究的课题。本文算法全局收敛性的严格数学证明正在进行之中。参考文献1胡山鹰，陈丙珍，何小荣，沈静珠非线性规划问题全局优化的模拟退火法J清华大学学报，37(6)，1997，5-92CAFloudas,AAggarwal,ARCiricGlobaloptimumsearchfornonconvexNLPandMINLPproblemsJ.ComputChemEngng1989，13(10)，111711323康立山，谢云，尤

14、矢勇等非数值并行算法（第一册）模拟退火算法M北京：科学出版社，19984刘勇，康立山，陈琉屏非数值并行算法（第二册）遗传算法M北京：科学出版社，19985李兵，蒋慰孙混沌优化方法及其应用J控制理论与应用，14(4)，1997，613-6156张彤，王宏伟，王子才变尺度混沌优化方法及其应用J控制与决策，14(3)，1999，285-2877席少霖非线性最优化方法M北京：高等教育出版社，19928席少霖，赵凤志最优化计算方法M上海：上海科学技术出版社，19839PressWH,TenkolskySA,VetterlingWT,FlanneryBPNumericalRecipesinC,TheArt

15、ofScientificComputingMSecondedition，CambridgeUniversityPress，199210JCPortsThedevelopmentandevaluationofanimprovedgeneticalgorithmbasedonmigrationandartificialselectionJIEEETrans.Syst.ManandCybern.1994,24(1)，73-85AHybridApproachforNonlinearOptimizationAbstract：CombinedBFGSmethodwithchaosoptimizationmethod,ahybridapproachwasproposedtosolvenonlinearoptimizationproblemswithboundaryrestraintsofvariables.Thehybridmethodisaneffectiveapproachtosolvenonconvexoptimizationproblems,asitgivenbothattentionstotheinherentvirtuetolocateglobaloptimumofchaosoptimizationmethodandtheadvantageofhighconve