(完整word版)五种最优化方法

1、五种最优化方法1. 最优化方法概述1.1最优化问题的分类1)无约束和有约束条件;2）确定性和随机性最优问题（变量是否确定）3）4）静态规划和动态规划（解是否随时间变化）。线性优化与非线性优化（目标函数和约束条件是否线性）1.2最优化问题的一般形式（有约束条件）min f(X)XeQh0) = Ojf L "Si(X)>Oj = U严m式中f（X）称为目标函数（或求它的极小，或求它的极大），si（X）称为不等式约 束，hj（X）称为等式约束。化过程就是优选 X，使目标函数达到最优值。2. 牛顿法 2.1简介 1）解决的是无约束非线性规划问题;2）是求解函数极值的一种方法;3）是一

2、种函数逼近法。2.2原理和步骤牛顿法的本思想丿茁 在扱水点附近用-阶TayLnr 顶式近似口标函数ill而 求出极小点的佔计値.考老问题）丄十討 Sf 子一乂令/Cj >_<J'占'、 门*、< J符到2）的验点也作侧t 9. 3. 2)> H =严 _ / W * 丁-在点，I附近.f p疋和丙此町用数汁门的扱小点作为忖标俅I蛊fj讣的极小 点的估计，如里是f上）的极小点的 个估计.那么利njt9,3.2）S可且得到极小点的 '个进 步的估比 送祐 利皿送代公式（g.32）町以阳到 个序列 wr.可以哑叨"也 就決件卜'这个用

3、列收敛于问题（U 的就优執朗堤2级收斂.L1 wH-n 4"，- .->= -i- 症-trR nA t1-U- t h3. 最速下降法（梯度法）3.1最速下降法简介1)解决的是无约束非线性规划问题;2）是求解函数极值的一种方法;3）沿函数在该点处目标函数下降最快的方向作为搜索方向:3.2最速下降法算法原理和步骤就速下降法的迭代公式是”卜“二X屮T Jd丸中rf-是从龙-出发的捜索方向，这里取在点F昇处的Jia正隧方乱Gu （T =可（*）（KU.11）儿是从X" HJ发沿方向右进彳亍一®搜索的步长，即A#满足八汕+ "5 - min/Cx&quo

4、t;* -矽5讣算步骤如下：“f 1）绘宦初点X I t，允许误差0= h （?）讣算搜索方向沪、=W"L则停止讣算;否则，从於和出发,沿d进行一维搜索”求扎，使損卅川）=inin/fx'*' +泌側）.）若II广III2令#'畀壬八置左U晞，转步骤4. 模式搜索法（步长加速法）4.1简介1）解决的是无约束非线性规划问题；2）不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常有效。3）模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而 模式移动的目的则是沿着有利方向加速移动。4.2模式

5、搜索法步骤模式搜索法基本原理（加轴向移动用y表示每次轴向移动的开始点称为券考点心给定的初始点.初始参警点工坯产y第Ar+i次轴向移动结束时所得到的点若/巧叭/（工闻从点如出发作樓式坯跡.轴向#多动版功4 模式移动轴向移动失政：若无，且斗.1 = 5则第短步长.仍从点工，出发进行T -次抽向移动¥若无且工小工斗，则从点Jt*岀发用步旳进行下一次轴囱移动否民L判断是否有e夷蛉定的允许悽花）？若有选代终止； 找到近似歌优解模式搜索法基本原理（B）模式移动从点航粒出发的盛武移动是指以1为步枕沿加速方向町=- X*移动 得到新的参考点y =巧壮 + S = 2岭*1 - Ju然后'从新

6、的需考点出发，仍以札丸步长进袖向移动.5. 评价函数法5.1简介评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中， 衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下:min (f_1(x),f_2(x),.,f_k(x) s.t. g(x)<=0传统的多目标优化方法本质是将多目标优化中的各分目标函数,经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。 常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合法 介绍。5.2线性加权求合法对多目标规划问题中的P个目标按其重要程度给 以适当的权系数倒叮二12宀且X化二

7、1然后用hM壬3作为新的目标函数，成为评价（目标）-1函数，再求解问题min -工=1得最忧解工叫 取A -工作为多目标规划问题的解.6. 遗传算法智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。6.1遗传算法基本概念 1.个体与种群个体就是模拟生物个体而对问题中的对象 （一般就是问题的解）的一种称呼。种群就是模拟生物种群而由若干个体组成的群体，它一般是整个搜索空间的一个很小的子集。2.适应度与适应度函数适应度就是借鉴生物个体对环境的适应程度，而对问题中的个体对象所设计 的表征其优劣的一种测度。适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。 该函数就是遗传算法中指导搜索的评价函数。6.2遗传算法基本流程C结束J遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作，最终求得最优解或近似最优解。遗传算法步骤步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N,交叉率Pc和变异率Pm代数T；步2随机产生U中的N个个体s1, s2,sN