五种最优化方法

1、五种最优化方法1 .最优化方法概述1.1 最优化问题的分类1）无约束和有约束条件；2）确定性和随机性最优问题（变量是否确定）；3）线性优化与非线性优化（目标函数和约束条件是否线性）4）静态规划和动态规划（解是否随时间变化）。L 2最优化问题的一般形式（有约束条件）：min f （X）XeQh'X） = OJ = 5 L s.tSi （X） > OJ = l9%ou,m式中f （X）称为目标函数（或求它的极小，或求它的极大），Si （X）称为不等式约 束，hj （X）称为等式约束。化过程就是优选X，使目标函数达到最优值。2 .牛顿法2.1 简介1）解决的是无约束非线性规划问题；2）

2、是求解函数极值的一种方法；3）是一种函数逼近法。 1：顿法的直本思想显*在报小点附近用-阶T吓1小多顶式近似3标函数亡进而求出极小点的估计值，老ts问题min FWHE1R1< 9i 3. 1 1令祕 Jr) =/ «，) +/ (JHtXx-Jut) +y/ (jH' K4T-J01 Y . 耳令4(+f>-/d 时)+ jf* vJ 111 xj-FN、= O得到啊2的肛.EL记作工“小侧在点d*JWiE./P*rh因此可用函数刊幻的极小点作为目标函数J （）的极小点的估计如里rJ% /-r）的 极小点的个估计，那么利 9,312） %可且得到极小点的个进吵的

3、估讣,这样*利用迭代公式（乩3 2）可以 得到个洋列U可以证明"定条件F 这个序列收敛于问题（9飞”门的%优解，而且是2级收敛3 .最速下降法（梯度法）3.1 最速下降法简介1）解决的是无约束非线性规划问题；2 ）是求解函数极值的一种方法:3）沿函数在该点处目标函数下降最快的方向作为搜索方向: 3.2最速下降法算法原理和步骤=F降法的迭代公式是(10. L 10)其中旷是从中咄发的搜索方向，这里取在点r处的量速下睫方治EIJ心)=- V/Y)九是从严出发沿方向中进彳f 一维搜索的步长，即Ju满足£聂 + AfJ1*') = mnf(xIk) +M")( 1

4、0a J1)a计算步骤如下；TT) >=，允许误差e>0TKI = L (2)计算搜索方向d出一V/ (X10 ).(3)若L F I!4，则停止计算;否则，从厂出发，沿进行一维搜索，求秸，使> J k)= lniny(X八+%tf、(4)令严山=x' Mal t=pA + I ,转步骤(2).4模式搜索法(步长加速法)4.1简介 1)解决的是无约束非线性规划问题； 2)不需要求目标函数的导数，所以在解决不可导的函数或者求导异常麻烦的函 数的优化问题时非常 有效。3)模式搜索法每一次迭代都是交替进行轴向移动和模式移动。轴向移动的目的是探测有利的下降方向，而模式移动的目

5、的则是沿着有利方向加速移动。4.2模式搜索法步骤模式搜索法基本原理(A)轴向移动用y表示每次轴病移动的开%点称为参耆点心给定的初始点.一初给秦孝点>Avb广第盘+1次轴向移动揩束时所得到的点,丈二IZ- %«> < "X"闻从点Jt中出发作按式瘪动T由俞#多动直功模式移动否碰*判断界否有航V £( £夬给定的允许慢总)？若有-选代终止；轴向移动失叱找到近似漾优解I若无，且斗利二岭*则嵋短步1%.仍从点打出发进行下-次轴向移弧若无大耐从点岭出发用步长击进行下枚轴闵移动模式搜索法基本原理(B)模丸移动从点航仪出发的熨武移动是指以1

6、为步烧沿站速方向或移动日寺到新的参考点 y 二 1%>1 4- - 2Xhi - Xti% / %,%新的黑哮点J出发，仍以比丸步怪进杆轴向移动.5 .评价函数法5.1 简介评价函数法是求解多目标优化问题中的一种主要方法。在许多实际问题中，衡量一个方案的好坏标准往往不止一个，多目标最优化的数学描述如下：min (f(x),f_2(x),.，f_k(x) s.t. g(x)<=0传统的多目标优化方法本质是将多目标优化中的各分目标函数,经处理或数学变换，转变成一个单目标函数，然后采用单目标优化技术求解。常用的方法有“线性加权和法”、“极大极小法”、“理想点法”。选取其中一种线性加权求合

7、法介绍。5.2 线性加权求合法对多目标规划问题中的P个目标按其重要程度给以适当的权系数也f二12小 且然后用t-i的幻八也必幻作为新的目标函数.成为评价目标）min =J=lSt- gi（x）<i = lr2t-im得最忧解*叫取F二工作为多目标规划问题的解一6 .遗传算法智能优化方法是通过计算机学习和存贮大量的输入-输出模式映射关系，进而达到优化的一种方法，主要有人工神经网络法，遗传算法和模拟退火法等。6.1 遗传算法基本概念1 .个体与种群个体就是模拟生物个体而对问题中的对象（一般就是问题的解）的一种称呼种群就是模拟生物种 群而由若干个体组成的群体 > 它一般是整个搜索空间的一个很小的子集。2 .适应度与适应度函数适应度就是借鉴生物个体对环境的适应程度，而对问题中的个体对象所设计的表征其优劣的一种 测度。适应度函数就是问题中的全体个体与其适应度之间的一个对应关系。该函数就是遗传算法中指导搜索的评价函数6.2 遗传算法基本流程生成初始种群计算适应度选择-复制交叉变异生成新一代种群遗传算法的中心思想就是对一定数量个体组成的生物种群进行选择、交叉、变异等遗传操作，最终求得最优解或近似最优解。遗传算法步骤步1在搜索空间U上定义一个适应度函数f(x)，给定种群规模N,交叉率PC和变异率Pm代数T ；步2随机产生U中的N个个体si, s2, ,