第四章优化设计

本章主要内容

优化设计概述优化问题的数学分析基础一维探索优化方法无约束多维问题的优化方法约束问题的优化方法多目标函数的优化方法第四章优化设计4.1优化设计概述所谓最优化，通俗地说就是在一定条件下，在所有可能的计划、设计、安排中找出最好的一个来。换句话说，也就是在一定的条件下，人们如何以最好的方式来做一件事情。

最优化：Optimization。简写：Opt.结论的唯一性是最优化的特点，即公认最好。例如：要求设一个防洪堤坝，能防洪同时省时、省力又省经费。

能防洪：高度保证洪水不会漫入堤岸强度保证巨浪不会冲垮堤坝省时省力省经费优化过程就是求解一个付出的努力最小、获得效益最大的方案。获得设计方案的过程是一个决策的过程，也是优化的过程。所作的努力或希望的效益在实际问题中可以作为一些决策变量的函数。解析法数值计算法优化方法微分求极值迭代逼近最优值计算机优化设计优化设计方法是数学规划和计算机技术相结合的产物,它是一种将设计变量表示为产品性能指标、结构指标或运动参数指标的函数(称为目标函数),然后在产品规定的性态、几何和运动等其它条件的限制(称为约束条件)的范围内,寻找满足一个目标函数或多个目标函数最大或最小的设计变量组合的数学方法。例1-1

设计一个体积为5cm3的薄板包装箱，其中一边的长度不小于4m。要求使薄板耗材最少，试确定包装箱的尺寸参数，即长a，宽b和高h。传统设计方法:首先固定包装箱一边的长度如。要满足包装箱体积为的设计要求，则有以下多种设计方案:该问题可以用数学的方法描述为：在满足包装箱的体积，长度的限制条件下，确定参数a,b和h的值，使得包装箱的表面积达到最小。

根据这样的描述，可以建立一个优化的数学模型，然后选择适当的优化方法和计算程序，在计算机进行数值迭代、求解，最后得到这个数学模型的结果是优化设计方法:优化设计流程

传统设计流程设计要求方案设计综合与分析评价输出图文技术资料优化设计数学模型优选设计变量优化算法程序是否是否满足要求输出优化设计:就是借助计算机技术，应用精确度较高的力学数值分析方法进行分析计算，从满足给定的设计要求的许多可行方案中，按照给定的指标自动地选出最优的设计方案。

优化设计与传统设计相比，具有如下三个特点：

(1)设计的思想是最优设计；(2)设计的方法是优化方法；(3)设计的手段是计算机。传统设计可行解优化设计最优解古典优化思想：17世纪发明微积分中的极值问题；经典优化设计：20世纪40年代起，数学规划论和计算机技术的发展使做优化设计计算成为可能；优化设计从无约束----有约束优化问题；连续变量----离散变量；确定型-----随机型模型；单目标优化----多目标优化；现代优化设计：20世纪80年代出现许多现代优化算法：模拟退火法、遗传算法、人工神经网络法、蚁群优化算法等；并从狭义优化设计（零部件参数）转向广义优化设计（面向产品的全系统、设计全过程、全生命周期）针对涉及多领域复杂系统的多学科设计优化。优化设计的发展概况

优化设计就是借助最优化数值计算方法与计算机技术，求取工程问题的最优设计方案。优化设计包括：

（1）必须将实际问题加以数学描述，形成数学模型；（2）选用适当的一种最优化数值方法和计算程序运算求解。案例外啮合齿轮泵的优化设计外啮合齿轮泵是一种应用广泛的齿轮泵，在输出压力、输出流量、转速分别为25Mpa、100L/min和1500r/min的情况下，要求确定一台具有流量均匀性好、体积小、寿命长的外啮合齿轮泵的几何设计参数。设计参数：模数m,

齿数z，

变位系数x满足：gu(m、z、x)的情况下寻找：一组设计参数m、z、x；（模数、齿数、变位系数）使得：设计目标流量最均匀,体积最小,寿命最长以齿轮泵为例，其优化设计过程如下：已知：传动比i,转速n,传动功率P，大小齿轮的材料，设计该齿轮副，使其重量最轻。分析：

（1）圆柱齿轮的体积(v)与重量(w)的表达；

（2）设计参数确定：模数（m），齿宽（b），齿数（z1）；

（3）设计约束条件：

（a）大齿轮满足弯曲强度要求；（b）小齿轮满足弯曲强度要求；

（c）齿轮副满足接触疲劳强度要求；

（d）齿宽系数要求；（e）最小齿数要求。例题2：直齿圆柱齿轮副的优化设计数学模型设计参数：设计目标：约束条件：4.1.2优化设计的数学模型优化设计的问题首先是建立数学模型，即把实际问题转化为数学模型的形式。例：平面四连杆机构的优化设计（a）x1、x2、x3、x4、是AB、BC、CD和AD的长度；（b）φ是曲柄输入角；（c）φ0是摇杆的右极限位置角

；一般规定x1=1.0，而这里x4是给定的，设x4=5.0，所以我们只要确定x2和x3是设计变量。例：平面四连杆机构的优化设计目标函数为：期望输出角与实际输出角的平均误差积分准则（下式）。例：平面四连杆机构的优化设计如果规定x1=1.0，且设x4=5.0，可确定x2和x3的边界条件为：和4.1.2优化设计的数学模型优化设计的问题首先是建立数学模型，即把实际问题转化为数学模型的形式。

优化模型三要素：设计变量，目标函数，约束条件。1.设计变量

设计过程中，进行选择和调整，最终必须确定的独立参数称为设计变量；固定不变，需要事先给定的参数称为设计常量。（1）维数：设计变量的个数称为设计问题的维数。设计变量愈多，设计自由度愈大，可供选择方案愈多，设计愈灵活，难度愈大，求解愈复杂。（2）设计空间:

n个设计变量的坐标轴所形成的n维实空间称为设计空间，用Rn表示。设计空间中，n个设计变量的坐标值组成一个设计点，并代表一个设计方案，可采用如下向量表示：其中，最优设计方案用表示，称为最优点或优化点。二维设计空间三维设计空间x2x1X=[x1

x2]Tx1x2x3X=[x1

x2x3]T2.约束条件（函数）

对任何设计都有若干不同的要求和限制，将这些要求和限制表示成设计变量的函数并写成一系列不等式和等式表达式，就构成了设计的约束条件简称约束。其作用是对设计变量的取值加以限制。（1）分类根据形式的不同：等式约束和不等式约束。根据性质的不同：边界约束和性能约束。边界约束：直接限制每个设计变量的取值范围或彼此相互关系的一些辅助的区域约束。性能约束：由产品性能或设计者要求推导出来的用以间接限制设计变量取值范围的一种约束。

2.约束条件（函数）（2）可行域任何一个不等式约束都把设计空间分为两部分，一部分是满足约束条件的称为可行域，另一部分是不满足约束条件的称为非可行域，这两部分的分界是。在约束边界上的点称为边界点两个以上约束边界的交点称为角点(约束方程)不等式约束与等式约束的几何意义：在一个优化设计问题的设计空间中，满足所有约束条件的点构成的子空间，称为可行域。(2)等式约束(1)不等式约束【例1】作出下列约束条件构成的可行域：【例2】根据下列约束条件画出可行域。（3）起作用约束设X为设计空间中的一个点：满足所有约束条件的点称为可行点（内点和边界点）不满足所有约束条件的点称为非可行点（外点）X在某个约束边界上，则这个约束条件称为X的起作用约束X不在某个约束边界上，则这个约束条件称为X的不起作用约束起作用约束设计点X(k)的所有起作用约束的函数序号下标集合用Ik表示，即3.目标函数

优化设计的任务是在许多可行的方案中找出最优的方案，所谓最优方案是在设计变量中能最好的满足所追求的某些特点的目标，而这些目标又可表达为设计变量的函数，称为目标函数。目标函数可用来评价设计方案的好坏，又称为评价函数。常表示为：目标函数表征的是设计的某项或某些最重要的特征。优化设计就是要通过优选设计变量使目标函数达到最优值。目标函数总可以转化成求最小值的统一形式。等值曲面:目标函数值相等的所有设计点的集合称为目标函数的等值曲面。

二维：等值线；三维：等值面；三维以上：等超越面。z等值线族形象地反映了目标函数值的变化规律，越靠近极值点的等值线，表示的目标函数值越小，其分布也越密集。xyo等高线x*（中心极值点）等值线族

二维设计变量下的等值线从等值线上，可以清除地看到函数值的变化情况。其中F=40的等值线就是使F(x1,x2)=40的各点[x1,x2]T所组成的连线。如图函数的等值线图。一般形式：4.优化设计的数学模型

用“max、min”表示极大、极小化，用“s.t”表示“满足于”，“m、p”表示不等式约束与等式约束的个数，则表示如下形式：

本课程中，所有的优化设计问题都是求目标函数的极小值。遇到求极大值的问题，则先通过转化变成极小值问题。与此同时，所有的不等式约束都采用的形式。按目标函数的多少：单目标优化和多目标优化按所能求解的维数：一维优化和多维优化按约束情况：无约束优化和约束优化按求优的途径：数学迭代法、解析法、图解法5、优化设计的分类数值迭代法：利用已有信息及再生信息进行试探及迭代求优的方法，便于采用计算机进行处理，是目前优化设计中广泛采用的方法。解析法：利用函数性态通过微分或变分求优。图解法：利用作图求优，主要用于不超过二维的优化问题。6.优化设计问题的求解（1）图解法

【例3】求解下列优化问题：最优解是等值线在函数值下降方向上与可行域的最后一个交点。【例4】求解下列优化问题：最优解是等值线在函数值下降方向上与可行域的最后一个交点。非线性问题的最优解要么是一个内点，要么是一个边界点；非线性问题的最优解如果是一个边界点，那么它必定是等值线（面）在函数值下降方向上与可行域的最后一个交点；线性问题的最优解必定是等值线（面）在函数值下降方向上与可行域的最后一个交点；一般情况下：（2）数值迭代法数值迭代法的基本思想：从一个初始点出发，按照一个可行的搜索方向和适当的步长走一步，到达，再从出发，选一个可行的搜索方向和适当的步长走一步，达到，并保证每一步函数值都是下降的，即必须满足（这称为新点的适用性），这样一步一步地重复进行数值计算，直至达到目标函数的极小点。1)无约束优化问题初始点用某种优化方法确定确定前进步长计算检查若不满足则改变步长，满足则进入下一步从出发用某种优化方法确定确定前进步长计算检查若不满足则改变步长，满足则进入下一步从出发用某种优化方法确定确定前进步长计算检查若不满足则改变步长，满足则进入下一步从出发用某种优化方法确定确定前进步长计算检查若不满足则改变步长，满足则进入下一步——第k个迭代点——从第k个迭代点出发寻找下一个迭代点的搜索方向——沿前进的步长基本迭代公式

由于每次迭代求得的新点均为使函数值有所下降的适用点（如果不是适用点，可改变方向和步长另行搜索适用点），则所得各点必将逐步向该函数的极小值点逼近，最后总可求得非常接近该函数理论最优点的近似最优点。2）约束优化问题

对于约束优化问题，除了检查每个新点的适用性外，还要检查其可行性，即是否满足的约束条件，如果适用性和可行性兼备，再进行下一次迭代，最终自然也能求得非常接近约束最优点的近似最优点。

综上所述，采用数值法进行迭代求优时，除了选择初始点以外，如何确定迭代方向和步长成为非常重要的环节，他们将直接决定着搜索的效率、函数值逐步下降的稳定性和优化过程所需的时间等。A.点距准则

根据相邻两迭代点与间的距离足够小而建立的准则，点距准则可表示为或数值迭代终止准则（计算精度的确定）

B.值差准则

根据相邻的两迭代点的函数值下降量足够小而建立的准则。绝对下降量准则：相对下降量准则：C.梯度准则

根据迭代点的函数梯度达到足够小而建立的准则，表示为或迭代法必须要解决的三个问题迭代算法具有收敛性；在收敛性前提下，选择比较好的初始点X(0)

和适宜的终止判据及收敛精度；选取使目标函数值下降较快的迭代探索方向S(k)和最优的迭代步长α(k)

，确保较快的收敛速度。如何确定S(k)、α(k)优化方法4.2优化设计的数学分析基础优化设计的本质：求极值。1.函数的泰勒展开为便于对多变量问题进行数学分析和求解，往往需要采用线性函数和二次函数替代简化目标函数。（1）一元函数的f(X)泰勒展开：若f(x)在含有x(0)处的某个开区间内直到（n+1）阶可导，只要开区间（a,b）足够小,则该函数在（a,b）内x(0)点处的二阶泰勒展开式为：（2）二元函数f(x1，x2)的泰勒展开：（3）多元函数f(x1，x2,…xn)的泰勒展开：（3）多元函数f(x1，x2,…xn)的泰勒展开：:目标函数f(x)在点x(0)的所有一阶偏导数组成的矩阵向量(一阶导数矩阵向量或梯度）:目标函数f(x)在点x(0)的所有二阶偏导数组成的矩阵(二阶导数矩阵或海色矩阵，记作H(x)），n×n阶对称矩阵函数梯度的特性：1、函数f(x)在给定点的梯度是一个向量，大小表示函数在改点的方向导数的最大值。2、函数在某点的梯度向量只给出了在改点极小领域内函数的最快上升方向，具有一定局限性；3、函数在给定点的梯度方向函数等值线或等值面在该点法线方向。2.目标函数极值的存在性优化设计的首要工作是判断极值的存在性，如不存在极值，优化设计无意义。（1）无约束目标函数极值的存在性目标函数为一元函数f(x)

f(x)在点x(0)处有极值的充要条件为：时，有极小值；时，有极大值。一元函数的极值点极小值点0xyy=f(x)x00xyy=f(x)x00yy=f(x)x0极大值点不存在极值点目标函数为多元函数f(x1，x2,…xn)

f(X)在点X(0)处有极值的充要条件为：（必要条件）（充分条件）正定时，有极小值；（必要条件）（充分条件）负定时，有极大值；【例

5】试证明函数在点处具有极小值。解：将代入得H(X(0))正定，目标函数在（2,4）处具有极小值。（2）目标函数的凸性目标函数的极值点一般是相对于它附近的局部区域中的各点而言的，目标函数在其整个可行区域中，有时可能存在许多个极值点，优化设计时应力求找到多个极值点中的最小值点，即全局最优点或整体最优点，其它非最小值的极值点称为局部最优点或相对最优点。凸性：单峰性，目标函数若为凸性，极值点只有一个，即为全局最优点。

凸集：假设在n维欧式空间Rn

中有一个集合D

，即，若D内任意两点X(1),X(2)

之间的连接直线都属于集合D

,则D为n维欧式空间内的一个凸集，否则为非凸集。如果将X(1),X(2)

之间的连接直线用表达，则凸集的数学表达式为：若则x2x1x(2)x(1)x2x1x(2)x(1)凸集非凸集凸集的几何特征：其任意两点连线上的一切点都位于这个几何内。凸函数：凸函数的数学表达式为：f(x)x2x1xf(x2)f(x1)判断函数f(x)为凸函数的充要条件：方法1：若函数f(x)在D上具有一阶的连续导数，对任意两点x(1),x(2)

,

f(x)为凸函数的充要条件是:恒成立方法2：若函数f(X)在D上具有二阶的连续导数，则f(X)为凸函数的充要条件是:

H(X)处处半正定

凸性形态表现为下凸时，函数为凸函数；凸性表现为上凸时，函数为凹函数。（3）有约束目标函数极值的存在性目标函数有约束极值还是无约束极值，主要取决于约束条件对极值和极值点的影响。同样的目标函数对于不同的约束条件，可能出现不同的最优值和最优点，其原因在于不同的约束条件限制了设计变量不同的取值范围。有约束最优问题需要解决的问题

判断约束极值点存在的条件；判断找到的极值点是全局最优点还是局部最优点。A.无约束最优点为可行域的内点，此时目标函数的最优点就是约束问题的最优点；约束最优点和无约束最优点的相互关系：B.无约束最优点在可行域外，约束问题的最优点是约束边界上的一点，该点是约束边界与目标函数一条等值线（面）的切点；对于等式约束问题等式约束的极值条件可以建立拉格朗日函数这就是等式约束问题在点X*取得极值的必要条件，它的含义是：

在等式约束问题的极值点上，目标函数的负梯度等于诸约束函数在该点梯度的线性组合。对于不等式约束问题不等式约束的极值条件可以通过引入m个松弛变量将不等式约束变成等式约束然后类似地建立拉格朗日函数K-T（Kuhn-Tucker)条件：例题：试用K-T条件判定点X=[1，0]T是否为下列优化问题的极值点。解：画出该优化问题的目标函数等值线和可行域解：画出该优化问题的目标函数等值线和可行域。找出起作用约束。求出目标函数和约束函数在点

出的梯度将上述梯度代入K-T条件式，即得解得：为非负乘子，满足K-T条件，所以点为条件极值点。3.3一维探索优化方法

一维搜索的数学形式一维搜索的几何意义常用一维搜索方法：进退法

黄金分割法

一、概述数值迭代过程中，任何一次迭代，总是从某个已知点出发，沿着给定的方向（用某种优化方法确定）搜索到目标函数在该方向上的极小值点，这个过程称为一维搜索。一维搜索不仅可以求解一维优化问题，同时也是求解多维优化问题的基本步骤。1.一维搜索的概念

怎么理解“一维”的含义？对“一维”的理解寻找目标函数在指定方向上的极小点，在计算上就是从沿前进多少的问题，即求步长因子的问题。从这个意义上讲，一维搜索是一个求解关于的单元目标函数的过程。一维搜索寻找合适的，使最小“一维”是指“一个方向”（）；任一次迭代，都是求使得即其中：表示步长因子表示最优步长因子2.一维搜索的数学形式

3.一维搜索的几何意义

从出发，沿方向一维搜索，就是求方向与等值线的切点，此时的步长因子即为最优步长因子。分为两步：1、在搜索方向上确定一一个包含极小点的初始区域2、缩小区间，确定最优步长。4.单峰区间

对于所有的一维搜索方法，首先遇到的共同问题是：如何确定一个初始搜索区间，使该区间内含有函数的极小点，且在该区间内函数有唯一的极小点，这个初始搜索区间就是单峰区间。

设函数f(x)在区间内有定义，且(1)在区间内存在极小点，即有

(2)区间上的任意x，均满足；区间上的任意x，有用解析法给单峰区间下一个定义：则称闭区间为函数f(x)的单峰区间。单峰区间的特点：单峰区间内，在极小点的左边，函数是严格减少的，在极小点的右边，函数是严格增加的；如果区间是一个单峰区间，x是区间内的一点，则两个不等式中必有一个成立；单峰区间内的函数图形表现为“高－低－高”的形态。应用这一特征可以确定单峰区间。如果函数具有多个极小点，则表现为多峰函数。此时，需要对变量取值范围进行适当的划分，使每一个子空间只包含一个极小点，才能进行一维搜索。一维搜索时，同样需要在每个子空间内寻找单峰区间。注意：假设第k次得到的区间，若，则可取作为极小点。5.一维搜索的基本思想

一维搜索就是要在初始单峰区间中求单峰函数的极小点。所以找初始单峰区间是一维搜索的第一步，然后将初始单峰区间逐步缩小，直至包括极小点的区间长度小于给定的一个正数，此称为收敛精度或迭代精度。缩小区间的区间消去法6.探索区间(初始单峰区间）的确定方法

一维问题的探索方向是确定的，一维探索实际是求可行域内的最优步长(k),使目标函数值达到最小，首先必须确定包含最优点的可行域[s,e]。进退试算法包含最优点的单峰区间[s,e]内，目标函数值呈现“大—小—大”的U字形。假设(1)<(2)<(3)为三个相邻点，若

f((1))>f((2))<f((3))

则[(1),(3)]是一个包含极小点的区间。

前进算法：将(k)和(k)+h代入目标函数，如果f((k))>f((k)+h)，则将步长增加一倍(2h)；得到下一个点(k)+3h。比较相邻三点函数值：如果f((k)+h)<f((k)+3h)，则探索区间[s,e]为[(k),(k)+3h]

否则，再将将步长增加一倍，重复上述运算。前进方向

后退算法：将(k)和(k)+h代入目标函数，如果f((k))<f((k)+h)，将步长反号，即令h=-h，得到下一个点(k)-h。比较相邻三点函数值：如果f((k)-h)>f((k))，则探索区间[s,e]为[(k)-h,(k)+h]，否则将步长加倍并按前进算法重复上述运算。后退方向进退法的程序框图【例7】试用进退算法确定函数的初始搜索区间，设初始点，初始步长h=1。采用不同的初始点、不同的初始步长得到的初始单峰区间可能不一样，但只要这个单峰区间包含极小点，就是正确的。1.黄金分割法1)基本原理

对于目标函数f(x)，在区间[a,b]内，适当插入两个内分点x1和x2(x1<x2),它们把[a,b]分成三段。计算并比较x1和x2两点的函数值f(x1)和f(x2)，因为[a,b]是单峰区间，故当f(x1)>f(x2)时，极小点必在[x1,b]中；当f(x1)≤f(x2)时，极小点必在[a,x2]中。二、一维搜索方法无论发生在那种情况，都将包含极小点的区间缩小，即可删去最左段或最右段，然后在保留下来的区间上做同样的处理，如此迭代下去，将使搜索区间逐步减小，直到满足预先给定的精度（终止准则）时，即获得一维优化问题的近似最优解。消去函数值大的内分点到同一侧端点之间的区间黄金分割法要求在区间[a,b]中插入的两点位置是对称的，如图所示，ax1=x2b。设区间长为L，插入的两个点把区间分成较长的一段α和较短的一段(L

–

α)，如图所示，，，这样，无论删去那一段，保留的区间长度总是α，在每次迭代中，整个区间的长度α与较长一段长度的比等于较长一段长度与较短长度的比。2）黄金分割法的迭代步骤

（1）给定初始单峰区间[a,b]及允许误差ε>0；（2）计算内分点及其函数值（3）比较函数值f1和f2的大小；根据比较结果缩短搜索区间A.当f1≤f2时，极小点必在[a,x2]中，则B.当f1>f2时，极小点必在[x1,b]中，则（4）判断是否满足精度要求。若新区间已缩短至预定精度要求，即，则转第5）步；否则转第3）步，进行下一次迭代计算。（5）输出最终区间的中点作为近似最优点，其对应的函数值即为最优值，他们组成的最优解为：黄金分割法的程序框图【例2】试用0.618法求函数的极小点，设初始单峰区间初始点，给定计算机精度

。2.二次插值法适于目标函数易求一阶或二阶导数的情形。插值法：当目标函数比较复杂，不易通过

limf(x(k)+(k)s)=f(*)使目标函数达到极小值时，可以采用一个容易求解极小值的较低次函数p(x)，在满足一定的条件下来近似代替f(x)。

p(x)为二次函数时称为二次插值法，p(x)为三次函数时称为三次插值法。插值法的原理1(k)02(k)3(k)f(1(k))f(2(k))f(3(k))f()p()f()p()p()=A+B+C2二次插值法的程序框图优化问题一维优化问题（1个设计变量）多维优化问题（多个设计变量）无约束多维问题单目标函数的优化问题多目标函数的优化问题有约束多维问题3.4无约束多维问题的优化方法

无约束优化方法的核心是确定探索方向（能使目标函数值下降的方向），有了方向，沿这个方向应该走多远（最优探索步长），则可采用一维搜索方法解决。

多维无约束优化问题的一般数学表达式：一、坐标轮换法（变量轮换法）基本原理：沿着多维优化设计空间的每一个坐标轴作一维探索，求得最小值。坐标轮换法的基本原理x1x2X*X(0,1)X(1)X(2)X(3)X(0)0x1(0)x1(1)x1(2)x1(3)x1*x2(0)x2(1)x2(2)x2(3)x2*迭代步骤：（1）第1次迭代时，先固定x2=x2(0)

变量值不动，由初始点X(0)沿x1轴向进行一维探索，得到该轴方向上的最优点X(0,1)=[x1(1),

x2(0)]；（2）固定x1=x1(1)

变量值不动，由初始点X(0,1)

沿x2轴向进行一维探索，得到该轴方向上的最优点X(1)=[x1(1),

x2(1)]（3）将X

(1)

作为第1次迭代的改进点，之后，完全依照第1次的步骤进行第2、3、…、k次的坐标轮换迭代，直到满足精度要求后停止迭代。二、特点

1）计算量小，程序简单，计算效率低，易于掌握。2）搜索路线长，计算效率较低，所以只能用于低维（n<10)优化问题求解。3）若目标函数具有脊线，算法将出现病态：沿两个坐标方向均不能使函数数值下降，误认为最优点。x1x2X(1)X*X(0)0x1x2X*X(0)X(1)X(2)X(3)X(4)0X(0)0x1x2X*X(1)二、梯度法（最速下降法）1.基本思想

梯度方向是函数值增加最快的方向，而负梯度方向是函数下降最快的方向，所以梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯度方向一维搜索，直到满足精度要求为止。因此，梯度法又称为最速下降法迭代格式：迭代终止条件：最优解：2.迭代步骤1）任选初始点X(0)，计算精度ε，令k=0

；2）计算和；3）收敛判断，

A.若，则X(k)为近似最优点，停止迭代，输出最优解和；

B.若，则转下一步继续迭代；4）令5）确定最优步长因子，使6）计算；7）令k=k+1，转2）。解：（1）

如果转（2），否则转（5）。【例3】用梯度法求目标函数f(X)=x12+4x22

在初始点X(0)=[22]T，迭代精度=10-2

下的最优解。（2）（3），并转（1）。（4）第7次迭代后，成立，停止迭代。（5）取时，

f(X*)=2.596×10-6≈0梯度法的特点：负梯度方向只是函数值在点X(k)的邻域内下降最快的方向，离开该邻域以后函数值不一定下降最快。因此，采用负梯度方向，从局部看函数值下降快，从全局看却要走很多弯路。因此，梯度法的收敛速度较慢。梯度法的迭代过程，每相邻两步的搜索方向是垂直的，也就是说梯度法的迭代路线是呈锯齿形前进的。梯度法迭代过程中，当迭代点离理论极小点较远时，一次迭代的函数值下降量大。迭代点离极小点越近，函数值下降的速度就越慢。因此，梯度法常与其它优化方法结合使用。即第一步采用梯度法，后面采用其它的方法确定搜索方向。梯度法的收敛速度与目标函数的性质有关。如果目标函数的等值线（面）为同心圆（球），则无论从哪里出发，只需要一次搜索就能达到极小点。三、牛顿法1.基本思想在X(k)的邻域内，用二次泰勒多项式近似原目标函数F(X)，以该二次多项式的极小点作为F(X)的下一个迭代点X(k+1)，并逐渐逼近F(X)的极小点X*。要求：F(X)连续，且存在一、二阶偏导数。三、牛顿法1.迭代过程设目标函数是连续二阶可微的，将函数在X(k)点按泰勒级数展开后，取到二次项将上式展开，得对X求导，设X(K+1)是极小点，并令一阶导数为0，得上式即为基本牛顿法的迭代公式，其中S(k)称为牛顿方向。【例4】用牛顿法求目标函数的极小值。初始点解：对目标函数求偏导数可得到：牛顿法的特点：对于二次函数而言，取到二次项的泰勒展开式就是目标函数本身。如果二阶导数矩阵正定，那么按牛顿法求出的X(1)就是目标函数的精确极小点。因此，对正定二次函数而言，牛顿法只需一次迭代就可以达到精确极小点。牛顿法迭代时步长总是为1，对非二次函数、非正定函数而言，一次迭代并不能达到极小点，有时还可能失效（即总是不能收敛）。坐标轮换法将n维问题转化为依次沿n个坐标方向轮回进行一维搜索。收敛速度较慢，适合n≤10的小型无约束优化问题，若目标函数具有“脊线”，算法将出现病态：沿两个坐标方向均不能使函数数最速下降法(梯度法)搜索方向为目标函数负梯度方向。计算效率优于坐标轮换法。开始几步搜索下降快，但愈接近极值点下降愈慢。对初始点的选择要求不高，适合与其它方法结合使用（开始采用最速下降法，接近极值点时采用其它方法，如牛顿法）。牛顿法（Newton-Raphson法）用泰勒二次多项式近似原目标函数，以该二次多项式的极小点近似目标函数的极小点并逐渐逼近该极小点（搜索方向为牛顿方向，步长为1）。要求目标函数连续，存在一、二阶偏导数，且海赛（Hessian）矩阵非奇异。初始点选择适当时，是收敛最快的算法；对初始点选择要求高。计算量大。3.5约束问题的优化方法

在实际工程中优化设计问题，绝大多数都是约束优化问题，其数学模型为：

根据处理约束条件的不同方式，求解这类问题的方法分为直接法和间接法。直接法：在迭代过程中逐点考察约束的可行域，并使迭代点始终局限于可行域之内的算法称为直接法。常用的直接法有：随机试验、随机方向搜索法、复合形法、可行方向法、约束坐标轮换法、网格法等；间接法：把约束条件引入目标函数，使约束优化问题转化为相对简单的二次规划问题或线性规划问题求解的算法称为间接法，常用的间接法有消元法、拉格朗日乘子法、惩罚函数法和序列线性规划法等。一、约束优化问题的直接法在可行域内按照一定的准则，直接探索出问题的最优点，而无须将约束问题转换成无约束问题去求优的方法，称为约束优化问题的直接法。约束条件常常使得可行域非凸集出现众多的局部极值点，不同的初始点往往会导致探索点逼近不同的局部极值点，因此需要多次变更初始点进行多路探索。复合形法基本思想：是在n维设计空间可行域内，选择K个可行点(n+1≤k≤2n)构成一个多面体（复合形），在复合多面体内的每一个顶点都代表一个设计方案。对每一个顶点的目标函数进行比较，最大点为坏点，以其余各点的中心为映射轴心，在坏点和其余各点的中心连线上，寻找一个既满足约束条件，又使目标函数值有所改善的坏点映射点，并以映射点替换坏点而构成新的复合形。按照上述步骤重复多次，不断以映射点代替坏点，不断构成新的复合形时，使复合形不断收缩。这时可输出复合形各顶点的函数值最小的点作为近似最有点。复合形法g1(X)g2(X)g3(X)g4(X)g5(X)g4(X)坏点好点新点复合形法的原理示意图复合形法迭代算法:1．形成初始复合形（1）在设计变量少，约束函数简单的情况下，由设计者决定k个可行点，构成初始复合形。（2）当设计变量较多或约束函数复杂时，由设计者决定k个可行点常常很困难。这时可采用以下方法生成初始复合形。选定一个可行点作为初始顶点（控制初始复合形的位置），其余的k-l个可行点用随机法产生。各顶点按下式计算——复合形的第k个顶点；——设计变量的上、下限；——（0，1）区间内的伪随机数。b）用式(2-)计算得到的k-l个随机点不一定都在可行域内，因此要设法将非可行点移到可行域内。

通常采用的方法如下。先求出可行域内q个顶点的中心XC，然后将非可行点向中心点XC移动，得新点

一般取。若某一点仍为不可行点，则利用上式，使其继续向中心点移动。只要中心点为可行点，k-l个点经过上述的处理后，最终全部成为可行点，并构成初始复合形。2)．复合形法的搜索方法和计算步骤（a）计算各顶点函数值，Fi＝F(Xi)；比较函数值的大小，确定最好点XL、最差点XH、次差点XG

（b）计算XH点之外各点的“重心”XC

（3）如果XC在可行域内，则沿XHXC方向上作XH点相对于XC点的反射点XR，XR＝XC＋α(XC－XH)式中α——反射系数，一般取α＝1.3。判别反射点XR是否为可行点，如在可行域外，则将α减半，重新计算反射点，直至满足全部约束。（4）如果中心点XC不在可行域之内，可行域则可能为非凸集。为了将XC移至可行域内，以XC和XL为界的超正方体，重新利用伪随机数产生k个新的顶点，构成新的复合形（算法和计算步骤见形成初始复合形一节）。此时边界值若xLi＜xCi（i＝1，2，…，n），

则（i＝1，2，…，n）否则相反。重复（1）、（2），直至XC及XH点相对于XC点的反射点XR都进入可行域。（5）计算F(XR)，如果F(XR)＜F(XH)，则用XR代替XH构成新单纯形，转入（1）开始下一轮搜索；否则继续（6）。（6）如果F(XR)＞F(XH)，则将α减半，重新计算XR，直至F(XR)＜F(XH)。若F(XR)＜F(XH)且XR为可行点，转（5）；若经过若干次α减半的计算，使α值小于给定的很小的正数ζ（ζ＝10-5）时，仍不能找到使正确的反射点，将最差点XH换为次差点XG并转入（2）。当复合形收缩到很小时

或各顶点目标函数值满足

时，停止迭代，X*＝XL即为最优解。复合形法的程序框图二、约束优化问题的间接求解法——惩罚函数法

惩罚函数法是求解约束优化问题的间接法的一种。它是将目标函数和约束条件构造成一个新的目标函数，将约束最优化问题转化为无约束最优化问题，然后利用各种有效的无约束最优化解法求解而得到约束最优化的近似解。这是一种使用广泛的有效的间接解法。把其中不等式和等式约束函数值经加权处理后，和原目标函数结合新的目标函数:惩罚函数1.惩罚函数法的基本思路1.惩罚函数法的基本思路

将不等式约束、等式约束和待定系数（加权因子）经加权转化后，与原目标函数f(X)一起组成一个新的目标函数（惩罚函数），然后对它求最优解。——与不等式约束有关的惩罚项——与等式约束有关的惩罚项——罚因子

惩罚函数中的后两项称为惩罚项。惩罚项满足下列要求：当满足约束条件时，惩罚项的值很小或为0；当不满足约束条件时，惩罚项的值很大，即对不满足约束条件的点的函数值进行惩罚。

新目标函数中，称为惩罚因子或加权因子，它们是一系列的按一定规则变化的值。当按照一定的法则改变的数值时，就构成了一系列的无约束优化问题，求解这些优化问题可得到一系列的无约束的迭代点，使其一步步迭代，不断地逼近原约束优化问题的最优解。

惩罚函数法又称序列无约束极小化方法，常称SUMT（sequentialunconstrainedminimizationtechnique）。根据惩罚项的构成形式，惩罚函数法可分为：内点惩罚函数法外点惩罚函数法混合惩罚函数法。2.内点惩罚函数法1）特征该法是求解不等式约束最优化问题的一种有效的方法，但不能处理等式约束，其特点是将新的无约束目标函数——惩罚函数定义在可行域内。在可行域内，序列迭代点逐步逼近约束边界上的最优点。这样，求解无约束问题时的搜索点总是保持在可行域内部。

内点法求解时，惩罚函数的形式为惩罚项的特点：当迭代点在可行域内且远离边界时，两种惩罚项和都是很小的正值，这时候惩罚作用很小；当迭代点靠近边界时，则惩罚项的值急剧增大并趋向无穷大，于是惩罚函数值也随之急剧增大并趋向无穷大。这样等于在约束边界筑起一道“屏障”，使迭代点始终不能超出可行域。惩罚因子的特点：内点惩罚函数法的惩罚因子r(k)是一个递减的正数序列，，c是惩罚因子的缩减系数，即当惩罚因子时，才能求得在约束边界上的最优解。2）初始惩罚因子r(0)的选择初始惩罚因子的选择会影响到迭代计算能否正常进行以及计算效率的高低，r(0)的值应适当。若r(0)太大，则开始几次构造的惩罚函数的无约束极值点会离约束边界很远，将增加迭代次数，使计算效率降低。若r(0)太小，惩罚函数中的障碍项的作用就会很小，使惩罚函数性态变坏，甚至难以收敛到原约束目标函数的极值点。

目前，还没有一定的有效方法，往往要经过多次试算，才能确定一个适当的r(0)。多数情况下，一般取r(0)＝1

～50，然后根据试算的结果，加以调整；或按经验公式取值使惩罚项和原目标函数在惩罚函数中的作用相当。3）罚因子缩减系数C的选择在构造序列惩罚函数时，惩罚因子r(k)是一个逐次递减到0的数列，相邻两次迭代的惩罚因子关系式为：其中，c是惩罚因子的缩减系数，通常取值为0.1~0.7。一般来说，c值的大小对收敛速度无明显影响，在迭代过程中不起决定性作用。4）收敛条件内点法的收敛准则为：5）内点法的迭代步骤：步骤1

选，可行初始点不应在边界上，最好不要靠近任何一个约束边界；步骤2

选，令k=0（迭代次数）；步骤3

构造惩罚函数，选某一适当的无约束优化方法，求，得到，令；步骤4

判断迭代点是否收敛，若满足收敛条件，迭代终止，约束最优解为：否则，令，转步骤三。3.外点惩罚函数法外点惩罚函数法构造惩罚函数的形式为：对于约束优化问题分析：①对于不等式约束，当满足约束条件时，惩罚项为0；当不满足约束条件时，惩罚项大于0，这相当于给不满足约束条件的迭代点在函数值上给予惩罚，以此来使迭代点逐步向可行域边界靠近；②对于等式约束，也可以得出类似的结论。外点法既可处理不等式约束，也可处理等式约束。

为了进一步理解外点法，我们考虑一种只有不等式约束的情况，此时，惩罚函数1）特征

根据对惩罚项性质的分析，惩罚项可分以下两种情况：

可以清楚地看出，外点法的惩罚项是定义于可行域之外的。事实上，外点法的迭代过程是从可行域外一步步向可行域边界逼近的。这正是外点法名称的由来。2）选择外点法惩罚因子按下式递增：式中：C—惩罚因子递增系数，通常C=5～10。外点法惩罚因子的合理取值很重要，若太大，惩罚项的作用就会很大，使惩罚函数的等值线变形或偏心，求极值将会很困难；若太小，将增加迭代次数，计算效率降低。

多数情况下，取，C=10时效果较好。

惩罚项的大小还与惩罚加权因子r(k)有关。当惩罚因子按一个递增的正数序列变化时，依次求解所对应的无约束极小化问题，将得到一个极小点序列随着r(k)逐步增大，这个极小点序列将逐步逼近原约束优化问题的最优解。3）迭代步骤步骤1

给定初始点、收敛精度、初始惩罚因子r(0)和惩罚因子递增系数，约束容限δ，并置；步骤2

构造惩罚函数步骤3

求解无约束优化问题，得,令

步骤4

判断收敛精度：若满足条件

则令，结束计算；否则，令，转步骤2，继续迭代。【例】如下图所示一对称的二杆支架，在支架的顶点有一载荷2P=300000N，支座之间的水平距离为2B=152cm。若已选定壁厚T=0.25cm的钢管，其弹性模量E=2.16×105MPa，比重β=8.30tm-3，屈服极限σs=703MP，先要设计满足强度与稳定性条件下最轻的桁架尺寸。解：1、建立数学模型取设计变量

其目标函数

约束条件为：1）：钢管的承压强度必须满足，即圆管杆件中的压应力σ应≤材料的屈服极限σs，即：2）：钢管的承压稳定性条件必须满足，即圆管的压应力σ应≤压杆稳定的临界盈利σk，由材料力学可知：约束条件为：3）：支架的实用条件要求必须满足，即：这是一个二维约束非线性规划问题。下图描绘了设计空间中目标函数等值线、约束面和设计变量的关系。2、选用求解方法和结果分用外点惩罚函数求解。此问题的外点惩罚函数为：2、选用求解方法和结果分用外点惩罚函数求解。此问题的外点惩罚函数为：取初始点：最优解点：用外点阀函数求解二杆支架问题：4.混合惩罚函数法

这种方法是将内点法和外点法的惩罚函数形