最新2优化设计的数学基础汇总

1、2优化设计的数学基础精品资料第二章优化设计的数学基础优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极 值问题，而对于约束优化问题则为数学上的条件极值问题。本章主要叙述与此相关的数学基础知识。第一节函数的方向与数与梯度、函数的方向导数一个二元函数?skip record if.? 在点?skip record if.? 处的偏导数，即函数沿坐标轴方向的变化率定义为：分尸he月画+物4)-1 ijtli- ,r5 x|at)° ax。) fr；制+3)- 一”

2、'jiitj 3 x2 agroaj%而沿空间任一方向s的变化率即 方向导数为：dslup+只 +%)_ 尸(非,巾aszp二im fe + mt)-x包l十|im "立十,工?+nq尸+aq.彳：)冥生_ iai,par.psf(xg) n 启 f(x°)icos +-_- ccs/r已为dx2方向导数与偏导数之间的数量关系为依此类推可知 n维函数？skip record if.?在空间一点？skiprecord if.?沿s方向的方向导数 为图2-1二维空间中的方向图2-2三维空间中的方向、函数的梯度函数？skip record if.?在某点x的方向导数表明函

3、数沿某一方向s的变化率。一般函数在某一确定点沿不同方向的变化率是不同的。为求得函数在某点x的方向导数为最大的方向，引入梯度的概念。仍以二元函数？skip record if.?为例进行讨论，将函数沿方向 s的方向导数写成如下形式" "（x）一0 产皿仃"（*）"卜。的_ -cua （7,十 35 6,ss s.rdx6.v dxcos 旦令:8x1 * dx2一 1称为?skip record if.?在点x处的 梯度?skip record if.?,而同时设 s为单位向量s = 8sq,c©sqf于是方向导数可写为：等好=叫x)s = w尸

4、ii网coslx),s)此式表明，函数？skip record if.?沿s方向的方向导数等于向量 ?skip record if.?在 s方向上的投影。且当 ?skip record if.?,即向 量？skip record if.?与 s 的方向相向时,向量 ?skip record if.?在 s 方向上的投影最大，其值为 ？skip record if.?。这表明梯度？skip record if.?是函数?skip record if.?在点x处方向导数最大的方 向，也就是导数变化率最大的方向。上述梯度的定义和运算可以推广到n维函数中去，即 对于n元函由此可见，梯度是一个向量，梯度

5、方向是函数具有最大变化率的方向。即 梯度？skip record if.?方向是函数？skip record if.?的最速 上升方向，而负梯度 ？skip record if.?方向则为函数？skip record if.?的最速下降方向。例 2-1 求二元函数?skip record if.?在？skip record if.?点沿 ?skip record if.?和？skip record if.?的方向导数。解：?skip record if.?，将？skip record if.?代入可得？skiprecord if.?,因此gf(x0)工3%期+2ri,响为 13巧 工兀h 71

6、元.“产=cos+co&- = 1.66624 44而患 ji k n = cos-十一 cos = 1465 ds2 23 46这说明同一函数在不同方向上的方向导数不同，其变化率也不同。函数？skip record if.?由？skip record if.?出发,沿 si 方向的 变化率大于沿 s2方向的变化率。所以，函数 ？skip record if.?沿si 方向增长得较快。第二节凸集、凸函数与凸规划如果函数在整个可行域中有两个或两个以上的极值点，则称每一 个极值点为 局部极值点。在整个可行域中，函数值最小的点为全域极值点。为求得全域极值点，以获得最好的可行设计方案，就需要进

7、一 步讨论局部最小点和全域最小点的关系，因而涉及到凸集、凸函数及 凸规划问题。一、凸集设d为n维欧氏空间内的一个集合，如果 d内任意两点x1和x2 的连线整个都包围在 d内，即对于任意实数(？skip recordif.?),点？skip record if.?,则称这种集合为 凸集，如图2-3a所 示，否则为 非凸集，如图2-3b、c所示。凸集满足以下性质：若d是 一个凸集，是一个实数，则集合d仍为凸集；若d与f均为凸集，则其和（或并）还是凸集；任何一组凸集的积（或交）还是凸图2-3凸集a）与非凸集b）、c） 集。、凸函数设d为en中的一凸集，？skip record if.?为定义在 d上

8、的一个 函数，若对于任意实数 （？skip record if.?）和d内任意两点x1间？skip record if.?内为凸函数，则曲线上任意两点a、b间（与x1和x2相对应）所连成直线上的点k'总不会落在这两点间曲线的下方，即大于相应点 k的函数值。仅供学习与交流，如有侵权请联系网站删除 谢谢io精品资料因而，若？skip record if.?为凸函数，则一?skip record if.?为凹函数；线性函数既可视为凸函数，又可视为凹函数。凸函数的性质：1）设取？skip record if.?为定义在凸集 d的凸函数，则对于任意正实数 ，函数 ？skip record if.

9、?在d上也是凸函数；2）设？skip record if.?、?skip record if.?为定义在凸集 d 上在d上也是凸函数:图2-5 一维凸函数的凸函数，则函数 ?skip record if. 3）若函数？skip record if.?在n维欧氏空间en一阶可微，则 对于任意？skip record if.?, ?skip record if.?为凸函数的充分 必要条件为（其证明可参见教材 p.26）?skip record if.?图2-5所示为一维函数情况，其凸函数的几何意义在于函数曲线 永远在切线的上面。若？skip record if.?是凸集d上的凸函数，并且在d内有极

10、小点，则极小点是唯一的。最优化方法中很多结论都是以函数具有凸性为前提的。三、凸规划对于约束优化问题min 尸s t- =1,丸3 m式中，若？skip record if.? 、 ?skip record if.? 、 u = 1,2,，n均为凸函数，则称此问题为凸规划凸规划的性质：1）可行域?skip record if.?为凸集。2）凸规划问题的任何局部最优解都是全局最优解3）若？skip record if.?可微，贝u?skip record if.?为凸规划问题的最优解的充分必要条件是：对于?skip record if.?,都满足:云0（该式表明在？skip record if.?

11、的邻域内的所有点的目标函数值均大于？skip record if.?处的值）但在实际应用中，要证明一个线性规划问题是否为凸规划，一般 比较困难，有时甚至比求解一个优化问题还要麻烦得多，尤其对一些 工程问题，由于其数学模型的性态都比较复杂，更难以实现。因此,在优化设计的求解时，就不必花精力进行求证，而通常是从几个初始点生发，看它是否能收敛于同一点上，否则从求得的几个方案中，选 取相对较好的方案，作为最优设计的结果，也就是从局部最优解的比 较中来选取全局的最优解。第三节无约束优化问题的极值条件优化问题的几何表达只能形象地给由最优解的有关概念，而最优 解数值的求得，还得靠必要的定量计算来达到。这种运

12、算的理论依据 是函数的极值理论，因而有必要对其有关概念作必要的回顾和介绍。多元目标函数的表达形式往往十分复杂，为了便于讨论，需用简 单的函数作局部逼近，使其简化。用泰勒展开式求目标函数在某点邻近的近似表达式，则是常用的方法 。一、多元函数的泰勒展开式一元函数？skip record if.?在xk点的泰勒展开式为f（上卜尸（/） +尸尸（工丁广+2而多元函数？skip record if.?在xk点的泰勒展开式为(x 町)+一 工l2占 dx.dx.（再-x：）（与-工）f(x)= f(x *) + £"(x")41 dxt式中，？skip record if.?

13、为函数在 xk点处对xi的偏导数；？skiprecord if.?为函数在xk点处对xi、xj的二阶偏导数；xi、xj分别表示 变量x的第i和j个分量；n为变量的个数。若用向量矩阵表示，可写为：仅供学习与交流，如有侵权请联系网站删除 谢谢io精品资料方*)i (7%3fix*dfxkdf(xk)5xj dx工1 一片工, 一 xi二卜尸(x，)(x-x*) = /f(xaxx - x$)£哥w工r./si。1+ a kj-：）3一仅供学习与交流，如有侵权请联系网站删除谢谢ii铲f(x*) d2fxk)尸(x*)dxf £xdx2 ' ' 3工|3x1rr.-

14、f(xb d7f(xk),一七曰 y,/t.改卡二"； 'e'mz82尸k) %(x*) d2f(xk) 叫3巧* 3xq' a*=(x ¥* y vy(x+x x")因此，多元函数？skip record if.?在xk点的泰勒展开式可用向量矩阵形式表达为尸（x） =m）十 v尸十一尸（*止）（*一.）其中，八加（x*）/fk）a尸（x*）t（a ）=,，,dx dx2 dxl 1工疗为？skip record if.?在xk点的一阶偏导数的列向量，称为 梯度;d2f(xk)l* *曹 ¥ ,”=8y 一dx：sx.sx,dx.

15、dxii 4i nv/（k）=a卡(*) 尸(x)f(k*)= "*), 一- l l e » idx1dx ' dxlt' dxjdx* i£4 "好(f) "(*)一 力f(x-) dx.dx. ' dx dx. ' dx2fi i*i £刷为？skip record if.?在xk点的二阶偏导数矩阵，由于函数的二次连续性，它是一个 nxn阶的对称方阵，统称为函数？skip record if.?在点xk的海色（hessian）矩阵。在优化设计中，目标函数取到自变量（设计变量）的二次函数表达式已足够

16、准确（这称为目标函数的平方近似表达式），因为数学上 己证明：对于非标准球面或椭球抛物面的一般非线性目标函数（即高次函数），在其极值点附近的等值线簇仍为同心椭圆簇，即目标函数在极值点附近是二次函数 。止匕外，二次函数的某些特征还为一些高效 寻优方法的建立提供了理论依据，因此要重视二次函数。这样， 对多 元函数的泰勒展开式只取前三项就可以，记为如下形式：f（x）=心+，火上旧仇2-二、无约束优化问题的极值条件从高等数学可知，一元函数存在极值点的必要和充分条件是：函 数的一阶导数？skip record if.?（即找到驻点）和二阶导数 ？skip record if.?。当?skip record

17、 if.?时为极大；?skip record if.? 时 为极小。类似地，对于n元函数？skip record if.?的无约束极值问题 min 产点？skip record if.?为一个局部极值点的充分必要条件是：1） 一阶导数向量?skip record if.?,即？skip record if.?;2）二阶导数矩阵,即海色矩阵？skip record if.?为正定或负定，即小网x*)也f(x与 d2f(,xkydx； ' dxf8x2 ' # 升 if(x*) =d2f(xk)直也a三*居="(k)i3(x与t尸(k) ' &xdx2济

18、f(x*)为正定或负定，为当 ?skip record if.?为正定时？skip record if.?为极小点；当？skip record if.?为负定时？skip record if.?为极大点（其证明可参见教材 p. 2022）判断矩阵a正定或负定的方法是检验其各阶顺序主子式，若各阶顺序主子式均大于 0,如下:则a为正定矩阵；若各阶顺序主子式行列式值正负号交替由现，则 为负定矩阵。若不满足正负定矩阵条件则为不定矩阵，则不可采用上 述方法计算极值。例2-2求函数？skip record if.?的极值。解：根据极值的必要条件求驻点精品资料 3f(x)3 %("(x)i a%2

19、用-4 = 0得到驻点？skip record if.?十 f(x)成 f(x*)dx28x1dxtdx f(x*) dxl2九= 4>g其各阶主子式均大于0,即？skip record if.?为正定,?skip再根据极值的充分条件，判断此点是否为极值点。由于record if.?为极小点，极小值为 ?skip record if.?第四节约束优化问题的极值条件求解约束优化问题5.t. gv(x) <0(«=1, 2f ， = 12 m求解上述问题的实质是在所有的约束条件所形成的可行域内，求得目标函数的极值点，即约束最优点。由于约束最优点不仅与目标函数本身的性质有关，还

20、与约束函数的性质有关，因此约束条件下的优 化问题比无约束条件下的优化问题更为复杂。库恩-塔克(kuhn-tucker )条件(简称 k-t条件)是非线性规 划领域中最重要的理论成果之一，通常借助库恩-塔克条件来判断和检验约束优化问题中某个可行点是否为约束极值点，即将k-t条件作为确定一般非线性规划问题中某点是否为极值点的必要条件，对于凸规划问题，k-t条件同时也是一个充分条件 。但是如何判别所找到 的极值点是全域最优点还是局部极值点，至今还没有一个统一而有效 的判别方法。k-t条件可阐述为：若？skip record if.?是一个局部极小点，则该点的目标函数梯度 ?skip record i

21、f.?可表示成诸约束面梯度 ?skip record if.?和？skip record if.?的线性组合的负值，即= 加 pq +力kmx) iee/式中，q为设计点处的不等式约束面数；j为设计点处的等式约束面数；?skip record if.?、?skip record if.?为非负值的乘子，也称为 拉格朗日乘子。式中，在点？skip record if.?处不起作用的约束条件 ?skip record if.?对应的义?skip record if.? 一定为零，只有当某一 约束？skip record if.?在点？skip record if.?为起作用约束时， ?skip r

22、ecord if.?才可以不为零。如果是约束最优解，则必然满足上 式。对凸规划问题而言，k-t条件不仅是确定约束极值点的必要条 件，同时也是充分条件。凸规划问题有唯一的k-t点，但它所对应格拉格朗日乘子不一定是唯一的。k-t条件的几何意义 在于：如果？skip record if.?是一个局部极小点，则该点的目标函数梯度 ？skip record if.?应落在该点诸约束面（所有起作用的约束条件）梯度 ？skip record if.?和？skip recordif.?在设计空间所组成的锥角范围内。如图 2-6所示，图2-6a中设计点？skip record if.?不是约束极值点，图 2-6

23、b的设计点？skip仅供学习与交流，如有侵权请联系网站删除 谢谢io图2-6 k-t条件的几何意义a）设计点？skip record if.?不是约束极值点；b）设计点？skip record if.?是约束极值点record if.?是约束极值点。（其子证而参见教材p. 32）现在通过图2-7所示的二维问题说明上述几何意义。图 2-7表示图2-7约束极值点存在的条件a）设计点？skip record if.?不是约束极值点；b）设计点？skip record在设计点？skip record if.?处有两个约束，且目标函数及约束条件均 为凸函数的情况。图 2-7a中，？skip record

24、 if.?点处目标函数的负 梯度为？skip record if.?,两约束函数的梯度分别为？skip recordif.?、?skip record if.?,此时?skip record if.?位于?skip record if.?和？skip record if.? 组成的锥角 之外，这样在？skip record if.?点附近的可行域内存在目标函数比？skip record if.?更小的设计点，故点?skip record if.?不能成为约束极值点。图 2-7b中，?skip record if.?点处的目标函数负梯度 ？skip record if.?位于锥角 之 内，则在该点附近邻域内任何目标由数值比？skip record if.?更