机械优化设计(第2、3次课)修改

1、机械优化设计何军良何军良 上海海事大学上海海事大学Shanghai Maritime University 1909 2009 2004 1912 1958机械优化设计中的几个问题优化设计概述优化设计的数学基础2目 录CONTENTS一维搜索方法无约束优化方法线性规划 约束优化方法 补课时间：周四11-13节教室：3A103第二章 优化设计的数学基础 矩阵运算01 多元函数的方向导数与梯度 多元函数的泰勒展开 凸集、凸函数与凸规划020304 最优化问题的极值存在条件0552.1 矩阵p 2.1.1 矩阵的概念第二章 优化设计的数学基础设一线性方程组：如果把上面式子中的系数按原来的顺序排列起来

2、，记作下面的形式：它就被称为矩阵，简记为:11 11221121 1222221 122 nnnnmmmnnma xa xa xba xa xa xba xaxa xb1112121 22212 nnmmmnaaaaaaAaaa,1,2,;1,2,ijAaim jn62.1 矩阵p 2.1.1 矩阵的概念第二章 优化设计的数学基础由方阵A的全部元素构成的行列式，称为矩阵A的行列式，记为|A|。1112121 22212 nnnnnnaaaaaaAaaa应用MATLAB求解A=1,2,3;4,5,6;7,8,9 ; %生成矩阵Adet(A) %求A的行列式当方阵A的行列式|A|=0 ,称A为奇异

3、方阵；当|A|0 , 则称A为非奇异方阵。 72.1 矩阵p 2.1.1 矩阵的概念第二章 优化设计的数学基础单位方阵：在n阶方阵中，当主对角均为1，其余各元素都为零，则称作单位矩阵，并用特定符号E表示，即：1 1 000 1000 0 100 0 0 1E在矩阵代数中，单位矩阵相当于一般代数中纯1的概念。MATLAB中，单位矩阵的命令是： eye(n)82.1 矩阵p 2.1.2 矩阵的转置第二章 优化设计的数学基础若将原矩阵A的行与列对换成列与行来写，就得到A的转置矩阵，用AT表示，即：1112121 22212 nnmmm naaaaaaAmnaaa1121112 22212 mmTnn

4、mnaaaaaaAnmaaa同样，行矩阵的转置为列矩阵，列矩阵的转置为行矩阵，如：1212 Tnnaaaaaa应用MATLAB求解：A=1,2,3;4,5,6;7,8,9 ; %生成矩阵AA %求A转置92.1 矩阵p 2.1.3 对称方阵第二章 优化设计的数学基础当方阵具有A=AT ，也即各元素满足aij=aji的性质时，称A为对称方阵。其全部元素沿主对角线呈对称分布，例如： 1 8 1 3 8 4 5 21 5 7 3 3 2 3 6A102.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（1）矩阵相等两个同阶数的矩阵A与B，它们的阶数相同，并且各对应元素完全相等，即aij=

5、bij，则该两矩阵称为相等，记作A=B 。（2）矩阵的加减两个同阶数的矩阵A与B可以进行加减运算，其和或差C亦同阶矩阵。矩阵C中各元素为矩阵A 、B中各对应元素之和或差。即：CAB则必有相对于元素的对应关系ijijijcab矩阵加法还满足交换律和结合律，设有同阶矩阵A 、B 、C，则有：ABBAA B CAB C112.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（3）矩阵的乘法若以数乘矩阵，得同阶矩阵C,记C=A，规定C中各元素就是A中各元素乘以，即cij=aij 。表达如下：112111121112 22212 2221212 mmmmnnmnnnmnaaaaaaaaaaa

6、aCAaaaaaa122.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（3）矩阵的乘法若以两个矩阵A与相乘，则必须A的列数等于B的行数时才可以进行这种运算，它的乘积仍是一个矩阵C，C的行数同A，C的列数同B，C的第 i 行 j 列的元素cij等于A中第 i 行各元素ai1, ai2 , aip与B中第 j 列各元素a1j, a2j , apj逐对相乘之积的总和，即：1 1221pijikkjijijippjkca ba ba ba b132.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（3）矩阵的乘法例如：102311220312A124203B18711007

7、2) 1 1(34) 1(0) 1(232) 1(3) 1() 1()2(42002)2(2230) 1() 3(41022) 3(2132AB142.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（3）矩阵的乘法关于矩阵乘积的某些性质：（1）当两矩阵之积为0时，并不意味着其中之一必为零矩阵。（2）当存在AB=AC的关系时，B=C的关系不一定成立。（3）当矩阵A与单位方阵相乘时，其积仍为A，即EA=A或AE=A。 （4）乘积的转置(AB)T=BTAT。152.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（4）逆矩阵对于一个n阶方阵A（非奇

8、异方阵），如果另有一个n阶方阵B，能满足两者之积等于单位方阵，即AB= E时，则B叫做A的逆矩阵，记作B=A-1。一个矩阵如果有逆矩阵，就叫它为可逆矩阵。逆矩阵是唯一的，由此推知：由此看， A也是A-1的逆矩阵。 11AAA AE11AA应用MATLAB求解A=1,2,3;4,5,6;7,8,9 ; %生成矩阵Ainv(A) %求A的逆162.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（4）逆矩阵把数学方程组写成矩阵的形式若矩阵A是非奇异的（即| A | 0），则A-1以左乘上式等号两端，所以：因有 ，则 这里，只要求出系数矩阵的逆阵A-1 ，再求出乘积A-1B，即可求出未知

9、量X。AXB11A AXA B1AAE1EXA B1XA B172.1 矩阵p 2.1.4 矩阵的运算第二章 优化设计的数学基础（4）逆矩阵在线性代数中将二次齐次函数称作二次型。其矩阵形式为：GXXXfT)(式中，G是对称矩阵。如果对任何X0的的向量都有f(x)0，则称 f 为正定二次型，并称对称矩阵G正定。对称矩阵G为正定的充要条件是G的各阶主子式都为正。 0, 0, 02122221112112221121111nnnnnnaaaaaaaaaaaaaa182.2 多元函数的方向导数与梯度p 2.2.1 方向导数第二章 优化设计的数学基础一个二元函数f (x1,x2)在点 X0(x10,x2

10、0)处的偏导数定义是: 定义：函数沿指定方向d的平均变化率的极限。二元函数 f (x1,x2)在 X0(x10,x20)沿d方向导数:方向导数010120210200(,)(,)limdXf xx xxf xxfdd 1020101201020011102021020022(,)(,)lim(,)(,)limxXxXf xxxf xxfxxf xxxf xxfxx 192.2 多元函数的方向导数与梯度p 2.2.2 方向余弦第二章 优化设计的数学基础121x2xoX0X1x2xcos,1,2,iixind1cos12nii0X Xd 0XX3x2x1x3x2x1x222122212221xxd

11、xxdd 2212coscos1即:202.2 多元函数的方向导数与梯度p 2.2.3 方向导数与偏导数的关系第二章 优化设计的数学基础00010120210200101201020101101202101202021212(,)(,)lim(,)(,)lim(,)(,)limcoscosdXddXXfxxxxfxxfddfxxxfxxxxdfxxxxfxxxxxdffxx 式中，1 和2 为d与x1和x2的夹角。当1=0或1=/2时，方向导数分别为：1xfdf或2xfdf即为方向导数212.2 多元函数的方向导数与梯度p 2.2.3 方向导数与偏导数的关系第二章 优化设计的数学基础00001

12、23123coscoscosXXXXffffdxxx对n元函数，仿此可得001cosniiXiXffdx式中， 为函数对各个坐标轴的偏导数；0iXfxcosiixd为d对各坐标轴方向余弦。方向导数表明函数沿某方向的变化率，它是一个标量。当其值为正时，函数值增加；当其值为负时，函数值减小。三元函数f (x1,x2,x3)在点 X0(x10,x20,x30)沿d方向导数 : 三维空间中的方向222.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础定义：方向导数变化最大的方向。以二元函数为例，其方向导数为：写成矩阵形式001212coscosXXfffdxx0001212c

13、oscosXXXfffdxx式中， 为d方向的单位向量。 也是一个向量，称为f(X)12coscos012TXffxx记作TXXxfxfxfxfXF0021210在X0的梯度，它与方向d无关。232.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础式中，因此，可将方向导数改写为梯度的模为如何推广到n维函数的梯度？梯度的模为梯度的意义：当 与d同向时，方向导数 为最大 ，沿此方向函数值增加最快。反向时，函数值下降最快。垂直时，方向导数为零，沿此方向，函数值不变。dfdXfdXfdfTX,cos000和分别为向量 和d的模。为两向量的夹角。0()f Xd, f d 222

14、1xfxfXfTXnxfxfxfXF0210niixfXf12)(Xfdf0()fX()fX242.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础可得出如下结论： 1.方向导数是梯度在指定方向上的方向导数是梯度在指定方向上的投影；投影； 2.最速下降方向为等值线（面）的最速下降方向为等值线（面）的法线方向；法线方向； 3.梯度的模是最大的方向导数梯度的模是最大的方向导数,负梯负梯度方向是函数的最速下降方向度方向是函数的最速下降方向； 4.在与梯度垂直的方向（等值线的在与梯度垂直的方向（等值线的切线方向）上，函数的变化率为零。切线方向）上，函数的变化率为零。 5.与梯

15、度方向成锐角的方向，函数与梯度方向成锐角的方向，函数值增加；成钝角的方向，函数值减值增加；成钝角的方向，函数值减小小。Fd252.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础例2-1 求函数f(X)=x12+ x22-4x1+4在点X1=3 2T和点X2=2 0T处的梯度。解：函数的等值线如图由梯度定义可知： 2121242xxxfxfXf在点X1=3 2T处梯度为：422421211XxxXf该点梯度与x1的夹角为：24arctan梯度是该点函数等值线的法线方向。在点X2=2 0T处的梯度为：梯度的分量都等于零，使得该点处的函数沿任何方向的方向导数也等于零。表明

16、该点处函数值具有稳定性，此处的函数值就是极值，该点就是极值点。002422212XxxXf262.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础例2-1 求函数f(X)=x12+ x12-4x1+4在点X1=3 2T和点X2=2 0T处的梯度。用用MATLBA求解求解syms x1 x2 %将x1，x2设置为符号变量f=x12+x22-4*x1+4; % 写出函数表达式fx1=diff(f,x1) ; %对x1求偏导数 ;fx2=diff(f,x2) ; %对x2求偏导数 ;x1=3; x2=2 ; %对x1 ,x2求偏导数赋值;g=fx1 fx2 ; %梯度 ;g

17、=subs(g) %把符号变量转为数值272.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础例2-2 求函数f(X)=x12+ x12-4x1-2x2+5在点X0=0 0T和处函数变化率最大的方向和数值。解：242242)(0021210XXxxxfxfXf5224)(2222210 xfxfXf51525224)()(00XfXfp282.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础例2-3 一般二元二次函数的矩阵式为其中 c为常数，求梯度解：将二元二次函数的矩阵式展开cXBAXXXfTT21)(212122211211xxXbbBa

18、aaaAcxbxbxaxxaxxaxaXf2211222221212112211121)(于是梯度2121222112112222121121211121)()()(bbxxaaaabxaxabxaxaxXfxXfXfBAXXf)(即()f X292.2 多元函数的方向导数与梯度p 2.2.4 梯度第二章 优化设计的数学基础例2-3续 对于n元二次函数其中BAXXf)(梯度推广：cXBAXXXfTT21)(nnnnnnnnxxxXbbbBaaaaaaaaaA2121212222111211302. 3 多元函数的泰勒展开p 2.3.1 一元函数的Taylor 展开式第二章 优化设计的数学基础0

19、/00/002( )0011( )()()()()().()()2!nnnf xf xfxxxfxxxfxxxRn研究函数的极值问题，主要研究函数在极值点附近的变化形态。在实际计算中，常取前三项(二次函数)来近似原函数：0/0/021( )()()()2f xf xfxxfxx 0 xxx 式中：312. 3 多元函数的泰勒展开p 2.3.2 二元函数的Taylor 展开式第二章 优化设计的数学基础0000022222121020121122221211221( ,)(,)22XXXXXffffff x xf xxxxxx xxxxxx xx 0022211211012222212221200

20、01()()21()()()2XXTTffxx xxxfff Xf Xxxxxxxffxxxf Xf XXX G XX G(X0)函数函数f(x1,x2)在在X0处的海赛处的海赛（Hessian）矩阵矩阵322.3 多元函数的泰勒展开第二章 优化设计的数学基础例2-4 求二元函数f(x1,x2)=x12+ x22-4x1-2x2+5在 点处的二阶泰勒展开。解：1220100 xxX)()(21)()()(),(00000021XXXGXXXXXfXfxxfTT0)(0Xf002242)(0021210XXxxxfxfXf2002)(02221222122120XxfxxfxxfxfXG2221

21、202101020210121) 1() 2()(21),(xxxxxxXGxxxxxxfp 2.3.2 二元函数的Taylor 展开式332.3 多元函数的泰勒展开第二章 优化设计的数学基础利用MATLAB绘制该曲面：x1=-5:5;x2=-5:5; %取值范围设定x1,x2=meshgrid(x1,x2); %三维曲面的分格线坐标f1=x1.2+x2.2-4.*x1-2.*x2+5;surfc(x1,x2,f1) %绘制曲面(带等高线)-505-505020406080100此函数的图像是以 X0点为顶点的旋转抛物面例2-4续342. 3 多元函数的泰勒展开p 2.3.3 多元函数的Tay

22、lor 展开式第二章 优化设计的数学基础ninjijjiijiiiixxxxxxXfxxxXfXfXf11,000200021011000002212020202021211202020000211222122202020122,1,2nnnnnnnnxxfXfXfXxxfXfXxxxxxfXfXfXxxxxxfXfXfXxxxxxxxxxxxfXfXfXxxxxx 01102202nnnxxxxxx352. 3 多元函数的泰勒展开p 2.3.3 多元函数的Taylor 展开式第二章 优化设计的数学基础XXGXXXfXfXfTT)(21)()()(000TXnxfxfxfXf0210)(函数f

23、(X0)在X0处的梯度海赛(Hessian)矩阵022221222222122122122120)(XnnnnnxfxxfxxfxxfxfxxfxxfxxfxfXG362. 3 多元函数的泰勒展开p 2.3.3 多元函数的Taylor 展开式第二章 优化设计的数学基础若将函数的泰勒展开式只取到线性项，即取：000( )()() ()Tz xf xf xxx当将函数的泰勒展开式取到二次项时,则得到二次函数形式。在线性代数中将二次齐次函数称作二次型。 ( )Tf xx Gx矩阵形式当对任何非零向量x使 ( )0Tf xx Gx则二次型函数正定，G为正定矩阵。则Z(x)是过点x0和函数f(x)所代表

24、的超曲面相切的切平面。372. 3 多元函数的泰勒展开p 2.3.3 多元函数的Taylor 展开式第二章 优化设计的数学基础Hessian 矩阵与正定Hessian 矩阵的特性：是实对称矩阵。 矩阵正定的充要条件：矩阵G的各阶主子式都是正的，即矩阵的主子式det(ait)0。矩阵负定的充要条件：矩阵G的奇数阶主子式det(ait)0，且偶数阶主子式det(ait)0Hessian 矩阵的正定性：G(x*)正定，是 x* 为全局极小值点的充分条件；G(x*)负定，是 x* 为全局极大值点的充分条件。382.3 多元函数的泰勒展开第二章 优化设计的数学基础例2-5 判定矩阵G= 是否正定解：对称

25、矩阵G的三个主子式依次为：401023136660633032631320100104因此知矩阵G是正定的。利用MATLAB求解G=6 -3 1;-3 2 0;1 0 4a=det(G(1,1) %求G(1,1)行列式b=det(G(1:2,1:2) %求G(1:2,1:2)行列式c=det(G) %求G行列式392. 4 凸集、凸函数与凸规划p 2.4.1 凸集第二章 优化设计的数学基础若任意两点X1,X2R，对于任意(0 10)，恒有:*若Y是X1和X2连线上的点，则有整理后即得凸集凸集非凸集非凸集Y YX X2 2X X1 1ll则 R 为凸集。12(1)YXXR221XYlXXl12(

26、1)YXX402. 4 凸集、凸函数与凸规划p 2.4.2 凸函数第二章 优化设计的数学基础设f(x)为定义在Rn内一个凸集D上的函数，若对于 ，对于任意 (0 10)及D上的任意两点x1,x2 ，恒有:则 f(x) 为定义在D的凸函数。（1）定义1212(1)()(1) ()fxxf xf xy)(xfx2xx1xof1f2flxxlxx212,llffyf12221)1 (ffy412. 4 凸集、凸函数与凸规划p 2.4.2 凸函数第二章 优化设计的数学基础（2）凸函数的基本性质 1.设F(x)为定义在凸集R上的凸函数， 为任意正实数,则 F(x)也是定义在R上的凸函数。证：由定义)()

27、1 ()()1 (2121XFXFXXF两边乘上)()1 ()()1 (2121XFXFXXF 2.设F1(x)， F2(x)均为定义在凸集R上的凸函数，则F1(x)+ F2(x)也是定义在R上的凸函数。证：由定义)()1 ()()1 (2111211XFXFXXF)()1 ()()1 (2212212XFXFXXF两式相加后整理可得证422. 4 凸集、凸函数与凸规划p 2.4.2 凸函数第二章 优化设计的数学基础（2）凸函数的基本性质 3.设F1(x)， F2(x)均为定义在凸集R上的凸函数， 1， 2为任意正实数，则1 F1(x)+ 2 F2(x)也是定义在R上的凸函数。432. 4 凸

28、集、凸函数与凸规划p 2.4.3 凸规划第二章 优化设计的数学基础（2）凸函数的基本性质对于约束优化问题 mjXgtsXfj, 2 , 10. .min若其中f(x)和gi(x)均为凸函数，则这样的规划问题称为凸规划。性质： 1.若给定一点X0 ，则集合R=X| f(X) f(X0)为凸集。此性质表明，当f(X)为二元函数时，其等值线呈现大圈套小圈形式； 2.可行域R=X|gj(X) j=1,2,m为凸集； 3.凸规划的局部极小点一定是全局极小点。442. 5 最优化问题存在的极值条件p 2.5.1 无约束问题的极值存在条件第二章 优化设计的数学基础1.必要条件0, 00021XXxfxf即0

29、0Xf（1）一元函数具有极小值的充要条件0)(0)(/xfxfxxfo（2）二元函数具有极小值的充要条件452. 5 最优化问题存在的极值条件p 2.5.1 无约束问题的极值存在条件第二章 优化设计的数学基础1.充分条件220222210212210212201021221,xxfxxxxfxxfxxfxxfXXX设0212XxfA0212XxxfB0222XxfC则222221210201122102012211,2,22f x xf xxA xB xxC xf xxA xB xACBxA 若X0是极小点，因此需满足： 0),(),(201021xxfxxf即要求 或要求 222122102

30、A xB xACBxA0, 02BACA也就是海赛矩阵G(X0)的各阶主子式大于0，即海赛矩阵正定。462. 5 最优化问题存在的极值条件p 2.5.1 无约束问题的极值存在条件第二章 优化设计的数学基础（3）多元函数具有极小值的充要条件0)(XF0)(2XF梯度为零向量 海赛矩阵正定 472. 5 最优化问题存在的极值条件p 2.5.1 无约束问题的极值存在条件第二章 优化设计的数学基础例2-6 求二元函数f(x1,x2)=x12+ x12-4x1-2x2+5的极值。解：根据必要条件求驻点 1122/24()0/22fxxf Xfxx021X 驻点 根据充分条件判断是否为极值点：200222

31、21222122120 xfxxfxxfxfXG1，2阶主子式大于0，X0为极小点，f(X0)=0。 482. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件第二章 优化设计的数学基础为了便于理解，先讨论二元函数只有1个等式约束条件的情况，即1,2min()f x x12. . ( ,)0sth x x求解这一问题可以用代数中的消元法。根据等式约束，将一个变量x1变成另一个变量x2的函数关系12()xx将x1带入目标函数f中，消去x1，变成一元函数F（x2）,从而将等式约束变成无约束问题。目标函数通过消元由二维降为一维，因此消元法也是降维法。（1）消元法（降维法）492

32、. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件第二章 优化设计的数学基础根据 l 个约束条件，可将 l 个变量用其余 n-l 个变量表示，对于具有l个等式约束的n维优化问题min(). .()0(1,2,)kf XsthXkl1112221212(,)(,) (,)llnllnllllnxxxxxxxxxxxx将这些函数关系代入到目标函数中，得到 n-l 个变量的无约束优化问题的新目标函数，即F（xl+1,xl+2,xn）。 502. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件第二章 优化设计的数学基础拉格朗日乘子法是求解等式约束优化问题

33、的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题。所以又称作升维法。（2）拉格朗日乘子法（升维法）对于具有l个等式约束的n维优化问题min(). .()0(1,2,)kf XsthXkl求解等式约束优化问题转换成无约束函数的极值条件1(, )()()lkkkF Xf XhXk为拉格朗日乘子，F（X, ）为拉格朗日函数51第二章 优化设计的数学基础在极值点x*处有：lkdXXhdxxhXdhdXXfdxxfXdfniTkiikkniTii, 2 , 1001*1*将等式约束乘以待定系数k，有以下等式：可以通过其中l个方程等于0，求解出1，2，l:lixhxhxhxfilli

34、ii,2 ,1022112. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件（2）拉格朗日乘子法（升维法）12121212111110nnnnnlliiililiiiiiiiiiiiiiihhhhhhffdxdxdxdxdxxxxxxxxx52第二章 优化设计的数学基础那么，就余下的n-l个变量的微分项：因为dxj是任意量，因此有：012211jnljjlljjjdxxhxhxhxfnlljxhxhxhxfjlljjj,2,102211因此，等式约束的必要条件是：nixhxhxhxfilliii, 2 , 1022112. 5 最优化问题存在的极值条件p 2.5.2 等

35、式约束问题的极值存在条件（2）拉格朗日乘子法（升维法）53第二章 优化设计的数学基础根据目标函数f(X)的无约束极值条件 ，则等式约束问题就可以转化为无约束的函数极值问题。其方法是引入新的目标函数：0/ixf1(, )()()lkkkF Xf XhX其中，k为拉格朗日乘子。2. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件（2）拉格朗日乘子法（升维法）新目标函数F(X)中显然多出了l个待定系数k（新的变量），则函数的总的变量共有n+l个变量。但是 可提供n个方程，再与等式约束结合，足以求出n+l个变量。0,1,2,iFinx54第二章 优化设计的数学基础0,0iikk

36、FxxF 即2. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件（2）拉格朗日乘子法（升维法）由于 1(x)0,lkkkkkkkfhxFhxhx所以0kF所以n+l个变量可由下述n+l个方程求出55第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件（3）拉格朗日乘子的物理意义考虑二元函数只有1个等式约束条件的情况，即1,2min()f x x12. . ( ,)0sth x x表示成拉格朗日函数的形式，即(, )()()F Xf Xh Xnixhxhxhxfilliii, 2 , 102211由公式可得11112222

37、0 =-0 =-fhfhxxxxfhfhxxxx或 或 即=-,1,2iifhixx56第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件（3）拉格朗日乘子的物理意义上式中 是单位变量的目标函数变化率，而 则是单位变量的约束值变化率。可以称 为优化效率或敏度系数。因为所以各变量导致的优化效率是相等的，都等于常量ifxihxiifhxx11=-fhxx22=-fhxx对于机械问题，若目标函数f(x)是结构重量，约束条件是结构刚度或某点的变形，则 分别表示？,iifhxx结构重量的收益，结构刚度的支出常量表示？单位刚度的支出能获得的结构重量的收益

38、，反映刚度对重量的优化效率57第二章 优化设计的数学基础例2-7 求用消元法和拉格朗日乘子法分别计算在约束条件 h(x1,x2)=2x1+3x2-6=0的情况下，目标函数f(x1,x2)=4x12+5x22的极值点坐标。解：（1）消元法 36361423622221xxfxx令03628022xxf1415,7912xx改造目标函数 63254),(212221xxxxXF则02811xxF031022xxF063221xxF解得：7/30（2）拉格朗日乘子法 因792x14151x2. 5 最优化问题存在的极值条件p 2.5.2 等式约束问题的极值存在条件58第二章 优化设计的数学基础2.

39、5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（1）基本思路求解不等式约束优化问题的基本思想：具体做法：将不等式约束条件变成等式约束条件。引入松弛变量。59第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件对于一元函数f(x)在给定区间a,b上的极值优化问题 ： 12 min. . 0 0fxs tgxaxgxxb转换成等式约束： 1200gxaxgxxb松弛变量 22111112221211,0,0hx agxaaxahx bgxbxbb 2211121121,F x a bf

40、xaxaxbb 拉格朗日函数：12, 拉格朗日乘子60第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件 2211121121,F x a bfxaxaxbb 拉格朗日函数：120 ,0对应于不等式约束条件的拉格朗日乘子，应满足非负要求根据拉格朗日乘子法00ikFxF 可得11120Faa121212ddddd 0dggFfxxxxfx11120Fbb211111,0Fhx agxa221212,0Fhx bgxb61第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问

41、题的极值存在条件（2）一元函数在给定区间上的极值条件由于1 10a有2种情况110,0a情况1：则 2110gxaxa 约束不起作用110,0a情况2：则 2110gxaxa 约束起作用 1110,00,0gxxagxxa为起作用约束，即为不起作用约束，即说明1 1gx和至少有一个取01 10a可改写成因此 110gx220a可改写成同理 220gx62第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件极值条件 121211221200,00,0dgdgdfdxdxdxgxgx211111,0Fhx ag

42、xa221212,0Fhx bgxb下面2个条件为什么不需用了？3个方程解3个未知数已经够了63第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件极值条件 121211221200,00,0dgdgdfdxdxdxgxgx1212120dgdgdfdfdxdxdxdx一元函数在区间【a,b】上的极值条件可以转化情况1：当ax*b时，因为120则极值条件为d*0df xx？情况2：当ax*时，因为120,0则极值条件为1d*0df xxd*0df xx情况3：当bx*时，因为120,0则极值条件为2d*0d

43、f xxd*0df xx第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件64*()axb*()xa*()xb第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（2）一元函数在给定区间上的极值条件65极值条件 121211221200,00,0dgdgdfdxdxdxgxgx |0,1,2jJ xj gxj起作用约束的下标集合： 000jjj JjjdgdfdxdxgxjJjJ情况1：当ax*b时，两个约束均不起作用情况2：当ax*时，第一个约束起作用

44、情况3：当bx*时，第二个约束起作用结论：在极值条件中，只考虑起作用的约束及其相应的拉格朗日乘子第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件66多元函数不等式优化问题模型：min( ). . ( )0 (1,2,)jf xs tgxjm参考一元函数不等式优化问题极值的条件，用拉格朗日乘子法推导出相应的极值条件，新的拉格朗日函数如下： 21, ,mjinjjFf xgxxx x12,Tjm 拉格朗日乘子：12,Tnnn mxxxx松弛变量：第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等

45、式约束问题的极值存在条件（3）库恩塔克条件67参考一元函数的条件，得出多元函数不等式约束问题的极值条件*1*0 1,2,.,01,2,.,01,2,.,mjjjiijjjfxgxxxingxjmjm 1201,2,.,201,2,.,01,2,.,mjjjiiijnjnjjnjjgFfinxxxFxjmxFgxxjm库恩塔克条件*1*01,2,.,01,2,.,01,2,.,mjjjiijjjfxgxinxxgxjmjm极值条件库恩塔克条件*01,2,.,00jjj JiijjfxgxinxxgxjJjJ第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题

46、的极值存在条件（3）库恩塔克条件引入起作用的约束条件后的极值条件如下：68*1*01,2,.,01,2,.,01,2,.,mjjjiijjjfxgxinxxgxjmjm极值条件库恩塔克条件第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件*0jjjJfxgx几何意义： 在约束极小值点x*处，函数f(x)的负梯度一定可以表示成所有起作用约束在该点的梯度（法向量）的非负线性组合。 69几何意义第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件 xk是极值点

47、，所以xk必须落在g1(x)=0和g2(x)=0的交线上。 kf x 和 、 线性相关且3者共面 1kg x 2kg x70几何意义（二维）2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计的数学基础 kf x 落在 和 形成的锥角区外的一侧 1kg x 2kg x从xk出发向切平面的 方向移动时，目标函数值减小，且不破坏约束条件，因此xk出不是稳定最优点，不是约束最优点，也不是局部极值点。 kf x 71几何意义（二维）2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计

48、的数学基础 kf x 落在 和 形成的锥角之内 1kg x 2kg xxk出是稳定最优点，是约束最优点或局部极值点。72几何意义（N维）2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计的数学基础在局部极小点 xk 处,目标函数的负梯度能表示成有效约束梯度的非负组合,即目标函数的负梯度属于有效约束的梯度所生成的凸锥内.73结论：2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计的数学基础 kf x （1） 在极值点处 和 以及 线性相关，或者说 可以看成 和 的线性组合

49、1kg x 2kg x kf x 1kg x 2kg x（2） 如果xk是极小点，那么目标函数的负梯度 一定位于两个约束函数的梯度形成的夹角内，或者说他们的线性组合系数是正的，即 kf x 1122kkkf xg xg x 74 min( ). . ( )0(1,2,) ( )0(1,2, )jkf xs tgxjmhxkl同时具有等式和不等式约束的优化问题： 101,2,.,00ljkjkj JkiiijjghfinxxxgxjJjJ库恩塔克条件：2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计的数学基础式中：k为对应于等式约束

50、的拉格朗日乘子（无非负） k为对应于不等式约束的拉格朗日乘求子（非负）7576第二章 优化设计的数学基础判断有约束问题的极值点是否存在的条件采用库恩-塔克条件。 库恩-塔克(K-T)条件中心思想：目标函数在该点的负梯度应该为在该点起作用的条件约束的梯度的线性组合。对于等式约束它一定是起作用约束，对于不等式约束，需要看最优点是否落在约束的边界上，如左图，g2是有作用约束，右图最优点在g1,g2交点处，g1,g2都是起作用约束。 2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（3）库恩塔克条件第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式约束问题的极值存在条件（4）库恩塔克条件举例对于如下约束优化问题 ，利用K-T条件求极值 0)(0)(01)(. .)2()(min132222112221xXgxXgxxXgtsxxXf画出目标函数的等值线和可行域 7778第二章 优化设计的数学基础2. 5 最优化问题存在的极值条件p 2.5.3 不等式