最优化优化设计的数学基础

第二章优化设计的数学基础2.1多元函数的导数与梯度2.4凸集、凸函数与凸规划2.2多元函数的泰勒展开2.3无约束优化极值条件2.5等式约束优化极值条件2.6不等式约束优化极值条件§2.1

多元函数的导数与梯度一、方向导数二元函数f(x1，x2)在X

(0)的偏导数为：分别表示沿坐标轴x1和x2方向在X

(0)处的f(X)变化率。f(X)在X0点沿d方向的方向导数:§2.1

多元函数的导数与梯度表示沿d方向在X(0)处的f(X)变化率。Δddθ2Δx2Δx1x1x20x1(0)x2(0)X

(0)θ1n维函数f(X)在X

(0)点沿d方向的方向导数:§2.1

多元函数的导数与梯度x1x2x3x2(0)x1(0)x3(0)0X(0)θ2θ1dθ3二、梯度对于二维函数f(X)在X

(0)点处的梯度:设为d方向的单位向量，则有§2.1

多元函数的导数与梯度投影形式：§2.1

多元函数的导数与梯度方向导数最大值发生在:结论:

d方向取梯度方向时,函数值的变化率最大。可见梯度方向是函数值变化最大的方向§2.1

多元函数的导数与梯度x1x20-▽f(X

(0))▽f(X

(0))最速上升方向最速下降方向下降方向上升方向d:等值线的切线方向，X

(0)函数值变化率为零的方向进一步推导到n维:沿d方向的方向向量即§2.1

多元函数的导数与梯度梯度重要性质：

①梯度是X

(0)点处最大的方向导数；②梯度方向是过点的等值线的法线方向；③梯度是X(0)点处的局部性质；④梯度指向函数变化率最大的方向；⑤正梯度方向是函数值最速上升的方向，负梯度方向是函数值最速下降的方向。§2.1

多元函数的导数与梯度

x1x20X(0)▽f(X(0))-▽f(X(0))最速上升方向最速下降方向下降方向上升方向变化率为零的方向例:求函数f(X)=x12+x22-4x1+4在点[3,2]T的梯度。在点X(0)=[3,2]T处的梯度为：解：§2.1

多元函数的导数与梯度例：试求目标函数f(X)=3x12-4x1x2+x22在点X(0)=[0,1]T处的

最速下降方向，并求沿这个方向移动一个单位长度后

新点的目标函数值。函数在X(0)=[0,1]T处的最速下降方向是解：由于§2.1

多元函数的导数与梯度新点是这个方向上的单位向量是：§2.1

多元函数的导数与梯度§2.2

多元函数的泰勒展开一元函数泰勒展开:二元函数泰勒展开:§2.2

多元函数的泰勒展开二元函数泰勒展开矩阵形式:其中:称为海赛（Hessian）矩阵§2.2

多元函数的泰勒展开n元函数泰勒展开矩阵形式:§2.3

无约束优化问题的极值条件一元函数极值条件:必要条件极小值极大值偶次阶导数不为零为极值点奇次阶导数不为零为拐点§2.3

无约束优化问题的极值条件二元函数极值必要条件:即:二元函数极值充分条件:海塞矩阵各阶主子式均大于零。§2.3

无约束优化问题的极值条件求函数f(X)=x12+x22-4x1-2x2+5的极值解：1）根据极值的必要条件求驻点2）利用海塞矩阵判断驻点是否为极值点§2.3

无约束优化问题的极值条件一阶主子式：二阶主子式：为极值点，f(X

(0))=0为极值§2.3

无约束优化问题的极值条件n元函数极值充分条件:海塞矩阵为正定。函数f(X)在X*附近的一切X均满足不等式函数f(X)在X*处取得局部极小值，称X*为局部极小点。而优化问题一般是要求目标函数在某一区域内的全局极小点。§2.4

凸集、凸函数与凸规划一、凸集一个点集（或区域），如果连接其中任意两点的线段都全部包含在该集合内，就称该点集为凸集，否则为非凸集。§2.4

凸集、凸函数与凸规划x1x20凸集非凸集x1x2yx2x1x1x20y凸集性质:

1)凸集乘一个实数后依然是凸集

2)两个凸集的和依然是凸集

3)两个凸集的交集还是凸集§2.4

凸集、凸函数与凸规划0A2AA+BAB0AB二、凸函数x1、x2为凸集域内的任意两点，如存在不等式：§2.4

凸集、凸函数与凸规划称f(x)是定义在凸集上的一个凸函数。x1x2xab0xf(x)三、凸性条件1.一阶导数判断2.二阶导数（

Hessian矩阵)判断§2.4

凸集、凸函数与凸规划Hessian矩阵G(X)在R上处处半正定。主子式>0时矩阵正定主子式≥0时矩阵半正定主子式＜0时矩阵负定主子式≤0时矩阵半负定四、凸规划对于约束优化问题若，都为凸函数，则此问题为凸规划。§2.4

凸集、凸函数与凸规划凸规划的任何局部最优解就是全局最优解等式约束优化形式：求解消元法拉格朗日乘子法§2.5

等式约束优化极值条件1.消元法（降维法）§2.5

等式约束优化极值条件降维处理：1.消元法（降维法）§2.5

等式约束优化极值条件降维处理：方法直观易理解，但是实际操作很困难变为无约束优化问题：2、拉格朗日乘子法（升维法）改造后优化模型：§2.5

等式约束优化极值条件原优化模型：拉格朗日函数待定系数2、拉格朗日乘子法（升维法）§2.5

等式约束优化极值条件n+l个方程n+l个未知变量例:用拉格朗日乘子法求下列问题的最优解解构造拉格朗日函数令▽L=0,得到求解得：一、一元函数在给定区间上的极值条件§2.6不等式优化极值条件引入松弛变量a1,b1，将不等式约束变成等式约束。根据拉格朗日乘子法，此问题的极值条件：§2.6不等式优化极值条件二、库恩－塔克条件：§2.6不等式优化极值条件J代表所有起作用的约束在约束的极小值处，函数f(x)的负梯度方向一定能表示成所有起作用约束梯度的非负线性组合库恩－塔克条件的几何意义§2.6不等式优化极值条件Xk为最优点Xk不是最优点x1x20可行域Xk▽g1(Xk)▽g2(Xk)点Xk处的切平面-▽f(Xk)f(X)=Cg2(X)=0g1(X)=0x1x20点Xk处的切平面▽g1(Xk)▽g2(Xk)-▽f(Xk)g2(X)=0g1(X)=0f(X)=CxkK-T条件的作用：判别边界设计点x(k)

为最优点的依据