优化设计的数学基础

关于优化设计的数学基础第1页，课件共26页，创作于2023年2月2.1

函数的方向导数与梯度一、函数的方向导数函数f(X)在点X0处沿S方向的方向导数定义为意义：函数在该点处沿给定方向的变化率。附图第2页，课件共26页，创作于2023年2月二、函数的梯度方向导数的向量积形式令为函数在X点的梯度，包 含函数的一阶导数信息。

第3页，课件共26页，创作于2023年2月梯度的意义：梯度方向是函数变化率最大的方向；梯度方向为等值面的法线方向。第4页，课件共26页，创作于2023年2月例2-1

求二元函数f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]处函数下降最快的方向。解：梯度方向是函数变化率最大的方向。负梯度方向则是函数下降最快的方向。第5页，课件共26页，创作于2023年2月2.2

函数的泰勒展开与海赛矩阵函数f(X)在X*点处的泰勒(Taylor)展开式其中海赛(Hessian)矩阵包含函数的二阶导数信息。第6页，课件共26页，创作于2023年2月例2-2

求二元函数f(x1,x2)＝x12+x22-4x1-2x2+5在X0＝[2,2]处的海赛二阶泰勒展开式。解：第7页，课件共26页，创作于2023年2月2.3凸集、凸函数、凸规划

基本概念：局部极小点：函数f(X)在X*附近的一切X均满足不等式f(X)>f(X*)，称函数f(X)在X*处取得局部极小值，X*为局部极小点。全局极小点：在整个可行域内函数值的最小点。可行域内可能存在两个或两个以上的局部极小点，其中之一为全局极小点。第8页，课件共26页，创作于2023年2月一、凸集有 ，则D为凸集。凸集的性质：

1.若D为凸集，λ为实数，则λD仍为凸集。（凸集的实数积为凸集）

2．若D、φ均为凸集，则二者的并集（和）为凸集。（凸集的和为凸集）

3．若D、φ均为凸集，则二者的交集（积）为凸集。（凸集的积为凸集）第9页，课件共26页，创作于2023年2月第10页，课件共26页，创作于2023年2月二、凸函数En的子集D为凸集，f为D上的函数，恒有，则f为D上的凸函数。反之为凹函数。第11页，课件共26页，创作于2023年2月凸函数的性质：1.设f为D上的凸函数，λ为实数，则λf为D上的凸函数。2.设f1，f2为D上的凸函数,则f=f1+f2为D上的凸函数。3.若f在D一阶可微，则对，f为凸函数的充要条件：（见下图）

4.若f在D二阶可微，则对，f为凸函数的充要条件：海赛矩阵半正定（若正定，严格凸函数）。第12页，课件共26页，创作于2023年2月第13页，课件共26页，创作于2023年2月三、凸规划

其中目标函数、不等式约束均为凸函数，则称该问题为凸规划。第14页，课件共26页，创作于2023年2月凸规划的性质：若给定一点X0，则集合为凸集。2.可行域D为凸集。3.任何局部最优解即为全局最优解。4.若目标函数可微，则最优解的充要条件：第15页，课件共26页，创作于2023年2月2.4无约束优化问题的极值条件

N维无约束极值问题1.在点X*处极值存在的必要条件：在点X*处梯度为零。2.在点X*处极值存在的充分条件：在点X*处海赛矩阵正定（极小点），或负定（极大点）。第16页，课件共26页，创作于2023年2月2.5约束优化问题的极值条件

一、等式约束优化问题——拉格朗日乘子法

构造将等式约束优化问题转化为无约束优化问题。在最优点处第17页，课件共26页，创作于2023年2月二、不等式约束优化问题——

库恩-塔克(Kuhn-Tucker

)条件1.一维不等式约束问题引入松弛变量a1,b1，使则该问题的拉格朗日函数第18页，课件共26页，创作于2023年2月其极值条件必须满足如图的三种可能(1)左右约束均不起作用，即则(2)左约束起作用，即则(3)右约束起作用，即则第19页，课件共26页，创作于2023年2月2.库恩-塔克(Kuhn-Tucker)条件对优化问题库恩-塔克条件描述为即约束极小点存在的必要条件是：目标函数在该点的梯度可表示为诸约束面梯度的线性组合的负值。第20页，课件共26页，创作于2023年2月3.考虑等式约束的库恩-塔克条件对于凸规划问题，K-T条件是充要条件。对非凸规划问题，到底是局部最优点还是全域最优点还需要进一步讨论确定。第21页，课件共26页，创作于2023年2月3.库恩-塔克条件几何意义约束极小点目标函数梯度向量的反方向必须落在诸约束面所构成的锥角范围之内。第22页，课件共26页，创作于2023年2月例2-3

对于约束极值问题

试运用K_T条件