工学机械优化设计第二章课件

机械优化设计机电工程学院机械制造及其自动化教研室高自成机械优化设计机电工程学院1第二章优化设计的数学基础第一节多元函数的方向导数与梯度一、方向导数即函数f（x1,x2）在点x0(x10,x20)点处沿某一方向d的变化率，定义为：第二章优化设计的数学基础第一节多元函数的方向导数与梯度2第一节多元函数的方向导数与梯度方向导数与偏导数的关系：第一节多元函数的方向导数与梯度方向导数与偏导数的关系：3第一节多元函数的方向导数与梯度二、二元函数的梯度二元函数f(x1,x2)在点x0处的方向导数第一节多元函数的方向导数与梯度二、二元函数的梯度4二、二元函数的梯度设d为方向单位向量则有二、二元函数的梯度设d为方向单位向量5二、二元函数的梯度梯度方向为等值线的法线方向，也是函数值变化最快的方向，梯度的模就是函数变化率的最大值。梯度方向与等值线的关系二、二元函数的梯度梯度方向为等值线的法线方向，也是函数值变化6三、多元函数的梯度和方向导数将二元函数推广到多元函数，则对于多元函数f（x1，x2，…xn）在点x0（x10，x20，…x1n）处的梯度多元函数的方向导数：三、多元函数的梯度和方向导数将二元函数推广到多元函数，则对于7三、多元函数的梯度和方向导数为d方向的单位向量三、多元函数的梯度和方向导数为d方向的单位向量8第二节多元函数的泰勒展开一元函数的泰勒展开为二元函数f（x1，x2）在点x0（x10，x20）处的泰勒展开式为第二节多元函数的泰勒展开一元函数的泰勒展开为9第二节多元函数的泰勒展开把上述式子写成矩阵形式第二节多元函数的泰勒展开把上述式子写成矩阵形式10第二节多元函数的泰勒展开求二元函数第二节多元函数的泰勒展开求二元函数11第二节多元函数的泰勒展开将二元函数推广到多元函数时，则f（x1，x2，…，xn）在点x0泰勒展开式的矩阵形式为第二节多元函数的泰勒展开将二元函数推广到多元函数时，则f12第三节无约束优化问题的极值条件1.一元函数的极值条件：2.二元函数的极值条件：对于二元函数f（x1，x2），若在x0（x10，x20）处取得极值，其必要条件是第三节无约束优化问题的极值条件1.一元函数的极值条件：132.二元函数的极值条件二元函数极值的充分条件：设则2.二元函数的极值条件二元函数极值的充分条件：设则14二元函数极值的充分条件：若f（x1，x2）在x0点处取得极小值，则要求在点x0点附近的一切点x均须满足

即要求或要求即二元函数极值的充分条件：若f（x1，x2）在x15二元函数极值的充分条件：上述条件反映了f（x1，x2）在x0点处的海赛矩阵G（x0）的各阶主子式均大于零，即对于要求二元函数极值的充分条件：上述条件反映了f（x1，x2）在x16二元函数极值的充分条件：对于多元函数f（x1，x2，…xn），若在x*取得极值，则极值的必要条件为极值的充分条件为正定二元函数极值的充分条件：对于多元函数f（x1，x2，…x17第四节凸集、凸函数与凸规划优化问题一般是要求目标函数在某一区域内的最小点，也就是要求全局的极小点，一元函数的凸性第四节凸集、凸函数与凸规划优化问题一般是要求目标函数在某18第四节凸集、凸函数与凸规划一、凸集一个点集（或区域），如果连接其中任意两点x1和x2的线段都全部包含在该集合内，就称该点集为凸集。否则称为非凸集。用数学语言表述为：如果对于一切x1∈R，x2∈R及一切满足0≤α≦1的实数α，点αx1+（1-α）x2≡y∈R，则称集合R为凸集。凸集可以是有界的，也可以是无界。N维空间中的r维子空间也是凸集。第四节凸集、凸函数与凸规划一、凸集19第四节凸集、凸函数与凸规划凸集具有以下性质：若A是一个凸集，β是一个实数，α是凸集中的一个动点，即α∈A，则集合βA=｛X：X=βα，α∈A

｝还是凸集。第四节凸集、凸函数与凸规划凸集具有以下性质：20第四节凸集、凸函数与凸规划若A和B是凸集，a、b分别是凸集A、B中的动点，即a∈A，b∈B，则集合A+B=｛X：X=a+b，a∈A，b∈B｝还是凸集。任何一组凸集的交集还是凸集。凸集的性质第四节凸集、凸函数与凸规划若A和B是凸集，a、b分别是凸21第四节凸集、凸函数与凸规划二、凸函数函数f（x），如果在连结其凸集定义域内任意两点x1、x2的线段上，函数值总小于或等于用f（x1）及f（x2）作线性内插所得的值，那么称f（x）为凸函数。用数学语言表述为f〔αx1+（1-α）x2〕≤αf﹙x1﹚+（1-α）f﹙x2﹚其中0≤α≤1若上两式均去掉等号，则称为严格凸函数。凸函数的定义第四节凸集、凸函数与凸规划二、凸函数凸函数的定义22第四节凸集、凸函数与凸规划凸函数的一些简单性质设f（x）为定义在凸集R上的一个凸函数，对任意实数α﹥0，则函数αf（x）也是定义在R上的凸函数。设f1（X）和f2（X）为定义在凸集R上的两个凸函数，则其和f1（X）+f2（X）也是R上的凸函数。对于任意正数α和β，函数α

f1（X）+βf2（X）也是在R上的凸函数。第四节凸集、凸函数与凸规划凸函数的一些简单性质23第四节凸集、凸函数与凸规划三、凸性条件设f（x）为定义在凸集R上，且具有连续一阶导数的函数，则f（x）在R上为凸函数的充分必要条件是对凸集R内任意不同两点x1，x2，不等式恒成立

设f（x）为定义在凸集R上连续二阶导数的函数，则f（x）在Ｒ上为凸函数的充分必要条件是海赛矩阵G（x）在R上处处正定。第四节凸集、凸函数与凸规划三、凸性条件设f（x）为定义在24第四节凸集、凸函数与凸规划四、凸规划对于约束优化问题minf（x）s.t.gj（x）≦0j=1，2，…，m若f（x），gj（x）j=1，2，…，m都为凸函数，则称此问题为凸规划。第四节凸集、凸函数与凸规划四、凸规划25第四节凸集、凸函数与凸规划凸规划的性质1.若给定一点x0，则集合R=｛x|f（x）≦f（x0）｝为凸集。此性质说明，当f（x）为二元函数时，其等值线呈现大圈套小圈的形式。2.可行域R=｛x|gj≦0j=1，2，…，m｝为凸集3.凸规划的任何局部最优解就是全局最优解。第四节凸集、凸函数与凸规划凸规划的性质26第五节等式约束优化问题的极值条件求解等式约束优化问题minf（x1x2）s.t.hk（x）=0，k=1，2，…，m需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。在数学上有两种方法处理：消元法（降维法）和拉格朗日乘子法（升维法）。一、消元法二、拉格朗日乘子法求解等式约束的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题，所以又称升维法。第五节等式约束优化问题的极值条件求解等式约束优化问题27第五节等式约束优化问题的极值条件二、拉格朗日乘子法（就是把约束极值条件转化为无约束问题的极值）对于具有l个约束的维优化问题minf（x）s.t.hk（x）=0，k=1，2，…，l在极值点x*有第五节等式约束优化问题的极值条件二、拉格朗日乘子法（就是把28

第五节等式约束优化问题的极值条件分别乘以待定系数λk（k=1，2，…，l）再和把l等式约束给出的l个相加，得可以通过其中l个方程来求解l个λ1，λ2

…λl

，使得l个变量的微分dx1，dx2

…dxl系数全为零。（式2-10)（式2-11)

第五节等式约束优化问题的极值条件分别乘以待定系数λk（k29第五节等式约束优化问题的极值条件式2-10的等号左边就只剩下n-l个变量的微分的dxl+1，dxl+2，…，dxn的项。dxl+1，dxl+2，…，dxn是任意的项所以（2-13）将2-10和2-13合并得第五节等式约束优化问题的极值条件式2-10的等号左边30第五节等式约束优化问题的极值条件根据目标函数的无约束极值条件则上述问题的约束极值条件可以转换成无约束的极值条件。办法是把原来的目标函数f(x)改造成如下形式的新的目标函数。

式中hk（x）就是原目标函数f（x）的等式约束条件，而待定系数λk成为拉格朗日乘子，F（x，λ）成为拉格朗日函数。这种方法就叫拉格朗日乘子法。第五节等式约束优化问题的极值条件根据目标函数的无约束极值条31第五节等式约束优化问题的极值条件拉格朗日乘子法：设，目标函数是f（x），约束条件是hk（x）=0（k=1，2，…，l）l个等式约束方程，为了求出f（x）的可能极值点引入拉格朗日乘子并构成一个新的目标函数第五节等式约束优化问题的极值条件拉格朗日乘子法：32把F（x，λ）作为一个新的无约束条件的目标函数来求解它的极值点，所得的结果就是满足约束条件hk（x）=0（k=1，2，…，l），原目标函数f（x）的极值点。自F（x，λ）具有极值的必要条件可以得到n+l个方程，从而解得x=[x1,x2,,…,xn]T和λk（K=1，2，…，l）共l+n未知个变量的值，由上述方程组求得的是函数f（x）的极值点的坐标值把F（x，λ）作为一个新的无约束条件的目标函数来求解它33第五节等式约束优化问题的极值条件拉格朗日乘子法可以用另一种方式表示如下：设x*是目标函数f（x）是在等式约束hk（x）=0条件下的一个局部极值点，而且在该点处各约束函数的梯度▽

hk（x*）（k=1，2，…，l）是线性无关的（符合此条件的点称为正则点），则存在一个向量λ（在一个约束函数规定的值内），使下式成立▽F=▽f（x）+λT▽hk（x*）=0式中λT=[λ1，λ2，…，λl]▽hk（x*）T=[▽h1（x*），▽h2（x*），…，▽hl（x*）]第五节等式约束优化问题的极值条件拉格朗日乘子法可以用另一种34第五节等式约束优化问题的极值条件拉格朗日乘子的物理意义:优化效率或敏度系数：由：所以

第五节等式约束优化问题的极值条件拉格朗日乘子的物理意义:优35机械优化设计机电工程学院机械制造及其自动化教研室高自成机械优化设计机电工程学院36第二章优化设计的数学基础第一节多元函数的方向导数与梯度一、方向导数即函数f（x1,x2）在点x0(x10,x20)点处沿某一方向d的变化率，定义为：第二章优化设计的数学基础第一节多元函数的方向导数与梯度37第一节多元函数的方向导数与梯度方向导数与偏导数的关系：第一节多元函数的方向导数与梯度方向导数与偏导数的关系：38第一节多元函数的方向导数与梯度二、二元函数的梯度二元函数f(x1,x2)在点x0处的方向导数第一节多元函数的方向导数与梯度二、二元函数的梯度39二、二元函数的梯度设d为方向单位向量则有二、二元函数的梯度设d为方向单位向量40二、二元函数的梯度梯度方向为等值线的法线方向，也是函数值变化最快的方向，梯度的模就是函数变化率的最大值。梯度方向与等值线的关系二、二元函数的梯度梯度方向为等值线的法线方向，也是函数值变化41三、多元函数的梯度和方向导数将二元函数推广到多元函数，则对于多元函数f（x1，x2，…xn）在点x0（x10，x20，…x1n）处的梯度多元函数的方向导数：三、多元函数的梯度和方向导数将二元函数推广到多元函数，则对于42三、多元函数的梯度和方向导数为d方向的单位向量三、多元函数的梯度和方向导数为d方向的单位向量43第二节多元函数的泰勒展开一元函数的泰勒展开为二元函数f（x1，x2）在点x0（x10，x20）处的泰勒展开式为第二节多元函数的泰勒展开一元函数的泰勒展开为44第二节多元函数的泰勒展开把上述式子写成矩阵形式第二节多元函数的泰勒展开把上述式子写成矩阵形式45第二节多元函数的泰勒展开求二元函数第二节多元函数的泰勒展开求二元函数46第二节多元函数的泰勒展开将二元函数推广到多元函数时，则f（x1，x2，…，xn）在点x0泰勒展开式的矩阵形式为第二节多元函数的泰勒展开将二元函数推广到多元函数时，则f47第三节无约束优化问题的极值条件1.一元函数的极值条件：2.二元函数的极值条件：对于二元函数f（x1，x2），若在x0（x10，x20）处取得极值，其必要条件是第三节无约束优化问题的极值条件1.一元函数的极值条件：482.二元函数的极值条件二元函数极值的充分条件：设则2.二元函数的极值条件二元函数极值的充分条件：设则49二元函数极值的充分条件：若f（x1，x2）在x0点处取得极小值，则要求在点x0点附近的一切点x均须满足

即要求或要求即二元函数极值的充分条件：若f（x1，x2）在x50二元函数极值的充分条件：上述条件反映了f（x1，x2）在x0点处的海赛矩阵G（x0）的各阶主子式均大于零，即对于要求二元函数极值的充分条件：上述条件反映了f（x1，x2）在x51二元函数极值的充分条件：对于多元函数f（x1，x2，…xn），若在x*取得极值，则极值的必要条件为极值的充分条件为正定二元函数极值的充分条件：对于多元函数f（x1，x2，…x52第四节凸集、凸函数与凸规划优化问题一般是要求目标函数在某一区域内的最小点，也就是要求全局的极小点，一元函数的凸性第四节凸集、凸函数与凸规划优化问题一般是要求目标函数在某53第四节凸集、凸函数与凸规划一、凸集一个点集（或区域），如果连接其中任意两点x1和x2的线段都全部包含在该集合内，就称该点集为凸集。否则称为非凸集。用数学语言表述为：如果对于一切x1∈R，x2∈R及一切满足0≤α≦1的实数α，点αx1+（1-α）x2≡y∈R，则称集合R为凸集。凸集可以是有界的，也可以是无界。N维空间中的r维子空间也是凸集。第四节凸集、凸函数与凸规划一、凸集54第四节凸集、凸函数与凸规划凸集具有以下性质：若A是一个凸集，β是一个实数，α是凸集中的一个动点，即α∈A，则集合βA=｛X：X=βα，α∈A

｝还是凸集。第四节凸集、凸函数与凸规划凸集具有以下性质：55第四节凸集、凸函数与凸规划若A和B是凸集，a、b分别是凸集A、B中的动点，即a∈A，b∈B，则集合A+B=｛X：X=a+b，a∈A，b∈B｝还是凸集。任何一组凸集的交集还是凸集。凸集的性质第四节凸集、凸函数与凸规划若A和B是凸集，a、b分别是凸56第四节凸集、凸函数与凸规划二、凸函数函数f（x），如果在连结其凸集定义域内任意两点x1、x2的线段上，函数值总小于或等于用f（x1）及f（x2）作线性内插所得的值，那么称f（x）为凸函数。用数学语言表述为f〔αx1+（1-α）x2〕≤αf﹙x1﹚+（1-α）f﹙x2﹚其中0≤α≤1若上两式均去掉等号，则称为严格凸函数。凸函数的定义第四节凸集、凸函数与凸规划二、凸函数凸函数的定义57第四节凸集、凸函数与凸规划凸函数的一些简单性质设f（x）为定义在凸集R上的一个凸函数，对任意实数α﹥0，则函数αf（x）也是定义在R上的凸函数。设f1（X）和f2（X）为定义在凸集R上的两个凸函数，则其和f1（X）+f2（X）也是R上的凸函数。对于任意正数α和β，函数α

f1（X）+βf2（X）也是在R上的凸函数。第四节凸集、凸函数与凸规划凸函数的一些简单性质58第四节凸集、凸函数与凸规划三、凸性条件设f（x）为定义在凸集R上，且具有连续一阶导数的函数，则f（x）在R上为凸函数的充分必要条件是对凸集R内任意不同两点x1，x2，不等式恒成立

设f（x）为定义在凸集R上连续二阶导数的函数，则f（x）在Ｒ上为凸函数的充分必要条件是海赛矩阵G（x）在R上处处正定。第四节凸集、凸函数与凸规划三、凸性条件设f（x）为定义在59第四节凸集、凸函数与凸规划四、凸规划对于约束优化问题minf（x）s.t.gj（x）≦0j=1，2，…，m若f（x），gj（x）j=1，2，…，m都为凸函数，则称此问题为凸规划。第四节凸集、凸函数与凸规划四、凸规划60第四节凸集、凸函数与凸规划凸规划的性质1.若给定一点x0，则集合R=｛x|f（x）≦f（x0）｝为凸集。此性质说明，当f（x）为二元函数时，其等值线呈现大圈套小圈的形式。2.可行域R=｛x|gj≦0j=1，2，…，m｝为凸集3.凸规划的任何局部最优解就是全局最优解。第四节凸集、凸函数与凸规划凸规划的性质61第五节等式约束优化问题的极值条件求解等式约束优化问题minf（x1x2）s.t.hk（x）=0，k=1，2，…，m需要导出极值存在的条件，这是求解等式约束优化问题的理论基础。在数学上有两种方法处理：消元法（降维法）和拉格朗日乘子法（升维法）。一、消元法二、拉格朗日乘子法求解等式约束的另一种经典方法，它是通过增加变量将等式约束优化问题变成无约束优化问题，所以又称升维法。第五节等式约束优化问题的极值条件求解等式约束优化问题62第五节等式约束优化问题的极值条件二、拉格朗日乘子法（就是把约束极值条件转化为无约束问题的极值）对于具有l个约束的维优化问题minf（x）s.t.hk（x）=0，k=1，2，…，l在极值点x*有第五节等式约束优化问题的极值条件二、拉格朗日乘子法（就是把63

第五节等式约束优化问题的极值条件分别乘以待定系数λk（k=1，2，…，l）再和把l等式约束给出的l个相加，得可以通过其中l个方程来求解l个λ1，λ2

…λl

，使得l个变量的微分dx1，dx2

…dxl系数全为零。（式2-10)（式2-11)

第五节等式约束优化问题的极值条件分别乘以待定系数λk（k64第五节等式约束优化问题的极值条件式2-10的等号左边就只剩下n-l个变量的微分的dxl+1，dxl+2，…，dxn的项。dxl+1，dxl+2，…，dxn是任意的项所以（2-13）将2-10和2-13合并得第五节等式约束优化问题的极值条件式2-10的等号左边65第五节等式约束优化问题的极值条件根据目标函数的无约束极值条件则上述问题的约束极值条件可以转换成无约束的极值条件。办法是把原来的目标函数f(x)改造成如下形式的新的目