优化设计的数学基础.ppt

第二章 优化设计的数学基础,机械设计问题一般是非线性规划问题。,实质上是多元非线性函数的极小化问题，因此，机械优化设计是建立在多元函数的极值理论基础上的。,机械优化设计问题分为：,无约束优化,约束优化,无条件极值问题,条件极值问题,第一节 多元函数的方向导数与梯度,一、方向导数,从多元函数的微分学得知，对于一个连续可微函数f(x)在某一点 的一阶偏导数为：,它表示函数f(x)值在 点沿各坐标轴方向的变化率。,有一个二维函数，如图2-1所示。,图2-1 函数的方向导数,其函数在 点沿d方向的方向导数为,二、二元函数的梯度,即,三、多元函数的梯度,沿d方向的方向向量,即,图2-5 梯度方向与等值面的关系,函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。,由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。,梯度 模：,梯度两个重要性质： 性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直； 性质二 梯度方向是函数具有最大变化率的方向。,图2-2 梯度方向与等值面的关系,例题 2-1,求函数 在点3,2T 的 梯度。,在点x(1)=3,2T处的梯度为：,解：,例2-2*：试求目标函数 在点 处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。,则函数在 处的最速下降方向是,解： 由于,新点是,这个方向上的单位向量是：,几个常用的梯度公式：,若目标函数f(x)处处存在一阶导数，则极值点 的必要条件一阶偏导数等于零，即,满足此条件仅表明该点为驻点，不能肯定为极值 点，即使为极值点，也不能判断为极大点还是极 小点，还得给出极值点的充分条件,设目标函数在 点至少有二阶连续的偏导数，则,在这一点的泰勒二次近似展开式为：,第二节 多元函数的泰勒展开,泰勒展开写成向量矩阵形式,（1） F(X*)=0； 必要条件 （2）Hesse矩阵G(X*)为正定。 充分条件,多元函数f(x)在 处取得极值，则极值的条件为,为无约束极小点的充分条件,其Hesse矩阵G(X*)为正定的。,则极小点必须满足,为无约束优化问题的极值条件,同学考虑二元函数在 处取得极值的充分必要条件。,各阶主子式大于零,例：求函数的 极值,第三节 无约束优化问题的极值条件,无约束优化问题是使目标函数取得极小值，所谓极值条件就是指目标函数取得极小值时极值点所应满足的条件。,第四节 凸集、凸函数与凸规划,前面我们根据函数极值条件确定了极小点,则函数f(x)在 附近的一切x均满足不等式,所以函数f(x)在 处取得局部极小值，称 为 局部极小点。,而优化问题一般是要求目标函数在某一区域内 的全局极小点。,函数的局部极小点是不是一定是全局极小点呢？,图2-7 下凸的一元函数,一、凸集,的线段都全部包含在该集合内，就称该点集为凸集， 否则为非凸集。,一个点集（或区域），如果连接其中任意两点,凸集的性质,二、凸函数,函数f(x）为凸集定义域内的函数，若对任何的,称,是定义在凸集上的一个凸函数。,三、凸性条件,1.根据一阶导数（函数的梯度）来判断函数的凸性,设f(x)为定义在凸集R上，且具有连续的一阶导数 的函数，则f(x)在R上为凸函数的充要条件是对凸 集R内任意不同两点 ，不等式,恒成立。,2.根据二阶导数（ Hesse矩阵)来判断函数的凸性,设f(x)为定义在凸集R上且具有连续二阶导数的 函数，则f(x)在R上为凸函数的充要条件,Hesse矩阵在R上处处半正定。,四、凸规划,对于约束优化问题,凸规划的性质：,3.凸规划的任何局部最优解就是全局最优解,第五节 等式约束优化问题的极值条件,约束优化,等式约束,不等式约束,求解这一问题的方法,消元法,拉格朗日乘子法,1.消元法（降维法）,2、拉格朗日乘子法（升维法）,2、拉格朗日乘子法（升维法）,2、拉格朗日乘子法（升维法）,对于具有L个等式约束的n维优化问题,处有,将原来的目标函数作如下改造：,拉格朗日函数,待定系数,新目标函数的极值的必要条件,例2-4 用拉格朗日乘子法计算在约束条件,的情况下，目标函数,的极值点坐标。,第六节 不等式约束优化问题的极值条件,在工程中大多数优化问题，可表示为不等式约束条件的优化问题。,有必要引出非线性优化问题的重要理论，是不等式 约束的多元函数的极值的必要条件。,库恩-塔克（Kuhn-Tucker）条件,一、一元函数在给定区间上的极值条件,一元函数f(x)在给定区间a,b上的极值问题，可以 写成下列具有不等式约束条件的优化问题：,拉格朗日乘子法，除了可以应用于等式的极值问题，还可 以用于不等式的极值问题。,需引入松弛变量，将不等式约束变成等式约束。,设a1和b1为两个松弛变量，则上述的不等式约束可写为：,则该问题的拉格朗日函数,根据拉格朗日乘子法，此问题的极值条件：,由,（起作用约束）,（不起作用约束）,同样 ，来分析 起作用何不起作用约束。,因此，一元函数在给定区间的极值条件，可以表示为：,多元,库恩-塔克条件,分析极值点 在区间的位置，有三种情况,即,即,从以上分析可以看出，对应于不起作用的约束的拉格朗日乘子取零值，因此可以引入起作用约束的下标集合。,一元函数在给定区间的极值条件，可以改写为：,极值条件中只考虑起作用的约束和相应的乘子。,二、库恩-塔克条件,仿照一元函数给定区间上极值条件的推导过程， 可以得到具有不等式约束多元函数极值条件：,用起作用约束的下标集合表示,用梯度形式表示，可得,或,库恩-塔克条件的几何意义：在约束极小点处，函数的负梯度一定能表示成所有起作用约束在该点梯度的非负线性组合。,下面以二维问题为例，说明K-T条件的几何意义,角锥之内，即线性组合的系数为正，是