静态优化——函数的极值问题.ppt

第二章 静态优化函数的极值问题,本章主要内容:,2.1 无约束条件的函数极值问题 2.2 有约束条件的函数极值问题 2.3 小结 2.4 习题,2.1 无约束条件的函数极值问题,一元函数极值问题 二元函数极值问题 多元函数极值问题,一元函数的极值问题 一元函数 在 处取极值的必要条件为 （2-1） 当 （2-2） 为极小。,当 （2-3） 为极大。 为简单起见，今后我们将只讨论极小，式（2-1）和（2-2）一起构成 为极小值的充分条件。当 时，也可能有极小值，不过要检验高阶导数。,上述情况可用图2-1来表示。R点是局部极小点，又是总体极小点，U只是局部极小点， T 是局部极大点， S是拐点，不是极值点。,图2-1 函数的极值点和拐点,例 2-1 求使 最小的x。 解: 故解使达到极小。本例是著名的最小二乘问题。,二元函数极值问题 下面考虑二元函数 的极值问题。设 在 处取得极小值，记 ，这里 （T表示转置，X是列向量）。 在 处取得极小值的必要条件和充分条件可如下求得。将 在 周围展开为泰勒级数,（2-4） 式中,表示高阶无穷小。将（2-4）式用向量矩阵形式表示,(2-5) 式中，,(2-6) 由（2-5）式可知， 取极值的必要条件为 (2-7) 进一步，若 （2-8）,则这个极值为极小值。由于 是任意的不为零的向量，要使（2-8）式成立，由矩阵理论可知，二阶导数矩阵（又称为Hessian阵） 必须是正定的。正定阵形式上可表示为 （2-9） （2-7）和（2-9）一起构成了 在 处取极小值的充分条件。,多元函数极值问题 设n个变量的多元函数为 式中 则 在 处有极小值的必要条,件为一阶导数向量等于零向量，即 进一步，若二阶导数矩阵是正定阵，即 （2-11） 则这个极值是极小。,式（2-10）和（2-11）一起构成了多元函数 在 处取极小值的充分条件。 由（2-11）式可知， 是实对称矩阵。判别实对称矩阵是否为正定有两个常用的方法。一是检验 的特征值，若特征值全部为正，则 是正定的。另一是应用塞尔维斯特（Sylvest）判据。根据此判据，若 的各阶顺序主子式均大于零，即,（2-12） 则 就是正定的。det表示A阵的行列式。,例2-2 求下面的多元函数的极值点 解,由上面三个方程求得可能的极值点为 二阶导数阵为 用塞尔维斯特判据来检验，有 故 为正定，在 处， 为极小。,2.2 有约束条件的函数极值问题 前面讨论函数的极值问题时，向量的各个分量可独立地选择，相互间无约束。本节将讨论的各分量满足一定约束条件的情况。,设具有个n变量的多元函数为 X的各分量满足下面的m个等式约束方程 (2-13),若能从m个约束方程中解出m个X的分量，即将它们用其它n-m个的X分量表示，那么X中只剩下n-m个独立变量。于是问题可化为求n-m个变量的多元函数的无约束极值问题。这就是所谓的“消去法”。,由于从m个方程（一般是非线性方程）求出m个分量常常是困难的，故经常采用“拉格朗日乘子法”。为此，对个约束方程，引入个拉格朗日乘子，并作出一个辅助函数拉格朗日函数。,若令 则（2-14）式可用向量形式表示为 （2-15）,于是 的条件极值问题就化为 的无条件极值问题。函数L有极值的必要条件为,例2-3 求从原点（0，0，0）至平面 的最短距离。 解 原点至空间任何一点 的距离的平 方为 要使 极小，而点 必须在所规定的平面 上。,这是一个条件极值问题。作拉格朗日函数 极值的必要条件为,联立求解上面四个方程可得 可能的极值点坐标为,根据问题的性质可以判断极小值存在且是唯一的。故上面的 即是极小点的坐标。将极小点坐标代入函数 中，即可求出最短距离的平方为 此问题的约束方程 是 、 、 的线性函数，因此容易用“消去法”来求极值点。,例如，从 中解出，将它用 、 表示，于是问题就化为求二元函数 的无条件极值问题。读者可自行验证这样做的结果与拉格朗日乘子法的结果是一样的。,例2-4 动态控制问题的参数化法。 设一个动态系统由下面的非线性状态方程描述 给定 ，终止时间t=0.5s，要求算出最优 控制 ，它使得指标函数 为最小。 解：这是动态控制问题，这里将控制作用参数 化，于是可用静态最优化的方法求解。,设控制作用 可用下面的级数来逼近 是已知的时间函数集，如sin、cos、Hermite多项式等正交函数或其它线性无关的函数。于是 可用N个参数 来表示，即 被参数化了。确定 就等于确定N个参数，使指标J最小。这里可用数值寻优的方法来确定参数 。,2.3 小结 1. n个变量的多元函数 取无约束极小值的必要条件为 ，充分条件为 和 。 2. 在满足约束条件 时的极小值的求取，可用拉格朗日乘子法，令 是拉格朗日乘子（列）向量。,2.4 习题,1.求使得 最大的 。 2.求使 为极值的极