经典最优化方法

关于经典最优化方法第1页，共34页，星期日，2025年，2月5日内容介绍微分学中求极值无约束最优化问题常用微分公式凸集与凸函数等式约束最优化问题不等式约束最优化问题变分学中求极值第2页，共34页，星期日，2025年，2月5日微分学中求极值一元函数的极值1.一元函数极值的求法与判别必要条件：设函数在点处具有导数，且在处取得极值，则该函数在处的导数

这里有个前提，即函数在设计区间要连续可导。凡是满足上述的点都叫函数的驻点。我们可知驻点并不完全是极值点，它还有拐点，当然，极值点必定是驻点。因此，还必须有判别函数极值的更充分条件。第3页，共34页，星期日，2025年，2月5日微分学中求极值第4页，共34页，星期日，2025年，2月5日微分学中求极值第5页，共34页，星期日，2025年，2月5日微分学中求极值二元函数的极值第6页，共34页，星期日，2025年，2月5日微分学中求极值第7页，共34页，星期日，2025年，2月5日微分学中求极值第8页，共34页，星期日，2025年，2月5日微分学中求极值(3)赫森矩阵（Hesse）第9页，共34页，星期日，2025年，2月5日无约束最优化问题由上一节可知，对于无约束最优化问题，其数学模型中只有目标函数采用解析法求解，其求解过程可以归结为一下三个步骤：

1.令梯度g=0，解出各个驻点。

2.计算各驻点的矩阵A,判断矩阵A正定或负定，得到相对应的极小点或极大点；

3.计算极值。

第10页，共34页，星期日，2025年，2月5日常用微分公式第11页，共34页，星期日，2025年，2月5日凸集与凸函数第12页，共34页，星期日，2025年，2月5日凸集与凸函数第13页，共34页，星期日，2025年，2月5日凸集与凸函数第14页，共34页，星期日，2025年，2月5日凸集与凸函数第15页，共34页，星期日，2025年，2月5日凸集与凸函数第16页，共34页，星期日，2025年，2月5日凸集与凸函数第17页，共34页，星期日，2025年，2月5日凸集与凸函数第18页，共34页，星期日，2025年，2月5日凸集与凸函数第19页，共34页，星期日，2025年，2月5日凸集与凸函数第20页，共34页，星期日，2025年，2月5日凸集与凸函数第21页，共34页，星期日，2025年，2月5日凸集与凸函数第22页，共34页，星期日，2025年，2月5日凸集与凸函数第23页，共34页，星期日，2025年，2月5日等式约束最优化问题

等式约束最优化问题的数学模型式这里介绍两种比较常用的方法：消元法和拉格朗日乘子法。第24页，共34页，星期日，2025年，2月5日等式约束最优化问题

第25页，共34页，星期日，2025年，2月5日等式约束最优化问题

第26页，共34页，星期日，2025年，2月5日等式约束最优化问题

第27页，共34页，星期日，2025年，2月5日等式约束最优化问题

第28页，共34页，星期日，2025年，2月5日不等式约束最优化问题

不等式约束的最优化问题的解析法与前面处理的基本思路相类似，也是构造一个包含原目标函数与约束函数的新目标函数。只是具体的构造方法不同，这里处理的也是二维问题原问题的数学模型为引入一个松弛变量r,把约束条件改为等式约束，即

第29页，共34页，星期日，2025年，2月5日不等式约束最优化问题

第30页，共34页，星期日，2025年，2月5日等式约束最优化问题

第31页，共34页，星期日，2025年，2月5日变分学中求极值第