最优化课件等

最优化方法孙合明河海大学理学院

WHY最优化？Example问：周长一定的矩形中，长宽比例多大的矩形面积最大？答:正方形的面积最大。WHY最优化WHY最优化WHY最优化WHY最优化WHY最优化目标函数约束条件设计变量WHY最优化工厂选址问题WHY最优化AnswerWHY最优化最优化问题的数学模型最优化问题的数学模型最优化问题的数学模型(*)最优化问题的数学模型最优化问题的数学模型全局极小(唯一极小）最优化问题的数学模型最优化问题的数学模型最优化问题的数学模型多局部极小最优化问题的数学模型最优化问题的数学模型Remark最优化问题的分类最优化问题的分类最优化问题的分类多目标规划动态规划参数规划随机规划运筹学最优化方法（数学规划）线性规划目标规划整数规划非线性规划动态规划进化算法…图论与网络排队论存贮论对策论决策论其他分支运筹学分类预备知识预备知识---多元函数的导数一元函数有一阶导数，二阶导数（假设存在），多元函数的一阶导数、二阶导数（假设存在）又是什么呢？Questions多元函数的一阶导数----梯度多元函数的一阶导数----梯度梯度的几何意义多元函数的一阶导数----梯度梯度的几何意义多元函数的一阶导数----梯度Definition

若x*满足，则称x*为稳定点（平稳点）。多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的一阶导数----梯度解：多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的一阶导数----梯度多元函数的二阶导数----Hesse矩阵多元函数的二阶导数----Hesse矩阵多元函数的二阶导数----Hesse矩阵解：Questions一元函数有Taylor展开式，多元函数的Taylor展开式？一元函数的Taylor展开(Lagrange型余项)

一元函数的Taylor展开(Peano型余项）多元函数的Taylor展开多元函数的一阶泰勒展开(Lagrange型余项)多元函数的一阶泰勒展开(Peano型余项）多元函数的二阶泰勒展开(Peano型余项）多元函数的近似函数预备知识矩阵的条件数Definition

预备知识Definition

预备知识Definition

条件数有什么用处？预备知识—条件数在数值分析中的一个用处QuestionsTheorem(***)预备知识—条件数在数值分析中的一个用处Remark预备知识—条件数在数值分析中的一个用处预备知识—条件数在最优化中的一个用处在求解无约束最优化问题的时候，若目标函数的Hesse矩阵的条件数很大，会导致某些求解方法得出错误的结果。

M=1，条件数7.3453M=10，条件数=61M=10000，条件数=60000凸集与凸函数ConvexSetsSetsNotConvex凸集凸集凸集凸集Theorem凸集凸集Theorem凸集凸集BoundedSignals

是凸集吗？x(t)tuQuestions凸集then,if0

1

x(t)+(1-)y(t)u.Ifx(t)uandy(t)u,YES！凸集Definition

凸集Definition

凸函数Definition

凸函数凸函数凸函数凸函数Definition

凸函数凸函数严格凸函数凸函数的性质凸函数的性质凸函数的性质凸函数的性质凸函数的性质凸函数的性质凸函数的性质凸函数的性质凸函数的判别准则凸函数的判别准则凸函数的判别准则凸函数的判别准则Remark凸函数的判别准则Theo