最优化理论第次

最优化理论第次第一页，共三十二页，编辑于2023年，星期六1、课程简介最优化理论与方法—应用性最强的数学分支

--在众多方案→最优方案应用领域

--工程设计、资源分配、生产安排、原料配比、城建规划、军事领域、现代网络等等学科历史

17世纪，Newton提出极值问题

Lagrange乘数法

1847

Cauchy最速下降法

1939苏联数学家提出了线性规划-解决下料、运输问题

…20世纪40年代，Dantzig提出单纯型方法→独立学科第二页，共三十二页，编辑于2023年，星期六1、课程简介例1

生产计划问题某工厂用4种资源→3种产品如何生产利润最大?求解:约束:第三页，共三十二页，编辑于2023年，星期六1、课程简介例1

生产计划问题某工厂用4种资源→3种产品数学描述：第四页，共三十二页，编辑于2023年，星期六1、课程简介例2结构设计问题两个构件组成的对称桁架求解:约束1:2PY-Y剖面T约束2:第五页，共三十二页，编辑于2023年，星期六1、课程简介例2结构设计问题2PY-Y剖面T约束2:约束3:钢管不弯曲，即压应力不超过临界应力第六页，共三十二页，编辑于2023年，星期六1、课程简介数学描述：第七页，共三十二页，编辑于2023年，星期六2、最优化的几个概念2.1问题描述

例1x1第八页，共三十二页，编辑于2023年，星期六2、最优化理论与方法的几个概念2.2连续优化与离散优化

a有约束优化2.3有约束优化与无约束优化

根据目标函数及约束方程:*线性、非线性、凸优化*变量个数：LargeorSmall*方程光滑性：可微、不可微求解方法:二次规划、罚函数、置信域等b无约束优化求解方法:一维搜索、牛顿法、共轭梯度法等第九页，共三十二页，编辑于2023年，星期六2、最优化理论与方法的几个概念2.4全局优化与局部优化

难题非线性问题的解一般为局部解第十页，共三十二页，编辑于2023年，星期六2、最优化理论与方法的几个概念2.5随机优化与确定性优化

多出现于经济、金融行业，用统计及概率论预测2.6优化算法

迭代-----要求具有：鲁棒性，效率，精度第十一页，共三十二页，编辑于2023年，星期六实值函数：3、数学准备3.1向量范数和矩阵范数

定义：向量范数则x的常用范数有：第十二页，共三十二页，编辑于2023年，星期六A为mXn矩阵3、数学准备3.1向量范数和矩阵范数

定义：矩阵范数则A的常用范数有：矩阵范数性质第十三页，共三十二页，编辑于2023年，星期六3、数学准备3.2序列的极限

定义1定义2定义3定理1第十四页，共三十二页，编辑于2023年，星期六3、数学准备3.3梯度、Hesse矩阵、Taylor展开

（1）梯度：（2）Hesse矩阵：第十五页，共三十二页，编辑于2023年，星期六3、数学准备3.3梯度、Hesse矩阵、Taylor展开

（3）Taylor展开：第十六页，共三十二页，编辑于2023年，星期六4、凸集、凸函数4.1凸集

凸集定义：第十七页，共三十二页，编辑于2023年，星期六4、凸集、凸函数4.1凸集

凸集性质：凸锥定义：多面集定义：第十八页，共三十二页，编辑于2023年，星期六4、凸集、凸函数4.1凸集

极点定义：极方向定义：第十九页，共三十二页，编辑于2023年，星期六4、凸集、凸函数4.2凸函数

定义：凸函数凹函数非凸凹函数第二十页，共三十二页，编辑于2023年，星期六4、凸集、凸函数4.2凸函数

凸函数定理第二十一页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.1无约束问题的最优性条件

定义1定义2一般情况下,可行解是局部极小点,问题是凸性问题时,局部极小点等于总体极小点第二十二页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.1无约束问题的最优性条件

则有下式成立:第二十三页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.1无约束问题的最优性条件

定理1（一阶必要条件）:定理2（二阶必要条件）:定理3（二阶充分条件）:定理4:第二十四页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.2最优化问题的结构

最优化问题的基本流程：第二十五页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.3两种搜索策略：线性搜索与置信域法

5.3.1线性搜索5.3.2信赖域方法标量向量矩阵（Hesse或其它）第二十六页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.3两种搜索策略：线性搜索与置信域法

5.3.3二者区别5.4线性搜索中的搜索方向

(1)最速下降方向:问题求解第二十七页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.4线性搜索中的搜索方向

(1)最速下降方向:在单位方向p,求解下面问题可以获得最快下降速度缺点:有时收敛速度很慢,求解困难!!第二十八页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.4线性搜索中的搜索方向

(2)牛顿方向:缺点:第二十九页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.4线性搜索中的搜索方向

(3)拟牛顿方向:问题推导:加、减项则有：则有：第三十页，共三十二页，编辑于2023年，星期六5、无约束问题最优化的基本问题5.4