优化设计基础

关于优化设计基础第一页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度

一个多元函数可用偏导数的概念来研究函数沿各坐标方向的变化率。

二元函数的偏导数：第二页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度方向导数：第三页，共三十八页，编辑于2023年，星期日θ2θ1o偏导数与方向导数之间的数量关系：第四页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的方向导数：第五页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度例：第六页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：方向导数与梯度的关系：第七页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：梯度的性质：

1）梯度是一个向量；

2）梯度方向是方向导数最大的方向，即函数值变化最快（函数值变化率最大）的方向；

3）梯度方向是等值面（线）的法线方向。第八页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的梯度：第九页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第一节多元函数的方向导数和梯度例题：解：

函数变化率最大的方向就是梯度方向，用单位向量表示，函数变化率最大的数值就是梯度的模。第十页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第二节多元函数的泰勒展开一元函数第十一页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第二节多元函数的泰勒展开二元函数：二元函数泰勒展开式的矩阵形式：对称矩阵第十二页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数泰勒展开式的矩阵形式：

是函数在该点的梯度第十三页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数的海赛矩阵：第十四页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第二节多元函数的泰勒展开正定矩阵：第十五页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础矩阵正定与负定的判定：正定：矩阵A正定的条件是A的各阶主子式大于零；负定：矩阵A负定的条件是各阶主子式负、正相间。第二节多元函数的泰勒展开第十六页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第三节无约束优化问题的极值条件必要条件充分条件第十七页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第三节无约束优化问题的极值条件第十八页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第三节无约束优化问题的极值条件例：第十九页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划

当极值点x*能使f（x*）在整个可行域中为最小值（最大值）时，即在整个可行域中对任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））时，则x*就是全局极小点（全局极大点）。全局极值点（最优点）：第二十页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划

若f（x*）为局部可行域中的极小值（极大值）而不是整个可行域中的最小值（或最大值）时，则称x*为局部极小点（局部极大点）。局部极值点（相对极值点）：第二十一页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划

一个下凸的函数，它的极值点只有一个，并且该点既是局部极值点也是全局极值点，我们就称这个函数具有凸性。

函数的凸性（单峰性）：第二十二页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划

设R是一个点集（或区域），若连接其中任意两点x1和x2的直线都属于R，则称这种集合R是一个凸集。凸集：第二十三页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸集的性质：第二十四页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划

具有凸性（表现为单峰性）或只有唯一的局部最优值，即全局最优值的函数，称为凸函数或单峰函数。凸函数：第二十五页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划1．若f(x)为定义在凸集R上的一个凸函数，且α是一个正数（α>0），则αf(x)也必是定义在凸集R上的凸函数。

2．定义在凸集R上的两个凸函数f1(x)和f2(x)，其和f(x)=f1(x)+f2(x)

也一定是该凸集上的一个凸函数。

3．若f1(x)、f2(x)是定义在凸集R上的两个凸函数，α和β为两个任意正数，则函数αf1(x)+βf2(x)

仍是R上的凸函数。

4．若定义在凸集R上的一个凸函数f(x)有两个最小点x1和x2则这两点处的函数值f(x1)和f(x2)必相等，否则，其中较大的点就不是f(x)的最小点了。

5．若x1和x2是定义在凸集R上的一个凸函数f(x)的两个最小点，则其连接线段上的一切点必为f(x)的最小点。凸函数的性质：第二十六页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划凹函数：凸函数下凸——有极小值上凸——有极大值凹函数第二十七页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸规划：目标函数与约束条件均为凸函数的优化问题称为凸规划。

凸规划的性质第二十八页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第五节等式约束优化问题的极值条件等式约束优化问题的数学模型：消元法——降维法拉格朗日乘子法——升维法解法第二十九页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第五节等式约束优化问题的极值条件消元法：（二维）（一维）二元函数（一个等式约束）：第三十页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第五节等式约束优化问题的极值条件n元函数（l个等式约束条件）：（n-l维无约束优化问题）消元法第三十一页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第五节等式约束优化问题的极值条件n元函数（l个等式约束条件）：拉格朗日乘子法极值必要条件第三十二页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第五节等式约束优化问题的极值条件例：第三十三页，共三十八页，编辑于2023年，星期日第二章优化设计的数学基础第六节不等式约束优化问题的极值条件求解不等式约束优化问题的基本思想：

——将不等式约束条件变成等式约束条件。具体做法：

——引入松弛变量。第三十四页，共三十八页，编辑于2023年，星期日松弛变量第二章优化设计的数学基础第六节不等式约束优化问题的极值条件一元函数f(x)在给定区间[a,b]上的极值优化问题：拉格朗日函数：第三十五页，共三十八页，编辑于2023年，星期日第二章优