最优化课件 第一章 最优化问题与凸分析基础

1、第一章是优化问题和凸分析的基础。在日常生活中，无论你做什么，总有许多选择，可能会有许多不同的结果。当我们做这些事情时，我们总是有意识或无意识地选择一个最佳方案，以达到最佳结果。追求最佳方案以获得最佳结果的学科是最优化。寻求最佳方案的方法是最优化方法。该方法的理论基础是最优化理论，凸分析是最优化理论的基础之一。1.最优化问题：寻找一元函数或多元函数的极值。在微积分中，我们遇到了一些简单的极值问题。让我们举一个具体的例子来看看什么是优化。1.1优化问题的示例，示例1:在边长为a的正方形铁板的四个角上切掉相等的正方形，以制作一个正方形的无盖水箱，并询问如何切掉该方法以使水箱的体积最大化。解决方法：让

2、切割正方形的边长为x，这很容易从问题的含义中知道。这个问题的数学模型是，例2。(混合饲料协调)让每天所需的混合饲料的批次为100磅，并且该饲料必须含有至少0.8%但不超过1.2%的钙；至少22%的蛋白质；高达5%的粗纤维。据推测，主要成分包括石灰石、谷物和大豆粉。这些成分的主要营养成分如下表所示。努力确定最佳混合饲料，以最低的成本满足动物的营养需求。每磅配料的营养成分、钙、蛋白质、纤维、每磅成本(元)、石灰石颗粒大豆粉、0.380 0.00 0.00 0.001 0.09 0.02 0.002 0.50 0.08、0.0164 0.0463 0.1250、1.2最优化问题的数学模型，一般形式为

3、向量形式，其中、目标函数、不等式约束和等式约束称为可行解或可行点，所有可行点的集合称为可行集。如果它是一个连续函数，它就是一个闭集。在可行集中找到一个点，使目标函数在该点取最小值，即满足的过程：是优化解的过程。它被称为问题的最佳点或最优解和最优值。定义1:全局(全局)最优解：如果它对任何事物都存在，它被称为优化问题的全局最优解。定义2:局部最优解：如果有一个特定的邻域，如果它对所有事物都是常数，那么它就称为优化问题的局部最优解。严格最优解：当有严格最优解时，称为问题的严格最优解。局部最优解，全局最优解，1.3优化问题的分类，与时间的关系：静态问题，动态问题是否有约束，约束问题，无约束问题函数类

4、型：线性规划，非线性规划，2 .梯度和黑塞矩阵，2.1等高线二维问题的目标函数表示三维空间中的曲面在空间直角坐标系中，平面与曲面在平面上相交的投影曲线是得到不同值的不同投影曲线。每条投影曲线对应一个值，所以我们称这条投影曲线为目标函数的等值线。当常数取不同的值时，重复上面的讨论，在平面上得到一族曲线等高线。轮廓线的形状完全由曲面的形状决定。相反，表面的形状可以从轮廓的形状推断出来。例如，在坐标平面上绘制目标函数的轮廓。解决方案：因为当目标函数取常数时，曲线代表半径以原点为中心的圆。因此，轮廓是以原点为中心的同心圆族(如图所示)。2.2梯度：多元函数的一阶导数，2.3赫斯矩阵：多元函数的二阶偏导

5、数矩阵，例：求目标函数的梯度和赫斯矩阵。解决方法：因为黑塞矩阵是：下面的公式是未来常用的：(1)，然后(2)，然后(单位矩阵)，(3)，q是对称的，然后(4)如果，其中f是：3，多元函数的泰勒展开式，这在最优化理论中是非常重要的。许多方法及其收敛性的证明都是基于此。定理：让它有一个二阶连续偏导数。那么：0 1的泰勒展开式也可以写成：4。凸集、凸函数和凸规划；4.1凸集的定义：设集s rn，如果x (1)，x (2) s，0，1，一定有x (1) (1-) x (2) s，它规定单点集x是凸集，空集是凸集。注： x(1)(1-)x(2)=x(2)(x(1)-x(2)是连接x(1)和x(2)的线段

6、。凸集，非凸集，非凸集，例：证明该集是凸的。其中a是Mn矩阵，b是m维向量。证明：如果你拿它，那么，例子：给定线性规划，如果它是，它是凸集。定义：设x (1)，x (2)，x(m) rn，j 0 j=1，则j x (j)是x(1)，x(2)，x(m)的凸组合。性质：凸集的交集是凸集；(并集一般不是)凸集的内点集是凸集；凸集的闭包是凸集。4.2凸函数，定义：让集合s rn是凸的，函数f:sr，如果x (1)，x (2) s，(0，1)，都有f (x (1) (1-) x (2) f (x (1) (1如果上述不等式成立严格不等式，则f(x)称为凸集合s上的严格凸函数。当-f(x)是凸函数(严格凸

7、函数)时，则f(x)称为凹函数(严格凹函数)。严格凸函数，凸函数，严格凹函数，定理：f(x)是凸集S上凸函数S中任意有限点的凸组合，其函数值不大于每一点的函数值。定理：可微函数f(x)是非空凸集S上的凸函数。定理：具有二阶连续偏导数的函数f(x)是非空凸集S上的凸函数是半正定矩阵。注：(1)当f(x)是正定矩阵时，它是严格凸函数；(2)当它是半正定矩阵时，-f(x)是凹函数。(1) (2)解：(1)它是正定矩阵和严格凸函数。(2)因为，很容易知道它是一个凹函数。4.3凸规划，定义：如果和都是凸函数，则称为凸规划。例子：线性规划是凸规划。数学规划很容易理解，而且是凸函数，所以规划是凸的。对于一般规划(p)，其局部最优解不一定是全局最优解，其可行集也不一定是凸集。然而，如果(p)是凸规划，可以得出以下结