附录最优化方法复习题

1、附录5 最优化方法复习题1、设是对称矩阵，求在任意点处的梯度和Hesse矩阵解 2、设，其中二阶可导，试求解 3、设方向是函数在点处的下降方向，令，其中为单位矩阵，证明方向也是函数在点处的下降方向证明由于方向是函数在点处的下降方向，因此，从而，所以，方向是函数在点处的下降方向4、是凸集的充分必要条件是的一切凸组合都属于证明充分性显然下证必要性设是凸集，对用归纳法证明当时，由凸集的定义知结论成立，下面考虑时的情形令，其中，且不妨设（不然，结论成立），记，有，又，则由归纳假设知，而，且是凸集，故5、设为非空开凸集，在上可微，证明：为上的凸函数的充要条件是证明必要性设是上的凸函数，则及，有，于是 ，

2、因为开集，在上可微，故令，得，即充分性若有，则，取，从而，将上述两式分别乘以和后，相加得，所以为凸函数6、证明：凸规划的任意局部最优解必是全局最优解证明 用反证法设为凸规划问题的局部最优解，即存在的某个邻域，使若不是全局最优解，则存在，使由于为上的凸函数，因此，有当充分接近1时，可使，于是，矛盾从而是全局最优解7、设为非空凸集，是具有一阶连续偏导数的凸函数，证明：是问题的最优解的充要条件是：证明 必要性若为问题的最优解反设存在，使得，则是函数在点处的下降方向，这与为问题的最优解矛盾故充分性若反设存在，使得，因为凸集，在上可微，故令，得，这与已知条件矛盾，故是问题的最优解8、设函数具有二阶连续偏

3、导数，是的极小点的第次近似，利用在点处的二阶Taylor展开式推导Newton法的迭代公式为证明由于具有二阶连续偏导数，故且是对称矩阵，因此是二次函数为求的极小点，可令，即，若正定，则上式解出的的平稳点就是的极小点，以它作为的极小点的第次近似，记为，即，这就得到了Newton法的迭代公式.9、叙述常用优化算法的迭代公式（1）0.618法的迭代公式：（2）Fibonacci法的迭代公式：（3）Newton一维搜索法的迭代公式： （4）最速下降法用于问题的迭代公式：（5）Newton法的迭代公式：（6）共轭方向法用于问题的迭代公式：10、已知线性规划：（1）用单纯形法求解该线性规划问题的最优解和最

4、优值；（2）写出线性规划的对偶问题；（3）求解对偶问题的最优解和最优值解 （1）引进变量，将给定的线性规划问题化为标准形式：311100601-220101011*-100120-21-1000020210-1403000125011-100120-30000-1-20所给问题的最优解为，最优值为（2）所给问题的对偶问题为： （1）（3）将上述问题化成如下等价问题：引进变量，将上述问题化为标准形式： （2）-3-1-11002-12-1*010-1-1-210011-60-10-200000-2-301-1031-210101-2000110-40-5000-20020问题（2）的最优解为，最

5、优值为（最小值）问题（1）的最优解为，最优值为（最大值）11、用0.618法求解 ，要求缩短后的区间长度不超过0.2，初始区间取解 第一次迭代：取确定最初试探点分别为，求目标函数值：，比较目标函数值：比较第二次迭代：第三次迭代：第四次迭代：第五次迭代：第六次迭代：第七次迭代：第八次迭代：第九次迭代：故12、用最速下降法求解 ，取，迭代两次解，将写成的形式，则第一次迭代：第二次迭代：13、用FR共轭梯度法求解 ，取，迭代两次若给定判定是否还需进行迭代计算解 ，再写成，第一次迭代：，令，从出发，沿进行一维搜索，即求的最优解，得第一次迭代：，从出发，沿进行一维搜索，即求的最优解，得此时得问题的最优解

6、为，无需再进行迭代计算14、用坐标轮换法求解 ，取，迭代一步解从点出发，沿进行一维搜索，即求的最优解，得再从点出发，沿进行一维搜索，即求的最优解，得15、用Powell法求解，取，初始搜索方向组，给定允许误差（迭代两次）解 第一次迭代：令，从点出发沿进行一维搜索，易得；接着从点出发沿进行一维搜索，得由此有加速方向 因为，所以要确定调整方向由于 ，按（）式有，因此，并且又因，故（）式不成立于是，不调整搜索方向组，并令第二次迭代：取，从点出发沿作一维搜索，得接着从点出发沿方向作一维搜索，得由此有加速方向因为，所以要确定调整方向因，故按（）式易知，并且由于，因此（）式成立。于是，从点出发沿作一维搜索，得。同时，以替换，即下一次迭代的搜索方向组取为16、用外罚函数法在直线上求一点，使得到原点的距离近似最短，取解 令，问题可归为求解如下最优化问题引入罚函数 则原约束最优化问题相应的一系列无约束最优化问题为：，其中解上述无约束问题，得，同时依次对用上述公式计算和，结果如下表所示10.521.25002131.11113258.00004494.938358172.7682616331.4692732657.57408641293.845991282571.938