最优化理论学习心得

1、最优化理论学习心得本拟撰写以考虑电力系统静态电压稳定的无功优化问题的建模与求解实验为题的课程小论文，无奈问题复杂，数据有限 （掌握的数据都是上千维变量空间，上千个约束方程的大问 题，不便于初步研究），再加上撰写三个数值报告消耗了大量时间精力，实在无力在考试之 前完成这篇论文，只能退而草草炮制这篇学习心得，论文留待假期或以后，涉及到专业研究方向，总是要写的。下面谈七点心得体会：最优化问题的普遍性、实用性和趣味性，最优化问题的困难，数学的简单与复杂的辩证关系及其引发的对生活态度的思考，理论问题与数值问题的差异，最优化问题的信息论视角，最优化问题和解方程问题的关系，周老师的可贵精神。最优化问题无处不

2、在。只要存在选择，并涉及稀缺资源，就一定存在优化问题。可以很“高深”，比如前面提到的电力系统无功优化问题，比如导弹的轨迹优化问题；也可以很“生活”，比如有同学研究了在交大教室、图书馆、实验室和几个食堂之间的最优路径问题，比 如我曾经写过一篇 恋爱中的博弈问题，又比如有同学问周老师：“如何花费最少的时间获 得相对较好的最优化课程分数？”但它们有着共同的特点，就是很实际，并且很有趣。可以说，作为一个普通的工学研究生，以往从没有接触过一门数学课程（除了那些最基本的算术、 几何），如此地贴近现实问题，立足现实问题，而最终亦指向现实问题。在最优化理论系统 中，除了可以感受到一般数学理论的那种纯粹、抽象、

3、透彻、简洁，也能感受一种无处不在 的实用主义价值观，“实用”、“好用”、“凑效”这些看起来不那么“数学”的评价标准在这 个领域中也有着相当的地位。而在各种“数学”、“非数学”的标准之间的权衡取舍，本身就是一个多目标优化问题而体现出某种对系统性思维的诉求。思考、研究这样的问题，即有用，又有趣，令人快乐无穷。这些可能与生活琐事紧紧相连的问题可能引发数学上极大的麻烦。比如现在大家都知道的背包问题，我看到这个问题的第一反应是：这应该是个很简单的问题！不错，模型是简单的，求解确实极富挑战的。 又比如最速下降法的收敛性，从直觉上讲实在是让人感到不证自明的东西。然而，放到数学领域严谨考察，问题就不那么简单了

4、，仅仅对一个正定二次函数就花费了近半节课的时间去证明。再比如对于“皮球下山法”的局部收敛问题。将一个皮球掷向一个可微的谷域曲面，最终能停止到极小值点周围，这是直觉必然，也是物理事实。为了让它能在理论上最终精确停在极小值点，需要取消摩擦力作用；为了让球的能量最终全部耗散，同时为了让连续运动问题变为离散的跳跃问题，必须让球在任何情况下都保持跳跃而不能滚动，且每次跳跃按一定规则衰减动能。 然而，就是这一点点和实际物理过程的看起来不影响结果的改动， 放到数学领域严格考察， 就会发现收敛性恐怕是有条件的，因为速度的衰减太快，在某种具体的目标函数形态下，完全有可能使算法收敛到不是极小值点的地方。进而，要证

5、明或给出收敛条件， 就是很困难的工作了。 由于最优化问题本身的多样性与复杂 性，虽然在最优化理论课程上， 我们学习了众多的算法， 可是放到现实科学工程领域，真正全面有效的算法其实却不多，甚至限于我的认识，还没有任何一种对于高维的、有复杂约束 的全局优化问题凑效的算法，而现实科学工程领域中，这样的问题并非少见，在我个人的领 域中，更是随处都是。然而，正因为有困难，这个领域也才拥有无限的发展空间和蓬勃生机， 从而散发出醉人的魅力。数学近乎天下之至简，好比全局优化算法“穷其一生”也无法完全掌握的目标函数的全 局信息，通过目标函数一个短短的解析式就能完整包括；一个二维的优化问题也许我们可以 凭直观观察

6、迅速获得全局最小值点，但对于大于更高维，多约束的问题，直观就无能为力， 经过严格证明可行的数学方法确定解决这些问题；千差万别的现实世界信息似乎无穷无尽， 然而全部的重要的核心数学理论 （或物理理论的数学描述） 集中起来或许一张 CD 都装 不满就能描述其中大部分的运动变化规律， 难怪有毕达哥拉斯者认为世界就是数学的实 例。然而数学也近乎天下之至繁，一方面，数学是对现实某一方面的抽象， 另一方面数学要 求严格的逻辑必然性， 掺不得半点沙子。 而现实对象往往是具体的复杂的， 要用数学准确描 述一个具体对象的全部（或决定性方面） 是不可能的（或很复杂的） 。回到最优化问题上来， 这就引发了一种对生活

7、态度的思考： 现实生活中， 我们是否需要最优化结果和最优化方法？ 我想现实的考虑是， 需奉中庸之道。 如果我们面对生活中的任何问题， 都追求用绝对严格的 优化方法，追求获得绝对的最优解，那么，很可能什么事都做不了了。很多时候，在现有已 掌握的方法和结果中选择最不差， 比在一切可能的方法和结果中选择最好， 要实际有效得多。 比如对于社会改良问题， 政策设计问题。 而对于另一些问题， 如果我们把注意压力集中在最 优性的功利思维上， 就有可能最终反而破坏结果的最优性， 比如对于那个学习最优化课程的 最优时间花费问题，周老师认为读书做学问不能采取这样的态度。理论问题和数值问题的差异是在本学期两门相关数

8、学课上才被真正当作一个问题摆在 我们面前的。 我想这本身就是我国数学基础教育的一个弊病： 由于在研究生教育以前， 很少 接触数值计算及相关问题， 学生无法对这个问题有充足的感知和眼界， 而现实当中需要数学 的时候，恰恰又都无法避免数值计算问题，于是， 所学和所用之间多了一条裂痕。 这是应当 引起思考和重视的。 在最优化理论课程的三次数值实验中， 无处不是数值计算相对理论计算 的差异。 最典型的问题是局部优化算法的可靠性。对于一切基于一维搜索的方法， 当一维搜索在理论上绝对可行的时候，在现实计算中出现理论外结果的情况几乎可说是大量存在的， 特别对于某些专门的测试函数。 目标函数的数量级太大， 梯

9、度函数的数量级太小， 舍入误差 等等， 都可能使一维搜索失败、 结果不可靠甚至异常退出， 为防止这些不符合理论要求的情 况出现（且不说有时是防不胜防） ，又需增加运算负责检查矫正，最终也很难完全避免。信 赖域的方法同样存在着数值计算中的不可靠， 甚至在小尺度时， 实验中比基于一维搜索的方 法有时更加不可靠。又比如特征值计算问题，当使用eigs（） 函数而 Hessian 阵数值的数量级太大时，就会发生异常返回。再比如，在各种出现数值大小比较的地方，都存在着数值计算 带来的问题和隐患，比如判定 Hessian 阵正定，理论上只需最小特征值大于 0，可是，万一 由于数值的原因这个最小特征值在计算机

10、中是负的， 就会得出错误的结果。 相等判断更是 如 此，一切“ x=A ”对 double 变量都因舍入误差的存在是不可靠的，只能是 "|x-A|<e" ，那么 e 怎么取，又构成新的问题。最后，像最速下降法这样理论上对正定二次函数一定收敛的算 法，当特征值分布分散， 问题维数很高的时候，实际是不可行的， 根本达不到现实中的精度 要求。 总之，计算机在大力推动数学的发展和应用的同时，也引出了许许多多新的问题，理 论和工具的结合， 本身产生了大量理论问题， 这是任何一个从事科学工程领域工作的人都必 须有所认识的。最优化问题到底是个什么问题？我认为，抽象地讲，解最优化问题

11、的过程，就是获取目 标函数一条全局信息的过程， 这个需要获取的全局信息， 就是某点的函数值最小。 为什么说 这是个全局信息？因为说某点函数值“最小” ，其实是说某点函数值“比其它所有点的函数 值都小”，包含了该点函数值对所有点函数值的大小比较关系，这当然是全局性的。而最优 化问题的主要矛盾就是， 问题的解所包含的信息是全局性的 （并可能是无限的， 因为包含了 无限个大小关系判断） ，但为求取这个解所能 （从包含函数一切信息的解析式和约束关系中） 采集到的可利用信息 （如函数值大小或大小关系 ）是局部的甚至单点的（并多半是有限的），且采集次数是有限的。 比如求一点函数值， 只能得单点信息。 又比

12、如水平集方法之所以不好 用，就是因为它每一步都要求算法获得水平集测度这种全局信息。 正是这个根本矛盾， 导致 了最优点搜索、 确认上的困难。 局部优化问什么可获得必然的解决？因为对于可微函数， 从 解析式中的有限次 （一次） 信息采集如求单点梯度就可获得一个有限领域内可利用 的局部（而非仅仅单点）信息。比如，如果知道一点梯度为零并且知道函数正定，我就知道 在某个领域中该点函数值一定最小， 而不用通过无限次求取领域内各点函数值与该点函数值 比大小来获取这个局部信息。然而， 对于全局优化问题， 我们却没有这样的手段（有限的各 阶导数对一般函数总是领域信息） 。我在第三次报告中总结了一类算法的思路，

13、是对极小值 点有限的目标函数， 设计有效的办法在极小值点间转移或遴选， 从而最终得到全局最小值点。 放到这里来讲， 就是对于极小值点有限的函数， 全局可以划分为有限个局部， 而局部有效信 息，可以通过有限的信息采集获得， 最后把所有局部有效信息拼接起来就得到需要的全局信 息。也就是说， 通过局部信息的有限次累计， 得到全局信息。 其实比较各种局部优化算法就 可有这样的体会， 理论上好的算法， 往往就是能在各次获取单点信息的过程中实现一种信息 累积（比如下降算法本身就是一种信息累计搜索过的地方永远不会再搜） ，使得算法掌 握的信息越来越能钩织出局部信息。 出于这样的认识， 我认为， 要发明一种好的全局优化算 法，可以在两个地方下功夫： 一是如何从解析式与约束中通过少的信息采样挖掘出更大范围、 更大信息量的信息； 二是， 如何逐步有效累积信息把前面挖掘的信息汇成全局信息。另外是否可以把信息、通信领域的理论方法结合到最优化理论中，也是值得思考的问题。最优化问题和解方程问题在很多时候是等效的。 比如一阶最性条件就是个方程， 而一些 解方程的方法，就是将方程反构成最优化问题来解（比