中南大学最优控制论文

《最优控制理论》课程总结姓名：班级：学号：任课老师：一、摘要最优控制理论（optimalcontroltheory），是现代控制理论的一个主要分支，着重于研究使控制系统的性能指标实现最优化的基本条件和综合方法。最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科。它是现代控制理论的重要组成部分。其所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标值为最优。这类问题广泛存在于技术领域或社会问题中。这类问题广泛存在于技术领域或社会问题中。例如，确定一个最优控制方式使空间飞行器由一个轨道转换到另一轨道过程中燃料消耗最少，选择一个温度的调节规律和相应的原料配比使化工反应过程的产量最多。因此最优控制理论对于解决实际问题和促进科学的发展具有重要的意义和作用。关键字：最优控制变分法极大值原理动态规划二、引言控制工程领域早期的经典控制方法和技术早已被工程师们所熟知并进行广泛的应用。一般而言经典控制非常适合解决单输入单输出线性定长系统的控制器设计问题。然而对于高阶系统或多输入多输出系统，采用经典控制方法很难获得令人满意的控制性能。在这种情况下，控制学者于20世纪60年代初开始研究状态空间方法，并依此发展出现代控制的理论框架。其中最优控制则是现代控制理论的主要分支，解决最优控制问题的主要方法有变分法、极值原理和动态规划。从数学的观点来看，最优控制研究的问题是求解一类带有约束条件的泛函极值问题，属于变分学的范畴，但它只能解决一类简单的最优控制问题，因为它只对无约束或开集性约束是有效的，而无法解决工程实际中经常碰到的容许控制属于闭集的一类最优控制问题。这就促使了控制学者们开辟求解最优控制问题的新途径。苏联学者Л.С.庞特里亚金1958年提出的极大值原理和美国学者R.贝尔曼1956年提出的动态规划，对最优控制理论的形成和发展起了重要的作用，而这两种理论则被称作是最优控制理论的两大基石，它们对现代控制理论的发展起了重要的推动作用。三、最优控制问题的分类

①

按状态方程分类：连续最优化系统、离散最优化系统。

②

按控制作用实现方法分类：开环最优控制系统、闭环最优控制系统。

③

按性能指标分类：最小时间控制问题、最少燃料控制问题、线性二次型性能指标最优控制问题、非线性性能指标最优控制问题。

④

按终端条件分类：固定终端最优控制问题、自由终端（可变）最优控制问题、终端时间固定最优控制问题、终端时间可变最优控制问题。

⑤

按应用领域来分：终端控制问题、调节器问题、跟踪问题、伺服机构问题、效果研究问题、最小时间问题、最少燃料问题。四、主要方法为了解决最优控制问题，必须建立描述受控运动过程的运动方程，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围内选取。解决最优控制问题的主要方法有变分法、极大值原理和动态规划。1、变分法变分法的发展可追溯到17世纪末，后来在20世纪60年代被引入解决最优控制问题。它是处理函数的函数的数学领域，与处理数的函数的普通微积分相对。变分法最终寻求的是极值函数：它们使得泛函取得极大或极小值。变分法的关键定理是欧拉方程。它对应于泛函的临界点。在寻找函数的极大和极小值时，在一个解附近的微小变化的分析给出一阶的一个近似。它不能分辨是找到了最大值或者最小者（或者两者都不是）。其基本思想是将变分问题转化为微分方程的边值问题进行求解，是一种非常经典的方法，但它只能解决容许控制属于开集的最优控制问题，无法解决工程实际中经常遇到的容许控制属于闭集的最优控制。下面将分一些基本情况对变分法进行简要概述。1）、无等式约束在无等式约束下求取函数极值的必要条件为∂LL当然仅满足必要条件并不能保证泛函取得极值，还应考虑下列情况①端点固定此时X(t0)=X0,X(tf则只需δX②端点可变考虑端点约束Xt0=则需加入横截条件[α若当端点时刻固定，端点状态自由时，其横截条件简化为δL(2）、有等式约束处理有等式约束的泛函极值问题通常通过构造拉格朗日方程将有等式约束的问题转化为无等式约束的问题，下面列举一些常见的等式约束，求泛函极值的必要条件。(1)连续时间①差分方程在起点时刻，终点时刻，起点状态固定，终点状态自由的情况下，其必要条件为状态方程：x协调方程：λ极值条件：δ初始条件：X横截条件：λ②积分约束在起点时刻，终点时刻，起点状态固定，终点状态自由，积分约束为t0状态方程：xt=f[x协态方程：λλt=-极值条件：∂约束条件：x横截条件：λ③状态和控制等式约束给定的等式约束为：φxt,ut状态方程：x协态方程：λ极值条件：∂等式约束：φ约束条件：x横截条件：λ④终端约束在起点固定，终点约束为ξx状态方程：x协态方程：λ极值条件：∂约束条件：xt0横截条件：λt⑤内点等式约束在内点等式约束为Nx起点固定，终点约束为ξx状态方程：x协态方程：λ=极值条件：∂H约束条件：xt0横截条件：λt内点约束:N角条件：λ(2)离散时间在离散的情况下求得目标函数的最优控制序列{u(k)状态方程：X协态方程：λ极值条件：∂终端条件：ξx横截条件：λk2、极大值原理用变分法求泛函极值建立在系统控制向量不收任何限制的基础上，容许控制为一个开集，即δu任意，u不收限制，它遍及整个空间，且δH1)连续时间在端点约束为ξxt0,t正则方程：xtλ=极值条件：H终端条件：ξ横截条件：λtHxλtf可见利用最大值原理和变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件是相同的2）离散时间在起点时刻，终点时刻，起点状态固定，终点状态自由的情况下，求使目标函数取得极值的控制序列u*状态方程：X协态方程：λ极值条件：H初始条件：x(0)*=x横截条件：λ3、动态规划在Л.С.庞特里亚金等人发展极大值原理期间，在1953年至1957年间，美国数学家R.贝尔曼等人发展了变分法中的哈密顿-雅可比（Hamilton-Jacobi）理论，并逐步形成了与最大值原理并称为最优控制理论两大基石的动态规划，它可以卓有成效的解决各种最优控制问题，并且与变分发，极大值原理有非常密切的联系。其基本思想为：不论现在的状态和过去的决策如何，随后各段的决策对于现在的状态必定构成最优决策。由于它最初是应用于多级决策过程的一种优化方案，所以下面首先阐述时间离散问题。1)时间离散若需求一个控制序列{u(k)*逐步求出u(N-1),u(N-2)……u(0)2)时间连续时间连续问题可通过求解HJB方程：∂来求得u(t)*,其约束条件为可见HJB方程是V(x,t)的一阶偏微分方程，并带有取极小值的运算，因此求解是非常困难的，只能用计算机求数值解。五、三种方法的优劣及相互的关系变分法是求解泛函极值的一种经典方法，也是研究最优控制问题的一种重要工具。但由于它不能解决控制函数的取值受到封闭性的边界限制的情况，变分法对于解决许多重要的实际最优控制问题，是无能为力的。极大值原理则弥补了变分法的这种不足，可用于控制变量受限制的情况，能给出问题中最优控制所必须满足的条件。虽然最小值原理为解决带有闭集约束的最优控制问题提供了有效的方法，但遗憾的是它只是一个必要条件。也就是说，由最大值原理所求得的解能否使性能泛函J达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定所讨论的最优控制问题的解是存在的，而由最大值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往属于这种情况。动态规划与极大值原理一样，是处理控制变量有有界闭集约束时，确定最优控制解的有效数学方法。利用动态规划求解控制有约束的最优控制问题特别方便，但必须满足最优化原理和无后效性的限制，其应用有一定的局限性。而在实际应用中，动态规划需要很大的空间以存储中间产生的结果，这样可以使包含同一个子问题的所有问题共用一个子问题解，从而体现动态规划的优越性，但这是以牺牲空间为代价的，为了有效地访问已有结果，数据也不易压缩存储，因而空间矛盾是比较突出的。另一方面，动态规划的高时效性往往要通过大的测试数据体现出来（以与搜索作比较），因而，对于大规模的问题如何在基本不影响运行速度的条件下，解决空间溢出的问题，也是动态规划解决问题时一个普遍会遇到的问题。虽然动态规划的实现受到了许多的限制，但它比最大值原理应用的范围要广泛得多，并且所得到的结论是关于最优控制问题的充分条件。作为解决最优控制问题的三种重要方法，它们也不是独立存在的，相反，三者有着重要的联系。由动态规划的哈密顿-雅克比方程，可以推得变分法中的欧拉方程和横截条件；也可以推得极小值原理的必要条件。并且在所要求的条件都满足的情况下，使用这三种方法所得结论相同。六、最优控制理论存在的问题常见的实际物理系统，性能指标的提法合理则一般存在最优解，而且在一定的范围内有唯一解。但是，对于一个比较复杂的问题，最优控制问题解的存在性和唯一性的判定是比较复杂的，有时甚至是不可能的。现在的研究一般都假定是有唯一解的最优控制问题，即可以求出一个最优的解来。我们还应该了解，我们希望找到的是“整体”的最优控制，也就是在允许的范围内，寻找的控制作用使动态系统的性能指标达到最小或者最大。但是，在实际情况中除二次型性能指标的最优控制问题外，一般是很难用定量方法求得整体最优控制的，因此常常是求出许多局部最优控制，再挑选整体最优控制。七、结束语21世纪是科技迅猛发展的时代，各门学术都将有令人耳目一新的成就出现。而最优控制仍是一个十分活跃的研究领域，在理论和实践两方面都得到了充