最优控制理论读书报告

1、最优控制理论读书报告 第一章 最优控制问题与极大值原理最优控制问题具有广泛性、多样性及重要性，它可以应用到不同的领域中，例如升降机的最快升降问题、防天拦截问题、雷达跟踪问题及生产库存控制问题等等。通过对这些问题的研究，我们可以看出它们都具有如下共同的特点：(1) 都有一个被控对象。它通常是由常微分方程组描述的动态模型来表征的，即 (1.1)其中是状态量，是控制量，是时间变量，是描述被控对象动态特征的矢值函数，分别是初始和终端时刻，通常为定值，而可为定值，也可待求。通常假设：对有限时间区间给定的任一分段连续矢值函数，(1.1)都存在唯一解。(2) 都要求把被控系统的初态通过控制作用，在某个终端时

2、刻引导到某个终端状态。通常要求终端状态属于中某个点集，称为目标集，且 (1.2)(3) 都有一个容许控制集合。容许控制集合为是定义在上的分段连续函数，且把(1.1)的初态在终端时刻引导到目标集上 (1.3)(4) 都有一个表征系统品质优劣的性能指标。由于它是一个依赖控制函数的“函数”，又称为性能指标泛函或代价泛函。记为，它是一个依赖于控制的有限实数，即一般说的表达式中既应包含依赖于终端时刻和终端状态的末值型项，又应包含依赖于整个控制过程的积分型项，即 (1.4)其中，即皆为标量函数。是(1.1)和对应于控制的解，又称为轨线。归纳起来最优控制问题可叙述为：寻求一个容许控制，使得系统(1.1)在该

3、控制作用下从初态出发，在某个大于的终端时刻达到目标集上，且使性能指标达到极小（若要求性能指标达到极大时，只要讨论的极小便可）。如果最优控制有解即使(1.4)达到极小的控制函数存在，记为。称为最优控制，与相对应的系统(1.1)的解称为最优轨线，相应的性能指标称为最优性能指标，称为最优控制问题(1.1)(1.4)的最优解。从最优控制问题的叙述可知。 在最优控制问题中，根据涉及的函数的不同，有几种不同的称谓。例如时为快速控制问题；当都不显含时为定常系统的最优控制问题，否则为时变系统的最优控制问题；当目标集仅含一个固定点时为固定端点问题；当时为自由端点问题；当固定时为固定终端时刻问题，否则为终端时刻自

4、由问题；当时为末值指标；当时为积分型指标；当时为混合型指标。虽然最优控制问题的指标有混合型、末值型和积分型三种，但在某些条件下，三种指标是可以相互转换的，这种相互转换在理论研究上是很有意义的，例如在最优控制问题的几何解释时就会用到这种转换。以下我们分别介绍不同条件下的最优控制问题。一 控制量不受约束的最优控制问题控制量不受约束的最优控制问题是指在前面最优控制问题的叙述中，控制量的取值范围不受约，即或为中的开集。设最优控制问题叙述中所涉及的函数关于变元都是二次连续可微的。1 终端时刻固定，终端状态自由终端时刻固定是指是已知的，终端状态自由是指不受任何约束，即。然后利用来讨论最优控制所应满足的必要

5、条件，即如果最优解存在，所应满足的条件。通过引入拉格朗日乘子矢值函数，将求的条件极小问题化为求的无条件极小值问题。其中为待定的矢值函数。利用分部积分，并且取哈密顿函数。通过对的变分计算，我们得到最优控制问题中所应满足的必要条件：(1) ，。(2) 在的一切连续时刻上皆有，故哈密顿函数作为的函数在处取得极大。当不显含时，有常量。2 终端时刻固定，终端状态受约束设，即。此时的最优控制问题是在约束(1.1)和(1.2)条件下求(1.4)的极小问题。如前，通过引进拉格朗日乘子矢值函数和拉格朗日乘子，将求的条件极小问题化为求的无条件极小值问题。同样取哈密顿函数。重复以上过程可得到最优控制问题中所应满足的

6、必要条件：(1) ，。(2) ，。(3) 在的一切连续时刻上皆有， 。(4)3 终端时刻自由与控制量不受约束的极大值原理3.1终端状态自由用类似于1中的方法，可得到该条件下最优控制问题中所应满足的必要条件：(1) ，(2) ，。(3) 在的一切连续时刻上皆有， 。(4) 故哈密顿函数沿最优轨线有 当不显依赖于时间时，有。3.2终端状态受约束用类似于2中的方法，可得到该条件下最优控制问题中所应满足的必要条件；除了将3.1.2中的横截条件改为和其余均与3.1中的相同。将以上结果综合到一起，可得到如下控制量不受约束的极大值原理：定理1 给定时变最优控制问题(1.1)(1.4)。设关于变元都是二次连续

7、可微的，且。记哈密顿函数为。若为最优解，则一定存在矢值函数和矢值常量，使得一起满足：(1) ，(2) ，(3) 在的一切连续时刻上皆有， 。(4)(5) 若自由时，有。当不显依赖于时间时，有常量，若固定时这个常数可能不为零，但当自由时，这个常数一定为零。二 控制量受约束的最优控制问题庞德里亚金极大值原理控制变量受约束是指是有界闭集。由于最优控制的改变量特别是其取值不能是任意的，因此不可能按以上所讨论方法来获得最优控制所应满足的必要条件。虽如此，但其处理问题的思路和某些技巧，仍然可以被用来获得控制量受约束条件下最优控制应满足的必要条件。由于时变最优控制问题都可以通过引入新的状态变量将其化为定常最

8、优控制问题，故我们只给出了定常最优控制问题的极大值原理。定常最优控制问题可叙述如下：状态方程为 (1.5)其中是状态，是控制，。 目标集为 自由 (1.6)容许控制集合的分量为分段连续函数，且为有界闭集。 (1.7)记与对应的轨线，它满足性能指标为 (1.8)关于定常最优控制问题(1.5)(1.8)作如下假设：设（1）关于变元是连续的，而关于是连续可微的。（2）都是有界的。我们分别就终端时刻固定与自由两种情况进行了讨论，从而得到定常最优控制问题的极大值原理(庞德里亚金极大值原理)。1定常最优控制问题的极大值原理(庞德里亚金极大值原理)给定定常最优控制问题(1.5)(1.8)和目标集。设为有界闭

9、集且(1) 关于其变元是连续的，关于是连续可微的。(2) 都是有界的。记哈密顿函数为若是最优解，则必存在维矢值函数和维常矢值，使得和一起满足：(1) (2) (3) 对在上的一切连续时刻上有 (4) 作为的函数沿着最优控制恒为常数，即 常量, 当终端时刻固定时，这个常数可能不为零；但当自由时，这个常数必为零。由于时变最优控制问题都可以通过引入新的状态变量将其化为定常最优控制问题，故我们可直接给出时变最优控制问题的极大值原理。2时变最优控制问题的极大值原理(庞德里亚金极大值原理)给定时变最优控制问题：。设：(1) 关于其变元是连续的，关于变元是连续可微的。(2) 都是有界的。记哈密顿函数为如果为

10、有界闭集且是最优解，则一定存在矢值函数和常值矢量，使得一起满足：(1) (2) (3) 对在上的一切连续时刻上有(4) 哈密顿函数沿最优解具有性质当终端时刻自由时有当终端时刻固定时无明确解析表达式。三 与极大值原理应用有关的几个问题通常称满足极大值原理的控制和轨线为极值控制和极值轨线。极值控制和极值轨线称为极值解。如果已知最优控制存在且唯一，而极值控制又只有一个，则这个极值解就是最优解。但是极大值原理只是最优控制应满足的必要条件，因此极值控制不一定是最优控制。所以需要讨论最优控制的充分条件。1最优控制的充分条件定理2 给定最优控制问题 状态方程 (1.9)容许控制集合的分量为的分段连续函数，为

11、有界闭集 (1.10）性能指标 (1.11)其中和分别是已知的连续阵值和矢值函数；是常矢量，和关于变元是连续的，关于是连续可微的；是固定的。记设，相应轨线为，且满足 而满足 如果一起满足即满足极大值原理的所有条件，则必是最优控制。对给定的最优控制问题，能利用极大值原理求解其最优控制的先决条件是其最优控制的存在性，但并不是所有的最优控制问题都存在最优控制。实际上在所有的最优控制问题中，最优控制不存在的情况可分为两类：(1) 给定状态方程、目标集和控制约束后，通过分析可得其容许控制集合。由于容许控制不存在，当然就不会存在最优控制了。它反映了关于最优控制问题的提法是不合理的。(2) 虽然控制问题的提

12、法是合理的，即容许控制集合，但最优控制确实不存在。2极小值原理最优控制所应满足的必要条件，除了极大值原理原理外，还有极小值原理。实际上，只要注意到两种叙述中哈密顿函数和共轭方程的终端条件的区别，可知这两种叙述是等价的。现在我们以时变最优控制问题的极大值原理为例来叙述其相对应的极小值原理。定理3 最优控制所应满足的必要条件极小值原理给定时变最优控制问题：。设：(1) 关于其变元是连续的，而关于变元是连续可微的。(2) 都是有界的。记哈密顿函数为如果为有界闭集，且为最优解，则一定存在矢量函数和常矢量，使得一起满足：(1)(2)(3) 对在上的一切连续时刻均有(4) 哈密顿函数沿最优解具有性质当终端

13、时刻自由时，有当终端时刻固定时，无明确表达式。3 奇异控制由极大值原理可知，若最优控制存在，则哈密顿函数作为控制的函数在最优控制处取得极大值，但是如果存在一个容许控制和其相应的轨线及共轭变量一起使得哈密顿变量作为控制的函数取极值时提供不出最优控制的任何信息，则这个容许控制称为奇异控制，显然奇异控制可能是最优控制也可能不是最优控制。因此寻求奇异控制是最优控制的必要条件是很有必要的。四 动态规划方法与极大值原理 所谓最优性原理，就是一个最优过程的任何最后一段过程都是最优的。显然最优性原理是最优过程应满足的一个必要条件。通过分析可知，如果且为最优解，为最优终端时刻，且关于变元是连续可微的，那么贝尔曼

14、方程也是最优控制应满足的一个必要条件。其实如果贝尔曼方程式存在关于变元二次连续可微的解，那么就可以得出极大值原理的全部内容。虽然从理论上讲通过求解带终端条件的贝尔曼方程可获得最优综合函数，然而求解一个非线性偏微分方程的解，特别是解析解是非常困难的，也就是说只有当最优控制问题比较简单时，我们才能求得其最优综合函数。总之，第一章我们对不同条件下的最优控制问题进行了相应的讨论，综合讨论结果我们得到了不同的极大值原理，但是这些极大值原理都是最优控制的必要条件，而非充分条件。然而若使得极大值原理是最优控制的充要条件的最优控制问题一定具有某些特殊的性质，包括其状态方程、性能指标和目标集的特殊性。接下来我们

15、研究了一类特殊的最优控制问题的充分条件。其实利用极大值原理或者最优控制的另外一个必要条件贝尔曼方程求解最优控制问题都是一个非常复杂的过程，而我们知道并不是任何最优控制问题都存在最优控制，故如果能判断出其最优控制不存在也是很有意义的事情。本章所讨论的最优控制，无论是状态方程、控制取值约束还是性能指标、目标集的描述都是非常一般的。但是对给定的一个具体最优控制问题，如何应用极大值原理具体求解出其最优控制将是我们接下来两章所要讨论的问题。所谓利用极大值原理求解最优控制，原则上讲就是利用最优控制所应满足的必要条件，从容许控制集合中把最优控制“挑出”来，这就涉及到最优控制是否存在，若存在是否唯一以及是否有

16、显式表达式等问题。由此可知，为了具体确定出最优控制问题的最优控制，必须对具体的最优控制问题的“极值控制”和最优控制的一些特殊性质进行深入的了解。第二章 快速控制问题所谓快速控制问题，是指最优控制问题的性能指标取为状态方程从初始状态开始运动第一次到达目标集所用的时间，即其性能指标为。为了引进快速控制问题中的一些基本概念，我们首先讨论一类仿射非线性状态方程的快速控制问题。一 一类仿射非线性系统的快速控制问题一类仿射非线性系统的快速控制问题可以叙述为：状态方程 (2.1)其中 控制约束 (2.2)目标集 (2.3)性能指标 (2.4)假设：(1) 关于其变元都是连续可微的。(2) 都是有界的。对于快

17、速控制问题(2.1)(2.4),我们可将其分为两类：一类为正则快速控制问题(每个都不存在零聚点)；另一类为奇异快速控制问题(存在零聚点)。记是快速控制，是相应轨线，是共轭变量；为最优终端时刻，那么利用极大值原理可求得正则快速控制问题的快速控制。而奇异快速控制问题的快速控制亦可能存在且满足极大值原理的诸项条件，只是不能从极大值原理的诸条件中将它确定出而已。故在利用极大值原理求解快去控制问题时，人们必须从理论上回答三个问题：快速控制是否存在，若存在是否唯一，快速控制问题是否是正则的。但是对一般的，上述三个问题没有有效的回答。然而当状态方程为线性时，特别是线性定常时，我们得到了为回答上述问题的重要结

18、果。接下来我们将分别研究线性时变快速控制问题、线性定常快速控制问题与奇异快速控制问题。二 线性时变快速控制问题 线性时变快速控制问题是指线性时变状态方程的快速控制问题。状态方程为 ， （2.5）其中且是的连续或分段连续函数。容许控制集合为是的分段连续函数且 (2.6)目标集为 （2.7）性能指标为 （2.8）设且关于有直到阶的连续导数。如果对空间中平行于坐标轴的单位矢量和皆有即最广位置条件，则线性时变快速控制问题(2.5)(2.8)是正则的，其中那么由正则快速控制问题的结论可知，此时最优控制为。三 线性定常快速控制问题 线性定常快速控制问题可叙述为：状态方程 ， （2.9）其中是常矢量。容许控

19、制集合是的分段连续函数且 (2.10)目标集 （2.11）性能指标为 （2.12）记，则该线性快速控制问题是正则的的充要条件是。如果该线性快速控制问题是正则的，且其快速控制存在，那么快速控制必是唯一的，且快速控制为，其中有三种取值：使从1变成-1或由-1变成1的时刻称为开关时刻。所有的开关次数之和称为快速控制的开关次数。从工程实用考虑，由于快速控制的开关都是通过一个装置来实现的，显然装置的造价和具体的开关次数的多少有关。因此每个开关分量的开关次数的上限在工程实现快速控制时是一个很重要的指标要求。在此我们有开关次数定理：线性定常快速控制是正则的且快速控制存在及快速控制的第个分量的开关次数为，若的

20、特征值皆为实的，则，其中为线性定常控制系统(2.9)的阶数。对于线性定常快速控制问题(2.9)(2.12)，其快速控制的存在性有如下定理：1对于线性定常快速控制问题(2.9)(2.12)，如果存在一个容许控制在有限时间内能把引导到坐标原点，则一定存在一个在最短时间内把引导到坐标原点的容许控制函数，即快速控制存在。2设线性定常系统是完全能控的，即，且的所有特征值都具有负实部，则对任一，一定存在容许控制，在有限时间内把引导到中的坐标原点。3设线性定常系统是完全能控的，即，的所有特征值都具有非正实部，且至少存在一个具有零实部的特征值，则对于任一，一定存在容许控制，在有限时间内把引导到中的坐标原点。4

21、设线性定常系统是正则的，的所有特征值皆具有非正实部，且至少存在一个具有零实部的特征值，则对任一初态，皆存在着快速控制，且的分量皆为的分段常值函数。线性定常快速控制问题的最优性能指标只依赖于初态，而与初始时刻无关，即 。如果能求得快速控制和最优轨线以及初态函数的最优性能指标，那么用哈密顿-雅可比-贝尔曼方程来判断由极大值原理得到的结果是否正确时很有用的。四 快速控制问题的奇异性由第一节知道：(1)若快速控制问题(2.1)(2.4)是奇异的，必存在一个整数，使得开关函数在上有零聚点。(2) 快速控制问题(2.1)(2.4)的奇异性和其快速控制的存在性是两个范畴内的问题，它们是互相无关的。(3) 即

22、使奇异快速控制问题(2.1)(2.4)存在快速控制,它也不能通过极大值原理来求得，得另外寻求必要条件。然而关于奇异快速控制问题的性质和其快速控制的存在性，目前只有一些离散的而不是系统的理论结果，这里我们仅对单输入快速控制问题进行了讨论。本章我们对一类特殊的最优控制问题快速控制问题进行了讨论，得到如果快速控制问题是正则的，就有快速控制为。接下来分别就时变快速控制问题和定常快速控制问题进行了研究，分别得到快速控制存在的一些定理。而奇异快速控制问题的快速控制亦可能存在且满足极大值原理的诸项条件，只是不能从极大值原理的诸条件中将它确定出而已。故在利用极大值原理求解快速控制问题时，人们必须从理论上回答三

23、个问题：快速控制是否存在，若存在是否唯一，快速控制问题是否是正则的。目前就奇异快速控制问题，我们仅有一些离散的而没有系统的理论，这里仅就单输入快速控制问题为例进行了讨论。第三章 线性二次最优控制作为最优控制问题的另一特殊情况线性二次最优控制，它不但在工程实践中经常碰到，而且它也是处理一类非线性控制问题的一种方法。我们分别就线性系统二次最优调节问题、具有指数衰减速度的最优调节问题、线性系统的最优输出跟踪问题及线性系统的受限奇异最优调节问题进行了研究。现将线性时变二次指标的最优控制问题叙述如下：状态方程， （3.1）性能指标 （3.2）其中的元皆为的连续或分段连续函数，且对任意的，。 控制约束，即

24、控制取值不受约束，且是固定的。通过考查线性时变最优跟踪问题，可以进一步了解了指标中的含义以及选取的标准。给定线性时变系统 (3.3)其中是状态，是控制，是输出。的元都是的连续或分段连续函数。一般有。所谓最优跟踪问题就是使系统(3.3)的输出尽量跟上一个已知信号。为跟踪误差。直观上讲，选择控制应使跟踪误差尽量小，为了避免所获得的最优控制取值“过大”，通常在性能指标中要引进对控制取值的约束。通常我们取性能指标为： (3.4)其中。一个跟踪系统的二次性能指标，不但反映了跟踪误差“小”的要求，而且也反映了能量省的要求。一般我们要求和不同时为零。如果在(3.3)中取，且跟踪信号，那么(3.3)和(3.4

25、)就变为(3.1)和(3.2)。一 线性系统二次最优调节问题若固定，就称上述特殊的最优跟踪问题称为有限时间的(二次)最优调节问题；若将终端时刻的限制去掉，就变为无穷时间的最优调节问题。这一部分我们就将分别对不同情况的最优调节器问题进行讨论。1 时变系统有限时间最优调节器问题所谓时变系统有限时间最优调节问题是指，状态方程为(3.1)而性能指标为(3.2)且固定，控制取值不受约束即的最优控制问题。对于该类最优调节问题，我们利用极大值原理求解最优调节器(即最优综合函数)的结构形式，最后得到如下关于最优综合函数及最优性能指标的定理。定理3.1 对于线性时变系统(3.1)(3.2)，其中的元皆为的连续或

26、分段连续函数，且对任意的，。如果固定且，则最优综合函数存在且唯一，可表达为，其中为如下黎卡提矩阵微分方程 的唯一非负定解，而最优性能指标为 。 在该定理中，我们并没有要求状态方程(3.1)完全能控，这是因为在线性时变有限时间最优调节问题中，只要状态尽量接近零状态而非，且其不能控状态对性能指标的贡献是有限值的原因。在下面将会看到，如果要求或，就必须对状态方程(3.1)加上完全能控的假设。2 时变系统无穷时间最优调节器问题若将线性时变系统(3.1)(3.2)中的矩阵改为定常矩阵，可知此时状态方程是定常的，而性能指标中的加权阵也与时间无关，只要是固定的有限值，其反馈增益阵仍是时变的，在此我们将对终端

27、时刻的限制去掉，也就变为了无穷时间的最优调节问题。对于这种问题，我们可将其视为其相应线性时变有限时间最优调节问题的最优调节器的一个极限过程。为了保证最优调节器存在，我们假设线性时变系统在任意都是完全能控的。通过讨论我们可得到关于线性时变系统无穷时间最优调节问题的定理。定理3.2 对于时变系统无穷时间最优调节问题，设任取线性时变系统都是能控的，则时变系统无穷时间最优调节问题的最优解存在唯一，其最优调节器为，其中为如下黎卡提微分方程 的极限解。3 定常系统无穷时间最优调节问题由以上两部分可以看到，对于时变系统有限时间和无穷时间的最优调节问题，它们的反馈增益阵都是时变的，这就给工程实现造成了很大的麻

28、烦。然而对于定常系统无穷时间最优调节问题，其反馈增益阵是定常的，因此对研究定常系统无穷时间最优调节问题是很有必要的。在此我们有关于定常系统无穷时间最优调节问题的定理。定理3.3 对于定常系统无穷时间最优调节问题。设线性定常系统是完全能控的，即，若，则定常系统无穷时间的最优调节器存在唯一，其表达式为，其中满足如下黎卡提代数方程， 且以为初态的最优性能指标为。由于对任意都有，故。对于定常系统无穷时间最优调节问题除了讨论最优控制，我们还讨论了其最优闭环的稳定性，为了保证最优闭环是渐近稳定的，必须对权阵加上某些条件，假设有分解。我们有如下关于定常系统无穷时间最优调节问题的定理。定理3.4 对于定常系统

29、无穷时间最优调节问题。设是完全能控(即)，且对有分解，完全能观测(即)，则最优闭环系统，一定是渐近稳定的，其中是黎卡提代数方程的唯一正定解。定理3.5 对于定常统无穷时间最优调节问题。设能稳定 (即)，且对有分解，能检测(即)，则最优闭环系统，一定是渐近稳定的，其中是黎卡提代数方程的唯一非负定解。4 黎卡提代数方程的求解方法综上可知，在求解最优调节器时，都用到了黎卡提方程的解，所以如何求黎卡提方程的解就显得很重要了。在此我们给出一些求解黎卡提代数方程的解的方法。(1) 直接展开法，这适用于结构简单且维数较小的系统。(2) 利用，即求黎卡提微分方程解的极限。(3) 将化为若尔当型，若，则。(4)

30、 解线性代数方程组。(5) 迭代逼近算法我们可根据黎卡提方程的形式的不同，采用不同的方法求解。虽然我们讨论了最优闭环系统的渐近稳定性，但是却不能保证其状态有事先指定的衰减速度，然而在实际工程中，我们总希望最优闭环系统具有事先给定的衰减速度，故研究具有指定衰减速度的最优调节问题就显得尤为重要，这就是我们接下来要介绍的问题。二 具有指定衰减速度的最优调节问题所谓为线性定常系统设计具有指定衰减速度(即),指如下最优控制问题。状态方程 (3.5)性能指标 (3.6)其中。如果能控，对的任意分解完全能观测，则存在唯一的具有指定衰减速度的最优调节器，使得最优闭环系统，的解满足。其中为如下黎卡提代数方程的唯一正定解。三 线性系统的最优输出跟踪问题在前面我们已经给出了线性系统的最优跟踪问题(3.3)(3.4)，我们仍利用极大值原理来求解，得到如下结论。对于线性系统 (3.7)和性能指标 (3.8)其中固定，是已知的被