最优控制——最大值原理

1、第二章 最 大 值 原 理2022-6-132主 要 内 容2.1 最大值原理的提出2.2 最大值原理的证明2.3 一般型最优控制问题终端时刻tf可变的情况课外习题2022-6-133一、 古典变分法存在的问题 (1) 在一般情况下，可以将控制函数U(t)所受到的约束条件利用如下形式的不等式来表示. 即 当控制函数U(t)受到上述不等式约束,并且最优控制取决于闭集性约束的边界时，古典变分法便不再适用了。 (2)在应用古典变分法来求解最优控制问题时，要求函数 X ( tf ) ,tf , LX(t),U(t),t , f X(t), U(t) ,t 对它们的自变量具有“充分”的可微性，特别要求H

2、/U(t)有定义，于是，类似 这样的性能泛函数就被排除在外了。但是在燃料最优控制问题中，这类性能泛函却是无法避免的。 ( )01, 2 , .,iUtim0( )fttJu t dt2022-6-134二.最大值原理和动态规划 为了解决古典变分法在求解最优控制问题中所暴露出来的上述问题，许多学者进行了各种探索。其中以苏联学者庞特里雅金（.C.oHTpH）的最大值原理（或最小值原理）与美国学者贝尔曼（R.E.Bellman）的动态规划较为成功，应用也较广泛，现已成为求解最优控制问题的强有力的工具。 在这一章里，首先通过积分型最优控制问题提出最大值原理，然后再推广到复合型最优控制问题中，然后利用增

3、量法对最大值原理进行证明。2022-6-1352.1 最大值原理的提出 2.1.1 积分型最优控制问题 问题2.1.1(积分型最优控制问题) 给定系统的状态方程： (2.1.1) 其中，f是n维连续可微的向量函数；X(t)是n维状态变量，其初态X(t0)=X0， 而终态应满足的条件是：终端时刻tf固定，终端状态X(tf)自由，U(t)是m维控制变量，其所受约束条件是 (2.1.2) 其中，是以U(t)为元素的m维实函数空间中的一个闭子集。式(2.1.2)表明，控制变量是这个闭子集中的元素。满足式(2.1.2)约束条件的控制变量称为容许控制变量，简称容许控制。要求在满足式(2.1.2)的容许控制

4、中，确定一控制变量U(t)，使系统（2.1.1）从给定的初态X(t0)转移到某个终态 ( )( ),( ), X tf X t U t t0( ), ,fU ttt t2022-6-136X(tf)的过程中，性能泛函 达到极小值。其中L是连续可微的标量函数。 这个积分型最优控制问题所确定的控制U(t)称为最优控制，记为U*(t)。 如果不考虑式（2.1.2）的约束条件，那么该最优控制问题的解的必要条件可由第一章的定理1.6.1给出，现引述如下： 定理1.6.1 设系统的状态方程为 则为将系统从给定的初态X(t0)=X0 转移到终端时刻tf固定，终端状态X(tf)自由的某个终态，并使性能泛函 (

5、 )( ),( ), X tf X t U t t(2.1.3)0( ),( ), fttJL X t U t t dt2022-6-137 达到极小值的最优控制应满足的必要条件是 (1)设U*(t)是最优控制， X*(t)是对应与U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X(t)与(t)满足规范方程 ( )( ),( ), HX tf X t U t t( )HtX （2.1.4）（2.1.5）其中，( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t

6、（2.1.6）0( ),( ), fttJL X t U t t dt2022-6-138 (2)边界条件为 (3)哈密顿函数H对控制变量U(t) (t0t tf)取极小值，即 定理1.6.1是在控制变量u(t)不受约束的情况下，求最优控制函数U*(t) ，使哈密顿函数（2.1.6）达到极小值。这也是在控制函数U(t)不受约束或只受开集性的约束的情况下的最小值原理。 显然，控制方程（2.1.9）也可以写成如下形式00( )X tX()0ft（2.1.7）（2.1.8）0HU（2.1.9）*( )( ), ( ),( ), min( ), ( ),( ), u tH Xtt Ut tH Xtt

7、U t t（2.1.10）2022-6-139 说明： (1)当控制函数U(t)不受约束或只受开集性约束条件下，控制方程（2.1.9）和（2.1.10）是等价的。 (2)在控制函数U(t)受到式（2.1.2）所表示的闭集性约束的条件下，控制方程（2.1.9）未必是最优控制问题的解的必要条件之一。 a.因为 b.作为控制变量U(t)的函数的Hamilton函数H X(t)，(t)， U(t)，t在闭子集内可能不存在极值点，而企图以H/U 来求极小值点也是难以奏效的。 因此，在控制函数U(t)受到式（2.1.2）那样闭集性约束的条件下，控制方程（2.1.9）不再是由式（2.1.1）式（2.1.3）

8、所给定的最优控制问题解的必要条件了。0000ffttTTttHJXUdtU 0HU2022-6-1310但是，控制方程（2.1.10）总是成立的，它仍然是由式（2.1.1）式（2.1.3）所给定的最优控制问题解的必要条件 。定理2.1.1 （积分型最优控制问题的最小值原理）（积分型最优控制问题的最小值原理） 给定系统的状态方程 和初态X(t0)=X0， 而终端时刻tf固定，终端状态X(tf)自由以及控制变量U(t)所受约束条件是 则为将系统从给定的初态X(t0)转移到某个终态X(tf) ，并使性能泛函 达到极小值的最优控制应满足的必要条件是：( )( ),( ), X tf X t U t t

9、0,( ),fU ttt t0( ),( ), fttJL X t U t t dt2022-6-1311 (1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程 式中H是哈密顿函数，且为 (2)边界条件为( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t00( )X tX()0ft2022-6-1312 (3)哈密

10、顿函数在最优控制U*(t)和最优轨线X*(t)上达到最小值,即 说明: (1)由于定理2.1.1的中心内容是,使性能泛函(2.1.3)达到最小值的最优控制的必要条件是哈密顿函数H达到最小值，所以，该定理称为最小值原理。 (2)一个函数的最小值点与该函数反号后的最大值是一致的。所以，若令哈密顿函数为 则下列二式*( )( ), ( ),( ), min( ), ( ),( ), U tH Xtt Ut tH Xtt U t t( ),( ), ( ),( ), ( ) ( ),( ), TH X t U t tL X t U t tt f X t U t t ( )( )min( ), ( ),

11、( ), min ( ),( ), ( ) ( ),( ), U tTU tH X tt U t tL X t U t tt f X t U t t2022-6-1313和的结果是一致的，只是二式中的协态变量(t)是互为反号的。定理2.1.2 （积分型最优控制问题的最大值原理）（积分型最优控制问题的最大值原理） 给定系统的状态方程和初态X(t0)=X0， 而终端时刻tf固定，终端状态X(tf)自由以及控 制变量U(t)所受约束条件是则为将系统从给定的初态X(t0)转移到某个终态X(tf) ，并使性能泛函( )( )max( ), ( ),( ), max( ),( ), ( ) ( ),( )

12、, U tTU tH X tt U t tL X t U t tt f X t U t t( )( ),( ), X tf X t U t t0,( ),fU ttt t2022-6-1314达到极小值的最优控制应满足的必要条件是： (1)设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程其中，0( ),( ), fttJL X t U t t dt( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( )

13、, THH X tt U t tL X t U t tt f X t U t t 2022-6-1315(2)边界条件为(3) 在最优控制U*(t)和最优轨线X*(t)上哈密顿函数达到最大值,即说明：由于定理2.1.2的中心内容是，使性能泛函达到极小值的最优控制的必要条件是哈密顿函数H达到最大值，所以，该定理称为最大值原理。 00( )X tX()0ft*( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1316例 2.1.1 给定一阶线性系统和初始条件 （2.1.11）其中控制作用u(t)的约束条件为 （2.1.

14、12）要求确定控制函数u(t) ，使性能泛函 （2.1.13）达到极小值 。 解：这是一个积分型最优控制问题，其终端时刻tf=1固定，终端状态X(tf)是自由的。控制函数受到闭集性的约束条件。可以利用上面介绍过的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）来求解。在这里，为了进行比较，将分别利用这两个定理来求解。 (1)应用最大值原理求解，为此构造哈密顿函数 （2.1.14）,(0)1xxux ( )1u t 10()2uJxdt1()()(1)()22uHxxuxu 2022-6-1317 按照最大值原理，为使泛函（2.1.13）达到极小值必须选择控制函数u(t) ，使哈密顿函

15、数（2.1.14）达到最大值。 由式(2.1.14)可见，当u(t)与(t)+1/2)同号，且取其约束条件的边界值，即| u(t) |=1时，使哈密顿函数H达到最大值。所以，控制函数应选择为 （2.1.15）或 （2.1.16）*11,021( )021102u t不定，*1( )sgn( ( )2u tt2022-6-1318 由上式可见，若要确定u(t) ，必须通过协态方程解出(t) 。根据哈密顿函数（2.1.14）可以写出协态方程 因为tf=1固定， x(1)自由，所以(1)=0，则协态方程的解为 而 其曲线如图21(a)所示。由此可得最优控制为或 ( )1Htx （2.1.17）1(

16、)1tte111( )22tte*11( )sgn()2tu te2022-6-1319o112ln2e1ln2eo1- 1u(a )(b )图 2 1tt2022-6-1320 式中=ln(e/2)，控制函数的曲线如图21(b)所示。将最优控制u*(t)代入状态方程（2.1.11）得到 （2.1.18） （2.1.19） 利用初始条件x(0)=1，可得式（2.1.18）的解 当t=ln(e/2)时，有 将它作为式（2.1.19）的初始条件。解得 *1,0( )1,1tu tt ( )1,0 x txt ( )1,1x txt ( )21,0tx tet 4( )1xe()4( )1(2),1

17、tx tete 2022-6-1321 于是有 将u*(t)和x*(t)代入式（2.1.13），得 由于只有一个u (t)满足最大值原理。根据实际情况，可判定它是最优控制u*(t) 。 (2) 应用最小值原理求解，为此构造哈密顿函数 （2.1.20）*()21,0( )41 (2),1ttetx tete 1()0114(2)(2)22ttJedtedte32ln0.4522eeHLf()21(1)()2uxxuxu 2022-6-1322 按照最小值原理，为使泛函（2.1.13）达到极小值，必须选择控制函数u (t)使哈密顿函数（2.1.20）达到最小值。由式（2.1.20）可知，当u (t

18、)与(t)1/2)异号，且取其约束条件的边界值（即| u(t) |=1 ）时，哈密顿函数H达到最小值，所以控制函数应取为 由上式可见，若要确定u(t) ，必须由协态方程解出(t) ，根据哈密顿函数（2.1.20），可写出协态方程 其解为 *11( )sgn( ( )sgn( )22u ttt 1,(1)0Hx 1( )1tte 2022-6-1323由此可得最优控制函数为 可见，这一结果与应用最大值原理所得到的结果是一致的。将它代入状态方程（2.1.11），当然也会得到相同的结果。以下的计算可以仿照（1）进行，这里就不重复了。 说明：由例2.1.1可以看出，分别应用最大值原理和最小值原理求解同

19、一个最优控制问题，所得到的最优控制和最优轨线是一致的，但是，协态变量却是互为反号的。 *111( )sgn( )sgn()22tu tte2022-6-13242.1.2 复合型最优控制问题 问题2.1.2(复合型最优控制问题) 给定系统的状态方程： （ 2.1.21） 其中f是n维连续可微的向量函数。X(t)是n维状态变量，已知其初态为 X(t0)=X0，终端的约束条件为： （2.1.22） 其中是r 维连续可微的向量函数，且rn，U(t)是m维控制变量，且其约束条件为 （2.1.23） 其中是以U(t)为元素的m维实函数空间中的闭子集。要求我们在满足式（2.1.23）的容许控制中，确定一控

20、制变量U(t) ，使系统（2.1.21）从给定的初态X(t0)转移到满足式（2.1.22）条件下的某个终态X(tf)，并使性能泛函( )( ),( ), X tf X t U t t(),0ffX tt0,( ),fU ttt t2022-6-1325 （2.1.24）达到极小值。其中和L都是连续可微的标量函数，而终端时刻tf是可变的。定理2.1.3 （复合型最优控制问题的最小值原理）（复合型最优控制问题的最小值原理） 给定系统的状态方程 和控制函数U(t)的闭集约束条件则为将系统从给定的初态X(t0)=X0，转移到满足终端约束条件 的某个终态X(tf )，其中tf是可变的，并使性能泛函 0(

21、),( ),( ), ftfftJX ttL X t U t t( )( ),( ), X tf X t U t t0,( ),fU ttt t(),0ffX tt0(),( ),( ), ftfftJX ttL X t U t t2022-6-1326达到极小值的最优控制应满足的必要条件是 (1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程 其中 (2)状态变量和协态变量的边界条件为 ( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( )

22、, ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t00( )X tX(),0ffX tt2022-6-1327在上述各式中的是待定的r维乘子向量，即 (3)哈密顿函数H在最优控制与最优轨线上达到最小值。即 ()fTft ttXX0fTt tHtt 终端受限tf自由12,Tr *( )( ), ( ),( ), min( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1328定理2.1.4 （复合型最优控制问题的最大值原理） 给定系统的状态方程 和控制函数U(t)的闭集约束条件则为将

23、系统从给定的初态X(t0)=X0，转移到满足终端约束条件 的某个终态X(tf )，其中tf是可变的，并使性能泛函达到极小值的最优控制应满足的必要条件是 ： (1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程 ( )( ),( ), X tf X t U t t0,( ),fU ttt t(),0ffX tt0(),( ),( ), ftfftJX ttL X t U t t2022-6-1329其中(2)状态变量和协态变量的边界条件为 ( )( ),( ), HX tf X t U t

24、t( )HtX ( ), ( ),( ), ( ),( ), ( ) ( ),( ), THH X tt U t tL X t U t tt f X t U t t 00( )X tX(),0ffX tt()fTft ttXX 0fTt tHtt2022-6-1330(3)哈密顿函数H在最优控制与最优轨线上达到最大值。即 2.1.3 有关最大值原理（或最小值原理）的几点说明l 最大值原理（当然包括最小值原理，以下同）是对古典变分法的发展。它不仅可以用来求解函数U(t)不受约束或只受开集性约束的最优控制问题，而且也可以用来求解控制函数U(t)受到闭集性约束条件的最优控制问题。这就意味着最大值原理

25、放宽了对控制函数U(t)的要求。l 最大值原理没有提出哈密顿函数H对控制函数U(t)的可微性的要求，因此，其应用条件进一步放宽了。并且，由最大值原理所求得的最优控制U(t)使哈密顿函数H达到全局、绝对最大值，而由古典变分法的极值条件H/ U=0所得到的解是H的局部、相对最大值或驻值。因此，最大值原理将古典变分法求解最优控制问题的极值条件作为一个特例概括在自己之中 。*( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1331l最大值原理是最优控制问题的必要条件，并非充分条件。也就是说，由最大值原理所求得的解能否使性

26、能泛函J达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定所讨论的最优控制问题的解是存在的，而由最大值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往属于这种情况。 l利用最大值原理和古典变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件是相同的。一般来说，根据最大值原理确定最优控制U*(t)和最优轨线X*(t)仍然需要求解两点边界值问题。这是一件复杂的工作。 l由最大值原理和最小值原理所得到的最优控制U*(t)和最优轨线X*(t)是一致的，只是协态变量(t)是互为反号的。 l若所讨论问题是确定最优控制U*(t) ，使性能泛函 0(),(

27、),( ), ftfftJX ttL X t U t t dt2022-6-1332 达到极大值，最大值原理仍然成立，这时只要将上述性能泛函变为 就可以了。 0(),( ),( ), ftfftJJX ttL X t U t t dt 2022-6-13332.2 最大值原理的证明2.2.1 一般型最优控制问题 问题2.2.1(一般型最优控制问题) 给定系统的状态方程： （2.2.1） 的初态X(t0)=X0和 控制函数的约束条件 （2.2.2） 从满足约束条件（2.2.2）的容许控制函数中，确定一个控制函数U(t)，使性能泛函 （2.2.3） 达到极小值，其中 tf是终端时刻， X(tf)是

28、终端状态。 ( )( ),( ), X tf X t U t t0,( ),fU ttt t1()()nTfiifiJC X tc x t12 ,TnCc cc 庞特里雅金函数庞特里雅金函数2022-6-1334 说明：最优控制问题的上述提法具有一般性，它将许多常见的最优控制问题概括成为自己的特殊情况，故称为一般型最优控制问题，许多最优控制问题都可以转化为一般型最优控制问题 。l 最速控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和 控制函数的约束条件需要从容许控制U(t)中，确定一个控制函数U(t) ，能在最短的时间内，将系统从给定的初态X(t0)转移到给定的终态X(tf) 。这是

29、最速控制问题，其性能泛函 ( )( ),( ), X tf X t U t t0,( ),fU ttt t0fttJdt2022-6-1335 其中，t0是固定的初始时刻，tf是可变的终端时刻。下面将其化为一般型最优控制问题。为此，引入一个新的状态变量xn+1(t)，令 其中， 于是一个n阶系统的最速控制问题就转化为一个n+1阶系统的一般型最优控制问题。 110( )1,( )0nnxtxt01( )tntxtdt.01()ftnftxtdt1()()TnffJxtC X t0,0,0,1TC 121()(),(),(),()TfffnfnfX tx tx tx txt2022-6-1336l

30、积分型最优控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和 控制函数的约束条件要求从容许控制U(t)中，确定一个控制函数U(t) ，将系统从给定的初态X(t0)转移到某个终态X(tf) ，并使性能泛函达到极小值。 这是个积分型最优控制问题，引入一个新的状态变量xn+1(t)，满足 ( )( ),( ), X tf X t U t t0,( ),fU ttt t0( ),( ), fttJL X t U t t dt110( )( ),( ), ,( )0nnxtL X t U t txt01( )( ),( ), tntxtL XUd 2022-6-1337 其中， 于是一个n阶系统

31、的积分型最优控制问题便转化成一个n+1阶系统的一般型最优控制问题。l终端型指标的最优控制问题 给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件01() ( ),( ), ftnftxtL x t U t t dt1()()TnffJxtC X t0,0,0,1TC 121()(),(),(),()TfffnfnfX tx tx tx txt( )( ),( ), X tf X t U t t0,( ),fU ttt t2022-6-1338要求从容许控制U(t)中，确定一个控制函数U(t) ，使性能泛函 达到极小值。 这是个终端型指标的最优控制问题，引入一个新的状态变量xn

32、+1(t)，满足 ()fJX t112( )( )( ),( ),( )nnxtX tx tx tx t11212( )( )( )( )( )nnndxtX tx tx txtdtxxx( )( ),( ), TTX tf X t U t tXX10121( )(0)(0),(0),(0),()()nnnffxtXxxxxtX t2022-6-1339 于是，一个n阶系统的终端型指标的最优控制问题也可转化为一个n+1阶系统的一般型最优控制问题。 说明：类似地，一个复合型指标的最优控制问题，也能够转化为一般型最优控制问题。这里只要结合应用积分型指标和终端型指标最优控制问题转化为一般型指标最优控

33、制问题的思想和方法，就可以完成这种转化工作。 2022-6-13402.2.2 一般型最优控制问题的最大值原理及证明l定理2.2.1(一般型最优控制问题的最大值原理终端时刻固定，终端状态自由) 给定系统的状态方程 和控制函数U(t)的约束条件 则为将系统从给定的初态X(t0)=X0转移到终端时刻tf固定，终端状态自由的某个终态X(tf)，并使性能泛函 达到极小值的最优控制应满足的必要条件是： (1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程( )( ),( ), X tf X t U

34、t t0,( ),fU ttt t()TfJC X t2022-6-1341 其中，(2) 边界条件为(3) 在最优控制和最优轨线上哈密顿函数H达到最大值。即 （2.2.4） ( )( ),( ), HX tf X t U t t( )HtX ( ), ( ),( ), ( ) ( ),( ), THH X tt U t tt f X t U t t00( )X tX()ftC *( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1342证明 ：证明该定理的基本思路是，设最优控制U*(t)获得变分U (t) ，相应

35、地，最优轨线X*(t)也发生变分 X (t) ，这时求出性能泛函J的增量J。根据最优控制U*(t)使J达到极小值，则其增量为 （2.2.5） 的性质，利用反证法证明，若最大值原理不成立，则式（2.2.5）一定不成立。这与控制函数U*(t)使J达到极小值的假设相矛盾，于是就完成了定理2.2.1的证明。其具体步骤如下： l求增量 J 设最优控制U*(t)已经求得，即U*(t)使J达到了极小值。现在令U*(t)获得一个变分U (t) ，则最优轨线X*(t)相应地也发生变分，设为 X (t) 。 由状态方程（2.2.1）得 （2.2.6） 0J*( )( ),( ), Xtf Xt Ut t2022-

36、6-1343 （2.2.7） 将式（2.2.7）与式(2.2.6)相减，并左乘以T(t)，得 （2.2.8） 考虑到哈密顿函数为 则式（2.2.8）变为 对上式两端进行积分，得 （2.2.9）*( )( )( )( ),( )( ), XtX tf XtX t UtU t t( ), ( ),( ), ( ) ( ),( ), TH X tt U t tt f X t U t t*( )( ) ( )( ),( )( ), ( ),( ), TTtX tf XtX t UtU t tf Xt Ut t*( )( )( )( ), ( ),( )( ), ( ), ( ),( ), TtX tH

37、 XtX tt UtU t tH Xtt Ut t00*( )( ) ( )( ), ( ),( )( ),( ), ( ),( ), ffttTtttX t dtH XtX tt UtU t tH Xtt Ut tdt2022-6-1344 对上式左端进行分部积分，得 将上式代入式（2.2.9），移项后，得 （2.2.10）000( )( )( )( )( )( )ffftttTTTttttX t dttX ttX t dt000*( )( )( )( ) ( )( ), ( ),( )( ), ( ), ( ),( ), fffttTTtttttX ttX t dtH XtX tt UtU

38、 t tH Xtt Ut tdt0( )0, ()fX ttC ()()()TffTftX tCX tJ 000( )( )()()( )( )ftTTTffttX ttX ttX t2022-6-1345将上式代入式（2.2.10），得性能泛函的增量为 （2.2.11）l化简增量 J 由于协态变量方程为 （2.2.12） 并利用泰勒公式，将式（2.2.11）右端的第二项积分中的第一个函数的最优轨线X*(t)处展开，得 00*( )( ) ( )( ), ( ),( )( ), ( ), ( ),( ), ffttTttJtX t dtH XtX tt UtU t tH Xtt Ut tdt

39、*( ), ( ),( ), ( )( )H Xtt Ut ttX t *( )( ), ( ),( )( ), H XtX tt UtU t t*( ), ( ),( )( ), H Xtt UtU t t2022-6-1346 （2.2.13） 其中,0 1, 是nn阶非负定矩阵，且为 *2*2( ), ( ),( )( ), ( )( )1( )( ), ( ),( )( ), ( )( )2( )TTH Xtt UtU t tX tX tH XtX tt UtU t tXtX tX t22HX222212112222212222222212nnnnnHHHxxxxxHHHHx xxxx

40、xHHHx xxxx 2022-6-1347 将式（2.2.12）和式(2.2.13)代入式（2.2.11）中，经整理得 （2.2.14） 在上式右端后两个积分中都含有 X (t) ，它们相对于第一个积分而言，都是高阶无穷小量，记为，于是，式（2.2.14）变为 000*2*2 ( ), ( ),( )( ), ( ), ( ),( ), ( ), ( ),( )( ), ( )( ), ( ),( ), ( )1( )( ), ( ),( )( ), ( )( )2( )fffttttTtTtJH Xtt UtU t tH Xtt Ut tdtH Xtt UtU t tX tH Xtt Ut

41、 tX t dtH XtX tt UtU t tXtX t dtX t 2022-6-1348 （2.2.15）l反证法证明定理 为了证明最大值原理是使性能泛函J达到极小值的必要条件，需要证明：如果在容许控制 （2.2.16） 中，至少能找到一个控制函数U (t) ，使哈密顿函数H不能达到最大值的话，那么，该控制函数就一定不会使性能泛函J达到极小值。 如果在容许控制（2.2.16）中能够找到使性能泛函J达到极小值的最优控制U*(t) ，那么当它发生任何变分U (t)时，都有 J0。现在假定最优控制U*(t)只在区间t0，tf中的任一小区间ta，tb上发生变分U (t) ，即假定 0* ( ),

42、 ( ),( )( ), ( ), ( ),( ), fttJH Xtt UtU t tH Xtt Ut tdt 0,( ),fU ttt t*( )( )( ), ,abU tUtU ttt t2022-6-1349并且，假设U*(t)不能使哈密顿函数H满足最大值原理，也就是说，对于控制函数U*(t)发生微小变分U (t)后，有 其中t ta，tb ，是一个正常数，对上式两边积分，得 由于控制函数U (t)的变分U (t)只在区间ta，tb上发生，所以式（2.2.15）的泛函的增量将变为 *( ), ( ),( )( ), ( ), ( ),( ), H Xtt UtU t tH Xtt U

43、t t* ( ), ( ),( )( ), ( ), ( ),( ), H Xtt UtU t tH Xtt Ut t *( ), ( ),( )( ), ( ), ( ),( ), babattttH Xtt UtU t tH Xtt Ut tdtdt *( ), ( ),( )( ), ( ), ( ),( ), ()babatttbatJH Xtt UtU t tH Xtt Ut tdtdtJtt 2022-6-1350由于是无穷小量，它的存在与否，不影响上面不等式关系，所以J0。这表明，若控制函数U*(t)不能使哈密顿函数H满足最大值原理，则该控制函数U*(t)也不会使泛函J达到极小值

44、。这与控制函数U*(t)是使泛函J达到极小值的假设矛盾。所以，使性能泛函J达到极小值的控制函数U*(t) ，一定使哈密顿函数满足最大值原理，于是定理2.2.1得到证明。 2022-6-1351推论 2.3.1 对于线性系统 来说，最大值原理是使性能泛函J（见式2.2.3）达到极小值的充要条件 。 证明：在这种情况下，哈密顿函数为 ( )( )( )X tAX tBU t( ), ( ),( ), ( )( )( )( )TTH X tt U t tt AX tt BU t*( ), ( ),( )( ), ( )( ), ( ),( ), ( )( )TH Xtt UtU t tX tH Xt

45、t Ut tX tAt220HX2022-6-1352这时，相应的式（2.2.14）中的后两个积分均等于零，于是得到 因此，若哈密顿函数H满足最大值原理，则上式右端的积分就是非负的，即 J0，这样，性能泛函J达到极小值的条件满足了，充分条件得到证明。 0*( ), ( ),( ), ( ), ( ),( )( ), fttJH Xtt Ut tH Xtt UtU t tdt 2022-6-1353例 2.2.1 给定二阶系统的状态方程及初始状态 其中控制函数的约束条件为| u(t) |1，现在需要容许控制中，确定一控制函数u(t) ，使系统在终态自由的情况下，从给定的初态（x1(0)=1，x2

46、(0)=0）转移到某个终态（x1(1)，x2(1)），并使性能泛函达到极小值。 解：这是一个一般型最优控制问题，其终端时刻tf=1固定，终端状态自由，可以利用定理2.2.1求解。为此，构造哈密顿函数 111,(0)1xxux 212,(0)0 xxx2(1)Jx1121()Hxux2111()xu2022-6-1354协态方程求解协态方程得 其中1(t)曲线如图22所示。根据定理2.2.1，为使变量u(t)的函数H在约束| u(t) |1条件下达到最大值，显然应取 112111(),(1)0Hcx 22220,(1)1Hcx 211( )1( )1ttte 1121,( )0( )sgn( )

47、1,( )0tu ttt2022-6-1355由图2-2可见，在区间0，1上， 10，所以将它代入状态方程，得到 由此得到性能泛函的极小值 ( )1u t 111121221,(0)1( )21,(0)0( )22ttxxxx texxxx tet 12(1)21Jxe 111e1ot图222022-6-1356l定理2.2.2(一般型最优控制问题的最大值原理终端时刻固定，终端状态受限)给定系统的状态方程 （2.2.17） 和控制函数U(t)的约束条件 （2.2.18） 则为将系统从给定的初态X(t0)=X0转移到满足终端约束条件 （2.2.19） 某个终态X(tf)，其中，tf是固定，并使性

48、能泛函 （2.2.20） 达到极小值的最优控制应满足的必要条件是： (1) 设U*(t)是最优控制, X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程 ( )( ),( ), X tf X t U t t0,( ),fU ttt t()TfJC X t()0fX t( )( ),( ), HX tf X t U t t2022-6-1357其中，(2) 边界条件为 （2.2.21a） 或者 （2.2.21b）(3) 在最优控制和最优轨线上哈密顿函数H达到最大值。即 ( )HtX ( ), ( ),( ), ( ) (

49、),( ), THH X tt U t tt f X t U t t()0fX t()()()TfffX ttCX t 00( )X tX1()(),1,2,()rjfifijjifX ttcuinx t *( )( ), ( ),( ), max( ), ( ),( ), U tH Xtt Ut tH Xtt U t t2022-6-1358例 2.2.2 给定系统的状态方程和初始条件其终端状态的约束条件为 上面的约束方程在四维空间中代表一个三维图形，也就是说，系统的终态不自由，被限制在这个三维图形上。 现在的问题是要求确定控制函数u(t) ，使系统在t=0时从原点开始，在t=1时到达上述三

50、维图形上，并使性能泛函 12123233244( )( ),(0)0( )( ),(0)0( )( ),(0)01( )( ),(0)02x tx txx tx txx tu txx tutx2212(1)(1)(1) 10Xxx 441(1)(1)iiiJc xx2022-6-1359达到极小值。 解：写出问题的哈密顿函数由此得协态方程 而c1=c2=c3=0，c4=1，所以21223341( )( )( )( )( ) ( )( )( )2Ht x tt x tt u tt ut121324( )0( )( )( )( )( )0tttttt (1)(1),1,2,3,4(1)iiiXci

51、x 2022-6-1360可以解出 将上式代入Hamilton函数得 因为对控制函数u(t)没有施加约束条件，所以由 112234(1)2(1)(1)2(1)(1)0(1)1xx 4( )1t 2122331( )( )( )( )( ) ( )( )2Ht x tt x tt u tu t3( )( )0( )Htu tu t2022-6-1361可以求出满足最大值原理的控制函数为 将上述结果综合起来，求解本例题的最优控制和最优轨线问题就转化为求解下列的两点边界值问题。 3( )( )u tt12123233324341112122323( )( ),(0)0( )( ),(0)0( )(

52、),(0)01( )( ),(0)02( )0,(1)2(1)( )( ),(1)2(1)( )( ),(1)0 x tx txx tx txx ttxx ttxtxttxtt 2022-6-1362加上终端状态的约束条件 上述方程组的解就确定了。不过，欲将它解出来，却是非常困难的，因为状态方程与终端条件是非线性的。(可以借助MATLAB求解) 特例：状态变量某些分量的终态xj(tf)是完全固定的情况 设状态变量的前r个分量的终态是固定的，而其余分量的终态是没有约束的。这时约束条件（2.2.19）变为 其中xif是常数，将上述终端约束条件代入式（2.2.21b），则可得到在这种情况下协态变量的

53、终端条件为 2212(1)(1)10 xx ()()0,1,2, ,jfjfjfX tx txjrrn()(),1,2,ifiitcir (),1,2,ifitcirrn 2022-6-1363既然状态变量前r个分量的终态是固定的，它们在性能指标泛函中自然不会出现。也就是说，对应于状态变量这些分量的常数ci等于零。所以最后得 由于i是待定的常数，所以由上面两式可以得到一个重要的结论：若状态变量的分量xi(t)的终态xi(tf)是固定的，则协态变量与之相应的分量i(t)的终态i(tf)是自由的；反之，若状态变量的分量xi(t)的终态xi(tf)是自由的，则协态变量与之相应的分量i(t)的终态i(

54、tf)是固定的，且为 ci。(),1,2,ifitir (),1,2,ifitcirrn 2022-6-1364例 2.2.3 给定系统的状态方程 初始条件 （2.2.23）和终端条件 （2.2.24） 现在需要确定最优控制u1*(t)和u2*(t)以及最优轨线x1*(t)和x2*(t) ，将系统从t=0时的初态转移到t=1时的终态，并使性能泛函达到极小值。 11212( )( )( )( )( )x tu tx tx tu t12(0)(0)0 xx12(1)(1)1xx1221120( )( )( )Jx tutut dt （2.2.22）2022-6-1365解： 这是一个积分型最优控制

55、问题。应用定理2.1.2来求解，为此构造哈密顿函数 由此可写出协态方程 由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得协态方程的解为 其中积分常数a和b需要根据另外的条件来确定。下面分三种情况进行讨论。 2211211212( )( )( )( ) ( )( )( )( )Hx tututt u tt x tu t 122( )( )1( )0ttt 21( )( )(1)tata tb2022-6-1366lu1(t)和u2(t)都不受约束 此时，当时，H达到最大值。于是有 120( )0( )Hu tHu t11222( )( )02( )( )0u ttu

56、tt1122( )1( )(1)22( )( )22tu ta tbtau t2022-6-1367将上式代入系统状态方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得 代入终端条件（2.2.24），就得到关于a和b的联立方程 由此得到最优控制为 213221 1( ) (1)2 21 11( ) (1)2 62x ta tbtx ta tbtat1(1)11421112(1)12124baabaab2022-6-1368最优轨线为 而性能泛函为解的曲线如图2-3(a)所示。 *1*2( )11( )2utut*1*2( )1( )(1)2xttxtt t*1.75J 202

57、2-6-1369lu1(t)不受约束， u2(t)1/4前面已经指出，对于u2(t)来说，哈密顿函数H的最大值发生在a/2的地方，但是，这时a之值尚不知道，不过从情况1知a=1时， u2(t) =1/2，依此判断，H的最大值现在发生在u2(t) =1/4的地方，因此，取 u2(t) =1/4。由于u1(t)不受约束 ，所以 将u1(t)和u2(t)代入系统方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得11( )(1)2u ta tb213221 1( ) (1)2 21 111( ) (1)2 622x ta tbtx ta tbtt2022-6-1370利用终端条件（2

58、.2.24），可得联立方程 由于 所以，我们取u2(t)=1/4是正确的，代入a，b之值后，求得的最优控制为 1(1)1742115(1)11244baabba71224a*1*21( )(56 )21( )4uttut2022-6-1371而最优轨线为性能指标泛函之值为 由此可以看出，对u2(t)加了约束之后，泛函J的极小值变大了。这时解的曲线如图2-3（b）所示。 *211( )(53 )2xttt*2321( )(52 )4xtttt*9216J 2022-6-1372lu1(t) 0和u2(t)1/4由情况2中已经看到， u1(t)之值在后一段时间是小于零的。现在对u1(t)施加了不小

59、于零的限制。由于函数H对于u1(t)来说是二次函数，所以在这种情况下为使H达到最大值的最优控制也将包含有 (1) (2)两部分，这两部分的转换时间是需要确定的，问题的复杂性在于，现在还不知道常数a和b之值，因而也不知道u2(t)应取多大值方能满足最大值原理。所以，我们应采用的方法多少带有试探的性质。假设 1( )0u t 11( )(1)02u ta tb21,22( )11,42aau tda若若2022-6-1373 至于u1(t)应如何假设，我们先分析一下，如果在开始一段时间，设u1(t) 0，那么这等于在方程 中设b0，为了要在时间区间0，1上实现一次转换，这又要求a0，于是在t=0时

60、，有u1(t)0，因而取 将假设的u1(t)和u2(t)代入原状态方程（2.2.22），并考虑初始条件（2.2.23），可得 11( )(1)02u ta tb11( )(1)02u ta tb2022-6-1374tu1b11ba2022-6-1375这种状态运动将一直继续到转换时刻 ，我们令u1(t)0可求出转换时刻在时刻 ， x1(t)和x2(t)分别为 2132211( )(1)4211( )(1)124x ta tbtx tdta tbt1ba21322( )4(1)( )16(1)bxadbbxaa2022-6-1376此后控制函数变为将此控制函数代入原状态方程（2.2.22），并