chap最大值原理实用

会计学1chap最大值原理实用2023/1/172二.最大值原理和动态规划

为了解决古典变分法在求解最优控制问题中所暴露出来的上述问题，许多学者进行了各种探索。其中以苏联学者庞特里雅金（Л.C.ПoHTpЯГИH）的最大值原理（或最小值原理）与美国学者贝尔曼（R.E.Bellman）的动态规划较为成功，应用也较广泛，现已成为求解最优控制问题的强有力的工具。

在这一章里，首先通过积分型最优控制问题提出最大值原理，然后再推广到复合型最优控制问题中，然后利用增量法对最大值原理进行证明。第1页/共96页2023/1/173§2.1最大值原理的提出

2.1.1积分型最优控制问题

问题2.1.1(积分型最优控制问题)给定系统的状态方程：

(2.1.1)

其中，f是n维连续可微的向量函数；X(t)是n维状态变量，其初态X(t0)=X0，而终态应满足的条件是：终端时刻tf固定，终端状态X(tf)自由，U(t)是m维控制变量，其所受约束条件是(2.1.2)其中，是以U(t)为元素的m维实函数空间中的一个闭子集。式(2.1.2)表明，控制变量是这个闭子集中的元素。满足式(2.1.2)约束条件的控制变量称为容许控制变量，简称容许控制。要求在满足式(2.1.2)的容许控制中，确定一控制变量U(t)，使系统（2.1.1）从给定的初态X(t0)转移到某个终态

第2页/共96页2023/1/174X(tf)的过程中，性能泛函

达到极小值。其中L是连续可微的标量函数。这个积分型最优控制问题所确定的控制U(t)称为最优控制，记为U*(t)。如果不考虑式（2.1.2）的约束条件，那么该最优控制问题的解的必要条件可由第一章的定理1.6.1给出，现引述如下：

定理1.6.1设系统的状态方程为

则为将系统从给定的初态X(t0)=X0转移到终端时刻tf固定，终端状态X(tf)自由的某个终态，并使性能泛函(2.1.3)第3页/共96页2023/1/175

达到极小值的最优控制应满足的必要条件是(1)设U*(t)是最优控制，X*(t)是对应与U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X(t)与(t)满足规范方程

（2.1.4）（2.1.5）其中，（2.1.6）第4页/共96页2023/1/176

(2)边界条件为(3)哈密顿函数H对控制变量U(t)(t0ttf)取极小值，即定理1.6.1是在控制变量u(t)不受约束的情况下，求最优控制函数U*(t)，使哈密顿函数（2.1.6）达到极小值。这也是在控制函数U(t)不受约束或只受开集性的约束的情况下的最小值原理。显然，控制方程（2.1.9）也可以写成如下形式（2.1.7）（2.1.8）（2.1.9）（2.1.10）第5页/共96页2023/1/177说明：(1)当控制函数U(t)不受约束或只受开集性约束条件下，控制方程（2.1.9）和（2.1.10）是等价的。(2)在控制函数U(t)受到式（2.1.2）所表示的闭集性约束的条件下，控制方程（2.1.9）未必是最优控制问题的解的必要条件之一。

a.因为

b.作为控制变量U(t)的函数的Hamilton函数H[X(t)，(t)，U(t)，t]在闭子集内可能不存在极值点，而企图以H/U来求极小值点也是难以奏效的。因此，在控制函数U(t)受到式（2.1.2）那样闭集性约束的条件下，控制方程（2.1.9）不再是由式（2.1.1）～式（2.1.3）所给定的最优控制问题解的必要条件了。第6页/共96页2023/1/178但是，控制方程（2.1.10）总是成立的，它仍然是由式（2.1.1）～式（2.1.3）所给定的最优控制问题解的必要条件。定理2.1.1（积分型最优控制问题的最小值原理）给定系统的状态方程

和初态X(t0)=X0，而终端时刻tf固定，终端状态X(tf)自由以及控制变量U(t)所受约束条件是则为将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函达到极小值的最优控制应满足的必要条件是：第7页/共96页2023/1/179(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程式中H是哈密顿函数，且为(2)边界条件为第8页/共96页2023/1/1710(3)哈密顿函数在最优控制U*(t)和最优轨线X*(t)上达到最小值,即

说明:(1)由于定理2.1.1的中心内容是,使性能泛函(2.1.3)达到最小值的最优控制的必要条件是哈密顿函数H达到最小值，所以，该定理称为最小值原理。(2)一个函数的最小值点与该函数反号后的最大值是一致的。所以，若令哈密顿函数为则下列二式第9页/共96页2023/1/1711和的结果是一致的，只是二式中的协态变量(t)是互为反号的。定理2.1.2（积分型最优控制问题的最大值原理）

给定系统的状态方程和初态X(t0)=X0，而终端时刻tf固定，终端状态X(tf)自由以及控制变量U(t)所受约束条件是则为将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函第10页/共96页2023/1/1712达到极小值的最优控制应满足的必要条件是：(1)设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程其中，第11页/共96页2023/1/1713(2)边界条件为(3)在最优控制U*(t)和最优轨线X*(t)上哈密顿函数达到最大值,即说明：由于定理2.1.2的中心内容是，使性能泛函达到极小值的最优控制的必要条件是哈密顿函数H达到最大值，所以，该定理称为最大值原理。

第12页/共96页2023/1/1714例

2.1.1

给定一阶线性系统和初始条件

（2.1.11）其中控制作用u(t)的约束条件为

（2.1.12）要求确定控制函数u(t)，使性能泛函（2.1.13）达到极小值。

解：这是一个积分型最优控制问题，其终端时刻tf=1固定，终端状态X(tf)是自由的。控制函数受到闭集性的约束条件。可以利用上面介绍过的最大值原理（定理2.1.2）或最小值原理（定理2.1.1）来求解。在这里，为了进行比较，将分别利用这两个定理来求解。(1)应用最大值原理求解，为此构造哈密顿函数

（2.1.14）第13页/共96页2023/1/1715

按照最大值原理，为使泛函（2.1.13）达到极小值必须选择控制函数u(t)，使哈密顿函数（2.1.14）达到最大值。由式(2.1.14)可见，当u(t)与((t)+1/2)同号，且取其约束条件的边界值，即|u(t)|=1时，使哈密顿函数H达到最大值。所以，控制函数应选择为

（2.1.15）或（2.1.16）第14页/共96页2023/1/1716

由上式可见，若要确定u(t)

，必须通过协态方程解出(t)。根据哈密顿函数（2.1.14）可以写出协态方程

因为tf=1固定，x(1)自由，所以(1)=0，则协态方程的解为

而

其曲线如图2－1(a)所示。由此可得最优控制为或

（2.1.17）第15页/共96页2023/1/1717第16页/共96页2023/1/1718式中=ln(e/2)，控制函数的曲线如图2－1(b)所示。将最优控制u*(t)代入状态方程（2.1.11）得到（2.1.18）（2.1.19）利用初始条件x(0)=1，可得式（2.1.18）的解

当t==ln(e/2)时，有

将它作为式（2.1.19）的初始条件。解得

第17页/共96页2023/1/1719

于是有将u*(t)和x*(t)代入式（2.1.13），得由于只有一个u

(t)满足最大值原理。根据实际情况，可判定它是最优控制u*(t)。(2)应用最小值原理求解，为此构造哈密顿函数

（2.1.20）第18页/共96页2023/1/1720按照最小值原理，为使泛函（2.1.13）达到极小值，必须选择控制函数u

(t)使哈密顿函数（2.1.20）达到最小值。由式（2.1.20）可知，当u

(t)与((t)－1/2)异号，且取其约束条件的边界值（即|u(t)|=1）时，哈密顿函数H达到最小值，所以控制函数应取为由上式可见，若要确定u(t)

，必须由协态方程解出(t)

，根据哈密顿函数（2.1.20），可写出协态方程

其解为

第19页/共96页2023/1/1721由此可得最优控制函数为

可见，这一结果与应用最大值原理所得到的结果是一致的。将它代入状态方程（2.1.11），当然也会得到相同的结果。以下的计算可以仿照（1）进行，这里就不重复了。

说明：由例2.1.1可以看出，分别应用最大值原理和最小值原理求解同一个最优控制问题，所得到的最优控制和最优轨线是一致的，但是，协态变量却是互为反号的。

第20页/共96页2023/1/17222.1.2复合型最优控制问题

问题2.1.2(复合型最优控制问题)给定系统的状态方程：（

2.1.21）其中f是n维连续可微的向量函数。X(t)是n维状态变量，已知其初态为

X(t0)=X0，终端的约束条件为：

（2.1.22）其中是r维连续可微的向量函数，且r<n，U(t)是m维控制变量，且其约束条件为

（2.1.23）其中是以U(t)为元素的m维实函数空间中的闭子集。要求我们在满足式（2.1.23）的容许控制中，确定一控制变量U(t)，使系统（2.2.21）从给定的初态X(t0)转移到满足式（2.1.22）条件下的某个终态X(tf)，并使性能泛函第21页/共96页2023/1/1723

（2.1.24）达到极小值。其中和L都是连续可微的标量函数，而终端时刻tf是可变的。定理2.1.3（复合型最优控制问题的最小值原理）给定系统的状态方程和控制函数U(t)的闭集约束条件则为将系统从给定的初态X(t0)=X0，转移到满足终端约束条件

的某个终态X(tf)，其中tf是可变的，并使性能泛函

第22页/共96页2023/1/1724达到极小值的最优控制应满足的必要条件是

(1)

设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则存在一与U*(t)和X*(t)相对应的n维协态变量(t)，使得X*(t)和(t)满足规范方程其中

(2)状态变量和协态变量的边界条件为第23页/共96页2023/1/1725在上述各式中的是待定的r维乘子向量，即

(3)哈密顿函数H在最优控制与最优轨线上达到最小值。即

终端受限tf自由第24页/共96页2023/1/1726定理2.1.4（复合型最优控制问题的最大值原理）给定系统的状态方程和控制函数U(t)的闭集约束条件则为将系统从给定的初态X(t0)=X0，转移到满足终端约束条件

的某个终态X(tf)，其中tf是可变的，并使性能泛函达到极小值的最优控制应满足的必要条件是：(1)

设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程

第25页/共96页2023/1/1727其中(2)状态变量和协态变量的边界条件为第26页/共96页2023/1/1728(3)哈密顿函数H在最优控制与最优轨线上达到最大值。即

2.1.3有关最大值原理（或最小值原理）的几点说明

最大值原理（当然包括最小值原理，以下同）是对古典变分法的发展。它不仅可以用来求解函数U(t)不受约束或只受开集性约束的最优控制问题，而且也可以用来求解控制函数U(t)受到闭集性约束条件的最优控制问题。这就意味着最大值原理放宽了对控制函数U(t)的要求。

最大值原理没有提出哈密顿函数H对控制函数U(t)的可微性的要求，因此，其应用条件进一步放宽了。并且，由最大值原理所求得的最优控制U(t)使哈密顿函数H达到全局、绝对最大值，而由古典变分法的极值条件H/U=0所得到的解是H的局部、相对最大值或驻值。因此，最大值原理将古典变分法求解最优控制问题的极值条件作为一个特例概括在自己之中。第27页/共96页2023/1/1729最大值原理是最优控制问题的必要条件，并非充分条件。也就是说，由最大值原理所求得的解能否使性能泛函J达到极小值，还需要进一步分析与判定。但是，如果根据物理意义已经能够断定所讨论的最优控制问题的解是存在的，而由最大值原理所得到的解只有一个，那么，该解就是最优解。实际上，我们遇到的问题往往属于这种情况。

利用最大值原理和古典变分法求解最优控制问题时，除了控制方程的形式不同外，其余条件是相同的。一般来说，根据最大值原理确定最优控制U*(t)和最优轨线X*(t)仍然需要求解两点边界值问题。这是一件复杂的工作。

由最大值原理和最小值原理所得到的最优控制U*(t)和最优轨线X*(t)是一致的，只是协态变量(t)是互为反号的。

若所讨论问题是确定最优控制U*(t)

，使性能泛函

第28页/共96页2023/1/1730达到极大值，最大值原理仍然成立，这时只要将上述性能泛函变为

就可以了。

第29页/共96页2023/1/1731§2.2最大值原理的证明2.2.1一般型最优控制问题

问题2.2.1(一般型最优控制问题)给定系统的状态方程：（2.2.1）的初态X(t0)=X0和控制函数的约束条件（2.2.2）从满足约束条件（2.2.2）的容许控制函数中，确定一个控制函数U(t)，使性能泛函

（2.2.3）达到极小值，其中

tf是终端时刻，X(tf)是终端状态。

庞特里雅金函数第30页/共96页2023/1/1732

说明：最优控制问题的上述提法具有一般性，它将许多常见的最优控制问题概括成为自己的特殊情况，故称为一般型最优控制问题，许多最优控制问题都可以转化为一般型最优控制问题。

最速控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件需要从容许控制U(t)中，确定一个控制函数U(t)

，能在最短的时间内，将系统从给定的初态X(t0)转移到给定的终态X(tf)。这是最速控制问题，其性能泛函

第31页/共96页2023/1/1733

其中，t0是固定的初始时刻，tf是可变的终端时刻。下面将其化为一般型最优控制问题。为此，引入一个新的状态变量xn+1(t)，令

其中，于是一个n阶系统的最速控制问题就转化为一个n+1阶系统的一般型最优控制问题。

第32页/共96页2023/1/1734积分型最优控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件要求从容许控制U(t)中，确定一个控制函数U(t)

，将系统从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函达到极小值。这是个积分型最优控制问题，引入一个新的状态变量xn+1(t)，满足

第33页/共96页2023/1/1735其中，于是一个n阶系统的积分型最优控制问题便转化成一个n+1阶系统的一般型最优控制问题。终端型指标的最优控制问题给定n阶系统的状态方程的初始状态X(t0)=X0和控制函数的约束条件第34页/共96页2023/1/1736 要求从容许控制U(t)中，确定一个控制函数U(t)，使性能泛函达到极小值。这是个终端型指标的最优控制问题，引入一个新的状态变量xn+1(t)，满足

第35页/共96页2023/1/1737于是，一个n阶系统的终端型指标的最优控制问题也可转化为一个n+1阶系统的一般型最优控制问题。

说明：类似地，一个复合型指标的最优控制问题，也能够转化为一般型最优控制问题。这里只要结合应用积分型指标和终端型指标最优控制问题转化为一般型指标最优控制问题的思想和方法，就可以完成这种转化工作。

第36页/共96页2023/1/17382.2.2一般型最优控制问题的最大值原理及证明定理2.2.1(一般型最优控制问题的最大值原理—终端时刻固定，终端状态自由)给定系统的状态方程

和控制函数U(t)的约束条件则为将系统从给定的初态X(t0)=X0转移到终端时刻tf固定，终端状态自由的某个终态X(tf)，并使性能泛函

达到极小值的最优控制应满足的必要条件是：

(1)

设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程第37页/共96页2023/1/1739其中，(2)边界条件为(3)在最优控制和最优轨线上哈密顿函数H达到最大值。即（2.2.4）

第38页/共96页2023/1/1740证明：证明该定理的基本思路是，设最优控制U*(t)获得变分U

(t)，相应地，最优轨线X*(t)也发生变分

X

(t)，这时求出性能泛函J的增量J。根据最优控制U*(t)使J达到极小值，则其增量为（2.2.5）的性质，利用反证法证明，若最大值原理不成立，则式（2.2.5）一定不成立。这与控制函数U*(t)使J达到极小值的假设相矛盾，于是就完成了定理2.2.1的证明。其具体步骤如下：

求增量J设最优控制U*(t)已经求得，即U*(t)使J达到了极小值。现在令U*(t)获得一个变分U

(t)，则最优轨线X*(t)相应地也发生变分，设为

X

(t)

。

由状态方程（2.2.1）得

（2.2.6）第39页/共96页2023/1/1741 （2.2.7） 将式（2.2.7）与式(2.2.6)相减，并左乘以T(t)，得（2.2.8）考虑到哈密顿函数为

则式（2.2.8）变为

对上式两端进行积分，得

（2.2.9）第40页/共96页2023/1/1742 对上式左端进行分部积分，得

将上式代入式（2.2.9），移项后，得

（2.2.10） 第41页/共96页2023/1/1743 将上式代入式（2.2.10），得性能泛函的增量为（2.2.11）化简增量J由于协态变量方程为

（2.2.12）

并利用泰勒公式，将式（2.2.11）右端的第二项积分中的第一个函数的最优轨线X*(t)处展开，得

第42页/共96页2023/1/1744

（2.2.13） 其中,0

1,是n×n阶非负定矩阵，且为

第43页/共96页2023/1/1745 将式（2.2.12）和式(2.2.13)代入式（2.2.11）中，经整理得

（2.2.14）在上式右端后两个积分中都含有

X

(t)

，它们相对于第一个积分而言，都是高阶无穷小量，记为，于是，式（2.2.14）变为

第44页/共96页2023/1/1746（2.2.15）

反证法证明定理为了证明最大值原理是使性能泛函J达到极小值的必要条件，需要证明：如果在容许控制

（2.2.16）

中，至少能找到一个控制函数U

(t)，使哈密顿函数H不能达到最大值的话，那么，该控制函数就一定不会使性能泛函J达到极小值。如果在容许控制（2.2.16）中能够找到使性能泛函J达到极小值的最优控制U*(t)，那么当它发生任何变分U

(t)时，都有J0。现在假定最优控制U*(t)只在区间[t0，tf]中的任一小区间[ta，tb]上发生变分U

(t)，即假定第45页/共96页2023/1/1747 并且，假设U*(t)不能使哈密顿函数H满足最大值原理，也就是说，对于控制函数U*(t)发生微小变分U

(t)后，有

其中t[ta，tb]，是一个正常数，对上式两边积分，得

由于控制函数U

(t)的变分U

(t)只在区间[ta，tb]上发生，所以式（2.2.15）的泛函的增量将变为

第46页/共96页2023/1/1748

由于是无穷小量，它的存在与否，不影响上面不等式关系，所以J0。这表明，若控制函数U*(t)不能使哈密顿函数H满足最大值原理，则该控制函数U*(t)也不会使泛函J达到极小值。这与控制函数U*(t)是使泛函J达到极小值的假设矛盾。所以，使性能泛函J达到极小值的控制函数U*(t)

，一定使哈密顿函数满足最大值原理，于是定理2.2.1得到证明。

第47页/共96页2023/1/1749推论

2.3.1对于线性系统

来说，最大值原理是使性能泛函J（见式2.2.3）达到极小值的充要条件。

证明：在这种情况下，哈密顿函数为

第48页/共96页2023/1/1750 这时，相应的式（2.2.14）中的后两个积分均等于零，于是得到

因此，若哈密顿函数H满足最大值原理，则上式右端的积分就是非负的，即

J0，这样，性能泛函J达到极小值的条件满足了，充分条件得到证明。

第49页/共96页2023/1/1751例

2.2.1

给定二阶系统的状态方程及初始状态

其中控制函数的约束条件为|u(t)|1，现在需要容许控制中，确定一控制函数u(t)

，使系统在终态自由的情况下，从给定的初态（x1(0)=1，x2(0)=0）转移到某个终态（x1(1)，x2(1)），并使性能泛函 达到极小值。

解：这是一个一般型最优控制问题，其终端时刻tf=1固定，终端状态自由，可以利用定理2.2.1求解。为此，构造哈密顿函数第50页/共96页2023/1/1752 协态方程

求解协态方程得其中(t)曲线如图2－2所示。根据定理2.2.1，为使变量u(t)的函数H在约束|u(t)|1条件下达到最大值，显然应取

第51页/共96页2023/1/1753 由图2-2可见，在区间[0，1]上，

1<0，所以 将它代入状态方程，得到

由此得到性能泛函的极小值

第52页/共96页2023/1/1754定理2.2.2(一般型最优控制问题的最大值原理—终端时刻固定，终端状态受限) 给定系统的状态方程（2.2.17） 和控制函数U(t)的约束条件（2.2.18） 则为将系统从给定的初态X(t0)=X0转移到满足终端约束条件（2.2.19）某个终态X(tf)，其中，tf是固定，并使性能泛函（2.2.20） 达到极小值的最优控制应满足的必要条件是：(1)

设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程

第53页/共96页2023/1/1755其中，(2)边界条件为（2.2.21a）

或者（2.2.21b）(3)在最优控制和最优轨线上哈密顿函数H达到最大值。即第54页/共96页2023/1/1756例

2.2.2

给定系统的状态方程和初始条件 其终端状态的约束条件为

上面的约束方程在四维空间中代表一个三维图形，也就是说，系统的终态不自由，被限制在这个三维图形上。现在的问题是要求确定控制函数u(t)，使系统在t=0时从原点开始，在t=1时到达上述三维图形上，并使性能泛函第55页/共96页2023/1/1757

达到极小值。

解：写出问题的哈密顿函数 由此得协态方程

而c1=c2=c3=0，c4=1，所以第56页/共96页2023/1/1758 可以解出

将上式代入Hamilton函数得

因为对控制函数u(t)没有施加约束条件，所以由

第57页/共96页2023/1/1759

可以求出满足最大值原理的控制函数为

将上述结果综合起来，求解本例题的最优控制和最优轨线问题就转化为求解下列的两点边界值问题。

第58页/共96页2023/1/1760 加上终端状态的约束条件

上述方程组的解就确定了。不过，欲将它解出来，却是非常困难的，因为状态方程与终端条件是非线性的。(可以借助MATLAB求解)

特例：状态变量某些分量的终态xj(tf)是完全固定的情况

设状态变量的前r个分量的终态是固定的，而其余分量的终态是没有约束的。这时约束条件（2.2.19）变为

其中xif是常数，将上述终端约束条件代入式（2.2.21b），则可得到在这种情况下协态变量的终端条件为

第59页/共96页2023/1/1761 既然状态变量前r个分量的终态是固定的，它们在性能指标泛函中自然不会出现。也就是说，对应于状态变量这些分量的常数ci等于零。所以最后得

由于i是待定的常数，所以由上面两式可以得到一个重要的结论：若状态变量的分量xi(t)的终态xi(tf)是固定的，则协态变量与之相应的分量i(t)的终态i(tf)是自由的；反之，若状态变量的分量xi(t)的终态xi(tf)是自由的，则协态变量与之相应的分量i(t)的终态i(tf)是固定的，且为－ci。第60页/共96页2023/1/1762例2.2.3

给定系统的状态方程

初始条件

（2.2.23） 和终端条件

（2.2.24）

现在需要确定最优控制u1*(t)和u2*(t)以及最优轨线x1*(t)和x2*(t)

，将系统从t=0时的初态转移到t=1时的终态，并使性能泛函

达到极小值。

（2.2.22）第61页/共96页2023/1/1763

解：

这是一个积分型最优控制问题。应用定理2.1.2来求解，为此构造哈密顿函数

由此可写出协态方程

由于x1(1)和x2(1)都是固定的，所以1(1)和2(1)都是自由的，故得协态方程的解为 其中积分常数a和b需要根据另外的条件来确定。下面分三种情况进行讨论。

第62页/共96页2023/1/1764u1(t)和u2(t)都不受约束

此时，当时，H达到最大值。于是有

第63页/共96页2023/1/1765

将上式代入系统状态方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得

代入终端条件（2.2.24），就得到关于a和b的联立方程

由此得到最优控制为

第64页/共96页2023/1/1766

最优轨线为

而性能泛函为

解的曲线如图2-3(a)所示。

第65页/共96页2023/1/1767u1(t)不受约束，u2(t)1/4`前面已经指出，对于u2(t)来说，哈密顿函数H的最大值发生在a/2的地方，但是，这时a之值尚不知道，不过从情况1知a=1时，u2(t)=1/2，依此判断，H的最大值现在发生在u2(t)=1/4的地方，因此，取

u2(t)=1/4。 由于u1(t)不受约束，所以

将u1(t)和u2(t)代入系统方程（2.2.22）并考虑到状态变量的初始条件（2.2.23），可得第66页/共96页2023/1/1768

利用终端条件（2.2.24），可得联立方程

由于

所以，我们取u2(t)=1/4是正确的，代入a，b之值后，求得的最优控制为

第67页/共96页2023/1/1769

而最优轨线为 性能指标泛函之值为

由此可以看出，对u2(t)加了约束之后，泛函J的极小值变大了。这时解的曲线如图2-3（b）所示。

第68页/共96页2023/1/1770u1(t)

0和u2(t)1/4

由情况2中已经看到，u1(t)之值在后一段时间是小于零的。现在对u1(t)施加了不小于零的限制。由于函数H对于u1(t)来说是二次函数，所以在这种情况下为使H达到最大值的最优控制也将包含有

(1)(2) 两部分，这两部分的转换时间是需要确定的，问题的复杂性在于，现在还不知道常数a和b之值，因而也不知道u2(t)应取多大值方能满足最大值原理。所以，我们应采用的方法多少带有试探的性质。假设

第69页/共96页2023/1/1771

至于u1(t)应如何假设，我们先分析一下，如果在开始一段时间，设u1(t)＝0，那么这等于在方程中设b<0，为了要在时间区间[0，1]上实现一次转换，这又要求a<1+b，因此a一定小于1，甚至小于零，以至于u2(t)也可能小于零。将这样的u1(t)和u2(t)代入原状态方程（2.2.22），显然不能满足终端条件（2.2.24），所以先设b>0，于是在t=0时，有u1(t)>0，因而取

将假设的u1(t)和u2(t)代入原状态方程（2.2.22），并考虑初始条件（2.2.23），可得

第70页/共96页2023/1/1772第71页/共96页2023/1/1773

这种状态运动将一直继续到转换时刻，我们令u1(t)＝0可求出转换时刻 在时刻，x1(t)和x2(t)分别为第72页/共96页2023/1/1774

此后控制函数变为 将此控制函数代入原状态方程（2.2.22），并以x1()和x2()作为初始值，可得转换时刻以后的状态运动方程为

现在将终点条件（2.2.24）代入上式，可得联立方程

（2.2.25）第73页/共96页2023/1/1775 若取d=a/2，则上列联立方程的解为 而转换时刻与d分别为

与题设是矛盾的。若取d=1/4，代入式（2.2.25），得第74页/共96页2023/1/1776

与题相符。综合以上结果，就得到最优控制与最优轨线分别为（1）当0

t3/4时，

第75页/共96页2023/1/1777 (2)当3/4

t1时

它们随时间变化的情况如图2-3（c）所示

这个例子一方面说明了最大值原理的应用，另一方面也说明了，即使能够用于计算的简单问题也会遇到很大的困难。稍微复杂的问题，就得借助于MATLAB求其数值解。第76页/共96页2023/1/1778第77页/共96页2023/1/1779§2.3一般型最优控制问题终端时刻tf可变的情况问题2.3.1(一般型最优控制问题)给定系统的状态方程：（23.1）的初态X(t0)=X0和终端的约束条件（2.3.2） 其中tf是可变的终端时刻，[X(tf)]是r维函数向量，即

以及控制函数的约束条件（2.3.3） 要求从满足约束条件（2.3.3）的容许控制中，确定一最优控制U*(t)，使性能泛函

(2.3.4)第78页/共96页2023/1/1780

达到极小值。 利用拉格朗日乘子法，可以将性能泛函写成为

(2.3.5) 其中是待定的r维乘子向量，即

假设终端时刻tf变化了d

tf，则由式（2.3.5）可得

(2.3.6) 由上节的式（2.2.21a），有

第79页/共96页2023/1/1781

所以式（2.3.6）可以写为

由于当tf=tf*时，性能泛函J达到极小值，所以上式应等于零，即

又因为dtf*是任意的，所以有

（2.3.7）

上述结果表明，对于终端时刻tf可变的情况，除了增加一个方程（2.3.7）用来确定终端时刻以外，最优控制与终端时刻tf固定时应满足的条件完全相同。于是，可以写出关于问题2.3.1的最优控制所应满足的必要条件的最大值原理的定理。

第80页/共96页2023/1/1782定理2.3.1(一般型最优控制问题的最大值原理—终端时刻可变，终端状态受限－不显含tf)给定系统的状态方程：和控制函数U(t)的约束条件

则为将系统从给定的初态

X(t0)=X0转移到满足约束条件

的某个终态X(tf)，其中tf是可变的，并使性能泛函

达到极小值的最优控制应满足的必要条件是：(1)

设U*(t)是最优控制,X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的(t)，使得X*(t)和(t)满足规范方程第81页/共96页2023/1/1783其中，(2)边界条件为