最优控制论文

1、最优控制方法的分析和综合摘  要：主要阐述了关于最优控制问题的基本概念，最优控制是最优化方法的一个应用。最优化一般可以分为最优设计、最优计划、最优管理和最优控制四个方面。而最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科，解决最优控制问题的主要方法有古典变分法、极大值原理和动态规划。通过以上知识的讲解使初学者能够快速掌握最优控制的问题。最优控制是最优化方法的一个应用，如果想了解最优控制必须知道什么是最优化方法。所谓最优化方法为了达到最优化目的所提出的各种求解方法。第一章 最优控制的一般概念1.1 背景知识在现代科学技术的众多领域中，自动控制技术起着越来越重要的作用。

2、所谓的自动控制，是指在没有人直接参与的情况下，利用外加的设备和装置，是机器、设备或生产过程的某个工作状态或参数自动按照预定的规律运行。近几十年来，随着电子计算机技术的发展和应用，在宇宙航行、机器人控制、导弹制导以及核动力等高新技术的领域中，自动控制技术更具有特别重要的作用。自动控制理论是研究自动控制共同规律的技术科学。它的发展初期，是以反馈理论为基础的自动调节原理，主要用于工业控制。第二次世界大战期间，为了设计和制造飞机及船用自动驾驶仪、火炮定位系统、雷达跟踪系统以及其它基于反馈原理的军用装备，进一步促进并完善了自动控制理论的发展。到战后，已形成完整的自动控制理论体系，这就是以传递函数为基础的

3、经典控制理论，它主要研究单输入单输出、线性定常系统的分析和设计问题。随着现代应用数学新成果的推出和电子计算机技术的应用，为适应宇航技术的发展，自动控制理论跨入了一个新阶段现代控制理论。它主要研究具有高性能、高精度的多变量变参数系统的最忧控制问题，主要采用的方法是以状态为基础的状态空间法。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，使经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。 最优化一般可以分为最优

4、设计、最优计划、最优管理和最优控制四个方面。（1）最优设计:世界各国工程技术界,尤其是飞机、造船、机械、建筑等部门都已广泛应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使许多设计优化问题得到解决。一个新的发展动向是最优设计和计算机辅助设计相结合。电子线路的最优设计是另一个应用最优化方法的重要领域，它存在着巨大的开发潜力，尤其是对于学电工学的学生来说。配方配比的优选方面在化工、橡胶、塑料等工业部门都得到成功的应用,并向计算机辅助搜索最佳配方、配比方向发展。（2）最优计划:现代国民经济或部门经济的计划，直至企业的发展规划和年度生产计划，尤其是农业规划、种植计划

5、、能源规划和其他资源、环境和生态规划的制订,都已开始应用最优化方法。一个重要的发展趋势是帮助领导部门进行各种优化决策，使工作结构简单，工作效率最高化，节省了很多时间。（3）最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。随着管理信息系统和决策支持系统的建立和使用，使最优管理得到迅速的发展。（4）最优控制：主要用于对各种控制系统的优化。 最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门学科。它是现代控制理论的重要组成部分。这方面的开创性工作主要是由贝尔曼提出的动态规划和庞特里亚金等人提出的最大值原理。这方面的先期工作应该追溯到维纳等人奠基的控制论。1948年维纳

6、发表了题为控制论关于动物和机器中控制与通讯的科学的论文，第一次科学的提出了信息、反馈和控制的概念，为最优控制理论的诞生和发展奠定了基础。钱学森1954年所著的工程控制论直接促进了最优控制理论的发展和形成1.2 最优控制的概念在经典控制理论中，设计控制系统的各种方法大多建立在试凑的基础上，设计结果与设计人员的经验有很大的关系。对于多输入多输出系统，或者要求高控制精度的复杂系统，经典方法显得无能为力，迫切需要探索新的设计方法。20年代60年代初，由于空间技术的迅猛发展和计算机的广泛应用，动态系统的优化理论得到了迅速的发展，形成了最优控制这一重要的学科分支，并在控制工程、经济管理与决策以及人口控制等

7、领域得到了成功的应用，取得了显著地成效。最优控制在被控对象参数已知的情况下，已经成为设计复杂系统的有效方法之一。最优控制是现代控制理论的核心。所谓最优控制，就是在一定的条件下，在完成所要求的控制任务时，使系统的某种性能指标具有最优值。最优控制系统的设计，就是选择最优控制，以使某一种性能指标为最小。为了解决最优控制问题，必须建立描述受控运动过程的运动方程，即系统的数学模型，给出控制变量的允许取值范围，指定运动过程的初始状态和目标状态，并且规定一个评价运动过程品质优劣的性能指标。通常，性能指标的好坏取决于所选择的控制函数和相应的运动状态。系统的运动状态受到运动方程的约束，而控制函数只能在允许的范围

8、内选取。最优控制研究的主要问题是：根据已建立的被控对象的数学模型，选择一个容许的控制律，使得被控对象按预定要求运行，并使给定的某一性能指标达到极限值。从数学的观点来看，最优控制研究的问题是求解一类带有约束条件的泛函极值问题，属于变分学的范畴。然而，经典变分理论只能解决控制无约束，即容许控制属于开集的一类最优控制问题，为了满足工程实践的需要，出现了现代变分理论，其中最常用的方法是动态规划和极小值原理。第二章 经典变分法2.1 函数与变分2.1.1 泛函的概念如果变量J对于某一函数类中的每一个函数x(t)，都有一个确定的值与之对应，那么就称变量J为依赖于函数x(t)的泛函，记为：J=Jx(t)。例

9、2.1.1 函数的定积分1. 连续时间系统：是泛函。因为变量J的值是由函数的选取而确定的。所以最简单的一类泛函可表示为： 连续泛函如果满足下列条件：（1） Jx1(t)+ x2(t)= Jx1(t)+ Jx2(t)（2） Jcx(t)=cJx(t)其中，c是任意常数，就称为线性泛函。例如都满足上述两个条件，故均为线性泛函。连续泛函如果满足下列条件：（1） Jx1(t)+ Jx2(t)=1/2Jx1(t)+x2(t)+ Jx1(t)-x2(t)（2） Jcx(t)=c2Jx(t)就称为*二次型泛函*。例如是关于x(t)的二次型泛函，其中F、Q均为对称矩阵。2.1.2 泛函的变分变分法（calcu

10、lus of variations）是处理函数的函数的数学领域，和处理数的函数的普通微积分相对。譬如，这样的泛函可以通过未知函数的积分和它的导数来构造。变分法最终寻求的是极值函数：它们使得泛函取得极大或极小值。如果连续泛函Jx(t)的增量可以表示为： （2.1.1）其中，Lx(t)，dx(t)是关于dx(t)的线性连续泛函，而rx(t)，dx(t)是关于dx(t)的高阶无穷小。 Lx(t)，dx(t) 称为泛函的变分，记为也就是说，泛函的变分是泛函增量的线性主部。当一个泛函具有变分时，即泛函的增量可以用式（2.1.1）来表示时，称该泛函是可微的。例如，泛函的增量为：于是，其变分为：可以证明，泛

11、函的变分是唯一的。因为，若泛函的变分不是唯一的，则泛函的增量可以写为：泛函Jx(t)的变分为：例2.1.4 求泛函的变分。该泛函的变分为：2.1.3 泛函的极值如果泛函Jx(t)在函数空间中点x=x0(t)的邻域内，其增量为：就称泛函Jx(t)在点x0(t)处达到极小值；如果泛函Jx(t)在函数空间中点x=x0(t)的邻域内，其增量为：就称泛函Jx(t)在点x0(t)处达到极大值；x0(t)的邻域包含满足条件：的所有点x(t)的球（即以x0(t) 为圆心，以d为半径的球）。定理（必要条件） 若泛函Jx(t)是连续可微的，并且在点x0(t)处达到极值，则泛函在点x0(t)处的变分等于零，即2.2

12、欧拉方程2.2.1 三类基本问题最优控制问题中，根据性能指标的类型（积分型性能指标、终值型性能指标、复合型性能指标）的不同，分别对应了古典变分法中的三类基本问题。拉格朗日（Lagrange）问题基本问题 (2.2.1)麦耶耳(Mayer)问题 (2.2.2)波尔扎（Bolza）问题 (2.2.3)固定端点的Lagrange问题问题描述：假定点A(t0,x0)和B(tf , xf)是所要寻求的泛函（1.2.1）的极值曲线x(t)的两个固定端点，如图1-5所示，其坐标为： (2.2.4)问题：从满足边界条件的二阶可微的函数中，选择使泛函达到极小值的函数x(t)解: 设x*(t)是使泛函达到极小值且

13、满足边界条件的极值曲线。现用 (2.2.5)表示满足边界条件的极值曲线x*(t)的邻域曲线。其中dx(t)是泛函宗量x(t)的变分，a(0£a£1)是一参变量。为使x(t)是满足边界条件的极值曲线x*(t)的邻域曲线， dx(t)应具有连续导数且满足条件： dx(t0)= dx(tf)=0 (2.2.6)于是，得到 (2.2.7)由于x*(t)是极值曲线，所以泛函在极值曲线x*(t)上的变分等于零，即(2.2.1) (2.2.8)泛函的变分为 (2.2.9)将式（2.2.1）代入式（2.2.9），得 (2.2.10)对式（2.2.10）右端第二项进行分部积分 （2.2.11

14、）将式（2.2.11）代入式（2.2.10），并考虑式得 （2.2.12）利用条件 dx(t0)= dx(tf)=0 ，则上式变为 （2.2.13）考虑到泛函宗量的变分dx(t)是任意的函数，不妨选择 （2.2.14）其中w(t)是任一满足下列条件的函数： (C为某一函数)将式（2.2.14）代入式（2.2.13），可得由上式可见，一个非负的函数的定积分为零，只能是被积函数恒等于零，因此有将上式左端第二项展开，可得式中若时，欧拉方程是一个二阶微分方程。定理2.2.1 若给定曲线x(t)的始端x(t0)= x0和终端x(tf)= xf，则泛函达到极值的必要条件是，曲线x(t)满足欧拉方程其中x(

15、t)应有连续的二阶导数，则至少应是二次连续可微的。2.2.2 几种特殊的欧拉方程1.被积函数L不显含t，即在这种情况下，欧拉方程的首次积分为 （2.2.17） 其中c是待定的积分常数。2.被积函数L不显含x，即在这种情况下，欧拉方程的首次积分为 3.被积函数L不显含，即在这种情况下，欧拉方程的首次积分为2.3 横截条件当极值曲线x*(t)的端点变化时，要使泛函达到极小值， x*(t)首先应当满足欧拉方程：若端点固定,可以利用端点条件: 确定欧拉方程中的两个待定的积分常数。定理2.3.1 若曲线x(t)由一给定的点(t0，x0)到给定的曲线x(tf)=j(tf)上的某一点(tf，xf)，则泛函

16、达到极值的必要条件是， x(t)满足欧拉方程 和横截条件 其中x(t)应有连续的二阶导数，则至少应是二次连续可微的，而j(t) 则应有连续的一阶导数。(1)始端、终端可变，即x(t0)=y(t0)， x(tf)=j(tf)，则横截条件为：(2) 当t0、 tf 可变，而x(t0) 与x(tf)固定时，则横截条件为： (3)当t0、 tf 固定，而x(t0) 与x(tf)可变时，即始端与终端分别在t=t0、t=tf上滑动，则横截条件为： 同理: 例 求t-x平面上由给定A(0,1)至给定直线 x=2-t 的弧长最短的曲线方程。解：由图28，弧长 o1212txA(0,1)dsx*(t)图28根据

17、题意，目标泛函应选为：这是一个始端固定，终端可变的泛函的变分问题。由于泛函的被积函数 中不显含x(t)，所以Euler方程为：由初始条件x(0)=1，得c2=1，从而有由横截条件，得经整理得，所以c1=1。最优轨线方程为： 最优轨线与给定直线垂直。2.4 利用变分法求解最优控制问题对于最优控制问题来说，当状态变量和控制变量均不受约束，即 X(t)ÎRn，U(t)ÎRm时，是在等式约束条件下求泛函极值的变分问题，因此，可以利用在上一节中介绍的拉格朗日乘子法来求解。在这一节中，利用拉格朗日乘子法求解最优控制问题时，将引入哈密顿函数，推导出几种典型的最优控制问题应满足的必要条件。

18、给定系统状态方程 （2.4.1）初始条件 （2.4.2）终端条件：tf固定，X(tf)自由和性能泛函 （2.4.3）要求从容许控制U(t) ÎRm中确定最优控制U*(t)，使系统（2.4.1）从给定的初态X(t0)转移到某个终态X(tf) ，并使性能泛函（2.4.3）达到极小值。这是拉格朗日问题，又称为积分型最优控制问题。解：将状态方程（2.4.1）改写为 （2.4.4）于是，上述最优控制问题就变成为在微分方程（2.6.4）约束条件下求泛函（2.6.3）极值的变分问题。利用拉格朗日乘子法，引入n维拉格朗日乘子向量l (t)=l 1(t), l 2(t), l n (t)Tl (t)称

19、为协态变量，以便与状态变量相对应。 构造辅助泛函 （2.4.5）其中， （2.4.6） 于是，求泛函（2.4.3）在等式（2.4.1）约束条件下的极值问题，就转变成为求泛函（2.4.5）的无约束条件的极值问题。定义哈密顿（Hamilton）函数为: （2.4.7）它是一标量函数，则式（2.4.6）变为 （2.4.8）利用变分法可以写出辅助泛函（2.4.5）的欧拉方程将式（2.4.8）代入上式，得 （2.4.9）初始状态为 （2.4.10）由于终端时刻tf固定，终端状态X(tf)自由，所以横截条件为 考虑式（2.4.8），得 （2.4.11）式（2.4.9）（2.4.11）就是式（2.4.1）（

20、2.4.3）所给定的最优控制问题的解应满足的必要条件。这些条件也可以由求辅助泛函J0对状态变量X(t)和控制变量U(t)的变分中推导出来。第三章 极大值原理3.1 连续系统的极大值原理问题3.1.1(积分型最优控制问题) 给定系统的状态方程： (3.1.1) 其中，f是n维连续可微的向量函数；X(t)是n维状态变量，其初态X(t0)=X0， 而终态应满足的条件是：终端时刻tf固定，终端状态X(tf)自由，U(t)是m维控制变量，其所受约束条件是 (3.1.2) 其中，W是以U(t)为元素的m维实函数空间中的一个闭子集。式(3.1.2)表明，控制变量是这个闭子集W中的元素。满足式(3.1.2)约

21、束条件的控制变量称为容许控制变量，简称容许控制。要求在满足式(3.1.2)的容许控制中，确定一控制变量U(t)，使系统（3.1.1）从给定的初态X(t0)转移到某个终态X(tf)的过程中，性能泛函 达到极小值。其中L是连续可微的标量函数。这个积分型最优控制问题所确定的控制U(t)称为最优控制，记为U*(t)。 使性能泛函达到极小值的最优控制的必要条件是哈密顿函数H达到最大值，所以，该定理称为最（极）大值原理。3.2 最大值原理的几种具体形式定理3.2.1(时不变情况) 给定系统的状态方程： （3.2.1） 的初态X(t0)=X0和 终端时刻tf固定，终端状态x(tf)自由，控制函数的约束条件

22、（3.2.2）要求从满足约束条件（3.2.2）的容许控制中，确定一最优控制U*(t)，使性能泛函取得最小值： （3.2.3）定义Hamilton函数为： （3.2.4）式中为待定的n维拉格朗日乘子向量。欲使性能指标达最小值，以实现最优控制的必要条件为：1、正则方程组 状态方程 (3.2.5)协态方程 (3.2.6)2、极值条件 (3.2.7)3、端点约束 4、横截条件 (3.2.8)定理3.2.2(时变情况) 给定系统的状态方程： （3.2.9）的初态X(t0)=X0和 终端时刻tf固定，终端状态x(tf)自由，控制函数的约束条件 （3.2.10）要求从满足约束条件（3.2.10）的容许控制中

23、，确定一最优控制U*(t)，使性能泛函取得最小值 (3.2.11)定义Hamilton函数为： (3.2.12) 式中为待定的n维拉格朗日乘子向量。欲使性能指标达最小值，以实现最优控制的必要条件为：1、正则方程组 状态方程 (3.2.13)协态方程 (3.2.14) 2、极值条件3、端点约束 4、横截条件 例题 已知系统的状态方程和端点条件为 控制约束为求目标泛函 的极大值解：首先引入Hamilton函数 并注意到哈密顿函数是U的线性泛函，根据 控制方程要使H取极大值的最优控制则为：由于方程中未包含 x 和 u, 我们很容易就得到的表达式：为求 l, 根据协态方程并根据横截条件（边界条件） 将

24、最优控制量和端点条件 代入状态方程 得：最优状态轨线为： 第四章 动态规划4.1 多级决策问题 动态规划是美国学者贝尔曼（Bellman）在上世纪50年代中期创立的，是求解最优控制问题的重要方法之一。最初被用来研究多级决策的最优化问题。但时至今日，它已在许多领域里获得了广泛、成功的应用。动态规划的理论基础是所谓的贝尔曼最优性原理。动态规划研究的对象是多级决策过程的最优化问题，它在理论和实践上的重要意义在于： 1）对于离散控制系统，可以用来得到某些理论结果，并可建立起数字计算机的递推或迭代程序；2）对于连续控制系统，除了可以用来得到某些理论结果以外，还可以用来建立与变分法和最大值原理的联系。确定

25、最优行车路线问题SF327546144261X1(1)X1(2)X1(3)X2(1)X2(2)X2(3)第一段第二段第三段第四段图 51这是一个多级决策问题。汽车从S站到终点站F有不同的行车路线。各条路线的路程是不同的，为使从S站到F站的路程为最短，司机在路程的前三段要做三次决策（选择）。由图51可见，汽车经过每站时，可供选择的决策至多有两个。用p和q分别表示走上面路线还是走下面路线的两种不同决策。那么，司机怎样决策才能使所经过的路程为最短？有两种方法：穷举法：找出所有可能(2n-1=8)的行车路线，将每条路线的每段距离加起来，就可算出每种路线的行车路程。选择其中最小者，便是路程最短的行车路线

26、。动态规划法：从最后一段开始，由后往前，依次确定各站到终点站F的最优路线，直至计算出起始站S到终点站F的最优路线。利用动态规划法求解最优行车路线问题第一步：(a) 路线x1(3)®F，J*x1(3)4(b) 路线x2(3)®F，J*x2(3)3第二步：(a) 路线 x1(2)® x1(3)®F ，J=1+ J*x1(3) 5 路线 x1(2)® x2(3)®F ，J=1+ J*x2(3) 4 比较：路线 x1(2)® x2(3)®F 更短，所以J*x1(2)=4， 最优决策为q；(b) 路线 x2(2)®

27、 x1(3)®F ，J=2+ J*x1(3) 6 路线 x2(2)® x2(3)®F ，J=2+ J*x2(3) 5 比较：路线 x2(2)® x2(3)®F 更短，所以J*x2(2)=5， 最优决策为q；第三步(a) 路线x1(1) ® x1(2)® x2(3)®F ，J=6 J*x1(2)10 路线x1(1) ® x2(2)® x2(3)®F ，J=6 J*x2(2)11 比较：路线 x1(1) ® x1(2)® x2(3)®F更短，所以 J*x1(1

28、)=10，最优决策为p；(b) 路线x2(1) ® x1(2)® x2(3)®F ， J=4 J*x1(2)8 路线x2(1) ® x2(2)® x2(3)®F ，J=7 J*x2(2)12 比较：路线 x2(1) ® x1(2)® x2(3)®F更短，所以 J*x2(1)=8，最优决策为p；第四步 (a) 路线S® x1(1) ® x1(2)® x2(3)®F， J=4 J*x1(1)14 路线S® x2(1) ® x1(2)® x2

29、(3)®F ，J=5 J*x2(1)13 比较：路线S® x2(1) ® x1(2)® x2(3)®F更短，所以 J*S=13，最优决策为q；总结： 最优决策：q,p,q,p; 最优路线： S® x2(1) ® x1(2)® x2(3)®F； 最小代价： J*S=13。动态规划法的特点与穷举法相比，动态规划法的计算工作量大为减少。对于多阶段、多决策（每段不是两个决策而是多个决策）问题，动态规划的优越性就更加突出。因此，它对于处理路程或过程分为多段，每段都要做出决策才能确定过程继续演化的所谓多级决策问题，是

30、一个很有前途的方法。动态规划法求解最优问题的思路是，从后往前倒着计算，确定每点到终点的最优路线。动态规划法可将一个复杂的、难以求解的多级决策问题，转化为一系列简单的、易于求解的多个单级决策问题来处理。这在数学上称为不变嵌入原理。在一个多级决策问题中的最优策略具有这样的性质，不论初始状态和初始决策如何，当将其中的任何一个状态再作为初始状态时，则余下的策略，对此必定也是一个最优策略。具体地说，如果有一个初始状态为X(0)的N级决策问题，其最优决策为U(0),U(1),U(N1),那么，对于以X(j)(j=1,2, N1)为初始状态的Nj级决策问题来说，策略U(j), U(j+1),U(N1)必定也

31、是最优策略。例如在行车路线问题中， S站：S®F 的最优路线为： S® x2(1) ® x1(2)® x2(3)®F； 最优策略为：q,p,q,p； x2(1)站： x2(1) ®F的最优路线为： x2(1) ® x1(2)® x2(3)®F； 最优策略为：p,q,p； x1(2)站： x1(2)®F的最优路线为： x1(2)® x2(3)®F； 最优策略为：q,p。 ¼¼¼¼¼¼¼4.2 离散动态规划给定

32、n阶离散系统的状态方程 (4.2.1)初始状态 (4.2.2)和性能指标 (4.2.3)其中性能指标JN的下标N表示从U(0)到U(N1)进行N级控制。问题是求最优控制序列U*(0),U*(1),U*(N1)使性能指标JN达到极小（或极大）值。这是一个多级决策问题。由式（4.2.3）并逐次应用式（4.2.1）可得：如果能利用某种方法得到使性能指标JN达到极小值的最优控制序列U*(0),U*(1),U*(N1)，那么，性能指标JN的极小值JN*将只依赖于初始状态X(0)，且为根据最优性原理，如果U*(0),U*(1),U*(N1)是离散系统最优控制问题(5.2.1)(4.2.3)在初态为X(0)

33、的N级控制的最优控制序列，那么， U*(1),U*(2),U*(N1)是该最优控制问题在初态为的后N1级控制的最优控制序列。如果U*(0),U*(1),U*(N1)是离散系统最优控制问题(5.2.1)(5.2.3)在初始为X(0)时的N级控制的最优控制序列，那么U*(j),U*(j+1),U*(N1) 也是该最优控制问题在初态为X(j)=fX(j1)，U(j1)的后Nj级控制的最优控制序列（其中j=1,2,N1）。说明： （1）最优性原理也适用于求解使性能指标达到极大值的最优控制问题； （2）最优性原理只肯定N级最优控制序列中的后Nj级控制也是最优控制序列，对以前的j个控制没有明确肯定。这句话

34、的含义是，就前j个控制U(0),U(1),U(j1)的选定来说，他们并不能使分段性能指标达到最优值。也就是说，使JNX(0),U(0),U(1),¼,U(j1),U(j), U(j1), ¼,U(N1)达到最优值的U(0),U(1),¼,U(j1) ，和使JjX(0),U(0),U(1),¼,U(j1)达到最优值的U(0),U(1),¼,U(j1) ，一般来说是不相同的。（3）最优性原理得以成立的一个前提条件是所谓过程的无后效性。 具体地说，设过程现在的状态为X(i)，它是由前一个状态X(i1)变换而来，即X(i)=fX(i1),U(i1)。

35、显然，前一个状态X(i1)和前一个决策U(i1)对后续过程的影响，仅仅表现在他们将状态转移到了X(i)，并随之确定了可供选择的决策集合。至于后续过程将如何进行，他们就不再直接起作用了。 也就是说，系统的过去只能决定现在，而不能直接影响未来。实际上，在现实世界中的许多过程，都具有无后效性。在离散系统最优控制问题(5.2.1)(5.2.3)中，如果已经求出U*(0)，已知U*(0)和X(0)，那么X(1)=fX(0), U*(0)根据最优性原理，如果U*(0)已被求出，那么求U*(1),U *(2), ¼,U *(N1)的问题就构成了一个初态为X(1)的N1级的最优控制问题，该最优控制问

36、题的性能指标JN1的极小值记为 离散动态规划的基本方程4.3 连续最优控制问题的最优性原理初始状态为X(t0)的最优控制策略U*t0，tf后面的一部分U*t1，tf(t1>t0)仍然是最优控制策略，其初始状态是在区间t0,t1上应用控制策略U*t0,t1由系统状态方程和初始状态X(t0)=X0所得到的X(t1)。推广到一般情形：确定在区间t0，tf上任意时刻t及其对应的状态X(t)的最优解。也就是说，要确定最优性能指标函数J*X(t)，t及其对应的最优控制U*(t)和最优轨线X*(t)。根据不变嵌入原理，如果确定了最优性能指标函数J*X(t)，t ，用t0代换t，用X(t0)代换X(t)

37、，就可以求出J*X(t0)，t0。连续动态规划的基本方程：根据上述定义式，对于在区间t0，tf上的任意时刻t，最优性能指标函数为 假定最优性能指标函数J*X(t)，t存在，并且是连续可微的，上页最后一个式子第二项利用泰勒公式可以展开为 上页最后一个式子第一项利用积分中值定理可得：由上面两式得，得两边消去J*X(t)，t，除以Dt，并令Dt à0。 连续动态规划的基本方程（包含一个函数方程和偏微分方程的混合方程）哈密顿雅可比方程 第五章 时间、燃料最优控制问题5.1 bang-bang控制砰砰（bang-bang）控制原理（正常的时间最优控制问题） 设U*(t)是问题4.1.1的时间最优控制， X*(t)和l (t)是相应的状态和协态。若问题是正常的，则时间最优控制U*(t)的各个分量uj*(t)( j=1，2，¼，m)可以按照下列关系确定则时间最优控制的各个分量uj*(t)都是时间t的分段常值函数，并在开关时间tbj上发生uj*(t)由一个恒值到另一个恒值的跳变。 上式还