最优控制(动态求解)

1、.,第4章 最优控制原理与应用,.,最优控制的基本概念,最优控制研究的主要问题：根据已建立的被控对象的数学模型，选择一个容许的控制率，使得被控对象按照预定的要求运行，并使给定的某一性能指标达到极小值(或极大值)。 从数学观点来看，最优控制研究的问题是：求解一类带有约束条件的泛函极值问题。,.,最优控制问题,最优控制问题的一般提法：在满足系统方程的约束条件下，在容许控制域中确定一个最优控制律，使得系统状态从已知初态转移到要求的目标集，并使性能指标达到极值。,.,最优控制的应用类型,I. 积分型性能指标 最小时间控制； 最少能量控制； 最少燃料控制； II. 末值型性能指标 III. 复合型性能指

2、标,.,4.1 用变分法解最优控制,4.1.1 泛函与变分 4.1.2 欧拉方程 4.1.3 横截条件 4.1.4 变分法解最优控制问题,返回主目录,.,在动态系统最优控制问题中，性能指标是一个泛函，性能指标最优即泛函达到极值。解决泛函极值问题的有力工具是变分法。所以下面就来列出变分法中的一些主要结果，大部分不加证明，但读者可对照微分学中的结果来理解。,.,4.1.1 泛函与变分,如果对某一类函数 中的每一个函数 ，有一个实数值 与之相对应，则称 为依赖于函数 的泛函，记为,粗略来说，泛函是以函数为自变量的函数。(函数的函数),1、泛函：,先来给出下面的一些定义。,.,2、泛函的连续性：,则,

3、则线性泛函 是连续的，称Jx为线性连续泛函。,若对于收敛于点x0点列xn，其中x0，xn ，均有 则称泛函J在x0处连续。对于线性泛函Jx,若,.,满足下面条件的泛函称为线性泛函 这里 是实数， 和 是函数空间中的函数。,3、线性泛函：,.,4、自变量函数的变分：,自变量函数 的变分 是指同属于函数类 中两个函数 、 之差,这里, t 看作为参数。当 为一维函数时， 可用图4-1来表示。,.,图4-1 自变量函数的变分,.,这里， 是 的线性泛函， 是关于 的 高阶无穷小，则 称为泛函Jx的变分。 可知泛函变分就是泛函增量的线性主部。,当自变量函数 有变分 时， 泛函的增量为,5、泛函的变分：

4、,.,当一个泛函具有变分时，也称该泛函可微。和函数的微分一样，泛函的变分可以利用求导的方法来确定。 定理 设Jx是线性赋范空间Rn上的连续泛函， 若在x= x0处Jx可微，则Jx的变分为,.,证明:,由于 是 的线性连续泛函， 又因为 是 的高阶无穷小，,.,泛函变分的规则,.,举例：,可见，计算泛函的变分如同计算函数的微分一样。,.,6、泛函的极值：,若存在 ，对满足的 一切X， 具有同一符号，则 称 在 处有极值(极大值或极小值)。,.,定理(变分预备定理)：设 是时间区间t0, t1上连续的n维向量函数， 是任意的连续n维向量函数，且有 ，若,则必有,.,4.1.2 欧拉方程,假定t0与

5、tf 给定，且初态与末态两端固定。 (1) 无约束泛函极值的必要条件 定理 设有如下泛函极值问题：,（1）,已知x(t0)=x0 x(tf)=xf ,则极值曲线 应满足如下欧拉方程,.,（2）,（3）,及横截条件,.,于是泛函J 的增量 可计算如下（以下将*号省去）,上式中 是高阶项。,证明： 与 之间有如下关系,.,根据定义，泛函的变分 是 的线性主部，即,对上式第二项作分部积分，按公式,.,J取极值的必要条件是 等于零。因 是任意的，要使（3-2）中第一项（积分项）为零，必有,（5）,（4）式中第二项即为结论中的式(3).,.,举例： 利用上面的结论求得,.,(2) 有等式约束泛函极值的必

6、要条件 定理 设有如下泛函极值问题：,（6）,已知x(t0)=x0， x(tf)=xf ,则极值曲线 应满足如下欧拉方程和横截条件,.,其中， 为拉格朗日函数， 是待定拉格朗日乘子。,.,4.1.3 横截条件,末端时刻固定时的横截条件 当tf 固定时，在x(t0)=x0 固定时，横截条件为 如果末端状态也固定x(tf)=xf 时，边界条件退化为x(t0)=x0，x(tf)= xf ；当末端状态自由时，横截条件为,x(t0)=x0,x(t0)=x0,.,(2) 末端时刻自由时的横截条件,.,末端受约束时,存在如下近似关系: 如果末端自由，则曲线c(t)不存在。 设性能指标为 容许轨线x(t)与极

7、值曲线x*(t)之间有如下关系,（7）,.,当末端由(xf,tf)移动到 时， 产生如下的泛函增量,（8）,.,将(8)右端的第二项在极值曲线泰勒展开,对上式右端的第二项分部积分,.,将以上结果代入(8)，取增量的线性主部，得泛函的变分 令 ，得欧拉方程和横截条件：,（9）,（10）,.,末端时刻自由、末端状态变动时的横截条件 1) 末端状态自由时的横截条件 当x(tf)自由时，由(7)可知 代入(10)可得到 因为 任意，所以 tf自由、x(tf)自由的横截 条件和边界条件为：,（11）,.,2) 末端状态受约束时的横截条件 设受约束方程为 x(tf)=c(tf) ,由(7)可知 代入(11

8、) ，并考虑 任意，得到tf自由、x(tf)受约束的横截条件和边界条件为,(11.1),.,如果t0也自由、x(t0)受约束，即沿着曲线g(t)则应满足以下横截条件,(11.2),.,例子: 求平面上给定两点A(0,1),B(1,3)间的最短弧长。 若B点可沿曲线 c(t)=2-t 移动，求一连接A、B两点且弧长最短的曲线。 对于最短弧长问题，它是泛函 在两端固定条件下的变分问题，欧拉方程 的解为 x=at+b 带入边界条件可得解 x=2t+1。,.,(2)属于末端受约束的变分问题，其最短弧长满足与(1)相同的欧拉方程，因此 x=at+b，因为初始点没有变化，所以由x(0)=1可得b=1. 为

9、了确定参数a, 运用横截条件(11.1)可得 解得 a=1,因此 可知极值曲线为 . 由末端约束条件 ，可知 tf=0.5，带入弧长公式得到最短弧长,x=t+1,.,不同边界情况下的横截条件,.,4.1.4 变分法解最优控制问题,系统方程为 性能指标为 末端状态 x(tf) 受约束，要求的目标集为 最优控制问题是：确定最优控制u*(t)和最优曲线x*(t)，使得系统(12)由已知初态 x0 转移到要求的目标集(14)，并 使性能指标(13)达到极值。,（14）,（13）,（12）,.,可以利用拉格朗日乘子法将上述有约束条件的泛函极值问题化为无约束条件的泛函极值问题。,再引入一个标量函数,它称为

10、哈密顿（Hamilton）函数，在最优控制中起着重要的作用。,.,(1) 末端时刻固定时的最优解 对于如下最优控制问题： 无约束且在t0,tf上连续， .在t0,tf上，f(.), 和L(.)连续可微，tf固定。最优解的必要条件为： 1) x(t)和 满足正则方程,.,2) 边界条件和横截条件 3) 极值条件 证明：构造广义泛函,.,分部积分 则 对上式取一次变分，考虑到 根据泛函极值的必要条件，可得到结论。,.,当末端时间tf固定，末端状态x(tf)自由时，不存在目标集 因此，该下的泛函极值只需将上述结论中的 去掉即可。 当末端时间tf固定，末端状态x(tf)固定时，正则方程不变， 边界条件

11、退化为x(t0)=x0，x(tf)= xf ，系统在可控的条件下， 极值条件也不变。,.,.,本例属于末端时刻固定，末端状态受约束的泛函极值问题。 Hamilton函数 协态方程 极值条件,.,状态方程 根据初始条件和目标条件可求出 c3=c4=0,4c1-9c2=6 再根据横截条件可求出c1=(1/2)c2，可求出c1与c2的值。进而获得最优解,.,(2)末端时刻自由时的最优解,对于如下最优控制问题： 最优解的必要条件为： 1) x(t)和 满足正则方程,.,2) 边界条件和横截条件 3) 极值条件 4) 在最优曲线末端的Hamilton函数满足,.,证明：构造广义泛函 当末端由(xf ,

12、tf)移动到 时，产生如下的泛函增量 将上式在最优轨线展成泰勒级数并取主部，应用中值定理并考虑 ，可得到,.,将 代入上式可得到 令 得到定理 的结论。,.,Page562, 表10-2 用变分法求最优解的必要条件,.,例子:,解：本例属于tf自由，末端状态固定、控制无约束的泛函极值问题。,.,=常数，再由极值条件得 由状态方程和初始条件得到 利用末态条件得到 最后根据末端时刻H的变化率可以求得 这样，求得的最优解为,.,4.2 极小值原理及其应用,4.2.1 连续系统的极小值原理 4.2.2 离散系统的极小值原理 4.2.3 最小时间控制 4.2.4 最小能量控制,返回主目录,为解决控制有约

13、束的变分问题，庞特里亚金提出并证明了极小值原理，其结论与经典的变分理论有许多相似之处，而且不要求哈密尔顿函数对控制量连续可微。,.,4.2.1 连续系统的极小值原理 末端自由时的极小值原理 定理 对于如下定常系统、末值型性能指标、末端自由、 控制受约束的最优控制问题 式中 为任意分段连续函数；末端状态自由；末端时刻固定或自由。假设 f(x,u) 和 都是自变量 的连续可微函数，且在有界集上f(x,u)对变量x满足,.,则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立： 正则方程 其中 边界条件与横截条件 极小值条件 4) 沿最优轨线哈密尔顿函数变化率(tf自由时用),.,极小

14、值原理与经典变分法的区别：,容许控制条件放宽。极小值条件对通常的控制约束均适用。 最优控制使哈密顿函数取全局极小值。当满足经典变分法的应用条件时，其极值条件是极小值原理中极值条件的特例。 极小值原理不要求哈密顿函数对控制向量的可微性。,.,例子: 解：已知 由协态方程 可得到,.,由横截条件 解出 由极小值条件 由于 可得到,.,定理 对于如下时变系统、末值型性能指标、末端自由、 控制受约束的最优控制问题 式中末端时刻固定或自由，假设同前，则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立： 正则方程 其中,.,边界条件与横截条件 极小值条件 4) 沿最优轨线哈密尔顿函数变化率

15、(tf自由时用),.,于是该问题就变成了如下定常问题：,.,利用定常系统的结论，可知协态方程为 即,(17),(16),.,横截条件为 即 极小值条件为 将式(16)代入可得 即得结论3)。沿最优轨线哈密尔顿函数变化率 将(18)代入可得到本定理的结论4)。,(18),.,定理 对于如下定常系统、积分型性能指标、末端自由、 控制受约束的最优控制问题 式中末端时刻固定或自由，假设同前，则对于最优解u*,x*,tf*，必存在非零的 ，使如下必要条件成立： 正则方程 其中,.,边界条件与横截条件 极小值条件 4) 沿最优轨线哈密尔顿函数变化率(tf自由时用),.,于是该积分型问题就变成了如下末值型问

16、题：,.,把上面两个式子代入协态方程 ，可得,.,因此 由横截条件可知 因为 ，上式可表示为 由(19)可得,(19),.,则哈密尔顿函数为 将它代入(19)可得 从而也得到了极值条件3)和最优轨线末端应满足条件4)。,.,解：该题属于定常系统、积分型性能指标、tf固定、末端自由、控制受约束的最优控制问题。令,.,由协态方程 解得 再由横截条件 可以求出c=e。显然，当 时 u*(t)产生切换，由 可以解出 =0.307，因此 将u*代入状态方程并利用初值条件可得到最优轨线为,.,(2) 末端受约束时的极小值原理 定理 对于如下定常系统、末值型性能指标、末端受约束、控制受约束的最优控制问题 式

17、中末端时刻固定或自由，假设同前，则必存在非零的 ，使如下必要条件成立：,.,正则方程 其中 边界条件与横截条件 极小值条件 4) 沿最优轨线哈密尔顿函数变化率(tf自由时用),.,定理 对于如下时变系统、末值型性能指标、末端受约束、控制受约束的最优控制问题 式中末端时刻固定或自由，假设同前，则必存在非零的 ，使如下必要条件成立：,.,正则方程 其中 边界条件与横截条件 极小值条件 4) 沿最优轨线哈密尔顿函数变化率(tf自由时用),.,4.2.2 离散系统的极小值原理 末端约束时的离散极小值原理 定理 设离散系统状态差分方程为 性能指标为 式中 N 固定。假设 f(.), 和 L(.) 都是自

18、变量 的连续可微函数，末端状态受如下目标集约束,.,则对于最优序列u*,x*, 必存在非零的 ，使如下必要条件成立： 差分方程 其中 边界条件与横截条件 极小值条件,.,若u(k)无约束，则极值条件为,(2) 末端自由时的离散极小值原理 定理 设离散系统状态差分方程为 性能指标为 式中 N 固定。假设同前， 末端状态自由，则对于最优序列u*,x*, 必存在非零的 ，使如下必要条件成立：,.,差分方程 其中 边界条件与横截条件 极小值条件,若u(k)无约束，则极值条件为,.,.,该题属于控制无约束问题，构造 由协态方程 可得到 由极值条件,.,得到 将u*(k)代入状态方程并利用边界条件可得到,

19、.,4.2.3 最小时间控制 最小时间的控制问题 设线性定常系统 完全可控，求满足下列不等式约束的容许控制： 使系统从初始状态x(0)=x0转移到x(tf)=0，并使性能指标 极小，其中 tf 自由。,.,(2) 正常情况与奇异情况 构造 根据极小值条件，可得 则 设 可知，(20)可表示为下式,(20),.,(3) 奇异性的充要条件 定理 设矩阵 式中bj中为矩阵B的列向量，当且仅当m个Gj矩阵 中至少有一个是奇异矩阵，上述最优问题是奇异的。 定理 上述问题是正常的，当且仅当,.,(3) Bang-Bang控制 定理 对上述问题，若系统是正常的，则最优解的必要条件是,正则方程 其中 边界条件

20、 极小值条件,.,4) 沿最优轨线哈密尔顿函数变化率(tf自由时用),.,4) 经验证系统可控，因此系统正常。可用上述定理求解。 由协态方程得 取u*=1，可以求得系统的解，并消去变量t可得到最优轨线方程,.,则满足末态要求的最优轨线方程可表示为 取u*= -1，也可得到满足末态要求的最优轨线方程 曲线 组成曲线 ，称为开关曲线，表示为 开关曲线将相平面分成两部分R+和R-,.,.,则时间最优控制为,.,4.2.4 最小能量控制 设线性定常系统 求满足下列不等式约束的容许控制： 使系统从初始状态x0转移到x(tf)=xf，并使性能指标 极小，其中 tf 固定。,.,构造 定义开关向量函数 由协

21、态方程 可得 则开关向量可表示为,.,其分量为 则 将上式代入哈密尔顿函数，可得 若uj(t)无约束，则,.,解出 由控制约束条件可得出下面的最优控制律,.,解：构造,.,则最优控制律应满足 由协态方程 可解出,.,因为末端固定，不能由横截条件确定c1,c2,这里采用试探法。通常情况下，如果使最小能量控制问题的控制量较小，首先选取线性最优控制函数，即 将上式代入状态方程 解得 根据初始条件可得c3=c4=0。根据末态条件，可得,.,根据哈密尔顿函数沿最优轨线的变化率得 将u (tf)，x1(tf) 和x2(tf)代入上式可得 c1-(c2-c1tf)2=0。 综合以上方程，可以得出,.,因此，

22、最优控制为 经检验在0,tf区间上，满足u (tf) 1, ，因此选择正确，则最优轨线为 最优性能指标为,.,4.3 线性二次型问题的最优控制,4.3.1 线性二次型问题 4.3.2 有限时间时变状态调节器 4.3.3 无限时间定常状态调节器 4.3.4 有限时间时变输出调节器 4.3.5 无限时间定常输出调节器 4.3.6 有限时间时变输出跟踪系统 4.3.7 无限时间定常输出跟踪系统,.,4.3.1 线性二次型问题 设线性时变系统 性能指标为 其中u(t)无约束，输出误差向量 e(t)= z(t) - y(t), z(t)为理想输出，F(t),Q(t)非负定，R(t)正定，t0, tf固定

23、，确定最优控制u*(t),使得性能指标极小。,(21),.,在二次型性能指标中，其各项都有明确的物理含义，即 末值项 ，若取 末值项的物理含义表示在控制结束后，对系统末态跟踪误差的要求。 2) 积分项 ，若取,.,该项表示系统在控制过程中的动态误差跟踪的大小。 积分项 ，若 则 该项表示在控制过程中所消耗的能量。 线性二次型最优控制问题的类型： 状态调节器问题 如果C(t)=I, z(t)=0，则e(t)=-y(t)=-x(t), 并且性能指标为,.,最优控制问题为：当系统受扰动偏离原零平衡状态时，要求产生一控制向量，使得系统状态恢复到原平衡状态附近，并使上面的性能指标极小，称为状态调节器问题

24、。 (2) 输出调节器问题 如果z(t)=0，则e(t)=-y(t)， 并且性能指标为,(22),(23),.,最优控制问题为：当系统受扰动偏离原输出平衡状态时， 要求产生一控制向量，使得系统输出保持在原平衡状态 附近，并使上面的性能指标极小，称为输出调节器问题。 输出跟踪系统问题 若C(t)I, z(t) 0，则 最优控制问题为：当理想输入作用于系统时，要求产生一控制向量，使得系统实际输出向量始终跟踪理想输入的变化 ，并使性能指标(21) 极小，称为输出跟踪系统问题。,.,4.3.2 有限时间时变状态调节器 设线性时变系统 其中u(t)无约束，F(t),Q(t)非负定，R(t)正定，t0,t

25、f固定，末端状态x(tf)自由，确定最优控制u*(t)使得性能指标(22)极小. (1) 最优解得充要条件 定理 对于上述问题，其最优控制的充要条件是 最优性能指标为,(24),(25),.,其中P(t)为nn对称非负矩阵，满足下列Riccati方程 边界条件为 P(tf) = F 将最优控制代入系统方程，可知最优轨线应满足 证明：必要性：若u*(t)为最优控制，可以证明(24)成立。因为u*(t)是最优控制，所以满足极小值原理，构造,(26),.,由极值条件可得 由正则方程可知 因为末态自由，所以横截条件为 假设,(27),(28),.,则 将系统方程代入，可得 再将(28)代入(27)可得

26、 比较上面两个式子，可知Riccati方程成立。在(28)中，令t=tf, 可得出 P(tf) = F。将(28)代入u*(t)可得到最优控制律的表达式(24)成立，进而得到最优轨线x(t)。 充分性：若表达式(24)成立，可证明u*(t)比为最优控制。,.,(2) Riccati方程的性质,P(t)是唯一的； P(t)是对称的； P(t)是非负的；,.,(3) 最优控制解的存在与唯一性,.,4.3.3 无限时间定常状态调节器 (1) 问题的描述 设线性定常系统 其中u(t)无约束，要求确定最优控制u*(t)使得性能指标 极小.,.,(2) 最优解的结果 定理 在上述问题中，若对于任意矩阵D,

27、有DDT=Q,且 是Riccati方程 的解，则矩阵对A,D完全可观的充要条件是 为对称正定矩阵。 定理 若矩阵对A,B完全可控， A,D完全可观，其中DDT=Q,且D任意，则存在唯一的最优控制,.,最优性能指标为 其中， 为Riccati方程 的唯一解。 最优闭环系统的渐进稳定性 定理 由上面得到的闭环系统 是渐进稳定的。,.,对以上结论的说明,对可控性的要求是防止不可控不稳定模态包含于性能指标中，会使J，从而最优解不存在； A,D可观是为了保证最优闭环系统渐进稳定。系统可控假设和F=0意味着当tf 时， 为正定矩阵； 对于无限时间调节器，一般要求tf 时，x(tf)=0，即稳态误差为零，因

28、此性能指标中不必加入终态性能指标。,.,.,解：本题中 可控性与 可观性检测 可知u*(t)存在，解Riccati方程,.,可得 最优解为 最后，检验闭环系统的稳定性，将最优控制代入状态方程，通过计算可知闭环系统确实是渐进稳定的。,.,4.3.4 有限时间时变输出调节器 定理： 设线性时变系统方程为 性能指标为(23),其中u(t)无约束，tf固定，则存在使J=min的唯一最优控制 最优性能指标为,.,最优轨线满足 P(t)满足 在边界条件上 的唯一解。 证明：将y(t)=C(t)x(t)代入性能指标中，就可以将问题化为 有限时间时变状态调节器问题，即可证得结论。,.,定理说明：,有限时间时变

29、输出调节器的最优解与有限时间时变状态调节器的最优解具有相同的最优控制和最优性能指标表达式，仅在Riccati方程及其边界条件的形式上有微小差别。 最优输出调节器的最优控制函数不是输出的函数，仍是状态的现行函数，所以，构成最优控制系统需要全部状态信息反馈。,.,4.3.5 无限时间定常输出调节器 定理： 设线性定常系统方程为 性能指标为 u(t)无约束，若矩阵对A,B完全可控，A,D完全可观，其中DDT=CTQC,则存在使J=min的唯一最优控制,(29),.,最优性能指标为 式中 为对称正定矩阵，满足如下Riccati方程 最优闭环系统 渐进稳定，其解为最优轨线x*(t)。 证明：将y(t)=

30、 C(t)x(t)代入性能指标(29)可得 其中Q1=CTQC . 因为Q0 必有Q1 0，令 Q1 =DDT ,.,由无限时间定常状态调节器定理可得本结论。,.,由已知可得到 检验系统的可控与可观性,.,可知满足可控与可观性的要求，利用Riccati方程求出 得到最优控制 将最优控制代入系统方程，检验闭环系统的稳定性，经检验闭环系统确实是渐进稳定的。,.,4.3.6 有限时间时变输出跟踪系统 定理： 设线性定常系统方程为 性能指标为 u(t)无约束，则存在使J=min的最优控制为 其中P(t)为对称非负实矩阵，满足,.,及边界条件 的唯一解。g(t)为伴随状态向量，满足方程 及边界条件 闭环

31、最优跟踪系统,.,在初始条件下的最优轨线为x*(t)。 证明：利用极小值原理进行证明，构造哈密尔顿函数 由极值条件，在u(t)不受约束时，有 则,.,由正则方程可知 横截条件 假设 式中P(t),g(t)待定。对上式求导可得,(30),(31),(32),(33),(34),.,将(33)代入(30)，再将得到的 代入(34)，可得 再将(33)代入(31)可得 比较上面两个式子可得到 因为上式对任何状态x(t)和任何理想输出z(t)都成立，故等式两端对应项相等，可得到P(t)和g(t)满足的微分方程。,.,在(33)中，令t=tf, 与(32)比较，可得结论中的边界条件。因为P(t)与g(t

32、)均可解，所以将(33)代入u*(t)可得到最优控制表达式，再将最优控制代入状态方程中可得到最优轨线x*(t).,4.3.7 无限时间定常输出跟踪系统 定理： 设线性定常系统方程为 性能指标为,.,e(t)为输出误差向量，并且e(t)= .若矩阵对A,B可控，A,C可观，则使性能指标J极小的近似最优控制为 式中 为对称正定常阵，满足 常值伴随向量为 将最优控制代入系统方程，得到相应的闭环系统的解为最优轨线x*(t).,.,.,解：由条件可知 性能指标可表示为 则 因此，可控可观。,.,解Riccati方程，得 求伴随向量 确定近似最优控制 将最优控制律代入系统方程，得到闭环系统方程，然后判断是

33、否稳定，通过计算闭环系统确实是渐进稳定的。,.,4.4 动态规划,4.4.1 最优性原理 4.4.2 离散动态规划 4.4.3 连续动态规划,返回主目录,动态规划法与极小值原理一样，是处理控制变量受约束时，确定最优控制解的有效数学方法。,.,4.4.1 多级决策问题,.,最优性原理 离散系统最优性原理：不论初始状态和初始决策如何，当把其中任何一级和状态再作为初始级和初始状态时，其余决策对此必定也是一个最优策略。 连续系统最优性原理：若对于初始时刻t0和初始状态x(0), u*(t)、x*(t)是所讨论系统的最优控制和最优轨线，则对于时刻t1(t1t0)和相应状态x(t1), u*(t)、x*(

34、t)仍是该系统的最优控制和最优轨线。,.,(2) 动态规划的基本递推方程 问题：设N级决策过程的动态方程为 式中，控制决策约束u(k) , k=0,1,2,N-1；代价函数(性能指标)为 假设f(.)和L(.)连续，L(.)正有界。求最优控制序列u(0),u(1),u(N-1),使代价函数极小。,(35),.,说明：上述问题中，k表示N级决策过程中的阶段变量，x(k)表示第k+1级的初始状态，u(k)表示第k+1级采用的控制向量。问题中的假设是为了保证最优控制序列的存在。 设有N-k级决策过程,.,式中，j=k,N-1,u=u(k),u(N-1). 则始自第k级任一容许状态x(k)的最小代价为

35、 上式中右端第一项是第k级所付出的代价；第二项是从第k+1级到第N级的代价和。因此式中求极小的运算分,.,为两部分：在本级决策u(k)作用下求极小，以及在剩余决 策序列u(k+1),u(N-1)作用下求极小，则上式变为,(36),.,根据最优性原理，如下关系成立 将上式代入(36)得到动态规划基本递推方程 利用上式求解最优控制序列时，从过程的最后一项开始， 逐级逆向递推：首先令k=N-1则由式(37)可得到,(37),.,式中J*xN,N表示代价函数中的末项值。对于(35)问题， 代价函数中无末值项， J*xN,N=0,故式(38)为单级最优 决策问题。 令k=N-2，则由式(37)可得到 式

36、中J*x(N-1),N-1已由式(38)确定，因此上式也是一个单级 最优决策问题。,(38),.,根据(37)逆向逐级递推，最后可以得到J*x(0),0.最后一步 的递推解及最优策略正是我们要求的最优解。,式中的状态及控制均不受约束。求最优控制序列u*(0), u*(1),u*(2)，使代价函数极小。,.,解：本题属于N=3级最优决策问题。根据递推方程(37) 令k=2 根据代价函数的末值项及系统方程，有 所以 因为u(k)无约束，令 可得,.,令k=1 可得,令k=0 可得,.,代入已知的x(0)，按正向顺序求出 因此最优控制、最优轨线及最优代价为,.,采用离散动态规划方法，可以方便地求出控制与状态变量均有约束时离散系统的最优控制问题。 离散最优控制问题的动态规划解 设非线性离散系统的状态差分方程为 其中，k=0,1,N-1. 代价函数为 求最优控制序列u*(k),使代价函数最小。,4.4.2 离散动态规划,(39),.,根据动态规划的基本递推方程，分以下步骤进行求解： 求第N级最