动态规划原理与最优控制.ppt

1、1,第 7 章动态规划在最优控制中的应用,2,动态规划 求解最优控制问题的有效方法之一 二十世纪五十年代由 Bellman 提出 动态规划与极小值原理在数学上是等效的 从不同的角度发展了古典变分学,3,最优性原理 多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。,4,主要内容,离散动态规划 离散动态规划在离散系统最优控制中的应用 连续动态规划在连续系统最优控制中的应用,5,7.1 离散动态规划,最优性原理 动态规划的基础 若一个 N 级决策系统是最优的,则以第 k 级（ ）决策所形成的状态作为初态的任何一个 N -

2、 K 级子决策也必然是最优的。,6,根据最优性原理 确定了一个从后向前的递推过程 基于最优性原理的动态规划方法 成为解决最优控制问题的有力工具,7,动态规划原理,求从S F 点路程最短的方法,8,枚举法,S X1(1) X1(2) X1(3) F 4+6+1+4=15 S X1(1) X2(2) X1(3) F 4+6+2+4=16 S X1(1) X2(2) X2(3) F 4+6+2+3=15 S X1(1) X1(2) X2(3) F 4+6+1+3=14 S X2(1) X1(2) X1(3) F 5+4+1+4=14 S X2(1) X1(2) X2(3) F 5+4+1+3=13

3、S X2(1) X2(2) X1(3) F 5+7+2+4=18 S X2(1) X2(2) X2(3) F 5+7+2+3=17,9,可能解数量为 2(n-1) n = 4, 为 23 = 8 种. 加法次数为：(n-1)* 2(n-1) n = 4, 为 (4-1) * 23 = 24 次. 若n = 10, 则可能解数为： 2(10-1) = 29 = 512 种. 加法 (10-1) * 29 = 9 * 29 = 9 * 512 = 4608 次.,10,动态规划法,从最后一级开始： J X1(3) =4 J X2(3) =3 ,J*X1(3) =4 ,J *X2(3) =3 倒数第

4、二级： 路线 X1(2) X1(3) F J =1+J* X1(3) = 5 X1(2) X2(3) F J* =1+J*X2(3) =4 X2(2) X1(3) F J =2+J*X1(3) = 6 X2(2) X2(3) F J * =2+J*X2(3) = 5 J*X1(2) = 4, J*X2(2) = 5,11,倒数第三级 路线 X1(1) X1(2) F J * = 6 + 4 = 10 X1(1) X2(2) F J = 6 + 5 = 11 X2 (1) X1(2) F J* = 4 + 4 = 8 X2(1) X2(2) F J = 7 + 5 = 12 J * X1(1)

5、= 10 , J *X2(1) = 8,12,第一级 路线 S X1(1) F J = 4 + 10 = 14 S X2(1) F J* = 5 + 8 = 13 即 J * S = 13,13,最优决策为 S X2(1) X1(2) X2(3) F J* S = 13 加法次数: 4 * (n-2) + 2 次 n = 4时， 4 * (4-2) + 2 = 10 次,14,各个状态到终点的最短距离,J*S = 13 J*X1(1) = 10 J*X2(1) = 8 J*X1(2) = 4 J*X2(2) = 5 J*X1(3) =4 J *X2(3) =3,15,16,设离散系统的状态方程

6、为 x n 维状态向量，u m 维控制向量 始端 和终端 固定,7.2 离散动态规划在离散系统最优控制中的应用,17,求最优控制序列 使目标泛函 取极小值,18,动态规划的目的 使 J 最小 即 将以 为初态的 N-j(=k) 级最优决策,19,根据最优性定理 如果 N 级决策是最优的 则以在前 j 1 决策上形成的 为初态的 N j 级决策是最优决策 从这点出发，形成了逆向递推的最优化方法，这种方法被称为动态规划,20,根据最优性定理 利用动态规划方法形成递推公式 当终端固定时 直接利用递推公式求解最优控制问题,21,22,令：,23,24,例 1 设离散系统的状态方程为 已知 求最优控制

7、u 使目标泛函为 最小,25,解：由递推公式,K=3时,26,上述最优化问题的解为,最优目标函数为,K=2时,27,K=1时,求解可得,最优目标函数为,28,K=0时,求解可得,最优目标函数为,29,求解的结果,30,31,7.3 连续动态规划在连续系统最优控制中的应用,动态规划 可用于连续系统的优化问题 对于连续系统 根据最优性原理 可得到 Hamilton-Jacobi 方程,32,对于连续系统 x n 维状态向量，u m 维控制向量 且容许控制 u 在 m 维欧氏空间 的某一给定域 中取值即,33,已知始端固定 即 求最优控制 使目标泛函 取极小值,（3）,34,由最优性原理推导出极大值

8、原理 定义 式中 而x(s)是在区间 上和最优控制函数有关的轨线，其中 ，且 给定。,（4）,（5）,35,显然 所有 都满足 假设 V 存在，连续 并且具有连续的一阶和二阶偏导数,（6）,36,推导动态规划的Hamilton-Jacobi方程,（7）,37,（8）,38,等式两边消去 ，得 上式称为Hamilton-Jacobi方程 或者称为 Hamilton-Jacobi-Bellman方程,（9）,39,对于所给最优控制问题，重复以上讨论，导致 由此，对于所有 ，u必须满足,（10）,（11）,（12）,40,上式说明，Lagrange乘子向量（或协态向量）是最小目标函数在最优轨线上的梯度。 从（9）、（10）式可以看出 即在最优轨线上应使Hamilton函数H为全局最小，这正是庞特里亚金的极大值原理。,41,例 1 考虑线性定常系统 式中 假定任何的 都是容许控制 要求找到作为 的函数 ，使得,42,解： 即,43,这样,44,因为 时不变 且最优化是针对一个无限持续的过程 只依赖于初始状态 即,45,由于 故 Hamilton Jacobi 方程变成,46,假设一个解 则 - 对称矩阵,47,则Hamilton-Jacobi方程变成 P必须满足的代数方程,48,