最优控制理论课件

1、2021-7-2现代控制理论1 2021-7-22 最优控制理论 东北大学信息科学与工程学院 井元伟教授 二九年十一月 2021-7-23 第2章 求解最优控制的变分方 法 第3章 最大值原理 第4章 动态规划 第5章 线性二次型性能指标的最优控制 第6章 快速控制系统 第1章 最优控制问题 最优控制理论 现代控制理论的重要组成部分 20世纪50年代 发展形成系统的理论 研究的对象 控制系统 中心问题 给定一个控制系统，选择控制规律，使系统在某 种意义上是最优的 统一的、严格的数学方法 最优控制问题 研究者的课题，工程师们设计控制系统时的 目标 最优控制能在各个领域中得到应用，效益显著 1.1

2、 两个例子 1.2 问题描述 第1章 最优控制问题 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 2021-7-2现代控制理论7 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为常数 2021-7-2现代控制理论8 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 hv u vg m mKu m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为

3、常数 2021-7-2现代控制理论9 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 hv u vg m mKu m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为常数 初始状态 0 (0)hh 0 (0)vvFMm)0( 2021-7-2现代控制理论10 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 hv u vg m mKu m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为常数 初始状态 0

4、(0)hh 0 (0)vvFMm)0( 终点条件 0)(Th0)(Tv 2021-7-2现代控制理论11 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 hv u vg m mKu m 飞船的质量 h 高度 v 垂直速度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为常数 初始状态 0 (0)hh 0 (0)vvFMm)0( 终点条件 0)(Th0)(Tv )(TmJ 控制目标 2021-7-2现代控制理论12 最优控制问题 1.1 两个例子 例1.1 飞船软着陆问题 hv u vg m mKu m 飞船的质量 h 高度 v 垂直速

5、度 g 月球重力加速度常数 M 飞船自身质量 F 燃料的质量 软着陆 过程开 始时刻 t 为零 K 为常数 初始状态 0 (0)hh 0 (0)vvFMm)0( 终点条件 0)(Th0)(Tv )(TmJ 控制目标 max 0( )u tu推力方案 2021-7-2现代控制理论13 最优控制问题 例1.2 导弹发射问题 最优控制问题 例1.2 导弹发射问题 2021-7-2现代控制理论15 最优控制问题 例1.2 导弹发射问题 ( ) cos( ) ( ) sin( ) F t xt m F t yt m 2021-7-2现代控制理论16 最优控制问题 例1.2 导弹发射问题 ( ) cos(

6、 ) ( ) sin( ) F t xt m F t yt m 初始条件 0)0(x 0)0(y0)0( x 0)0( y 2021-7-2现代控制理论17 最优控制问题 例1.2 导弹发射问题 ( ) cos( ) ( ) sin( ) F t xt m F t yt m 初始条件 末端约束 0)0(x0)0(y0)0( x 0)0( y 1 2 ( ), ( ), ( ), ( )( )0 ( ), ( ), ( ), ( )( )0 gx Ty Tx Ty Ty T gx Ty Tx Ty Ty Th 2021-7-2现代控制理论18 最优控制问题 例1.2 导弹发射问题 ( ) cos

7、( ) ( ) sin( ) F t xt m F t yt m 初始条件 末端约束 指标 0)0(x0)0(y0)0( x 0)0( y 1 2 ( ), ( ), ( ), ( )( )0 ( ), ( ), ( ), ( )( )0 gx Ty Tx Ty Ty T gx Ty Tx Ty Ty Th ( ), ( ), ( ), ( )( )Jx Ty Tx Ty Tx T 2021-7-2现代控制理论19 最优控制问题 例1.2 导弹发射问题 ( ) cos( ) ( ) sin( ) F t xt m F t yt m 初始条件 末端约束 指标 0)0(x0)0(y0)0( x 0

8、)0( y 1 2 ( ), ( ), ( ), ( )( )0 ( ), ( ), ( ), ( )( )0 gx Ty Tx Ty Ty T gx Ty Tx Ty Ty Th ( ), ( ), ( ), ( )( )Jx Ty Tx Ty Tx T )(t控制 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 2021-7-2现代控制理论21 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 0 0 ( )( ( ), ( ), ) ( )|t t x tf x t u t t x tx 2021-7-2现代控制理论22 最优控制问题 1.2 问题描述 (1)

9、状态方程 一般形式为 0 0 ( )( ( ), ( ), ) ( )|t t x tf x t u t t x tx ( ) n x tR为n维状态向量 2021-7-2现代控制理论23 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 0 0 ( )( ( ), ( ), ) ( )|t t x tf x t u t t x tx ( ) n x tR ( ) r u tR 为n维状态向量 为r 维控制向量 2021-7-2现代控制理论24 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 0 0 ( )( ( ), ( ), ) ( )|t t x tf x t

10、u t t x tx ( ) n x tR ( ) r u tR ),(),(ttutxf 为n维状态向量 为r 维控制向量 为n维向量函数 2021-7-2现代控制理论25 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 0 0 ( )( ( ), ( ), ) ( )|t t x tf x t u t t x tx ( ) n x tR ( ) r u tR ),(),(ttutxf 为n维状态向量 为r 维控制向量 为n维向量函数 给定控制规律 )(tu 2021-7-2现代控制理论26 最优控制问题 1.2 问题描述 (1) 状态方程 一般形式为 0 0 ( )( ( )

11、, ( ), ) ( )|t t x tf x t u t t x tx ( ) n x tR ( ) r u tR ),(),(ttutxf 为n维状态向量 为r 维控制向量 为n维向量函数 给定控制规律 )(tu ),(),(ttutxf满足一定条件时，方程有唯一解 最优控制问题 (2) 容许控制 2021-7-2现代控制理论28 最优控制问题 (2) 容许控制 0)(uGU： 2021-7-2现代控制理论29 最优控制问题 (2) 容许控制 0)(uGU： Uu 2021-7-2现代控制理论30 最优控制问题 (2) 容许控制 0)(uGU： Uu 有时控制域可为超方体 2021-7-2

12、现代控制理论31 最优控制问题 (2) 容许控制 0)(uGU： Uu ( ) ii u tm 1,2,ir 有时控制域可为超方体 最优控制问题 (3) 目标集 2021-7-2现代控制理论33 最优控制问题 (3) 目标集 ( ) ( ( ), )0Sx Tx T T 2021-7-2现代控制理论34 最优控制问题 (3) 目标集 ( ) ( ( ), )0Sx Tx T T ( ( ), )x TTn维向量函数 2021-7-2现代控制理论35 最优控制问题 (3) 目标集 ( ) ( ( ), )0Sx Tx T T ( ) T x Tx固定端问题 ( ( ), )x TTn维向量函数

13、2021-7-2现代控制理论36 最优控制问题 (3) 目标集 ( ) ( ( ), )0Sx Tx T T ( ) T x Tx n SR 固定端问题 自由端问题 ( ( ), )x TTn维向量函数 最优控制问题 (4) 性能指标 2021-7-2现代控制理论38 最优控制问题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 2021-7-2现代控制理论39 最优控制问题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 对状态、控制以及

14、终点状态的要求，复合型性能指标 2021-7-2现代控制理论40 最优控制问题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx 2021-7-2现代控制理论41 最优控制问题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx积分型性能指标，表示对整个状态和 控制过程的要求 2021-7-2现代控制理论42 最优控制问

15、题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx 0),(),(ttutxL 积分型性能指标，表示对整个状态和 控制过程的要求 2021-7-2现代控制理论43 最优控制问题 (4) 性能指标 0 ( ( )( ( ), )( ( ), ( ), )d T t J ux TTL x t u t tt 对状态、控制以及终点状态的要求，复合型性能指标 0),(TTx 0),(),(ttutxL 积分型性能指标，表示对整个状态和 控制过程的要求 终点型指标，

16、表示仅对终点状态的要求 2.1 泛函与变分法基础 2.2 欧拉方程 2.3 横截条件 2.4 含有多个未知函数泛函的极值 2.5 条件极值 2.6 最优控制问题的变分解法 第2章 求解最优控制的变分方 法 求解最优控制的变分方法 2.1 泛函与变分法基础泛函与变分法基础 平面上两点连线的长度问题平面上两点连线的长度问题 2021-7-2现代控制理论46 求解最优控制的变分方法 2.1 泛函与变分法基础泛函与变分法基础 平面上两点连线的长度问题平面上两点连线的长度问题 1 2 1 1( )dSx tt 2021-7-2现代控制理论47 求解最优控制的变分方法 2.1 泛函与变分法基础泛函与变分法

17、基础 平面上两点连线的长度问题平面上两点连线的长度问题 1 2 1 1( )dSx tt 一般来说，曲线不同，弧长就不同，即弧长依赖于曲线， 记为 ( ( )S x 2021-7-2现代控制理论48 求解最优控制的变分方法 2.1 泛函与变分法基础泛函与变分法基础 平面上两点连线的长度问题平面上两点连线的长度问题 1 2 1 1( )dSx tt 一般来说，曲线不同，弧长就不同，即弧长依赖于曲线， 记为 ( ( )S x ( ( )S x )(tx 称为泛函 称为泛函的宗量 求解最优控制的变分方法 泛函与函数的几何解释 2021-7-2现代控制理论50 求解最优控制的变分方法 泛函与函数的几何

18、解释 2021-7-2现代控制理论51 求解最优控制的变分方法 泛函与函数的几何解释 ( )( )( )x tx tx t宗量的变分 2021-7-2现代控制理论52 求解最优控制的变分方法 泛函与函数的几何解释 ( )( )( )x tx tx t宗量的变分 泛函的增量 ( ( )( ( )( ( )( ,)( ,)J xJ xxJ xL xxr xx 2021-7-2现代控制理论53 求解最优控制的变分方法 泛函与函数的几何解释 ( )( )( )x tx tx t宗量的变分 泛函的增量 ( ( )( ( )( ( )( ,)( ,)J xJ xxJ xL xxr xx 泛函的变分 ( ,

19、)JL xx 2021-7-2现代控制理论54 求解最优控制的变分方法 泛函与函数的几何解释 连续泛函 宗量的变分趋于无穷小时，泛函的变分也趋于无 穷小 线性泛函 泛函对宗量是线性的 ( )( )( )x tx tx t宗量的变分 泛函的增量 ( ( )( ( )( ( )( ,)( ,)J xJ xxJ xL xxr xx 泛函的变分 ( ,)JL xx 求解最优控制的变分方法 定理2.2 若泛函)(xJ有极值，则必有0J 0 0 xxJJ 上述方法与结论对多个未知函数的泛数同样适用 求解最优控制的变分方法 2.6 最优控制问题的变分解法 2.6.4 终值时间自由的问题 2.6.3 末端受限

20、问题 2.6.2 固定端问题 2.6.1 自由端问题 求解最优控制的变分方法 2.6.1 自由端问题 约束方程 0),( xtuxf 新的泛函 0 T ( ( )( ( , , )( ( , , )d T t Jx TL x u tf x u txt T ( , , )( , , )HL x u tf x u t 0 T ( ( )( , , , )d T t Jx TH xu tx t 0 0 TTT ( ( )( , , , )d T Tt t Jx TH xu txtxx 令 有 哈米顿函数 求解最优控制的变分方法 0 0 TT TTT TTT ( ( ) ()( )( )( ) ( )

21、 ()()d () |( )()()d T t T T t x T Jx TTx T x T HH xux t xu HH x Txu t xxu ( , , , ) ( ) H xu t t x ( ( ) ( ) ( ) x T T x T 0 T ()d0 T t H Ju t u 0 u H 进行变分 令 有 伴随方程 必要条件 求解最优控制的变分方法 例2.5 )()(tutx 00 ( )x tx 0 22 11 ( )d 22 T t Jcx Tut 哈米顿函数 uutuxfttxLH 2 2 1 ),()(),( 伴随方程 边界条件 ( )0 H t x )()( 2 1 )(

22、 )( 2 TcxTcx Tx T 必要条件 0 u u H 1 c ( )cx T u 求解最优控制的变分方法 )(Tcxu 00 ( )( )()x tcx Tttx 0 0 ( ) 1() x x T c Tt 0 0 ( )( ) () cx u tcx T c Tt 最优控制 代入状态方程并求解 令t T 求解最优控制的变分方法 2.6.2 固定端问题 0 0 ( ) t t x tx TT xtx)( 0 ( , , )d T t JL x u tt 性能指标 0 0 TTT ()d T Tt t JHx txx 0 TT ()()d T t HH Jxut xu ( ) H t

23、x 0 T ()d0 T t H u t u 0 u H 分部积分 进行变分 令变分为零 求解最优控制的变分方法 边界条件 1(0) 1x 2(0) 1x 1(2) 0 x 2(2) 0 x 2 2 0 1 d 2 Jut 指标泛函 例2.6 考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函 J 取得极小值。 系统的状态方程： 12 ( )( )x tx t 2( ) ( )x tu t 2021-7-2现代控制理论63 求解最优控制的变分方法 2 0 H u u 212 uata 12 xx 212 xua ta 32 11234 11 62 xa ta ta

24、ta 2 2123 1 2 xata ta 2 7 3)( ttu 32 1 17 ( )1 24 x tttt 2 2 37 ( )1 22 x ttt 哈米顿函数 2 122 1 2 Huxu 伴随方程 1 1 ( )0 H t x 21 2 ( )( ) H tt x 11 ( ) ta 212 ( ) tata 由状态方程 代入初始和终端条件，可求得 1234 7 3 1 1 2 aaaa， 2021-7-2现代控制理论64 求解最优控制的变分方法 4. 考虑如下系统的终端固定的最优控制问题，求取最优控制 和最优状态曲线，使指标泛函J取得极小值。 系统的状态方程为： 12 ( )( )

25、x tx t 2( ) ( )x tu t 其边界条件为： 1(0)1x 2(0) 1x 1(1) 0 x 2(1) 0 x 1 2 0 1 d 2 Jut 其指标泛函为： 2021-7-2现代控制理论65 求解最优控制的变分方法 哈米顿函数 2 122 1 2 Huxu 伴随方程 1 1 ( )0 H t x 21 2 ( )( ) H tt x 11 ( ) ta 212 ( ) tata 2 0 H u u 212 uata 12 xx 212 xua ta 32 11234 11 62 xa ta ta ta 2 2123 1 2 xata ta 2021-7-2现代控制理论66 求解

26、最优控制的变分方法 32 11234 11 62 xa ta ta ta 2 2123 1 2 xata ta 32 11234 11 00001 62 xaaaa（ ） 2 2123 1 0001 2 xaaa（ ） 4 1a 3 1a 32 112 11 1111 10 62 xaa （） 2 212 1 111 10 2 xaa （） 12 11 20 62 aa 12 1 10 2 aa 1 1 30 6 a2 10a 1 18a 求解最优控制的变分方法 2.6.3 末端受限问题 ( ( )0 j gx Tnkj, 2 , 1( ( )0G x T 新的泛函 0 T ( ( )( (

27、)()d T T t Jx Tv G x THxt 0 TTT 0 ( ( )( ) ( )( )( ) ( )d T t Jx TT x TT xHt x tt T ( ( )( ( )( ( )x Tx Tv G x T 0 TTT ( )( )()()d T t HH JTx Txut xxu 变分 求解最优控制的变分方法 H x 1 ( ( ) ( ) ( )( )( ) k j Tj j g x T tv x Tx Tx T 0 T ()d0 T t H u t u 0 u H 必要条件 H tx ) ( 0 0 ( ) t x tx ( ) H t x ( ( ) ( ) ( )

28、T x T t x T 求解最优控制的变分方法 2.6.4 终值时间自由的问题 T 有时是可变的，是指标泛函，选控制使有 T 极小值 TT ( ( ), )( ( ), ) ()( )() ( ) T x T Tx T T Jx TTHxT x TT 0 TTT ()()d t HH xux t xu TT ( ( ), )( ( ), ) ()( )() ( ) T x T Tx T T x TTHxT x TT 0 TT ()|()()d T T t HH xxut xu 变分 求解最优控制的变分方法 ( ) ( ) TT TT x TxxT xx TxT T ( ( ), )( ( ),

29、 ) ()( )( )( ) ( ) x T Tx T T JTx TTH TT x TT 0 TT ()()d0 T t HH xut xu H x ( ( ), ) ( ) ( ) x T T T x T 0 ( ( ), ) ( ) H u x T T H T T 必要条件 求解最优控制的变分方法 例2.7 )()(tutx1)0(x 22 0 ( )(1)d T Jsx Tut 指标泛函 哈米顿函数 uuH 2 1 伴随方程 0 H x ( ( ), ) ( )2( ) ( ) x T T Tsx T x T 02 u u H 必要条件 0)(1)( 2 TT uuTH )()(Tsx

30、tu 1 ( )1u ts s s T 1 1 3.1 古典变分法的局限性 3.2 最大值原理 3.3 变分法与极大值原理 第3章 最大值原理 最大值原理 3.1 古典变分法的局限性 u(t)受限的例子 例3.1)()()(tutxtx1)0(x 1)(tu 1 0 ( )dJx tt ( )( )( )( )Hx ttx tu t 1)()( t x H t 0) 1 ( 0)( t u H 伴随方程 极值必要条件 矛盾! 最大值原理 3.2 最大值原理 定理3.1 (最小值原理) 设为 容许控制， 为对应的积分 轨线，为使 为最优控制， 为最优轨线，必存在一向 量函数 ，使得 和 满足正则

31、方程 )(tu( )x t )(tu ( )x t )(t( )x t )(t ( ) H x t ( ) H t x 且 min( ), ( ), ( ), )( ), ( ),( ), ) u U H x tt u t tH x tt u t t 最大值原理 最小值原理只是最优控制所满足的必要条件。但对于线 性系统 ( )( ) ( )( ) ( )x tA t x tB t u t 111 1 ( )( ) ( ) ( )( ) n nnn atat A t atat 1( ) ( ) ( ) n b t B t b t 最小值原理也是使泛函取最小值得充分条件。 最大值原理 例3.2 重

32、解例3.1 哈密顿函数 ( )( )( )( )(1) ( )( )Hx ttx tu tx tu t 伴随方程 1)()( t x H t 0) 1 ( 由极值必要条件，知 1 sign 1 u 0 0 01)( 1 t et01t 又 于是有1)( tu 最大值原理 1)()(txt x 1)0(x 12)( t etx 1 1 0 d21Jxte )(tu 协态变量与控制变量的关系图 最大值原理 例3.3 )()()(tutxtx1)0(x1)(tu 1 0 1 ()d 2 Jxut 性能指标泛函 哈密顿函数 11 ()(1)() 22 Hxuxuxu 伴随方程 1)( x H t 0)

33、 1 ( 1 ( )(1) t te 1 sign() 2 u 10ln 2 ( ) 1ln1 2 e t u t e t 最大值原理 10ln 2 1ln1 2 e xt xxu e xt 2 ln, 0 e 上有 12)( t etx 1x x 14) 2 (ln 1 e e x 1)2()( t eetx 最大值原理 210ln 2 ( ) (2)1ln1 2 t t e et x t e e et 协态变量与控制变量的关系图 整个最优轨线 最大值原理 例3.4 121 22 , (0)0 , (0)0 xxx xux 1u 把系统状态在终点时刻转移到 ( 12 1 )( ) 4 x T

34、x T 性能指标泛函 2 0 d T Jut 终点时刻是不固定的 哈米顿函数 2 122 Huxu 伴随方程 1 1 21 2 0 H x H x 1 a 2 bat 最大值原理 H是u的二次抛物线函数，u在 上一定使H有最小值， 可能在内部，也可能在边界上。 11u 最优控制可能且只能取三个值 2 20 H u u 2 11 () 22 ubat 1u 1u 此二者都不能使状态变量同时满 足初始条件和终点条件 23 1 2 2 1 11 ( )() 2 26 11 ( )() 22 x tbtat x tbtat 23 1 2 2 1 111 ( )() 2 264 111 ( )() 22

35、4 x TbTaT x TbTaT 最大值原理 2 122T 222 ( )()| 11 ()()()0 442 H Tuxu a baTbaTabaT 0b 9 1 a3T 18 )( t tu 3 1 ( ) 108 t x t 36 )( 2 2 t tx 36 1 J 最优控制 最优轨线 最优性能指标 最大值原理 例3.5 12 xx 2 xu 1(0) 0 x 2(0) 2x 1)(tu 使系统以最短时间从给定初态转移到零态 1( ) 0 x T 2( ) 0 x T 0 1d T JTt uxH2211 哈米顿函数 伴随方程 1 1 0 H x 21 2 H x 1( ) t a

36、2( ) t bat 2 signsign()ubat 最大值原理 最优控制切换及最优轨线示意图 最大值原理 3.3 古典变分法与最小值原理 古典变分法适用的范围是对u无约束，而最小值原理一般都 适用。特别当u不受约束时，条件 min(, , , ) u U H xu t 就等价于条件 0 u H 4.1 多级决策过程与最优性原理 4.2 离散系统动态规划 4.3 连续系统动态规划 4.4 动态规划与最大值原理的关系 第4章 动态规划 动态规划 动态规划是求解最优控制的又一种方法，特别 对离散型控制系统更为有效，而且得出的是综合控 制函数。这种方法来源于多决策过程，并由贝尔曼 首先提出，故称贝

37、尔曼动态规划。 动态规划 4.1 多级决策过程与最优性原理 作为例子，首先分析最优路径问题 (a) (b) (c) 试分析(a),(b)和(c)三种情况的最优路径，即从 走到 所需 时间最少。规定沿水平方向只能前进不能后退。 0 x T x 动态规划 (a)中只有两条路径，从起点开始，一旦选定路线，就直 达终点，选最优路径就是从两条中选一条，使路程所用 时间最少。这很容易办到，只稍加计算，便可知道，上 面一条所需时间最少。 (b)共有6条路径可到达终点，若仍用上面方法，需计算6 次，将每条路线所需时间求出，然后比较，找出一条时 间最短的路程。 (c)需计算20次，因为这时有20条路径，由此可见

38、，计算 量显著增大了。 动态规划 逆向分级计算法 逆向是指计算从后面开始，分级是指逐级计算。逆向 分级就是从后向前逐级计算。 以(c)为例 从倒数第一级开始，状态有两个，分别为 51 x和 52 x 在 51 x 处，只有一条路到达终点，其时间是3；在 处，也只有一条，时间为1。后一条时间最短，将此时间 相应地标在 点上。 52 x 52 x 并将此点到终点的最优路径画上箭头。 动态规划 然后再考虑第二级 41 x 只有一种选择，到终点所需时间是 639 42 x 有两条路，比较后选出时间最少的一条，即4+1=5。 用箭头标出 43 x也标出最优路径和时间 依此类推，最后计算初始位置 求得最优

39、路径 101222324252T x x x x x x x 最短时间为 13 动态规划 最优路径示意图 2021-7-2现代控制理论94 动态规划 5. 利用逆向分级计算法求解如下的最优路径问题 从倒数第一级开始，状态有两个，分别为 31 x和 32 x 在 31 x处，只有一条路到达终点，其时间是4；在 处，也只有一条，时间为3。后一条时间最短，将此时间 相应地标在 点上。 32 x 32 x 并将此点到终点的最优路径画上箭头。 2021-7-2现代控制理论95 动态规划 然后再考虑第二级，亦即倒数第二级 21 x 只有一种选择，到终点所需时间是 246 22 x 有两条路，比较后选出时间

40、最少的一条，即2+4=6。 用箭头标出 23 x 也标出最优路径和时间 3+3=6 2021-7-2现代控制理论96 动态规划 然后再考虑第一级，亦即倒数第三级 11 x 有两种选择，到终点所需时间是分别是，保留前者 3249（） 12 x 有两条路，比较后选出时间最少的一条，即 2+(2+4)=8 和 2+(3+3)=8。用箭头标出。 42410（） 2021-7-2现代控制理论97 动态规划 最后再考虑第一级，亦即倒数第四级 0 x 有两种选择，到终点所需时间是分别是 132410（） 或 2+(2+3+3)=10。于是，最短路经有3条，时间为10。 222410（） 求得最优路径 011

41、213101222310122332 , , , TTT x x x x xx x x x xx x x x x 动态规划 多级过程 1 (), 0,1 kk xf xkN 多级决策过程 1 (,), 0,1 kkk xf x ukN 目标函数 011011 (,;,) NN JJ x xxu uu 控制目的 选择决策序列 011 , N u uu 使目标函数取最小值或最大值 实际上就是离散状态的最优控制问题 动态规划 最优性原理 在一个多级决策问题中的最优决策具有 这样的性质，不管初始级、初始状态和初始 决策是什么，当把其中任何一级和状态做为 初始级和初始状态时，余下的决策对此仍是 最优决策

42、。 动态规划 指标函数多是各级指标之和，即具有可加性 1 0 (,) N kk k JL x u 最优性原理的数学表达式 01 011 0 1 * 0 , 0 1 00 , 1 * 001 ()opt (,) opt( (,)opt (,) opt( (,)() N N N kk uu k N kk uuu k u JxL x u L x uL x u L x uJx 动态规划 4.2 离散系统动态规划 n阶离散系统 1 (,), 0,1 kkk xf x ukN 性能指标 1 0 (,) N kk k JL x u 求决策向量 01 , N uu 使 有最小值（或最大值），其终点可自由，也可

43、固定或 受约束。 J 动态规划 引进记号 1 1 * , ()()min( ,) kN N kkii uu i k V xJxL x u 应用最优性原理 0 0001 ()min(,)( ) u V xL x uV x 可建立如下递推公式 1 1 111 ()min( (,)()min( (,)( (,) ()min (,) kk N kkkkkkkk uu NNN u V xL x uV xL x uV f x u V xL xu 贝尔曼动态规划方程 动态规划 例4.2 设一阶离散系统，状态方程和初始条件为 10 0 , kkkk k xxuxx 性能指标 1 222 0 () N Nkk

44、k Jxxu 求使 有最小值的最优决策序列和最优轨线序列 J 指标可写为 22222 001111 ()Jxuxuxu 动态规划 1 111 1 ( ) 22()0 J x uxu u 1 112 ux *2222 311 111111222 ( )()()Jxxxxxx 代入 1 ()J x 22* 0001 222222 33 001000022 ()() () J xxuJx xuxxuxu 上一级 0 000 0 () 23()0 J x uxu u 3 005 ux *2 8 005 ()Jxx 动态规划 代入状态方程 0 u 32 10000055 xxuxxx * 11 1102

45、5 uxx 1 21105 xxux 最优决策序列 最优轨线 * 3 005 ux * 1 105 ux 0 x 2 105 xx 1 205 xx 动态规划 4.3 连续系统的动态规划 00 ( , , ), ( )xf x u tx tx ( )u tU 性能指标 ( ( )( , , )d T t Jx TL x u tt 目标集 |( ( )0Ssx T 引进记号 * ( ) ( , )( ),( )min( ( ), ( ) u tU V x tJ x t u tJ x t u t 根据最优性原理及 ( ) ( (),)min( ( ), ( ), )d( ( ), ) T u tU

46、 tt V x tt ttL x t u t ttx T T 动态规划 ( ) ( ) ( ) ( ) ( ( ), )min( ( ( ), )( ( ), ( ), )d ) min( ( ), ( ), )d( ( ), ( ), )d( ( ), ) min( ( ), ( ), )d min( ( ), ( ), )d( ( ), ) min T u tU t ttT u tU ttt tt u tU t T u tU tt u V x t tx T TL x t u t tt L x t u t ttL x t u t ttx T T L x t u t tt L x t u t

47、ttx T T ( ) ( ( ), ( ), )d )( (),) tt tU t L x t u t ttV x tt tt 动态规划 由泰勒公式，得 T2 d ( (),)( ( ), )()() d VxV V x tt ttV x t tttot xtt 由中值定理，得 ( ( ), ( ), )d( (), (),) tt t L x t u t ttL x tt u tt ttt ( ) T2 ( ( ), )min( ( (), (),) d ( ( ), )()() d u tU V x t tL x tt u tt ttt VxV V x t tttot xtt 动态规划

48、2 T ( ) d() min( ( (), (),)() d u tU VVxot L x tt u tt tt txtt T ( ) ( , ) min( ( , , )()( , , ) u tU VV x t L x u tf x u t tx 0t 连续型动态规划方程 实际上它不是一个偏微分方程，而是一个函数方 程和偏微分方程的混合方程 动态规划 ( , ) V u xt t 满足连续型动态规划方程，有 设 T ( ( , , )()( , , ) VV L x u tf x u t tt 边界条件 ( ( ), )( ( ), )V x T Tx T T 动态规划 动态规划方程是最

49、优控制函数满足的充分条件； 解一个偏微分方程；可直接得出综合函数 ；动态规划 要求 有连续偏导数 最大值原理 最大值原理是最优控制函数满足的必要条件； 解一个常微分方程组；最大值原理则只求得 。 ( , )u x t ( )u t ( , )V x t 动态规划 例4.3 一阶系统 ( )( )x tu t 00 ( )x tx 0 22 11 22 ( )d T t Jcx Tut 性能指标 动态规划方程 T2 1 2 ( )( ) min( ( , , )()( , , )min() u tu t VVV L x u tf x u tuu ttt 右端对u求导数，令其导数为零，则得 V u

50、 t 2 1 2 () VV tt 2 1 2 ( , )( )( )V x tp t x t 2 ( )( ), ( )p tp tp Tc ( ) 1() c p t c Tt 2 1 ( , ) 21() cx V x t c Tt * 1() Vc u tc Tt 动态规划 4.4 动态规划与最大值原理的关系 变分法、最大值原理和动态规划都是研究最优控制问 题的求解方法，很容易想到，若用三者研究同一个问题， 应该得到相同的结论。因此三者应该存在着内在联系。变 分法和最大值原理之间的关系前面已说明，下面将分析动 态规划和最大值原理的关系。可以证明，在一定条件下， 从动态规划方程能求最大值

51、原理的方程。 动态规划 T ( ) min( ( , , )()( , , ) u t VV L x u tf x u t tt 动态规划方程 T ( ) min( ( , , )( , , ) u t V L x u tf x u t t ( ) V t x 令 哈米顿函数 最大值原理的必要条件 5.1 问题提出 5.2 状态调节器 5.3 输出调节器 5.4 跟踪问题 5.5 利用Matlab求解最优控制 第5章 线性二次型性能指标的最优控制 线性二次型性能指标的最优控制 用最大值原理求最优控制，求出的最优控制通常是时间 的函数，这样的控制为开环控制。 当用开环控制时，在控制过程中不允许有

52、任何干扰，这 样才能使系统以最优状态运行。 在实际问题中，干扰不可能没有，因此工程上总希望应 用闭环控制，即控制函数表示成时间和状态的函数。 求解这样的问题一般来说是很困难的。 但对一类线性的且指标是二次型的动态系统，却得了完 全的解决。不但理论比较完善，数学处理简单，而且在工程 实际中又容易实现，因而在工程中有着广泛的应用。 线性二次型性能指标的最优控制 5.1 问题提法 动态方程 ( )( ) ( )( ) ( )x tA t x tB t u t ( )( ) ( )y tC t x t 指标泛函 0 TTT 11 ( )( )( ) ( ) ( )( ) ( ) ( )d 22 T t

53、 JxT Sx Txt Q t x tut R t u tt 求( , )u x t使之有最小值 ( , )u x t 此问题称线性二次型性能指标的最优控制问题 通常称为综合控制函数 线性二次型性能指标的最优控制 指标泛函的物理意义 积分项，被积函数由两项组成，都是二次型。 第一项 过程在控制过程中，实际上是要求每个分量越小 越好，但每一个分量不一定同等重要，所以用加权来调整， 当权为零时，对该项无要求。 第二项控制能力能量消耗最小。对每个分量要求不一 样，因而进行加权。要求正定，一方面对每个分量都应有要 求，否则会出现很大幅值，在实际工程中实现不了；另一方 面，在计算中需要有逆存在。 指标中

54、的第一项是对点状态的要求，由于对每个分量要求 不同，用加权阵来调整。 线性二次型性能指标的最优控制 5.2 状态调节器 5.2.1 末端自由问题 5.2.2 固定端问题 5.2.3 T 的情况 状态调节器 选择 或 使系 统性能指标 有最小值 ( )u t ( , )u x t 线性二次型性能指标的最优控制 5.2.1 末端自由问题 构造哈密顿函数 TTTT 11 22 ( )( )( )( )Hx Q t xu R t uA t xB t u 伴随方程及边界条件 T ( )( )( ) ( ) H tA tQ t x t x ( )( )TSx T 最优控制应满足 TT ( ) ( )( )

55、0 H Rt u tBt u *1T ( )( )( ) ( )u tRt Btt 代入正则方程 线性二次型性能指标的最优控制 1T 00 ( )( ) ( )( )( )( ) ( ), ( )x tA t x tB t Rt Bttx tx T ( )( ) ( )( ) ( ), ( )( )tA ttQ t x tTSx T ( )( ) ( )tP t x t 1T 1T ( )( ) ( )( ) ( ) ( ) ( )( )( ( ) ( )( )( )( ) ( ) ( ( )( ) ( )( ) ( )( )( ) ( ) ( ) tP t x tP t x t P t x

56、tP tA t x tB t Rt Btt P tP t A tP t B t Rt Bt P tx t 求导 TT ( )( ) ( )( ) ( )( )( ) ( ) ( )tQ t x tA ttQ tA t P t x t T1T ( )( ) ( ) ( )( ( )( ) ( )( ) ( )( )( ) ( ) ( )Q tAt P tx tP tP t A tP t B t Rt Bt P tx t 线性二次型性能指标的最优控制 T1T ( )( ) ( )( ) ( )( ) ( )( )( ) ( )( )0P tP t A tA t P tP t B t Rt Bt P

57、 tQ t （矩阵黎卡提微分方程） 边界条件 ( )P TS 最优控制 *1T ( , )( )( ) ( )ux tRt Bt P t x 1T ( )( )( ) ( )K tRt Bt P t *( , ) ( )ux tK t x 令 最优控制是状态变量的线性函数 借助状态变量的线性反馈可实现闭环最优控制 ( )P t对称半正定阵 线性二次型性能指标的最优控制 例5.1 , (0)1xaxux 0 222 11 22 ( )( )( )d T t Jsx Tqx tru tt 性能指标泛函 * 1 ( )up t x r 最优控制 黎卡提微分方程 2 1 ( )2( )( ), ( )

58、p tap tp tqp Ts r ( ) ( ) 2 d d 1 2 p TT p tt p papq r 2 () 2 () / ()() / ( ) / 1 / b t T b t T s r e s r p tr s r e s r 2 q a r 线性二次型性能指标的最优控制 最优轨线的微分方程 1 ( )( ) ( ), (0)1x tap tx tx r 0 ( )/ )d ( ) t ap tr x te 解 最优轨线 最优控制 1a 0s 1T 1q 线性二次型性能指标的最优控制 黎卡提方程的解 随终点时间变化的黎 卡提方程的解 2 lim( , ) T q p t Tarr

59、a r 线性二次型性能指标的最优控制 5.2.2 固定端问题 0 TT ( ) ( ) ( )( ) ( ) ( )d T t Jxt Q t x tut R t u tt 指标泛函 （设）( )0 x T 采用“补偿函数”法 0 TTT 11 ( )( )( ) ( ) ( )( ) ( ) ( )d 22 T t JxT Sx Txt Q t x tut R t u tt 补偿函数 惩罚函数 ( )P TS 边界条件 黎卡提方程 逆黎卡提方程 线性二次型性能指标的最优控制 1 ( )( )P t PtI 11 ( )( )( )( )0P t PtP t Pt 求导 1111T 1T11

60、( ) ( )( )( )( )( )( ) ( )( )( )( ) ( )( )0 Pt P t PtA t PtPt At B t Rt BtPt Q t Pt 黎卡提方程 1( ) Pt 乘以 111T1T11 ( )( )( )( )( )( )( )( )( ) ( )( )0PtA t PtPt AtB t Rt BtPt Q t Pt 逆黎卡提方程 1( ) Pt ( )P t 解 逆 线性二次型性能指标的最优控制 5.2.3 T 的情况 0 TT 1 2 ( ) ( ) ( )( ) ( ) ( )d t Jxt Q t x tut R t u tt 性能指标 无限长时间调节