变分法在最优控制中的应用

1、关于变分法在最优控制中的应用现在学习的是第一页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (1/10)1/10)3.1 具有等式约束条件下的变分问题具有等式约束条件下的变分问题 q 具有等式约束条件下,多个宗量函数的泛函极值问题可表示如下。 等式约束变分问题等式约束变分问题 寻找一条连续可微的极值曲线,使性能泛函达到极值, 极值曲线 x(t) 满足微分方程形式的等式约束 式中, 为m维 (mn) 关于t, x 和的非线性向量函数。 0( , ( ), ( )dfttJF ttttxx ( , ( ), ( )0tttxx ( , ( ), ( )tttxx 现在学习的是

2、第二页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (2/10)2/10)q 这里,极值曲线x(t)除满足边界条件和古典变分学中规定的连续可微条件外, 还须满足该等式约束条件。 由于动态系统的状态方程可归为等式约束, 因此该等式约束变分问题是研究最优控制的基础。 下面就给出并证明处理等式约束变分问题的等式约束变等式约束变分定理。分定理。现在学习的是第三页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (3/10)3/10)定理定理 4 4q 定理定理 4(等式约束变分定理) 如果n维向量函数x(t)能使等式约束变分问题取极值,那么,必存在待定的m维拉格

3、朗日乘子向量函数 (t), 使泛函 达到无条件极值,即极值曲线x(t)是上述泛函所满足的欧拉方程和等式约束条件 (47) 的解, 其中01( , ( ), ( ), ( )dfttJH tttttxxd0dHHtxx )(),(,()()(),(,()(),(),(,(tttttttFttttHxxxxxx( , ( ), ( )0(47)tttxx现在学习的是第四页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (4/10)4/10)q 引进拉格朗日乘子可以将泛函的条件极值问题化为一个无条件的极值问题。 引入该定理的作用,仅仅是表明泛函J在等式约束条件下的极值曲线x(t)

4、,同时使得泛函J和J1达到无条件极值。 在后面还要详细讲解具有约束条件下求解极值问题的泛函变分问题。现在学习的是第五页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (5/10)5/10)例例 7 7q 上述欧拉方程和约束条件共有n+m个方程,恰好可以解出n+m个未知函数 x(t) 和 (t)。 通过边界条件确定 x(t) 和 (t) 中的积分常数。 随着终端条件的不同, 边界条件也不同。 在 2.4节和 2.5节所讨论横截条件就能解决这个问题。q 例例 6 火箭在自由空间里的运动作用可用下列微分方程描述式中, u(t)为推力; (t)为角位移。)()(tut 现在学习的是

5、第六页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (6/10)6/10) 令x1(t)=(t), x2(t)=(t),可建立状态方程如下 试求控制函数 u(t),使系统从初始状态经过 t = 2s 转移到状态空间原点, 即且使如下性能指标取极小。uxxx22112(0) = (0) = 1, (0) = (0) = 1xx12(2) = (2) =0, (2) = (2) = 0 xx202d)(21ttuJ现在学习的是第七页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (7/10)7/10)q 解解 该问题属于终端固定的极值问题。 选择向量拉格朗

6、日乘子函数 (t)=1(t), 2(t),由定理4,利用拉格朗日乘子法可得如下辅助泛函指标式中，式中状态变量x(t)、控制函数u(t)和向量拉格朗日乘子函数 (t)都为该泛函的宗量。 在一般形式中没有宗量u(t), 实际上,我们可以把u(t)和x(t)一样来处理,比如,在本例中可以定义u(t)=x3(t)。01( , ( ), ( ), ( ), ( )dfttJH ttt u tttxx2121221( , , , , ) () ()2H tuuxxuxx x现在学习的是第八页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (8/10)8/10) 那么,这些泛函的宗量必须

7、满足如下欧拉方程111212221211222d0 ( )0dd0 ( ) ( )dd0( ) ( )dd0( )( )dd0( )( )dHHtxtxHHttxtxHHu ttutuHHx tx ttHHx tu tt 现在学习的是第九页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (9/10)9/10) 联立求解上述欧拉方程,可得111212221211222d0 ( )0dd0 ( ) ( )dd0( ) ( )dd0( )( )dd0( )( )dHHtxtxHHttxt xHHu ttutuHHx tx ttHHx tu tt 11211212221232121

8、234 ( ) ( ) ( )d( )1( )( )d211( )( )d62tCtttC tCu tC tCx tu ttC tC tCx tx ttC tC tC tC 现在学习的是第十页，共47页具有等式约束条件下的变分问题具有等式约束条件下的变分问题 (10/10)10/10) 利用边界条件可解得 因此, 最优控制函数和状态的最优轨线12*32*27*( )3217*( )( )12437*( )( )22utttx tttttx tttt 123473112CCCC 现在学习的是第十一页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(1/12)

9、1/12)3.2 末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题q 这一节着重讨论末态不受约束的最优控制问题。 所谓末态不受约束, 是指末态x(tf)可在Rn空间中取任何值,即目标集为整个状态空间。 因此,该问题可描述如下。 末态无约束最优控制问题 求一容许控制u(t)U,tt0,tf,在末态时刻tf固定,状态x(tf)无约束,初始状态x(t0)=x0以及被控系统等约束条件下,使如下复合型性能泛函指标达到最小值。( )( ( ), ( ), )ttt txf xu0 ()( (),)( , ( ), ( )dftfftJSttL ttttuxxu现在学习的是第十二

10、页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(2/12)2/12)q 对该最优控制问题,若将动态系统的状态方程改写成等式约束条件则可根据等式约束变分定理等式约束变分定理(定理4)求解该泛函极值问题，两问题只是边界条件不同而已。 引入拉格朗日乘子向量函数 (t),将等式约束条件和原有的性能指标泛函结合成一个新的泛函 泛函J1的极值问题与原泛函J的极值问题等价。 ( ( ), ( ), )( )0tt ttf xux 01 ()( (),) ( ( ), ( ), )( ) ( ( ), ( ), )( )dftfftJSttLtt tttt tttux

11、xuf xux 现在学习的是第十三页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(3/12)3/12) 为方便起见,定义一标量函数如下 该标量函数H称为哈密顿(Hamilton)函数。因此,泛函J1可记为。( ( ), ( ), ( ), )( ( ), ( ), )( ) ( ( ), ( ), )Httt tLtt tttt txuxuf xu00100 ()( (),)( ( ), ( ), ( ), )( ) ( )d( (),)( ) ( )() ()( ( ), ( ), ( ), )( ) ( )dfftfftffffttJSttHttt

12、 ttttSttttttHttt ttttuxxuxxxxxux现在学习的是第十四页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(4/12)4/12)q 求泛函J1的极值问题, 可以直接用欧拉方程(49)来求得极值条件, 并且通过边界条件确定由极值条件得到方程解的积分常数, 如例 6中, 边界条件为系统起点和终点状态。 后面将会给出不同情况下的边界条件。 当然在确定泛函J1的极值条件时, 不是一定要利用欧拉方程 (49) 来求解, 可以根据实际情况进行必要的简化。 就泛函J1而言, 其宗量有 以及u(t)和 (t) ； 前面已经指出, 不必对宗量 (t

13、)变分, 因为对 (t)的变分结果就是约束条件(系统状态方程)。d0(49)dHHtxx0, ( ), ( )ft tx tx t现在学习的是第十五页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(5/12)5/12) 考虑到初始状态 (t0, x(t0), 末态时刻tf固定以及x(tf)自由,泛函J1对其所有的可变宗量的一阶变分为 当选择 (t)满足时，可惟一确定拉格朗日乘子函数 (t)。 于是, 泛函J1的一阶变分可变为fftttttHHSJ0d1uuxxxx( (),),()()ffffSttHtt xxxftttHJ0d1uu现在学习的是第十六页

14、，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(6/12)6/12) 根据泛函极值的必要条件 J1=0, 考虑到变分u(t)的任意性, 由变分学的基本预备定理可得q 联立上述方程以及动态系统的状态方程和初始状态条件x(t0)=x0,可解得 最优控制函数u*(t)、 最优状态轨线x*(t)和 适当的拉格朗日乘子函数 (t)。 上述结果可归纳成如下定理。0HuftttHJ0d1uu现在学习的是第十七页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(7/12)7/12)定理定理 5 5q 定理定理 5(末态无约束最优控制

15、定理) 末态无约束最优控制问题的最优控制函数u*(t), 最优状态轨线x*(t)和适当选择的拉格朗日乘子函数 (t)须满足如下条件:1) 规范方程2) 边界条件3) 极值条件( )( ( ), ( ), )(60)( ) (61)Httt tHLt xf xufxxx00( (),)( ),()()ffffStttttxxxx0 (64)HufftttttHHSJ0d1uuxxxx现在学习的是第十八页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(8/12)8/12)q 在末态无约束最优控制定理的结论中,由上述微分方程以及边界条件可惟一确定出最优状态轨线

16、x*(t)和适当选择的拉格朗日乘子函数 (t)。 上述关于x(t)和 (t)的微分方程通常被称为规范方程,其中 (t)的微分方程又称为协态方程(或共轭方程,伴随方程), 相应地,拉格朗日乘子函数 (t)又称为协态变量或共轭变量。 极值条件H/u=0是一代数方程, 由它联立规范方程的解可求得具体的最优控制函数u*(t)和最优状态轨线x*(t)。现在学习的是第十九页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(9/12)9/12)q 下面讨论哈密顿函数的一个重要性质。 哈密顿函数对时间t的全导数为 考虑到规范方程,则有 再考虑到极值条件H/u=0,于是哈密

17、顿函数对时间t的全导数可表示为ddHHHHHttxuxu0 xxxxHHHHHHtHtHdd现在学习的是第二十页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(10/12)10/12)例例 7 7 上式表明,沿最优轨线哈密顿函数H对时间的全导数等于对时间的偏导数。 因此,当哈密顿函数H不显含时间变量t时,则有H(t)=常数 tt0,tfq 例例 7 已知被控系统为求最优控制u*(t)使如下性能指标泛函取极小。 00,( )xux tx02211()( )d0,22ftfftJCx tuttCt固定。tHtHdd现在学习的是第二十一页，共47页末态时刻固定

18、、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(11/12)11/12)q 解解 这是一个具有tf 固定, x(tf)自由的终端约束的极值问题。 构造哈密顿函数如下, 由极值条件H/u=0可解得u=-。 将其代入规范方程,可得并满足如下边界条件x(t0)=x0 (tf)=Cx(tf)从而解得21( , , , )2H t x u uu-0Hxux 现在学习的是第二十二页，共47页末态时刻固定、末态无约束的最优控制问题末态时刻固定、末态无约束的最优控制问题(12/12)12/12)式中，tf为某一确定的常数。 将u*(t)代入哈密顿函数H得其中(t)为常数。*00*00*000

19、0*0()1()( )()()1()( )( )1()()( )1()ffffffffxx tC ttCxttCx tC ttCxu ttC ttxCx ttx tC tt 2*)(21),(tuxtH现在学习的是第二十三页，共47页末态时刻和末态固定的问题末态时刻和末态固定的问题 (1/5)1/5)3.3 末态时刻和末态固定的问题末态时刻和末态固定的问题 q 对末态的要求不同将导致最优控制问题的结论不同。 上面讨论了无末态约束的问题, 这一小节将研究末态时刻tf和末态x(tf)固定的最优控制问题。q 由于末态时刻tf和末态x(tf)已固定,即x(tf)=xf,因此,性能指标泛函中的末值项S(

20、x(tf),tf)就没有存在的必要。 在这种情况下,最优控制问题的性能指标泛函为如下积分型泛函fttttttLJ0d),(),()(uxu现在学习的是第二十四页，共47页末态时刻和末态固定的问题末态时刻和末态固定的问题 (2/5)2/5)q 因此,该最优控制问题描述如下。 末态固定最优控制问题末态固定最优控制问题对于被控系统(51),始端状态(t0,x(t0)和末态(tf, x(tf)固定时的性能指标泛函(68)极小的最优控制问题。q 与前面的推导过程类似,考虑到末值项S(x(tf),tf)=0,辅助泛函J1可定义为0( )( ( ), ( ), )(51) ()( ( ), ( ), )d(

21、68)fttttt tJLtt tt xf xuuxu01 ()( ( ), ( ), ( ), )( )( )dfttJHttt ttttuxux 就泛函J1而言,其宗量有 以及u(t)和 (t) 。 前面已经指出,不必对宗量 (t)变分,因为对 (t)的变分结果就是系统状态方程。0, ( ), ( )ft tx tx t现在学习的是第二十五页，共47页末态时刻和末态固定的问题末态时刻和末态固定的问题 (3/5)3/5) 因此,考虑到始端和末端固定,即x(tf)=x(t0)=0,泛函J1对其所有宗量的一阶变分为 根据泛函极值的必要条件J1=0, 同样可以导出0001( )( )ddffftt

22、 tt ttttHHJtttHHt xxuxuxuxu0d0fttHHt xuu现在学习的是第二十六页，共47页末态时刻和末态固定的问题末态时刻和末态固定的问题 (4/5)4/5) 当x(tf)固定,即x(tf)=0时, 虽然变分u(t)不再是任意的。 但x(tf)固定是相对的,其值的确定具有任意性,因此,末态x(tf)固定时的最优控制问题的极值条件仍然为 同上一节末态时刻tf固定,末态x(tf)无约束的变分问题相比,边界条件在这里被取而代之的是x(tf)=xf。 综合上述结论,有如下关于末态固定最优控制问题末态固定最优控制问题的定理。0Hu现在学习的是第二十七页，共47页末态时刻和末态固定的

23、问题末态时刻和末态固定的问题 (5/5)5/5)定理定理 6 6q 定理定理 6(末态固定最优控制问题末态固定最优控制问题) 末态固定最优控制问题末态固定最优控制问题的最优控制函数u*(t)、最优状态轨线x*(t)和适当选择的拉格朗日乘子函数 (t)在边界条件x(t0)=x0 x(tf)=xf 下须满足规范方程以及极值条件 0Hu( )( ( ), ( ), )( )Httt tHLt xf xufxxx现在学习的是第二十八页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(1/10)1/10)3.4 末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题q 本小节

24、讨论末态时刻tf固定,末态x(tf)受等式约束的最优控制问题。 该问题可描述为如下：q 末态约束最优控制问题末态约束最优控制问题 对于被控系统 ,末态时刻tf固定,末态x(tf)受等式g(x(tf),tf)=0 约束,如下复合型性能指标泛函取极小的最优控制问题。0 ()( ( ),)( , ( ), ( )d(70)ftfftJSttL tttt uxxu),(),()(ttttuxfxfttffttttLttSJ0d)(),(,(),()(uxxu现在学习的是第二十九页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(2/10)2/10)q 所谓末态约束, 即末态只允许

25、在末端流形(73)上变化。 上述约束条件中向量函数g(x(tf),tf)的维数为p,为使该最优控制问题的解存在,当性能指标泛函中L=0时,pn-1;当L0时,pn。q 上述最优控制问题与3.2所讨论的末态x(tf)无约束的问题相比,只是增加了末态约束条件(73)。 对 该 约 束 条 件 , 可 引 入 待 定 拉 格 朗 日 乘 子 向 量 =1 ,2,p, 定义如下新的辅助泛函式中，哈密顿函数H的定义与前面一致。g(x(tf),tf)=0 (73) fttfffftttttttHttttSJ0d)()(),(),(),(),(),()(1xuxxgxu现在学习的是第三十页，共47页末态时刻

26、末态时刻固定、末态受约束的问题固定、末态受约束的问题(3/10)3/10) 若令则泛函J1可表示为 与3.2所讨论的末态 x(tf) 无约束的问题一样,可得规范方程、极值条件和边界条件。 其中边界条件为01( ( ),)( ( ),)( , , , )dftfffftJSttttHttx g xx u x),(),(),(ffffffttttSttSxgxxfttfftttttttHttSJ0d)()(),(),(),(),()(1xuxxuxxgxxxx)(),()(),()(),()(ffffffffffttttttStttSt现在学习的是第三十一页，共47页末态时刻末态时刻固定、末态受约

27、束的问题固定、末态受约束的问题(4/10)4/10)定理定理 7 7 泛函J1对其宗量的变分结果是x(tf)所满足的等式约束条件g(x(tf),tf)=0,所以,在求泛函J1的变分J1时,和不需要对变分一样,也不需要对 (t)的变分。q 综上所述, 末态时刻tf固定、末态x(tf)受约束的最优控制问题的结论可以归纳为以下定理。 定理定理 7（末态约束最优控制定理）（末态约束最优控制定理）末态约束最优控制问末态约束最优控制问题题的最优控制函数u*(t)、最优状态轨线 x*(t) 和适当选择的拉格朗日乘子函数 (t) 在边界条件下满足规范方程 (61)(62)以及极值条件(64)。 00( ),(

28、 (),)0( (),)( (),)()()()ffffffffftttStttttttxxg xxgxxx现在学习的是第三十二页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(5/10)5/10)q 从定理定理 7 可知,末端受约束不改变该问题求解中的规范方程,只影响边界条件。 与2节相比,增加了边界条件中的末态条件,而且引入了拉格朗日乘子向量 , 其变量数和末态受约束条件个数相等。q 当复合型性能指标泛函中末值型指标S(x(tf),tf)=0时,边界条件可记为( (),)()()ffffttttgxx( )( ( ), ( ), )(60)( ) (61)Httt

29、tHLt xf xufxxx0 (64)Hu现在学习的是第三十三页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(6/10)6/10) 由于g(x(tf),tf)/x(tf)为最优轨线的末端约束流形上的方向场,即方向梯度,因此式(80)表明,在最优轨线的末端, (tf)与末端目标集正交, 即与g(x(tf),tf)=0规定的n-p维末端约束流形正交。 所以,边界条件(80)常称为横截条件横截条件。 而边界条件(79)表示 (tf)既不与末端目标集正交,亦不与之相切,因此,它常被称为斜截条件斜截条件。 最后值得指出的是,由于末态固定x(tf)=xf可以视为末端约束条件g(

30、x(tf),tf)=0的一种特例,因此,本小节方法同样适用于上一小节的末态固定的情况。( (),)( (),)()(79)()()( (),)()(80)()fffffffffffStttttttttttxgxxxgxx现在学习的是第三十四页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(7/10)7/10)例例 8 8q 例例 8 对被控系统试求控制函数u(t),使系统从初始状态x1(0)=0 x2(0)=0经过1s转移到目标集x1(1)+x2(1)=1且使如下性能指标取极小。uxxx221102d)(21ttuJ现在学习的是第三十五页，共47页末态时刻末态时刻固定、

31、末态受约束的问题固定、末态受约束的问题(8/10)8/10)q 解解 本例中末态约束条件为g(x(tf),tf)=x1(1)+x2(1)-1=0 因此,相应的哈密顿函数和辅助性能指标泛函中的末值项分别为 根据定理 7, 可得该最优控制的如下方程和边界条件uxxx221102d)(21ttuJ)()(21),(211212xuxxuutHxx1) 1 () 1 (),(21xxttSffx现在学习的是第三十六页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(9/10)9/10)12211212121211222( )( )( )( ) ( )0 ( ) ( )(0)0(0

32、)0(1)(1)1 (1) (1)0 x tx tx tu tHtxHttxxxxxgxgxHuu 00( )( )( )( (),)0( (),)( (),)()()()0fffffffffHtHttttStttttttH xxxxg xxgxxxu现在学习的是第三十七页，共47页末态时刻末态时刻固定、末态受约束的问题固定、末态受约束的问题(10/10)10/10) 由上述方程可求得如下解析解12*32*236*( )7713( )14736( )147uttx tttx ttt 现在学习的是第三十八页，共47页末态时刻未定的问题末态时刻未定的问题 (1/8)1/8)3.5 末态时刻未定的问

33、题末态时刻未定的问题 q 末态时刻tf未定时,末态x(tf)又可分为自由、固定和受约束受约束3种情况。 这里仅讨论末态x(tf)受约束的情况,末态x(tf)固定和自由两种情况可以视为这一类情况的特例。 此外,这种情况下的优化问题可视为前面末态时刻tf固定情况的一般化,通过本节的结论可以得到前几节的结论。现在学习的是第三十九页，共47页末态时刻未定的问题末态时刻未定的问题 (2/8)2/8)q 末态时刻未定最优控制问题末态时刻未定最优控制问题 对于被控系统 , 末态时刻tf未定,末态x(tf)受等式g(x(tf),tf)=0约束,如下性能指标泛函取极小的最优控制问题。q 与前面一样,引入状态约束

34、的拉格朗日乘子函数 (t)和末态x(tf)约束的拉格朗日乘子向量 ,将系统状态方程和性能指标泛函结合成如下新的辅助泛函式中，哈密顿函数H的定义与前面一致。 ),(),()(ttttuxfxfttffttttLttSJ0d)(),(,(),()(uxxu01 ( )( ( ),)( ( ), ( ), ( ), )( )( ( ),)( )dftfffftJSttHttt tttttt uxxu g xx 现在学习的是第四十页，共47页末态时刻未定的问题末态时刻未定的问题 (3/8)3/8) 将泛函J1中最后一个积分项进行分部积分,可得 定义则泛函J1可表示为0100 ()( (),)( (),

35、)( ) ( )() ()( ( ), ( ), ( ), )( ) ( )dfffffffttJSttgttttttHttt tttt uxxxxxux01( ( ),)( ( ),)( , , , )dftfffftJSttttHttx g xx u x ),(),(),(ffffffttttSttSxgxxfttfffftttttttHttttttSJ0d)()(),(),(),()()()()(),()(001xuxxxxu现在学习的是第四十一页，共47页末态时刻未定的问题末态时刻未定的问题 (4/8)4/8)q 就泛函J1而言,其宗量有 类似前面讨论,对 (t)的变分结果是状态方程。 因将tf视为一宗量,也要对它进行变分。 考虑到初始状态 (t0,x(t0)固定,泛函J1对其所有的可变宗量的一阶变分为0