线性二次型最优控制

1、Ch.7 最优控制原理最优控制原理 目录目录(1/1)(1/1)目目 录录q 7.1 最优控制概述最优控制概述 q 7.2 变分法变分法q 7.3 变分法在最优控制中的应用变分法在最优控制中的应用q 7.4 极大值原理极大值原理q 7.5 线性二次型最优控制线性二次型最优控制q 7.6 动态规划与离散系统最优控制动态规划与离散系统最优控制q 7.7 Matlab问题问题q 本章小结本章小结线性二次型最优控制线性二次型最优控制(1/12)(1/12)7.5 线性二次型线性二次型最优控制最优控制q 对于最优控制问题,极大值原理很好地描述了动态系统的最优控制解的存在性。 但对于复杂的控制问题,如非线

2、性系统的控制问题、系统模型与性能指标函数对控制量u(t)不为连续可微的控制问题,在确定最优控制规律时存在不少困难,如 非线性常微分方程求解、 最优控制的非平凡性问题, 而且带来闭环控制系统工程实现时困难性,难以得到统一、简洁的最优控制规律的表达式。线性二次型最优控制线性二次型最优控制(2/12)(2/12)q 对于线性系统对于线性系统,若取状态变量x(t)和控制变量u(t)的二次型函数的积分作为性能指标泛函,这种动态系统的最优控制问题称为线性系统的最优二次型性能指标的最优控制问题,简称为线性二次型问题线性二次型问题。 该类问题的优点是能得到最优控制解u*(t)的统一解析表达形式和一个简单的且易

3、于工程实现的最优状态反馈律。 因此,线性二次型问题对于从事自动控制研究的理论工作者和工程技术人员都具有很大吸引力。 近40年来,人们对各种最优状态反馈控制系统的结构、性质以及设计方法进行了多方面的研究,并且有许多成功的应用。线性二次型最优控制线性二次型最优控制(3/12)(3/12) 线性二次型问题是最优控制理论中发展最为成熟、最有系统性、应用最为广泛和深入的分支。 本节将陆续介绍线性二次型问题及其解的存在性、唯一性和最优控制解的充分必要条件。 线性系统的二次型性能指标的最优控制问题可表述如下。线性二次型最优控制线性二次型最优控制(4/12)(4/12)q 线性二次型线性二次型最优控制问题最优

4、控制问题 设线性时变系统的状态方程和输出量测方程为式中, x(t)是n维状态向量,u(t)是r维输入控制向量,y(t)是m维实际的输出向量。 A(t)、B(t)和C(t)分别是nn、nr和mn维的分段连续的时变矩阵。 假定系统的维数满足0m r n,且u(t)不受约束。 用z(t)表示预期的输出,它为m维向量,则定义输出误差向量如下e(t)=z(t)-y(t)00( )( ) ( )( ) ( ),( )( )( ) ( )tA ttB ttttC ttxxuxxyx线性二次型最优控制线性二次型最优控制(5/12)(5/12) 控制的目标J是寻找最优控制函数u*(t),使下列二次型性能指标泛函

5、为最小式中, R(t), Q(t)和F都为对称对称矩阵 对称对称 F为mm维非负定的常数矩阵; 0 Q(t)为mm维时变的分段连续的非负定矩阵; 0 R(t)为rr维时变的分段连续的正定矩阵,且其逆矩阵存在并有界; 0 末态时刻tf是固定的。 固定011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(6/12)(6/12)q 下面对上述性能指标泛函作细致的讨论:1) 性能指标泛函Ju()中的第1项e(tf)Fe(tf),是为了突出对末端目标的控制误差的要求和限制而引进的,称为末端代

6、价函数。 非负定的常数矩阵F为加权矩阵,其各行各列元素的值的不同,体现了对误差向量e(t)在末态时刻tf各分量的要求不同、重要性不同。该项函数值总是为非负的。 若矩阵F的第i行第i列元素值较大,代表二次项的重要性较大,对其精度要求较高。011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(7/12)(7/12)2) 性能指标泛函Ju()中的第2项被积函数中的第1项e(t)Q(t)e(t),表示在系统工作过程中对控制误差向量e(t)的要求和限制。 由于时变的加权矩阵Q(t)为非负定的

7、,故该项函数值总是为非负的。v 一般情况下,e(t)越大,该项函数值越大,其在整个性能指标泛函所占的份量就越大。v 因此,对性能指标泛函求极小化体现了对误差向量e(t)的大小的约束和限制。v 在e(t)为标量函数时,该项可取为e2(t),于是该项与经典控制理论中判别系统性能的误差平方积分指标一致。011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(8/12)(8/12) 非负定的时变矩阵Q(t)为加权矩阵,其各行各列元素的值的不同,体现了对相应的误差向量e(t)的分量在各时刻的要

8、求不同、重要性不同。v 时变矩阵Q(t)的不同选择,对闭环最优控制系统的性能的影响较大。011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(9/12)(9/12)3) 性能指标泛函Ju()中第2项的被积函数的第2项u(t)R(t)u(t),表示在系统工作过程中对控制向量u(t)的大小的要求和限制。 由于时变的加权矩阵R(t)为正定的,故该项函数值在u(t)为非零向量时总是为正的。v 而且u(t)越大,该项函数值越大,其在整个性能指标泛函所占的分量就越大。v 因此,对性能指标泛函求

9、极小化体现了对控制向量u(t)的大小的约束和限制。v 如u(t)为与电压或电流成正比的标量函数时,该项为u2(t),并与功率成正比,而u2(t)dt则与在t0,tf区间内u(t)所做的功或所消耗的能量成正比。011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(10/12)(10/12)v 因此,该项Lu是用来衡量控制功率大小的代价函数。v 正定的时变矩阵R(t)亦为加权矩阵,其各行各列元素的值的不同,体现了对相应的控制向量u(t)的分量在各时刻的要求不同、重要性不同。 时变矩阵R

10、(t)的不同选择,对闭环最优控制系统的性能的影响较大。v 综上所述,可见线性系统的二次型性能指标泛函的最优控制问题的实质在于用不大的控制量u,来保持较小的控制误差e,以达到所耗费的能量和控制误差的综合最优。011 ()()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(11/12)(11/12)q 现在讨论上述线性二次型问题的几种特殊情况。1) 若令C(t)=I,z(t)=0,则y(t)=x(t)=-e(t)。这时,线性二次型问题的性能指标泛函变为 该问题转化成:用不大的控制能量,使状态x(t

11、)保持在零值附近,称为状态调节器问题。2) 若令z(t)=0,则y(t)=-e(t)。这时,线性二次型问题的性能指标泛函变为该问题转化成:用不大的控制能量,使输出值y(t)保持在零值附近,称为输出调节器问题。fttfftttRtttQttFtJ0d)()()()()()(21)()(21)(uuxxxxufttfftttRtttQttFtJ0d)()()()()()(21)()(21)(uuyyyyu011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu线性二次型最优控制线性二次型最优控制(12/12)(12/12)3

12、) 若z(t)0,则e(t)=z(t)-y(t)。 这时,线性二次型问题为:用不大的控制能量,使输出y(t)跟踪期望信号z(t)的变化(e(t)保持在零值附近),称为输出跟踪问题。q 下面将陆续介绍状态调节器、输出调节器和最优跟踪问题的求解方法、解的性质以及最优状态反馈实现,具体内容为： 时变状态调节器时变状态调节器 定常状态调节器定常状态调节器011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu时变状态调节器时变状态调节器(1/3)(1/3)7.5.1 时变时变状态调节器状态调节器q 前面已经指出,状态调节器问题为

13、: 用不大的控制能量,使状态x(t)保持在零值附近的二次型最优控制问题。 该问题的描述如下。时变状态调节器时变状态调节器(2/3)(2/3)q 有限时间有限时间LQ调节器问题调节器问题 设线性时变系统的状态方程和初始条件为式中,控制量u(t)不受约束。 寻找最优控制函数u*(t),使下列二次型性能指标泛函为最小式中, F和Q(t)为非负定矩阵; R(t)为正定矩阵; 末态时刻tf是固定的。000( )( ) ( )( ) ( ),( ), ,ftA ttB ttttt txxuxxdtttRtttQttFttuJfttff0)()()()()()(21)()(21)(uuxxxxC(t)=I,

14、z(t)=0,则则y(t)=x(t)=-e(t)011 ( )()()( ) ( ) ( )( ) ( ) ( )d22ftfftJtFtt Q ttt R tttueeeeuu时变状态调节器时变状态调节器(3/3)(3/3)q 由于所讨论的系统为线性系统,给定的性能指标泛函J 对状态变量x(t)和控制量u(t)均连续可微,因此,状态调节器问题可用变分法、极大值原理和动态规划方法中的任一种求解。 本节采用变分法给出最优控制解存在的充分必要条件及最优控制问题解的表达式,讨论最优控制解的存在性、唯一性等性质及解的计算方法。 内容为： 最优控制的充分必要条件最优控制的充分必要条件 矩阵矩阵P(t)的

15、若干性质的若干性质 最优控制的存在性与唯一性最优控制的存在性与唯一性dtttRtttQttFttuJfttff0)()()()()()(21)()(21)(uuxxxx最优控制的充分必要条件最优控制的充分必要条件(1/10)(1/10)定理定理7-147-141. 最优控制的最优控制的充分必要条件充分必要条件q 定理定理7-14(有限时间有限时间LQ调节器调节器) 对于有限时间LQ调节器问题,为其最优控制的充分必要条件充分必要条件是 最优轨线为下述状态方程的解,而最优性能值为式中,P(t)为下述矩阵黎卡提微分方程的正定或半正定解。*1( )( ),( )( )( ) ( )tKtK tRt B

16、 t P t ux,)(),()()()()(000*fttttttBttAtxxuxx *0001( )(0),02JJtPuxxxdtttRtttQttFttuJfttff0)()()()()()(21)()(21)(uuxxxx10( )( ) ( )( ) ( )( ) ( )( )( ) ( )( ) ,(),ffP tP t A tA t P tP t B t Rt B t P tQ ttt tP tF 最优控制的充分必要条件最优控制的充分必要条件(2/10)(2/10)q 证明证明 1 1）必要性证明。已知u*(t)是最优控制,需要证明。 这里可变分的宗量为x(t),u(t)和x

17、(tf) 。 首先将有限时间LQ调节器问题(条件极值问题)化为无条件极值问题。 为此,引入维向量拉格朗日算子,将性能指标函数表示为*1( )( ),( )( )( ) ( )tKtK tRt B t P t ux011()() d22ftfftJtFtQRABtxxxxuuxux 最优控制的充分必要条件最优控制的充分必要条件(3/10)(3/10) 因而该优化问题就变为对上述相对于求极值问题。 定义哈密顿函数则式(7-167)可以进一步表示为1( , , )2HQRABx u xxuuxu011()() d(7167)22ftfftJtFtQRABtxxxxuuxux 0001()()( ,

18、, )d21()()( ) ( )|( , , )d2ffftfftttffttJtFtHttFtttHtxxx u xxxxx u x00( )( )1( )( )( )2( )( )( )( )fftffffftftfffttFtHHJx tttdttHHtFttxdtxxxxuxxuxxuxu最优控制的充分必要条件最优控制的充分必要条件(4/10)(4/10) 根据极值的必要条件J=0,可以求得以及极值条件( )( ) ( )( ) ( )( )( ) ( )( ) ( )()()1()()2()fffffHtA ttB ttHtQ ttA tttFttFtt xxuxxxxxx0()(

19、)()ftffftHHJtFttxdtxxuxu( ) ( )( ) ( )0HR ttB ttuu最优控制的充分必要条件最优控制的充分必要条件(5/10)(5/10) 由极值条件(7-173)得最优控制律为 注意到状态方程和协态方程及其终端条件均为线性,因此, (t)和x(t)之间必定为线性关系,可以表示为 由上述两式可以得到u(t)的最优解。 其中矩阵P(t)满足规范方程,可由规范方程解出。 求解方法如下。*1( )( )( ) ( )tRt B tt u( ) ( )( ) ( )0(7173)HR ttBttuu*( )( )( )tP ttx最优控制的充分必要条件最优控制的充分必要条

20、件(6/10)(6/10) 对方程(7-175)求导数得 由方程(7-171),又有 比较上述两式,可以求得矩阵P(t)是矩阵黎卡提微分方程的对称正定或半正定解。 因此,证明了定理的必要性。1*( )( )( )( )( )( )( )( ) ( )( )( ) ( )( ) ( )( ) ( )( ) ( )( )( ) ( )( )tP ttP ttP ttP t A ttP t B ttP tP t A tP t B t Rt B t P ttxxxxux*( )( ) ( )( ) ( )(7171)( )( )( )(7175)tQ ttA tttP tt xx*( )( )( )(

21、 ) ( )( )( )( ) ( )( )tQ ttA t P ttQ tA t P tt xxx最优控制的充分必要条件最优控制的充分必要条件(7/10)(7/10)2)2) 充分性证明。已知,欲证u*(t)为最优控制。 引入如下等式*1*( )( )( ) ( )( )tRt B t P tt ux00000111d( ) ( ) ( )( ) ( ) ( )d222d1d2fftfffttttP ttt P ttPttPPPtxxxxxxxxxxxx最优控制的充分必要条件最优控制的充分必要条件(8/10)(8/10) 进而,利用(7-160)和(7-166),上式可以进一步表示为考虑到若

22、取控制律为u=-R-1BPx ,对上述方程进行配方得00000111() () ()( ) ( ) ( )221d21d2ffffftttttP ttt P ttA PPPAB PPBtQPB R BPB PPBtxxxxxxuxxuxxuxxu00001111( ) ( ) ( )( ) ( ) ( )221d2fffftttP ttt P ttQRR B PRR B Ptxxxxxxuuxxxx01000( )( ) ( )( ) ( )(7160)( )( ) ( )( ) ( )( ) ( )( )( ) ( )( )(7166)111() () ()( ) ( ) ( )d222ft

23、fffttA ttB ttP tP t A tA t P tP t B t Rt B t P tQ ttP tttP ttPPPt xxuxxxxxxxxxx最优控制的充分必要条件最优控制的充分必要条件(9/10)(9/10) 考虑到P(tf)=F,可以导出这表明,当u=-R-1BPx时,性能指标将取最小值即u*=-R-1BPx为最优控制。 于 是 , 定 理 的 充 分 性 得 以 证 明 。 001100011 ( )()()2211( ) ( ) ( )d22fftfftttJttFtQR dttP ttR B PRR B Ptuxxxxuuxxuxux*0001( )( ) ( ) (

24、 )2J u tt P ttxx最优控制的充分必要条件最优控制的充分必要条件(10/10)(10/10)q 上述具有充分必要的最优控制实际上是一个线性状态反馈,因此,可以将线性系统最优状态调节器的最优控制表示成如图7-6所示的状态反馈形式,其闭环系统的状态方程为图图7-6 线性系统最优状态调节器线性系统最优状态调节器q 上述结论是线性时变系统的结论,当系统是线性定常的时候,上述结论仍然成立,而且计算还要简单。*1( )( ),( )( )( ) ( )tKtK tRt B t P t ux矩阵矩阵P(t)的若干性质的若干性质(1/3)(1/3)2. 矩阵矩阵P(t)的若干性质的若干性质q 对黎

25、卡提微分方程的解P(t),有如下性质。1) P(t)是黎卡提微分方程末值问题的解,与初始状态无关。 当在区间t0,tf内A(t)、B(t)、R(t)和Q(t)为分段连续的时间函数,R(t)为正定且其逆矩阵有界,Q(t)矩阵为非负定时, 则根据微分方程解的存在性和唯一性理论, vP(t)的解在区间t0,tf内唯一存在。10( )( ) ( )( ) ( )( ) ( )( )( ) ( )( ) ,(),ffP tP t A tA t P tP t B t Rt B t P tQ ttt tP tF 矩阵矩阵P(t)的若干性质的若干性质(2/3)(2/3)2) 对于任意tt0,tf, P(t)是

26、对称矩阵。 事实上,将黎卡提微分方程和边界条件的两边作转置,并考虑到R(t),Q(t)和F都为对称矩阵,则有 因此,矩阵P(t)和它的转置P(t)满足同一个矩阵微分方程和边界条件。 根据微分方程解的存在性和唯一性理论,则对任意tt0,tf,有P(t)=P(t),即P(t)是对称的。1( )( )( ) ( )( ) ( )( ) ( )( )( ) ( )( )( )( )ffP tP tP t A tA t P tP t B t Rt B t P tQ tP tP tF 10( )( ) ( )( ) ( )( ) ( )( )( ) ( )( ) ,(),ffP tP t A tA t P

27、 tP t B t Rt B t P tQ ttt tP tF 矩阵矩阵P(t)的若干性质的若干性质(3/3)(3/3)3) 由于矩阵P(t)的对称性,则nn维的黎卡提矩阵微分方程实质上是一个由n(n+1)/2个非线性标量微分方程组成的微分方程组。 因此,求解P(t),只要求解n(n+1)/2个非线性微分方程即可。最优控制的存在性与唯一性最优控制的存在性与唯一性(1/13)(1/13)定理定理7-157-153. 最优控制的最优控制的存在性存在性与与唯一性唯一性q 对于一般的最优控制问题,论证最优控制解的存在性是很困难的,但对于最优状态调节器问题,可以证明最优控制解的存在性和唯一性。 对此,有

28、如下定理。q 定理定理7-157-15 对线性时变系统的最优状态调节器问题,当tf0。 试求其最优控制和最优状态轨线。q 解解 根据定理7-14,可以求出该问题的最优控制为式中,p(t)是如下黎卡提微分方程及边界条件的解000222( )( )( ),( )11()( )( )d22ftftx tax tu tx txJfx tqx trutt1( )( ) ( )u tp t x tr 21( )2( )( ),()fp tap tp tqp tfr u*=-R-1BPx10( )( )( )( )( )( )( )( )( )( )( ),(),ffP tP t A tAt P tP t

29、B t Rt Bt P tQ ttttP tF 最优控制的存在性与唯一性最优控制的存在性与唯一性(6/13)(6/13) 由上述微分方程可知,p(t)的解满足 积分上式,可得其中()( )2d ( )d12( )( )ffp ttp ttp ssap spsqr2()2()/(- )/-( )/1/-fft tt tfraaaefrap trfraefra21( )2( )( ),()fp tap tp tqp tfr 2arq最优控制的存在性与唯一性最优控制的存在性与唯一性(7/13)(7/13) 最优状态轨线为下列一阶时变微分方程的解 于是得( )( )( )p tx tax tr00(

30、)( )expdtp sx txasr最优控制的存在性与唯一性最优控制的存在性与唯一性(8/13)(8/13)q 最优状态轨线为对上述线性定常系统的最优状态调节器问题,其最优状态反馈律和闭环系统状态方程都呈现时变的性质。00( )( )expdtp sx txasr p2(t)/r p(t) - x =ax+bu 1/r x(t) u(t) p(0) 2a 2ap(t) p (t) + - q - + 图图7-7 状态最优调节器结构图状态最优调节器结构图 这是最优状态调节器在tf的一个重要性质。 图7-7是例7-11的最优状态调节器的结构图。 图中信号p(t)是对黎卡提微分方程进行电子电路模拟

31、的结果,其初始信号p(0)是对黎卡提微分方程的解在t=0时的值。1( )( ) ( )u tp t x tr 00( )( )expdtp sx txasr2()2()/(- )/-( )/1/-ffttttfraaaefrap trfraefra2arq最优控制的存在性与唯一性最优控制的存在性与唯一性(9/13)(9/13)q 图7-8(a)表示在a=-1,f=0,tf=1,x(0)=1和q=1时,以r为参数的一组最优状态轨线x(t)。 可见r很小意即在性能指标中控制u的价值不太重要,状态x(t)将迅速被控制到零值; r很大意即控制u的价值较重要,状态x(t)将由于控制量投入得小,则衰减得很

32、慢。图图7-8 不同不同r值最优状态调节器各变量变化轨迹值最优状态调节器各变量变化轨迹 1( )( ) ( )u tp t x tr 00( )( )expdtp sx txasr2 ()2 ()/(- )/-( )/1/-ffttttfraaaefrap trfraefra000222( )( )( ),( )11( )( )( )d22ftftx tax tu tx txJfx tqx tru tt2arq最优控制的存在性与唯一性最优控制的存在性与唯一性(10/13)(10/13)q 图7-8(b)表示以r为参数的一组最优控制u(t)的曲线。 可见随着r的减小,在控制区间0,1的开始阶段,控制量u(t)较大; 当r