随机线性系统的最优控制骄阳书苑

1、第八章第八章 随机线性系统的最优控制随机线性系统的最优控制1课件参考本章主要内容8.1 分离定理和离散随机线性调节器问题分离定理和离散随机线性调节器问题8.2 连续随机线性调节器问题连续随机线性调节器问题8.3 随机线性跟踪器问题随机线性跟踪器问题8.4 小结小结返回主目录2课件参考 前几章在讨论最优控制问题时，我们认为控制系统是确定性的，它不受随机干扰的影响。 实际工作中的系统免不了要带有随机干扰的因素，所以我们要研究在随机干扰作用下系统的最优控制问题，即要同时考虑最优估计和最优控制问题。3课件参考 这是一个复杂的问题，我们仅讨论系统是线性的，指标函数是二次型的以及随机干扰是高斯分布噪声情况

2、下的最优控制问题，即所谓lqg问题(linear quadratic gaussian problem)。4课件参考 这种情况下存在一个有名的分离定理(或确定性等价原理)，按照此定理，可把最优控制问题和状态变量的最优估计问题分开来讨论。 在研究最优控制问题时，假定所有状态变量都可直接得到，而在研究状态变量的最优估计时，则假定控制信号是已知的确定性函数。最后把控制规律中的状态变量用其估计值代替，就得到了随机线性系统的最优控制。5课件参考8.1 分离定理和离散随机线性调节器问题分离定理和离散随机线性调节器问题 首先回顾一下第五章中关于确定性系统线性二次型最优控制的结果。6课件参考 为半正定加权阵，

3、 为正定加权阵。)(),(kqnp)(kr线性离散系统状态方程(第五章(5-52)式)二次型性能指标(第五章(5-53)式)()()()()1(kukbkxkakx(8-1)()()()()()(21)()()(2110kukrkukxkqkxnxnpnxjtnktt(8-2)7课件参考)() 1()()() 1()()(1kakkkbkbkkkbkrtt最优控制为(第五章(5-64)式)其中k(k)满足矩阵黎卡提差分方程(第五章(5-61)式)()() 1()()() 1()()()(1kxkakkkbkrkkkbkrkutt(8-3)() 1()()() 1()()()(kbkkkakak

4、kkakqkktt(8-4)()(npnk(8-5)8课件参考为了与本章的符号统一起来,将上面的方程改写如下:kxkx)(kuku)(kkka, 1)()()(kkbnpnp)(kqkq)(krkr)(kkkk)(令(8-6)9课件参考其中, 满足下面的矩阵黎卡提差分方程kk11,kkkkkkxxu (8-7)212110kktkkkntknntnuruxqxxpxj(8-8)kkkktkkkkkkxkrkru, 1111(8-9)11,11,1,1111,ttttkkkkkkkkkkkkkkkkkkkkqkkrkk(8-11)nnpk(8-12)1111tkkkkkkkrkrk(8-10)令

5、kkkkkxu, 11(8-13)故10课件参考kx其中 是零均值高斯分布的白噪声，满足kkvw ,1111kkkkvxhz(8-15) 现在来考虑lqg问题。随机线性系统的状态方程和测量方程为kkkkkkkwuxx, 11(8-14)0kwekjktjkqwwe0kvekjktjkrvve0tjkvwe(8-16)11课件参考 nkkktkkktkuruxqxe0111)( 注意，为了与噪声方差阵符号区分，这里把加权阵改为 ， 。kqkr 对于这样一类线性随机系统，在设计最优反馈控制时，由于状态向量 的随机性，(8-8)式所表示的性能指标也是随机变量，直接考虑它的最小化问题是没有意义的。我们

6、把(8-8)式的数学期望作为随机最优控制的指标函数并省去 这个因子。)(10kknktkkktknntnuruxqxxpxej(8-17)nnpq其中(8-18)12课件参考 对于线性高斯随机系统(8-14)(8-15)的最优控制问题，就是要求找到一组最优控制量u0、u1、un-1使指标函数(8-17)取得极小值。对于这种lqg问题，最优控制规律可按确定性系统(8-7)来求，只是将状态变量的反馈改为状态变量估计值的反馈，这就是分离定理。我们将它表达如下13课件参考分离定理 其中 是 的最优线性滤波估计， 的求法与确定性系统的公式(8-10)相同。kxkx1k 对于由方程(8-14)(8-15)

7、以及指标函数(8-17)所描述的线性高斯随机控制系统，其最优控制为kkkkkxu, 11(8-19)14课件参考 我们用第六章中动态规划的最优性原理来证明。因此，从最后一区间向后倒退计算，即依次计算 。120nnuuu、 证明 首先考虑最后一段的最优控制问题，即确定从采样时刻 到终止时刻 这一步上的最优控制 ，使这一步的指标函数为最小，即1 nknk 1nu1) 一步问题min111*11nntnnntnuuruxqxejn(8-20)15课件参考将 时的状态转移方程(8-14)代入上式，消去 后得到nx1 nk将上式展开(为简明起见，暂时不写下标)得)()(min11111111,11111

8、,*11nnntnnnnnnntnnnnnnuuruwuxqwuxejn(8-21)xquwqwuqwxqwwqxuqxxqxejtttttttttttunmin1*1)(urquwqutttt(8-22)16课件参考)(222min1*1urquwqwuqwwqxuqxxqxejttttttttttun(8-23) 由于其中每一项均为标量，并且 是对称阵，所以上式右端第二项等于第七项，第三项等于第四项，第五项等于第八项。于是q17课件参考其中 。00xem ),(0mzfukkk 由(8-14)可知只与wk-1、wk-2、w0有关而与wk无关，并且wk是零均值的，故上式中第三项和第四项的均值

9、为零。又因为所求控制量所依据的信息只有系统过去的输出量(状态变量不能直接测量)和初始状态的均值，即tkkzzzz),(2, 1(8-24)18课件参考根据wk与zk和x0的随机独立性，可知uk与wk也是独立的，故(8-21)中第四项的均值也为零。至此 化为(恢复下标)*1j)(2min1111111111,111,1,1*11nnnntntnnntnnnntnntnnnnntnntnuurquwqwuqxxqxejn(8-25)19课件参考 由于上式右端花括号内的量是依赖于测量值zn-1z1，z2，zn-1t和m0 为已知这一条件上的，而条件zn-1又是随机的，因此要利用条件期望的性质来计算。

10、根据本章2中关于条件概率的定义可推出下面的性质(8-26)|(eee20课件参考dfddfe),()(ddffdffd)|()()|()( 上式右端方括号内的求数学期望是对随机变量 而言的(假定 已知)，外层的求数学期望是对条件 而言的，而等式左端是无条件数学期望，上式可证明如下：)|(ee=21课件参考于是(8-25)式可进一步化为(8-27)111,1,111,1111m in 2ntttttnnnnnnnnnnnnnnujeexqxxquw,|)(01111111mzurquwqnnnnntntnnn 由于 非随机，所以上式外层数学期望只是对zn-1取的，为了找到un-1使 最小，这等价

11、于使上式内层的条件数学期望最小。这时假定条件zn-1给定，而un-1是zn-1的确定性函数，因此un-1与求内层条件数学期望无关，0m22课件参考0)(,|211111111,0111nnnntntnnnntnnntnnurquuqmzxeu 然后，将这此与un-1有关的项对un-1求导并令其等于零，即即有,|201111,1mzuqxennnntnntn111,011,|2nnntnnntnuqmzxe=11111011111)(,|)(nnnntntnnnnnntntnurqumzurque和23课件参考 我们知道，最小方差估计即条件均值，在高斯分布情况下，线性最小方差估计即最小方差估计，

12、因为卡尔曼滤波值是线性最小方差估计，故滤波值 就是条件均值，即1nx0)(2,|211110111,1nnnntnnnnnntnurqmzxeq利用标量对向量的求导公式，可得由此解出最优控制un-1为1011,|nnnxmzxe(8-28),|)(0111,111111mzxeqrqunnnnntnnnntnn(8-29)24课件参考 把上式与确定性最优控制的解(8-13)式(令 )对照，并注意(8-12)即 ，可见两者形式完全一样，只 是 将代而己。(8-18)(8-30)还可简化为1 nknnnkpq1nx1nx(8-31)11,1nnnnnxu于是(8-28)式可成11,111111)(

13、nnnntnnnntnnxqrqu(8-30)其中ntnnnntnnqrq11111)(8-32)25课件参考 这样，我们就证明了分离定理对最后一步来讲是正确的。(8-33)(11,1111,111nnnnnnntntntnntnnntnxrqxwqw11,1,111,11,112ttttnn nnn nnnn nnnnn nnje xqxxqx 下面来计算最后一段的最优指标值 。将(8-31)代入(8-25)得1j26课件参考上式第二项可写成(略去下标)式中qqrqqstttt1)(是对称阵。(8-35)xqrqqxxqxtttttt)(221xsxt2(8-34)=27课件参考式中， ，并

14、注意s为对称，故可得出(8-37)式。将(8-34)(8-37)代入(8-33)可得xxx=xsxsxxxsxsxxtttt)()()2(2xxsxxxsxxxsxxsxtttt)()()(1rqrqqxxrqxttttttttxsxxsxwqwxqxejttttt1(8-33)第四项可写成而(8-34)与(8-36)相加得xsxxqrqqxxqrqttttttt)()(11(8-36)sxxxsxtt(8-37)28课件参考 反映了由动态噪声wn-1和滤波误差 造成的指标函数的增加。在确定性最优控制中因 为零，这项将为零。1n1nx0nq利用(8-35)合并同类项，并恢复下标，可得111,1

15、,11nnnnntnntnxqxej(8-38),100nnnnnqqq(8-39)nnqq0式中001111,11,11tttnnnnnn nnnnn nne wq wxqx (8-40)29课件参考111,1,1222111*2min2nnnnntnntnnntnnntnuxqxuruxqxejn 将一步最优化的结果(8-38)代入上式，并注意到 不受un-2的影响，可把它提到 号之外，即可得到 min1n2)两步问题 接下来讨论最后两步的最优控制问题。根据动态规划最优化原则，可把最后两步的最优化指标表示为12221112min2juruxqxejnntnnntnun(8-41)20111

16、2221minnttnnnnnnnue xqxuru=(8-42)30课件参考将 的表达式(8-42)与 的表达式(8-20)相比，可见除 中多一个常数项 之外，两者形式完全相同，于是可重复一步最优化过程的步骤，得到下面的结果*2j*1j1n*2j1,1,101nnntnnnnqqq其中(8-43)31课件参考(8-46)1,1,101nnntnnnnqqq22112,nnnnnxu(8-44)0101212221()ttnnnnnnnqrq (8-45)002121121,21211,22tttnnnnnnnnnnnnnne wqwxqtx(8-48)222, 112, 12*2nnnnnt

17、nntnxqxej1201011nnnnnqqq(8-47)20011,111,1()tttnknknknknknknknknknknknkkewqwxqx (8-49)32课件参考 类似于从一步问题至两步问题的推演过程，由后向前算第n-k步(即由前向后算第k步)的最优指标为 *1111minknkktkkktkuknjuruxqxejk3)一般结果 采用数学归纳法即可得出如下的一般结果010111()ttkkkkkkkqrq (8-51)0112,122,1tkkkkkkkqqq(8-52)101011kkkkkqqq(8-53)kkkkkxu, 11(8-50)33课件参考kkkkkkkt

18、kknxqxej, 11, 1*0011,111,1()n ktttknjnjnjnjnjnjnjnjnjnjnjnjjewqwxqx (8-54)(8-57)nnnpqq0此即 所满足的矩阵黎卡提方程。终端条件为0kq将(8-54)代入(8-53)，并将 下标改为 ，可得1kkkkktkkkktkkktkkkkktkkkkqrqqqqq, 10110101, 1, 101, 10)(8-56)34课件参考 现在将上面lqg问题的结果(8-51)(8-52)(8-56)(8-57)与确定性最优控制的结果(8-13)(8-10)(8-11)和(8-12)分别对比，注意到lqg问题解中的 相当于确

19、定性最优控制解中的 ，于是两者解的形式完全相同，只是在lqg问题中用估计值 代替 状态而己，于是分离定理得证。kxkxkk0kq35课件参考它和滤波增益阵 都可预先离线计算出来。kk 利用分离定理的结论来设计线性随机系统的最优反馈控制器，框图如图8-1所示，图中z-1表示一步延迟，反馈增益阵为11,kkkkl (8-58)36课件参考 图 8-1 线性随机系统的最优反馈控制框图37课件参考8.2 连续随机线性调节器问题连续随机线性调节器问题其中， 和 为零均值高斯白噪声，且)(tw)(tv(8-61)( )0,( )( )( ) () ( )0,( ( )( )( ) ()tte w te w

20、 t wq tte v te v t vr tt(8-62)0)()(tvtwe 我们不加证明地列出下面的结果，设连续随机线性系统为)()()()()()()(twtgtutbtxtatx(8-59)()()()(tvtxthtz(8-60)38课件参考这里用 表示噪声方差阵,为避免混淆将加权阵改为rq,q r。dttutrtutxtqtxtpxtxejttttfftfo)()()()()()()()(指标函数为 上述问题称为连续系统的线性高斯二次型问题(lqg问题)。和离散的情况相同，根据分离定理，最优控制系统由两部分组成；一部分是确定性最优控制器；另一部分是与其串联的最优线性滤波器。最优控

21、制可写成)()()(txtltu(8-64)39课件参考 反馈增益与确定性最优控制一样(参考第五章(5-16)式)，即 满足下面的矩阵黎卡提微分方程(参考第五章(5-14)式，注意这里 不是卡尔曼滤波增益) )(tk)(tk图8-2表示连续随机线性系统最优控制的方块图。1( )( )( )( )tl trt bt k t(8-65)1( )( ) ( )( )( )( ) ( )( )( )( )( )ttk tk t a tat k tk t b t rt bt k tq t (8-66)40课件参考 图 8-2 连续随机线性系统最优控制的方块图41课件参考 例8-1 图8-3是汽车自动控制

22、系统的示意图。汽车沿着道路上设置的制导电缆自动行驶，汽车偏移电缆的横向位移由传感器测出。图8-4是自动控制系统的原理方块图。图中w为作用在汽车上的干扰力(例如路面不平等引起)，u为方向舵控制力，v为传感器测量噪声，x为汽车侧向位移。42课件参考制导电缆传感器线圈传感器线圈图 8-3 汽车制导传感器原理图控制器汽车传感器航线基准uwxv 图 8-4 汽车制导方块图43课件参考 1、对象状态方程令 ，则汽车的状态方程为121,xxxx汽车可看成纯惯性环节，其传递函数为0010avobkwow其中 ， ，2)()()(skvsusxsgp(8-67)wbuaxx(8-68)44课件参考 2、量测方程

23、 0)(twe)()()(tqwtwetqoooq 和 为常数。vkq其中 ， ，为正态分布的噪声 ， 且干扰w和测量噪声v不相关，即01hv0)(tve0)()(twtve根据实例，干扰力w为服从正态分布的白噪声vhxz(8-69)45课件参考3、性能指标 4、最优控制的设计 (8-70)221()jeaxbudt 其中，第一项表示对汽车侧向位移的约束，第二项则表示对控制量u的约束。 这是线性二次型高斯问题，可以应用分离定理。因不是无限长时间定常系统调节器问题 ，可以用稳态控制增益，即ulx (8-71)1tlr b k(8-72)46课件参考1112122200100000vkkaakqb

24、kkkrb1112111211121222122212220010010010vkkkkkkkkkkkkkb1112122200000vkkakkk其中k满足矩阵黎卡提代数方程这里，把这些值代黎卡提方程(8-73)，得10ttkaa kkbr b kq(8-73)47课件参考221221112222212221112vvvak kbkk kkbkk kb可解得 ， ， ，13124411vkk a b11122212vka bk11332442222vka b k4122,vaalllbkb将上面求到的 代入(8-72)，可求得稳态增益阵为k 由上式可得到三个方程式48课件参考其中，稳态卡尔曼

25、滤波增益 为ck于是由(8-71)得其中，滤波值由下面的卡尔曼滤波方程决定41 122122vaaul xl xxxbkb (8-74)(xhzkbuxaxc(8-75)1rphktc(8-76)49课件参考满足下面的矩阵黎卡提代数方程11121222100001000vppapbqkppq1121,0 ,ccckhrrkk其中01hprphqpaaptt(8-77)50课件参考 由上面的值代入(8-77)求出 ，将 代入(8-76)求出，再代入(8-75)，可得pp 由(8-78)，(8-79)解出 ，代入(8-74)即可求所需最优控制。21 , xx41112rqkc112rqkc其中，z

26、kxxkxcc12111(8-78)22 122cvcxkxk ukz (8-79)51课件参考8.3 随机线性跟踪器问题随机线性跟踪器问题 前面我们讨论的问题是使系统状态变量和输出量尽量控制到零，这种问题称为调节器问题(使输出量跟踪常值外作用的问题可归化为这种问题)。但在实际工作中有时要求系统的输出跟踪一个随时间变化的外作用，这种问题称为跟踪问题。制导系统和随动系统就可归入这类。52课件参考 为n维， 为m维， 为q维，ck为s维。要求ck跟踪一个指令作用 dk。性能指标为kzkukx设系统的动态方程和量测方程为另有一个输出方程为kkkcde其中,是跟踪误差。kkkkkkkkkkkvxhzwuxx, 11(8-80)kkkxmc (8-81)1111kktkkktknkurueqeej(8-82)53课件参考其中， 是白噪声k 设指令作用 由另一个系统