王孝武主编《现代控制理论基础》(第3版)第6章课件

1、第第6章章 最优控制最优控制最优控制是控制系统设计的一种方法。它所研究的中心问题是如何最优控制是控制系统设计的一种方法。它所研究的中心问题是如何选择控制信号，才能保证控制系统的性能在某种意义下最优。本章选择控制信号，才能保证控制系统的性能在某种意义下最优。本章内容为：内容为：1. 引言引言2. 用变分法求解最优控制问题用变分法求解最优控制问题3. 极小值原理及其在快速控制中的应用极小值原理及其在快速控制中的应用4. 用动态规划法求解最优控制问题用动态规划法求解最优控制问题5. 线性状态调节器线性状态调节器6. 线性伺服机问题线性伺服机问题6.1 引言引言什么是最优控制？以下通过直流他励电机的控

2、制问题来说明什么是最优控制？以下通过直流他励电机的控制问题来说明问题问题6-1 电动机的运动方程为电动机的运动方程为tJTIKDFDmdd（1）其中，其中， 为转矩系数；为转矩系数； 为转动惯量；为转动惯量； 为恒定的负载转矩；为恒定的负载转矩；mKDJFT希望：在时间区间希望：在时间区间0，tf内，电动机从静止起动，转过一定角度内，电动机从静止起动，转过一定角度后停止，使电枢电阻后停止，使电枢电阻 上的损耗上的损耗 最小，求最小，求DRttIREDtDfd)(20)(tIDDI因为因为 是时间的函数，是时间的函数，E 又是又是 的函数，的函数，E 是函数的函数，称为是函数的函数，称为泛函。泛

3、函。DIconstttftd)(0（2）采用状态方程表示，令采用状态方程表示，令1x12xxDFDDmJTIJKx2于是于是FDDDmTJIJKxxxx10000102121（3）初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtxDI控制控制 不受限制不受限制性能指标性能指标ttIREDtDfd)(20（4）)(tID本问题的最优控制问题是：在数学模型（本问题的最优控制问题是：在数学模型（3）的约束下，寻求一个）的约束下，寻求一个控制控制 ，使电动机从初始状态转移到末值状态，性能指标，使电动机从初始状态转移到末值状态，性能指标E 为为最小。最小。问题问题6-2对

4、于问题对于问题6-1中的直流他励电动机，如果电动机从初始中的直流他励电动机，如果电动机从初始)(tID时刻时刻 的静止状态转过一个角度的静止状态转过一个角度 又停下，求控制又停下，求控制 （ 是是受到限制的），使得所需时间最短。受到限制的），使得所需时间最短。00t)(tID这也是一个最优控制问题：这也是一个最优控制问题：系统方程为系统方程为FDDDmTJIJKxxxx10000102121初始状态初始状态00)0()0(21xx末值状态末值状态0)()(21fftxtx)(tIDmaxDI（5）性能指标性能指标ftttJf0d（6）)0(x最优控制问题为：在状态方程的约束下，寻求最优控制最优

5、控制问题为：在状态方程的约束下，寻求最优控制，将，将 转移到转移到 ，使，使J 为极小。为极小。maxDI)(tID)(ftx最优控制问题的一般性提法为最优控制问题的一般性提法为系统状态方程为系统状态方程为),(tux,fx 初始状态为初始状态为)(0tx其中，其中，x 为为n 维状态向量；维状态向量； u 为为r 维控制向量；维控制向量； f 为为n 维向量函数，维向量函数，它是它是 x 、u 和和t 的连续函数，并且对的连续函数，并且对x 、t 连续可微。连续可微。最优。其中最优。其中 是是 x 、u 和和t 的连续函数的连续函数),(tuxL)(ftxrRu 寻求在寻求在 上的最优控制上

6、的最优控制 或或 ，以将系统状，以将系统状态从态从 转移到转移到 或或 的一个集合，并使性能指标的一个集合，并使性能指标,0fttrRU u)(0tx)(ftxttttJfttffd),(),(0uxLx最优控制问题就是求解一类带有约束条件的条件泛函极值问题。最优控制问题就是求解一类带有约束条件的条件泛函极值问题。补充：泛函与变分法补充：泛函与变分法一、泛函与变分一、泛函与变分1、泛函的基本定义：、泛函的基本定义：)(tx如果对于某个函数集合如果对于某个函数集合 中的每一个函数中的每一个函数 ，变量，变量J 都有一个都有一个值与之对应，则称变量值与之对应，则称变量J 为依赖于函数为依赖于函数

7、的泛函，记作的泛函，记作)(tx)(tx)(txJ可见，泛函为标量，可以理解为可见，泛函为标量，可以理解为“函数的函数函数的函数”例如：例如：ttxxJd)(30（其中，（其中， 为在为在 上连续可积函数）上连续可积函数）)(tx3,0当当 时，有时，有 ；当；当 时，有时，有 。ttx)(5 . 4Jtetx)(13 eJ泛函泛函 如果满足以下条件时，称为线性泛函：如果满足以下条件时，称为线性泛函：)(tJ x1） ，其中，其中c 为任意常数；为任意常数；2）)()(tcJtcJxx)()()()(2121tJtJttJxxxx)()(0ttxx对于一个任意小正数对于一个任意小正数 ，总是可

8、以找到，总是可以找到 ，当，当 时，有时，有 就称泛函就称泛函 在在 处是连续的。处是连续的。)()(0ttxx)()(0tJtJxx)(tJ x2、泛函的变分、泛函的变分)(tx所谓泛函所谓泛函 的宗量的宗量 的变分是指两个函数间的差。的变分是指两个函数间的差。)(tJ x)()(0ttxxxnRtt)(),(0 xx定义：设定义：设 是线性赋泛空间是线性赋泛空间 上的连续泛函，其增量可表示为上的连续泛函，其增量可表示为xJnR,xxxxxxxxrLJJJ,xxr其中，其中， 是关于是关于 的线性连续泛函，的线性连续泛函， 是关于是关于 的高阶的高阶无穷小。则无穷小。则 称为泛函称为泛函 的

9、变分。的变分。,xxLxx,xxLJ xJ3、泛函变分的规则、泛函变分的规则1）2121)(LLLL2）122121)(LLLLLL3）ttLttLbabad,d,xxxx4）xxddddtt泛函的变分等于泛函的变分等于0)(xtxJ0 xx 定理定理：设：设 是在线性赋泛空间是在线性赋泛空间 上某个开子集上某个开子集D 中定义的可中定义的可微泛函，且在微泛函，且在 处达到极值，则泛函处达到极值，则泛函 在在 处必有处必有xJxJnR0 xx 0,0 xxJ4、泛函的极值、泛函的极值0 xxJ设设 是在线性赋泛空间是在线性赋泛空间 上某个子集上某个子集D 中的线性连续泛函，中的线性连续泛函，

10、，若在，若在 的某领域内的某领域内nRD0 xnRUxxxxx,),(00在在 时，均有时，均有DU),(0 xx0 xxxJJJ00 xxxJJJ0或或则称则称 在在 处达到极大值或极小值。处达到极大值或极小值。)(xJ0 xx 欧拉方程：欧拉方程：fftxx)(ft定理：设有如下泛函极值问题：定理：设有如下泛函极值问题：其中，其中， 及及 在在 上连续可微，上连续可微， 和和 给定，给定，已知已知 ， ， ，则极值轨线，则极值轨线 满足如下欧满足如下欧拉方程拉方程dttLJfttt0),(min)(xxxx),(tLxx )(tx,0ftt0t00)(xxtnRt )(x)(*tx0ddx

11、xLtL及横截条件及横截条件0)()(00txLtxLtTftTfxx注意：满足欧拉方程是必要条件，不是充分条件。注意：满足欧拉方程是必要条件，不是充分条件。6.2 用变分法求解最优控制问题用变分法求解最优控制问题6.2.1 末值时刻固定、末值状态自由情况下的最优控制末值时刻固定、末值状态自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx （6）初始状态初始状态)()(00ttttxx（7）其中，其中，x 为为n 维状态向量；维状态向量； u 为为r 维控制向量；维控制向量； f 为为n 维向量函数。维向量函数。要求在控制空间中寻求一个最优控制向量要求在控制

12、空间中寻求一个最优控制向量 ，使以下性能指标，使以下性能指标)(tutttJfttfd),()(0uxLx（8）沿最优轨线沿最优轨线 取极小值。取极小值。)(tx（性能指标如（性能指标如（8 8）式所示的最优控制问题，）式所示的最优控制问题，是变分法中的是变分法中的波尔扎波尔扎问题问题）引入拉格朗日乘子引入拉格朗日乘子)()()()(21ttttn（9）将性能指标（将性能指标（8）式改写为其等价形式）式改写为其等价形式tttttJTttffd),()(),()(0 xuxfuxLx),()(),(),(ttttHTuxfuxLux定义哈密顿函数定义哈密顿函数（10）则则tttHtJTttffd

13、)(),()(0 xuxxttttHtTttttfffd)(d),()(00 xuxx（11）由（6）式可知为零 xux,f),(t（12）对（对（11）式中的第三项进行分部积分，得）式中的第三项进行分部积分，得tttttHtJTttttTttffffd)()(d),()(000 xxuxx当泛函当泛函J 取极值时，其一次变分等于零。取极值时，其一次变分等于零。 即即0J可以变分的量：可以变分的量：uuu)()(ttxxx)()(tt)()()(ffftttxxx不可以变分的量：不可以变分的量：0tft)(0tx)(t求出求出J 的一次变分并令其为零的一次变分并令其为零0d)()()()(0t

14、HHttttJTTTttffTfTffxuuxxxxx将上式改写成将上式改写成0d)()()(0tHHtttJTTttfTfffuuxxxx（13）)(ftx)(t由于由于 未加限制，可以选择未加限制，可以选择 使上式中使上式中 和和 的系数的系数等于零。于是有等于零。于是有)(txxH（15）（14）（16）)()(ffttx0d0tHJTttfuu由于由于 是任意的变分，根据变分法中的辅助引理，由（是任意的变分，根据变分法中的辅助引理，由（16）式得）式得u0uH（17）（14）式称为伴随方程，）式称为伴随方程， 为伴随变量，（为伴随变量，（17）式为控制方程。）式为控制方程。)(t几点说

15、明：几点说明：1）实际上，（）实际上，（14）式和（）式和（17）式就是欧拉方程。）式就是欧拉方程。xfxLxH（18）因为因为0uH0ufuL（19）如果令如果令),()(),(),(xuxfuxLuxttttHT简记成简记成xfLTH（20）xfxL由欧拉方程得到由欧拉方程得到0ddxxHtH0)(xfxL即即（21）可见（可见（21）式和（）式和（18）式相同，（）式相同，（22）式和（）式和（19）式相同。因此，）式相同。因此，（14）式和（）式和（17）就是欧拉方程，而（）就是欧拉方程，而（7）式和（）式和（15）就是横截条）就是横截条件。件。0dduuHtH0ufuL（22）2）

16、是泛函取极值的必要条件是否为极小值还需要二次变分是泛函取极值的必要条件是否为极小值还需要二次变分 来判断，来判断， 则泛函则泛函J 取极小值。取极小值。0JJ202J3） 哈密顿函数沿最优轨线随时间的变化率哈密顿函数沿最优轨线随时间的变化率tHHHHtHTTTuuxxdd在最优控制在最优控制 、最优轨线、最优轨线 下，有下，有 和和*u*x0uH（10）式的哈密顿函数对 求偏导，结果为 xux,f),(t 由（14）式可得0 xxxxHHHHHHTTTT 因为减号两边是相等标量（行向量与列向量相乘） （23）（24）这两个等于零的式子代入（这两个等于零的式子代入（23）式，于是）式，于是tHt

17、Hdd 即哈密顿函数即哈密顿函数H 沿最优轨线对时间的全导数等于它对时间的偏沿最优轨线对时间的全导数等于它对时间的偏导数。记为导数。记为 则则)(),(*tHtHuxttHHdd（25）对上式积分，得到对上式积分，得到dHtHtHfttf*0*0)()(（26）当哈密顿函数不显含当哈密顿函数不显含 t 时，由（时，由（25）式得）式得consttHtHf)()(*初始条件初始条件例例6-1 系统状态方程为系统状态方程为ux )(0tx性能指标性能指标tutcxJfttfd21)(212200c试求最优控制试求最优控制 ，使，使J 取极小值。取极小值。*u解解 哈密顿函数哈密顿函数uutuxH2

18、21),(由伴随方程由伴随方程0 xHconst)()()(fftcxtt)()(21)()(2fffftcxtcxtxt因为因为const由控制方程由控制方程0uuH即即)()(*ftcxtu将将 代入状态方程代入状态方程*u)(ftcxux解为解为10)()(ctttcxtxf当当 时，代入上式，求得时，代入上式，求得 ，所以，所以0tt )(01txc )()()(00txtttcxtxf当当 时，时，ftt )(1)()(00tttxtxff)(1)(21d21)(2100222*0ttctcxtutcxJfttff最优性能指标为最优性能指标为6.2.2 末值时刻固定，末端状态固定情况

19、下的最优控制末值时刻固定，末端状态固定情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx （27）初始状态初始状态)()(00ttttxx（28）末值状态末值状态)()(fttttfxx（29）性能指标性能指标ttLJfttd),(0ux（30）)(ftx寻求最优控制寻求最优控制 ，在，在 内，将系统从内，将系统从 转移到转移到 ，同时使性能指标同时使性能指标J 取极小值。取极小值。*u,0ftt)(0tx（性能指标如（性能指标如（3030）式所示的最优控制问题，）式所示的最优控制问题，是变分法中的是变分法中的拉格朗拉格朗日问题日问题）引入哈密顿函数引入哈密顿函

20、数),()(),(),(ttttHTuxfuxLux)()()()(21ttttn其中其中ttHJTttfd),(0 xux于是于是因为因为xuxuxfuxuxL)(),(),()(),(),(ttHtttHtTT对上式右边第对上式右边第2项进行分部积分，可以得到项进行分部积分，可以得到ttHttttJTttffTTfd),()()()()(000 xuxxx上式中可以变分的量：上式中可以变分的量：uuu)()(ttxxx)()(tt)(t不可以变分的量：不可以变分的量：0tft)(0tx)(ftx令性能指标令性能指标J 的一次变分等于零，得的一次变分等于零，得0d0tHHJTTttfuuxx

21、（31）选择选择 ，使其满足，使其满足)(txH（32）则则0d0tHJTttfuu（33）在末端状态固定情况下，在末端状态固定情况下， 不是任意的。只有在系统能控的情况不是任意的。只有在系统能控的情况下，才有控制方程下，才有控制方程u0uH例例6-2 问题问题6-1的系统状态方程为的系统状态方程为FDDDmTJIJKxxxx10000102121末值状态末值状态0)()(21fftxtx初始状态初始状态00)0()0(21xx性能指标性能指标ttIREJDtDfd)(201DR设设ttIEJDtfd)(20)(ftx最优控制问题就是在状态方程的约束下，寻求最优控制问题就是在状态方程的约束下，

22、寻求 ，使，使 转转移到移到 ，并使，并使J 取极小值。取极小值。)(tID)0(x解解 根据能控性判据知，该系统是能控的根据能控性判据知，该系统是能控的200rankrankDmDmJKJKCQ1）哈密顿函数为）哈密顿函数为FDDDmTDTJIJKItH1000010),(2xux2）由控制方程得到）由控制方程得到00221DmDDJKIIH即即022DmDJKI221DmDJKI3）由伴随方程）由伴随方程 ，得到，得到xH01constc 11112c212ctc （ ， 为积分常数）为积分常数）1c2c)(2121ctcJKIDmD4）由状态方程得）由状态方程得21xx FDDmDmFD

23、DDmTJcJKtcJKTJIJKx1212112221222322221222)121(41ctTJcJKtcJKxFDDmDm43222223122112141121ctctTJtcJKtcJKxFDDmDm（ ， 为积分常数）为积分常数）3c4c根据边界条件，确定积分常数，得根据边界条件，确定积分常数，得043 cc223124mDfKJtcFmDmDfTKJKJtc22222212代入代入 和和)()(2ttx)(tID6)(222ffttttxtttJTtJKtIfDFfDmD321261)(它们的曲线如图所示它们的曲线如图所示（图中（图中 ，实线是，实线是理论上的变化，虚线理论上的

24、变化，虚线是实际的轨线。）是实际的轨线。）)(tID6.2.3 末值时刻自由情况下的最优控制末值时刻自由情况下的最优控制非线性时变系统状态方程为非线性时变系统状态方程为),(tux,fx 初始状态初始状态)()(00ttttxx初始时刻初始时刻 固定，末值时刻固定，末值时刻 是自由的。是自由的。 自由，性能指标自由，性能指标0tft)(ftxttttJfttffd),(),(0uxLx（34） 寻求最优控制寻求最优控制 以及以及 ，使性能指标，使性能指标J 取极小值。为了求出取极小值。为了求出最优控制，引入哈密顿函数最优控制，引入哈密顿函数*u*ft),()(),(),(ttttHTuxfux

25、Lux其中其中)()()()(21ttttntttHttJTttfffd)(),(),(0 xuxx于是于是可以变分的量可以变分的量ftux)(ftx不能变分的量不能变分的量)(0tx0t)(tfttTTTTttfffTftHtHHttttJffd)()(0 xxuuxxxx),(tHux上式中上式中H 为为 的简化表示的简化表示对上式中对上式中 进行分部积分，进行分部积分， 成为成为tfttTd0 xJfttTttTTTttfffTtHtHHtttJfffd)(0 xxuuxxxx（35）)(ftx应当注意，末值时刻应当注意，末值时刻 自由时，自由时， 不等于不等于 ftfttxffttft

26、ttf)()(xxx或或ffftttttf)()(xxx上式代入（上式代入（35）式）式fffTTttfTffttHttHHtttJf)(d)()()(0uuxxxx性能指标取极值时，必有性能指标取极值时，必有0J0)(d)()()(0fffTTttfTffttHttHHtttJfuuxxxx（36）选择选择 使其满足使其满足)(txH（37）)()(ffttx（38）由于由于 、 是任意的，可得是任意的，可得uft0uH（39）（40）ffttH)(（41）而而),(tHuxfx例例6-3 系统的状态方程为系统的状态方程为ux 1)0(x0)(ftx性能指标性能指标tutJftfd022求最

27、优控制求最优控制 和末值时刻和末值时刻 ，使性能指标泛函取极小值。，使性能指标泛函取极小值。)(*tuft解解经判断系统是能控的经判断系统是能控的1） 构造哈密顿函数构造哈密顿函数uutx,uH2),(2）由控制方程）由控制方程 ，得，得0uH02*u或或21*u3）由伴随方程）由伴随方程0 xH1cconst 1*21cu4）将）将 代入状态方程代入状态方程*u121cx解为解为ftc212121ctcx2c其中，其中， 、 为积分常数，由为积分常数，由 ， 确定，得确定，得1c)0(x)(ftx1)0(2 xc5）由于）由于 自由，自由， ，得到，得到ft0)(ffttHfffttutu2

28、)()(202)()(2fffttutu或或解得解得3116c312ft31*2u1231*tx6.3 极小值原理及其在快速控制中的应用极小值原理及其在快速控制中的应用6.3.1 问题的提出问题的提出 用变分法求解最优控制时，认用变分法求解最优控制时，认为控制向量为控制向量 不受限制。但是不受限制。但是实际的系统，控制信号都是受到实际的系统，控制信号都是受到某种限制的。某种限制的。)(turRUt)(u 因此，应用控制方程因此，应用控制方程来确定最优控制，可能出错。来确定最优控制，可能出错。0uHa)图中所示，图中所示，H 最小值出现在左最小值出现在左侧，不满足控制方程。侧，不满足控制方程。b

29、)图中不存在图中不存在 0uH6.3.2 极小值原理极小值原理非线性定常系统的状态方程为非线性定常系统的状态方程为（42）),(uxfx ft初始时刻初始时刻 ，初始状态，初始状态 ，末值时刻，末值时刻 ，末端状态，末端状态 自由自由0t)(0tx)(ftxUu)(t（43）性能指标为末值型性能指标性能指标为末值型性能指标),(ffttJx（44）)(ftx要求在状态方程约束下，寻求最优控制要求在状态方程约束下，寻求最优控制 及及 使系统从使系统从转移到转移到 ，并使，并使J 取极小值。取极小值。Uu *ft)(0tx以下就是用极小值原理解前面的问题：以下就是用极小值原理解前面的问题： 设设

30、为容许控制，为容许控制， 为对应的状态轨线。为了使它们分别成为对应的状态轨线。为了使它们分别成为最优控制为最优控制 和最优轨线和最优轨线 ，存在一个向量函数，存在一个向量函数 ，使得，使得)(tu)(tx)(t*u)(t*x)(t*xH*（45）xH*（46）其中哈密顿函数：其中哈密顿函数：),(),(uxfuxTtH（47）)(*t（49）（48） 和和 满足边界条件满足边界条件)()(0*0ttttxx)()(*ffttx)(*tx则哈密顿函数则哈密顿函数H 相对最优控制取极小值，即相对最优控制取极小值，即（50）,min),(*tHtHuxuxUu或者或者),(*tHux,*tHux（5

31、1）consttHtHf)()(*在末值时刻在末值时刻 是自由的情况是自由的情况ft哈密顿函数沿最优轨线随时间的变化规律：哈密顿函数沿最优轨线随时间的变化规律：在末值时刻在末值时刻 是固定的情况是固定的情况ft（52）（53）0)()(*ftHtH几点说明：几点说明：1）极小值原理给出的只是最优控制应该满足的必要条件。）极小值原理给出的只是最优控制应该满足的必要条件。2）极小值原理的结果与用变分法求解最优问题的结果相比，差别）极小值原理的结果与用变分法求解最优问题的结果相比，差别仅在于极值条件。仅在于极值条件。4）非线性时变系统也有极小值原理。）非线性时变系统也有极小值原理。3）这里给出了极小

32、值原理，而在庞德里亚金著作论述的是极大值）这里给出了极小值原理，而在庞德里亚金著作论述的是极大值原理。因为求性能指标原理。因为求性能指标J的极小值与求的极小值与求J的极大值等价。的极大值等价。6.3.3 二次积分模型的快速控制二次积分模型的快速控制在问题在问题6-2中，若中，若 ， ，令，令 。就是二次积。就是二次积分模型。分模型。0FT1/DmJK)()(tutID其状态方程模型其状态方程模型ux 221xx （54）u1（55）系统的初始状态为系统的初始状态为)0(1x)0(2x（56）末值状态为末值状态为0)(1ftx0)(2ftx（57）性能指标为性能指标为ftttJf0d（58）)(

33、ftx 要求在状态方程约束下，寻求满足（要求在状态方程约束下，寻求满足（55）式的最优控制）式的最优控制，使系统从，使系统从 转移到转移到 ，同时使，同时使J 取极小值。取极小值。)(*tu)0(x因为在这个最优控制问题中，控制信号因为在这个最优控制问题中，控制信号 受限制，因此用极小值受限制，因此用极小值原理来求解。系统是能控的，其解存在且唯一。原理来求解。系统是能控的，其解存在且唯一。)(tu1）哈密顿函数为）哈密顿函数为uxtuxH221),(（59）2）根据极值条件（）根据极值条件（50），来确定最优控制。），来确定最优控制。只能用分析的方法确定只能用分析的方法确定u(t)，使哈密顿函

34、数取，使哈密顿函数取极小值。显然，在极小值。显然，在u的限制条件下，选择的限制条件下，选择u 使使H 取得极小。有取得极小。有0)(10)(122*ttu（60）或或)(sign2*tu（61）3）伴随方程为）伴随方程为011xH122xH如果如果 的初始值为的初始值为 ， ，则，则 )(t11)0(d22)0(d11dtdd122（62）（63） 在在0， 内最多变号一次，最优控制函数有以下可能的内最多变号一次，最优控制函数有以下可能的4种情况种情况)(2tft4）由状态方程可知，当）由状态方程可知，当 时，求得时，求得1*utxtx)0()(22221121)0()0()(ttxxtx消去

35、消去t 得得)(21)0(21)0()(222211txxxtx或写成或写成22221121)0(21)0(xxxx为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如为了形象地表示系统的运动形态，引用相平面方法，画出相轨迹如下图所示。相轨迹为两族抛物线。下图所示。相轨迹为两族抛物线。从从 到达到达 的相轨迹只有两条的相轨迹只有两条 、 。0)0(x0)(ftxrr1*u2212121),(xxxxr2x0 01*u2212121),(xxxxr2x0 0r将将 和和 合起来，合起来，r2212121,xxxxxrrr曲线曲线r 将相平面分成两个区域将相平面分成两个区域 和和RR2212

36、121,xxxxxR2212121,xxxxxR当初始状态当初始状态 位于位于 ： 为为 （+1，1）)0(xR*u最优轨线：当初始状态最优轨线：当初始状态 位于位于 ： 为为 （1，+1）)0(xR*u0CBA0 ED曲线曲线r 常称为转移曲线或开关曲线。常称为转移曲线或开关曲线。开关曲线方程式为开关曲线方程式为021),(22121xxxxxh也称为开关函数。最优控制为也称为开关函数。最优控制为),(21xxh11)(*tu0),(21xxh当当 及及 ，0),(21xxh2x0 00),(21xxh当当 及及 ，0),(21xxh2x00最优控制系统的结构图，如下图所示最优控制系统的结构

37、图，如下图所示5）最优性能指标）最优性能指标初始状态在初始状态在A点：点：COACfttt*)0(21)0()0(2212xxxtAC)0(21)0(221xxtCOCOACfttt*)0(2)0(4)0(2212xxx)()(*tItuD说明：通过这个最优控制问题的求解发现，最优控制与问题说明：通过这个最优控制问题的求解发现，最优控制与问题6-1不不同。在问题同。在问题6-1中，中， 为时间的三角函数。为时间的三角函数。 而在这里，而在这里， 为时间方波函数。原因在于性能指标不同，因此为时间方波函数。原因在于性能指标不同，因此 也也不同。因此，在说到最优控制问题时，一定要指明性能指标，即求不

38、同。因此，在说到最优控制问题时，一定要指明性能指标，即求解在什么性能指标下的最优。解在什么性能指标下的最优。)()(*tItuD)(*tu6.4 用动态规划法求解最优控制问题用动态规划法求解最优控制问题右图为某小城镇交通路线图。右图为某小城镇交通路线图。起点站为起点站为S，终点站为，终点站为F，) 1 (1x)2(1x)3(1x) 1 (2x)2(2x) 3(2x 站与站之间的里程标在图上，要求选择一条路线站与站之间的里程标在图上，要求选择一条路线走法，使里程最短。这是一个最优控制问题。走法，使里程最短。这是一个最优控制问题。一种办法是将从一种办法是将从S 到到F 所有可能走法都列出来，并且把

39、每所有可能走法都列出来，并且把每种走法的里程标在各条路线上，找出最短的。种走法的里程标在各条路线上，找出最短的。6.4.1 动态规划法的基本思想动态规划法的基本思想第二个办法：从最后一段开始，第二个办法：从最后一段开始，向前倒推。当倒推到某一站时，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，计算该站到终点站的总里程，并选择里程最少的走法。并选择里程最少的走法。（这个例子中（这个例子中b图有错误，不应图有错误，不应该丢失其他路径的信息。可以参该丢失其他路径的信息。可以参看胡寿松的教材的同类例子。）看胡寿松的教材的同类例子。）从该例看出，这种解法有两个特点从该例看出，这种解法有两个特点:

40、 第一，它把一个复杂的问题第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（次只决定向上走（p）还是向下走（）还是向下走（q）的问题），因此问题的求解）的问题），因此问题的求解变得简单容易了。变得简单容易了。不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的多级最优控制问题代换成一

41、系列最优控制过程来说，就是把原来的多级最优控制问题代换成一系列单级最优控制问题。单级最优控制问题。6.4.2 最优性原理最优性原理 最优性原理最优性原理在一个多级决策问题中的最优决策具有这样的性在一个多级决策问题中的最优决策具有这样的性质，不管初始级质，不管初始级 、初始状态和初始决策是什么，当把其中任何一级、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。构成一个最优决策。将最优性原理应用到离散系统中去，系统状态方程为将最优性原理应用到离散系统中去，系统状态方程为)

42、(),() 1(kkkuxfx初始状态为初始状态为)0()(0 xxkk性能指标为性能指标为)(),(0kkLJNkux要求确定要求确定 ，使性能指标最优，即，使性能指标最优，即)(kuoptJ)(ik u一般认为，第一般认为，第k 级决策级决策 与第与第k 级以及级以及k 以前各级状态以前各级状态 和决和决策策 有关有关)(ku)(ik x), 2 , 1(i),1(),(,),1(),()(kkkkkuuxxuu（64）以上函数称为策略函数以上函数称为策略函数)(),()1 (),1 ()0(),0(opt0),0()(,),1(),0(*NNLLLJNuuuuxuxuxx)(),()1

43、(),1 (opt)0(),0(opt)(,),2(),1()0(NNLLLNuuuuuxuxux如果记如果记)(),()1 (),1 (opt 1),1 ()(,),2(),1(*NNLLJNuuuuxuxx则则1),1 ()0(),0(opt0),0(*)0(*xuxxJLJu对于任意级对于任意级k ， 有有1),1()(),(opt),(*)(*kkJkkLkkJkuxuxx（65）应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前的决策没有明确的要求。的决策没有明确的要求。6.4.3 用动态规划法求解离散系统最优控制问题

44、用动态规划法求解离散系统最优控制问题系统状态方程为系统状态方程为)(),() 1(kkkuxfx（66）)0()(0 xxkk（67）)(),(0kkLJNkux（68）要求在状态方程约束下，寻求要求在状态方程约束下，寻求 使使)(kuminJ1),1()(),(min),(*)(*kkJkkLkkJkuxuxx 可以受限制，也可以不受限制。可以受限制，也可以不受限制。)(ku例例6-4 线性定常离散系统的状态方程为线性定常离散系统的状态方程为)()() 1(kukxkx初始状态为初始状态为 ，性能指标为，性能指标为)0(x)(21)(212102kuNcxJNk寻求最优控制序列寻求最优控制序

45、列 ，使，使 （为了简单起见，设（为了简单起见，设 ）2N)(kuminJ解解 运用动态规划法来求解运用动态规划法来求解1） 从最后一级开始，即从最后一级开始，即2k)2(212),2(2*cxxJ2） 向前倒推一级，即向前倒推一级，即1k22)1(22)1(*2)1(*)1 () 1 (21) 1 (21min)2(21) 1 (21min2),2() 1 (21min 1),1 (uxcucxuxJuxJuuu因为因为 不受限制，故不受限制，故 可以通过下式求得可以通过下式求得)(ku) 1 (*u0) 1 () 1 () 1 () 1 ( 1),1 (*cucxuuxJccxu1) 1

46、() 1 (*)1 (2) 1 ( 1),1 (2*ccxxJcxuxx1) 1 () 1 () 1 ()2(*3） 再向前倒推一级，即再向前倒推一级，即0k)1 (2)0()0()0(21min)1 (2) 1 ()0(21min 1),1 ()0(21min0),0(22)0(22)0(*2)0(*cuxcuccxuxJuxJuuu注意：注意：1、对一个多级决策过程来说，最优性原理保证了全过程性、对一个多级决策过程来说，最优性原理保证了全过程性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能

47、指标最小的决策作为最优决策，而都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的决策作为最优决策。决策作为最优决策。2、动态规划法给出的是最优控制的充分条件，不是必要条件。这、动态规划法给出的是最优控制的充分条件，不是必要条件。这和极小值原理是不同的。和极小值原理是不同的。)0(211) 1 (*xccx由由 ，解得，解得0)0(0),0(*uxJccxu1)0()0(*)1 (2)0(0),0(2*ccxxJ)0(211)2(*xcx6.4.4 用动态规划法求解连续系统

48、最优控制问题用动态规划法求解连续系统最优控制问题非线性时变系统状态方程为非线性时变系统状态方程为),(tuxfx （69）初始条件初始条件)()(00ttttxx（70）性能指标性能指标ttttJfttffd),(),(0uxLx（71）要寻求最优控制，在满足状态方程（要寻求最优控制，在满足状态方程（69）的条件下，使）的条件下，使J 取极小值取极小值ttttttJfttffUud),(),(min)(,(0*00*uxLxx（72）满足条件满足条件),(),(*ffffttttJxx（73）求解时，用到连续系统的最优性原理。求解时，用到连续系统的最优性原理。 如果对于初始时刻如果对于初始时刻

49、 和初始状态和初始状态 来说，来说， 和和 是系统是系统的最优控制和最优轨线。那么，对于的最优控制和最优轨线。那么，对于 和状态和状态，它们仍是所研究的系统往后的最优控制和最优轨线。，它们仍是所研究的系统往后的最优控制和最优轨线。0t)(0tx)(*tu)(*tx,0ftttt)(tt x 假定假定 是存在的且是连续的并且有连续的一阶、二阶偏导是存在的且是连续的并且有连续的一阶、二阶偏导数，由最优性原理可以写出数，由最优性原理可以写出),(*ttJx),(*ttJxd),(),(min,uxLffttUttud),(),(d),(),(min,uxLuxLffttttttUttud),(),(

50、d),(),(minmin,uxLuxLffttttttUtttuUtttu（74）用类似用类似6.4.2中的处理方法，令中的处理方法，令),(*ttttJxd),(),(min,uxLfftttUtttu（75）则（则（74）式可以写成）式可以写成),(*ttJx),(d),(),(min*,ttttJtttUtttuxuxL（76）),(*ttJx由于由于 对于对于 、 是连续可微的，故式（是连续可微的，故式（76）右边第二项）右边第二项可以展开成台劳级数，取一阶近似可以展开成台劳级数，取一阶近似xt),(*ttJx),(*ttttJxttttJttttJT),(dd),(*xxxx（77

51、）而由中值定理，（而由中值定理，（76）式右边第一项可以写成）式右边第一项可以写成tttttttttt),(),(d),(),(uxLuxL（78）其中，其中， 是介于是介于0和和1之间的某一常数。之间的某一常数。将（将（77）、（）、（78）式代入（）式代入（76）式）式),(*ttJxUtttu,minttttttt),(),(uxL),(*ttJxttttJttttJT),(dd),(*xxxx（79）（80）对（对（79）式简化，并且令）式简化，并且令0 t),(),(),(),(min),(*,*tttJttttttJTUtttuuxfxxuxLx（80）式称为哈密顿贝尔曼方程，是用

52、动态规划法求解最优控）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控制问题的基本方程。制问题的基本方程。tttJtxt,),(),()(*xxuu显然有显然有（81）方程（方程（80）的边界条件）的边界条件),(),(*ffffttttJxx（82）如果性能指标泛函中无末值项，则如果性能指标泛函中无末值项，则0),(*ffttJx（83）注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，不是必要条件。不是必要条件。用动态规划法求解连续系统最优控制问题的步骤：用动态规划法求解连续系统最优控制问题的步骤：（84）的解的解)(*tu1）求满足）

53、求满足),(),(),(),(min*,tttJtttTUtttuuxfxxuxL在求解方程（在求解方程（84）时，若）时，若 不受限制，则在引入哈密顿时，有不受限制，则在引入哈密顿时，有)(tu0uH)(*tu如果如果 受限，即受限，即 ，在确定，在确定 时，只能用分析方法，时，只能用分析方法，使使)(turRU u),(*tuxH),(*tuxH2）将）将 代入（代入（80）、（）、（82）和（）和（83）式，解出）式，解出)(*tuttJ),(*x（85）ttJ),(*x)(*tu3）将）将 再代入（再代入（84）就得到最优控制）就得到最优控制tttJtxt,),(),()(*xxuu（

54、86）4）将（）将（85）式代入系统状态方程）式代入系统状态方程)()(00ttttxx),(),(ttt*uxfx )(*tx可以求出最优轨线可以求出最优轨线 。把。把 代入（代入（85）式得到最优控制）式得到最优控制)(*tx)(*tu例例6-5 系统状态方程为系统状态方程为uxx1)0(x，性能指标，性能指标 。 u1txJd02寻求寻求 ，在状态方程约束下，在状态方程约束下，J 取极小值。取极小值。*u解解 1）求）求uxJxxJxuxxJxuu*21*21min)(min用分析方法，可知用分析方法，可知xJu*sign2）将）将 代入哈密顿贝尔曼方程代入哈密顿贝尔曼方程*u0sign

55、*2xJxxJx即即0*2xJxxJx可以分析出可以分析出 是正函数，则哈密顿贝尔曼方程可写成是正函数，则哈密顿贝尔曼方程可写成xJ*0*2xJxxJxcxxxJ)1ln(22*由于由于 与与 无关，上式为一元微分方程，其通解为无关，上式为一元微分方程，其通解为*Jt其中，其中，c 为积分常数，由边界条件确定为为积分常数，由边界条件确定为 c =0 )1ln(22*xxxJ*u3）将）将 代入代入 的表达式中的表达式中*Jxxu1sign2*本例中本例中0001)(*xxtu4）将）将 代入状态方程，可解得代入状态方程，可解得*u2ln02ln01e2*ttxt由此得由此得2ln02ln01*

56、ttu最优性能指标最优性能指标193. 0212ln) 1 (*J6.5 线性状态调节器线性状态调节器6.5.1 引言引言 线性系统以二次型为性能指标的最优控制问题，已经在国内、线性系统以二次型为性能指标的最优控制问题，已经在国内、外的工程实践中得到应用。原因如下：外的工程实践中得到应用。原因如下：1）被控对象是线性的，最优控制问题容易求得解析解。）被控对象是线性的，最优控制问题容易求得解析解。2）线性系统最优控制的结果，可以在小信号条件下，应用于非线）线性系统最优控制的结果，可以在小信号条件下，应用于非线性系统。性系统。3）最优控制器是线性的，易于实现。）最优控制器是线性的，易于实现。4）线

57、性、二次型性能指标的最优控制问题除了得到最优解外，还）线性、二次型性能指标的最优控制问题除了得到最优解外，还可以导出经典控制理论的一些特性。可以导出经典控制理论的一些特性。6.5.2 有限时间状态调节器有限时间状态调节器线性时变系统的状态方程为线性时变系统的状态方程为uBxAx)()(tt（87）)()(00ttttxx（88）（89）寻找一个最优控制寻找一个最优控制 ，使，使*utttttJfttTTffTd)()(21)()(210uRuxQxFxx为极小。为极小。其中，其中，x 为为n 维状态向量；维状态向量；u 为为r 维控制向量，且维控制向量，且u 不受限制。不受限制。其中，其中，F

58、为为 对称半正定常数阵；对称半正定常数阵； 为为 对称半正定时变对称半正定时变阵。阵。 为为 对称正定时变阵。对称正定时变阵。nnnn)(tQnn)(tR求解这个最优控制问题，可以用极小值原理，也可以用动态规划法。求解这个最优控制问题，可以用极小值原理，也可以用动态规划法。这里用极小值原理来求解。这里用极小值原理来求解。1）哈密顿函数为）哈密顿函数为uBxAuRuxQxux)()()(21)(21),(tttttHTTT（90）2）伴随方程为）伴随方程为AxQx)()(ttHT（91）)()(ffttFx（92）3）控制方程为）控制方程为0)()(BuRuttHTBRu)()()(1*tttT

59、（93）0)(22tHRu故故J 取极小值取极小值4）将）将 代入状态方程得代入状态方程得*uBRBxAx)()()()(1tttt（94）初始状态为初始状态为)(0tx（95）将（将（90）式至（）式至（95）式联立，即可即可求解这个最优控制问题。）式联立，即可即可求解这个最优控制问题。另外一种求解方式：另外一种求解方式：设设xP)()(tt （96）其中，其中， 为待定的为待定的 时变阵时变阵 )(tPnn（97）（96）式对）式对t 求导，并且将（求导，并且将（94）式代入）式代入xPBRBPAPP1)()()()()()()()(ttttttttT（91）式可改写成）式可改写成xQPA

60、xQxPA)()()()()()(ttttttTT（98）比较（比较（97）和（）和（98），可以得到），可以得到0)()()()()()()()()()()(tttttttttttTTQPBRBPPAAPP1（99）（100）FP)(ft（99）式称为）式称为Riccati微分方程。其边界条件为微分方程。其边界条件为)()()()(ffffttttFxxP得到得到xPBRu)()()(*1tttT（101）状态反馈的闭环方程为状态反馈的闭环方程为xGx)(t（102）其中其中)()()()()()(1ttttttTPBRBAG（103）)()(ttTPP两点说明：两点说明：1）由于矩阵黎卡提