最优控制理论 (1)资料

1、最 优 控 制 理 论与 应 用 Optimal Control Theory and Application 主讲(zhjing)：xxx共一百四十一页主 要 内 容 1 最优控制问题(wnt)2 求解(qi ji)最优控制的变分方法3 最大值原理与应用5 动态规划4 线性二次型性能指标的最优控制6 对策论与最大最小控制共一百四十一页最优控制理论 现代控制理论的重要组成部分(z chn b fn)；20世纪50年代 发展形成系统的理论； （动态规划、最大值原理）中心问题 给定一个控制系统，选择控制规律， 使系统在某种意义上是最优的；应用 在各个领域中得到应用，效益显著。前 言共一百四十一页

2、例1.1 飞船软着陆问题(wnt) ：飞船软着陆：在月球表面着陆时速度必须为零，由发动机的推力变化来完成。1 最优控制问题(wnt)1.1 一个实例 月球共一百四十一页问题：如何(rh)选择推力，使燃料消耗最少。高度(god)垂直速度飞船的质量月球重力加速度常数飞船自身质量发动机推力燃料的质量F共一百四十一页初始条件： 登月舱初始(ch sh)质量 初始高度 初始速度 初始时间， 末端时间常数模型(mxng)抽象共一百四十一页 边界条件 初始条件 末端条件 控制约束： （发动机最大推力） 性能指标：选择(xunz) 使 燃料最省共一百四十一页1.2 问题(wnt)描述(1) 状态方程 一般(y

3、bn)形式为 为n维状态向量 为r维控制向量 为n维向量函数 给定控制规律 满足一定条件时，方程有唯一解 共一百四十一页(2) 容许(rngx)控制 ：, 有时(yush)控制域可为超方体 (3) 目标集 q维向量函数 固定端问题 自由端问题 共一百四十一页(4) 性能指标 对状态、控制以及终点(zhngdin)状态的要求，复合型性能指标。 积分型性能指标，表示对整个状态和控制(kngzh)过程的要求。 终点型指标，表示仅对终点状态的要求。 共一百四十一页2 求解(qi ji)最优控制的变分方法（回顾：函数(hnsh)极值 ）共一百四十一页回顾(hug): 静态最优化问题的解 -函数极值 (一

4、) 一元函数的极值(j zh)：共一百四十一页(二) 多元函数(hnsh)的极值共一百四十一页共一百四十一页共一百四十一页共一百四十一页三、具有等式约束条件极值的解法拉格朗日乘子法将具有等式约束条件的极值问题(wnt)化为约束条件的极值问题(wnt)来求解（一）拉格朗日函数(hnsh)共一百四十一页共一百四十一页（二）拉格朗日函数(hnsh)H极值的解法共一百四十一页2 求解(qi ji)最优控制的变分方法2.1 泛函与变分法基础(jch)平面上两点连线的长度问题 其弧长为行程问题共一百四十一页一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为 。，称为泛函。 ，称泛函的宗量。共一百四十一

5、页泛函与函数(hnsh)的几何解释 宗量的变分 线性泛函 泛函对宗量是线性的共一百四十一页连续(linx)泛函：宗量的变分趋于无穷小时，泛函的变分也趋于无穷小. 泛函的变分： Jd=泛函的增量(zn lin) 此时,称泛函是可微的。是的高阶无穷小量，则若共一百四十一页定理(dngl)2.1 泛函的变分为 证明(zhngmng)共一百四十一页例2.1 求泛函的变分 定理2.2 若泛函在x有极值，则必有上述方法与结论对于(duy)包含多变量函数的泛数同样适用 。共一百四十一页2.2 欧拉方程(fngchng)泛函 有二阶连续偏导数 两端固定 变分 分部(fn b)积分 共一百四十一页例2.2 求平

6、面上两固定点间连线(lin xin)最短的曲线 ， 直线 共一百四十一页2.3 横截条件(tiojin)左端固定右端沿曲线变动 终点值与终点的变分 横截条件(tiojin)共一百四十一页 共一百四十一页例2.3 从一固定点到已知曲线(qxin)有最小长度的曲线(qxin) 所求的极值(j zh)曲线与约束曲线相正交。 欧拉方程 积分求解计算横截条件直线 共一百四十一页2.4 含有多个未知函数(hnsh)泛函的极值 泛函 欧拉方程 边界值 横截条件(tiojin) 共一百四十一页2.5 条件极值（有约束(yush)）状态方程 泛函 引进乘子 构造(guzo)新的函数和泛函 欧拉方程 约束方程 共

7、一百四十一页例2.4 泛函约束方程 边界条件 试求使泛函有极值。 解：化为标准形式 把问题化为标准形式，令例2.6共一百四十一页约束方程可定为边界条件为共一百四十一页引进乘子构造函数欧拉方程 共一百四十一页解出 其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：共一百四十一页于是，极值曲线和为：共一百四十一页2.6.1 自由(zyu)端问题约束方程 新的泛函 有令哈米顿函数 2.6 最优控制问题(wnt)的变分解法共一百四十一页变分则伴随(bn su)方程 控制(kngzh)方程横截条件 共一百四十一页例2.5 考虑(kol)状态方程和初始条件为的简单(jindn)一阶系统，其

8、指标泛函为，使其中，给定，试求最优控制有极小值。共一百四十一页伴随方程 边界条件 控制方程 解:引进伴随变量，构造哈米顿函数共一百四十一页则最优控制为 得代入状态方程求解(qi ji)得令，则有共一百四十一页2.6.2 固定(gdng)端问题， 性能指标 共一百四十一页边界条件 指标泛函 哈米顿函数 伴随方程 ， 例2.6 重解例2.4 其解为 共一百四十一页 共一百四十一页约束方程 引入拉格朗日乘子向量(xingling)，得新的泛函 2.6.3 终端(zhn dun)时刻自由，终端(zhn dun)状态受限问题终端约束 性能指标 共一百四十一页 有 令H函数(hnsh) 共一百四十一页 而

9、共一百四十一页 于是(ysh)共一百四十一页 于是(ysh)共一百四十一页， ， 取极值的必要条件得由共一百四十一页问题(wnt)描述系统(xtng)状态方程 性能指标 t0,tf 固定, 自由，u可以有约束，也可无约束。3 最小值原理共一百四十一页3.1 古典(gdin)变分法的局限性u(t)受限的例子(l zi) 矛盾!例3.1伴随方程 极值必要条件 共一百四十一页3.2 最小值原理(yunl)且 定理3.1 (最小值原理) 设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程 共一百四十一页最小值原理只是最优控制所满足(mnz)的必要条件。但对

10、于线性系统 ，最小值原理也是使泛函取最小值得(zh d)充分条件。共一百四十一页例3.2 重解例3.1 ， 哈密顿函数 伴随方程 由极值必要条件，知 ， 又于是有共一百四十一页， 协态变量与控制变量的关系(gun x)图 共一百四十一页, ，例3.3 性能指标泛函 哈密顿函数 伴随(bn su)方程 ， 共一百四十一页上有 共一百四十一页协态变量与控制变量的关系(gun x)图 整个(zhngg)最优轨线 共一百四十一页例3.4 把系统状态在终点时刻转移到 性能指标泛函 终点时刻是不固定的 哈米顿函数 伴随(bn su)方程 ， 共一百四十一页H是u的二次抛物线函数，u在 上一定使H有最小值，

11、可能在内部，也可能在边界上。 最优控制可能(knng)且只能取三个值 此二者都不能使状态变量同时满足(mnz)初始条件和终点条件 共一百四十一页 ， 最优控制 最优轨线 最优性能指标(zhbio) 共一百四十一页例3.5 使系统以最短时间从给定初态转移到零态 哈米顿函数 伴随方程 共一百四十一页最优控制切换(qi hun)及最优轨线示意图 共一百四十一页3.3 古典(gdin)变分法与最小值原理古典(gdin)变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件共一百四十一页4 线性二次型性能指标的最优控制 用最大值原理求最优控制(kngzh)，求出的最优

12、控制(kngzh) 通常是时间的函数，这样的控制(kngzh)为开环控制(kngzh) 当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。 在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间(shjin)和状态的函数。 求解这样的问题一般来说是很困难的。共一百四十一页 但对于线性，且指标(zhbio)是二次型的动态系统，却得了较好的解决。不但理论比较完善，数学处理简单，而且在工程实际中又容易实现，因而有着广泛的工程应用。共一百四十一页4.1 问题(wnt)提法动态方程 指标(zhbio)泛函 使求有最小值.其中是理想输出是实际输出共一百四

13、十一页（1）状态(zhungti)调节器问题此问题(wnt)称线性二次型性能指标的最优控制问题(wnt)。通常称为综合控制函数当时。（2）伺服跟踪问题当时。共一百四十一页指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项跟踪误差的惩罚。要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能量消耗的惩罚。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在(cnzi)。指标中的第一项是对终点状态的要求，由于对每个分量要求不同，用加权阵来调

14、整。共一百四十一页4.2.1 末端自由(zyu)问题构造(guzo)哈密顿函数 伴随方程及边界条件 最优控制应满足 4.2 状态调节器共一百四十一页求导 共一百四十一页（矩阵(j zhn)黎卡提微分方程） 边界条件 令最优控制是状态变量的线性函数借助(jizh)状态变量的线性反馈可实现闭环最优控制 最优控制 对称半正定阵 共一百四十一页例4.1 性能指标泛函 最优控制 黎卡提微分方程 共一百四十一页最优轨线 最优控制 最优轨线的微分方程 解 共一百四十一页黎卡提方程(fngchng)的解 随终点(zhngdin)时间变化的黎卡提方程的解 共一百四十一页4.2.2 的情况(qngkung)性能指

15、标 无限(wxin)长时间调节器问题 黎卡提方程 边界条件 最优控制 最优指标 共一百四十一页4.2.3 定常系统(xtng)完全可控 指标(zhbio)泛函 矩阵代数方程 最优控制 最优指标 共一百四十一页例4.2 黎卡提方程(fngchng) 共一百四十一页4.3 输出(shch)调节器输出(shch)调节器问题状态调节器问题 指标泛函 令共一百四十一页4.4 跟踪(gnzng)问题问题的提法 已知的理想输出 偏差(pinch)量 指标泛函 寻求控制规律使性能指标有极小值。物理意义：在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。 共一百四十一页指标(zhbio)泛函 哈密

16、顿函数 共一百四十一页设并微分(wi fn)共一百四十一页的任意性 最优控制 共一百四十一页最优轨线方程 最优性能指标 共一百四十一页例4.3 ， 性能指标 共一百四十一页最优控制 共一百四十一页， ， 最优控制 极限(jxin)解 共一百四十一页闭环控制系统结构 共一百四十一页5 动态(dngti)规划动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合(zngh)控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。 共一百四十一页5.1 多级决策(juc)过程与最优性原理作为例子，首先分析(fnx)最优路径问题(a) (b) (c)试分

17、析(a),(b)和(c)三种情况的最优路径，即从 走到 所需时间最少。规定沿水平方向只能前进不能后退。 共一百四十一页利用穷举法，易知：(a) 有2条路径，只需计算(j sun)21=2次加法，上面一条所需时间最少。(b) 有6条路径可达终点，需计算63=18次加法，经比较，可找出一条时间最短的路程。(c) 则需计算205=100次加法，才可得出结果，计算量显著增大了。 共一百四十一页逆向分级计算法 逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。 以(c)为例 从倒数第一级开始，状态有两个，分别为 和 在处，只有一条路到达终点，其时间是；在 处，也只有一条，时间为1。

18、后一条时间最短，将此时间相应地标在 点上。并将此点到终点的最优路径画上箭头。 共一百四十一页然后(rnhu)再考虑第二级 只有一种选择，到终点所需时间是 有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出(最优路径)也标出时间(最优路径) 依此类推，最后(zuhu)计算初始位置 求得最优路径 最短时间为 13(最优路径)共一百四十一页最优路径(ljng)示意图 共一百四十一页多级过程 多级决策过程 目标函数 控制目的 选择决策序列 使目标(mbio)函数取最小值或最大值。 实际上就是(jish)离散状态的最优控制问题。 共一百四十一页最优性原理(yunl) 在一个多级决策问题中的最优

19、决策具有这样的性质，不管初始(ch sh)级、初始(ch sh)状态和初始(ch sh)决策是什么，当把其中任何一级和状态做为初始(ch sh)级和初始(ch sh)状态时，余下的决策对此仍是最优决策。 共一百四十一页指标函数多是各级( j)指标之和，即具有可加性 最优性原理(yunl)的数学表达式 共一百四十一页5.2 离散系统动态(dngti)规划阶离散系统 性能指标 求决策(juc)向量 使 有最小值（或最大值），其终点可自由，也可固定或受约束。共一百四十一页记 应用(yngyng)最优性原理 可建立(jinl)如下递推公式 贝尔曼动态规划方程 共一百四十一页例5.2 设一阶离散系统，状

20、态方程和初始条件为性能指标 求使 有最小值的最优决策序列和最优轨线序列 指标可写为 共一百四十一页代入 上一级共一百四十一页代入状态方程 最优决策序列 最优轨线 共一百四十一页5.3 连续(linx)系统的动态规划性能指标 目标(mbio)集 引进记号 根据最优性原理及共一百四十一页共一百四十一页由泰勒(ti l)公式，得 由中值(zhn zh)定理，得 共一百四十一页连续型动态(dngti)规划方程 实际上它不是一个偏微分方程(fngchng)，而是一个函数方程(fngchng)和偏微分方程(fngchng)的混合方程(fngchng) 共一百四十一页满足连续型动态规划(guhu)方程，有

21、设边界条件 动态规划 动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合(zngh)函数 ；动态规划要求 有连续偏导数最大值原理 最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得 。共一百四十一页例5.3 一阶系统 ， 性能指标 动态规划方程 右端对u求导数，令其导数为零，则得 共一百四十一页5.4 动态规划与最大值原理(yunl)的关系变分法、最大值原理(yunl)和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理(yunl)之间的关系前面已说明

22、，下面将分析动态规划和最大值原理(yunl)的关系。可以证明，在一定条件下，从动态规划方程能求最大值原理(yunl)的方程。 共一百四十一页动态(dngti)规划方程 令哈米顿函数(hnsh) 最大值原理的必要条件 共一百四十一页6 对策(duc)论与极大极小控制对策(duc)论-双方控制问题 矛盾冲突活动中，局中双方采取何种合理的策略而使自己处于“优越”地位的理论。6.1 离散对策(矩阵对策)零和对策：博弈的对方的支付就是自己的赢得，支付与赢得之和为0。共一百四十一页纯策略解：博弈过程中不管谁先开局都存在唯一(wi y)的最优对策解。 矩阵对策存在纯策略(cl)解的条件：博弈过程中不管谁先开

23、局都存在唯一的最优对策解。 共一百四十一页 矩阵对策存在纯策略解的条件：设对策的支付矩阵为L，u（行），v（列）是博弈(b y)的双方，此时v方力图使u支付最大，而 u方则试图使之最小。共一百四十一页 对局中人v来讲，对L中的每一列取其中的最小值， （最坏情况），再从这些列的最小值中取最大值 （最坏情况下的最好结果），对局中人u来讲，对L中的每一列取其中的最大值， （最坏情况），再从这些列的最小值中取最大值 （最坏情况下的最好结果）。如果 共一百四十一页 定理1 零和矩阵对策有极小极大解充要条件：存在一个最优对策解（i*，j*），使 对应i*行j*列的对策 或简写为称为（或称最优纯策略）。V是

24、对策值，则称存在极小极大解，对应i*行j*列的对策 或简写为（i*，j*）称为对策的最优解（或称最优纯策略）。共一百四十一页 若u与v的选择为连续值时（即可有无限个对策），则有一个连续的支付函数 ，而非离散的支付矩阵 。现在要找一对最优的 ，使得7.2 连续(linx)对策共一百四十一页， 上式表明 是L的一个鞍点。 有鞍点的必要条件为充要条件为共一百四十一页7.3 微分对策给定动态系统终端约束性能指标 共一百四十一页 引入哈密顿函数(hnsh)得新的泛函 共一百四十一页如果 是其最优解，则 一起满足共一百四十一页 特别(tbi)地，当状态方程和性能指标函数的被积函数可分解为一部分仅与策略u有

25、关，另一部分仅与策略v有关时，即 共一百四十一页 上述最优策略(cl)的必要条件也是充分条件。共一百四十一页8 快速(kui s)控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控(bi kn)对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。共一百四十一页8.1 快速控制问题性能指标 时间上限是可变的 从状态转移平衡状态所需时间最短 构造哈密顿函数 最小值原理 分段常值函数 共一百四十一页例8.1 有一单位质点，在 处以初速度2沿直线运动。现施加一力 ， ，使质点尽快返回原点，并停留在原点上。力 简称为控制。若其它阻力不计，试求此控制力。质点(zhdin)运动方程 状态方程 哈密顿函数(hnsh) 伴随方程 共一百四十一页最优控制 协态变量与控制(kngzh)函数4种情况示意图 共一百四十一页相轨线族示意图 开关曲线(qxin) 共一百四十一页开关(kigun)曲线 总时间(shjin) 初始状态 最优控制 状态方程 相轨线 最优控