现代控制理论-第6章-最优控制(录像)2极小值-1加了二次型

6.8极小值原理经典变分法控制方程状态方程伴随方程应用范围：u无约束,且H对u连续可微难满足一般更一般控制u(t)受不等式约束：极小值原理：1956年由前苏联学者庞特里亚金提出，是处理控制变量受约束情况的有力工具，另外它对L,f

的可微性要求也不过分严格。关键证明了控制变量受约束时性能指标J达到极值的必要条件为：

最优控制u*使哈密顿函数H取最小值。6.8.1连续系统的最小值原理求均为连续可微的函数,待定终端时刻。设系统维连续可微矢量函数维连续可微矢量函数终端状态满足一.将不等式约束问题等式约束问题1.引入新维控制变量：目的：2.引入新维变量：将不等式约束问题等式约束的波尔扎问题二.构造增广泛函：终端边界约束控制约束状态方程约束拉格朗日乘子矢量终端乘子矢量控制约束乘子矢量式中：三、实现最优控制的必要条件为：1）沿最优轨线满足正则方程：取哈密顿函数3）函数在最优轨线终点处的值决定于：2）在最优轨线上，与最优控制相应的函数取绝对极小值，即：或且在最优轨线上：4）协态终值满足横截条件：5）满足边界条件：说明：a.正则方程：适用于求解各种类型的最优控制问题；求解无控制约束的最优控制问题是其特例。b.当终端时刻固定时，终值条件：不存在。c.边值条件：d.极大值原理：e.极小值原理仅给出了最优控制的必要条件，而不是充要条件。可以证明，对于线性系统，极小值原理为充要条件。f.极小值原理中：实质上放宽了控制条件，解决了容许控制的求解问题，且不再要求对可微。0Huminmax用极小值原理求解最优控制的步骤：1）设：拉格朗日乘子矢量引入哈密顿函数：2）写出正则方程：3）对于最优控制，取绝对极小值:4）利用边界条件联立求解例6.8.1试求:时的解:自由定常系统、积分型性能指标、固定，，受约束情况。（2）列写正则方程：(3）（4）据横截和边界条件求解（上界）（下界）求最优状态轨线：其中，若自由，求使例6.8.2已知系统解:自由定常系统、终端性能指标、固定，，受约束情况。（2）列写正则方程：(3）（4）据横截和边界条件求解(3）Bang-Bang控制,又称开关控制。特点：1.控制矢量的各分量均取控制域的边界值；2.控制矢量可不断从一个边界值变换到另一个边界值；3.性能指标简单：极小值原理求解的一种特殊情况6.9Bang-Bang控制设能控的线性定常系统：求取哈密尔顿函数：得：1.时间控制是Bang-Bang控制,即开关控制；2.最优控制是唯一的：定理：线性定常系统则该最优控制是若存在时间最优控制唯一的。（证明略）3.最优控制的开关次数：定理：线性定常系统若存在时间最优控制满足都是Bang-Bang控制，最多切换n-1次。且在两个边界值之间且矩阵A的特征值均为实数。则每一个6.10双积分系统的时间最优控制设双积分系统:求6.10.1根据极小值原理确定最优控制1.取哈密尔顿函数：2.列写正则方程组：3.对于最优控制，取绝对极小值:得：直线切换时刻Bang-Bang控制6.10.2状态轨线及开关曲线系统:通向原点的曲线：开关曲线6.10.3最优控制律目的求最优控制律则最优控制律可简写为：开关函数反相器继电器R6.10.4最优控制律的工程实现受控对象控制装置开关曲线6.10.5最优时间计算t1t26.11动态规划法动态规划法处理控制变量受约束的最优控制问题的另一种方法。贝尔曼等人在上世纪50年代通过研究离散系统的多步决策问题（即过程最优问题）中提出来的，又称贝尔曼动态规划法。动态规划法的核心：最优性原理最优决策问题多段最优决策问题动态规划法的思想多个一段最优决策问题P1P2P3723AB446832432Q1Q2Q3设汽车从A城B城途中需穿越三条河流桥桥最优路线决策问题1234将A到B分成四段多段最优决策问题所选的最优路线必须保证其后部子路线是最优的P1P2P3723AB446832432Q1Q2Q3最优路线决策问题1234将A到B分成四段多段最优决策问题动态规划法遵循最优化原则：

从终点开始，按时间最短为目标，逐段向前逆推.每段最优决策1144852242344Q3Q2Q112AP1P2P3B7图6-21各站至终点站的最优路线最优路线决策问题1234将A到B分成四段多段最优决策问题Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子过程后N－k段子过程离散系统的状态转移图3）动态规划法体现了多段最优决策的一个重要规律，即所谓最优性原理。它是动态规划的基础。动态规划法的特点：1）与穷举算法相比，可使计算量大大减少；2）整体最优决策是从终点开始，采用逆推方法，通过计算、比较各段性能指标，逐段决策逐步延伸完成；不论初始状态和初始决策如何，其余（后段）决策（或控制）对于由初始决策所形成的状态来说，必定也是一个最优策略。最优性原理:Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子过程后N－k段子过程离散系统的状态转移图初始状态最优性原理同样适用于连续系统。求最优控制及最优轨线。例:设一阶离散系统解：为简单计，取N=2。即确定最优控制最优轨线最优性能泛函1u(1)2x(0)u(0)x(1)x(2)状态转移图第2步求第1步求求解顺序已知1)求故有的函数2)求最优性能泛函都是初始状态x(0)的函数。最优控制最优轨线

6.11.2离散系统的动态规则设离散系统的状态方程为k=0,1,…N-1式中n维状态矢量在(k+1)T时刻的值；维容许控制矢量或决策矢量在kT时刻的值；n维矢量函数。状态初值

控制约束性能泛函1问题提出性能泛函式中对终端状态的要求。寻求输入矢量目标函数J最小。典型多段最优决策问题：逐段作出决策，选择最优控制使目标函数J最小。2动态规划基本方程（贝尔曼泛函方程）2动态规划基本方程（贝尔曼泛函方程）据最优性原理:xk+1xN-1xNx112K+1u0u1ukuN-1x0x2xkN第一段子过程后N－1段子过程N－1段最优控制则对N段最优决策过程：其初始状态为。式中N段决策过程的最优性能泛函，其初始状态为;后N-1段决策过程的最优性能泛函，动态规划基本方程（贝尔曼泛函方程）动态规划基本方程（贝尔曼泛函方程）同理得一般动态规划递推方程：其初始状态为。后N-2段决策过程的最优性能泛函，式中一般动态规划递推方程：式中N－k段决策过程的最优性能泛函，其初始状态为;后N-(k+1)段决策过程的最优性能泛函。若则其中应用动态规划递推方程式求解最优控制序列的解题过程：动态规划求解最优控制序列的解题过程：Kuk-1xkxk+1xN-1xNx11K+1u0ukuN-1x0N前k段子过程后N－k段子过程第N步求第N-1步第N-k步求第一步求求解顺序例：设一阶惯性系统如图所示，性能泛函自由。假定采用离散控制，把分成三段，求最优控制。uxx(k+1)=gx(k)+hu(k)解：系统的状态方程进行离散化，得差分方程6.11.3连续系统的动态规划动态规划最优性原理哈密尔顿－雅可比方程（泛函为极小必要条件）设连续系统状态方程为初始状态终端约束性能泛函求最优控制将轨线分成前后两半段必定是最优轨线.．o设时，状态为若取，则最优性原理其中最优性原理其中则:当很小时，有在泰勒展开，取一次近似整理得:连续系统的动态规划基本方程(贝尔曼方程）边界条件令哈密尔顿函数为：则：则：控制矢量u(t)不受限制时，则有2）由贝尔曼方程可推导出协态方程和横截条件；3）用动态规划方法间接证明了最小值原理;结论：1)哈密顿－雅可比方程说明在最优轨线上，最优控制必须使H达全局最小；哈密顿－雅可比方程4）动态规划法需解偏微分方程，且要求J具有连续偏导，限制了应用范围。综上所述，可将连续型动态规划求解最优控制问题的步骤归纳如下：1）构造哈密顿函数:2）以取极值为条件求，即（当取值无限制时）（当为容许控制时）或由上述条件解出的是的函数。3）将代入哈密尔顿－贝尔曼方程，并根据边界条件，解出4）将代回，即得最优控制，它是状态变量的函数，据此可实现闭环最优控制。5）将代入状态方程，可进一步解出最优轨线。6）再将代入求得最优性能泛函。6.12线性二次型最优问题在最优控制问题中，若系统是线性的，且性能指标为二次型函数，则称为线性二次型最优控制问题，简称线性二次型。特点：1）应用广泛；2）控制规律是状态变量的线性函数。6.12.1二次型性能泛函二次型性能泛函的一般形式如下：式中：n×n维半正定的状态加权矩阵；r×r维正定的控制加权矩阵；n×n维半正定的终端加权矩阵。在工程实际中，和，是对称矩阵而且常取对角阵。6.12.2有限时间状态调节器问题任务：当系统状态由于某种原因偏离平衡状态时，能在不消耗过多能量的情况下，保证系统状态仍接近于平衡状态。设线性时变系统的状态方程为：二次型性能泛函如下：式中：n×n维半正定的状态加权矩阵；r×r维正定的控制加权矩阵；n×n维半正定的终端加权矩阵。设u取值不受限制，寻求最优控制，使J取极值。上述最优控制问题称为有限时间状态调节器问题，可以用极小值原理求解。构造哈密顿函数为：控制u不受约束，因此满足控制方程：由于正定所以取得极小值的充分必要条件。将上式代入正则方程，得：其边界条件和横截条件为：由于横截条件中存在线性关系，且正则方程又是线性的，因此，可以假设在任何时刻，均可能存在线性关系：维实对称正定矩阵，待定。维最优反馈增益矩阵。闭环系统方程如下所示：上式说明，线性二次型问题，最优控制律是一个线性状态反馈，因而可以方便地实现闭环最优控制。总结以上表达式有：整理得：边界条件：---黎卡提(Riccati)矩阵方程是一个一阶非线性矩阵微分方程。2）最优控制规律为：由黎卡提方程解出后，可得：1）最优反馈增益矩阵：3）求解最优轨线：4）计算性能泛函最优值：6.12.3无限时间状态调节器问题设线性定常系统能控，且性能泛函如下：式中：n×n维半正定常数矩阵；r×r维正定常数矩阵；不受限制。则最优控制存在且唯一，并由下式确定：其中，P为正定对称常数矩阵，满足下列黎卡提矩阵代数方程：最优轨线是下列线性微分方程的解：性能泛函最小值：说明几点：1）系统是定常的，性能指标中的加权矩阵是常值矩阵；2）在性能泛函中，由于，终端泛函失去意义3）与有限时间状态调节器一样，无限时间状态调节器的最优控制也是全状态的线性反馈，由此构成一个线性定常闭环系统。4