第七章最优控制课件

最优控制理论------现代控制理论的重要组成部分20世纪50年代发展形成系统的理论研究的对象------控制系统中心问题给定一个控制系统，选择控制规律，使系统在某种意义上是最优的、统一的、严格的数学方法.7.1最优控制问题7.1.1两个例子 例7.1.1飞船软着陆问题宇宙飞船在月 球表面着陆时速度必须为零，即软着陆， 这要靠发动机的推力变化来完成。问题是如 何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量软着陆过程开始时刻t为零K为常数，初始状态

终点条件

控制目标推力方案例7.1.2导弹发射问题初始条件

末端约束

指标控制7.1.2问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

(2)容许控制：,有时控制域可为超方体(3)目标集

维向量函数

固定端问题自由端问题(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求7.2求解最优控制的变分方法7.2.1泛函与变分法基础平面上两点连线的长度问题其弧长为一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

泛函与函数的几何解释

连续泛函

宗量的变分趋于无穷小时，泛函的变分也趋于无穷小线性泛函泛函对宗量是线性的宗量的变分泛函的增量

泛函的变分

Jd=定理7.2.1泛函的变分为

例7.2.1求泛函的变分

定理7.2.2若泛函有极值，则必有上述方法与结论对多个未知函数的泛数同样适用

7.2.2欧拉方程泛函

有二阶连续偏导数

两端固定

变分分部积分

例7.2.2求平面上两固定点间连线最短的曲线，直线

7.2.3横截条件左端固定右端沿曲线变动终点值与终点的变分横截条件

例7.2.3从一固定点到已知曲线有最小长度的曲线所求的极值曲线与约束曲线相正交欧拉方程

积分求解计算横截条件直线

7.2.4含有多个未知函数泛函的极值泛函

欧拉方程

边界值

横截条件

7.2.5条件极值状态方程泛函引进乘子构造新的函数和泛函

欧拉方程

约束方程例7.2.4泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令约束方程可定为边界条件为引进乘子构造函数欧拉方程解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：于是，极值曲线和为：7.2.6.1自由端问题约束方程

新的泛函有令哈米顿函数

7.2.6最优控制问题的变分解法变分令有伴随方程

必要条件例7.2.5考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，，给定，试求最优控制有极小值。，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数则最优控制为得代入状态方程求解得令，则有7.2.6.2固定端问题，

性能指标

边界条件指标泛函

哈米顿函数

伴随方程，

例7.2.6重解例7.2.4

其解为

7.2.6.3末端受限问题

新的泛函变分必要条件，，7.2.6.4终值时间自由的问题T有时是可变的，是指标泛函，选控制使有T极小值

变分

，必要条件例7.2.7

指标泛函

哈米顿函数

伴随方程

必要条件7.3最大值原理7.3.1古典变分法的局限性u(t)受限的例子矛盾!!例7.3.1伴随方程极值必要条件7.3.2最大值原理且定理7.3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。例7.3.2重解例7.3.1

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有，

协态变量与控制变量的关系图

,，例7.3.3性能指标泛函

哈密顿函数伴随方程，

上有

协态变量与控制变量的关系图

整个最优轨线

例7.3.4

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

，，

最优控制最优轨线

最优性能指标

例7.3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

最优控制切换及最优轨线示意图

7.3.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件7.4动态规划

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。

7.4.1多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。逆向分级计算法

逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。

以(c)为例

从倒数第一级开始，状态有两个，分别为

和

在处，只有一条路到达终点，其时间是；在

处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。并将此点到终点的最优路径画上箭头。

然后再考虑第二级只有一种选择，到终点所需时间是有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出也标出最优路径和时间依此类推，最后计算初始位置求得最优路径最短时间为13最优路径示意图

多级过程

多级决策过程

目标函数控制目的

选择决策序列

使目标函数取最小值或最大值实际上就是离散状态的最优控制问题

最优性原理

在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。指标函数多是各级指标之和，即具有可加性最优性原理的数学表达式7.4.2离散系统动态规划阶离散系统

性能指标

求决策向量

使有最小值（或最大值），其终点可自由，也可固定或受约束。引进记号

应用最优性原理

可建立如下递推公式

贝尔曼动态规划方程

例7.4.2设一阶离散系统，状态方程和初始条件为性能指标求使有最小值的最优决策序列和最优轨线序列指标可写为

代入

上一级代入状态方程最优决策序列

最优轨线

7.4.3连续系统的动态规划性能指标目标集

引进记号根据最优性原理及由泰勒公式，得

由中值定理，得

连续型动态规划方程

实际上它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程满足连续型动态规划方程，有设边界条件动态规划动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合函数；动态规划要求有连续偏导数最大值原理最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得。例7.4.3一阶系统

，

性能指标动态规划方程

右端对u求导数，令其导数为零，则得

7.4.4动态规划与最大值原理的关系变分法、最大值原理和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理之间的关系前面已说明，下面将分析动态规划和最大值原理的关系。可以证明，在一定条件下，从动态规划方程能求最大值原理的方程。动态规划方程

令哈米顿函数

最大值原理的必要条件7.5线性二次型性能指标的最优控制用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。7.5.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。7.5.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足7.5.2状态调节器求导（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵例7.5.1

性能指标泛函

最优控制黎卡提微分方程最优轨线

最优控制最优轨线的微分方程

解

黎卡提方程的解

随终点时间变化的黎卡提方程的解7.5.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

求导

黎卡提方程乘以逆黎卡提方程

解逆7.5.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

7.5.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

例7.5.2

黎卡提方程

7.5.3输出调节器输出调节器问题状态调节器问题指标泛函

令7.5.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。指标泛函

哈密顿函数设并微分的任意性

最优控制最优轨线方程

最优性能指标

例7.5.3

，性能指标

最优控制

，，最优控制

极限解闭环控制系统结构7.6快速控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。7.6.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数例7.6.1有一单位质点，在处以初速度2沿直线运动。现