第七章 最优控制

第七章最优控制第一页，共一百一十六页，2022年，8月28日最优控制理论------现代控制理论的重要组成部分20世纪50年代发展形成系统的理论研究的对象------控制系统中心问题给定一个控制系统，选择控制规律，使系统在某种意义上是最优的、统一的、严格的数学方法.第二页，共一百一十六页，2022年，8月28日7.1最优控制问题7.1.1两个例子 例7.1.1飞船软着陆问题宇宙飞船在月 球表面着陆时速度必须为零，即软着陆， 这要靠发动机的推力变化来完成。问题是如 何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量第三页，共一百一十六页，2022年，8月28日软着陆过程开始时刻t为零K为常数，初始状态

终点条件

第四页，共一百一十六页，2022年，8月28日控制目标推力方案第五页，共一百一十六页，2022年，8月28日例7.1.2导弹发射问题初始条件

末端约束

指标控制第六页，共一百一十六页，2022年，8月28日7.1.2问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

第七页，共一百一十六页，2022年，8月28日(2)容许控制：,有时控制域可为超方体(3)目标集

维向量函数

固定端问题自由端问题第八页，共一百一十六页，2022年，8月28日(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求第九页，共一百一十六页，2022年，8月28日7.2求解最优控制的变分方法7.2.1泛函与变分法基础平面上两点连线的长度问题其弧长为第十页，共一百一十六页，2022年，8月28日一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

第十一页，共一百一十六页，2022年，8月28日泛函与函数的几何解释

连续泛函

宗量的变分趋于无穷小时，泛函的变分也趋于无穷小线性泛函泛函对宗量是线性的宗量的变分泛函的增量

泛函的变分

Jd=第十二页，共一百一十六页，2022年，8月28日定理7.2.1泛函的变分为

第十三页，共一百一十六页，2022年，8月28日例7.2.1求泛函的变分

定理7.2.2若泛函有极值，则必有上述方法与结论对多个未知函数的泛数同样适用

第十四页，共一百一十六页，2022年，8月28日7.2.2欧拉方程泛函

有二阶连续偏导数

两端固定变分分部积分

第十五页，共一百一十六页，2022年，8月28日例7.2.2求平面上两固定点间连线最短的曲线，直线

第十六页，共一百一十六页，2022年，8月28日7.2.3横截条件左端固定右端沿曲线变动终点值与终点的变分横截条件第十七页，共一百一十六页，2022年，8月28日

第十八页，共一百一十六页，2022年，8月28日例7.2.3从一固定点到已知曲线有最小长度的曲线所求的极值曲线与约束曲线相正交欧拉方程

积分求解计算横截条件直线

第十九页，共一百一十六页，2022年，8月28日7.2.4含有多个未知函数泛函的极值泛函欧拉方程

边界值

横截条件

第二十页，共一百一十六页，2022年，8月28日7.2.5条件极值状态方程泛函引进乘子构造新的函数和泛函欧拉方程约束方程第二十一页，共一百一十六页，2022年，8月28日例7.2.4泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令第二十二页，共一百一十六页，2022年，8月28日约束方程可定为边界条件为第二十三页，共一百一十六页，2022年，8月28日引进乘子构造函数欧拉方程第二十四页，共一百一十六页，2022年，8月28日解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：第二十五页，共一百一十六页，2022年，8月28日于是，极值曲线和为：第二十六页，共一百一十六页，2022年，8月28日7.2.6.1自由端问题约束方程

新的泛函有令哈米顿函数7.2.6最优控制问题的变分解法第二十七页，共一百一十六页，2022年，8月28日变分令有伴随方程

必要条件第二十八页，共一百一十六页，2022年，8月28日例7.2.5考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，，给定，试求最优控制有极小值。第二十九页，共一百一十六页，2022年，8月28日，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数第三十页，共一百一十六页，2022年，8月28日则最优控制为得代入状态方程求解得令，则有第三十一页，共一百一十六页，2022年，8月28日7.2.6.2固定端问题，

性能指标

第三十二页，共一百一十六页，2022年，8月28日边界条件指标泛函

哈米顿函数

伴随方程，

例7.2.6重解例7.2.4

其解为第三十三页，共一百一十六页，2022年，8月28日

第三十四页，共一百一十六页，2022年，8月28日7.2.6.3末端受限问题

新的泛函变分第三十五页，共一百一十六页，2022年，8月28日必要条件，，第三十六页，共一百一十六页，2022年，8月28日7.2.6.4终值时间自由的问题T有时是可变的，是指标泛函，选控制使有T极小值

变分第三十七页，共一百一十六页，2022年，8月28日

，必要条件第三十八页，共一百一十六页，2022年，8月28日例7.2.7

指标泛函

哈米顿函数

伴随方程

必要条件第三十九页，共一百一十六页，2022年，8月28日7.3最大值原理7.3.1古典变分法的局限性u(t)受限的例子矛盾!!例7.3.1伴随方程极值必要条件第四十页，共一百一十六页，2022年，8月28日7.3.2最大值原理且定理7.3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程第四十一页，共一百一十六页，2022年，8月28日最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。第四十二页，共一百一十六页，2022年，8月28日

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有第四十三页，共一百一十六页，2022年，8月28日，

协态变量与控制变量的关系图第四十四页，共一百一十六页，2022年，8月28日,，例7.3.3性能指标泛函

哈密顿函数伴随方程，

第四十五页，共一百一十六页，2022年，8月28日上有

第四十六页，共一百一十六页，2022年，8月28日协态变量与控制变量的关系图

整个最优轨线

第四十七页，共一百一十六页，2022年，8月28日

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

第四十八页，共一百一十六页，2022年，8月28日H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

第四十九页，共一百一十六页，2022年，8月28日

，，

最优控制最优轨线

最优性能指标

第五十页，共一百一十六页，2022年，8月28日例7.3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

第五十一页，共一百一十六页，2022年，8月28日最优控制切换及最优轨线示意图

第五十二页，共一百一十六页，2022年，8月28日7.3.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件第五十三页，共一百一十六页，2022年，8月28日7.4动态规划

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。

第五十四页，共一百一十六页，2022年，8月28日7.4.1多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。第五十五页，共一百一十六页，2022年，8月28日(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。第五十六页，共一百一十六页，2022年，8月28日逆向分级计算法

逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。以(c)为例

从倒数第一级开始，状态有两个，分别为

和

在处，只有一条路到达终点，其时间是；在

处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。并将此点到终点的最优路径画上箭头。

第五十七页，共一百一十六页，2022年，8月28日然后再考虑第二级只有一种选择，到终点所需时间是有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出也标出最优路径和时间依此类推，最后计算初始位置求得最优路径最短时间为13第五十八页，共一百一十六页，2022年，8月28日最优路径示意图

第五十九页，共一百一十六页，2022年，8月28日多级过程多级决策过程

目标函数控制目的

选择决策序列

使目标函数取最小值或最大值实际上就是离散状态的最优控制问题

第六十页，共一百一十六页，2022年，8月28日最优性原理在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。第六十一页，共一百一十六页，2022年，8月28日指标函数多是各级指标之和，即具有可加性最优性原理的数学表达式第六十二页，共一百一十六页，2022年，8月28日7.4.2离散系统动态规划阶离散系统

性能指标

求决策向量

使有最小值（或最大值），其终点可自由，也可固定或受约束。第六十三页，共一百一十六页，2022年，8月28日引进记号

应用最优性原理

可建立如下递推公式

贝尔曼动态规划方程

第六十四页，共一百一十六页，2022年，8月28日例7.4.2设一阶离散系统，状态方程和初始条件为性能指标求使有最小值的最优决策序列和最优轨线序列指标可写为

第六十五页，共一百一十六页，2022年，8月28日代入

上一级第六十六页，共一百一十六页，2022年，8月28日代入状态方程最优决策序列

最优轨线

第六十七页，共一百一十六页，2022年，8月28日7.4.3连续系统的动态规划性能指标目标集

引进记号根据最优性原理及第六十八页，共一百一十六页，2022年，8月28日第六十九页，共一百一十六页，2022年，8月28日由泰勒公式，得

由中值定理，得

第七十页，共一百一十六页，2022年，8月28日连续型动态规划方程

实际上它不是一个偏微分方程，而是一个函数方程和偏微分方程的混合方程第七十一页，共一百一十六页，2022年，8月28日满足连续型动态规划方程，有设边界条件动态规划动态规划方程是最优控制函数满足的充分条件；解一个偏微分方程；可直接得出综合函数；动态规划要求有连续偏导数最大值原理最大值原理是最优控制函数满足的必要条件；解一个常微分方程组；最大值原理则只求得。第七十二页，共一百一十六页，2022年，8月28日例7.4.3一阶系统

，

性能指标动态规划方程

右端对u求导数，令其导数为零，则得

第七十三页，共一百一十六页，2022年，8月28日7.4.4动态规划与最大值原理的关系变分法、最大值原理和动态规划都是研究最优控制问题的求解方法，很容易想到，若用三者研究同一个问题，应该得到相同的结论。因此三者应该存在着内在联系。变分法和最大值原理之间的关系前面已说明，下面将分析动态规划和最大值原理的关系。可以证明，在一定条件下，从动态规划方程能求最大值原理的方程。第七十四页，共一百一十六页，2022年，8月28日动态规划方程

令哈米顿函数

最大值原理的必要条件第七十五页，共一百一十六页，2022年，8月28日7.5线性二次型性能指标的最优控制用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。第七十六页，共一百一十六页，2022年，8月28日但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。第七十七页，共一百一十六页，2022年，8月28日7.5.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数第七十八页，共一百一十六页，2022年，8月28日指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。第七十九页，共一百一十六页，2022年，8月28日7.5.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足7.5.2状态调节器第八十页，共一百一十六页，2022年，8月28日求导第八十一页，共一百一十六页，2022年，8月28日（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵第八十二页，共一百一十六页，2022年，8月28日例7.5.1

性能指标泛函

最优控制黎卡提微分方程第八十三页，共一百一十六页，2022年，8月28日最优轨线

最优控制最优轨线的微分方程

解

第八十四页，共一百一十六页，2022年，8月28日黎卡提方程的解

随终点时间变化的黎卡提方程的解第八十五页，共一百一十六页，2022年，8月28日7.5.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

第八十六页，共一百一十六页，2022年，8月28日求导

黎卡提方程乘以逆黎卡提方程

解逆第八十七页，共一百一十六页，2022年，8月28日7.5.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

第八十八页，共一百一十六页，2022年，8月28日7.5.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

第八十九页，共一百一十六页，2022年，8月28日

黎卡提方程

第九十页，共一百一十六页，2022年，8月28日7.5.3输出调节器输出调节器问题状态调节器问题指标泛函

令第九十一页，共一百一十六页，2022年，8月28日7.5.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。第九十二页，共一百一十六页，2022年，8月28日指标泛函

哈密顿函数第九十三页，共一百一十六页，2022年，8月28日设并微分第九十四页，共一百一十六页，2022年，8月28日的任意性

最优控制第九十五页，共一百一十六页，2022年，8月28日最优轨线方程

最优性能指标

第九十六页，共一百一十六页，2022年，8月28日

，性能指标

第九十七页，共一百一十六页，2022年，8月28日最优控制

第九十八页，共一百一十六页，2022年，8月28日，，最优控制

极限解第九十九页，共一百一十六页，2022年，8月28日闭环控制系统结构第一百页，共一百一十六页，2022年，8月28日7.6快速控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。第一百零一页，共一百一十六页，2022年，8月28日7.6.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数第一百零二页，共一百一十六页，2022年，8月28日例7.6.1有一单位质点，在处以初速度2沿直线运动。现施加一力，，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。质点运动方程

状态方程哈