最优控制理论及应用

最优控制理论及应用2023/7/141第1页，课件共130页，创作于2023年2月一基本概念最优控制理论中心问题：给定一个控制系统（已建立的被控对象的数学模型），选择一个容许的控制律，使被控对象按预定要求运行，并使给定的某一性能指标达到极小值（或极大值）第一章最优控制问题的一般概念2023/7/142第2页，课件共130页，创作于2023年2月二最优控制问题1例子

飞船软着陆问题宇宙飞船在月球表面着陆时速度必须为零，即软着陆，这要靠发动机的推力变化来完成。问题是如何选择一个推力方案，使燃料消耗最小。m飞船的质量，h高度，v垂直速度，g月球重力加速度常数，M飞船自身质量F燃料的质量2023/7/143第3页，课件共130页，创作于2023年2月软着陆过程开始时刻t为零K为常数，初始状态

末端条件

2023/7/144第4页，课件共130页，创作于2023年2月性能指标控制约束任务：满足控制约束条件下，求发动机推力的最优变化律，使登月舱由初始出发点到达目标处（末态），并使性能指标达到极值（燃耗量最小）2023/7/145第5页，课件共130页，创作于2023年2月例2火车快速运行问题设火车从甲地出发，求容许控制，使其到达乙地时间最短。m火车质量；火车加速度；u（t）产生加速度的推力且

火车运动方程

2023/7/146第6页，课件共130页，创作于2023年2月2问题描述(1)状态方程一般形式为为n维状态向量为r维控制向量

为n维向量函数

给定控制规律

满足一定条件时，方程有唯一解

2023/7/147第7页，课件共130页，创作于2023年2月(2)容许控制：,(3)目标集

n维向量函数

固定端问题自由端问题2023/7/148第8页，课件共130页，创作于2023年2月(4)性能指标对状态、控制以及终点状态的要求，复合型性能指标积分型性能指标，表示对整个状态和控制过程的要求终点型指标，表示仅对终点状态的要求2023/7/149第9页，课件共130页，创作于2023年2月最优控制的应用类型积分型1）最小时间控制2）最小燃耗控制3）最小能量控制2023/7/1410第10页，课件共130页，创作于2023年2月末值型复合型1）状态调节器2）输出跟踪系统2023/7/1411第11页，课件共130页，创作于2023年2月最优控制的研究方法解析法：适用于性能指标及约束条件有明显解析式数值计算方法：性能指标比较复杂1）一维搜索法：适合单变量求极值2）多维搜索法：适合单变量求极值梯度法：解析与数值方法相结合1)无约束梯度法2)有约束梯度法2023/7/1412第12页，课件共130页，创作于2023年2月第二章最优控制中的变分法2.1泛函与变分法基础平面上两点连线的长度问题其弧长为2023/7/1413第13页，课件共130页，创作于2023年2月一般来说，曲线不同，弧长就不同，即弧长依赖于曲线，记为。，称为泛函。

，称泛函的宗量

泛函定义：x(t)是自变量t的函数，若对每个函数x(t)，有一个J值与之对应，则变量J称为依赖于x(t)的泛函，记J(x(t))例举：2023/7/1414第14页，课件共130页，创作于2023年2月线性泛函与连续泛函：线性泛函泛函对宗量是线性的连续泛函

若定义在线性赋范空间上的泛函又满足连续条件，称J(x)为连续线性泛函2023/7/1415第15页，课件共130页，创作于2023年2月泛函与函数的几何解释

宗量的变分泛函的增量

泛函的变分

Jd=2023/7/1416第16页，课件共130页，创作于2023年2月定理2.1泛函的变分为

2023/7/1417第17页，课件共130页，创作于2023年2月例2.1求泛函的变分

2023/7/1418第18页，课件共130页，创作于2023年2月泛函的极值

定理2.2若泛函有极值，则必有2023/7/1419第19页，课件共130页，创作于2023年2月变分学预备定理2023/7/1420第20页，课件共130页，创作于2023年2月2.2欧拉方程

(1)无约束泛函极值的必要条件

定理2.3设有如下泛函极值问题：

及横截条件2023/7/1421第21页，课件共130页，创作于2023年2月2.2欧拉方程

变分分部积分

证明：2023/7/1422第22页，课件共130页，创作于2023年2月例2.2求平面上两固定点间连线最短的曲线，直线

2023/7/1423第23页，课件共130页，创作于2023年2月例2.3：

已知边界条件为求使泛函达到极值的轨线

解：2023/7/1424第24页，课件共130页，创作于2023年2月2.2欧拉方程

(2)有等式约束泛函极值的必要条件

定理2.4设有如下泛函极值问题：

及横截条件2023/7/1425第25页，课件共130页，创作于2023年2月例2.4：设人造地球卫星姿态控制系统的状态方程为2023/7/1426第26页，课件共130页，创作于2023年2月

2.3横截条件

讨论：

A.

B.

C.

D.2023/7/1427第27页，课件共130页，创作于2023年2月左端固定右端沿曲线变动横截条件C的推导2023/7/1428第28页，课件共130页，创作于2023年2月

2023/7/1429第29页，课件共130页，创作于2023年2月

例2.5设性能指标泛函

末值时刻

未定，已知

，解：由欧拉方程得由x(0)=1求出b=1；由横截条件知2023/7/1430第30页，课件共130页，创作于2023年2月2023/7/1431第31页，课件共130页，创作于2023年2月2.4含有多个未知函数泛函的极值泛函

欧拉方程

边界值

横截条件

2023/7/1432第32页，课件共130页，创作于2023年2月2.5条件极值状态方程泛函引进乘子构造新的函数和泛函

欧拉方程

约束方程2023/7/1433第33页，课件共130页，创作于2023年2月例2.6泛函约束方程边界条件试求使泛函有极值。解：化为标准形式

把问题化为标准形式，令2023/7/1434第34页，课件共130页，创作于2023年2月约束方程可定为边界条件为2023/7/1435第35页，课件共130页，创作于2023年2月引进乘子构造函数欧拉方程2023/7/1436第36页，课件共130页，创作于2023年2月解出其中，和为任意常数。代入约束方程，并求解可得将利用边界条件，可得：2023/7/1437第37页，课件共130页，创作于2023年2月于是，极值曲线和为：2023/7/1438第38页，课件共130页，创作于2023年2月问题：确定最优控制和最优轨线，使系统由已知初态转移到要求的目标集

2.6变分法解最优控制问题并使指定的目标泛函达到极值2023/7/1439第39页，课件共130页，创作于2023年2月2.6.1末端时刻固定时最优解的必要条件（1）末端受约束的情况引入拉格朗日乘子构造广义泛函

有构造哈米顿函数2023/7/1440第40页，课件共130页，创作于2023年2月变分2023/7/1441第41页，课件共130页，创作于2023年2月

定理2.5：对于如下最优控制问题：u(t)无约束，tf固定.最优解的必要条件2023/7/1442第42页，课件共130页，创作于2023年2月

定理2.6：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)自由.最优解的必要条件（2）末端自由的情况2023/7/1443第43页，课件共130页，创作于2023年2月

定理2.7：对于如下最优控制问题：u(t)无约束，tf固定，x(tf)固定.最优解的必要条件（3）末端固定的情况2023/7/1444第44页，课件共130页，创作于2023年2月例2.7考虑状态方程和初始条件为的简单一阶系统，其指标泛函为，使其中，给定，试求最优控制有极小值。0t，2023/7/1445第45页，课件共130页，创作于2023年2月，伴随方程

边界条件由必要条件解:引进伴随变量，构造哈米顿函数2023/7/1446第46页，课件共130页，创作于2023年2月则最优控制为得代入状态方程求解得令，则有2023/7/1447第47页，课件共130页，创作于2023年2月边界条件指标泛函

哈米顿函数

伴随方程，

例2.8重解例2.4

其解为2023/7/1448第48页，课件共130页，创作于2023年2月

2023/7/1449第49页，课件共130页，创作于2023年2月习题1：设一阶系统方程为性能指标取为式中常数试求使J取极小值的最优控制和相应的性能指标习题2：设二阶系统方程为性能指标取为求系统由已知初态在转移到目标集且使J取极小的最优控制和最优轨迹2023/7/1450第50页，课件共130页，创作于2023年2月2.6.2末端时刻自由的最优解问题tf有时是可变的，是指标泛函，选控制使有tf极小值

变分2023/7/1451第51页，课件共130页，创作于2023年2月

，必要条件2023/7/1452第52页，课件共130页，创作于2023年2月例2.7

指标泛函

哈米顿函数

伴随方程

必要条件2023/7/1453第53页，课件共130页，创作于2023年2月第三章最大值原理3.1古典变分法的局限性u(t)受限的例子矛盾!!例3.1伴随方程极值必要条件2023/7/1454第54页，课件共130页，创作于2023年2月3.2最大值原理且定理3.1(最小值原理)设为容许控制，为对应的积分轨线，为使为最优控制，为最优轨线，必存在一向量函数，使得和满足正则方程2023/7/1455第55页，课件共130页，创作于2023年2月最小值原理只是最优控制所满足的必要条件。但对于线性系统，最小值原理也是使泛函取最小值得充分条件。2023/7/1456第56页，课件共130页，创作于2023年2月例3.2重解例3.1

，哈密顿函数伴随方程

由极值必要条件，知

，

又于是有2023/7/1457第57页，课件共130页，创作于2023年2月，

协态变量与控制变量的关系图

2023/7/1458第58页，课件共130页，创作于2023年2月,，例3.3性能指标泛函

哈密顿函数伴随方程，

2023/7/1459第59页，课件共130页，创作于2023年2月上有

2023/7/1460第60页，课件共130页，创作于2023年2月协态变量与控制变量的关系图

整个最优轨线

2023/7/1461第61页，课件共130页，创作于2023年2月例3.4

把系统状态在终点时刻转移到性能指标泛函

终点时刻是不固定的

哈米顿函数

伴随方程

，，

2023/7/1462第62页，课件共130页，创作于2023年2月H是u的二次抛物线函数，u在上一定使H有最小值，可能在内部，也可能在边界上。最优控制可能且只能取三个值

此二者都不能使状态变量同时满足初始条件和终点条件

2023/7/1463第63页，课件共130页，创作于2023年2月

，，

最优控制最优轨线

最优性能指标

2023/7/1464第64页，课件共130页，创作于2023年2月例3.5

使系统以最短时间从给定初态转移到零态

哈米顿函数

伴随方程

2023/7/1465第65页，课件共130页，创作于2023年2月最优控制切换及最优轨线示意图

2023/7/1466第66页，课件共130页，创作于2023年2月3.3古典变分法与最小值原理古典变分法适用的范围是对u无约束，而最小值原理一般都适用。特别当u不受约束时，条件就等价于条件2023/7/1467第67页，课件共130页，创作于2023年2月

3.4极大值原理的应用：快速控制系统在实际问题中，经常发生以时间为性能指标的控制问题。如，当被控对象受干扰后，偏离了平衡状态，希望施加控制能以最短时间恢复到平衡状态。凡是以运动时间为性能指标的最优控制问题称为最小时间控制。2023/7/1468第68页，课件共130页，创作于2023年2月3.4.1快速控制问题性能指标

时间上限是可变的从状态转移平衡状态所需时间最短构造哈密顿函数

最小值原理

分段常值函数2023/7/1469第69页，课件共130页，创作于2023年2月例3.4.1有一单位质点，在处以初速度2沿直线运动。现施加一力，，使质点尽快返回原点，并停留在原点上。力简称为控制。若其它阻力不计，试求此控制力。质点运动方程

状态方程哈密顿函数伴随方程

2023/7/1470第70页，课件共130页，创作于2023年2月最优控制

协态变量与控制函数4种情况示意图2023/7/1471第71页，课件共130页，创作于2023年2月相轨线族示意图开关曲线2023/7/1472第72页，课件共130页，创作于2023年2月开关曲线总时间初始状态最优控制状态方程相轨线最优控制

2023/7/1473第73页，课件共130页，创作于2023年2月3.4.2综合问题

综合是将最优控制函数表示为状态和时间的函数即上例之最优综合控制函数2023/7/1474第74页，课件共130页，创作于2023年2月例3.4.2

求快速返回原点的开关曲线和最优综合控制函数

构造哈密顿函数

伴随方程

最优控制

2023/7/1475第75页，课件共130页，创作于2023年2月最优控制与协态变量的变化情况

控制是“砰砰控制”，除了首尾之外，在和上的停留时间均为2023/7/1476第76页，课件共130页，创作于2023年2月备选最优轨线族

两族同心圆方程2023/7/1477第77页，课件共130页，创作于2023年2月相点沿轨线顺时针方向运动，其速度为开关曲线

2023/7/1478第78页，课件共130页，创作于2023年2月第二段开关曲线2023/7/1479第79页，课件共130页，创作于2023年2月整个开关曲线

2023/7/1480第80页，课件共130页，创作于2023年2月最优综合控制函数

2023/7/1481第81页，课件共130页，创作于2023年2月第四章线性二次型性能指标的最优控制用最大值原理求最优控制，求出的最优控制通常是时间的函数，这样的控制为开环控制当用开环控制时，在控制过程中不允许有任何干扰，这样才能使系统以最优状态运行。在实际问题中，干扰不可能没有，因此工程上总希望应用闭环控制，即控制函数表示成时间和状态的函数。求解这样的问题一般来说是很困难的。。2023/7/1482第82页，课件共130页，创作于2023年2月但对一类线性的且指标是二次型的动态系统，却得了完全的解决。不但理论比较完善，数学处理简单，而且在工际中又容易实现，因而在工程中有着广泛的应用。2023/7/1483第83页，课件共130页，创作于2023年2月4.1问题提法动态方程

指标泛函

使求有最小值此问题称线性二次型性能指标的最优控制问题通常称为综合控制函数2023/7/1484第84页，课件共130页，创作于2023年2月指标泛函的物理意义积分项，被积函数由两项组成，都是二次型。第一项过程在控制过程中，实际上是要求每个分量越小越好，但每一个分量不一定同等重要，所以用加权来调整，当权为零时，对该项无要求。第二项控制能力能量消耗最小。对每个分量要求不一样，因而进行加权。要求正定，一方面对每个分量都应有要求，否则会出现很大幅值，在实际工程中实现不了；另一方面，在计算中需要有逆存在。指标中的第一项是对点状态的要求，由于对每个分量要求不同，用加权阵来调整。2023/7/1485第85页，课件共130页，创作于2023年2月4.2.1末端自由问题构造哈密顿函数

伴随方程及边界条件最优控制应满足4.2状态调节器2023/7/1486第86页，课件共130页，创作于2023年2月求导2023/7/1487第87页，课件共130页，创作于2023年2月（矩阵黎卡提微分方程）

边界条件

令最优控制是状态变量的线性函数借助状态变量的线性反馈可实现闭环最优控制最优控制

对称半正定阵2023/7/1488第88页，课件共130页，创作于2023年2月例4.1

性能指标泛函

最优控制黎卡提微分方程2023/7/1489第89页，课件共130页，创作于2023年2月最优轨线

最优控制最优轨线的微分方程

解

2023/7/1490第90页，课件共130页，创作于2023年2月黎卡提方程的解

随终点时间变化的黎卡提方程的解2023/7/1491第91页，课件共130页，创作于2023年2月4.2.2固定端问题（设）指标泛函

采用“补偿函数”法

补偿函数惩罚函数

边界条件

黎卡提方程

逆黎卡提方程

2023/7/1492第92页，课件共130页，创作于2023年2月求导

黎卡提方程乘以逆黎卡提方程

解逆2023/7/1493第93页，课件共130页，创作于2023年2月4.2.3

的情况性能指标无限长时间调节器问题

黎卡提方程

边界条件最优控制最优指标

2023/7/1494第94页，课件共130页，创作于2023年2月4.2.4定常系统完全可控

指标泛函矩阵代数方程

最优控制最优指标

2023/7/1495第95页，课件共130页，创作于2023年2月例4.2

黎卡提方程

2023/7/1496第96页，课件共130页，创作于2023年2月4.3输出调节器输出调节器问题状态调节器问题指标泛函

令2023/7/1497第97页，课件共130页，创作于2023年2月4.4跟踪问题问题的提法

已知的理想输出

偏差量

指标泛函

寻求控制规律使性能指标有极小值。物理意义在控制过程中，使系统输出尽量趋近理想输出，同时也使能量消耗最少。2023/7/1498第98页，课件共130页，创作于2023年2月指标泛函

哈密顿函数2023/7/1499第99页，课件共130页，创作于2023年2月设并微分2023/7/14100第100页，课件共130页，创作于2023年2月的任意性

最优控制2023/7/14101第101页，课件共130页，创作于2023年2月最优轨线方程

最优性能指标

2023/7/14102第102页，课件共130页，创作于2023年2月例4.3

，性能指标

2023/7/14103第103页，课件共130页，创作于2023年2月最优控制

2023/7/14104第104页，课件共130页，创作于2023年2月，，最优控制

极限解2023/7/14105第105页，课件共130页，创作于2023年2月闭环控制系统结构2023/7/14106第106页，课件共130页，创作于2023年2月两种方法

庞特里雅金

前苏联学者

极大值原理

贝尔曼

美国学者

动态规划应用在过程控制、国防建设、经济规划、管理

多个分支分布参数的最优控制、随机最优控制、大系统最优控制以及多方多层次的微分对策和主从对策等

返回2023/7/14107第107页，课件共130页，创作于2023年2月第五章动态规划

动态规划是求解最优控制的又一种方法，特别对离散型控制系统更为有效，而且得出的是综合控制函数。这种方法来源于多决策过程，并由贝尔曼首先提出，故称贝尔曼动态规划。

2023/7/14108第108页，课件共130页，创作于2023年2月5.1多级决策过程与最优性原理作为例子，首先分析最优路径问题(a)(b)(c)试分析(a),(b)和(c)三种情况的最优路径，即从走到所需时间最少。规定沿水平方向只能前进不能后退。2023/7/14109第109页，课件共130页，创作于2023年2月(a)中只有两条路径，从起点开始，一旦选定路线，就直达终点，选最优路径就是从两条中选一条，使路程所用时间最少。这很容易办到，只稍加计算，便可知道，上面一条所需时间最少。(b)共有6条路径可到达终点，若仍用上面方法，需计算6次，将每条路线所需时间求出，然后比较，找出一条时间最短的路程。(c)需计算20次，因为这时有20条路径，由此可见，计算量显著增大了。2023/7/14110第110页，课件共130页，创作于2023年2月逆向分级计算法

逆向是指计算从后面开始，分级是指逐级计算。逆向分级就是从后向前逐级计算。

以(c)为例

从倒数第一级开始，状态有两个，分别为

和

在处，只有一条路到达终点，其时间是；在

处，也只有一条，时间为1。后一条时间最短，将此时间相应地标在点上。并将此点到终点的最优路径画上箭头。

2023/7/14111第111页，课件共130页，创作于2023年2月然后再考虑第二级只有一种选择，到终点所需时间是有两条路，比较后选出时间最少的一条，即4+1=5。用箭头标出也标出最优路径和时间依此类推，最后计算初始位置求得最优路径最短时间为132023/7/14112第112页，课件共130页，创作于2023年2月最优路径示意图

2023/7/14113第113页，课件共130页，创作于2023年2月多级过程

多级决策过程

目标函数控制目的

选择决策序列

使目标函数取最小值或最大值实际上就是离散状态的最优控制问题

2023/7/14114第114页，课件共130页，创作于2023年2月最优性原理

在一个多级决策问题中的最优决策具有这样的性质，不管初始级、初始状态和初始决策是什么，当把其中任何一级和状态做为初始级和初始状态时，余下的决策对此仍是最优决策。2023/7/14115第115页，课件共130页，创作于2023年2月指标函数多是各级指标之和，即具有可加性最优性原理的数学表达式2023/7/14116第116页，课件共130页，创作于2023年2月5.2离散系统动态规划阶离散系统

性能指标

求决策向量

使有最小值（或最大值），其终点可自由，也可固定或受约束。2023/7/14117第117页，课件共130页，创作于2023年2月引进记号

应用最优性原理

可建立如下递推公式

贝尔曼动态规划方程

2023/7/1411