变分法与最优控制

讲变分法与最优控制

2021/6/271主要内容2.1变分法概述2.2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2.3等式约束最优化问题2.4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型（波尔扎）问题2021/6/2722.1变分法概述

1、泛函定义

2、泛函的连续性

3、泛函的极值

4、线性泛函

5、泛函的变分

6、泛函变分的求法

7、泛函变分的规则

8、泛函极值的条件2021/6/2732.1变分法概述1、泛函定义定义：如果变量y对于某一函数类中的每一个函数x(t)，都有一个确定的值与之对应，那么就称变量y为依赖于函数x(t)的泛函，记为：y=J[x(t)]。说明：由于函数的值是由自变量的选取而确定的，而泛函的值是由自变量的函数的选取而确定的，所以将泛函理解为“函数的函数”。2021/6/274【例2.1】

是一个泛函。变量J的值是由函数x(t)

的选取而确定。当时,有。当时,有。2021/6/275【例2.2】曲线的弧长求：平面上连接给定两点A(x0，y0)和B(x1，y1)的曲线的弧长J。

A、B两点间的曲线方程为：y=f(x)

A、B两点间的弧长为：2021/6/276

泛函的上述概念，可以推广到含有几个函数的泛函的情况，例如：求一般函数极值微分法求泛函极值变分法2021/6/2772、泛函的连续性函数相近(零阶相近)

当函数x(t)与

x0(t)之差的绝对值，即

∣x(t)-x0(t)∣,t1

t

t2

对于x(t)的定义域中的一切t（t1

t

t2）都很小时，称函数x(t)与函数x0(t)是相近的，也称为零阶相近。2021/6/278一阶相近

当函数x(t)与

x0(t)之差的绝对值以及它们的一阶导数和之差的绝对值，即

t1

t

t2

都很小，称函数x(t)与函数x0(t)是一阶相近的。注意：一阶相近的两个函数，必然是零阶相近，反之不成立。K阶相近当

t1

t

t2都很小时，称函数x(t)与函数x0(t)是k阶相近的。2021/6/279函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

显然，式（2.1）定量地表示两个函数之间的零阶相近度，而式（2.1）定量地表示两个函数之间的k阶相近度。（2.1）（2.2）零阶距离零阶距离函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

（2.1）零阶距离零阶距离函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

零阶距离零阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离k阶距离函数间距离

在不同的函数空间，函数间的距离定义也不同。在函数空间C[a，b]（在区间[a，b]上连续的函数的全体构成的函数空间）中，通常采用下式定义距离：

在函数空间Ck[a，b]（在区间[a，b]上连续且具有连续的k阶导数的函数的全体构成的函数空间）中，任意两个函数间的距离定义为：

2021/6/2710泛函的连续性如果对于任意给定的正数

，可以找到这样一个

>0，当

d[x(t)，x0(t)]<

时，存在

∣J[x(t)]－J[x0(t)]∣<

那么，就说泛函J在点x0(t)处是连续的。

根据所采用的函数之间距离定义的不同，对应的泛函分别称为零阶连续泛函(2.1)或k阶连续泛函(2.2)。2021/6/27113、泛函的极值如果 是在与 仅仅具有零阶接近度的曲线 的泛函中比较得出的极值，称为强极值。如果 是在与 具有一阶或一阶以上接近度的曲线 的泛函中比较得出的极值，则称为弱极值。2021/6/27124、线性泛函

连续泛函如果满足下列条件：（1）叠加原理：

J[x1(t)+x2(t)]=J[x1(t)]+J[x2(t)]

（2）齐次性：

J[cx(t)]=c

J[x(t)]其中，c是任意常数，就称为线性泛函。例如：都满足上述两个条件，故均为线性泛函。2021/6/27135、泛函的变分宗量的变分若函数x(t)是变量J的自变量函数，则称x(t)为泛函J[x(t)]的宗量函数。

宗量的变分是指在同一函数类中的两个宗量函数间的差：2021/6/2714也就是说，泛函的变分是泛函增量的线性主部。当一个泛函具有变分时，称该泛函是可微的。泛函的变分当宗量x(t)有变分时，泛函的增量可以表示为其中，L[x(t)，

x(t)]是关于

x(t)的线性连续泛函；

r[x(t)，

x(t)]是关于

x(t)的高阶无穷小；

L[x(t)，

x(t)]称为泛函的变分，记为线性主部2021/6/27156、泛函变分的求法定理2－1

连续泛函J(x)的变分，等于泛函对α的导数在α=0时的值.即定理2－2

连续泛函J(x)的二次变分定义为（证明略）（证明略）2021/6/27167、泛函变分的规则2021/6/2717求泛函的变分。【例2.3】2021/6/27188、泛函极值的条件泛函极值的必要条件：定理2－3

连续可微泛函J(x)

在x0(t)上达到极值的必要条件为：J(x)在x=x0处必有泛函极值的充要条件：定理2－4

设可微泛函J(x)存在二次变分，

则在x=x0处达到极小值的充要条件为：同理，设可微泛函J(x)存在二次变分，则在x=x0处达到极大值的充要条件为：2021/6/2719主要内容2.1变分法概述2.2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2.3等式约束最优化问题2.4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型（波尔扎）问题2021/6/27202.2无约束最优化问题1、无约束固定端点泛函极值必要条件问题2-1无约束固定终端泛函极值问题为:其中,及x(t)在[t0,tf]上连续可微，t0及tf固定，求满足上式的极值轨线x*(t)。x(t0)=x0，x(tf)=xf，2021/6/2721定理2－5

若给定曲线x(t)的始端x(t0)=x0和终端x(tf)=xf，则泛函达到极值的必要条件是，曲线x(t)满足欧拉方程其中x(t)应有连续的二阶导数，则至少应是二次连续可微的。欧拉(Euler)方程（证明略）边界条件或2021/6/2722欧拉方程的全导数形式

在中，第二项为全导数

令

得欧拉方程的全导数形式或2021/6/2723【例2.4】

求泛函在边界条件下的极值曲线及极值.2021/6/2724几种特殊的欧拉方程（可以得到封闭形式的解）被积函数L不依赖于，即被积函数L不依赖于x，即

被积函数L不依赖于t，即

在这种情况下，欧拉方程的首次积分为

其中c是待定的积分常数。实际上，将上式左边对t求全导数，有被积函数L

线性地依赖于，即2021/6/2725【例2.5】最速降线(又称捷线)问题

设在竖直平面内有两点A和B，它们不在同一条铅垂线上。现有一质点受重力的作用自较高的A点向较低的B点滑动，如果不考虑各种阻力的影响，问应取怎样的路径，才能使所经历的时间最短？在A、B两点所在的竖直平面内选择一坐标系，如上图所示。A点为坐标原点，水平线为x轴，铅垂线为y轴。结论:最速降线是一条圆滚线。2021/6/2726

对于向量空间的泛函，也存在着欧拉方程，不过是欧拉方程组（即向量欧拉方程）。定理2－6

在n维函数空间中，若极值曲线X(t)=[x1(t),x2(t),…,xn(t)]T的始端X(t0)=[x1(t0),x2(t0),…,xn(t0)]T和终端X(tf)=[x1(tf),x2(tf),…,xn(tf)]T是给定的，则泛函达到极值的必要条件是曲线X(t)满足向量欧拉方程其中X(t)应有连续的二阶导数，而

则至少应是二次连续可微的。向量欧拉方程或2021/6/2727向量欧拉方程向量欧拉方程可写成标量方程组2021/6/2728【例2.6】

求泛函

满足边界条件的极值函数。思考：能否利用MATLAB符号工具箱求解微分方程组？2021/6/2729当极值曲线x*(t)的端点变化时，要使泛函

达到极小值，

x*(t)首先应当满足欧拉方程：若端点固定,可以利用端点条件:确定欧拉方程中的两个待定的积分常数。问题：若端点可变，如何确定这两个积分常数？2.2无约束最优化问题2、无约束自由端点泛函极值必要条件（横截条件）2021/6/2730图形分析<1>,都固定，图a即

即

<2>固定,自由

图

b即

因为自由所以终端仅在

上滑动

求出最优

许多状态轨线

2021/6/2731<3>自由，固定，图c

则横截条件变为：

始端仅在

上滑动

<4>端点变动的情况：自由端点，无约束条件的变分，如图:始点在曲线上变动

终点在曲线上变动

)(tx2021/6/2732问题描述：假定极值曲线的始端A(t0，x0)是固定的，而终端B(tf，xf)是可变的，并沿着给定的曲线现在的问题是：需要确定一条从给定的点A(t0，x0)到给定的曲线上的某一点B(tf，xf)的连续可微的曲线x(t)，使得泛函达到极小值。变动，如右下图所示。2021/6/2733横截条件定理2-7

若曲线x(t)由一给定的点(t0，x0)到给定的曲线x(tf)=

(tf)上的某一点(tf，xf)，则泛函达到极值的必要条件是，

x(t)满足欧拉方程和横截条件其中x(t)应有连续的二阶导数，

则至少应是二次连续可微的，而

(t)

则应有连续的一阶导数。（证明略）2021/6/2734若极值曲线的始端不是固定的，并沿着曲线变动，则同样可以推导出始端的横截条件定理2-7扩展2021/6/2735

根据定理2-7和上式，可得到端点可变时，Lagrange问题的解，除有欧拉方程外，还有横截条件：(1)始端、终端可变，即x(t0)=

(t0)，x(tf)=

(tf)，则横截条件为：(2)当t0、

tf

可变，而x(t0)与x(tf)固定时，则横截条件为：(3)当t0、

tf

固定，而x(t0)与x(tf)可变时，即始端与终端分别在t=t0、t=tf上滑动，则横截条件为：横截条件总结2021/6/2736定理2-7和以上几种情况的横截条件，都可以将其推广到n维函数向量X(t)=[x1(t),x2(t),…,xn(t)]T的泛函的情形。定理2-8在n维函数空间中，若曲线X(t)=[x1(t),x2(t),…,xn(t)]T的始端X(t0)=[x1(t0),x2(t0),…,xn(t0)]T是固定的，而终端X(tf)=[x1(tf),x2(tf),…,xn(tf)]T是可变的，且在曲面X(tf)=

(tf)上变动，则泛函达到极值的必要条件是，曲线X(t)满足向量欧拉方程和横截条件2021/6/2737

若曲线X(t)=[x1(t),x2(t),…,xn(t)]T的始端不是固定的，而是可变的，并在给定的曲面上变动，其中，则同样可以推导出始端的横截条件为：2021/6/2738【例2.7】

泛函求极值若x(0)与x(2)任意，求极值曲线x*及极值J(x*).2021/6/2739【例2-8】求固定点A（0，1）到给定直线的弧长最短的曲线方程2021/6/2740主要内容2.1变分法概述2.2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2.3等式约束最优化问题2.4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型（波尔扎）问题2021/6/2741回顾等式约束条件下函数极值问题的解法

设有函数（2.2）现在需要求函数Z在以下约束条件下的极值。（2.1）（1）消元法：从约束条件（2.2）中将y解出来。用x表示y，即y=y(x)然后将y(x)代入g(x,y)中，得到

Z=g[x,y(x)]（2.3）这样，函数Z只含有一个自变量x.等式(2.2)约束条件下的函数(2.1)极值问题

无约束条件的函数(2.3)极值问题存在两个问题：①从方程(2.2)中将y解出来往往很困难；②对x和y这两个自变量未能平等看待。2021/6/2742（2）拉格朗日乘子法（Lagrangefactor）

步骤如下：①作一个辅助函数F=g(x,y)+f(x,y)

式中，

是待定常数，称为拉格朗日乘子；(2.4)

③联立求解方程（2.2）和（2.4），求出驻点（x0

，y

0）和待定常数

值;④判断（x0

，y

0）是否是函数g(x,y)的极值点。（2.2）约束条件②求辅助函数F的无条件极值，即令Lagrange函数等式约束条件下的函数极值问题

无约束条件的函数极值问题2021/6/2743（2）拉格朗日乘子法（Lagrangefactor）

扩展：1、拉格朗日乘子法对于求n元函数

Z=g（x1，x2，…，xn）在约束条件下的极值问题，同样适用。2、拉格朗日乘子法对于求在多个约束方程

fi（x1，x2，…，xm）=0，i=1，2，…，m；下的极值问题，同样适用。3、m<n是必要的。向量函数向量方程约束2021/6/27442.3等式约束最优化问题1、等式约束固定终端泛函极值必要条件问题2-2等式约束固定端点泛函极值问题为:情况下的极值轨线X*(t)。（2.5）求泛函在约束方程为和端点条件为（2.6）向量形式2021/6/2745【解决方法】

引入拉格朗日向量乘子，将等式约束泛函极值问题转化为无约束泛函极值问题。

步骤如下：（1）构造辅助泛函

其中

(t)=[

1(t),

2(t),…,

m(t)]T是m维待定向量乘子。（2.7）无约束条件的泛函（2.7）极值问题有约束条件（2.6）的泛函（2.5）极值问题2021/6/2746（2）令写出欧拉方程

（3）联立求解欧拉方程（2.8）和约束方程（2.6），可以得到n维向量函数X(t)和m维向量乘子

(t)。（4）利用端点条件确定欧拉方程解中的2n个积分常数，得到候选函数X*(t)

。（5）检验候选函数X*(t)是否使泛函（2.7）达到极值，以及是极大值还是极小值。（2.8）2021/6/2747定理2-9

如果n维向量函数X(t)=[x1(t),x2(t),…,xn(t)]T

能使泛函在等式约束条件下达到极值，这里f是m维向量函数，m<n，必存在适当的m维向量函数

(t)=[

1(t),

2(t),…,

m(t)]T

使泛函达到无条件极值。即函数X(t)是上述泛函J0的欧拉方程的解，其中而X(t)和

(t)由欧拉方程和约束方程共同确定。2021/6/2748无约束条件的泛函J0极值问题有约束条件的泛函J极值问题等价证明：2021/6/2749取极小值。给定的边界条件为例2-9

已知受控系统的动态结构如图所示。求最优控制u*(t)及最优轨线x*(t)

，使目标泛函2021/6/27502.3等式约束最优化问题2、等式约束自由端点泛函极值必要条件如何求解？2021/6/2751主要内容2.1变分法概述2.2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2.3等式约束最优化问题2.4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型（波尔扎）问题2021/6/27522.4变分法求解最优控制问题

当状态变量和控制变量均不受约束，即X(t)

Rn，U(t)

Rm时，最优控制问题是个在等式约束条件下求泛函极值的变分问题，因此，可以利用在上一节中介绍的拉格朗日乘子法来求解。在这一节中，利用拉格朗日乘子法求解最优控制问题时，将引入哈密顿（Hamilton）函数，推导出几种典型的最优控制问题应满足的必要条件。2021/6/27532.4变分法求解最优控制问题1、引入哈密顿函数求解拉格朗日问题(2.10)初始条件(2.9)终端条件：tf固定，X(tf)自由和性能泛函(2.11)给定系统状态方程要求从容许控制U(t)

Rm中确定最优控制U*(t)，使系统（2.9）从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函（2.11）达到极小值。这是拉格朗日问题，又称为积分型最优控制问题。问题2-32021/6/2754

解：将状态方程（2.9）改写为(2.12)最优控制问题微分方程（2.12）在约束条件下求泛函

极值的变分问题。2021/6/2755利用拉格朗日乘子法，引入n维拉格朗日乘子向量

(t)=[

1(t),

2(t),…,

n(t)]T

(t)称为协态变量，以便与状态变量相对应。(2.13)求泛函在等式

约束条件下的极值问题求泛函（2.13）J0的无约束条件的极值问题。构造辅助泛函：2021/6/2756定义哈密顿（Hamilton）函数为：辅助泛函标量函数哈密顿函数与辅助函数之间关系为：2021/6/2757将代入欧拉方程，得

协态方程（共轭方程）状态方程规范方程（正则方程）控制方程利用变分法写出辅助泛函的欧拉方程2021/6/2758初始状态为由于终端时刻tf固定，终端状态X(tf)自由，所以横截条件为

得联立求解规范方程可以得到两个未知函数X(t)和

(t)。由边界条件确定积分常量：混合边界问题或两点边界值问题。2021/6/2759求解两点边值问题步骤：由控制方程求得

U=U[X(t)，

(t)，t]

；将上式代入规范方程消去其中的U(t)，得到利用边界条件联立求解方程以上方程，可得唯一确定的解X(t)和

(t)；将所求得的X(t)和

(t)代入U=U[X(t)，

(t)，t]

，求得相应的U(t)。说明：利用引入哈密顿函数的方法求解拉格朗日型最优控制问题，是将求泛函在等式约束条件下对控制函数U(t)的条件极值问题转化为求哈密顿函数H对控制变量U(t)的无条件极值问题。这种方法称为哈密顿方法。2021/6/2760定理2-10

设系统的状态方程为

为将系统从给定的初态转移到终端时刻

tf固定，终端状态X(tf)自由的某个终态，并使性能泛函达到极小值的最优控制应满足的必要条件是：

2021/6/2761（1）设U*(t)是最优控制，

X*(t)是对应于U*(t)的最优轨线，则必存在一与U*(t)和X*(t)相对应的n维协态变量

(t)

，使得X(t)与

(t)

满足规范方程其中（2）边界条件为（3）哈密顿函数H对控制变量U(t)（t0

t

tf）取极值，即2021/6/2762*沿着最优控制和最优轨线，哈密顿函数H对时间t求全导数，得若H不显含t时，则有

H(t)=常数

t[t0，tf];也就是说，当H不显含t时，哈密顿函数H是不依赖于t的常数。2021/6/2763取极小值。给定的边界条件为解法2：哈密顿方法例2-9

已知受控系统的动态结构如图所示。求最优控制u*(t)及最优轨线x*(t)

，使目标泛函2021/6/2764取极小值。给定的边界条件为自由例2-10

已知受控系统的动态结构如图所示。求最优控制u*(t)及最优轨线x*(t)

，使目标泛函2021/6/2765由例2-9哈密顿方法：由协态方程得：由控制方程得：由状态方程得：｛｛2021/6/2766例2-11

已知系统方程和边界条件为（1）求使性能泛函为极小值的最优控制函数与最优轨线。可以利用MATLAB符号工具箱求解微分方程（2）若终端条件为x1(1)=0，x2(1)自由，求该最优控制问题。2021/6/27672.4变分法求解最优控制问题2、求解综合型（波尔扎）问题(2.10)初始条件(2.9)和性能泛函(2.14)给定系统状态方程要求从容许控制U(t)

Rm中确定最优控制U*(t)，使系统（2.9）从给定的初态X(t0)转移到某个终态X(tf)，并使性能泛函（2.14）达到极小值。这是波尔扎问题，又称为复合型最优控制问题。问题2-4注意：给定的端点条件不同，上述最优控制问题的解将不同。2021/6/2768

1.终端时刻tf固定，终端状态X(tf)

自由的情况

构造辅助泛函为：若令哈密顿函数为（2.15）（2.16）并对式（2.15）积分号内第三项进行分部积分，则辅助泛函变为2021/6/2769（2.17）求上式对状态变量X(t)和控制变量U(t)的变分，得（2.19）由于泛函J0达到极值的必要条件为（2.18）由于

X(t0)=0，

X(tf)≠0，

X(t)≠0，

U(t)≠0，则由式（2.18）和（2.19）可得上述波尔扎型最优控制问题的解应2021/6/2770终端时刻tf固定，终端状态X(tf)自由的波尔扎型最优控制问题的解应满足的必要条件为：这些关系与拉格朗日型最优控制问题的完全相同，所不同的只是横截条件，即协态变量的终端值2021/6/2771

2.终端时刻tf固定，终端状态X(tf)

受约束的情况

设终端状态受到如下等式的约束（2.20）其中

为r（当L=0，r

n-1；当L0，r

n