变分法与最优控制.ppt

第二讲变分法与最优控制 主要内容 2 1变分法概述2 2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2 3等式约束最优化问题2 4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型 波尔扎 问题 2 1变分法概述1 泛函定义2 泛函的连续性3 泛函的极值4 线性泛函5 泛函的变分6 泛函变分的求法7 泛函变分的规则8 泛函极值的条件 2 1变分法概述 1 泛函定义定义 如果变量y对于某一函数类中的每一个函数x t 都有一个确定的值与之对应 那么就称变量y为依赖于函数x t 的泛函 记为 y J x t 说明 由于函数的值是由自变量的选取而确定的 而泛函的值是由自变量的函数的选取而确定的 所以将泛函理解为 函数的函数 例2 1 是一个泛函 变量J的值是由函数x t 的选取而确定 当时 有 当时 有 例2 2 曲线的弧长求 平面上连接给定两点A x0 y0 和B x1 y1 的曲线的弧长J A B两点间的曲线方程为 y f x A B两点间的弧长为 泛函的上述概念 可以推广到含有几个函数的泛函的情况 例如 求一般函数极值微分法求泛函极值变分法 2 泛函的连续性 函数相近 零阶相近 当函数x t 与x0 t 之差的绝对值 即 x t x0 t t1 t t2对于x t 的定义域中的一切t t1 t t2 都很小时 称函数x t 与函数x0 t 是相近的 也称为零阶相近 一阶相近当函数x t 与x0 t 之差的绝对值以及它们的一阶导数和之差的绝对值 即t1 t t2都很小 称函数x t 与函数x0 t 是一阶相近的 注意 一阶相近的两个函数 必然是零阶相近 反之不成立 K阶相近当t1 t t2都很小时 称函数x t 与函数x0 t 是k阶相近的 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 显然 式 2 1 定量地表示两个函数之间的零阶相近度 而式 2 1 定量地表示两个函数之间的k阶相近度 2 1 2 2 零阶距离 零阶距离 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 2 1 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 零阶距离 零阶距离 函数间距离在不同的函数空间 函数间的距离定义也不同 在函数空间C a b 在区间 a b 上连续的函数的全体构成的函数空间 中 通常采用下式定义距离 在函数空间Ck a b 在区间 a b 上连续且具有连续的k阶导数的函数的全体构成的函数空间 中 任意两个函数间的距离定义为 泛函的连续性如果对于任意给定的正数 可以找到这样一个 0 当d x t x0 t 时 存在 J x t J x0 t 那么 就说泛函J在点x0 t 处是连续的 根据所采用的函数之间距离定义的不同 对应的泛函分别称为零阶连续泛函 2 1 或k阶连续泛函 2 2 3 泛函的极值 如果是在与仅仅具有零阶接近度的曲线的泛函中比较得出的极值 称为强极值 如果是在与具有一阶或一阶以上接近度的曲线的泛函中比较得出的极值 则称为弱极值 4 线性泛函 连续泛函如果满足下列条件 1 叠加原理 J x1 t x2 t J x1 t J x2 t 2 齐次性 J cx t cJ x t 其中 c是任意常数 就称为线性泛函 例如 都满足上述两个条件 故均为线性泛函 5 泛函的变分 宗量的变分若函数x t 是变量J的自变量函数 则称x t 为泛函J x t 的宗量函数 宗量的变分是指在同一函数类中的两个宗量函数间的差 也就是说 泛函的变分是泛函增量的线性主部 当一个泛函具有变分时 称该泛函是可微的 泛函的变分当宗量x t 有变分时 泛函的增量可以表示为 其中 L x t x t 是关于 x t 的线性连续泛函 r x t x t 是关于 x t 的高阶无穷小 L x t x t 称为泛函的变分 记为 线性主部 6 泛函变分的求法 定理2 1连续泛函J x 的变分 等于泛函对 的导数在 0时的值 即 定理2 2连续泛函J x 的二次变分定义为 证明略 证明略 7 泛函变分的规则 求泛函的变分 例2 3 8 泛函极值的条件 泛函极值的必要条件 定理2 3连续可微泛函J x 在x0 t 上达到极值的必要条件为 J x 在x x0处必有 泛函极值的充要条件 定理2 4设可微泛函J x 存在二次变分 则在x x0处达到极小值的充要条件为 同理 设可微泛函J x 存在二次变分 则在x x0处达到极大值的充要条件为 主要内容 2 1变分法概述2 2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2 3等式约束最优化问题2 4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型 波尔扎 问题 2 2无约束最优化问题 1 无约束固定端点泛函极值必要条件 问题2 1 无约束固定终端泛函极值问题为 其中 及x t 在 t0 tf 上连续可微 t0及tf固定 求满足上式的极值轨线x t x t0 x0 x tf xf 定理2 5若给定曲线x t 的始端x t0 x0和终端x tf xf 则泛函 达到极值的必要条件是 曲线x t 满足欧拉方程 其中x t 应有连续的二阶导数 则至少应是二次连续可微的 欧拉 Euler 方程 证明略 边界条件 或 欧拉方程的全导数形式 在中 第二项为全导数 令 得欧拉方程的全导数形式 或 例2 4 求泛函在边界条件 下的极值曲线及极值 几种特殊的欧拉方程 可以得到封闭形式的解 被积函数L不依赖于 即被积函数L不依赖于x 即被积函数L不依赖于t 即在这种情况下 欧拉方程的首次积分为其中c是待定的积分常数 实际上 将上式左边对t求全导数 有 被积函数L线性地依赖于 即 例2 5 最速降线 又称捷线 问题 设在竖直平面内有两点A和B 它们不在同一条铅垂线上 现有一质点受重力的作用自较高的A点向较低的B点滑动 如果不考虑各种阻力的影响 问应取怎样的路径 才能使所经历的时间最短 在A B两点所在的竖直平面内选择一坐标系 如上图所示 A点为坐标原点 水平线为x轴 铅垂线为y轴 结论 最速降线是一条圆滚线 对于向量空间的泛函 也存在着欧拉方程 不过是欧拉方程组 即向量欧拉方程 定理2 6在n维函数空间中 若极值曲线X t x1 t x2 t xn t T的始端X t0 x1 t0 x2 t0 xn t0 T和终端X tf x1 tf x2 tf xn tf T是给定的 则泛函 达到极值的必要条件是曲线X t 满足向量欧拉方程 其中X t 应有连续的二阶导数 而则至少应是二次连续可微的 向量欧拉方程 或 向量欧拉方程 向量欧拉方程 可写成标量方程组 例2 6 求泛函满足边界条件的极值函数 思考 能否利用MATLAB符号工具箱求解微分方程组 当极值曲线x t 的端点变化时 要使泛函达到极小值 x t 首先应当满足欧拉方程 若端点固定 可以利用端点条件 确定欧拉方程中的两个待定的积分常数 问题 若端点可变 如何确定这两个积分常数 2 2无约束最优化问题 2 无约束自由端点泛函极值必要条件 横截条件 图形分析 都固定 图a 即 即 固定 自由图b 即 因为自由所以 终端仅在上滑动 求出最优 许多状态轨线 自由 固定 图c则横截条件变为 始端仅在上滑动 端点变动的情况 自由端点 无约束条件的变分 如图 始点在曲线上变动 终点在曲线上变动 问题描述 假定极值曲线的始端A t0 x0 是固定的 而终端B tf xf 是可变的 并沿着给定的曲线 现在的问题是 需要确定一条从给定的点A t0 x0 到给定的曲线上的某一点B tf xf 的连续可微的曲线x t 使得泛函 达到极小值 变动 如右下图所示 横截条件 定理2 7若曲线x t 由一给定的点 t0 x0 到给定的曲线x tf tf 上的某一点 tf xf 则泛函 达到极值的必要条件是 x t 满足欧拉方程 和横截条件 其中x t 应有连续的二阶导数 则至少应是二次连续可微的 而 t 则应有连续的一阶导数 证明略 若极值曲线的始端不是固定的 并沿着曲线 变动 则同样可以推导出始端的横截条件 定理2 7扩展 根据定理2 7和上式 可得到端点可变时 Lagrange问题的解 除有欧拉方程外 还有横截条件 1 始端 终端可变 即x t0 t0 x tf tf 则横截条件为 2 当t0 tf可变 而x t0 与x tf 固定时 则横截条件为 3 当t0 tf固定 而x t0 与x tf 可变时 即始端与终端分别在t t0 t tf上滑动 则横截条件为 横截条件总结 定理2 7和以上几种情况的横截条件 都可以将其推广到n维函数向量X t x1 t x2 t xn t T的泛函的情形 定理2 8在n维函数空间中 若曲线X t x1 t x2 t xn t T的始端X t0 x1 t0 x2 t0 xn t0 T是固定的 而终端X tf x1 tf x2 tf xn tf T是可变的 且在曲面X tf tf 上变动 则泛函 达到极值的必要条件是 曲线X t 满足向量欧拉方程 和横截条件 若曲线X t x1 t x2 t xn t T的始端不是固定的 而是可变的 并在给定的曲面 上变动 其中 则同样可以推导出始端的横截条件为 例2 7 泛函求极值 若x 0 与x 2 任意 求极值曲线x 及极值J x 例2 8 求固定点A 0 1 到给定直线的弧长最短的曲线方程 主要内容 2 1变分法概述2 2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2 3等式约束最优化问题2 4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型 波尔扎 问题 回顾等式约束条件下函数极值问题的解法 设有函数 2 2 现在需要求函数Z在以下约束条件下的极值 2 1 1 消元法 从约束条件 2 2 中将y解出来 用x表示y 即y y x 然后将y x 代入g x y 中 得到Z g x y x 2 3 这样 函数Z只含有一个自变量x 等式 2 2 约束条件下的函数 2 1 极值问题 无约束条件的函数 2 3 极值问题 存在两个问题 从方程 2 2 中将y解出来往往很困难 对x和y这两个自变量未能平等看待 2 拉格朗日乘子法 Lagrangefactor 步骤如下 作一个辅助函数F g x y f x y 式中 是待定常数 称为拉格朗日乘子 2 4 联立求解方程 2 2 和 2 4 求出驻点 x0 y0 和待定常数 值 判断 x0 y0 是否是函数g x y 的极值点 2 2 约束条件 求辅助函数F的无条件极值 即令 Lagrange函数 等式约束条件下的函数极值问题 无约束条件的函数极值问题 2 拉格朗日乘子法 Lagrangefactor 扩展 1 拉格朗日乘子法对于求n元函数Z g x1 x2 xn 在约束条件下的极值问题 同样适用 2 拉格朗日乘子法对于求在多个约束方程fi x1 x2 xm 0 i 1 2 m 下的极值问题 同样适用 3 m n是必要的 向量函数 向量方程约束 2 3等式约束最优化问题 1 等式约束固定终端泛函极值必要条件 问题2 2 等式约束固定端点泛函极值问题为 情况下的极值轨线X t 2 5 求泛函 在约束方程为 和端点条件为 2 6 解决方法 引入拉格朗日向量乘子 将等式约束泛函极值问题转化为无约束泛函极值问题 步骤如下 1 构造辅助泛函其中 t 1 t 2 t m t T是m维待定向量乘子 2 7 无约束条件的泛函 2 7 极值问题 有约束条件 2 6 的泛函 2 5 极值问题 2 令写出欧拉方程 3 联立求解欧拉方程 2 8 和约束方程 2 6 可以得到n维向量函数X t 和m维向量乘子 t 4 利用端点条件确定欧拉方程解中的2n个积分常数 得到候选函数X t 5 检验候选函数X t 是否使泛函 2 7 达到极值 以及是极大值还是极小值 2 8 定理2 9如果n维向量函数X t x1 t x2 t xn t T能使泛函 在等式约束 条件下达到极值 这里f是m维向量函数 m n 必存在适当的m维向量函数 t 1 t 2 t m t T使泛函 达到无条件极值 即函数X t 是上述泛函J0的欧拉方程 的解 其中 而X t 和 t 由欧拉方程和约束方程共同确定 无约束条件的泛函J0极值问题 有约束条件的泛函J极值问题 等价 证明 取极小值 给定的边界条件为 例2 9已知受控系统的动态结构如图所示 求最优控制u t 及最优轨线x t 使目标泛函 2 3等式约束最优化问题 2 等式约束自由端点泛函极值必要条件 如何求解 主要内容 2 1变分法概述2 2无约束最优化问题无约束固定端点泛函极值必要条件无约束自由端点泛函极值必要条件2 3等式约束最优化问题2 4变分法求解最优控制问题引入哈密顿函数求解拉格朗日问题求解综合型 波尔扎 问题 2 4变分法求解最优控制问题 当状态变量和控制变量均不受约束 即X t Rn U t Rm时 最优控制问题是个在等式约束条件下求泛函极值的变分问题 因此 可以利用在上一节中介绍的拉格朗日乘子法来求解 在这一节中 利用拉格朗日乘子法求解最优控制问题时 将引入哈密顿 Hamilton 函数 推导出几种典型的最优控制问题应满足的必要条件 2 4变分法求解最优控制问题 1 引入哈密顿函数求解拉格朗日问题 2 10 初始条件 2 9 终端条件 tf固定 X tf 自由和性能泛函 2 11 给定系统状态方程 要求从容许控制U t Rm中确定最优控制U t 使系统 2 9 从给定的初态X t0 转移到某个终态X tf 并使性能泛函 2 11 达到极小值 这是拉格朗日问题 又称为积分型最优控制问题 问题2 3 解 将状态方程 2 9 改写为 2 12 最优控制问题微分方程 2 12 在约束条件下求泛函极值的变分问题 利用拉格朗日乘子法 引入n维拉格朗日乘子向量 t 1 t 2 t n t T t 称为协态变量 以便与状态变量相对应 2 13 求泛函在等式约束条件下的极值问题求泛函 2 13 J0的无约束条件的极值问题 构造辅助泛函 定义哈密顿 Hamilton 函数为 辅助泛函 标量函数 哈密顿函数与辅助函数之间关系为 将代入欧拉方程 得 协态方程 共轭方程 状态方程 规范方程 正则方程 控制方程 利用变分法写出辅助泛函的欧拉方程 初始状态为 由于终端时刻tf固定 终端状态X tf 自由 所以横截条件为 得 联立求解规范方程可以得到两个未知函数X t 和 t 由边界条件确定积分常量 混合边界问题或两点边界值问题 求解两点边值问题步骤 由控制方程求得U U X t t t 将上式代入规范方程消去其中的U t 得到利用边界条件联立求解方程以上方程 可得唯一确定的解X t 和 t 将所求得的X t 和 t 代入U U X t t t 求得相应的U t 说明 利用引入哈密顿函数的方法求解拉格朗日型最优控制问题 是将求泛函在等式约束条件下对控制函数U t 的条件极值问题转化为求哈密顿函数H对控制变量U t 的无条件极值问题 这种方法称为哈密顿方法 定理2 10设系统的状态方程为 为将系统从给定的初态 转移到终端时刻tf固定 终端状态X tf 自由的某个终态 并使性能泛函 达到极小值的最优控制应满足的必要条件是 1 设U t 是最优控制 X t 是对应于U t 的最优轨线 则必存在一与U t 和X t 相对应的n维协态变量 t 使得X t 与 t 满足规范方程 其中 2 边界条件为 3 哈密顿函数H对控制变量U t t0 t tf 取极值 即 沿着最优控制和最优轨线 哈密顿函数H对时间t求全导数 得 若H不显含t时 则有H t 常数t t0 tf 也就是说 当H不显含t时 哈密顿函数H是不依赖于t的常数 取极小值 给定的边界条件为 解法2 哈密顿方法 例2 9已知受控系统的动态结构如图所示 求最优控制u t 及最优轨线x t 使目标泛函 取极小值 给定的边界条件为 自由 例2 10已知受控系统的动态结构如图所示 求最优控制u t 及最优轨线x t 使目标泛函 由例2 9哈密顿方法 由协态方程得 由控制方程得 由状态方程得 例2 11已知系统方程和边界条件为 1 求使性能泛函 为极小值的最优控制函数与最优轨线 可以利用MATLAB符号工具箱求解微分方程 2 若终端条件为x1 1 0 x2 1 自由 求该最优控制问题 2 4变分法求解最优控制问题 2 求解综合型 波尔扎 问题 2 10 初始条件 2 9 和性能泛函 2 14 给定系统状态方程 要求从容许控制U t Rm中确定最优控制U t 使系统 2 9 从给定的初态X t0 转移到某个终态X tf 并使性能泛函 2 14 达到极小值 这是波尔扎问题 又称为复合型最优控制问题 问题2 4 注意 给定的端点条件不同 上述最优控制问题的解将不同 1 终端时刻tf固定 终端状态X tf 自由的情况构造辅助泛函为 若令哈密顿函数为 2 15 2 16 并对式 2 15 积分号内第三项进行分部积分 则辅助泛函变为 2 17 求上式对状态变量X t 和控制变量U t 的变分 得 2 19 由于泛函J0达到极值的必要条件为 2 18 由于 X t0 0 X tf 0 X t 0 U t 0 则由式 2 18 和 2 19 可得上述波尔扎型最优控制问题的解应 终端时刻tf固定 终端状态X tf 自由的波尔扎型最优控制问题的解应满足的必要条件为 这些关系与拉格朗日型最优控制问题的完全相同 所不同的只是横截条件 即协态变量的终端值 2 终端时刻tf固定 终端状态X tf 受约束的情况设终端状态受到如下等式的约束 2 20 其中 为r 当L 0 r n 1 当L 0 r n 维向量 即 这时 终端状态X tf 即不是固定的 也不是完全自由的 只能在终端流型 2 20 上变动 在构造辅助泛函时 应考虑终端约束条件 2 20 为此 需要引入待定的拉格朗日乘子向量 考虑到哈密顿函数为 2 21 并对式 2 21 积分号内第三项进行分部积分 则辅助泛函变为 构造的辅助泛函为 求J0对状态变量X t 和控制变量U t 的变分 得 考虑