最优控制第一章绪论

1、最优化问题最优化问题 人们在处理日常生活、生产过程、资源分配和信人们在处理日常生活、生产过程、资源分配和信息处理等实际问题时，都希望通过某种方案或措施获息处理等实际问题时，都希望通过某种方案或措施获取最佳的处理结果，这种设法获取最佳处理结果的问取最佳的处理结果，这种设法获取最佳处理结果的问题称为题称为最优化问题最优化问题。最优化问题最优化问题静态最优化问题（参数优化）静态最优化问题（参数优化）动态最优化问题（动态最优化问题（最优控制最优控制）静态最优化问题数学描述静态最优化问题数学描述lnmnnnSXRRHXHRRGXGtsRRfRXXf:, 0)(:, 0)(.:,),(min其中，其中，s

2、.t.表示受约束于，表示受约束于，S为满足约束条件的可行域。为满足约束条件的可行域。目标函数目标函数等式约束等式约束不等式约束不等式约束本课程主要内容本课程主要内容第一章第一章 绪论绪论第二章第二章 用变分法求解最优控制用变分法求解最优控制第三章第三章 极小值原理及其应用极小值原理及其应用第四章第四章 线性二次型问题的最优控制线性二次型问题的最优控制第五章第五章 动态规划法动态规划法第一章第一章 绪论绪论1.1 最优控制发展简史最优控制发展简史1.2 最优控制实例最优控制实例1.3 最优控制问题提法最优控制问题提法1.4 最优控制问题的分类最优控制问题的分类1.1 最优控制发展简史最优控制发展

3、简史一、最优控制的发展一、最优控制的发展 随着科学技术的发展，简单的反馈控制已经难以满足随着科学技术的发展，简单的反馈控制已经难以满足工程实践的要求，传统的系统设计方法也无法实现日渐提工程实践的要求，传统的系统设计方法也无法实现日渐提高的性能指标，很多控制问题都必须从最优控制的角度去高的性能指标，很多控制问题都必须从最优控制的角度去进行研究和设计。进行研究和设计。 最优控制通常是针对控制系统本身而言。最优控制系最优控制通常是针对控制系统本身而言。最优控制系统的统的最优最优是指系统的某个性能指标最优，而不是任何性能是指系统的某个性能指标最优，而不是任何性能指标都是最优。指标都是最优。一个性能指标

4、最优指的是使这个性能指标一个性能指标最优指的是使这个性能指标为极小值（或极大值）。为极小值（或极大值）。 最优控制理论是最优控制理论是现代控制理论的核心现代控制理论的核心，源于，源于20世纪世纪50年代，它是在经典控制理论无法处理多输入多输出的时变年代，它是在经典控制理论无法处理多输入多输出的时变被控对象情况下提出来的。被控对象情况下提出来的。 20世纪世纪60年代到年代到80年代是研究年代是研究的热点。这期间，尤其是空间技术的迅猛发展，引起了一的热点。这期间，尤其是空间技术的迅猛发展，引起了一大批学者的关注，进一步推动了最优控制理论向前迈进。大批学者的关注，进一步推动了最优控制理论向前迈进。

5、现已形成了系统的理论。现已形成了系统的理论。 最优控制理论所要解决的问题是：根据最优控制理论所要解决的问题是：根据被控对象被控对象的动的动态特性，选择一个态特性，选择一个容许控制容许控制，使得被控对象按照技术要求，使得被控对象按照技术要求运转，同时使运转，同时使性能指标性能指标达到最优值。达到最优值。二、研究最优控制的方法二、研究最优控制的方法 最优控制问题是求解一类带有约束条件的最优控制问题是求解一类带有约束条件的泛函极值泛函极值问题，问题，因此这是一个因此这是一个变分学变分学问题，然而变分理论只是解决容许控制问题，然而变分理论只是解决容许控制属于属于开集开集的一类最优控制问题，而在工程实践

6、中还常遇到容的一类最优控制问题，而在工程实践中还常遇到容许控制属于许控制属于闭集闭集的一类最优控制问题，这就要求人们研究新的一类最优控制问题，这就要求人们研究新方法。方法。 在研究最优控制的方法中，有两种方法最富有成效：一在研究最优控制的方法中，有两种方法最富有成效：一种是苏联数学家庞特里雅金种是苏联数学家庞特里雅金（.）提出的提出的“极极小值原理小值原理”；另一种是美国数学家贝尔曼（；另一种是美国数学家贝尔曼（Bellman，R.E. ）提出的提出的“动态规划动态规划”。 极小值原理极小值原理是庞特里雅金等人在是庞特里雅金等人在1956至至1958年间逐年间逐步创立的，先是推测出极小值原理的

7、结论，随后又提供步创立的，先是推测出极小值原理的结论，随后又提供了一种证明方法。极小值原理发展了古典变分原理，成了一种证明方法。极小值原理发展了古典变分原理，成为处理闭集约束变分问题的强有力工具。为处理闭集约束变分问题的强有力工具。 庞特里亚金（庞特里亚金（19081988），前苏联），前苏联数学家。数学家。1939年到斯捷克洛夫数学研究所年到斯捷克洛夫数学研究所从事数学研究。同年被选为苏联科学院通从事数学研究。同年被选为苏联科学院通讯院士，讯院士，1958年成为院士。他的研究领域年成为院士。他的研究领域涉及拓扑学、代数、控制论等。涉及拓扑学、代数、控制论等。50年代开年代开始研究振动理论和始

8、研究振动理论和最优控制理论，最优控制理论，以庞特以庞特里亚金的极小值原理著称于世。里亚金的极小值原理著称于世。庞特里亚金庞特里亚金（.） 动态规划动态规划是贝尔曼在是贝尔曼在1953年至年至1958年间逐步创立的，他年间逐步创立的，他依据最优性原理发展了变分学中的哈密顿依据最优性原理发展了变分学中的哈密顿- -雅可比理论，构雅可比理论，构成了动态规划。它是一种适用于计算机计算，处理问题更有成了动态规划。它是一种适用于计算机计算，处理问题更有效、范围更广的方法。效、范围更广的方法。理查德理查德贝尔曼（贝尔曼（Bellman，R. E . ） 理查德理查德贝尔曼贝尔曼（19201984），），美国

9、数学美国数学家，美国科学院院士，动态规划的创始人。家，美国科学院院士，动态规划的创始人。1941年获布鲁克林学院学士学位年获布鲁克林学院学士学位, ,1943年获威斯康星年获威斯康星大学硕士学位。大学硕士学位。1946年入普林斯顿大学年入普林斯顿大学, ,同年获同年获博士学位博士学位, ,并留校任数学助理教授。并留校任数学助理教授。19481952年任斯坦福大学副教授年任斯坦福大学副教授; ;19531965年受聘于圣年受聘于圣莫尼卡的兰德公司莫尼卡的兰德公司; ;后任南加利福尼亚大学数学、后任南加利福尼亚大学数学、电子工程和医学教授。电子工程和医学教授。1.2 最优控制实例最优控制实例 设汽

10、车开始静止于设汽车开始静止于O O点，其行驶的距离用点，其行驶的距离用d(t)表示，如何开动汽车表示，如何开动汽车才能使其在最短的时间里到达并停止在才能使其在最短的时间里到达并停止在E E点。为分析方便，把汽车看点。为分析方便，把汽车看成单位质点成单位质点, ,并忽略地面摩擦并忽略地面摩擦, ,则汽车运动方程为则汽车运动方程为例例1.1 一个简单的汽车行驶问题。一个简单的汽车行驶问题。OEd(t)(t)u(t)utd21)( 其中，其中，u1(t)、u2(t)分别表示汽车的加速力和制动力。若取状态变量分别表示汽车的加速力和制动力。若取状态变量(t)d(t)x(t),dtx2)(1则汽车运动方程

11、可以写成如下的则汽车运动方程可以写成如下的状态方程状态方程(t)u(t)u(t)x(t),xtx22121)(设设O O点到点到E点的距离为点的距离为e，汽车到，汽车到E点所用时间为点所用时间为te，则，则边界条件为边界条件为 0;)(, 0)0(211)(tx0,(0)xetxxe2e若不考虑倒车，则若不考虑倒车，则状态约束条件状态约束条件为为t0,t0,(t)xetxe21,)(0设汽车加速力和制动力最大容限分别为设汽车加速力和制动力最大容限分别为M1和和M2，则，则输入约束条件输入约束条件为为0(t)uMMtu2211,)(0欲使汽车以最短的时间到达欲使汽车以最短的时间到达E点点, ,则

12、则性能指标性能指标为为etedttJ0 飞船靠其发动机产生一与月球重力方向相反的推力飞船靠其发动机产生一与月球重力方向相反的推力u(t)，以使飞船在，以使飞船在月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料月球表面实现软着陆，要寻求发动机推力的最优控制规律，以便使燃料的消耗为最少。的消耗为最少。 设飞船质量为设飞船质量为m(t)，高度为，高度为h(t)，垂直速度为，垂直速度为v(t)，发动机推力为，发动机推力为u(t)，月球表面的重力加速度为常数月球表面的重力加速度为常数g，不带燃料的飞船质量为，不带燃料的飞船质量为M，初始燃料的，初始燃料的总质量为总质量为F。初始高度为。初始

13、高度为h0，初始垂直速度为，初始垂直速度为v0，那么飞船运动方程式为：，那么飞船运动方程式为：ku(t)tmm(t)g;u(t)(t)vm(t)v(t);th)()(0; 0)(tv)h(tffau(t)0初始条件初始条件: :终端条件终端条件：)(ftmJFMmv(0)vhh(0)0)0(;0约束条件约束条件：性能指标性能指标：即使燃料消耗为最少。即使燃料消耗为最少。例例1.2 月球上的软着陆问题。月球上的软着陆问题。u(t)m(t)-v(t)h(t)例例1.3 拦截器拦截问题。拦截器拦截问题。在某一惯性坐标系内，设拦截器质心的位置矢量和速度矢量分别为在某一惯性坐标系内，设拦截器质心的位置矢

14、量和速度矢量分别为)()(tXtXLL、)()()();()()(tXtXtVtXtXtXMLML)( )(tXtXMM、，目标质心的位置矢量和速度矢量为，目标质心的位置矢量和速度矢量为，拦截器推力为，拦截器推力为设：设：则拦截器与目标的相对运动方程为则拦截器与目标的相对运动方程为c(t)FtmF(t);m(t)A(t)(t)Vm(t)V(t);tX)()(式中，式中，A(t)为除控制加速度外的固有相对加速度；为除控制加速度外的固有相对加速度；c c为常数。为常数。初始条件初始条件：终端条件终端条件：约束条件约束条件： 如果我们既要求拦截过程的时间尽量短，又要求燃料消耗尽量少，如果我们既要求拦

15、截过程的时间尽量短，又要求燃料消耗尽量少，则可取则可取性能指标性能指标fttdttFcJ0)(1)(max)(0tFtF000000)(;)(;)(mtmVtVXtXefffmtmtVtX)()(; 0)(；任任意意F(t)，拦截器质量为拦截器质量为m(t)。1.3 最优控制问题提法最优控制问题提法一、受控系统的数学模型一、受控系统的数学模型 集中参数的受控系统总可以用一阶微分方程组来描述，集中参数的受控系统总可以用一阶微分方程组来描述，即状态方程，其一般形式为即状态方程，其一般形式为),(),()(ttUtXFtX)()()()(21txtxtxtXn)()()()(21tutututUp式

16、中式中为为n维状态向量；维状态向量；为为p维控制向量；维控制向量；),(),(),(),(),(),(),(),(21ttUtXfttUtXfttUtXfttUtXFn为为n维向量函数；维向量函数；二、目标集二、目标集 如果把状态视为如果把状态视为n n维欧氏空间中的一个点，在最优控制维欧氏空间中的一个点，在最优控制问题中，初始状态通常是已知的，即问题中，初始状态通常是已知的，即而所达到的状态（末态）可以是状态空间中的一个点或事先而所达到的状态（末态）可以是状态空间中的一个点或事先规定的范围，对末态的要求可以用规定的范围，对末态的要求可以用末态约束条件末态约束条件来表示，即来表示，即0),(0

17、),(21ffffttXgttXg满足末态约束的状态集合称为满足末态约束的状态集合称为目标集目标集，记为，记为M，即，即0),(, 0),(,)(: )(21ffffnffttXgttXgRtXtXM 至于末态时刻，可以事先规定，也可以是未知的。有时至于末态时刻，可以事先规定，也可以是未知的。有时初态也没有完全给定，这时初态集合可以类似地用初态约束初态也没有完全给定，这时初态集合可以类似地用初态约束条件来表示。条件来表示。)0()(0XtX三、容许控制三、容许控制四、性能指标四、性能指标 在实际控制问题中，大多数控制量受客观条件的限制，在实际控制问题中，大多数控制量受客观条件的限制，只能在一定

18、范围内取值，这种限制通常可以用不等式约束来只能在一定范围内取值，这种限制通常可以用不等式约束来表示表示p1,2,i (t)u UU(t)0imax,或或 控制约束所规定的点集称为控制域控制约束所规定的点集称为控制域U, ,凡在凡在 t0 ,tf上有定义，上有定义，且在控制域且在控制域U内取值的每一个控制函数内取值的每一个控制函数U(t)均称为均称为容许控制容许控制。通常情况下，最优控制问题的通常情况下，最优控制问题的性能指标性能指标为为fttffdtttUtXfttXJ0),(),(),(式中，第一项是接近目标集程度，即末态控制精度的度量，式中，第一项是接近目标集程度，即末态控制精度的度量，称

19、为称为末值型性能指标；末值型性能指标；第二项称为第二项称为积分型性能指标积分型性能指标，它反映，它反映控制过程偏差在某种意义下的平均或控制过程的快速性，同控制过程偏差在某种意义下的平均或控制过程的快速性，同时反映燃料或能量的消耗。时反映燃料或能量的消耗。五、最优控制问题的提法五、最优控制问题的提法已知受控系统的状态方程及初始状态已知受控系统的状态方程及初始状态 规定目标集为规定目标集为M，求容许控制，求容许控制U(t) ，t t0, tf，使系统，使系统从给定初始状态从给定初始状态X(t0)出发，在出发，在tf t0时刻转移到目标集时刻转移到目标集M，并，并使性能指标使性能指标为最小为最小,

20、,这就是这就是最优控制问题最优控制问题。 如果问题有解，记为如果问题有解，记为U*( t )，t t0, tf，则，则U*( t )叫做最叫做最优控制（极值控制），相应的轨线优控制（极值控制），相应的轨线X*( t )称为最优轨线（极值称为最优轨线（极值轨线），性能指标轨线），性能指标J*=JU*( )称为最优性能指标。称为最优性能指标。)0()(),(),()(0XtXttUtXFtXfttffdtttUtXfttXJ0),(),(),(1.4 最优控制问题的分类最优控制问题的分类一、根据性能指标数学形式分类一、根据性能指标数学形式分类 设计最优控制系统时，很重要的一个问题是选择性能指标，设

21、计最优控制系统时，很重要的一个问题是选择性能指标，性能指标按其数学形式可分为三类：性能指标按其数学形式可分为三类：1 1 积分型性能指标积分型性能指标 这样的最优控制问题称为拉格朗日（这样的最优控制问题称为拉格朗日（Lagrange）问题。）问题。2 2 终端型性能指标终端型性能指标 这种性能指标只是对系统在动态过程结束时的终端状态这种性能指标只是对系统在动态过程结束时的终端状态提出了要求，而对整个动态过程中系统的状态和控制的演变提出了要求，而对整个动态过程中系统的状态和控制的演变没作要求，这样的最优控制问题称为迈耶尔（没作要求，这样的最优控制问题称为迈耶尔（Mayer）问题。）问题。3 3

22、复合型性能指标复合型性能指标 这样的最优控制问题称为波尔扎（这样的最优控制问题称为波尔扎（Bolza）问题）问题。fttffdtttUtXfttXJ0),(),(),(fttdtttUtXfJ0),(),(),(ffttXJ二、根据状态方程的不同形式分类二、根据状态方程的不同形式分类1 1 连续最优控制问题连续最优控制问题状态方程是由状态方程是由微分方程组微分方程组描述的连续时间系统。描述的连续时间系统。2 2 离散最优控制问题离散最优控制问题状态方程是由状态方程是由差分方程组差分方程组描述的离散时间系统。描述的离散时间系统。三、根据最优控制的不同形式分类三、根据最优控制的不同形式分类1 1

23、开环最优控制问题开环最优控制问题 开环最优控制不依赖于系统的状态向量开环最优控制不依赖于系统的状态向量, ,只取决于系只取决于系统的初始状态统的初始状态, ,通常为通常为U*(t)=UX(t0,t)的形式。的形式。2 2 闭环最优控制问题闭环最优控制问题 闭环最优控制依赖于系统的状态向量的反馈，通常为闭环最优控制依赖于系统的状态向量的反馈，通常为U*(t)=UX(t0,t)的形式。的形式。四、根据终端条件的不同形式分类四、根据终端条件的不同形式分类1 1 终端时间终端时间tf固定的最优控制问题固定的最优控制问题（1 1）终端状态）终端状态X( tf )固定；（固定；（2 2）终端状态）终端状态

24、X( tf )自由；自由；（3）终端状态终端状态X( tf )受约束；受约束；2 2 终端时间终端时间tf自由的自由的最优控制问题最优控制问题（1 1）终端状态）终端状态X( tf )固定；（固定；（2 2）终端状态）终端状态X( tf )自由；自由；（3）终端状态终端状态X( tf )受约束；受约束；五、根据被控对象的不同形式分类五、根据被控对象的不同形式分类1 1 精确最优控制问题精确最优控制问题 被控对象是确定性系统，即被控对象采用参数确定的被控对象是确定性系统，即被控对象采用参数确定的数学模型。数学模型。2 2 随机最优控制问题随机最优控制问题 被控对象是随机系统，即被控对象中存在随机

25、变量。被控对象是随机系统，即被控对象中存在随机变量。六、根据控制系统用途分类六、根据控制系统用途分类控制系统用途不同，所选择的性能指标不同，常见的有控制系统用途不同，所选择的性能指标不同，常见的有: : 1 最小时间控制最小时间控制2 最小燃料控制最小燃料控制3 最小能量控制最小能量控制 设控制量设控制量U( t )与燃料消耗量成正比，最小燃料消耗问题与燃料消耗量成正比，最小燃料消耗问题的性能指标为：的性能指标为： 设标量控制函数设标量控制函数u ( t )的平方的平方与所消耗的功率成正比，则与所消耗的功率成正比，则最小能量控制问题的性能指标为：最小能量控制问题的性能指标为：ffttttdtt

26、UdtttUtXfJ00)(),(),(0001),(),(ttdtdtttUtXfJfttttffffttttdttudtttUtXfJ00)(),(),(24 线性状态调节器线性状态调节器 给定线性系统，其平衡状态给定线性系统，其平衡状态X( 0 )=0，设计目的是保，设计目的是保持系统处于平衡状态，即这个系统状态持系统处于平衡状态，即这个系统状态X( t )应能从任何应能从任何初始状态返回平衡状态，同时使二次型的性能指标达到初始状态返回平衡状态，同时使二次型的性能指标达到最优，这种系统称为最优，这种系统称为线性状态调节器线性状态调节器。(1) 线性状态调节器的性能指标线性状态调节器的性能

27、指标(2) 加权后的线性状态调节器的性能指标加权后的线性状态调节器的性能指标fttTdttXtXJ0)()(21式中，式中，Q为为加权矩阵。加权矩阵。fttTdttQXtXJ0)()(21(3) 对对U( t )有约束的线性状态调节器的性能指标有约束的线性状态调节器的性能指标式中，式中， Q 0，R 0 ，Q和和R均为均为正定加权矩阵。正定加权矩阵。(4) 有限时间线性状态调节器的性能指标有限时间线性状态调节器的性能指标(5) 无限时间线性状态调节器的性能指标无限时间线性状态调节器的性能指标fttTTdttRUtUtQXtXJ0)()()()(21fttTTffTdttRUtUtQXtXtPXtXJ0)()()()(21)()(210)()()()(21tTTdttRUtUtQXtXJ式中，式中，P 0，Q 0，R 0，均为对称加权矩阵。