最优控制理论及应用课件

最优控制理论及应用主讲：董洁dongjie@2013年11月最优控制理论及应用主讲：董洁1符曦.系统最优化及控制.北京：机械工业出版社2解学书.最优控制理论及应用.北京：清华大学出版社3秦寿康.最优控制.北京：电子工业出版社4邢继祥等.最优控制应用基础.北京：科学出版社5王朝珠，秦化淑.最优控制理论.北京：科学出版社，20036张洪钺，王青.最优控制理论与应用.北京：高等教育出版社，20067胡寿松等.最优控制理论与系统.北京：科学出版社，2007参考教材1符曦.系统最优化及控制.北京：机械工业出版社参考教材最优控制理论的发展1最优化问题的分类2最优化问题的解法3最优控制问题4本课程主要内容5第一章绪论最优控制理论的发展1最优化问题的分类2最优化问题的解法3最优第三阶段鲁棒控制理论阶段1.由于现代数学的发展，结合着H2和H

等范数而出现了H2和H

控制，还有逆系统控制等方法。2.20世纪70年代末，控制理论向着“大系统理论”、“智能控制理论”和“复杂系统理论”的方向发展：控制理论的产生和发展第一阶段经典控制理论第二阶段现代控制理论第三阶段鲁棒控制理论阶段1.由于现代数学的发展，结合大系统理论：用控制和信息的观点，研究各种大系统的结构方案、总体设计中的分解方法和协调等问题的技术基础理论。复杂大系统控制大系统理论：用控制和信息的观点，研究各种大系统的结构方案、总智能控制理论：研究与模拟人类智能活动及其控制与信息传递过程的规律，研制具有某些拟人智能的工程控制与信息处理系统的理论。洗衣机智能模糊控制机器人神经网络控制智能控制理论：研究与模拟人类智能活动及其控制与信息传递过程的复杂系统理论：把系统的研究拓广到开放复杂巨系统的范筹，以解决复杂系统的控制为目标。控制理论的发展过程反映了人类由机械化时代进入电气化时代，并走向自动化、信息化、智能化时代。复杂航天器控制复杂系统理论：把系统的研究拓广到开放复杂巨系统的范筹，以解决最优控制属于现代控制技术的核心内容，是现代控制理论的一个研究热点和中心话题。现代控制理论：以多变量系统控制、最优控制、系统辩识为主要内容，最优控制发展早。20世纪60年代，现代控制理论才得以迅速发展。我国著名学者：钱学森1954年编著的《工程控制论》直接促进了最优控制理论的发展和形成。1最优控制理论的发展最优控制属于现代控制技术的核心内容，是现代控制理论的一个研究现代控制理论是研究系统状态的控制和观测的理论，主要包括5个方面：线性系统理论最优控制系统辨识最佳滤波（卡尔曼滤波）自适应控制现代控制理论是研究系统状态的控制和观测的理论，主要包括线性系统理论研究线性系统在输入作用下状态运动过程规律，揭示系统的结构性质、动态行为之间的关系。主要内容：状态空间描述、能控性、能观性和稳定性、状态反馈、状态观测器设计等。线性系统理论最优控制在给定约束条件和性能指标下，寻找使系统性能指标最佳的控制规律。主要方法：变分法、极大值原理、动态规划等极大值原理现代控制理论的核心即：使系统的性能指标达到最优（最小或最大）某一性能指标最优：如时间最短或燃料消耗最小等。最优控制自适应控制在控制系统中，控制器能自动适应内外部参数、外部环境变化，自动调整控制作用，使系统达到一定意义下的最优。a.模型参考自适应控制（ModelReferenceAdaptiveControl)b.自校正自适应控制（Self-TurningAdaptiveControl)自适应控制系统辨识建立系统动态模型的方法：根据系统的输入输出的试验数据，从一类给定的模型中确定一个与被研究系统本质特征等价的模型，并确定其模型的结构和参数。最佳滤波理论（最佳估计器）当系统中存在随机干扰和环境噪声时，其综合必须应用概率和统计方法进行。即：已知系统数学模型，通过输入输出数据的测量，利用统计方法对系统状态估计。Kalman滤波器系统辨识控制理论必须回答的三个问题：（1）系统能否被控制？可控性有多大？（2）如何克服系统结构的不确定性及干扰带来的影响？（3）如何实现满足要求的控制策略？控制理论必须回答的三个问题：现代控制理论与经典控制理论的差异易于实现实时控制和最优控制频率法的物理意义直观、实用，难于实现最优控制其它状态反馈和输出反馈PID控制和校正网络设计方法复域、实域，可控和可观测频域(复域),频率响应和根轨迹法分析方法线性代数矩阵拉普拉斯变换研究工具状态空间法(内部描述)传递函数法(外部描述)研究方法多输入多输出系统(MIMO)一阶微分方程单输入单输出系统(SISO)高阶微分方程研究对象现代控制理论经典控制理论现代控制理论与经典控制理论的差异易于实现实时控制和最优频率法现代控制理论的应用比起经典控制理论,现代控制理论考虑问题更全面、更复杂,主要表现在考虑系统内部之间的耦合,系统外部的干扰,但符合从简单到复杂的规律。现代控制理论已经应用在工业、农业、交通运输及国防建设等各个领域。现代控制理论的应用比起经典控制理论,现代控制理论考虑问题更全导弹稳定控制空空导弹稳定控制地空导弹稳定控制导弹稳定控制空空导弹稳定控制地空导弹稳定控制航天器控制月球车控制卫星控制航天器控制月球车控制卫星控制机器人控制空间机器人控制足球机器人控制机器人控制空间机器人控制足球机器人控制一些常用概念开环与闭环;调节问题，跟踪问题，随动系统;自治系统，非自治系统;状态反馈，输出反馈;一些常用概念开环与闭环;世界上对控制理论发展有特殊贡献的学者：美国著名学者：贝尔曼（R.E.Bellman）：动态规划1953-1957原苏联著名学者：庞特里亚金：极小值原理1956-1958之后控制论得以迅速发展，发展和促进了许多新的理论学科。最优化技术要解决的主要问题：研究和解决如何从一切可能的方案中寻找最优方案，其中包括以下任务1）根据所提出的最优化问题，建立最优化问题数学模型。确定变量，列出约束条件，确定目标函数（性能指标）2）模型分析，选择合适的最优化求解方法。3）根据选定的最优化算法，编程，求解。世界上对控制理论发展有特殊贡献的学者：美国著名学者：贝尔曼（最优化的基本问题：就是寻找一个最优的控制方案或控制规律，使所研究的对象（或系统）能最优地达到预期的目标。例如：1)温度控制系统，如果出现干扰而产生偏差，用什么方法最快消除偏差而使系统恢复到原来的平衡状态。2)雷达高炮随动系统,当发现敌机后,如何以最快速度跟踪目标而将敌机击落？3)电梯控制，如何以最快速度平稳到达地面。以上都涉及到：依据各种不同的研究对象以及人们预期达到的目的，寻求一个最优控制规律u(t)的问题。最优化的基本问题：例如：1)温度控制系统，如果出现干扰而产生拦截导弹最短时间控制拦截导弹最短时间控制导弹最小燃料控制导弹最小燃料控制航天飞机最小能量控制航天飞机最小能量控制弹道导弹的弹道跟踪控制弹道导弹的弹道跟踪控制卫星的指向和稳定控制卫星的指向和稳定控制磁悬浮列车的控制:上海两个机场之间磁悬浮列车的控制:上海两个机场之间最优控制的历史和人物三个经典问题：等周问题，最速降线问题，测地线(短程线)问题——催生了变分法二十世纪五十年代空间技术和航空技术——推动产生了极大值原理，动态规划最优控制的历史和人物三个经典问题：等周问题，最速降线问题，测欧拉拉格朗日庞特里亚金贝尔曼欧拉拉格朗日庞特里亚金贝尔曼最优化与最优控制理论发展的一个概括表示最优化与最优控制理论发展的一个概括表示最优控制问题的发展过程古典法50年代以前，自动控制系统设计有两种方法解析法这两种方法都是以传递函数为数学模型，来表征系统特征。在s域或z域内用经典控制论进行设计，对简单的线性调节系统，方法有效。R（S）U（S）C（S）—最优控制问题的发展过程这两种方法都是以传递函数为数学模型，来1）古典法：（工程试凑法）根据对象G（S），确定控制器GC（S），使系统满足各项性能指标，如：超调量，上升时间，增益裕度，相位裕度。特点：系统的控制结构是确定的，控制参数设计一般采用试凑方法，系统设计不是最优的，所得结果不是唯一解。改进：解析法，力求使设计的系统按一定指标要求来达到最优，从这个意义上讲，解析法比古典法更前进一步。2）解析法：核心：目标函数为最小。设计目标：求相应得目标函数，使误差的平方积分值Je为小。1）古典法：（工程试凑法）2）解析法：局限性：系统设计仅限于单变量系统，线性定常系统为控制对象，设计目标仅局限于使误差最小。50年代中期，随着最优控制在航空航天领域中的应用，使局限性有了突破——最优控制论设计系统。1）用状态空间法研究线性控制系统，提出了可控可观的概念。注意：若系统是不可控的，则最优控制问题的解不存在2）动态规划法和最优化原理3）极大值原理局限性：系统设计仅限于单变量系统，线性定常系统为控制对象，设总结：最优控制是现代控制理论的核心，其主要内容是：在满足一定的约束条件下，根据控制系统的数学模型，寻求最优控制，使目标函数为极大或极小。用最优控制设计系统与传统解析法相比，特点如下：1）适用于多变量，非线性，时变系统的设计2）初始条件可任意3）可以满足多个目标函数的要求，并可用于多个约束的情况4）便于计算机求解总结：最优控制是现代控制理论的核心，其主要内容是：在满足一定先期工作1948年，维纳（N.Wiener）发表《控制论》，引进了信息、反馈和控制等重要概念，奠定了控制论（Cybernetics）的基础，并提出了相对于某一性能指标进行最优设计的概念。1954年，钱学森编著《工程控制论》，系统地揭示了控制论对自动化、航空、航天、电子通信等科学技术的意义和重大影响。

其中“最优开关曲线”等素材，直接促进了最优控制理论的形成和发展。最优控制的发展简史先期工作最优控制的发展简史《工程控制论》

EngineeringCybernetics序言（钱学森）建立这门技术科学，能赋予人们更宽阔、更缜密的眼光去观察老问题，为解决新问题开辟意想不到的新前景。《工程控制论》

EngineeringCybernetic1953~1957年，贝尔曼（R.E.Bellman）创立“动态规划”原理。

为了解决多阶段决策过程逐步创立的，依据最优化原理，用一组基本的递推关系式使过程连续地最优转移。“动态规划”对于研究最优控制理论的重要性，表现于可得出离散时间系统的理论结果和迭代算法。1956~1958年，庞特里亚金创立“最大值原理”。

它是最优控制理论的主要组成部分和该理论发展史上的一个里程碑。对于“最大值原理”，由于放宽了有关条件，使得许多古典变分法和动态规划方法无法解决的工程技术问题得到解决，所以它是解决最优控制问题的一种最普遍的有效的方法。同时，庞特里亚金在《最优过程的数学理论》著作中已经把最优控制理论初步形成了一个完整的体系。此外，构成最优控制理论及现代最优化技术理论基础的代表性工作，还有不等式约束条件下的非线性最优必要条件(库恩—图克定理)以及卡尔曼的关于随机控制系统最优滤波器等。理论形成阶段1953~1957年，贝尔曼（R.E.Bellman）创立“最优化（optimization）技术是研究和解决最优化问题的一门学科，它研究和解决如何从一切可能的方案中寻找最优的方案。也就是说，最优化技术是研究和解决如下两个问题：（1）如何将最优化问题表示为数学模型（2）如何根据数学模型（尽快）求出其最优解最优控制（optimalcontrol）是控制理论中的优化技术。寻找在某种性能指标要求下最好的控制。最优化（optimization）技术是研究和解决最优化问题现有产品A、B,每种产品各有两道工序，分别由两台机器完成，其所需工时如下表所示，且每台机器每周最多只能工作40小时。若产品A的单价为200元，产品B的单价为500元，应如何安排生产计划，即A、B各应生产多少可使总产值最高。解：设该车间每周应生产产品A、B的件数分别为X1、X2,由于每台机器工作时间有限制，则有约束条件：在这些约束条件下选择X1、X2,使总产值达到最大。例1生产计划安排问题现有产品A、B,每种产品各有两道工序，分别由两台机器完成，其设有一盛放液体的连续搅拌槽，如下图所示。槽内装有不停地转动着的搅拌器J，使液体经常处于完全混合状态。槽中原放0℃的液体，现需将其温度经1小时后升高到40℃。为此在入口处送进一定量的液体，其温度为u(t)，出口处流出等量的液体，以便保持槽内液面恒定。试寻找u(t)的变化规律，使槽中液体温度经1小时后上升到40℃，并要求散失的热量最小。解：因假定槽中液体处于完全混合状态，故可用x(t)表示其温度，x(0)=0，x(1)=40。由热力学可知，槽中液体温度的变化率与温差[u(t)-x(t)]成正比，为简便计，令比例系数为1，于是有在1小时内散失掉的热量可用下式表示：其中q和r都是正的常数。因此在目前情况下，最

优控制问题是：找u(t)的变化规律．使槽中液体

经1小时后从0℃上升到40℃，并要求散失的热

量最小，即方程(4）中J(u)取最小值。例2搅拌槽的温度控制设有一盛放液体的连续搅拌槽，如下图所示。槽内装有不停地转动着2最优化问题的分类1）无约束与有约束的最优化问题若系统控制变量的取值范围不受限制，则为无约束的最优化问题，反之为有约束的最优化问题。实际系统大多为有约束的最优化问题等式约束不等式约束约束条件2最优化问题的分类1）无约束与有约束的最优化问题等式约束约束例如，某公司要在规定的时间内对其产品的生产做一个计划，那么它必须根据库存量、市场对该产品的需求量以及生产率来考虑，使产品的生产成本最低。那么这个问题就是一个经济学的最优控制问题。设T是一个固定时间，x(t)表示在时刻t(0≤t≤T)时的产品存货量，r(t)表示在t时刻对产品的需求率。这里假定r(t)是一个定义在时间t上的已知连续函数，u(t)表示在时刻t的生产率，函数u(t)由生产计划人员来选取，它就是生产计划或者叫做控制。取u(t)为分段连续函数，则存货量由微分方程确定，其中x0是原来的库存量。例如，某公司要在规定的时间内对其产品的生产做一个计划，那么它设该产品在单位时间内的生产成本是生产率的函数，即单位时间的生产成本是h[u(t)]，b＞0是单位时间贮藏单位商品的费用。于是，在时刻t的该公司生产这个产品的单位时间的成本是：因此，在规定时间T内生产该产品的总成本为对于生产计划人员来说，就是要选取一个控制u(t)使得总成本J(u)达到极小值。如果对于x(t)，r(t)和u(t)不加任何的限制，那么这就是一个无约束的最优化问题。设该产品在单位时间内的生产成本是生产率的函数，即单位时但从x(t)的实际意义来看，公司的库存量不可能是无限的，要受一定条件的限制：0≤x(t)≤A，A为公司最大库存量生产计划u(t)是公司的生产率，要受公司生产设备的限制：0≤u(t)≤B，B为公司最大生产率产品的需求率r(t)，也不可能是无限的，也要受一定的限制：0≤r(t)≤C，C为产品的最大需求率如果在做计划时考虑这些条件的限制，那么这个问题就是一个在不等式约束条件下的最优化问题。但从x(t)的实际意义来看，公司的库存量不可能是无限的，要受2）确定性和随机性最优化问题确定性：每个变量的取值是确定的，可知的。随机性：某些变量的取值是不确定的，但可根据大量的数据统计，知道变量服从一定的概率分布。3）线性和非线性的最优化问题线性：目标函数和所有的约束条件式均为线性（即它们是变量的线性函数）称为线性最优化。非线性：目标函数或约束式中有一个是变量的非线性函数，称为非线性最优化。2）确定性和随机性最优化问题确定性：每个变量的取值是确定的，静态最优化——最优化问题的解不随时间变化，通常又称为参数最优化问题。即：最优控制变量与时间t没关系或说在所研究的时间区域内为常数。目标函数：多元的普通函数。最优解：古典微分法对普通函数求极值方法完成。4）静态最优化和动态最优化静态最优化——最优化问题的解不随时间变化，4）静态最动态最优化——最优化问题的解随时间变化特点：受控对象：动态系统所有变量：时间的函数最优解：古典变分法求泛函的极值问题a.最优控制问题的变分法（第二章）b.最小值原理及应用（第三章）c.线性二次型最优控制问题（第五章）d.动态规划及应用（第四章）动态最优化——最优化问题的解随时间变化a.5）网络最优化问题如果最优化问题的模型可以用网络图表示，则在网络图上寻优称为网络最优化问题。网络最优化问题是一种复杂系统的规划方法，在运输、通信、电路、计算机网络以及工程施工的分析、设计、规划中得到非常广泛的应用。5）网络最优化问题3最优化问题的解法1）间接法（解析法）对于目标函数及约束条件具有简单而明确的数学解析表达式的最优化问题，通常可采用间接法（解析法）来解决。其求解方法是先按照函数极值的必要条件，用数学分析方法（求导数方法或变分方法）求出其解析解，然后按照充分条件或问题的实际物理意义间接地确定最优解。无约束条件有约束条件经典微分法经典变分法极大值原理库恩-图克定理解析法（间接法）3最优化问题的解法1）间接法（解析法）2）直接法（数值解法）对于目标函数较为复杂或无明确的数学表达式或无法用解析法求解的最优化问题，通常可采用直接法（数值解法）来解决。基本思想，就是用直接搜索方法经过一系列的迭代以产生点的序列（简称点列），使之逐步接近到最优点。直接法常常是根据经验或试验而得到的。2）直接法（数值解法）区间消去法（一维搜索）爬山法（多维搜索）黄金分割法（0.618法）函数逼近法（插值法）菲波纳奇（Fibonacci）法变量轮换法步长加速法方向加速法单纯形法随机搜索法数值解法（直接法)区间消去法爬山法黄金分割法（0.618法）函数逼近法（插值法3）以解析法为基础的数值解法。解析与数值计算相结合的方法——梯度法在求解最优化问题时，不仅要计算目标函数的值，而且还要计算目标函数的一阶或高阶导数，求出目标函数的梯度并以梯度的方向作为搜索极值的方向，这种方法适合于多变量最优化问题的求解。以梯度法为基础的数值解法主要有最速下降法、牛顿法与拟牛顿法、牛顿-高斯最小二乘法、变尺度法以及共轭梯度法。3）以解析法为基础的数值解法。解析与数值计算相结合的方法——5）现代优化算法运用现代智能计算方法，如遗传算法、模拟退火算法、蚁群算法、粒子群算法等，进行直接搜索的最优化求解方法，主要解决大规模复杂优化问题中的NP-hard问题。4）网络最优化方法。以网络图作为数学模型，用图论方法进行搜索的寻优方法。5）现代优化算法4）网络最优化方法。以网络图作为数学模型，用4最优控制问题最优控制问题的实质，就是求解给定条件下给定系统的控制规律，致使系统在规定的性能指标(目标函数)下具有最优值。4最优控制问题最优控制问题的实质，就是求解给定条件下给定系统建立数学模型是求解最优控制问题的第一步确定变量（输入变量，输出变量，控制变量）列出约束条件建立目标函数数学模型表征了受控动态系统在运动过程中所遵循的物理或化学规律。1）最优控制问题的数学模型建模过程包括建立数学模型是求解最优控制问题的第一步确定变量（输入变量，输状态变量控制变量通常又表征为（线性系统）线性时变系统线性时不变系统A(t)，B(t)：时变矩阵A，B：定常矩阵（1）数学模型的表征：状态方程状态变量控制变量通常又表征（2）有关数学模型中变量的边界条件，即系统的初态和终态，即确定：，。一个动态过程，归根到底，是状态空间中的状态由初态转移到的过程目标函数(性能指标，性能泛函，目标泛函)：是衡量“控制作用”效果的性能指标。为了实现动态过程中状态从可以通过不同的控制来完成，控制效果的好坏，可通过能否达到所规定的目标函数来判别。目标函数对不同的问题，有不同的表征：如：时间最短，燃料最少，成本最低等。（2）有关数学模型中变量的边界条件，即系统的初态和终态，即确（3）容许控制实际系统，都有规定的取值范围，它对应于m维控制空间中的某一个集合，的每一个取值对应于中的一个元素容许控制即u(t)受约束极小值原理求解可任意取值经典变分法求解。（3）容许控制实际系统，都有规定的取值范围，它对有不同的控制作用可以完成。为了评价各种控制作用的优劣，需用性能指标评价。性能指标中的形式取决于最优控制问题要完成的任务，不同的最优控制问题。不同的性能指标，采用不同的控制作用，性能指标J不同。J是控制u(t)的函数，通常表示为：（4）性能指标有不同的控制作用可以完成。为了评价各种控制作用的优劣，需用性(1)积分型性能指标(拉格朗日型)(2)末值型性能指标（梅耶型）(3)综合性能指标（鲍尔扎型）特殊情况，二次型性能指标的几种形式(1)积分型性能指标(2)末值型性能指标(3)综合性能指标特容易看出，拉格朗日问题和梅耶问题可以看成鲍尔扎问题的一种特例，鲍尔扎问题是最一般形式的变分问题。可以证明，上述3个问题可以互相转换。比如，若令假定初值ψ(x(t0),t0)恒定不变，则鲍尔扎问题就可以化为一个等价的拉格朗日问题。若引进一个新的变量x0(t)，使令则又可把鲍尔扎问题化为一个等价的梅耶问题。容易看出，拉格朗日问题和梅耶问题可以看成鲍尔扎问题的一种特例总结：用以下4个方程来描述(1)给定系统的状态方程(3)给定性能指标(2)状态方程的边界条件(4)容许控制u(t)确定一个最优控制u*(t)，使系统从初始状态x(t0)，转移到终端状态x(tf)，并使性能指标J[u]具有极大（极小）值。总结：用以下4个方程来描述(1)给定系统的状态方程(3)给定2）最优控制问题的提法数学描述（1）给定系统状态方程：或式中：为n维状态向量；：m维控制向量()为n维状态向量函数，且对连续可微2）最优控制问题的提法数学描述（1）给定系统状态方容许控制u(t)在m维的有界闭集Ω中取值，即：（2）给定初始条件：（3）明确终端条件：x(t)满足目标集：S：P×1维向量函数（4）给定性能指标：容许控制u(t)在m维的有界闭集Ω中取值，即：（2）给定初始问题提出：确定一个最优控制，使系统从初始状态转移到终端状态，并使性能指标J[u]为极大（小)值，此时，称为最优控制作用，记为。代入所得为最优状态轨线。J为最优性能指标。例题分析：[数学描述]登月火箭到达月球表面时的软着陆问题：火箭飞行的最后阶段，进入了月球的引力范围，当火箭垂直自由降落到距离月球表面为h的地方时，要求火箭速度为0，并且燃料消耗为最小。问题提出：确定一个最优控制，使系统从初始状态mgt=t火箭F(制动力)月球表面分析：在火箭速度降为0之前，制动力与燃料消耗成正比其中：k：常数，m：火箭（包括燃料）的质量火箭从开始减速，到时速度为0，mgt=t火箭F(制动力)月球表面分析：在火箭速度降为0之前即x:垂直距离过程运动方程为：mg：月球引力边界条件：时：时：自由，自由约束条件：燃料消耗率约束：燃料消耗有限制，不能太多即过程运动方程为：mg：月球引力边界条件：时：时：问题提出：确定，即确定系统的制动力规律，使火箭制动阶段燃料消耗最少最优控制问题数学描述：首先选一组状态变量，将微分方程化为状态方程，并确定相应的初始状态和末端状态.由：问题提出：确定，即确定系统的制动力规律令：则：u目标函数：令：则：u目标函数：求取最优控制u*(t)，使得受控系统由初始状态转移到末端状态，所消耗的燃料最小，即J最小。注意：1）J是u的函数2）有约束，是容许控制最优控制问题的提法很多，实例很多，不再讲述，不论什么样的问题，其分析思路都是一样的，给出问题的描述方法也是相同的。根据系统初态，末端的不同，最优控制有以下特例。求取最优控制u*(t)，使得受控系统由初始状态转移到末端注意3）最优控制的几个特例1)终端状态给定固定端点的最优控制问题2)终端状态自由，可任意取值自由端点的最优控制问题1）终端时刻已知固定端点时间的最优控制问题2）终端时刻未知自由端点时间的最优控制问题以后将分别进行讨论。(1)给定(2)若初始时刻t0已知3）最优控制的几个特例1)终端状态给定4）动态最优控制系统的结构形式开环闭环（1）开环：控制器对象Xdu*(t)x(