最优控制极大值原理

第三章极小值原理及应用经典变分法缺陷：1、应用前提：a、控制量u(t)的取值不受任何限制，没有任何不等式约束。b、f、L、等函数对其自变量有充分可微性。2、实际控制要求：a、控制量u受不等式约束，如：，i=1,2,3……b、性能指标有时并不完全可微1编辑ppt如：燃料最优控制：若采用经典变分：2编辑ppt若采用经典变分法：不再适用，求不出解来实际应为极小值原理若在容许控制范围内，J或H有极值且唯一，用极小值原理与经典变分法，所得结论一致。3编辑ppt一、<定理>极小值原理：[时变系统]时变受控系统，其中控制向量，为容许控制域，U(t)是在内取值的任何分段连续函数，为使状态向量由初始转移到末端，满足约束：，未定，并使性能指标达到极小值。设和是如上J为最小的最优解，为最优状态轨为0的n维向量，满足:1、规范方程：2、边界条件：线，则必存在不4编辑ppt3、与对应的哈密顿函数H取极小值。即:设为满足状态方程和协状态方程的最优解。在中。把H仅看作U的函数，若J为最小，必要条使得仅看作U的函数时也取最小值。极小值原理的证明：应用数学基础较多，有些书中用很大篇幅进行二、极小值原理的意义：1、容许控制条件放宽变分法：在整个控制域，对U没有约束有时计算不易。极小值原理：H在U的约束闭集中取极小值。变分法仅为极小值原理的一个特例。件为证明，省略。且即使U不受限制，5编辑ppt2、最优控制使哈密顿函数H取极小值，极小值原理由此得名。这一原理是苏联学者“庞特里亚金”等人首先提出，而后加以证明得。在证明过程中：与H得符号与这里所定义的相反。∴所以有的文献中也称为“极大值原理”。3、H对u没有可微要求，因此应用拓宽。4、极小值原来是求取最优控制的必要条件，非充分条件。即：满足极小值原理不一定J取极小值,需进一步判断。一般:对于实际系统有最优解有唯一解最优解6编辑ppt三、几种边界条件得讨论：上面所讨论的是和已知。受约束，自由的最一般情况。若和末端状态不同，只需改变极小值原理的边界条件即可。1）已知，边界条件为：2)给定，自由，未给定，边界条件：确定3)已知，给定,末端受约束边界条件为:若自由:外加:7编辑ppt四、例题分析:设一阶系统状态方程：

x(0)=5

控制约束:

试求使性能指标:为极小值的最优控制及最优性能指标解:定常系统,固定,末端自由问题根据极小值原理,使H绝对极小相当于使J为极小所以由协状态方程:8编辑ppt由横截条件:显然:当时，产生切换所以9编辑ppt由x(0)=5代入,得所以令t=0.307可得0.307≤t≤1时x(t)的初始条件:解得所以将代入J可得:10编辑ppt例2:求

a)对U没有约束

b)|u|解:a)011编辑ppt解得:b)|u|由极小值原理:当t=1时在[0,1]区间所以12编辑ppt五、极小值原理中哈密顿函数H的性质讨论用途：对于所求解的最优控制的验证，或帮助求解最优控制及1、线性定常系统：固定，包括(与末端状态无关)则:常数。

{H中不显函t}自由，沿最优控制轨线：（与末端状态无关）因为中不显函t所以常数又因为自由,13编辑ppt2、对于时变系统：固定:

自由:，末端若末端自由:证明：见胡寿松P91页14编辑ppt第四节最小值原理在实际中的应用几个典型例子：1.时间最优控制问题2.最小燃料消耗问题3.最小能量控制问题4.线性调节问题介绍重点：时间最优控制问题（其他求解思想与此类似）15编辑ppt一、时间最优控制问题

所谓时间最优控制，就是把系统从初始状态转移到目标状态的时间作为性能指标，即使转移时间为最短。这也是发展得最早的最优控制问题之一。16编辑ppt1、问题提出（时变系统）

已知受控系统并设f

和B对X(t)和t连续可微。

X：n×1状态向量

u：r×1控制向量

f：n×1函数向量

B：n×r函数值矩阵控制向量约束条件:末端状态：g：p×1维函数向量目标函数：:自由问题：寻求最优控制u*(t)，使系统由初态到终态，目标函数J为最小17编辑ppt应用最小值原理进行问题的求解步骤：⑴列写哈密顿函数⑵由控制方程求u*(t)∵u有约束，∴H在u*上取得极小值，即：令q:r×1维向量函数

[注：]18编辑ppt则有：

j

=1，2…r最优控制u*(t)是使为极小，则：

不定可见：当时，有确定值，正常情况当时，不定，奇异情况＋１－１t+1-1u*(t)奇异19编辑ppt我们仅研究正常情况u*(t)写成符号函数sgn{

}形式则j

=1，2…r向量形式：u*(t)=-sgn{q*(t)}

=-sgn{}⑶根据规范方程：及初始条件和横截条件：可求得x*(t)及20编辑ppt⑷求最优控制u*(t)

→砰一砰控制2、砰一砰控制定理：要求控制量始终为最大或最小设u*(t)是上述问题提出的解，x*(t),是相应的状态轨线和协状态轨线。若问题正常(非奇异)，则

这是一个继电器控制方式，称为砰一砰控制21编辑ppt3、线性定常系统的最小时间控制问题的解法：⑴如何确定最优控制u*(t)设线性定常系统的状态方程为：

其中，X：n×1维状态向量u：控制变量

A，B分别为n×n，n×1矩阵约束条件：末端条件：求，使系统状态从转移到所用时间最短，即使为最小22编辑ppt⑵问题的求解①首先列写哈密顿函数：②根据极小值原理分析可得：③有规范方程：注：为标量函数，题意要求23编辑ppt代入得：可见，的值完全由的符号决定但是，的确定是不容易的。因为它还和系统的状态变量有关系。通常采用的方法是：先设一个，求出，求出，判定若为０，则即为所求；否则修正重复上述过程24编辑ppt⑶开关次数定理：设线性系统是正常的（不存在非奇异问题），若矩阵A的特征值均为实数，假定时间最优控制存在，并令其为则u*(t)的切换次数最多不超过（n-1）次，n为系统的维数。以下将根据极小值定理，开关次数定理及相平于状态空间分析，求u*例题分析1：时间最优控制问题求u*(t)25编辑ppt解：对象为二阶线性系统[双积分模型的时间最优控制]（应用最普通最广泛的一种）由规范方程：则26编辑ppt由C1，C2的取值要求：保证由开关次数定理知：切换一次，设切换时间为ts，则令为了求出ts，必须首先找出状态在平面上的转移轨线。tstf27编辑ppt由设u=1，则则：如图(a)所示，为一组抛物线，当K=0时经过原点[pos]其中tsp0X228编辑ppt若u=-1，则为一组抛物线，如图(b)，当K1=0时过原点[NOT]X1X2u=-1NTo29编辑ppt显然：若初始状态在NO或在PO上，可进一步转移到目标原点，称NOP为开关曲线由题意假设它落在u=-1相应抛物线组中的一条上，即AQB，这时在u=-1的作用下，状态由沿AQB转移到B，进行切换，B位于PO上，一步可到达原点。NX2opX1Bu=+1u=-1A[1,1]30编辑ppt因此，问题的解为:①先以u=-1控制到达Po曲线上的B点②以u=+1沿开关曲线Po到达原点从初始状态到达末端状态的轨迹为AQBO，即u*=

进而，可求出转移时间ts及最优时间把状态轨线控制序列分成若干段，逐步算出所需时间，最后相加。求及ts在AQB段,u=-1,切换次数为1-1,+1到达B点：t=ts,31编辑pptBO段：u=+1，当时，，则在B点应有：联立求解：即：32编辑ppt例题分析2：二阶积分系统的最小时间控制系统最小时间控制问题：求u*(t),使系统由初态转移到末端状态的时间为最小，且满足解：⑴列写哈密顿函数：⑵求解协状态方程设，则：33编辑ppt⑶确定控制序列：显然，由⑵知，为一条直线，其形式有可能为4种因此，u相应的控制序列为：{-1}，{+1，-1}，{-1，+1}{+1}-1-1uuuu+134编辑ppt⑷状态轨线：由⑶知，u有4种可能的取值，其值为±1，代入状态方程：注：35编辑ppt利用上式，消去中间变量t，可导出x1和x2的关系为：其在X1，X2平面上为一组抛物线如图：u=+1为实u=-1为虚X1X2BAu=+1u=-136编辑ppt⑸确定开关曲线：使系统状态直接回到末端状态的曲线AO和BO总的开关曲线：AOB显然：AOB将状态平面分为两部分和显然：X1X2BAOu=-137编辑ppt⑹确定最优控制作用u*

u*与初始状态有关分析：①若位于BO上，则u*=+1；②若位于AO上，则u*=-1；③若位于内，则u*=[-1，+1]；④若位于内，则u*=[+1，-1]；③④在开关曲线上为转折点38编辑ppt例3：升降机的快速降落问题：设有一升降机W，它的质量为1，升降机一方面受重力g的作用，另一方面受控制器的作用力u(t)的作用，且（M＞g是常数）设x(t)为升降机离开地面的距离，当t=时，[离地面距离]

[垂直运动速度]

问题：求u*（t）,使升降机最快的到达地面，并且到达地面时的速度为零。即：最小，自由WugX(t)39编辑ppt解：建立升降机系统的数学模型，F=ma即：令：即：哈密顿函数：显然，为了使H为最小，则即：不确定40编辑ppt协状态方程：即：常数相应于的4种可能，u*的取值有4种可能{+M}，{-M}，{+M,-M}，{-M，+M}因此，下面只研究u=±M时升降机的状态轨线设u=M，则状态方程为：…①…②①/②：是一组抛物线，图中实线箭头表示状态运动的方向

在此族曲线中，只有到达原点，41编辑ppt设u=-M，同理可得：如图虚线所示只有到达原点，开关曲线r将相平面分为两部分，在r下半部的记为，包括在r上半部的记位，包括∵u*只取+M或-M，切换最多一次，因此可得到结论：〈ⅰ〉初始状态在上，状态沿回原点42编辑ppt〈ⅱ〉当在曲线上时，状态沿回原点〈ⅲ〉当时，沿相应的虚线抛物线运动到时，沿回到原点。

马上切换〈ⅳ〉当时，，沿相应的实抛物线运动到时，

马上切换总之：，沿回到原点。43编辑ppt对于实际问题升降机的分析：它在地面之上，∴，处于相平面的右半部分，且设a〉若，而时状态沿实抛物线运动与轴交于N，这意味着升降机到达地面时，速度不为0，不合要求。<b>当即开始以最大推力向下最用，使升降机尽快下降。当其状态检测到达时，马上改变控制，使它以的最大推力向上作用，这样升降机将以速度0到达地面。N44编辑ppt从上例可以看出：快速最优控制有如下特点：<ⅰ>u*要么最大，要么最小。<ⅱ>u*的取值经过有限的（n-1）次（可为最多次）数切换可到达平衡点。<ⅲ>u*的取值仅在开管曲线上切换。注意：时间最优控制的应用中，有些实际问题并不要求将相点控制到状态空间原点，而是到某一集合，其分析方法与上类似（若二阶系统为一般的二阶系统，特征值为实数时，分析方法类似；为复数或纯虚数时，开关次数定理不成立，问题较为复杂，如无阻尼振荡二阶系统。45编辑ppt二、燃料最优控制问题节约能源，减少燃料消耗在国民经济各部门中都是一项重要的技术经济课题。在航空和宇航中使用的原料是由地面起飞时带到空间去的。在空中携带的燃料是有限的，要保证长时间的飞行计划，就希望空中的控制系统消耗的燃料最小，而燃料的消耗一般是和控制力u的大小成正比的。U有正有负。因袭燃料消耗的性能指标：

也可以以升降机系统分析，只是相应于时间最优控制，要求到达地于所用时间最小，相应于燃料最优控制，要求达到目的地时所用燃料最小46编辑ppt1、数学描述[以二阶级分模型的燃料最优控制为例]系统：约束：要求：系统从初始状态转移到（0，0）使最小，给定。解：应用极小值原理47编辑ppt正常：仅在有限个点上奇异：至少在一段时间[t1，t2]间隔内正常：u*可取+1，-1，0随着t增大，u*在三个值上切换，是一种三位控制{开关控制}。奇异：不能用极小值，死区函数。为使Ｈ为最小，则使为最小分析：①若ｕ＝＋１，则若使Ｈ最小，则②若ｕ＝－１，则若使Ｈ最小，则③若48编辑ppt由：和相应的最优控制之间的关系：显然，燃料最优控制也是开关式控制，控制器应为一个具有死区的继电器。+1+1+1+1-1-1-1-1tbtatf49编辑ppt和的计标当时，相平面上一组抛物线［实线］当时，相平面上一组抛物线［虚线］当时，50编辑ppt以下两个图形画出了不同初始状态转移轨线仅为＜１＞进行分析：在ｔ＝ｔａ处应满足：

相对于Ｘ２而言，ａ点相对于Ｘ１而言，ａ点=1=0=-1[1,1]ab=-1=-1a=0=0=1=1bba-51编辑ppt在ｔ＝ｔｂ处应满足：解方程可得ｔａ，ｔｂ的值52编辑ppt习题１：设系统为求最短时间控制及最短时间提示：开关曲线：对于ＡＢ段，对于ＢＯ段，切换点为ＢA[10,0)=1=-1Bts53编辑ppt当t=ts时BO段：u*=+1当时，X1=X2=0，则：54编辑ppt在B点应有：联立求解：55编辑ppt习题2分析：设线性状态方程为：边界条件：容许控制为：求最短时间控制u*(t)及开关曲线（做出大致图形）分析:根据最小值原理：则：切换周期为56编辑ppt当u*=+1时，是一组同心圆，圆心为（0，1）同理，当u*=-1时，可得：只有NO右半圆及MO坐半圆弧能够到达原点，，u*的切换周期为，曲线如图。是一组同心圆，圆心为（0，-1）57编辑ppt箭头方向：以u=+1为例，当X2>1时，∴X1↑，X2↓当X2<1时，X1↓，X2↓所以箭头如图当相点运动到或上的任意一点时,均可在相应的控制律u=+1或u=-1作用下，沿或最快地到达原点。现在改查最优轨线的倒数第二段。设u*(t)的最后一次切换发生在上的A点，则倒数第二段的控制必有：u=-1，其最优轨线必为（0，-1）为圆心的圆弧。X058编辑ppt由于时间持续不超过，故改圆弧的长度最多等于半圆，到达A’点，发上第二段转换进而进入倒数第三段。由于A点为上的任一点，因此A’点形成以（-3，0）为圆心，1为半径的半圆。显然：是u=-1到u=+1的开关曲线，而则为u=+1到u=-1的开关曲线。同理可取：，一次类推，可得一系列圆弧，可谓开关曲线。59编辑ppt极小值原理的证明：、基础证明：针对定常系统末端自由，得出的极小值原理的结论，<定理>二、对于时变系统及引入新状态变量的方法，将时变系统化为定常系统，利用定常系统极小值原理定理的结论进行证明。等情况，可通过60编辑ppt极小值原理的应用（时间最优）已知无阻尼振荡二阶系统的状态方程为：其中试求最优控制使系统由任意初态以最短时间转移到状态空间原点。解：由极小值原理，可求取最优控制的必要条件为：

正则方程：例：61编辑ppt边界条件:极小值条件:解协状态方程为：

所以最优控制特点：a、只在某些孤立时刻为0，不存在奇异段，故为砰-砰控制。b、的切换次数与系统阶数无关。c、除首尾两端外，最优控制每隔π时间切换一次。62编辑ppt63编辑ppt下面分析开关曲线：首先考虑相平等方程：若则：是一组(1,0)为圆心的同心圆。若则：是一组(-1,0)为圆心的同心圆。方向如图：-1164编辑ppt显然，只有c=1及两条曲线可到达末端而考虑到最优控制最优一段的时间间隔≤π，则最优轨线最后一段必位于下列两条半圆形开关线上。当相点运动到上的任一点时，均可在相应的控制律U=+1或U=-1作用下，沿很快地到达原点。现在考查最优轨线的倒数第二段。设的最优一次切换发生在的A点，则倒数第二段的控制必为：轨迹为(-1,0)为圆心的圆弧。考虑到第二段在时间上不大于π。故设圆弧最多等于半圆，到达发生倒数第二段转换，进入倒数第三段。最优控制在某曲线上进行切换的曲线称为开关曲线。65编辑ppt由于A点可为上的任一点，所以点形成(-3,0)为圆心，1为半径的半圆。显然:到的开关曲线:到的开关曲线同理：对亢于可得：依上述过程类推可得一系列圆弧:66编辑ppt67编辑ppt开关曲线r将相平等分为两部分所以起点

的最优轨线这些圆弧的全体构成了所求问题的开关曲线：68编辑ppt所以总的控制作用：共转换四次。EO弧:

回到终点。DE弧：,(+1,0)为圆心，

为半径，交开关曲线于E。CD弧:,(+1,0)为圆心，

为半径，交开关曲线于DBC弧：,(-1,0)为圆心，,(-1,0)为圆心，

为半径圆弧，交开关曲线于CAB弧：为半径的圆弧交于开关曲线BEABCD69编辑ppt习题：已知线性定常系状态方程：其中,求使系统由任意初态以最短时间转移到目标集：习题：已知受控系统：，目标集：求满足约束条件的时间最优控制函数，求开关曲线70编辑ppt注：在时间最优控制中，我们知道：可知：之间的关系由前分析知：时，可由极值条件确定，正常情况；时，可为满足约束条件的任意值，为不定状态，异步情况。但是，奇异状态并不表示时间最优控制不存在，只表明用极小值原理不能确定最优解，需采用奇异最优控制方法，以下介绍：71编辑ppt<定义1>若在区间[]内，存在时间的可数集合:即：使得对所有的均有：则称时间最优控制是正常的。<定义2>若在区间内，存在一个（或多个）子区间，使得对所有，有

则称时间最优控制异步。奇异区间。72编辑ppt如何判定系统是正常的，还是奇异的。

设计时间最优控制之前总希望知道问题是否有解？是否有唯一解？问题是正常的，还是奇异的。初次之外，我们还希望了解时间最优控制的共同特点和性质。这种一般规律的认识和了解会有助于具体系统的设计计算。然而：对任意的非线性系统和任意的目标集，没有明确结论。对于线性定常系统，可以回答上述问题，（目标集假设为坐标原点）至于线性时变系统及一般性目标集问题，只有其中的部分结论适用。73编辑ppt<问题1>：已知线性时不变系统，时完全能控的求满足下列不等式或约束的r维容许控制向量U(t),由已知初态转移到状态空间原点的时间最短，根据极小值原理，使系统<问题>最优控制的必要条件如下：或为B的第j列向量74编辑ppt从上述必要条件出发，可得一些有用的结论：<定理1>当且仅当个矩阵中至少有一个奇异矩阵时<问题1>是奇异的。证明：由已知条件：由6式知，否则1＝0错若问题正常，则对于给定的初协态，可唯一确定砰－砰控制怎样知道是正常还是奇异呢？推证定理。假定<问题1>是奇异的，至少存在一段时间使某对所有

均成立：75编辑ppt由此：考虑到A与可前后交换顺序，则有：令：则关于n维待定向量的代数方程组可写成：所有由于为奇异矩阵，为使，则必为奇异矩阵，即：奇异控制问题的必要条件。可以证明其为充分条件<定理1>得证：由设定理可进一步得出<问题>为正常得充分必要条件76编辑ppt<定理2>：当且仅当全部为非奇异矩阵，则时间最优控制是正常得。<定理1>和<定理2>得推证过程都没有设计到目标集，因此，不论目标集如何，只要受控系统是线性时不变得，因此两个定理可用。将满足<定理2>得系统叫做正常系统。正常受控系统，其时间最优控制问题也是正常得，对于正常问题，由下列存在性与唯一性定理。<定理3>若受控系统是正常的，且时间最优控制存在，则最优控制必定唯一。证明：见“百年学书”p176页。77编辑ppt另外，我们知道，一个完全能控的线性定常系统：必需满足n:系统维数若把系统表征为：其中控制分量正常问题要求都是完全能控。即：说明：每一个控制分量均能单独使受控系统由任意初态在有限时间内转移到坐标原点。据此，常可很容易地判断问题的时间最优控制是否属于正常情况。显然：一个输入完全能控的线性不变系统，其时间最优控制问题也一定是正常的。燃料最优控制的一般情况，接<之二本>78编辑ppt<问题>已知线性定常系统：求最优控制，使系统由任意初态转移到目标集：且使性能指标：为最小，T未知。分析：若记：为B的第j列向量，则H种与U(t)由关的部分R(u)为：79编辑ppt根据极小值原理，应使H或R（u）取极小，则：求出：这就是燃料最优控制。如何判定燃料最优控制是正常还是奇异？<定理><问题>为正常得充分条件为,对所有j＝1，2，3，……r，均有其中<问题>为奇异得必要条件为：对于某个或某些有：证明从略80编辑ppt注意：在燃料最优控制中，区分正常情况与时间最优控制不同。首先：对时间最优:系统正常时，最优控制问题一定是正常的。2.对燃料最优：即使系统正常（)，如果系统矩阵A是奇异得（A有零特征值，即系统中含有积分环节），问题仍可能属于奇异情况。只有当系统是正常得，且A有事非奇异矩阵，才能保证燃料最优控制有正常解。3、另外（1）式为系统正常得充分条件，次条件不满足时，系统仍可能有正常解（有可能正常或有可能奇异）视初始状态而定。81编辑ppt1）试证明系统由初态：2）欲求系统由初态X(0)最快地转移到终态习题：设二阶系统

所消耗燃料为最小得最优控制为：82编辑ppt2、二阶空间控制系统的状态方程为：不等式控制约束，试求使系统由初态达到平衡状态的最短时间最优控制。关于“二次积分模型”的燃料最优控制问题的进一步讨论：系统：求，使系统由任意初态（）转移到状态空间原点，且使性能指标：为最小值，T自由。83编辑ppt解：求解最优解的必要条件：1）正则方程：则：2）边界条件：3）极小值条件：4）H函数变化率：则：仅在有限个点上为1，则正常；在一段区间上为1，则奇异。84编辑ppt具体分析：解协状态方程：常数，的不同，系统有可能为正常或奇异。<1>奇异情况：若，使系H的变化规律成立，必有：奇异。无法用极小值原理求解。<2>当时，是时间的线性函数，这时至多有两个点满足正常情况最优控制必为三位式控制，且至多有两次切换，候选解为：{0},{+1},{-1},{+1,0,-1},{-1,0,+1},{+1,0},{-1,0}，{0,-1},{0,+1}由于结尾的三种控制序列不可能为最优控制。85编辑ppt因为有状态方程知：是一组不通过原点的平行线或轴上的孤立点所以可能的最优控制序列为：六种可能：{+1},{-1},{0,-1},{0,+1}{