高宏第三章-最优控制

第三章最优控制（上）-变分法第一节动态优化简介一、静态优化问题如果一个企业要确定一个最优产出水平以最大利润：（1）这样的问题的解通常将是一数，即确定选择变量的单个最优值。最优值常可由一阶条件确定。动态问题是多期（multiperiod）的，但是并不是有多期的时间就是动态问题。考虑企业的多期决策问题：（2）描述的是每阶段的产出组成的序列，即给出了一个产出的时间路径。显而易见，总利润不是由单期的产出决定，而是由整个的产出的时间路径确定，所以要使利润最大化，实质上是要找到一条最优的路径（而不是单个期的）。但由于期利润只与期的产出有关，所以要在整个时间序列内最大化利润，就只要分别在每一期最大化利润即可，即这一个问题的解是一个有个数的集合，。所以由于任一产量只影响该期利润，问题（2）实际上是一系列的静态问题，即在每一期选择当前产量使该期利润最大化。问题（2）有类似的个一阶条件，各期的一阶条件之间没有联系。在Ramsey模型的竞争性均衡结构中，生产者问题就具有这样的性质。二、动态问题具有动态性质的问题是，当前的产出不但影响到当前的利润，还影响到未来的利润。更为一般地来说，当前决策影响未来决策。给定或（3）在问题（3）中，每一期的利润不但取决于当前产量，还与过去的产量有关；换句话说，期选择的产量不但影响期的利润，还会影响到以后的利润。注意，上述问题中已指定了。影响到了以后各期的利润（从而也影响到总利润）。问题（3）与问题（2）不同，它的最优解的个一阶条件不能分别确定，而是要同时确定，也就是我们实际上要“一次性”确定一条最优路径。每一产出路径对应一个利润（目标值），这种路径（而不是单个数值）到实数之间的映射关系叫泛函。在动态优化中，我们处理的问题的目标函数通常是泛函形式，称为目标泛函。简而言之，函数是值到值的对应关系，而泛函是路径到值的对应关系。问题（3）中，我们假设了一个给定的初始点，即初始时间给定，且初始时刻的产出（状态）已知。注意初始点有两个维度：时间与状态。有时终结点也给定的，即已知结束的时间与状态。三、连续时间情形问题（2）与（3）的连续时间对应物分别是问题（4）与（5）：（4）（5）和前面一样，只有（5）才真正具有“动态”性质：即现在与将来相关。注意（5）中是以作为自变量，而（3）中是，其原因在于在连续时间下“以前时期”没有明确含义，所以用状态的变化率来表示这种动态性。四、问题的不同形式我们后面处理的动态优化问题都是连续的形式（离散时间问题的处理都可用拉格朗日方法，参见第一章作业）。动态优化问题会因端点（起始点与终结点）不同而所有不同。一般经济学中遇到的问题都可认为起始点已知，下面我们讨论不同终结点的变形。图1表述的固定终结点的三条不同时间路径A、B、C，目标函数是不同路径的泛函。这个问题中，终结点已知，时间为，状态为，即。B图2B图2CA状态时间T图1CA状态时间TBBB图3CA状态时间TBB图2CA状态时间T图2为垂直终结线（固定时间）问题；图3为水平终结线问题，图4为终结曲线问题。在图2、3、4中，终结点要自由一些。图2中终结的时间已限定，但状态可自由变化；图3中相反；图4中时间与状态均未限定，但两者有一个约束条件。这三种形式的问题中，对路径的选择比前面固定终结点更自由，所以为了推导出最优的目标值，要对路径选择加以限制，即以一个附加条件来确定所选的确切路径。这个条件就是横截性条件（TVC），它描述的是最优路径如何跨越（穿过）终结线。在固定终结点问题中已知了这样的条件，而可变端点（即终结点）时，要推导出一个条件。五、三种处理方法总体来说，有三种常用的处理动态优化问题的方法：变分法、最优控制和动态规划。1、变分（variation）是指状态的整个路径的变化（如产出的变化）。变分的基本问题如下：，，、、给定（6）回忆静态优化问题：。其一阶条件为：可以这样看待这个一阶条件：假设已知最优值，它将满足的条件是，对它无穷小的扰动将对目标值没有影响。推导变分法一阶条件的思路和静态优化一样：假定已找到了使目标值最优的路径（极值曲线），给它一个很小的扰动，应有。差别是，在变分法问题中，扰动改变了整个时间路径而不是单个状态值。变分法的特点：①直接从状态入手，即路径入手；②要求进入问题的函数可微；③处理角点解问题不方便。2、最优控制最优控制的基本问题为：，，自由，、给定（7）（7）与（6）不同：①进入目标函数的不是，而是。是控制变量，控制了的变动。方程叫运动方程。②基本形式中自由，原因后述。最优控制问题寻求解决问题的思路是试图找到最优的控制路径而不是状态路径入手。与变分法另有不同在于：①可跳跃，所以只要连续并分段可微；②处理角点问题方便些。3、动态规划动态规划一般处理离散、不确定性问题更方便。它关注的是最优值，寻找在不同阶段不同状态达到最优值的方法，即最优策略函数。基本方法是将最优化问题嵌入于一系列的优化问题之中，运用迭代的方法找到最优值函数和最优策略函数，思想为最优性原理：如果找到了整个问题最优路径A、D、H、J、Z，则从D所处时刻到最终这一时间段，如果这一时间段的开始路径是D，这这一时间段的最优路径一定是D、H、J、Z。第二节变分法的一阶条件——欧拉方程欧拉方程描述的是动态的一阶条件，即“相邻”时间的决策最优化规则。变分法最基本的问题如下：，，、、给定（8）其中必是连续可导的，二次可导的。注意问题（8）与问题（6）的唯一差别。，，、、给定（6）一、欧拉方程的推导TZ按照第一节已经阐述的思路，假定是极值曲线（即最优的路径），由一个任意的扰动曲线和确定，其中是很小的数：TZ（9）（10）由（10）得到：（11）当时，，最大值。由不同的确定了不同的。可将由任意路径得到的值看作是的函数（不是泛函）。由前面的分析可知，优化的一阶条件是。下面分三步推导欧拉方程。【步骤1】：表述即：（12）【步骤2】消除用分部积分公式表述（12）中的后一个积分，可得：（13）所以原问题优化的一阶条件变成了：（14）【步骤3】；消除由于是任意给定的一个函数，所以上式等于0必定与无关，即必等于0。见下面的引理。【引理】：对于，如果，对于任一成立（如我们上述定义），则有。由此得到一阶条件为：（15）此即欧拉方程（在任一成立），它的积分形式为：（16）展开形式：(17)二、例题【例2-1】：求极值曲线，解：，，，再由两个已知条件确定【例2-2】：求最优路径解：由展开式得到：由初始条件求得：、得到。【例2-3】求极值曲线解：由微分式得这与矛盾，此问题无解【例2-4】求极值曲线，解：，，，欧拉方程总成立，的值与路径无关。实际上上式可直接积分：注意：如果对是线性的，可能出现上两例中的情况：无解或总是成立。原因在于，如果对是线性的，欧拉方程不是二阶微分方程，可能是一阶的。但是两个初始条件可以确定两个积分常数，但是通解没有两个常数，所以通解除非很特殊地通过了端点，否则不能成为极值曲线。三、解释：经济学的例子与“无套利条件”【例2-5】生产与存货决策企业在时交货，要求成本最小化。成本来自两个方面，一是存货成本，是到时已生产的产品数量即存货，是其单位成本；二是生产成本，是时的产量，生产成本即二次型的。解：上述问题表述为用变分法求解：，欧拉方程：积分：由边界条件决定和，所以。我们用无套利思想解释欧拉方程。是单位存货的成本（瞬时或单位时间内），是生产成本，是边际的生产成本，是生产边际成本变化率（对时间的）。这样，欧拉方程说的是，生产的边际成本变化率与持有存货的（瞬时）成本相一致。进一步的，将欧拉方程两边积分：（16）（16）式左边是在时生产一单位并持有时间的边际成本（额外的成本），右边是将该单位产品安排在时生产的边际成本（额外的成本）。这个式子说明，均衡时，在时生产与在时生产应无差异，生产者不能从改变生产时机中获得额外的好处。【例2-6】消费者优化问题这是一个宏观经济学中最为重要的问题。问题形式为：，这个问题不是变分法的标准形式，我们应首先消去将它变成变分法的标准形式，然后用变分法求解得到：，（17）（17）式就是欧拉方程。和上面的例子中一样，为了了解欧拉方程的经济含义首先对它积分，然后变形得到（参见Romer《高级宏观经济学》）：（18）上式左边含义为，将一个单位消费品放在时消费的边际效用；右边含义为，该单位消费被推迟获到时消费得利息增加的消费效用加上它在时被消费获得的效用增量。所以，欧拉方程的含义为，在消费者已经获得优化的路径上，进一步改变消费的时机安排不能增加效用。展开上例中欧拉方程会得到在宏观经济学中非常常见的形式：需要说明的是，欧拉方程仅仅是一阶条件。和静态优化问题一样，一阶条件只是说明了极值的特征。由于对本课程的学习而言，找到一阶条件就是够了，所以我们不会涉及到二阶条件的讨论。有兴趣的读者可以参见蒋中一《动态优化基础》。第三节可变端点的横截性条件终结点可变情形对欧拉方程没有影响，依然按照前面的基本情形求解，这时只是多了一个横截性条件（代替基本情形中的固定端点条件）。初始点可变和终结点可变一样处理，但在经济学中的问题，初始点可变是很少见的，似乎没有什么意义，所以我们所说的可变端点就是指可变终结点。一、一般横截性条件的推导我们从终结点的时间与状态都自由的一般情形推导出相应的公式，然后在应用到具体情形中。为题形式如下：，给定，、自由（18）假定是最优终结时间，为最优路径，有一扰动曲线和任意小的数，任一时间变动量。这样我们将任一终结时间和路径表述为：（19）（20）由此得到：（21）（22）由于可变，我们仅仅假定，而不假定也为0。否则无法对终结时刻的状态进行扰动。由上面的这些假定，得到任一路径对应的函数值为：（23）注意：在不致引起误解的地方，文中省略了时间变量。推导横截性条件的步骤与基本情形中推导欧拉方程类似，我们分两步简单说明如下（实际上，欧拉方程与横截性条件是在这样的推导过程中一次性得到的，它们都是最优条件的一部分）：【步骤1】表述对的导数应用莱布尼茨规则得到对的导数为：（24）式（24）中第一部分为：（25）由（21）式得（24）式中第二部分为。最优时有=0，由此得到最优性条件：（26）【步骤2】横截性条件TVC（26）式中第一部分中任意，而后两项中都通过任意的有一定的联系。由于与、没有联系，所以要使上式成立，前一部分和后两部分必须分别为0。前一部分为0即为欧拉方程，由通过发生联系的后两部分为0可以推出横截性条件（TVC）。我们下面的目标是要消除，即以和来表示。分析见下图。是加上（）而得。由于T增加了，延伸到，的位置升高，注意是近似的。由于上式对于任意的都成立，则必然对于也成立。所以我们得到一般TVC：（27）二、TVC特例：实际问题中的TVC总是以以下特定形式出现。1、垂直终结线固定可得，所以为：这有时又称为自然边界问题。2、水平终结线固定，，（27）式为：3、终结曲线：有4、截断垂直终结线（固定，）如果是最大化问题，则TVC为：，，如果是最大化问题，则TVC为：，，这是由KT条件得到的结果。5、截断水平（固定，）如果是最大化问题，则TVC为：，，如果是最大化问题，则TVC为：，，【例3-1】解：最优路径是直线，，TVC：【例3-2】，（可变，给定）该问题的欧拉方程：横截性条件：由已知条件：和，第四节进一步的扩展一、无限计划水平问题无限计划水平即时间趋向于无穷。这时，欧拉方程同前，横截性条件有所改变。在经济学的问题中，通常由均衡条件可知状态变量趋向于某一值：（28）（28）式本身就充当了横截性条件。这个条件实际上就是固定终结点问题在的一个变化版本。单纯从数学的角度来看，时存在积分收敛的问题。但是一般在经济学中的问题本身带有贴现因子且有界，这不是一个严重的问题。即，经济学中一般出现的是无限自治问题：，这类问题隐含着一个终结状态——稳态，也就是上面的式（28），它在大部分问题中就充当了横截性条件。【例5-1】我们以一个计划者（代表性主体）的Ramsey问题来说明这一点：化成熟悉的形式，上面的问题实际上是：欧拉方程：如果已知，自由，则横截性条件为：如果已知，，则横截性条件为：如果，，则横截性条件为：但是由于有稳态，上面的横截性条件多余，没有什么意义了。这时充当横截性条件作用的就是。二、多状态变量多状态变量的问题不会增加多少理解上的难度，只是对每一个状态变量都有一个欧拉方程，从而形成欧拉方程组而已。问题形如：欧拉方程组，对每一。三、约束问题约束则是一个真正的重要问题（我们这里所说的约束是指路径约束，而不是端点约束）。约束使得欧拉方程的表述发生改变，改变的规则和静态优化中由无约束优化变为约束优化基本类似，即将目标函数变为相应地拉格朗日函数，一阶条件不是建立在目标函数的基础上，而是建立在拉格朗日函数基础上（如下省略边界条件）。1、等式约束（约束中没有微分形式）问题形如：这样的约束中只有状态变量而没有其时间导数，且。求解欧拉方程的方法是以代替无约束问题中的，得到：再加上约束条件即可求出。2、微分方程约束约束方程中含有项，同上处理。3、不等式约束约束变为如下形式：注意是“”。欧拉方程与等式约束相同，另外加上互补松弛关系：。4、等周约束等周在资源萃取问题中很普遍。（=常数）四、残值（SalvageValue）问题残值问题形如：已给定要点：加上残值对欧拉方程没有影响，仍为。只有TVC作如下变化：1、若终结时间给定，自由，则TVC为：；2、若自由而给定，则TVC为：；3、如果与满足如下关系为，则TVC为：。第三章最优控制（下）第一节最大值原理概述在变分法中，首要关注的是最优状态路径，由它确定最优值；在最优控制中，寻求一个控制变量的最优控制时间路径；而动态规划关注的是最优值函数，通过它寻求一个最优策略函数，即控制对状态的反应。后者在离散与不确定性问题中更重要。一、最优控制的最简单问题最优控制的最简单问题是：，自由，、给定（1）有时也指定的变化区域：。与变分法不同，最简单的最优控制问题中的是自由的，因为推导过程中，我们是使（而不是）任意变化来找到最优值。从直观上讲，如果限定了，不能真正任意变化。此外,与变分法不同，不要求全局可微，只要求分片(piecewise)可微即可；的要求是分片连续。在最优控制问题中，选择的变量是，可直接处理的约束问题，并且容许角点解。二、共态变量（或协态变量，costatevariable）和汉密尔顿函数问题的求解中我们要用到一个关键的表达即汉密尔顿函数：（2）是一个动态的乘子函数，它实质上就是动态的拉格朗日乘子，所以具有与拉格朗日乘子同样的含义。在后面的表述中，在不引起歧义的情况下，我们将省略、与中的隐含自变量。三、最大值原理我们先给出最大值原理的结果，熟悉了以后再来推导与解释。最大值原理为，问题（1）的解满足下列式子：，（3）（4）（5）（6）（3）式为最优性条件；（4）式为可行性条件，它实际上就是已知的约束；（4）式是关于乘子的运动方程（也有人称之为欧拉方程）；（6）式为横截性条件。（3）式实质上是下式的一般化：（7）大部分情况下（7）式与（3）是等价的。但是当不可微（如在边界上）、关于线性等情况时，（7）式是不适用的。四、例题【例1-1】求下面的动态优化问题，自由，、给定解：第一步建立汉密尔顿函数关于非线性且未指定控制域，所以肯定是内点解，适用。首先，由（7）式有：（8）其次由（5）式常数（9）由TVC条件（6）式得到：（10）结合（9）、（10）式得到：，（11）由（8）与（11）式得到：（12）由条件（4）式（即已知的动态约束）得到：常数最后由初始点确定该常数：。【例2-2】本例说明不能用的情况，，自由，首先建立汉密尔顿函数：关于线性，。若，则最大（）时最大；反之，若，最小（）时，最大。即：22由是减函数，从递减到。在前后发生转变，由转变为。令该时刻的，求出该时刻：以时刻为分界线，最优控制变量分成两段：在时间段：，且在，初始值。由初始值确定积分常数。课堂练习：，五、变分与最优控制的比较变分法与最优控制实际上是一致的。下面以一个特定的例子来说明这一点。变分法最优控制它们的解分别为：变分法最优控制在这个特定的例子中，我们可以从最优控制的条件推导得变分法的条件。由（13）和（14）可得：由上式可得到：由（15）得到：此即变分法中的欧拉方程。两个问题中的横截性条件以及二阶必要条件也很容易说明是一致的。第二节推导我们下面给出的是最大值原理的探索性的变分法说明，而不是严格、详细的证明。为清楚起见，我们重述最优控制的最简单问题如下：，自由，、给定（1）下面分四步得到（4）到（7）式的结果。【第一步】将运动方程结合入目标泛函中对所有的成立，即：，。由此（18）注意这里的顺序，颠倒这个顺序对求解没有什么影响，但是对乘子的解释有影响。将（18）式加入到原来的目标泛函中得到新的目标泛函（19）只要，则。也就是说，在动态约束满足的条件下，（19）式的优化条件与原问题的优化条件是相同的。这种做法实际上是拉格朗日法，所以这里的乘子本质上就是拉格朗日乘子，具有与拉格朗日乘子同样的解释，即影子价格。定义（20）对上式后一部分分部积分得到：将这一结果代入（20）式新的目标泛函得到：（21）【第二步】：条件的说明只要成立，则拉格朗日乘子对新的泛函值不产生影响。这个条件实际上是作为约束的运动方程的重述，没有什么新的内容。【第三步】：变分假设最优控制路径为，现有扰动路径，。所以，对于固定的，每一值就会有一个。同样由最优状态路径产生一个任意的路径，即。若和可变，有：（22）（23）由（22）与（23）式得到：（24）（25）这实质上就是变分的思想，即给已知的最优路径一个扰动。和推导变分法的一阶条件一样，这里也要求一阶条件：（26）我们将（26）式中的新的目标泛函重述如下：（27）【第四步】：由得到所有的必要条件。（27）式中积分式对的导数为：（28）上面用到了：对的导数为：（29）上式中用到了（24）与（25）的结果。最后一项对的导数为0。所以，（28）+（29）（30）一阶条件即上式为0。由于、、、是任意的，这要求上式三个部分分别为0。进一步地：1、（30）式中被积部分为0要求它的两个相加部分分别为0，从而得到：和这就是一阶条件中的（7）和（5）式。2、（30）式中最后一部分为0即为：，也就是。这就是一阶条件中的（6）式。3、在我们的最简单的最优控制问题中，固定自动为0。所以第二部分自动为0，而无须其他条件。而在其他情况下，我们需要分析（30）式中的第二部分。在下一节中我们会有这方面的应用。第三节其它终结条件一、TVC我们从（30）式得到其他终结条件的TVC。其他终结条件只会影响到横截性条件，对（5）式和（7）是没有影响。1、固定终结点（T和给定）没有横截性条件，以代替2、水平终结线（时间自由而状态固定）由（30）式可知，，即汉密尔顿函数必须在最优终结时间达到0，对于时的无限制。3、终结曲线（30）式中的后两部分为：由此得到横截性条件为：4、截断垂直终结线（固定，自由但）这时的横截性条件为：，，上面的TVC条件中，最后部分的互补松弛关系常被提及。如果，则它为。在宏观经济学中，有时遇到的约束为，横截性条件仍是（参见Barro《经济增长》）。此外，若，则我们用到的横截性条件是。5、截断水平终结曲线（固定，自由，）横截性条件为：，，【例3-1】：求解如下最优控制问题，，解：由初始条件和课堂练习：如果上例中终结状态条件改为与，这成了截断垂直终结线。求解相应的TVC。再例：计划者问题Ramsey模型（略）。第四节经济解释最大值原理的每一必要条件都可得到经济解释，富有经济含义。考虑这样一个问题：企业在时间上最大化利润。状态变量为资本存量，控制变量代表可能作出的决策（如广告、存货等）初始为，未定，每一时刻利润依赖于当期和。最优控制问题为：，自由，、给定。一、共态变量作为影子价格在前面的推导过程中，我们已经说明，实质上是拉格朗乘子，而拉格朗乘子都可解释为影子价格，所以这里表示每一时刻单位资本的影子价格。如（详细推导见Kamien和Schwartz）：，这样，在时，如果增加一单位，则利润增加。在终结时（时），如果多持有一单位资本，则利润损失。对于中间的任一时刻，都有同样的解释，即影子价格。二、汉密尔顿函数和利润前景实际上，资产总价值的变化可以分为三个部分，瞬时利润、未来利润以及资产价格本身的变动。未来利润增加是由于持有资产数量增加。例如，你拥有一片具有生产性的土地，一年内它给你产生利润增加了土地的价值，同时如果土地的面积和价格也在变，这也会增加土地的价值。我们继续前面的企业利润最大化的例子，将后两部分同时考虑。为已有资产的价值，它的变动可能源于资产数量的变化（即投资，投资之所以有价值是因为资产能在未来获利），也可能是因为资产价格变动所致（在瞬时意义上，两个因素的交互作用项可忽略不计，因为是更高阶的无穷小）。的瞬时变化为：，前一项是价格变化（资本数量不变）增加的资产价值，后一项是资本数量变动增加的价值。再将企业的瞬时利润考虑进来，则企业单位时间内总的价值增量为：（31）其中，。由于实现了跨期最优化，所以任何变动不会引起总价值增量的改变。即（31）式对和求导为0。（31）（32）（31）与（32）式依次为一阶条件（7）与（5）式。是在既定下的当前利润，而是既定下的资本变化（投资数量），是投资的（影子）价格，所以是既定下的资本价值变化，即资产数量变化导致的资产价值变化，它来源于资产的未来获利能力。汉密尔顿函数是总利润前景（瞬时利润加上未来利润）。在某一时刻多投资固然会在以后会获得更多利润，但是是以牺牲当前利润为代价的。（7）式告诉我们，最优时两种效应应相互抵消，即，即我们应当选择“正确”的控制变量使得总利润最大化。（32）式表明了在最优时，我们应当选择“正确”的的变动使总价值增加达到了最大。进一步来看，将（32）式中最后一个等式稍稍变形为：（33）它表明影子价格变动（贬值）速度等于资本对当前利润与未来利润加总的贡献速度；或，这表明在最优时，资本变动在单位时间内引起的因价格下降导致的损失应等于利润的增加。三、TVC1、在自由而固定的TVC为，这说明最优化主体会迫使在终结时点资本的影子价格为0。为什么呢？表明的是影子价格，即以最优值度量的单位资本的价值。资本的价值对企业而言就是创造利润，即持有单位资本创造的利润。由于时是终结时点，当然就不能应当创造利润，所以。反过来，如果在终结时还持有有价值的资产，则会招致损失，所以就不是最优的。也可以这样来看，亦是指持有单位资本的意愿（即以多少代价而愿意持有一单位资本）。说明，在时刻终结时优化主体不愿持有任何有价值的资本。如果任何单位的都能产生正的利润，企业必定会用尽所有的资本。这就好比一个极端自私的人肯定不会在他死的时刻留下任何价值的东西