宏观经济学分析方法系列：动态规划的Bellman原理

1、精品文档精品文档1 所谓理想化资本市场如上一章中的要求，即无交易成本、制度限制、操纵行为等附录：宏观经济学分析方法：动态规划的 Bellman 原理（10、11 硕已讲，精细订正版）二 、一 个简 化的例 子欲对Bellman原理有一个快速的理解， 这里通过一个简化的例子， 以勾勒出动态规划方法所特有的 向后追溯（ backward recursion ，逆 向递归，逆向归纳） 的特征。假定：（1）典型个人生存 两个时期 ，他可以在两个时点 上，即t 0、1上做决 策（ t 3时，他就死亡了）；他被赋予一定量的 初始资源 W（0） 0。 （ 2）理想化的资本市场上存在两种资产 1。一种是无风险

2、的现金或 者债券，它的价格在任何时刻都没有变化， 始终为 1；另一种是有风 险的股票，它的价格过程假定由以下 二项树 描绘（参见下图）。图 股票价格运动的二项树模型简单地说，它表示在每一时点上， 股票价格要么以 4/ 9的概率上 涨一倍，要么以 (1 4/9)的概率下跌一半。用 w(0)和 w(1)表示该投资者 在 0、1时刻上，投资于风险资产 (股票)上的财富分额。 (3)投资者的 非资本收入为 0 ，效用函数 具有以下特定形式： u(x) x(4)为了简化求解， 假定投资者不进行任何消费， 这样最优决策的惟 一目标就是最 大化他来自最终财富的期望效用。至此， 最优化问题 就可以简化为：wm

3、(0)a,wx(1) E W(2)s.t. W(2) 0我们的任务就是找到 最优的投资决策变量 (最优控制 )w(0) 和 w(1) ，使以上最优化问 题得以解决。可以尝试采用 “向前”推导 的方法，即从 t 0 时刻开始，事先决 定一个策略 w(0) ，但它是不是最优还不清楚，根据 w(0) 我们仅仅能 够知道 t 1时刻的期望财富水平的函数表达 式，但是最大化这个函数 得到的“最优的” w(0) ，并不一定是最优决策过程 w(0),w(1)的必然组 成部分，除非可以明确地知道在所有不同情况状态下的 w(1) ，并且 它是惟一的。因此， 向前推导的方法是行不通的 。换一种思路，我们可以试着从

4、倒数第一期， 即 T 1期开始。这就是 说，我们必须获得 t 1时期，股票价格在 p 200 或者 p 50 两种情况下 的最优投资比例，而这是一个单期静态优化 问题。一旦获得了 t 1时的 相应结果 w(1)和W (1) ，就可以按照同样的手续， 进一步推导 t 0时刻的 最优投资比例，从而一层层地逐步解决问题。具体求解如下：第一步： t 1时刻假定此时的财富 W(1) 为任意一正数(它是由上一期 t 0 时的最 优决策所产生的)。投资到股票上的财富比例为 w(1) ，则投向无风险 资产上的就是 1 w(1) 。我们来计算最后的 t 2 时刻，积累的财富的 期 望效用 是多少。先考虑当股票价

5、格 p 200时的情形 ，根据二项 树模型：45E W(2) p 200 2w(1)W (1) 1 w(1)W (1) (1/ 2)w(1)W (1) 1 w(1)W (1) 9945w(1) 1 1 (1/2)w(1) W(1)99f w(1) W(1)为了找到最优投资比例 w(1) ，只要对 fw(1) 求导，并令一阶导数 于0 就可以了，容 易得到：w(1) 13/19 和 f w(1) 19/3 38再 考 察 当 股 票 价 格 p 50 时 的 情 形 ， 我 们 发 现 仍 旧 可以使 用上 式。因为 2(w(1)W(1) 1 w(1)W(1)依然表示股票价格 上涨一倍的情况下，

6、 投资在两种资产上， 给投资者带来的期末财富的 期望效用；而 1/2(w(1)W(1) 1 w(1)W(1) 则是投资机会相对较差即下跌 一半时，期末财富的期望效用水平。因此最优解还是 w(1) 13/19 ，因 此这个 最优投资比例决策独立于 1时刻股票价格和财富的绝对水平 。第二步： t 0 时刻根据上面的推理，我们只要知道 1时刻的财富水平 W(1) ，就可以 知道最终财富的期望 效用水平是多少，而 1时期的财富水平 W(1) ，也 是由同第一步类似的决策过程所决定的， 即：E W(2) f w(1)E W(1)45f w(1)2w(0)W (0) 1 w(0)W(0) (1/ 2)w(

7、0)W(0) 1 w(0)W(0)99f w(1) 4 w(0) 1 5 1 (1/2)w(0) W(0)99f w(1) f w(0) W(0)同样对 fw(0) 求导数，并令一阶导数等于 0 ，得到最优化条件精品文档精品文档2 也称交易期界( trading horizon )。w(0) 13/19 ，因此动态最优投资决策方案 就是：w(0) 13/19， w(1) 13/19尽管实际的问题要比这个简单的例子复杂得多，但从上述求解 过程中，仍然可以归纳 出最优个人消费(投资)决策的动态规划解 法的最显著特征，即它是 向后追溯 的。而这正是 贝尔曼最优化原理 的体现。三、一般 情形现在考察多

8、期(多阶段)离散时间情况下， 个人最优消费 / 投资 决策问题的标准建模方法和它的一 般解法。假定：( 1 )有限生命典型个人 生命时期(lifetime )为0,T ，他可以在 t 0,1,2, ,T 1 这些离 散的时点上做决策 ；他被赋予一定量的 初始资源 W(0) 0 。单一消费品只有一种用于当期消费的易腐消费品。它不可以储藏，暂时不考虑它是如何生产出来的。资产价格运动理想化的资本市场上存在 n 1种资产，第 0种资产是 无风险的债 券，它的单位时间总收益率为 Rf ；其他 n种都是风险资产 ，它们的总 收益率 定义为：Ri(t) Pi(t 1) Pi(t) 100%, i 1, 2,

9、 , niPi (t)Ri (t) 是由外部经济环境外生决定的。 。资产组合令wi(t) 为投资在第 i种风险资产 上的财富占总财富数量的 相对份额，则1 n wi (t )就是投资在 无风险资产 上的财富 份额。因此整个资产i1组合的总收益率 RP 就是：nnnwi(t)Ri(t) 1 wi(t) Rfwi (t) Ri (t) Rf Rf (2-2)i 1i 1i 1令 (t) 为非资本收入 ，如果假定这个收入来源是随机的， 也可以 称之为 外生禀赋过程( endowment process )。注意，我们定义 W(0) (0) 。根据上述设定，可以把 财富积累方程 ，也即约束条件 表述为

10、：W(t 1) W(t) (t) C(t)RP(2-3 )非负条件要求在任何时刻，不可以出现负的财富和消费，即C(t) 0; W(t) 0, t 0,T精品文档4 因为效用函数和遗产函数都是凹的，所以 二阶条件 自动得到满足。精品文档3 J 是一个基于财富的 引致( derived )效用函数 。这样一来， 最优化问题 (2-1 )式就可以表述为：T1max E0 u1C(t),t u2W(T),TC(t), w(t) t 0s.t.W(t 1) W(t) (t) C(t)RP(2-4 )C(t) 0, W(t) 0, t 0,T1、这里有一个非常重要的假定，即效用函数 u(.) 是时间可加的

11、( time-additive)。时间可加性是一个很强的假设，它假定多期效用函数采取如下这种形式tu(C1, ,Ct)u(Ci )i12、人们可能会对于没有贴现这些期望效用存在疑问，实际上加上时间变量的u(C,t) 也是一个效用函数，它的具体形式可以是 e tu(C)。但是需要注意的是： e的上角 t 指的是一个时间长度，不要把它同作为时点的 t 相混淆。3、u2W(T),T 也是一种效用函数，形如 e tu(W ) 。当然个人完全可以决定不留下任何遗产，即 W(T) 0 ，那么这一项就从个人视 野中消失了 。根据 动态规划 Bellman 原理 ，我们仍然从倒数第一期开始解， 这样 它就变成

12、了熟悉的 单期问题 。引入 T 1 时刻的 价值函数( valuation function ) JW(T 1),T 1 3，即JW(T 1),T 1 max ET 1u1C(T 1),T 1 u2W(T),TC, w (2-5) mC,awxu1C(T 1),T 1 ET 1u2W(T),TC, w为简化求解，目前暂时假定 非资本收入 t 为 0 ，把财富积累方 程(2-3 )式代入上式，注意到：nW(T) W(T 1) C(T 1) wi(T 1) Ri (T 1) Rf Rfi1则(2-5 )式可改写为：JW(T 1),T 1 maxu1C(T 1),T 1C(T 1), w(T 1)

13、1n(2-6 )ET 1u2W(T 1) C(T 1) wi(T 1) Ri (T 1) Rf Rfi1 为简便起见，可将对时间的函数形式都省略掉时点变量不 计。接下来对可供选择的 决策变量 C(T 1), wi(T 1) 求导(注意由于 u2 fWT1C(T 1) ，因此要用到复合函数求导法则 ，即链式法则),于 是得到 最优化的一阶条件 4：nu1,C (C ,T 1) ET 1 u2,W(T ) (.)wi (Ri Rf ) RfJwiET 1 u2,W (T ) (.)( Ri Rf ) 0i 1, 2, ,n0(2-7)i1根据上式中的第二个一阶条件，第一个一阶条件又可以表示为：精品

14、文档精品文档5 这个条件最早由 J.P.Samueleson（ 1969）给出。2-8)JWu1,C WnET 1 u2,W (.) (W C)wi (Rii1Rf ) Rfn(W C)wi (Ri Rf ) Rfi1u1,CET 1 u2,W (.) (1CWC) i1wi(Ri Rf) Rfnwi(W C)wi (Ri Rf )i 1 W i fnu1,CET 1 u2,W (.)wi(Rii1Rf ) Rfni1wiWET1u2,W (.)(WC)(RiRf )nET 1 u2,W (.)wi (Rii1Rf ) Rfu1,CRf ET 1(u 2,W)如果用 T 1期的价值函数（2-6

15、）式对W做微分（使用链式法则 和导数基本运算法则 ），就有：把一阶条件（ 2-7 ）式代入上式，则上式右边第一、二项均为 0 化简即得到最优消费 / 投资策略必须满足的 包络条件（ envelope condition ） 5：nJW ET 1 u2,W （.） wi （Ri Rf ） Rfu1,C（ 2-9 ）i1它的经济学含义是： 在消费者均衡时， 当期消费的边际效用等于财富 （未来消费）的边际效用 。当期消费与投资比例的选择既影响生活质 量u1（C） ，也影响投资预算的数量。当前每增加一单位的消费就减少 可投资的财富，因而获得时际最优的标准条件就是 : 消费的边际效用等于财富的边际效用进

16、而，根据上式容易知道 ，因为UCC 0所以有JWW 0，因此 J是 财富的严格凹函数 。回到 T 1期决策问题的求解上。 很明显，如果要想求出 价值函 数 J(T 1) ，原则上只要把 C 、 w (它们是 W(T 1)函数表达式)代入 (2-6 )式求解即可。这样我们就 得到了T 1时期3个重要的数据 C 、 w 、和 J 。还要注意，这之所以是可行的，是因为在 最终时刻 ，有 JW(T),T u2W(T),T 而这是一个 确定 的函数。接着，继续对倒数第二期 T 2做类似的工作，这时的价值函数 为：JW(T 2),T 2C(Tm2)a,wx(T 2)u1C(T 2),T 2 ET2u1C(T1) u2W(T)max u1C(T 2),T 2 ET 2 max ET 1 u1 C (T 1) u2W(T)C(T 2),w(T 2) C(T 1),w(T 1) T 1max u1C(T 2),T 2 ET 2 JW(T 1),T 1C(T 2),w(T 2)这是一个重复的 逆向递推( backward recursive )过程，可以递推到 T 3、T 4, ,t 时期根据Bellman最优化原理，在任意阶段即第 t 期价值函数的一般形 式是：T1JW(t),t) max u1 C (t ),t Etu1C(s