8 动态规划 课件

第8章动态规划8.1递归确定性模型 8.2递归随机模型 8.1递归确定性模型8.1.1有限期界 8.1.2无限期界 8.1.3Euler方程 8.1.4Bellman方程 8.1.5一般情形 8.1.6具有解析解的若干情形 8.1.7值函数的近似计算 8.1.1有限期界有限期界的Ramsey问题（8.1）满足：（1）；（2）严格递增；（3）严格凹；（4）。 是资本折旧率，劳动时间为常数，，，同时具有的其他性质。 满足：（1）严格递增；（2）严格凹；（3）。非线性规划问题，可以应用Kuhn-Tucker定理求解最优解满足式(8.3b)左边是相邻两期消费的边际替代率，它表明经济主体愿意为下一期的消费而放弃现期消费的比率式(8.3b)右边是经济主体为增加一单位的额外储蓄而得到的补偿――未来产出的增加。

8.1.2无限期界若经济为无限期界即，要求问题具有递归结构。在Ramsey问题中，这种递归结构具体表现为时间可加可分性（timeadditiveseparable,TAS）效用函数：(8.4)其中:-贴现因子()-时间偏好率(purerateoftimepreference)-单期或当期函数严格递增、严格凹、二次连续可微的对式(8.4)进行迭代，可以得到(8.5)

无限期界Ramsey问题(8.6)

8.1.3Euler方程可以利用Kuhn-Tucher方法的拓展形式来刻画Ramsey问题(8.6)的解的特征。Euler方程(8.9)在稳态处，，可得：，或(8.10)为找到唯一的资本的最优时间路径，需要两个条件：初始资本存量和横截性条件。8.1.4Bellman方程Ramsey问题(8.6)的递归表达(8.11)

Bellman方程的推导

Bellman方程（8.14）的解取决于的给定值，为此记，是经济主体的决策规则方程可以理解成单值函数和与之相关的策略函数的隐式定义。从这个角度看，它是一个泛函方程。最优性原理表明，Bellman方程(8.14)的解就是问题（8.11）的解。称为值函数(valuefunction)，称为策略函数(policyfunction)。

动态规划理论(dynamicprogramming)探讨值函数和策略函数的存在性、性质及其构造方法。设、严格递增、严格凹、二次连续可微，则值函数存在，可微、严格递增、严格凹；策略函数存在，递增、可微的；值函数是以下序列的极限：假设。

例8.1假设在Ramsey问题（8.11）中，，，，使用值函数迭代法求解。

动态规划方法同样提供一阶条件：（8.16）

8.1.5一般情形问题(8.17)等价于：(8.19)若方程有解，则决定策略函数

策略函数的求解首先是关于控制变量的一阶条件：(8.20)式子包含值函数关于下一期状态变量的导数，但形式未知。为此，需要利用以下的包络定理。定理8.1Benveniste&Scheinkman包络定理假设问题(8.14)满足： １.，，和为具有非空内部的凸集； ２.是凹的、可微的； ３.是凹的、可微的，并且在中是可逆的。 则： 根据定理8.1，对方程(8.18a)求导，可得：(8.21)若选取控制变量，使，则：可得：(8.22)若独立于，则可以用这一方程求出隐函数。若依赖于，则可以用均衡条件求出稳态。 8.1.6具有解析解的若干情形对数效用和对数－线性技术对数效用和对数－线性调整成本，其中

等弹性效用和CES技术，CES生产函数， 折旧率，资源约束为 ４.线性二次模型

8.1.7值函数的近似计算若不成立，则无法获得值函数的解析式。近似法之一：值函数迭代法(valuefunctioniteration)猜测初始值函数，常取。若有更多信息，可以取其他值给定，利用Bellman方程计算值；然后利用，计算，重复这一过程，即可得到收敛于值函数的近似值函数序列。在这一过程中，我们也在重复计算近似策略函数，而序列的极限就是策略函数。上述迭代过程同时给出值函数和策略函数。

例：问题(8.11)中，则，，Bellman方程各参数的值：，，，猜测初始值函数为。利用稳态方程(8.10)，可以求得稳态为，以及。 图8.1显示了值函数经过240次迭代后的收敛情况（用于数值计算的MATLAB程序见本章附录）图８.1值函数的近似 图8.2经240次迭代后的策略函数8.2递归随机模型8.2.1随机Ramsey问题 8.2.2随机Euler方程 8.2.3随机Bellman方程 8.2.4值函数的近似计算 8.2.5Markov链8.2.6具有Markov链的Ramsey模型

8.2.1随机Ramsey问题无限期界的随机Ramsey模型/随机增长模型：（8.23）其中，为劳动为常数时的总增加值，为随机冲击，表示因而导致的随机折旧。

问题（8.23）的特点期的产出不仅依赖于资本，而且依赖于随机变量的实现值。假设经济主体了解当期的发生概率。经济主体在现期仅选择现期消费。而在确定性情形中，经济主体在将来并没有新的信息，因此可以决定从现在到遥远将来的消费。确定性情形下的决策问题为开环控制（open-loopcontrol），而随机情形下的决策问题为闭环控制（close-loopcontrol）。由于未来消费是随机变量，因此将期的消费推迟到期进行决策对经济主体来说是更好的选择。经济主体的目标是实现一生效用的期望值的最大化，表示与随机变量序列的概率分布有关的基于期时的可得信息的条件期望。

8.2.2随机Euler方程Lagrange方法随机Euler方程：（8.26a）状态方程：（8.26b）横截性条件：（8.26c）

8.2.3随机Bellman方程问题（8.23）的重新表述（8.27）在任意第期，问题等价表达为：(8.28)称解函数为计划（plan），并且记为满足：8.2.4值函数的近似计算考虑随机变量以概率分别取值的随机Ramsey问题（8.27）。方程（8.28）可表示为两个Bellman方程：其中明表示为。通过值函数迭代过程，可以得到收敛于理想的值函数对的函数序列对。

数值计算生产函数单期效用函数，，随机状态变量值：，，，。猜测初始值函数为。

图8.3值函数迭代图8.4计划8.2.5Markov链随机过程(stochasticprocess)指随机变量的时间序列若，则离散值的(discretevalued)；若，则连续值的(continuousvalued)。若的分布只取决于的取值，即：(8.29)则称随机过程具有Markov性质(Markovproperty)。

例8.2Markov过程的例子一阶自回归过程(first-orderautoregressiveprocess)AR(1):其中称为AR(1)的新息(innovation)。给定，下一期冲击服从正态分布，均值，方差。 任意高阶自回归过程都可以转化为AR(1)

Markov链：指离散值的Markov过程构成1．一个维向量记录的可能值２.一个维向量记录了0期的状态３.一个阶转移矩阵(transitionmatrix)刻画期状态为，下一时期状态转移为的概率，即。从第期到第期状态转移的概率

其中是阶转移矩阵的元素。

无条件概率分布的变化遵循(8.32)第期时状态的无条件概率分布决定于：其中是向量，它的第个元素是

平稳(stationary)或不变(invariant)分布指分布随时间的推移是不变的，即平稳分布满足：(8.33)这意味着是与的一个单位特征根对应的一个特征向量（标准化后满足）。平稳分布可能是唯一的，也可能不是唯一的。

定义8.1Markov链是渐近平稳的且具有唯一的不变分布设是满足的唯一向量，若对所有的初始分布，都收敛于同一个定理8.1设为随机矩阵，并且对任意，，或者对某些整数，的所有元素有唯一的不变分布，并且过程是渐近平稳的。

例8.3矩阵

8.2.6具有Markov链的Ramsey模型具有Markov链的随机Bel