BVAR模型简介

1、贝叶斯向量自回归模型（BVAR）简介1、 贝叶斯方法原理简介§1 贝叶斯方法起源 英国学者T.贝叶斯1763年在论有关机遇问题的求解中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到 20世纪 30 年代。到5060年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。 §2 贝叶斯定理及其特点 记为一个随机观察向量的联合概率密度函数，为一个参数向量，它也看成是随机的。根据通常对概

2、率密度的运算有： (1.2.1)因而 (1.2.2)其中。将上式表达如下： (1.2.3) 其中表示成比例，是在给定样本信息后，参数向量的后验概率密度，是参数向量的先验概率密度，看作的函数，就是熟知的似然函数。式(1.2.3)将所有的先验的、样本的信息融入其中，先验信息通过先验密度进入后验密度，而所有的样本信息通过似然函数进入。 贝叶斯推断的一般模式：先验信息样本信息后验信息（见图1） 先验信息贝叶斯定理后验分布预报密度样本信息图 1 贝叶斯推断的基本模式 贝叶斯学派认为，先验分布反映了实验前对总体分布的认识，在获得样本信息后，人们对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了

3、参数先验分布和样本信息。由此可以看出，频率学派统计推断是“从无到有”的过程：在实验前，关于未知参数的情况是一无所知，而试验后则有些了解，但对了解多少并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性。贝叶斯推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯。根据所获得的信息修正以前的看法，不一定从零开始。从本质上说，贝叶斯推断方法概括了一般人的学习过程。 贝叶斯方法只能基于参数的后验分布来分析问题。也就是说，在获得后验分布后，如果把样本、原来的统计模型（包括总体分布和先验分布）都丢掉，一点也不会影响将来的统计推断问题，凡是符合这个准则的推断就是贝叶斯推断。据此，频

4、率学派中的矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断的范畴，但MLE估计则可视为均匀先验分布下的贝叶斯估计。因此，作为频率学派中一个很重要的极大似然估计，不过是在一种很特殊的先验分布下的贝叶斯估计而已。§3 先验分布理论 式(1.2.3)中表示的先验概率密度代表了我们对于一个模型中参数的先验信息，是一个事前的自觉的认识（分“基于数据”的先验和“非基于数据”的先验），即在贝叶斯方法中，关于模型参数的先验信息。先验分布是贝叶斯推断理论的基础和出发点，它大体上可以分为扩散先验分布和共轭先验分布两大类。§3.1 扩散先验分布3.1.1 位置参数的扩散先验分布 如果随机变

5、量的分布密度函数为，则称为位置参数。假设没有信息可以被利用，现在要确定的先验分布。 如果将随机变量做平移变换，同时对位置参数也做同样的平移变换，则的分布密度函数为，显然与有相同的统计结构，从而和有相同的先验分布和概率空间。由Radom-Nikodym定理有 (1.3.1)取，可以得到，从而位置参数的扩散先验分布为 (1.3.2) 对于正态分布 ，已知，此时是位置参数，利用上述结论，参数的扩散先验分布为 (1.3.3) 3.1.2 尺度参数的扩散先验分布 如果随机变量的密度函数的形式为，则称为尺度参数。如果改变尺度单位，令，易知的分布密度函数为；同样地，与有相同的统计结构，和有相同的先验分布，由

6、Radom-Nikodym定理，对于尺度参数，在无先验信息可利用时，尺度参数的先验密度函数，可取做 (1.3.4) 对于正态分布 ，已知， 未知，此时标准差是尺度参数，利用上述结论，参数的扩散先验分布为 (1.3.5)§3.2 共轭先验分布 共轭分布是贝叶斯分析中常见的另一类参数先验分布，其思想基础是先验的规律和后验的规律具有一致性，这一要求的具体化就是先验分布和后验分布要属于同一类分布族。对于每个具体的分布来说，都有其共轭分布，下面利用似然函数的因子分解式和充分统计量等分析方法来构造所需的共轭先验分布。 定理3.2.1 假设是来自分布密度函数为，的总体的一个样本，是参数的充分统计量

7、，即似然函数可做下面分解： (1.3.6)其中与参数无关。如果存在函数，它满足如下两个条件： （1）； （2） 有限，则为参数的共轭分布族。 这里只介绍共轭先验分布的具体定义，有关它的相关结论见参考文献2。§4 贝叶斯方法的优点 贝叶斯理论的哲理有很大的吸引力，并且方法简单，它在统计推断模式上与频率学派的不同之处在于：频率学派认为，似然函数概括了有关参数的全部信息，因此关于参数的统计推断只要利用似然函数就够了；而贝叶斯方法既利用了似然函数，又利用了参数先验信息。如果先验信息很少或者没有先验信息，这时贝叶斯推断方法所得到的结论与频率方法基本相同。 与频率方法比较，贝叶斯方法有以下几方面

8、优点：贝叶斯方法充分利用了样本信息和参数的先验信息，在进行参数估计时，通常贝叶斯估计量具有更小的方差或平方误差，能得到更精确的预测结果；贝叶斯HPD置信区间（最高后验概率密度区间）比不考虑参数先验信息的频率置信区间短；能对假设检验或估计问题所做出的判断结果进行量化评价，而不是频率统计理论中的接受、拒绝的简单判断。2、 贝叶斯向量自回归模型（BVAR）在变量较多，滞后阶数较高时，即所要估计的参数较多的情况下，Bayesian估计方法提供了一个较好的方法，拟合效果要比传统的极大似然估计方法好。§1 贝叶斯非限制性VAR模型 如果令表示个变量在点处的取值，则向量序列的滞后阶数为的非限制性V

9、AR()模型可以表示为 (2.1.1) 此处是一个维向量，均为的系数矩阵，向量是一个维白噪声向量，即而是一个正定阵向量。 易知非限制性VAR()模型中的每个方程的解释变量是相同的。可以将(2.1.1)化成多方程模型系统形式 (2.1.2) 其中进一步，若将向量和的转置分别按行依次排列，各自形成一个矩阵，则上述个方程可以简化为一个更为紧凑的矩阵表达形式 (2.1.3) 其中 特别地，对于扩散先验分布，非限制性VAR()模型参数的后验分布有如下结论：定理 1.1 在扩散先验分布下，非限制性VAR()模型参数的后验分布为 (2.1.4) 其中§2 贝叶斯限制性VAR模型 在VAR()模型中

10、，模型系数B可能受到某些条件的限制，如各方程中解释变量并不完全相同，某些变量可能在部分方程中出现，但并不出现在其他方程中；或者，部分方程中有线性趋势项或季节变量，而其他方程不包含这些变量。 根据Zeller的观点，在一般排斥性限制条件下，(2.1.1)式中的VAR()模型模型能够写成如下似不相关模型： (2.2.1) 此处是由第个变量个观测值构成的维向量，是第个变量单方程模型的设计矩阵，它由变量的部分滞后项组成；是第个变量单方程模型的维系数向量，是维正态随机误差向量。若将这个方程写成一个矩阵形式，则有 (2.2.2)其中 由于这一情形不作为我们研究的重点，所以这一部分的相关结论暂时省去，详见参

11、考文献3。§3 共轭先验分布下模型的贝叶斯分析 对于一般共轭分布而言，由于超参数太多，VAR()模型的贝叶斯推断只具有理论上的意义，而不能应用于实际预测分析中，本节研究一类特殊的参数共轭先验分布：Minnesota共轭先验分布下VAR()模型的贝叶斯分析理论。 Minnesota先验分布是Litterman于1986年提出来的，它主要用于解决共轭先验分布下贝叶斯VAR()模型中超参数过多问题，提高模型的预测精度。§3.1 Minnesota先验分布 如果(2.1.1)式的VAR()模型不含常数项，则模型中的具体方程如下： (2.3.1) 显然表示第个方程中变量的阶滞后项的系

12、数，如果随机参数服从均值为、方差为的正态分布，此时模型(2.3.1)中参数先验分布中需要确定的超参数至少有个：个先验均值和个先验方差。如果不考虑先验信息的可取性，在一般情况下要合理地给定这个超参数的取值是相当复杂和困难的，因此，必须想办法减少需要赋值的超参数的数量，确定超参数的合理取值，提高模型的预测能力。Minnesota先验分布就是解决这一问题的有效方法，它的基本假定包括以下几个方面： （1）正态性 ； （2）协方差阵和系数相互独立； （3）协方差阵的模型先验分布取为扩散先验分布，即 (2.3.2) （4）相互独立服从正态分布，表示参数的最佳猜测值，而反映了对这个猜测的信心，其取值越小表示

13、对此猜测的信心越大； （5）均值按照下述公式确定： (2.3.3)即方程左边的变量只由其系数为1的滞后一阶变量表示； （6）标准差可以分解为4个因子的乘积，即 (2.3.4)此处是总体紧度，它的取值大小反映了分析人员对先验信息的信心大小程度，较小的值代表了对先验信息的较大把握；是阶滞后变量相对一阶变量的紧度，它表示过去信息比当前信息有用程度的减少；函数是第个方程中第个变量相对于第个变量的紧度，是变量的单变量自回归模型的标准差。§3.2 滞后延迟函数 在Minnesota先验分布中，滞后延迟函数的选择必须能反映这样一个基本信念：随着滞后长度的增加，滞后变量的系数趋向于零；据此这里使用D

14、oan推荐的调和滞后延迟函数，形式如下： (2.3.5)§3.3 相对紧度函数 在确定和后，先验分布中超参数数量已经从减少到：个相对紧度函数，以及和；若进一步选择合适的，则先验分布中参数个数可大为减少。显然，可以看做一个矩阵的处的元素，如果取如下形式的函数： (2.3.6)其中是一个介于的常数，它的取值大小反映了第个方程中其他变量（不包括及其滞后变量）的相对紧度。如果对所有的，均有成立，则个参数的选取问题转化为确定一个超参数的大小。§3.4 标准差之比的涵义 在Minnesota先验分布的基本假设（6）中，是第个序列的自回归残差标准差与第个序列自回归残差标准差之比，由对常数

15、项和其阶滞后项的OLS回归的残差标准差得到。比例主要用于反应：先验分布的设定必须考虑实际的样本数据信息。 以上是Minnesota先验分布的基本含义及其参数设定问题的研究，为使上述描述更直观，这里以一个滞后长度为2阶的双变量VAR()模型加以说明，该模型系数的Minnesota先验分布为 (2.3.7)括号内的第一项为先验分布的均值，第二项为先验分布的方差。§3.5 模型参数的后验估计然后再写成(2.2.2)的形式§3.6 模型预测结果及其精度预测§3.7 具体数值算例 首先，根据美国Estima公司提供的时间序列数据，利用Sims似然比检验量确定模型的最优滞后阶

16、数，模型VAR()对模型VAR()的似然比检验统计量为表1. 模型最优滞后阶数的LR检验结果然后，选择贝叶斯VAR模型中3个超参数，衰减参数()、总体紧度()和相对紧度()，此处考虑超参数的三种组合情况（表2），并将相应的贝叶斯VAR模型分别记为BVAR1、BVAR2和BVAR3.表2. 模型超参数的选择统计值，有关结果列于表3和表4.表3. 14步超前预测的平均西尔U统计值（1993:11998:4）表4. 58步超前预测的平均西尔U统计值（1993:11998:4）表3和表4所列的计算结果表明：在AR模型，VAR模型和三类贝叶斯VAR模型中，BVAR1、BVAR2和BVAR3模型的平均西尔U统计值均小于前两类模型的平均西尔U统计值，这一点也可以从表5中看出，这说明贝叶斯VAR模型预测效果优于AR模型和VAR模型。表5. 超前预测的组合综合平均西尔U统计值§3.8 结论 贝叶斯向量自回归估计技术用一种简单的方法来处理VAR模型中参数过多的问题，原则是当参数被判定在某一值时，使模型参数趋近于这一值而不是锁定该确定值。所以，只要有必要的数据支持，这种随机变量有某种可能的先验分布，该先验分布被认为包含了预测者在预测前所获取的某种相关信息。如果这种信息缺乏，则可能是由于存在扩散的先验分布。模型采用的先验分布是随机先验分布，也称为Minnesota先验分布。相比V