BVAR模型简介

1、贝叶斯向量自回归模型(BVAR)简介一、贝叶斯方法原理简介1贝叶斯方法起源英国学者T.贝叶斯1763年在论有关机遇问题的求解中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到20世纪30年代。到5060年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。§2贝叶斯定理及其特点记p(y,8)为一个随机观察向量y的联合概率密度函数，。为一个参数向量，它也看成是(1.2.1)随机的。根据通常对概

2、率密度的运算有：p(y,8)=p(y18)p(8)=p(/|y)p(y)因而(1.2.2)其中p(y)=0。将上式表达如下:p(9|y)Hp(8)p(y|8)比先验概率密度M似然函数(1.2.3)其中如表示成比例，p(9|y)是在给定样本信息y后，参数向量。的后验概率密度，p(8)是参数向量。的先验概率密度，p(y|8)看作。的函数，就是熟知的似然函数。式(1.2.3)将所有的先验的、样本的信息融入其中，先验信息通过先验密度进入后验密度，而所有的样本信息通过似然函数进入。贝叶斯推断的一般模式：先验信息学样本信息=后验信息(见图1)图1贝叶斯推断的基本模式贝叶斯学派认为，先验分布反映了实验前对总

3、体分布的认识，在获得样本信息后，人们对这个认识有了改变，其结果就反映在后验分布中，即后验分布综合了参数先验分布和样本信息。由此可以看出，频率学派统计推断是“从无到有”的过程：在实验前，关于未知参数的情况是一无所知，而试验后则有些了解，但对了解多少并无普遍的表述方法，在实践中有赖于所使用的统计量的针对性。贝叶斯推断则不然，它是一个“从有到有”的过程，且结果清楚自然，符合人们的思维习惯。根据所获得的信息修正以前的看法，不一定从零开始。从本质上说，贝叶斯推断方法概括了一般人的学习过程。贝叶斯方法只能基于参数的后验分布来分析问题。也就是说，在获得后验分布后，如果把样本、原来的统计模型(包括总体分布和先

4、验分布)都丢掉，一点也不会影响将来的统计推断问题，凡是符合这个准则的推断就是贝叶斯推断。据此，频率学派中的矩估计、显著性统计检验和置信区间估计都不属于贝叶斯推断的范畴，但MLE估计则可视为均匀先验分布下的贝叶斯估计。因此，作为频率学派中一个很重要的极大似然估计，不过是在一种很特殊的先验分布下的贝叶斯估计而已。3先验分布理论式(1.2.3)中p(8)表示的先验概率密度代表了我们对于一个模型中参数的先验信息，是一个事前的自觉的认识(分“基于数据”的先验和“非基于数据”的先验)，即在贝叶斯方法中，关于模型参数的先验信息。先验分布是贝叶斯推断理论的基础和出发点，它大体上可以分为扩散先验分布和共轲先验分

5、布两大类。力.1扩散先验分布3.1.1 位置参数的扩散先验分布如果随机变量Y的分布密度函数为f(y-日),日w。，则称8为位置参数。假设9没有信息可以被利用，现在要确定日的先验分布。如果将随机变量Y做平移变换，Z=Y+a,同时对位置参数也做同样的平移变换“=e+a,则Z的分布密度函数为f(z")J乏。，显然(丫粗)与(ZJ)有相同的统计结构，从而日和“有相同的先验分布p(|_)和概率空间。由Radom-Nikodym定理有p(二)二p(1-a),-。(1.3.1)取8=a,可以得到p(0)=const,V9w。，从而位置参数日的扩散先验分布为(1.3.2)已知，此时N是位置参数，利用

6、上述结论，参数散先验分布为(1.3.3)p(-)二1,/三R3.1.2 尺度参数的扩散先验分布如果随机变量Y的密度函数的形式为1fy,6>0,则称日为尺度参数。如果改变尺一一1Iz.度单位，令Z=aYj=a8,e>0,易知Z的分布密度函数为1fI-；同样地，(Y国)与(Z,")有相同的统计结构，和“有相同的先验分布P(L),由Radom-Nikodym定理，对于尺度参数0,在无先验信息可利用时，尺度参数日的先验密度函数，p(0)可取做，.、1.八p(i).，10(1.3.4)对于正态分布N(N0,。2),也已知，仃0未知，此时标准差仃是尺度参数，利用上述结论，参数仃的扩散

7、先验分布为，、1c，一P(二)一，二0(1.3.5)CT鼠2共轲先验分布共轲分布是贝叶斯分析中常见的另一类参数先验分布，其思想基础是先验的规律和后验的规律具有一致性，这一要求的具体化就是先验分布和后验分布要属于同一类分布族。对于每个具体的分布来说，都有其共轲分布，下面利用似然函数的因子分解式和充分统计量等分析方法来构造所需的共辗先验分布。定理3.2.1假设Y1,YJ|,Yn是来自分布密度函数为f(y|6),的总体的一个样本，tn=t(Y1,Y2,IH,Yn)是参数8的充分统计量，即似然函数可做下面分解：nL(6)=nf(8|Y)=gn(tn")h(Y,川,Yn)(136)其中卜(丫1

8、,丫2,|,工)与参数日无关。如果存在函数p(8),它满足如下两个条件：(1)p之0,卡睚。；(2)3n(tn,e)p(8)de有限，则，UI1J心p(O)d。t*o)为参数e的共轲分布族。这里只介绍共轲先验分布的具体定义，有关它的相关结论见参考文献2。§4贝叶斯方法的优点贝叶斯理论的哲理有很大的吸引力，并且方法简单，它在统计推断模式上与频率学派的不同之处在于：频率学派认为，似然函数概括了有关参数的全部信息，因此关于参数8的统计推断只要利用似然函数就够了；而贝叶斯方法既利用了似然函数，又利用了参数先验信息。如果先验信息很少或者没有先验信息，这时贝叶斯推断方法所得到的结论与频率方法基本

9、相同。与频率方法比较，贝叶斯方法有以下几方面优点：贝叶斯方法充分利用了样本信息和参数的先验信息，在进行参数估计时，通常贝叶斯估计量具有更小的方差或平方误差，能得到更精确的预测结果；贝叶斯HPD置信区间(最高后验概率密度区间)比不考虑参数先验信息的频率置信区间短；能对假设检验或估计问题所做出的判断结果进行量化评价，而不是频率统计理论中的接受、拒绝的简单判断。二、贝叶斯向量自回归模型(BVAR)在变量较多，滞后阶数较高时，即所要估计的参数较多的情况下，Bayesian估计方法提供了一个较好的方法，拟合效果要比传统的极大似然估计方法好。1贝叶斯非限制性VAR模型如果令ytL(yit,y2t,-,ym

10、t)T表示m个变量在t点处的取值，则向量序列yj的滞后阶数为p的非限制性VAR(p)模型可以表示为yt=c+AiytA+A2yt2+III+apyt+Ut,t=1,2|,n(2.1.1)此处c是一个m维向量，A八j=1,2|,m均为mxm的系数矩阵，向量Ut是一个m维白噪声向量，即Uti.idNm(0r),t=1,2|,n而、是一个mm正定阵向量。易知非限制性VAR(p)模型中的每个方程的解释变量是相同的。可以将(2.1.1)化成多方程模型系统形式(2.1.2)yt=BTztut,t=1,2|,n其中1ytz=y-+ATp(mp1)；：m+<yt_pJ(mp41)XI进一步，若将向量yt

11、,Btz不口Ut,t=1,2|,n的转置分别按行依次排列，各自形成一个n><m矩阵，则上述n个方程可以简化为一个更为紧凑的矩阵表达形式(2.1.3)Y=ZB+U,UNn淅(0,、In)rt*I)特别地，对于扩散先验分布，非限制性VAR(p)模型参数的后验分布有如下结论：定理1.1在扩散先3分布n(B,N)h1314m我/2下，非限制性VAR(p)模型参数的后验分布为(B|Y,Z)Mtk>m(B,ZTZ,S,n-k),(2|Y,Z)IWm(S,nm),k=mp+1(2.1.4)其中Bu(ZTZ)ZTY,S-YTIm-(ZTZ),ZTY§2贝叶斯限制性VAR模型在VAR

12、(p)模型中，模型系数B可能受到某些条件的限制，如各方程中解释变量并不完全相同，某些变量可能在部分方程中出现，但并不出现在其他方程中；或者，部分方程中有线性趋势项或季节变量，而其他方程不包含这些变量。根据Zeller的观点，在一般排斥性限制条件下，(2.1.1)式中的VAR(p)模型模型能够写成如下似不相关模型：Y=Z；Pi+曷1=1,2,川,m(2.2.1)此处Y是由第i个变量n个观测值构成的n维向量，Zi是第i个变量单方程模型的n父ki设计矩阵，它由变量y1,y2,|l|,ym的部分滞后项组成；Pi是第i个变量单方程模型的ki维系数向量，埼是n维正态随机误差向量。若将这个方程写成一个矩阵形

13、式，则有其中Y2Y=ZP+a,E-Nmn(0,二In)(2.2.2)由于这一情形不作为我们研究的重点,Z=20III0”0Z2HI01®=%*-,*I。0HIZm,*m)所以这一部分的相关结论暂时省去，详见参考文献3。§3共轲先验分布下VAR模型的贝叶斯分析对于一般共轲分布而言，由于超参数太多，VAR(p)模型的贝叶斯推断只具有理论上的意义，而不能应用于实际预测分析中，本节研究一类特殊的参数共轲先验分布：Minnesota共轲先验分布下VAR(p)模型的贝叶斯分析理论。Minnesota先验分布是Litterman于1986年提出来的，它主要用于解决共轲先验分布下贝叶斯VA

14、R(p)模型中超参数过多问题，提高模型的预测精度。4.1Minnesota先验分布如果(2.1.1)式的VAR(p)模型不含常数项，则模型中的具体方程如下：mpyit=££aijryjj+51=1,2j|,m;t=1,2j|,n.(2.3.1)j3rT显然ajr表示第i个方程中变量yj的r阶滞后项y的系数，如果随机参数aijr服从均值为踊r、方差为Sij的正态分布，此时模型(2.3.1)中参数先验分布中需要确定的超参数至少有2m2p个：m2p个先验均值瓯和m2p个先验方差§：。如果不考虑先验信息的可取性，在2一般情况下要合理地给定这2mp个超参数的取值是相当复杂和

15、困难的，因此，必须想办法减少需要赋值的超参数的数量，确定超参数的合理取值，提高模型的预测能力。Minnesota先验分布就是解决这一问题的有效方法，它的基本假定包括以下几个方面：(1)正态性Ut=(Ui,U2,|Um)r-Nm(0,力；(2)协方差阵-和系数ajr,i=1,2,III,m,r=1,2,|,p相互独立;(3)协方差阵、的模型先验分布取为扩散先验分布，即,、_(m1)/2-元(2)引斗,2>0(2.3.2)(4)aijr相互独立服从正态分布N传ijr,$),djr表示参数%的最佳猜测值，而S反映了对这个猜测的信心，其取值越小表示对此猜测的信心越大;(5)均值,内按照下述公式确

16、定：(2.3.3)_l1,i=j,r=1,与=。，其他情况,即方程左边的变量只由其系数为1的滞后一阶变量表示；(6)标准差Sjr可以分解为4个因子的乘积，即SSjr=¥g(r)f(i,j)(2.3.4)Sj此处尸是总体紧度，它的取值大小反映了分析人员对先验信息的信心大小程度，较小的尸值代表了对先验信息的较大把握；g(r)是r阶滞后变量相对一阶变量的紧度，它表示过去信息比当前信息有用程度的减少；函数f(i,j)是第i个方程中第j个变量相对于第i个变量的紧度，s是变量V的单变量自回归模型的标准差。§3.2滞后延迟函数在Minnesota先验分布中，滞后延迟函数g(r)的选择必须

17、能反映这样一个基本信念：随着滞后长度的增加，滞后变量的系数趋向于零；据此这里使用Doan推荐的调和滞后延迟函数，形式如下：-d,g(r)=r,d0(2.3.5)§3.3相对紧度函数.、一.一.2,.2_2.一、在确定r和g(r)后，先验分布中超参数数量已经从mp减少到m+2：m个相对紧度函数f(i,j),以及r和g(r)；若进一步选择合适的f(i,j),则先验分布中参数个数可大为减少。显然，f(i,j)可以看做一个mxm矩阵F(f(i,j)m刈的(i,j)处的元素，如果f(i,j)取如下形式的函数：F=jf(i,j)=.(2.3.6)Wj,i手j其中Wj是一个介于0-1的常数，它的取

18、值大小反映了第i个方程中其他变量(不包括Xi及其滞后变量)的相对紧度。如果对所有的i#j,均有wj=w成立，则m2个参数f(i,j)的选取问题转化为确定一个超参数w的大小。/.4标准差之比s/sj的涵义在Minnesota先验分布的基本假设(6)中，SSj是第i个序列yit的自回归残差标准差与第j个序列丫口自回归残差标准差之比，si由yj对常数项和其p阶滞后项的OLS回归的残差标准差得到。比例s/与主要用于反应：先验分布的设定必须考虑实际的样本数据信息。以上是Minnesota先验分布的基本含义及其参数设定问题的研究，为使上述描述更直观，这里以一个滞后长度为2阶的双变量VAR(2)模型加以说明

19、，该模型系数的Minnesota先验分布为(哆)(。,竽)(。,空)I力=u2,U>U-i+a2.l.2yij-2+加-1气丸2>24-2+tt2r心竽)(。钾)OM(哆)(2.3.7)括号内的第一项为先验分布的均值，第二项为先验分布的方差。§3.5模型参数的后验估计如果将限制性VAR5模型转化成如下形式不相关模蟹：Yi=>1=1,2,内Y=ZP十%君Nmn（0,2In）并将模型参数的Minnesou先验分布简记为N（均，MQ.此处间的分M为。或i,而协方差阵Mo是由行块对用阵构成的，其中的每一个对角阵的元素由哈组成，非对角块元素均为零的矩阵根据贝叶斯定理，在上述M

20、innesota先验分布下，参数（人£）的联合后验分布密度函数为国，“"呼卜如-2例人工®h尸。-Z0）+（2-4户时”华一与小一a”一"乜）-瓦廿危其中B*vt吃er®乙尸八知V=ZT（J,®/（1）-|Z+Molrl显然，对于给定的协方龙阵工，系数矩阵P的条件后验分布是均值为，人协方差阵为v的多元正态分布，即（川£乂力“（瓦，V）在实际应用中,先求出工的ML估计£*§/,s=/m-z（zTzrlzT>将其韵弋/日中的协方差阵E进行预恻分析.§3.6 模型预测结果及其精度预测住获得模型参

21、数的估计后，可以利用贝叶斯VAR(p)模型对其进行预测分析.13体俺测步嘿AR模型和WAR模型的演测步骤基本一致，可以是一步超前(onestepahtad)预测、两小超前预测(1wostepsahead)或多步留前(severalstepsahead)颈测.模型ffi测的精度可以从多个方面进行评价.如绝对均方误差，平均绝对误差百分比，此处我们利用Theil的U统计量来分析贝叶斯VARS液型的段测精度.口统计量是基于所研究的预测模型的均方根误舞与基于随机褥走(emdomwalk)债测模型的均方根误差之比，即其中4表不时间序列在，处的实陋值，表示基于预测方法M的他测值.而Frwj是基F随机游走模型

22、的预测值，如果U的取值等J10.则说明方法M的预测精度与随机游走模型的预测精度基本相同；如果”的取值小于L0,则说明方法M的预测精度比随机游走模型的预测精度更高；如果U的取值大于10,则说明方法M的预测精度比随机游走模型的预测精度低.此时该方法不能提高时间序列的预测精度,从而也就不适合于预测用途.§3.7 具体数值算例作为上述方法的应用，对美国，英国、法国、德国、加拿大.意大利和日本等西h七国集团的GDP增K率(%)、通货膨胀率(%)和进出口总颔(b5)的数据分别建*AR模型，VAR模型和贝叶斯VAR模型，比较这三类模型的j#测精度.首先，根据美国Estima公司提供的时间序列数据，

23、利用Sims似然比检验量确定模型的最优滞后阶数，模型VAR(p1)对模型VAR(p2)的似然比检验统计量为-A畤FJ?=(N-NMlnial-lniq.I),p<p2此处4,。,分别是模型VARQM和VARfp。的残差协方差阵.N是样本大小.而是修正因子项.它等于YARfp：黑型中回归闪子的个数.表641列出了VAR模型滞后3阶对滞后5阶的假设检脸结果，检验结果有利于较短的滞后阶数.而在滞后3阶对滞后4阶的假设检验，检验结果有利于3滞后阶数，因此确定VAR模型的之后阶数为3.表1.模型最优滞后阶数的LR检验结果%Wrm3*，HjP4LR餐率LRft率GDP增长29.570.002通映基猿

24、921O4Z354920000进出口同京use0.3462347Q.0L9然后，选择贝叶斯VAR模型中3个超参数，衰减参数（d）、总体紧度（r）和相对紧度（w）,此处考虑超参数的三种组合情况（表2）,并将相应的贝叶斯VAR模型分另记为BVAR1、BVAR2和BVAR3.表2.模型超参数的选择模赞dTHVAR11.Q0.403BVAR21.00.304BVAR3L0020.6利用RATS50软件和1963:1-1992:4的数据对AR模型.VAR模型和见叶斯VARfp暇型进行估计，并对E993："1998:4进行步超前至8步超前愤测，井计算I步超前低测至4步超附预测、5步超前预测至8步

25、超前摘测的平均泰尔u统统计值，有关结果列于表3和表4.表3.1-4步超前预测的平均西尔U统计值（1993:1-1998:4)黄国法国Bn意大利加拿大日本平均G口P懵区事ARo?ai1>64|008440B6607140774VAR0«740649OB160.721o.m0545073(BVARt06220.61j0692O.SOi口73105830629bvar:0.5M*7的(1.3H0,6200.43201340493BVAR30.5A507400.6010.7100.568077«(UI6Q,6鸿通贷拢胀率AR0637O5S408190.6520.602DMAV

26、AR0.57。UM30.8630.7060776037206(*O.«65BVAK105%04%06870.7320.60705720.608BVAM20445030XMf0.6219jmQftW。加bvar0M9051708130.62706020.5WC5950600膏出口息HARCK1Q0KW090J0.86B0660770O78M0111VARU8S5OMS0,6»70.627OB650.7470798HVARJtW0473DhM07<nOJQI0177(171KBVAR2C.79R11O5B508680,42105750,627HVAR50,815。4的惯例

27、07430.65205精Q6850643表4.58步超前预测的平均西尔U统计值（1993:1-1998:4）英国区国隙大利加拿大口在平均GDP增快率AA0)13。号63095J在对0.B98G7I1QJS70.835VAR0.943017509200.930。康70.557。融BVARL0.6210,820.S640,636U.W0.SI21),612。747BVAR2058206H0S4206010.8M0.53705420.05JBVAR3通推疑服率0.737(X酩0077508520.4510.53(0.694AR07920SWOB35C.8M0.8260.S300843VAR0W7O.B760m0,神3力7M0.BO3BVARI0.51904350.T760A2I0.56807140.5AG0.604BVAR205510.53J0,543073