线性模型的贝叶斯估计课件

1、线性模型的贝叶斯估计3.2 3.2 经典线性计量经济学模型的经典线性计量经济学模型的贝叶斯估计贝叶斯估计Bayesian Estimation Bayesian Estimation Bayesian EconometricsBayesian Econometrics（教材（教材3.33.3） 一、贝叶斯定理一、贝叶斯定理 二、正态线性单方程计量经济学模型的贝叶斯二、正态线性单方程计量经济学模型的贝叶斯 估计估计线性模型的贝叶斯估计0 0 引子引子 在在Econometric Analysis(第第3版版)中：中： Chapter 6 The Classical Multiple Linear

2、 Regression ModelSpecification and Estimation 6.9 Bayesian Estimation 在在Econometric Analysis(第第5版版)中：中： Chapter 16 Estimation Frameworks in Econometrics 16.2 Parametric Estimation 16.2.2 Bayesian Estimation线性模型的贝叶斯估计 作为一类估计方法，其原理是重要的。作为一类估计方法，其原理是重要的。 在实际应用中，由于先验信息难以获得，该估计在实际应用中，由于先验信息难以获得，该估计方法很难应用

3、。方法很难应用。 贝叶斯统计是由贝叶斯统计是由T.R.BayesT.R.Bayes于于1919世纪创立的数理统世纪创立的数理统计的一个重要分支，计的一个重要分支，2020世纪世纪5050年代，以年代，以H.RobbinsH.Robbins为代表提出了在计量经济学模型估计中将经验贝为代表提出了在计量经济学模型估计中将经验贝叶斯方法与经典方法相结合，引起了广泛的重视。叶斯方法与经典方法相结合，引起了广泛的重视。 贝叶斯估计对经典计量经济学模型估计方法的扩贝叶斯估计对经典计量经济学模型估计方法的扩展在于，它不仅利用展在于，它不仅利用样本信息样本信息，同时利用，同时利用非样本非样本信息信息。 线性模型

4、的贝叶斯估计一、贝叶斯定理一、贝叶斯定理线性模型的贝叶斯估计贝叶斯定理贝叶斯定理)()()()(BPAPABPBAP)()()()(数据参数参数数据数据参数PPPPgYfYgfY()()()()gYLYg()()( )线性模型的贝叶斯估计 后验信息正比于样本信息与先验信息的乘积。后验信息正比于样本信息与先验信息的乘积。 可以通过样本信息对先验信息的修正来得到更准可以通过样本信息对先验信息的修正来得到更准确的后验信息。确的后验信息。 线性模型的贝叶斯估计单方程计量经济学模型贝叶斯估计的过程单方程计量经济学模型贝叶斯估计的过程 确定模型的形式，指出待估参数确定模型的形式，指出待估参数 给出待估参数

5、的先验分布给出待估参数的先验分布 利用样本信息，修正先验分布利用样本信息，修正先验分布 利用待估参数的后验密度函数，进一步推断出待利用待估参数的后验密度函数，进一步推断出待估参数的点估计值，或进行区间估计与假设检验估参数的点估计值，或进行区间估计与假设检验 预测预测 线性模型的贝叶斯估计二、正态线性单方程计量经济学模二、正态线性单方程计量经济学模型的贝叶斯估计型的贝叶斯估计线性模型的贝叶斯估计有先验信息的后验分布有先验信息的后验分布 Y X( ,)N 02Ige( )()() 121选择选择B的先验分布为自然共轭分布，的先验分布为自然共轭分布，B的自然共轭的自然共轭先验密度函数为正态密度函数：

6、先验密度函数为正态密度函数： 线性模型的贝叶斯估计LYeYYX()() ()122XgYgLY()( )() B的或然函数等同于它的联合密度函数的或然函数等同于它的联合密度函数 利用贝叶斯定理，得到利用贝叶斯定理，得到B的后验密度函数为：的后验密度函数为： 线性模型的贝叶斯估计gYWGWG()exp() ()1221)(21nkYAWGAk n n 12X()A21YAAWGGGXXXXXXX111)()()()(线性模型的贝叶斯估计 后验精确度矩阵是先验精确度矩阵与样本信息精后验精确度矩阵是先验精确度矩阵与样本信息精确度矩阵之和，故后验精确度总是高于先验精确确度矩阵之和，故后验精确度总是高于

7、先验精确度；度； 后验均值是先验均值与样本信息后验均值是先验均值与样本信息OLS估计值的加估计值的加权平均和，权数为各自的精确度。权平均和，权数为各自的精确度。 )/(211XXB112X X /() (,) YN线性模型的贝叶斯估计无先验信息的后验分布无先验信息的后验分布 作为有信息先验的一种特殊情况，即无信息先验作为有信息先验的一种特殊情况，即无信息先验的精确度为的精确度为0。 1012XX/)/()/(212XXXX)(,()(12XXNY线性模型的贝叶斯估计 认为待估参数的所有元素服从（认为待估参数的所有元素服从（，+）上的）上的均匀分布，且互不相关。均匀分布，且互不相关。 ggggc

8、k( )()()() 12gYgLYLY()( )()()()(21exp)()()()(21exp22XXXXXXYbY线性模型的贝叶斯估计 从形式上看，无信息先验得到的后验分布均值与样从形式上看，无信息先验得到的后验分布均值与样本信息的本信息的OLS估计相同，但二者有不同的含义。估计相同，但二者有不同的含义。 )(,()(12XXNY线性模型的贝叶斯估计 点估计点估计 利用损失函数并使平均损失最小。利用损失函数并使平均损失最小。dYgLoYLoE)(),(min),(minLo ()()M 二次损失函数的点估计值为后验均值。二次损失函数的点估计值为后验均值。() E线性模型的贝叶斯估计 区

9、间估计区间估计 根据根据B B的后验密度函数进行区间估计。的后验密度函数进行区间估计。 需要引入最高后验密度区间的概念：区间内每点的需要引入最高后验密度区间的概念：区间内每点的后验密度函数值大于区间外任何一点的后验密度函后验密度函数值大于区间外任何一点的后验密度函数值，这样的区间称为最高后验密度区间（数值，这样的区间称为最高后验密度区间（HPDHPD区区间）。间）。 参数的最高后验密度区间在形式上与经典样本信息参数的最高后验密度区间在形式上与经典样本信息理论中的置信区间是一致的，但解释并不相同。理论中的置信区间是一致的，但解释并不相同。 线性模型的贝叶斯估计 假设检验假设检验 可以用最高后验密

10、度区间进行假设检验。可以用最高后验密度区间进行假设检验。 常用的方法是利用后验优势比检验。常用的方法是利用后验优势比检验。 线性模型的贝叶斯估计试例试例 选取选取1978-1997年的数据为样本，采用经典模型年的数据为样本，采用经典模型的估计方法，得到的结果。的估计方法，得到的结果。 TtGDPDEttt, 2 , 110453008886. 018.126210线性模型的贝叶斯估计 选取选取1952-1977年的数据为样本观测值，估计模年的数据为样本观测值，估计模型，将估计结果作为先验信息。得到参数的先验型，将估计结果作为先验信息。得到参数的先验均值和先验协方差矩阵。均值和先验协方差矩阵。

11、047678. 0981.10100051204. 20371. 00371. 0615.76e线性模型的贝叶斯估计 利用样本信息修正先验分布，得到后验均值和协利用样本信息修正先验分布，得到后验均值和协方差矩阵。就是参数的点估计值。方差矩阵。就是参数的点估计值。 00979. 00354.871000898683. 2000262. 0000262. 00093.10e线性模型的贝叶斯估计 利用模型预测利用模型预测1998年的国防支出，得到预测值为年的国防支出，得到预测值为865.7，在，在95%的置信水平下预测值的置信区间为的置信水平下预测值的置信区间为（780.4,951.0）。）。1998年实际国防支出为年实际国防支出为934.7。 利用仅仅依赖于利用仅仅依赖于1978-1997年样本信息估计的模型年样本信息估计的模型对对1998年进行预测，得到年