《贝叶斯估计》ppt课件

1、2.3 2.3 经典线性计量经济学模型的经典线性计量经济学模型的贝叶斯估计贝叶斯估计Bayesian Estimation, Bayesian Estimation, Bayesian Econometrics Bayesian Econometrics 一、贝叶斯估计一、贝叶斯估计 二、一方程计量经济学模型的贝叶斯估计二、一方程计量经济学模型的贝叶斯估计三、例题三、例题阐明阐明 在在(第第3版版)中：中： Chapter 6 The Classical Multiple Linear Regression ModelSpecification and Estimation 6.9 Bayes

2、ian Estimation 在在(第第5版版)中：中： Chapter 16 Estimation Frameworks in Econometrics 16.2 Parametric Estimation 16.2.2 Bayesian Estimation 贝叶斯估计对经典计量经济学模型估计方法的扩贝叶斯估计对经典计量经济学模型估计方法的扩展在于，它不仅利用样本信息，同时利用非样本展在于，它不仅利用样本信息，同时利用非样本信息。信息。 贝叶斯统计是由贝叶斯统计是由T.R.BayesT.R.Bayes于于1919世纪创建的数理统世纪创建的数理统计的一个重要分支，计的一个重要分支，2020世

3、纪世纪5050年代，以年代，以H.RobbinsH.Robbins为代表提出了在计量经济学模型估计中将阅历贝为代表提出了在计量经济学模型估计中将阅历贝叶斯方法与经典方法相结合，引起了广泛的注重。叶斯方法与经典方法相结合，引起了广泛的注重。 在实践运用中，由于先验信息难以获得，该估计在实践运用中，由于先验信息难以获得，该估计方法很难运用。方法很难运用。一、贝叶斯估计一、贝叶斯估计1 1、贝叶斯方法的根本思绪、贝叶斯方法的根本思绪 贝叶斯方法的根本思绪：贝叶斯方法的根本思绪： 假定要估计的模型参数是服从一定分布的随机变假定要估计的模型参数是服从一定分布的随机变量，根据阅历给出待估参数的先验分布也称

4、为量，根据阅历给出待估参数的先验分布也称为客观分布，关于这些先验分布的信息被称为先客观分布，关于这些先验分布的信息被称为先验信息；验信息； 然后根据这些先验信息，并与样本信息相结合，然后根据这些先验信息，并与样本信息相结合，运用贝叶斯定理，求出待估参数的后验分布；运用贝叶斯定理，求出待估参数的后验分布； 再运用损失函数，得出后验分布的一些特征值，再运用损失函数，得出后验分布的一些特征值，并把它们作为待估参数的估计量。并把它们作为待估参数的估计量。 贝叶斯方法与经典估计方法的不同之处：贝叶斯方法与经典估计方法的不同之处： 关于参数的解释不同关于参数的解释不同 经典估计方法以为待估参数具有确定值，

5、它的估经典估计方法以为待估参数具有确定值，它的估计量才是随机的；贝叶斯方法以为待估参数是一计量才是随机的；贝叶斯方法以为待估参数是一个服从某种分布的随机变量。个服从某种分布的随机变量。 所利用的信息不同所利用的信息不同 对随机误差项的要求不同对随机误差项的要求不同 贝叶斯方法需求知道随机误差项的详细分布方式。贝叶斯方法需求知道随机误差项的详细分布方式。 选择参数估计量的准那么不同选择参数估计量的准那么不同 需求构造一个损失函数，并以损失函数最小化为需求构造一个损失函数，并以损失函数最小化为准那么求得参数估计量。准那么求得参数估计量。2、贝叶斯定理、贝叶斯定理)()()()(BPAPABPBAP

6、)()()()(数据参数参数数据数据参数PPPPgYfYgfY()()()()gYLYg()()() 后验信息正比于样本信息与先验信息的乘积。后验信息正比于样本信息与先验信息的乘积。 可以经过样本信息对先验信息的修正来得到更准可以经过样本信息对先验信息的修正来得到更准确的后验信息。确的后验信息。 3 3、贝叶斯估计的过程、贝叶斯估计的过程 确定模型的方式，指出待估参数确定模型的方式，指出待估参数 给出待估参数的先验分布给出待估参数的先验分布 利用样本信息，修正先验分布利用样本信息，修正先验分布 利用待估参数的后验密度函数，进一步推断出待利用待估参数的后验密度函数，进一步推断出待估参数的点估计值

7、，或进展区间估计与假设检验估参数的点估计值，或进展区间估计与假设检验 预测预测 二、正态线性一方程计量经济学模型的二、正态线性一方程计量经济学模型的贝叶斯估计贝叶斯估计1、有先验信息的后验分布、有先验信息的后验分布 Y X ( ,)N 02Ige( )()() 121选择选择B的先验分布为自然共轭分布，的先验分布为自然共轭分布，B的自然共轭的自然共轭先验密度函数为正态密度函数：先验密度函数为正态密度函数： LYeYYX()() ()122XgYgLY()( )() B的似然函数等同于它的结合密度函数的似然函数等同于它的结合密度函数 利用贝叶斯定理，得到利用贝叶斯定理，得到B的后验密度函数为：的

8、后验密度函数为： gYWGWG()exp() ()1221)(21nkYAWGAk nn12X()A 21YAAWGGGXXXXXXX111)()()()( 后验准确度矩阵是先验准确度矩阵与样本信息准后验准确度矩阵是先验准确度矩阵与样本信息准确度矩阵之和，故后验准确度总是高于先验准确确度矩阵之和，故后验准确度总是高于先验准确度；度； 后验均值是先验均值与样本信息后验均值是先验均值与样本信息OLS估计值的加估计值的加权平均和，权数为各自的准确度。权平均和，权数为各自的准确度。 )/(211XXB112X X /() (,)YN2 2、无先验信息的后验分布、无先验信息的后验分布 作为有信息先验的一

9、种特殊情况，即无信息先验作为有信息先验的一种特殊情况，即无信息先验的准确度为的准确度为0 0。 1012X X /)/()/(212XXXX)(,()(12XXNY 以为待估参数的一切元素服从以为待估参数的一切元素服从，+上的上的均匀分布，且互不相关。均匀分布，且互不相关。 ggggck( )()()() 12gYgLYLY()()()()()(21exp)()()()(21exp22XXXXXXYbY 从方式上看，无信息先验得到的后验分布均值与样从方式上看，无信息先验得到的后验分布均值与样本信息的本信息的OLS估计一样，但二者有不同的含义。估计一样，但二者有不同的含义。)(,()(12XXN

10、Y3 3、点估计、点估计 利用损失函数并使平均损失最小。利用损失函数并使平均损失最小。dYgLoYLoE)(),(min),(minLo ()()M 二次损失函数的点估计值为后验均值。二次损失函数的点估计值为后验均值。() E4 4、区间估计、区间估计 根据根据B B的后验密度函数进展区间估计。的后验密度函数进展区间估计。 需求引入最高后验密度区间的概念：区间内每点的需求引入最高后验密度区间的概念：区间内每点的后验密度函数值大于区间外任何一点的后验密度函后验密度函数值大于区间外任何一点的后验密度函数值，这样的区间称为最高后验密度区间数值，这样的区间称为最高后验密度区间HPDHPD区区间。间。

11、参数的最高后验密度区间在方式上与经典样本信息参数的最高后验密度区间在方式上与经典样本信息实际中的置信区间是一致的，但解释并不一样。实际中的置信区间是一致的，但解释并不一样。 4 4、假设检验、假设检验 可以用最高后验密度区间进展假设检验。可以用最高后验密度区间进展假设检验。 常用的方法是利用后验优势比检验。常用的方法是利用后验优势比检验。 三、例题三、例题 模型模型 以建立某国国防支出模型为例，对贝叶斯估计的以建立某国国防支出模型为例，对贝叶斯估计的过程进展实践演算。过程进展实践演算。 共采集了共采集了46年的样本数据。将后年的样本数据。将后20组样本作为样组样本作为样本信息，前本信息，前26

12、组样本作为先验信息。组样本作为先验信息。01tttDEGDP1,2,tT 选取后选取后20年的数据为样本，采用经典模型的估计年的数据为样本，采用经典模型的估计方法估计模型。方法估计模型。 453008886. 018.126210 选取前选取前26年数据为样本观测值，估计模型，将估年数据为样本观测值，估计模型，将估计结果作为先验信息。得到参数的先验均值和先计结果作为先验信息。得到参数的先验均值和先验协方差矩阵。验协方差矩阵。 047678. 0981.10100051204. 20371. 00371. 0615.76e 利用样本信息修正先验分布，得到后验均值和协利用样本信息修正先验分布，得到后验均值和协方差矩阵。方差矩阵。00979.00354.871000898683.2000262.0000262.00093.10e 上述后验均值就是参数的点估计值。于是得到采上述后验均值就是参数的点估计值。于是得到采用贝叶斯估计的模型为：用贝叶斯估计的模型为： ttGDPED00979.00354.87 预测检验预测检验 利用模型预测第利用模型预测第47年的国防支出，得到预测值为年的国防支出，得到预测值为865.7，在，在95%的置信程度下预测值的置信区间为的置信程度下预测值的置信区间为780.4,951.0。第。第47年的实践国防支出为年的实践国防支出为934.7。 利