选择性样本模型

1、4.5 4.5 受限被解释变量数据模型受限被解释变量数据模型选择性样本选择性样本 model with limited dependent variable selective samples model一、社会经济生活中的选择性样本问题一、社会经济生活中的选择性样本问题 二、二、“截断截断”数据计量经济学模型的最大似然估计数据计量经济学模型的最大似然估计三、三、“截断截断”数据计量经济学模型的数据计量经济学模型的heckman两步估两步估计计 四、四、“归并归并”数据计量经济学模型的最大似然估计数据计量经济学模型的最大似然估计五、选择性样本的经验判断和检验五、选择性样本的经验判断和检验 th

2、e bank of sweden prize in economic sciences in memory of alfred nobel 2000 for his development of theory and methods for analyzing selective samples”james j heckmanusa “shadow prices, market wages and labour supply”, econometrica 42 (4), 1974, p679-694 发现并提出发现并提出“选择性样本选择性样本”问题问题。 “sample selection b

3、ias as a specification error”, econometrica 47(1), 1979, p153-161 证明了偏误的存在并提出了证明了偏误的存在并提出了heckman两步修正法。两步修正法。一、社会经济生活中的选择性样本问题一、社会经济生活中的选择性样本问题 1 1、“截断截断”（truncationtruncation）问题）问题 不能从全部截面个体，而只能从一部分个体中随不能从全部截面个体，而只能从一部分个体中随机抽取被解释变量的样本观测值。机抽取被解释变量的样本观测值。 分为两种情况分为两种情况: 一是，所抽取的部分个体的观测值都大于或者小于某一是，所抽取的部

4、分个体的观测值都大于或者小于某个确定值，即出现个确定值，即出现“掐头掐头”或者或者“去尾去尾”的现象，与的现象，与其它个体的观测值相比较，存在明显的其它个体的观测值相比较，存在明显的“截断点截断点”。 二是，所抽取的样本观测值来自于具有某些特征的部二是，所抽取的样本观测值来自于具有某些特征的部分个体，但是样本观测值的大小与其它个体的观测值分个体，但是样本观测值的大小与其它个体的观测值相比较，并不存在明显的相比较，并不存在明显的“截断点截断点”。 样本选择受到限制。样本选择受到限制。2 2、“归并归并” (censoring)(censoring)问题问题 将被解释变量的处于某一范围的样本观测值

5、都用将被解释变量的处于某一范围的样本观测值都用一个相同的值代替。一个相同的值代替。 经常出现在经常出现在“检查检查”、“调查调查”活动中，因此也称为活动中，因此也称为“检查检查”(censoring) 问题。问题。 需求函数模型中用实际消费量作为需求量的观测值，需求函数模型中用实际消费量作为需求量的观测值，如果存在供给限制，就出现如果存在供给限制，就出现“归并归并”问题。问题。 被解释变量观测值存在最高和最低的限制。例如考试被解释变量观测值存在最高和最低的限制。例如考试成绩，最高成绩，最高100，最低，最低0，出现，出现“归并归并”问题。问题。 被解释变量样本观测值受到限制。被解释变量样本观测

6、值受到限制。二、二、“截断截断”数据计量经济学模型的最数据计量经济学模型的最大似然估计大似然估计 1 1、思路、思路 如果一个单方程计量经济学模型，只能从如果一个单方程计量经济学模型，只能从“掐头掐头”或者或者“去尾去尾”的连续区间随机抽取被解释变量的的连续区间随机抽取被解释变量的样本观测值，那么很显然，抽取每一个样本观测样本观测值，那么很显然，抽取每一个样本观测值的概率以及抽取一组样本观测值的联合概率，值的概率以及抽取一组样本观测值的联合概率，与被解释变量的样本观测值不受限制的情况是不与被解释变量的样本观测值不受限制的情况是不同的。同的。 如果能够知道在这种情况下抽取一组样本观测值如果能够知

7、道在这种情况下抽取一组样本观测值的联合概率函数，那么就可以通过该函数极大化的联合概率函数，那么就可以通过该函数极大化求得模型的参数估计量。求得模型的参数估计量。2 2、截断分布、截断分布 fafpa()()() fcfpcbabadbccb()( )()() 111如果服从均匀分布u(a, b)，但是它只能在(c, b)内取得样本观测值，那么取得每一个样本观测值的概率 为随机变量分布范围内的一个常数 fafpae()( )()()()()()() /() 211121 2222paa()()( )11服从正态分布 是标准正态分布条件概率函数 3 3、截断被解释变量数据模型的最大似然估计、截断被

8、解释变量数据模型的最大似然估计 yii xiin( ,)02ynixxii(,)2f yyaii()() /)() /)11xxiiln(ln()ln)()lnlnyaiinin 2212122121xxii ln()lyyiiiiiinin2ii2iixx2xg0 224211122ia() xi iii() ()1 求解该求解该1阶极值条件，即可以得到模型的参数估阶极值条件，即可以得到模型的参数估计量。计量。 由于这是一个复杂的非线性问题，需要采用迭代由于这是一个复杂的非线性问题，需要采用迭代方法求解，例如牛顿法。方法求解，例如牛顿法。4 4、演示例题、演示例题农村居民消费模型农村居民消费

9、模型 根据对农民消费行为的分析，发现农民的消费水根据对农民消费行为的分析，发现农民的消费水平（平（y）既取决于来自于农业生产经营的持久收）既取决于来自于农业生产经营的持久收入（入（x1），也受到来自于从事非农生产的瞬时收），也受到来自于从事非农生产的瞬时收入（入（x2）的影响。现有某地区）的影响。现有某地区50户农户的人均消户农户的人均消费、人均持久收入和人均瞬时收入的样本观测值费、人均持久收入和人均瞬时收入的样本观测值，试图建立该地区农民消费模型。，试图建立该地区农民消费模型。 50, 2 , 121210ixxyiiii说明：后面的估计结果如果与教科书不同，则是教科书中的数据存在错误（第说

10、明：后面的估计结果如果与教科书不同，则是教科书中的数据存在错误（第34、43样本的样本的x2的观测值中的小数点误写为逗号），本课件的结果是正确的。的观测值中的小数点误写为逗号），本课件的结果是正确的。 样样本本观观测测值值 选择截断数据选择截断数据ml估计估计 将样本视为不受限制的随机抽取将样本视为不受限制的随机抽取 将样本视为人均消费大于将样本视为人均消费大于1500元的范围内随机抽取元的范围内随机抽取 将样本视为在人均消费大于将样本视为在人均消费大于1500元、小于元、小于6000元的范围元的范围内随机抽取内随机抽取 比较比较3种假设下的对数似然函数值可见，随着截种假设下的对数似然函数值可

11、见，随着截断区间的缩小，抽取同一个样本的概率增大，致断区间的缩小，抽取同一个样本的概率增大，致使对数似然函数值增大。使对数似然函数值增大。 5 5、为什么截断被解释变量数据模型不能采用、为什么截断被解释变量数据模型不能采用普通最小二乘估计普通最小二乘估计 对于截断被解释变量数据计量经济学模型，如果对于截断被解释变量数据计量经济学模型，如果仍然把它看作为经典的线性模型，采用仍然把它看作为经典的线性模型，采用ols估计，估计，会产生什么样的结果？会产生什么样的结果？ 因为因为yi只能在大于只能在大于a的范围内取得观测值，那么的范围内取得观测值，那么yi的条件均值为：的条件均值为： e y yayy

12、 ya dyaaiiiiiai()()() /)() /)xxxiii1e y yaiii()() xi y ya e y yauuiiiiiii ()() xi iix e yyaddiiiiiiiiii()()()()xxiii2i211var uiiiii()()() 22211 由于被解释变量数据的截断问题，使得原模型变由于被解释变量数据的截断问题，使得原模型变换为包含一个非线性项模型。换为包含一个非线性项模型。 如果采用如果采用ols直接估计原模型：直接估计原模型： 实际上忽略了一个非线性项；实际上忽略了一个非线性项； 忽略了随机误差项实际上的异方差性。忽略了随机误差项实际上的异方差

13、性。 这就造成参数估计量的偏误，而且如果不了解解释变这就造成参数估计量的偏误，而且如果不了解解释变量的分布，要估计该偏误的严重性也是很困难的。量的分布，要估计该偏误的严重性也是很困难的。 三、三、“截断截断”数据计量经济学模型的数据计量经济学模型的heckmanheckman两步估计两步估计 说明说明 如果对截断被解释变量数据计量经济学模型采用如果对截断被解释变量数据计量经济学模型采用最大似然估计，必须首先求得最大似然估计，必须首先求得“截断分布截断分布”，为，为此，必须存在明确的此，必须存在明确的“截断点截断点”。 在实际的截断数据模型中，这个条件经常不能被在实际的截断数据模型中，这个条件经

14、常不能被满足，诸如利用上市公司为样本研究全部企业的满足，诸如利用上市公司为样本研究全部企业的行为，就不存在明确的被解释变量的行为，就不存在明确的被解释变量的“截断点截断点”。 关于这类模型的估计，关于这类模型的估计，heckman于于1979年提出年提出了两步修正法。了两步修正法。 下面以一个实例说明两步修正法的原理和步骤。下面以一个实例说明两步修正法的原理和步骤。 1 1、heckmanheckman两步修正模型两步修正模型 sample selection bias as a specification error, econometrica 47(1), 1979, p153-161 模

15、型模型 为了研究为了研究企业企业经理报酬经理报酬w与影响因素与影响因素x之间的关系，在之间的关系，在上市公司上市公司中随机抽取中随机抽取n1个企业为样本，建立如下的模个企业为样本，建立如下的模型：型： 11, 2 , 1niwii1ix- 为了修正偏误，为了修正偏误，在全部企业（包括上市和未上市）中随在全部企业（包括上市和未上市）中随机抽取机抽取n2个企业为样本，建立如下的二元离散选择模型：个企业为样本，建立如下的二元离散选择模型： 22*, 2 , 1niyii2iz经理报酬模型经理报酬模型上市倾向模型上市倾向模型 修正原理修正原理)()0(21*12iziiiieye)()0,(21*2i

16、1iizxxiiiieyweiiiywe1*)0,(1iixx)()(222i2izzi11, 2 , 1niwiii1ix逆米尔斯比逆米尔斯比inverse mills ratio 该模型已经修正了选择性偏误，可以采用该模型已经修正了选择性偏误，可以采用ols进行估进行估计。计。2 2、heckmanheckman两步估计步骤两步估计步骤 具体步骤如下：具体步骤如下： 第一步：利用从全部企业（包括上市和未上市）中随第一步：利用从全部企业（包括上市和未上市）中随机抽取的样本，估计上市倾向模型机抽取的样本，估计上市倾向模型 ；并利用估计结果；并利用估计结果计算逆米尔斯比的值。计算逆米尔斯比的值。

17、 第二步，利用选择性样本观测值和计算得到的逆米尔第二步，利用选择性样本观测值和计算得到的逆米尔斯比的值，将斯比的值，将(1)作为一个待估计参数，估计经理报作为一个待估计参数，估计经理报酬模型，得到酬模型，得到1的估计。的估计。 注意，在抽取样本时间必须保证所有选择性样本包含注意，在抽取样本时间必须保证所有选择性样本包含于全部样本之中于全部样本之中。四、四、“归并归并”数据计量经济学模型的数据计量经济学模型的最大似然估计最大似然估计 1 1、思路、思路 以一种简单的情况为例，讨论以一种简单的情况为例，讨论“归并归并”问题的计问题的计量经济学模型。即假设被解释变量服从正态分布，量经济学模型。即假设

18、被解释变量服从正态分布，其样本观测值以其样本观测值以0为界，凡小于为界，凡小于0的都归并为的都归并为0，大于大于0的则取实际值。如果的则取实际值。如果y*以表示原始被解释变以表示原始被解释变量，量，y以表示归并后的被解释变量，那么则有：以表示归并后的被解释变量，那么则有： yyyyy000当当*yn*( ,) 2 单方程线性单方程线性“归并归并”问题的计量经济学模型为：问题的计量经济学模型为： yii xiin( ,)02如果能够得到如果能够得到yi的概率密度函数，那么就可以方便的概率密度函数，那么就可以方便地采用最大似然法估计模型，这就是研究这类问题地采用最大似然法估计模型，这就是研究这类问

19、题的思路。的思路。由于该模型是由由于该模型是由tobin于于1958年最早提出的，所以年最早提出的，所以也称为也称为tobin模型。模型。2 2、“归并归并”变量的正态分布变量的正态分布 由于原始被解释变量由于原始被解释变量y*服从正态分布，有服从正态分布，有 p yp y()()*001p yp yy( )()*当03 3、归并被解释变量数据模型的最大似然估计、归并被解释变量数据模型的最大似然估计 该似然函数由两部分组成，一部分对应于没有限该似然函数由两部分组成，一部分对应于没有限制的观测值，是经典回归部分；一部分对应于受制的观测值，是经典回归部分；一部分对应于受到限制的观测值。到限制的观测

20、值。 这是一个非标准的似然函数，它实际上是离散分这是一个非标准的似然函数，它实际上是离散分布与连续分布的混合。布与连续分布的混合。 如何理解后一部分？如何理解后一部分？ lnln()ln()lnlyiyyii 122122200xxii为什么要求和？ 如果样本观测值不是以如果样本观测值不是以0为界，而是以某一个数为界，而是以某一个数值值a为界，则有为界，则有 yayayyya当当*yn*( ,) 2估计原理与方法相同。估计原理与方法相同。4 4、演示例题、演示例题 将将3个个5800视视为归并为归并数据数据 选择归并估计选择归并估计 估计结果估计结果 比较不受限制和归并假设下的对数似然函数值可

21、比较不受限制和归并假设下的对数似然函数值可见，将样本中见，将样本中3个个5800元的观测值视为元的观测值视为5800元的元的归并时，归并时，抽取该观测值的概率显著增大，致使模抽取该观测值的概率显著增大，致使模型估计的对数似然函数值显著增大。型估计的对数似然函数值显著增大。 5 5、归并被解释变量模型最大似然估计的条件、归并被解释变量模型最大似然估计的条件 构造归并数据似然函数时是以一个基本假设为条件构造归并数据似然函数时是以一个基本假设为条件的，即假设归并数据中不可观测的部分和可观测的的，即假设归并数据中不可观测的部分和可观测的部分具有相同的分布，例如都服从正态分布。部分具有相同的分布，例如都

22、服从正态分布。 如果这一条件得不到满足，就不能得到似然函数，如果这一条件得不到满足，就不能得到似然函数，最大似然估计将遇到困难。最大似然估计将遇到困难。 这时，这时，heckman两步估计是一种合适的估计方法。两步估计是一种合适的估计方法。 五、选择性样本的经验判断和检验五、选择性样本的经验判断和检验 1 1、经验判断、经验判断 选择性样本问题是对微观截面个体而言的，所以选择性样本问题是对微观截面个体而言的，所以对于时间序列样本，不考虑选择性样本问题。对于时间序列样本，不考虑选择性样本问题。 如果以截面上的全部个体作为样本，不考虑截断如果以截面上的全部个体作为样本，不考虑截断问题。如果按照抽样理论选取截面上的部分个体问题。如果按照抽样理论选取截面上的部分个体作为样本，尽管样本观测值处