[伍德里奇计量经济学导论]1概率论知识

1、1School of Finance, SUIBE高级计量经济学高级计量经济学I 整个计量经济学中，有三种类型的统计方法被普遍使用：估整个计量经济学中，有三种类型的统计方法被普遍使用：估计方法、假设检验方法和置信区间方法。计方法、假设检验方法和置信区间方法。School of Finance, SUIBE3本章大纲本章大纲l 随机变量与概率分布l 期望值、均值及方差l 二元随机变量l 正态分布、卡方分布、F分布和学生t分布l 随机抽样及样本均值l 抽样分布的大样本逼近l 总体均值的估计l 利用数据对因果效应的均值差进行估计l 随机变量的期望1. 概率、样本空间和随机变量结果（结果（outcom

2、esoutcomes）：）：随机过程中相互排斥的可能后果被称为结果。随机过程中相互排斥的可能后果被称为结果。结果的结果的概率（概率（ProbabilityProbability）：）：是指这个结果长期发生次数的是指这个结果长期发生次数的比率。比率。样本空间（样本空间（Sample SpaceSample Space）：）：所有可能结果的集合称为样本空所有可能结果的集合称为样本空间。间。事件（事件（EventEvent）：）：是样本空间的一个子集，即事件是一个或多是样本空间的一个子集，即事件是一个或多个结果的集合。个结果的集合。随机变量（随机变量（Random VariableRandom Va

3、riable， r.v.r.v.）：）：随机变量是一个随机随机变量是一个随机结果的一系列数值表示。结果的一系列数值表示。离散随机变量（离散随机变量（Discrete Random VariableDiscrete Random Variable）连续离散随机变量（连续离散随机变量（Continuous Random VariableContinuous Random Variable）只能取离散数值，如：只能取离散数值，如：0,1,20,1,2，如，如，0,1,20,1,2，可能取值的连续空间。可能取值的连续空间。2. 离散型随机变量的概率分布概率分布（概率分布（Probability Dis

4、tributionProbability Distribution）：）：变量所有的可能值和变量所有的可能值和每个值发生的概率的列表。这些概率之和为每个值发生的概率的列表。这些概率之和为1 1。如，用如，用M M表示你在写学期论文时电脑死机的次数。表示你在写学期论文时电脑死机的次数。事件概率（事件概率（Event ProbabilityEvent Probability）：）：累积概率分布（累积概率分布（Cumulative Probability DistributionCumulative Probability Distribution）：）：是随机变量小于或等于某个特定值的概率。是随机

5、变量小于或等于某个特定值的概率。9 . 0) 1Pr(M16. 006. 010. 0)2M1Pr( 或M10. 0) 1Pr(M 累积概率分布也常称为累积概率分布（累积概率分布也常称为累积概率分布（Cumulative Probability Cumulative Probability FunctionFunction，c.d.f.c.d.f.）。）。贝努利分布（贝努利分布（Bernoulli DistributionBernoulli Distribution）：）：贝努利随机变量（贝努利随机变量（Bernoulli Random VariableBernoulli Random Var

6、iable）贝努利分布：贝努利分布：(*)p-10p1G概率为概率为 设设G G是高级计量经济是高级计量经济I I的最终成绩，其中，的最终成绩，其中，G=0G=0表示表示non-passnon-pass，G=1G=1表示表示passpass。G G的结果和对应的概率为的结果和对应的概率为 其中，其中，p p表示表示passpass的概率。公式（的概率。公式（* *）中的概率分布就是贝努利分）中的概率分布就是贝努利分布。布。3. 连续型随机变量的概率分布概率累积分布：概率累积分布：是连续型随机变量小于或等于某个特定值的概是连续型随机变量小于或等于某个特定值的概率。率。概率密度函数（概率密度函数（

7、Probability Density FunctionProbability Density Function，p.d.f.p.d.f.）例子：一个从家开车到学校的老师，他的通勤时间可以取某值例子：一个从家开车到学校的老师，他的通勤时间可以取某值的一个连续区间，由于通勤时间依赖于诸如天气和交通状况等的一个连续区间，由于通勤时间依赖于诸如天气和交通状况等随机因素，自然应该是连续型随机变量。随机因素，自然应该是连续型随机变量。1. 随机变量的期望期望（期望（Expected ValueExpected Value）：）：随机变量随机变量Y Y的期望值是的期望值是多次重复试验多次重复试验或或发生过

8、程中发生过程中随机变量随机变量Y Y的的长期平均值长期平均值，表示为，表示为EYEY。 假设假设Y Y为随机变量。为随机变量。 变量变量Y Y的期望值也被称为的期望值也被称为Y Y的的期望期望（ExpectedExpected），或），或Y Y的的均值均值（meanmean），表示为），表示为 。Y重要概念一重要概念一: : 期望和均值期望和均值 假设随机变量假设随机变量Y Y取取k k个可能的值，个可能的值， ，其中，其中 表示第一表示第一个值，个值， 表示第二个值，以此类推。表示第二个值，以此类推。Y Y取取 的概率为的概率为 ，Y Y取取 的概率为的概率为 ，以此类推。用，以此类推。用E

9、YEY表示表示Y Y的期望值，它是：的期望值，它是：k,211211p22p kiiikkppppYE12211 其中，算式其中，算式“ ”“ ”意味着意味着“i i取值从取值从1 1到到k k时时 的和的和”。Y Y期望值也被称为期望值也被称为Y Y的均值或的均值或Y Y的期望，通常用的期望，通常用 表示。表示。kiiip1iipY贝努利随机变量的期望值：贝努利随机变量的期望值： pGE2. 标准差和方差标准差（标准差（Standard DeviationStandard Deviation或方差（或方差（VarianceVariance）：）：它们测度一它们测度一个概率分布的离散程度或分散

10、度。个概率分布的离散程度或分散度。一个随机变量的一个随机变量的方差方差是是Y Y对其均值的离差平方的期望，表示为对其均值的离差平方的期望，表示为var(Y)var(Y)，即，即 2varYYEY一个随机变量的一个随机变量的标准差标准差就是方差的平方根，表示为就是方差的平方根，表示为 。Y重要概念二：重要概念二：方差和标准差方差和标准差 假设随机变量假设随机变量Y Y的方差是用的方差是用 表示，计算公式为：表示，计算公式为： ikiYiYYpyYEY1222var Y Y的标准差是的标准差是 ，即方差的平方根。标准差的单位与，即方差的平方根。标准差的单位与Y Y的单位的单位相同。相同。2YY贝努

11、利方差：贝努利方差： ppppppGY1110var222 因而，贝努利标准差为因而，贝努利标准差为 。 ppY13. 随机变量线性函数的均值和方差例子：例子：考虑一个所得税方案，在这个方案下，个人的收入以考虑一个所得税方案，在这个方案下，个人的收入以20%20%的税率被征收，然后给的税率被征收，然后给$2000$2000美元的补助金（免税的）。请美元的补助金（免税的）。请问在这个税收方案下如何将税后收入问在这个税收方案下如何将税后收入Y Y和税前收入和税前收入X X联系起来？联系起来？ 在这个方案下，在这个方案下，税后收入税后收入Y Y和和税前收入税前收入X X可以可以由以下方程联系由以下方

12、程联系起来：起来：XY8 . 02000假设一位女士明年的税前收入是个均值为假设一位女士明年的税前收入是个均值为 、方差为、方差为 的的随机变量。请问在这个方案下她的税后收入的均值和方差为多随机变量。请问在这个方案下她的税后收入的均值和方差为多少？少？XX在这个方案下，她在这个方案下，她税后收入税后收入Y Y的期望值为：的期望值为： XYXEYE8 . 020008 . 02000税后收入税后收入Y Y的方差为：的方差为： XXEYEYXYvar64. 08 . 020008 . 02000var2Y Y的标准差为：的标准差为：XY8 . 0将以上分析推广，假设将以上分析推广，假设Y Y以截距

13、以截距a a（代替（代替$2000$2000）和斜率）和斜率b b（代替（代替0.80.8）依赖于）依赖于X X，因此，因此，Y Y与与X X的联系：的联系：bXaYY Y的期望、方差和标准差分别为：的期望、方差和标准差分别为：222XYbXYbXYba4. 分布形态的其他测度指标： 均值和标准差测量一个分布的两个重要指标：中心水平（均均值和标准差测量一个分布的两个重要指标：中心水平（均值）和离散程度（标准差）。我们将讨论一个分布的另外两个值）和离散程度（标准差）。我们将讨论一个分布的另外两个测量指标：偏度和峰度。测量指标：偏度和峰度。注意：均值、方差、偏度和峰度都是注意：均值、方差、偏度和峰

14、度都是以分布的矩为基础的以分布的矩为基础的。k k阶矩（阶矩（k kthth moment) moment)： dxxfxXEmkkk1 其中其中，X X的均值（的均值（meanmean）或期望值，即，）或期望值，即， 。期望期望( (或均值）也就是随机变量或均值）也就是随机变量X X的一阶矩，它是度量分布的一阶矩，它是度量分布的中心位置的中心位置 dxxfxXExk k阶中心矩（阶中心矩（k kthth centered moment) centered moment) ： dxxfxXEmkxkxk偏度偏度(skewness):(skewness): 33xxXExSS(x)=0， 该随机

15、变量分布对称；S(x)0，高峰向左偏移，长尾向右侧延伸称为正偏态分布正偏态分布，也称右偏态分布右偏态分布；S(x)0c0，随着，随着n n的增大，如果的增大，如果 位于位于 区域内的概率任意地接近于区域内的概率任意地接近于1 1，那么我们就说样本均值，那么我们就说样本均值 依概依概率收敛与率收敛与 （或等价地，（或等价地， 与与 是一致的），记为是一致的），记为YccYY,YYYYYPY 大数定律指出：如果大数定律指出：如果 是独立同分布的，且是独立同分布的，且 ， ，那么，那么 。 niYi, 1 YiYE 2varYiYYPY2. 中心极限定理中心极限定理（中心极限定理（Central L

16、imit TheoremCentral Limit Theorem， CLM)CLM)：在一般条件下，在一般条件下，当当n n足够大时，足够大时， 的分布可充分地逼近正态分布。的分布可充分地逼近正态分布。Y问题：问题：n n必须多大？必须多大？ 答案是答案是“依情况而定依情况而定”。正态近似的质量好坏依赖于构成均值对正态近似的质量好坏依赖于构成均值对基本元素基本元素 的分布。如果的分布。如果 本身服从正态分布本身服从正态分布，那么对于所，那么对于所有的有的n n来说，来说， 精确地精确地服从正态分布；相反，如果服从正态分布；相反，如果 本身服从一本身服从一个与正态分布个与正态分布相差甚远的分布

17、相差甚远的分布，那么这种近似可能要求，那么这种近似可能要求n=30n=30或更或更大大。 YiYiYiY例子例子重要概念六：重要概念六： 中心极限定理中心极限定理 假设假设 是独立同分布，且是独立同分布，且 ， ，其中，其中， 。当。当 时，时， （其中，（其中， ）的分布会被标准正态分布很好地近似替代。的分布会被标准正态分布很好地近似替代。 YYYnYYY,21 YiYE 2varYiY20YnnYY1. 估计量及其性质重要概念：重要概念： 估计量和估计值估计量和估计值估计量（估计量（EstimatorEstimator）是从一个总体中随机抽取出来的样本数据是从一个总体中随机抽取出来的样本数

18、据的函数。的函数。 注意：注意：由于样本选择的随机性，由于样本选择的随机性，估计量是随机变量估计量是随机变量，而，而估计值是估计值是非随机的数值非随机的数值。估计值（估计值（EstimateEstimate）是利用是利用特定样本数据特定样本数据实际计算出来的估计量实际计算出来的估计量的数值。的数值。估计量：用样本平均数估计量：用样本平均数 来估计来估计 是一种很常用的方法。但是一种很常用的方法。但它不是唯一的方法。例如，可以简单地用第一个观测值它不是唯一的方法。例如，可以简单地用第一个观测值 来估来估计计 。 YYY1Y问题：问题：怎样判定一个估计量怎样判定一个估计量“好好”于另一个估计量呢？

19、于另一个估计量呢？ 答案：答案：估计量三个特定的理想性质：无偏性（缺少偏差估计量三个特定的理想性质：无偏性（缺少偏差) )、一致性、一致性和有效性。和有效性。无偏性：无偏性：估计量的一个理想性质就是它的抽样分布的均值等于估计量的一个理想性质就是它的抽样分布的均值等于 ，如果这样，就称估计量是无偏的。用数学表达，假设如果这样，就称估计量是无偏的。用数学表达，假设 表示表示 的某个估计量，如的某个估计量，如 。如果。如果 ，那么估计量，那么估计量 是无偏的。其中，是无偏的。其中， 的抽样分布的均值，否则，的抽样分布的均值，否则， 是有偏的。是有偏的。一致性：一致性：当样本容量很大时，由样本的随机变

20、化所引起的当样本容量很大时，由样本的随机变化所引起的 值值的不确定性很小。或者说，当样本量增大时，它在真值附近很小的不确定性很小。或者说，当样本量增大时，它在真值附近很小区间内的概率接近于区间内的概率接近于1 1，即，即 是一致的。是一致的。YYYYY或YYEYYYE是YYYY与 方差与有效性：假如有两个备选的估计量方差与有效性：假如有两个备选的估计量 ，而且它们都，而且它们都是无偏的，那么请问如何在它们之间做出选择？是无偏的，那么请问如何在它们之间做出选择？YY 和方差与有效性：方差与有效性： 选择抽样分布最密集的估计量，即，在选择抽样分布最密集的估计量，即，在 之间选择方差之间选择方差最小

21、的那个估计量。如果，最小的那个估计量。如果， 的方差比的方差比 小，那么称小，那么称 更有效更有效。YY 和YYYY 比 设设 的估计量，那么：的估计量，那么：YY为重要概念七：重要概念七： 偏差、一致性和有效性偏差、一致性和有效性 的偏差（的偏差（biasbias）为）为 ； 如果如果 ，那么，那么 的的无偏估计量（无偏估计量（unbiased unbiased estimatorestimator）；YYY-EYYEYY是如果如果 ，那么，那么 的一致估计量（的一致估计量（consistent consistent estimatorestimator）；）；YYP YY是如果如果 的另一

22、个估计量，并假设的另一个估计量，并假设 都是无偏的。都是无偏的。如果如果 ，那么，那么 更有效（更有效（efficient)efficient)。YY是YY是YYvarvarYY 比2. 的性质的性质Y问题：问题：单用偏差、一致性和有效性这三个标准进行判断时，单用偏差、一致性和有效性这三个标准进行判断时， 作为作为 的估计量表现如何？的估计量表现如何？YY偏差和一致性：偏差和一致性：由于由于 ，以及由大数定律可得，以及由大数定律可得 ，因此，因此， 是无偏一致估计量。是无偏一致估计量。 有效性：有效性：需要设定与需要设定与 相比较的一个或几个估计量。譬如，相比较的一个或几个估计量。譬如， ，其

23、其 ，并且，并且 YYEYPYYY1Y Y1YE2Y1YvarYn1,YYn1,YY最佳线性无偏估计（最佳线性无偏估计（Best linear Unbiased EstimatorBest linear Unbiased Estimator，BLUE) BLUE) 是是 的加权平均计算出来的无偏估计中最有效的估的加权平均计算出来的无偏估计中最有效的估计量，即为计量，即为BLUEBLUE。也就是说，它是所有与。也就是说，它是所有与 呈线性函呈线性函数且又是无偏的估计量中最有效（最佳）的估计量。数且又是无偏的估计量中最有效（最佳）的估计量。重要概念八：重要概念八： 的有效性：的有效性： 是最佳线性

24、无偏估计量是最佳线性无偏估计量 假设假设 的一个估计量，是的一个估计量，是 的加权平均值，即的加权平均值，即Yn1a,a n1,YYYYY是Y 其中，其中， 是非随机变量。如果是非随机变量。如果 是无偏的，那么是无偏的，那么n1iiiYYaY YvarYvar 除非除非 。这样。这样 就是最佳线性无偏估计量。也就是说，在就是最佳线性无偏估计量。也就是说，在所有所有 计算的加权平均无偏估计量中，计算的加权平均无偏估计量中， 是最有效是最有效的估计量。的估计量。YYn1,YYY是YY 注意：假设检验的术语注意：假设检验的术语4. 关于总体均值的假设检验关于总体均值的假设检验1. 因果效应是条件期望

25、值之差： 式中的式中的 是指一个是指一个理想的随机化控制理想的随机化控制实验中，处理实验中，处理组在接受处理水平组在接受处理水平X=xX=x后后Y Y的期望。的期望。就实验来说，就实验来说，因果效应也被称因果效应也被称为为处理效应（处理效应（treatment effecttreatment effect）。）。0|1|XYEXYE 一个处理的因果效应，在一个一个处理的因果效应，在一个理想的随机化控制理想的随机化控制实验中，就是对实验中，就是对实施该处理所得结果的期望效应。实施该处理所得结果的期望效应。具体来说，具体来说，处理水平处理水平X X对对Y Y的因的因果效应是：果效应是：xXYE|2

26、. 利用均值差估计因果效应在一个在一个理想的随机化控制理想的随机化控制实验中，如果处理水平是二元的，那么实验中，如果处理水平是二元的，那么因果效应就可以通过处理组与控制组之间的样本均值差进行估计。因果效应就可以通过处理组与控制组之间的样本均值差进行估计。“处理是无效的处理是无效的”假设与假设与“处理组与控制组之间的样本均值是相处理组与控制组之间的样本均值是相等的等的”假设是等价的。假设是等价的。可以可以用用t-t-统计量统计量对这两个值之间的差异进行检验。对这两个值之间的差异进行检验。3. t-统计量和学生t分布：nsYtYY20,检验均值的检验均值的t t统计量：考虑利用数据统计量：考虑利用数据 来检验来检验Y Y的均值等的均值等于于 这一假设的这一假设的t-t-统计量。统计量。nYY,10,YwwmmniwinimiwmpooledYYYYnns组组1212221样本均值差的样本均值差的t t统计量：统计量：wmpoo