补充知识——统计学基础

1、统计学基础知识经济计量模型是一类十分重要的统计模型，经常用于描述一些经济当小的随机现象及规 律。为此，我们盂要对经济计量模型给出一些基木的介绍，以便学习更为深入的经济计量学 理论与方法。为此，我们需要首先回顾概率论与数理统计方面的一些重要内容。§3.1随机变量及其分布的数字特征§3.1随机变量任何随机实验的结果都可以利用样本空间表示，因此可以在样木空间上定义随机变量。 定义31定义在样木空间上的实值可测函数，称为随机变量。这样一來，随机变量可以表示很多随机实验的结果，也可以通过定量化变量來表示随机 实验的结杲。定义随机变量以后，便町以定义随机变量的概率分布函数，这样就可以利

2、丿ij概率分布函 数分析随机变量取值的概率。§3.1.2随机变量的概率分布定义32假设x是随机变量，对任意实数x,定义函数：f(x) = px <x(3.1)我们称两数f(x)是随机变量x的概率分布两数。如此定义的概率分布函数是左连续函数。当分布两数连续可微的时候，具导数称为概率密度函数；当分布函数存在町数个间断点 时，称其为离散概率分布，这时可以定义离散概率分布列。如果了解了随机变量的概率分布，则可以计算出任何区间内随机变量的概率，则冇： 命题31假设x是随机变量，f(兀)是概率分布函数，/(x)是概率密度函数，则对于任意的实数ci<b,有：bpa<x <b

3、 = f(b) - f(g) = j f(x)dx(3.2)a§3.1.3随机变量的数字特征市于彻底了解随机变量的概率性质，需要知道随机变量的分布函数或者密度函数，这是 比较困难的。因此，有些时候只需要了解一些概率分布函数的重要特征就可以了，因此我们 讨论下述随机变量的重要数字特征，即均值和方差。定义3.3假设x是随机变量，并r二次口j积，则定义随机变量的均值和方差为：ex =h(兀)d兀，dx 三e(x-ex)2 =：(兀-ex)2 f(x)dx均值和方差具冇非常重要的统计性质，均值表示随机变量的平均取值，而方差表示随机 变量围绕均值的波动程度。这里的波动经常'代表一种“信

4、息”和“风险”，需要大家给子深 入的理解。例31 一些重要的概率分布函数如下：(1) 均匀分布(x叫方)，密度函数为:fm = <,xe(a, b)b-a(3.3)0,xg(a, b)ex均匀分布是一种表示均等町能的概率分布，表示“等同无知”或者“等同浓度”等概念。(2) 指数分布密度函数为:1x(3.4) expl /(兀)=& h少0,x<0ex=g, dx =02指数分布经常表示一种生命过程，例如产品周期和使用寿命等。(3) 正态分布xn(“, ”2),这是十分重耍的概率分布。其分布密度函数为:f(x) =-00 < x<o0(3.5)这种分布的意义应该给

5、了更为深刻的了解，因此这种分布是概率统计的基础。显然有: ex=p , dx=ct2(4) 二项分布xb(n,p)假设随机变量x=0,1,2,/?,概率分布列为：p(x=k) = cpk(-py-k(3.6)ex = np , dx = npq二项分布表示次试验屮成功次数的概率分布，是一种十分常见的离散概率分布类型。(5) 泊松分布(poisson)假设随机变量x =0,1, 2,，概率分布列为：(3.7)pzx帀宀2>0ex=a, dx=a泊松分布经常表示一段时间(0, t)内某种时间发牛频率或者强度的概率分布。§3.2多元随机向量及其概率分布§321多元随机向量如

6、果一个随机变量无法描述一个随机现彖，例如某种射击的弹落点就需耍二元坐标加以 度暈，则需要多个随机变量一起度址这些随机现象。以随机变址为分呈构成的向呈称为随机 向量。定义34假设x=(x,x“)是斤维随机向最，对任意实数(站,占)，称元函数:fx(x,，x“)= px v",，x “ <(3.8)为x=(x,x”)的联合概率分布函数。有了上述联合概率分布函数的定义以后，就可以联合概率密度函数，也定义边际概率密 度和条件概率密度。(3.9)联合概率密度函数定义为： “、og,心)门兀1，占)=；ox -'cxn(3.10)例如对于二元概率密度函数/(x)(x,y)，边际密度

7、两数定义为： fx w =(忑 y)dy，fv (y)=iz/(兀,y)dx条件概率密度函数为:rz . v 、/(x,y)(x，y)i v /(x)(x，y)dll'fxy = y) = -, f(yx =x) = -(3.11)fy 0)fx § 3.2.2随机向量之间的独立性和相依性独立性和相关性是随机变量之间最为重要的相互关系，独立性定义为：定义3.5如果随机向量的联合概率分布函数等于边际分布函数的乘积,则称随机变量z 间的相互独立的。对于两个随机变罐而言，如果/(x*)(x，y)= fxmfr(y)，则两个随机变量x和y之间 是相互独立的。对于多个随机变量而言，两两

8、独立和相互独立之间存在区别，这在应用屮应 该给予注意。如果两个随机变量之间不是独立的，则称具为相依的。这时需要定义它们之间的协方差, 即：cov(x ,y)= e(x 一 ex )(y -ey)(3.12)上述协方差表示两个随机变量围绕其均值偏离水平之间的关系。如果协方差人于零，则 说明两个随机变量具有相同的变化趋势；如果协方差小丁零，则说明两个随机变量具有相反 的变化趋势；这种统计性质需要人家认真理解协方差定义來加以理解。如果协方差等于零, 则称两个随机变量是无关的。将协方差标准化，可以得到相关系数的定义。定义35如果随机向量x和y均是非追化的，即具有大于零的方差，则定义相关系数 为：(3.

9、13)_ cov(x,y)% =质奶相关系数定虽地描述随机变量之间的线性相关程度。§ 3.3抽样分布和参数估计注意到上述所描述的分布及其特征都是理论上的，要想获得对现实随机现象及其分布的 认识，必须通过抽取数据进行推断和估计。为此，理论上的分布称为母体的，获得数据后的 推断称为样本的。母体的性质是理论上的，样本的性质是经验的。§ 3.3.1样本和统计量假设x,x2,-,xz,是从母体x屮获得的样木，这些样木在进行实验之前是随机变量， 而进行实验以示就是观测值。因此，一般情况下，我们所表示的都是样木，而不是观测值, 这样x15x2,.,x是具有独立同分布的随机变量，这样的样木

10、也称为简单随机了样。定义34不包含任何参数的样木的函数，称为统计量。统计量是可以计算出数值的，这是统计量最为重要的性质，例如下述都是重要的统计量:1上样本均值：(3.14)n1 n_样本方差：s2=-x(x,-x)2 n /=!(3.15)样本£原点矩：rk=-tx n z=i(36)样本£中心矩：叫=£(x/x)*n i=i(3.17)样本极差：rn = maxxj-minx-（3.18）样本协方差：丄f（x, - 乂 ）（乙-0）（3.19）n /=i随机变量的矩：连续随机变量的0阶矩定义为：加；=e（x ） = j" x（f（x）dx这里“ e ”

11、表示数学期望，/（%）是x的概率密度函数。一阶矩称z为x的均值或者 数学期望，其度量的是分布的屮心位置。我们用“,表示x的均值。x的0阶屮心矩可以表示为：叫=e（x-“j =（x-“j/cr）dxj00假定积分存在。二阶中心矩用云表示，度量的是x的变化，称为x的方差。方差的 正平方根7,.称为x的标准离差。知道一阶矩和二阶矩就对以确定一个唯一的正态分布，对 于其他的分布，则耍考虑更高阶矩。三阶矩度量x相对于均值的对称性。四阶矩度量的是x的尾部特征。统计学意义上， 偏度和峰度（也就是x的三阶矩和四阶矩）常常用于概括分布的偏峰和厚尾的程度。x的 三阶矩和四阶短定义如下：cv、一、-s（x） = e

12、 , k（x） = e 厂oll 6因为正态分布下k（x） = 3，因此k（兀）-3称z为剩余峰度。于是，正态随机变量的剩 余峰度为零。如果一个分布具有正的剩余峰度，则称之为厚尾的，这暗示着和正态分布相比 较，该分布在尾部有更多的质量。在实际屮，这意味着这样的随机分布具有更多的极值。在应用上，偏度和峰度1可以通过样本观测值估计出来，令坷，勺是随机变量x的7个样木观测值，样木均值如下:1 tar(1.10)'r=l样本方差为:化工（兀一必）2样本偏度为：1ts（x）=y（xt (1.12)7-1）员幺.m样木峰度为:（丁-1）左工（兀-久）“ r=l(1.13)在正态假设下，f（x）和斤

13、（x）渐进的服从零均值，方差分别为6/t和24/7 |也称为峭度，描述的是密度函数的陡悄程度，若十分陡悄，则具冇厚尾的特性。§ 3.3.2参数估计如果随机变量的概率分布中存在耒知参数，则需要利用统计量将参数估计出来。一般的 估计方法有两种，一种是点估计，一种是区间估计。(1) 参数点估it(point estimation)常用的点估计方法有两种，一种是矩佔计，一种是极大似然估计。矩估计是假设样本原 点矩等于母体原点矩，从而获得参数的估计；极大似然估计是通过似然函数的极大化，获得 参数的点估计，这是最为重要的一种参数估计方法。极人似然估计依据极人似然原理，可以从下述例了屮了解这种原理

14、的应用。例3.2假设随机样本x,x2,儿从母体p")中获得，试求参数；i的极大似然估计。 解：构造似然函数。似然函数一般是概率分布列或者概率密度函数的乘积，然后通过求 对数，获得对数似然函数，这是单调变换，不彫响极大值性质。然后对以得到：(2) 区间估计(interval estimation)定义35假设"x,x”)和兀,x”)是两个统计量，且对于任意样本都有：,x”)vt2(xi，,乙)。如果随机区间7；(x,xjt2(x,x”)覆盖未知参 数g()的概率等于某个事先给定的正常数1-。，即戶7；(/,x”)sg(&)s,t2(/,x“) = l q(3.20)则

15、称t(x,x”),t2(xi，,x是参数g(0)的置信度为1-q的置信区间。一般情形下，置信区间不是唯一的，我们希望获得长度最小的置信区间。置信区间估计 的构造方法比较普遍，希望大家复习并学握。§333参数估计的判断准则参数估计的优劣可以通过一些标准加以判断，主要的准则有无偏性,有效性和一致性等。(1) 无偏性是指统计罐在母体分布下是参数的无偏估计，即：e,t(x) = g(0)(3.21)(2) 有效性是指统计量在一定范围内(无偏估计范围内)具有较小的方差。(3) 一致性是一种参数估计的人样本性质，是指样本容量增加时，统计量按概率收敛到 未知参数，即(3.22)对于大样木性质，大家要尽量了解一些收敛性的概念和命题，这样可以对经济计量学中 的一些高级算法有所理解。§ 3.4参数的假设检验假设检验是数理统计屮非帘重要的一类内容，重要根据“小概率事件不可能发牛原理” 來进行参数显著性的检验，基本过程包扭：(1) 根据实际问题提出原假设和备选假设(2) 根据实际问题确定适当的显著性水平(3) 根据原假设形式构造检验统计量，并计算检验统计量的数值。(4) 确定假设检验的拒绝域。(5) 对原假设和备选假设给出判断结果。对于正态单母体