复习概率统计知识

1、复习概率统计知识 计量经济学的统计学基础 复习数理统计学 复习概率统计知识 第一节 总体、样本和随机变量 复习概率统计知识 总体、样本与随机变量 u总体和个体 u样本和样本容量 u随机变量 复习概率统计知识 总体（集合）和个体（构成集 合的元素） u研究对象的全体称为总体或母体，组成总体的 每个基本单位称为个体。注意： u总体中个体的数目称为总体容量，用N或T表示。 N可以是有限数也可无限，分别称为有限总体 和无限总体。 复习概率统计知识 样本和样本容量 u总体中抽出若干个个体组成的集体称为样本。 样本中包含的个体的个数称为样本的容量，又 称为样本的大小。 u根据样本信息来推测总体的情况，并给

2、出这个 推测的可靠程度，称为推断统计。推断统计要 求抽样是按随机原则选取的，即总体中每个个 体有同样的机会被选入样本。 u重复抽样和不重复抽样。 复习概率统计知识 随机变量 u按一定的概率取不同数值的变量称为随机变量 （Random Variable）。 u注意： u（1）一个随机变量具有下列特性：RV可以取许多不 同的数值，取这些数值的概率为p，p满足：0=p=1。 u（2）随机变量以一定的概率取到各种可能值，按其取 值情况随机变量可分为两类：离散型随机变量和连续 型随机变量。离散型随机变量的取值最多可列多个； 连续型随机变量的取值充满整个数轴或者某个区间。 u（3）本书中，随机变量用x、y

3、、等符号表示 复习概率统计知识 离散型随机变量与连续型随机 变量 10 20 30 40 50 1.0 概 率 概 率 x x 1.0 离散型随机变量 连续型随机变量 复习概率统计知识 总体、随机变量、样本间的联系 u总体就是一个随机变量，所谓样本就是n 个（样本容量n）相互独立且与总体有相 同分布的随机变量x1，xn。 u每一次具体抽样所得的数据，就是n元随 机变量的一个观察值，记为（X1， Xn）。 u通过总体的分布可以把总体和样本连接 起来。 复习概率统计知识 总体分布是总体和样本的连接点 u所谓分布，它是从全局而言的。通俗地说，分布就是 某个对象在什么地方，堆积了多少。 u任何一个随机

4、变量都有自己的分布，这个什么地方就 是在数轴上取什么值，堆积多少就是在那里占有的比 例是多少或者概率有多大。 u总体可以表示为随机变量，并具有自身的分布。 u样本则是相互独立与总体具有相同分布的n元随机变量。 因此，总体分布是总体和样本的连接点。从而，可以 通过对样本特征的研究达到对总体进行研究的目的。 因为它们具有相同的分布。 u须知，如果对于一个随机变量完全掌握了它的分布规 律，就完全明白无误了。 复习概率统计知识 样本与总体之间的关系 样本是总体的一部分，是对 总体随机抽样后得到的集合。 对观察者而言，总体是不 了解的，了解的只是样本 的具体情况。我们所要做 的就是通过对这些具体样 本的

5、情况的研究，来推知整 个总体的情况。 Xn+1 Xn X1 样本 总体 复习概率统计知识 第二节随机变量的分布 复习概率统计知识 （一）离散型随机变量的分布 u定义：如果随机变量只取有限个或可列多个可能值， 而且以确定的概率取这些值，则称为离散型随机变 量。 u通常用分布列表示离散型随机变量： u的概率分布也可用一系列等式表示： uP（ =xi）=pi （i=1,2,）称为的概率函数。 注意这里xi只出现一次。 u显然满足概率的定义： u离散型随机变量的分布就是指它的分布列或概率函数。 1 1 10 i i i p p Xx1x2.xi. pp1p2.pi. 复习概率统计知识 离散型随机变量举

6、例1 u例1 一批产品的废品率为5%，从中任取一个进 行检验，以随机变量来描述这一试验并写出的 分布。 u以X=0表示“产品为合格产品”，X=1表示 “产品为废品”，那么分布列如下： u其概率函数p（X=0）=0.95， p（X=1）=0.05， X0（合格品）1（废品） P0.950.05 复习概率统计知识 离散型随机变量举例2 u用随机变量X描述掷一颗骰子的试验。 u分布的概率函数为： uP（X=i）= 1/6（i=1，2，3，4，5，6） X123456 P1/61/61/61/61/61/6 复习概率统计知识 （二）随机变量的分布函数 u定义：若X是一个随机变量（可以是离散的，也可以是

7、 非离散的），对任何实数x，令F（x）=P（X=x）， 称F（x）为随机变量X的分布函数。 uF（x），即事件“X=x”的概率，是一个实函数。 u对任意实数x1x2，有 uP（x1Xx2）=P（X=x2）- P（X=x1）=F（x2）- F（x1） u由此可知，若已知X的分布函数，就知道X在任何区间 上取值的概率。所以，分布函数完整的描述了随机变 量的变化情况。 复习概率统计知识 分布函数F（x）的性质 1 lim 0 lim 3 2 10,1 xFF xFF xF xFx x x ）（ 为不减函数）（ ，）对一切（ 复习概率统计知识 （三）连续型随机变量的分布 u定义：对于任何实数x，如果随

8、机变量X的分布函数 uF（x）可以写成 u概率分布密度函数的性质： 。常写成概率分布密度函数，也 的为为连续型随机变量，称，则称其中 xX XxXx dttxF x 0 。有 的连续点上，并且在显然 ）（ ）（ xxF xdxxbXaP dxx x b a 12 01 复习概率统计知识 （四）分布函数、概率函数、 密度函数三者的关系 u分布函数既适用于离散型也适用于连续型，是 描述各种类型随机变量最一般的共同形式。但 是，它不够直观。 u概率函数对于离散型的描述很直观。 u概率密度函数的大小能够反映X在x附近取值的 概率的大小，从而比分布函数更直观。 u所以，在实际应用中我们分别用概率函数和密

9、 度函数对离散型和连续型随机变量进行描述。 复习概率统计知识 (五)多元随机变量 un元随机变量的定义：每次试验同时处理n个随机变量 （X1，X2，Xn），它们的取值随试验的进行而 变化。如果对任何一组实数（x1，x2，xn），事 件“X1x1，X2x2， Xnxn”有着确定的概率， 则称n个随机变量（X1，X2，Xn）总体为一个n 元随机变量。 un元随机变量分布函数的定义： n元函数 uF（ x1，x2，xn ）= P(X1x1，X2x2， Xnxn) u（x1，x2，xn）属Rn，为n元随机变量分布函数。 u离散二元随机变量的定义：如果二元随机变量（X,Y） 所有可能取值为有限或可列多个

10、，并且以确定的概率 取各个不同数值，则称（X,Y）为二元随机变量。 复习概率统计知识 (X，Y)的联合分布表和联合分布函数 u(X，Y)为离散型的二元随机变量，通常用联合分布函 数与联合分布表表示。 (X,Y)的概率分布表 X Yy1y2yjX的边际分布 x1p11p12p1jp1. x2p21p22p2jp2. xipi1pi2pijpi. Y的边际分布p.1p.2p.j1 称 p(X=xi,Y=yj)=pij (i,j=1,2,.)为(X,Y)的概率分布 上式也称为(X,Y)的联合分布。 复习概率统计知识 连续二元随机变量的定义 b a d c xy dxdyyxdYcbXap dcba

11、dsdtts yxyx yx YX yxYX dsdttsyxF yxyxFYX yx , , 1,2 0,1 , ,),( , ,),(, , 有显然，对于任意实数 ）（ ，）对于一切实数（ 的性质： 的联合密度函数。与为 称。是二元连续型随机变量则称 都有：，对于任意实数的分布函数 ，使得二元变量如果存在一个非负函数 复习概率统计知识 第三节 对总体的描述随机变量的 数字特征 u一、数学期望 u二、方差 复习概率统计知识 一、数学期望 u两个最重要的数字特征 u（1）数学期望 u（2）方差 复习概率统计知识 u求出总体的分布往往不是一件容易的事情；而 且，在很多情况下，我们并不需要全面考察

12、随 机变量的变化情况，只需要了解总体的一些综 合指标。一般说来，常常需要了解总体的一般 水平和它的离散程度。期望是随机变量的平均 值，它度量了集中趋势；方差是随机变量偏离 期望的离散程度的度量。 复习概率统计知识 数学期望的定义 u离散型随机变量数学期望的定义： u假定有一个离散型随机变量X有n个不同的可能取值 x1,x2,xn，而p1,p2,pn是X取这些值相应的概率， 则这个随机变量X的数学期望定义如下： u数学期望描述的是随机变量（总体）的一般水平。 u连续型随机变量数学期望的定义 的数学期望。称为绝对收敛，则 ，若积分有分布密度函数若连续型随机变量 XdxxxxEdxxx xX 平均数

13、。的所有可能取值的加权是随机变量实际上，XXE x p x p x p x pXE n i i i n n 1 2 2 1 1 复习概率统计知识 u数学期望是最容易发生的，因而是可以 期待的。它反映数据集中的趋势。 数量概率 10.10.1 20.10.2 30.41.2 40.20.8 50.21 3.3 父亲钓鱼的试验 数学期望 复习概率统计知识 数学期望的性质 u（1）如果a、b为常数，则 u E(aX+b)=aE(X)+b u（2）如果X、Y为两个随机变量，则 u E(X+Y)=E(X)+E(Y) u（3）如果g(x)和f(x)分别为X的两个函数，则 u Eg(X)+f(X)=Eg(X

14、)+Ef(X) u（4）如果X、Y是两个独立的随机变量，则 u E(X.Y)=E(X).E(Y) 复习概率统计知识 二、方差 u表示总体的离散程度，记为Var(.),或 u方差的算术平方根叫标准差。 u方差的性质 u（1）若c为常数，则Var(c )=0 u（2） a,b为常数，x,y为两个相互独立的随机变 量，则(ax+by)=a2Var(x)+b2Var(y) x xExExExVar x 22 2 2 x 复习概率统计知识 方差的意义 u（1）方差是用来描述离散程度的，即描述X对 于它的期望的偏离程度，这种偏差越大，表明 变量的取值越分散。 u（2）一般情况下，我们采用方差来描述离散 程

15、度。事实上正偏差大亦或负偏差大，同样是 离散程度大。方差中由于有平方，从而消除了 正负号的影响，并易于加总，也易于强调大的 偏离程度的突出作用。 复习概率统计知识 第四节 对样本的描述样本分布的 数字特征 u样本分布的数字特征 称为统计量，是一个随机变量， 常用的统计量有下面几个： u一、样本平均数 u二、样本方差 复习概率统计知识 一、样本平均数 u总体的数字特征是一个固定不变的数，称 为参数；样本的数字特征是随抽样而变化 的数，是一个随机变量，称为统计量。 u样本平均数的定义 u样本平均数用来描述样本的平均水平（一般 Common）水平。 为样本平均数。 ，称对于样本 n i i n x

16、xxx n x 1 21 1 , 复习概率统计知识 二、样本方差和标准差 u 样本方差和标准差的定义 xxs xx x x x x x xs xxx n n n i i n s i n n i i n i i n i n i n i n 2 1 22 2 1 2 1 2 1 2 1 2 2 21 1 1 1 1 1 1 , 。来描述样本离散程度的样本方差和标准差是用 差。分别为样本方差和标准以及 ，称对于样本 复习概率统计知识 第五节 几个重要的连续型随机变量的 分布 复习概率统计知识 u如果一个随机变量的分布已经确定，那么这个随机变 量的一切性质对于我们便都是已知的。因为随机变量 的分布是对

17、随机变量最完整的描述。 u例如X是广西十万大山中树木的高度， 它的分布函数 为F(x)=P(X=x)。此时，你对任意给定的高度x，都确 知不超过这个高度的树木在整个十万大山中所占的比 例，你还会说整个十万大山树木高度的情况不清楚吗？ u再如，已知X服从数学期望和方差已知的正态分布，那 么你便了解这个X自身的一切性质。可以通过查正态分 布表确定研究中所需的一切数据。 u分布的数学形式和图形属“技术问题”，精力应集中 于X究竟属于何种分布上。 复习概率统计知识 1. 正态分布 u正态分布的定义 u定理 正态分布的数学期望和方差 u 标准正态分布 。服从正态分布，简记为则称 为常数，、 的概率密度为

18、若连续型随机变量 2 2 , 0 2 1 2 2 N x x e 2 ,VarE方差，正态分布的数学期望 e x x N 2 2 2 2 1 1 , 0 10 。密度函数为记作 正态分布，的正态分布，称为标准，当 复习概率统计知识 概率密度 x 标准正态分布 0 正态分布在统计中具有重要的理论和实践意义：现实 中的许多随机现象都服从或近似服从正态分布；随着 样本容量的增大，很多统计量近似于正态分布；许多 离散型随机变量可用正态分布来近似。 复习概率统计知识 正态分布的重要性质 。布，且 ，也服从正态分不全为则它们的线性函数 ，服从正态分布相互独立，定理设 2 1 2 1 1 2 1 0 , i

19、 n i i n i i i i n i ii i i in a Var a E axa N xxx 复习概率统计知识 2. 2 分布 u 2 分布的定义 则称 ）分布的随机变量，（相互独立，且服从若10, 1 N xx n X2=x12+x22+xn2 为服从n个自由度的 2 分布,记为: 2 (n)。 其中自由度是指一个表达式中可以自由取值的变量个数，在 这里，自由度是平方中独立变量的个数。如果这些变量存在 约束，自由度将降低。 2 分布具有如下性质： （1）只取正值,并且是偏斜分布(参看教材图2),自由度越 小越右偏,随着自由度增大,分布逐渐对称,接近正态分布。 （2）具有期望为n、方差

20、为2n的特殊性质。 复习概率统计知识 N=7 N=11 概 率 x N为自由度 2 分布的图象 复习概率统计知识 3. t分布 ut分布的定义： t分布又称学生t分布。它与正态 分布密切相关。可以从一个标准正态分布和一 个 2 分布得到。 u设Z服从标准正态分布，X服从自由度为n的 2 分布，并且两者相互独立，于是随机变量 nX Z t /2 为服从自由度为n的t分布，记为t(n). t分布的密度函数曲线的形状与标准正态分布相似. 复习概率统计知识 t分布和正态分布 概率密度 x 标准正态分布 t-分布 0 复习概率统计知识 4. F分布 uF分布的定义: u若随机变量X12X2（n1), X

21、22X2（n2),且X12与X22相 互独立,则称 n / X n / X 2 2 2 1 2 1 F 为服从第一个自由度为n1,第二个自由度为n2的F 分布,记为FF(n1, n2). F分布的密度函数曲线位于第一象限.如下图 复习概率统计知识 F分布的图象 x 概率密度 复习概率统计知识 相互独立。与 的样本，则有：是取自正态总体定理设 ； 的样本，则有：是取自正态总体定理设 n i n i n n x x x nx x N xx N n x n Nx N xx i i 1 2 2 1 2 2 2 1 2 2 1 1 1 , 1 , 0 / , , 一些重要结论一些重要结论 复习概率统计知

22、识 。则 标准差，分别是样本的平均数和、 的样本，是取自正态总体定理设 1 / , 2 1 nt ns x T sx N xx n 复习概率统计知识 u相互独立两个总体样本方差与总体方差间联系的定理。 方差。分别为两个样本各自的、其中 的样本，则和的正态总体 立分别是来自两个相互独和定理设 ss nn F s s F NN yy xx n n 2 2 2 1 21 2 2 2 2 2 1 2 1 2 2 2 2 1 1 21 11 1, 1 / / , , 复习概率统计知识 第六节 通过样本，估计总体（一） 估计量的特征 u对总体的数量特征可以提出若干估计量。所谓 估计量的特性指的是衡量一个统

23、计量用以估计 总体参数的好坏标准。我们构造一个统计量时， 它们就应当具有这些优良性，否则就不采用他 来估计总体参数。估计量的优良性可从四个方 面进行衡量： u一、无偏性 u二、有效性 u三、均方误最小性 u四、一致性 复习概率统计知识 一、无偏性 u无偏性的直观意义： u根据样本推得的估计值和真值可能不同，然而 如果有一系列抽样依据同一估计方法就可以得 到一系列估计值，很自然会要求这些估计的期 望值与未知参数的真值相等。这就是无偏性的 概念，无偏性的直观意义是：样本估计量的数 值在真值周围摆动，即无系统误差。 复习概率统计知识 定义 无偏性的定义 。的有偏估计，其偏差为，我们称如果 具有无偏性。亦称 的无偏估计，为参数成立，我们称如果定义 - B