整理02一元线性回归模型07031

1、经济学参考书目：1、高鸿业，西方经济学 :微观部分 （第三版）-21 世纪经济学系列教材 ， 西方经济学 :宏观部分 （第三版）-21 世纪经济学系列教材 ， 中国人民大学出版社， 2005年 1 月。西方经济学学习与教学手册 （21 世纪经济学系列教材 ） ，中国人民 大学出版社， 2005年 6 月。2、高鸿业、刘凤良，20世纪西方经济学的发展 ，商务印书馆， 2004年 4月3、尹伯成，西方经济学简明教程 （第 5版） ，世纪出版集团、上海人民出版社 ， 2006年 3 月。4、伍柏麟、尹伯成，经济学基础教程-复旦博学经济学系列，复旦大学出 版社， 2002年 3 月。5、姚开建、梁小明

2、，西方经济学名著导读 - 经济学经典著作读丛书 ，中国经 济出版社， 2005年 1月。6、梁小民，西方经济学教程 （修订版），中国统计出版社， 2005年 12月。7、方福前，当代西方经济学主要流派 ，中国人民大学出版社， 2004年 12月。8、王志伟，现代西方经济学主要思潮及流派 ，高等教育出版社， 2004年 9月。 数学参考书目：9、赵萍，经济数学基础及应用 - 线性代数及概率论 ，哈尔滨工业大学出版社， 2006年 10月。10、李尚志，线性代数，高等教育出版社， 2006年 5月。11、卢刚，线性代数，北京大学出版社， 2006年。12、陈维新，线性代数（第 2 版），北京科学出

3、版社， 2006年。13、冉兆平，微积分，上海财经大学出版社， 2006年。14、田长生，概率统计与微积分 ，北京科学出版社， 2006年。15、李林曙，微积分，中国人民大学出版社， 2006年。16、王雪标、王拉娣、聂高辉， 微积分，高等教育出版社， 2006年。17、马恩林，概率论与数理统计 ，人民教育出版社， 2006年。18、吴赣昌，概率论与数理统计 ，中国人民大学出版社， 2006年。19、葛余博等著，概率论与数理统计通用辅导讲义 ，清华大学出版社， 2006 年。统计学参考书目：20、邢哲，统计学原理，中国金融出版社， 2006年 8月。21、李荣平，统计学，天津大学出版社， 20

4、06年。22、吴梅村，数理统计学基本原理和方法 ，西南财经大学出版社， 2006年。23、曾五一，统计学，中国金融出版社， 2006年。24、（美）A.M.穆德、F.A.格雷比尔著、史定华译，统计学导论，北京科学出版 社， 1978 年。补充材料一、随机变量及其数字特征随机变量及其分布的研究是以事件及其概率的研究为基础展开的。它是统计推断的理论基础。随机变量定义：按一定的概率取不同实数值的变量称为随机变量，用x, y等表示。如(1)天津站每日的客流人数。(2)某商场日销售电视机台数。(3)某储蓄所的日存款余额。(4)某地区居民的日用水量。(5)高速公路上单位时间内通过的机动车数量。(6)流水线

5、上生产的罐装啤酒的净重值。若随机变量x可能取的值为有限个或可列个，则称x为离散型随机变量。若随机变量x可能取的值是整个数轴，或数轴上的某个区间，则称x为连续型随机变量。 连续型随机变量的概率分布是通过随机变量在一切可能区域内取值的概率定义的。最常用和最简便的形式是通过概率密度函数表示。对于随机变量x,若存在非负可积函数 f (x), (- x co),使对任意实数a, b, (a b) 有Pa _x _ b=bf(x)dx则称x为连续型随机变量。f (x)为x的概率密度函数(简称概率密度或密度)。由上式知f (x) 在a, b区间上的积分等于随机变量 x在a, b区间取值的概率。研究经济问题为

6、什么还要学习随机变量？因为许多经济问题都符合随机变量的要求。通过随机变量把经济问题上升到统计理论高度进行研究，有利于找到经济变量变化的一般规 律。1.1随机变量的数学期望对于离散型随机变量 x,若有概率分布Px = Xi = Pi, (i = 1,2,)则称二 xi pi i为x的数学期望，简称为期望或均值。记作E(x)。对于连续型随机变量 x,若密度函数为f (x),则称bxf (x) dxa为x的数学期望。记作E(x)。期望属于位置特征。用来描述随机变量取值的集中位置。体现了随机变量取值的平均大小。期望就是随机变量取一切可能值的加权平均。其中的权数就是概率值。数学期望的性质如下：(1) 常

7、量的期望就是这个常量本身。E(k) = k(2) 常量与随机变量和的期望等于这个随机变量的期望与这个常量的和。E(x + k) = E(x) + k(3) 常量与随机变量乘积的期望等于这个常量与随机变量期望的乘积。E(k x) = k E(x)(4) 随机变量的线性函数的期望等于这个随机变量期望的同一线性函数。E(k x + c) = k E(x) + c(5) 两个随机变量和(或差)的期望等于这两个随机变量期望的和(或差)。E(x _y) = E(x) - E(y)(6) 两个相互独立随机变量乘积的期望等于这两个随机变量期望的乘积。E(x y) = E(x) E(y)例：5个学生的英语考试分

8、数是80, 70, 85, 90, 82。则平均考试分数70+80+82+85+90E(x) = 81.451.2随机变量的方差、标准差随机变量x对其均值的离差平方的数学期望，2Ex - E(x)称作随机变量x的方差。记作Var(x)。. Var (x)则称作x的标准差。方差和标准差用来描述随机变量的离散特征。它们反映了随机变量取值离散程度的大小。对于离散型随机变量 x,方差的定义是Var(x)=二(xi - E(x) )2 pii其中Pi表示x取Xi值时的概率。对于连续型随机变量 x，方差的定义是Var(x) = x - E(x) 2 f (x) dx其中f (x)是x的概率密度函数。注意：

9、(1)Var(x)的量纲是x的量纲的平方。(2) . Var(x)的量纲与x的量纲相同。随机变量方差的性质：(1) 常量的方差为零。Var(k) = 0(2) 随机变量与常量之和的方差等于这个随机变量的方差。Var(x + k) = Var(x)其中x为随机变量，k为常量。(3) 常量与随机变量乘积的方差等于这个常量的平方与随机变量方差的乘积。2Var(k x) = k Var(x)其中k为常量。证明：由方差定义2 2 2 2 2Var(k x) = E k x - E(k x) = Ek x - k E(x) = k Ex - E(x) = k Var(x)(4) 随机变量的方差等于这个随机

10、变量平方的期望减其期望的平方。2 2Var (x) = E(x) -E(x)证明：由方差定义2 2 2 2 2 Var(x) = Ex - E(x) = Ex -2 x E(x) + E( x) = E(x) -2 E(x) E(x) + (E(x)2 2=E(x) -(E(x)(5) 两个相互独立随机变量之和(或差)的方差等于这两个随机变量方差的和。Var (x _y) = Var (x) + Var (y)下面证明随机变量之差情形。证明：由方差定义2 2Var (x - y) = E(x - y) -E (x - y) = Ex - y -E(x) - E (y)=E(x -E(x) )

11、- (y - E (y) ) 22 2=E(x -E(x) + (y - E (y) -2 (x -E(x) (y - E(y)=Var (x) + Var (y) -2 E(x -E(x) (y - E(y)其中E (x -E(x) (y - E(y)是随机变量x与y的协方差。因为x与y相互独立，所以E (x -E(x)(y - E(y) = 0 (见下面第3小节，随机变量的协方差)。上式的结果是Var (x - y) = Var (x) + Var (y)注意：两个相互独立随机变量差的方差不等于这两个随机变量方差的差。(6) 由性质(5)有如下结论：若两个随机变量是相互非独立的，其和与差的

12、方差公式是，Var (x + y) = Var (x) + Var (y) + 2 Cov(x, y)Var (x - y) = Var (x) + Var (y) - 2 Cov(x, y)其中Cov(x, y)表示x与y的协方差(协方差概念见下)。1.3随机变量的协方差协方差定义：随机变量x, y分别对其均值的离差乘积的数学期望E (x - E(x) (y - E(y)称作随机变量x, y的协方差，记作Cov(x, y)。其中E(x), E(y)分别表示x, y的期望。协方差用 来描述两个随机变量关系的紧密程度。对于离散型随机变量 x, y，协方差定义为Cov(x, y) =(Xi - E

13、(x) (yj - E(y) p(Xi, y)i j其中P(Xi,yj)= P(x =Xi, y =yj)表示x =Xi, y =yj条件下的概率。上式是协偏差人-E(x) yj-E(y)的加权平均。对于连续型随机变量 x, y，协方差定义为Cov(x, y) = J. J.(x - E(x) ) (y - E(y) ) p (x, y) dx dy其中p(x, y)是x, y的概率密度函数。当x, y相互独立时，Cov(x, y) = 0。协方差的大小与 x, y的量纲有关。一般来说，改变x, y的量纲，则x, y协方差的值也要改变。因此协方差所提供的主要信息是正值、负值还是 零。注意：虽然

14、两个变量相互独立，意味着协方差为零，但反过来不一定成立，即协方差为零，该两个变量未必独立(但肯定不存在线性相关)。二、正态分布2.1正态分布与标准正态分布正态分布定义：若连续型随机变量x的概率密度函数为f (X)=1.2 :二exp(-(X)2一 2其中J 为常量，二 0,则称x服从正态分布。记作 x、N( J严)。，匚分别是X的数学期望 和标准差。可以证明:1(x - I)2E(X) = J (X) dX =dX =卩2 ： 2Var (x) = (x - L) f (x) dx = (x -丄)21(X _)2exp(-2 ) dx =匚2二； 2.Var(x) = ；三种不同参数的正态分

15、布曲线见图1。概率密度函数f (x)呈钟形。最大值点在x =处。曲线以x = I对称。在x = _ C处密度函数曲线有拐点。当x_ 时，f (x)以x轴为渐近线。当匚较大时，f (x)曲线较平缓；当 匚较小时，f (x)曲线较陡峭。已知和匚的值， 就可以完全确定正态分布密度函数。对某产品的物理量测量常服从于正态分布。标准正态分布 定义：对于正态分布密度函数f (x)，当.1 = 0,二=1时，即f0 (x)=咅 exp(- +)伍 2称连续型随机变量x服从标准正态分布。记作x . N(0, 1 )。对于标准正态分布E(x) = 0， Var(x) = . Var (x) =1。标准正态分布曲线

16、见图2。标准正态分布密度函数fo(x)有如下性质：(1) fo(x)以纵轴对称；(2)x = 0时，fo(x)的极大值是1/ 2二=0.3989 ；( 3)fo(x)在x = _1处有两个拐点;(4) plim fo (x) = 0。图1正态分布曲线图2标准正态分布曲线正态分布随机变量的标准化。若二2 )，a, b为任意实数，且a b，则bPa 汰旳=a ,. rexp(- 2严(x)2) dx设Z = (x)/二，则(参见微积分中换元积分法)a_卩 b_4Pa _x _ b = PZ=显然Z是一个服从标准正态分布的随机变量。当x - N(),匚2)时，则X 卩Z = - E N(0, 1 )

17、a可见对一般正态分布随机变量x做变换Z = (x八1) / ；，则可以把x转化为服从标准正态分布的随机变量Z。对一般正态分布随机变量x计算概率非常不方便。通过标准化变换，利用标准正态分布累计概率表，则很容易计算出x取任意两个值之间的概率。正态分布的线性性质：2 若Xi、N (4 ,门),(i = 1,2,n ),且相互独立，则n送Xi小(迟巴，迟B2)i 4 若Xi z N (A, ai2), (i = 1,2,n )且相互独立，au 0为常数，则2 2ai xi - N (ai 口 , ai oi )元线性回归模型对于经济变量之间的关系，一般分为两类：一类是变量之间存在确定的函数关系。例如某

18、企业t时期的销售收入yt等于产品价格p与销售量xt的乘积，用数学表达式表示为：yt=pxt另一类是变量之间存在着非确定的依赖关系。例如某家庭的收入和支出之间的关系，一般来讲，家庭收入越多， 支出也相应越多。但是由于各种不确定的因素，使得不同时间内同 样的收入会有不同的支出。这就造成了收入和支出之间关系的不确定性，因而不能给出类似于函数的精确表达式。用ut表示其他影响因素，将这两个变量间非确定的依赖关系表示成下列形式：yt = f（xt） + ut为了分析和利用变量之间非确定的依赖关系，人们建立了各种统计分析方法，其中回归分析是最常用的经典方法之一。需要注意的是，回归分析是用来处理一个被解释变量

19、（因变量）与另一个解释变量（自变量）之间的关系，但它并不一定表明因果关系的存在；也就是 说，它并不意味着自变量是原因，而因变量是结果。两个变量是否存在因果关系， 必须以（经济）理论为判定基础，正如前面讲到的需求法则，它表明：当所有其他变量保持不变时，一 种商品的需求量依赖于（反向）该商品的价格。这里，微观经济理论暗示了价格是原因，而 需求量是结果。总之，回归并不意味着存在因果关系，因果关系的判定或推断必须依据经过实践检验的相关理论。1一元线性回归模型有一元线性回归模型（统计模型）如下，yt = p + xt + ut上式表示变量yt和人之间的真实关系。其中 称被解释变量（因变量），人称解释变量

20、（自 变量）,ut称随机误差项，-0称常数项，-1称回归系数（通常未知）。上面的模型可以分为两 部分。（1）回归函数部分，E（yt）= + “ xt, （2）随机部分，ut 。这种模型可以赋予各种实际意义， 收入与支出的关系； 如脉搏与血压的关系； 商品价格 与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系； 身高 与体重的关系等。以收入与支出的关系为例。 假设固定对一个家庭进行观察， 随着收入水平的不同， 与支 出呈线性函数关系。 但实际上数据来自各个家庭， 来自各个不同收入水平， 使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是

21、散在直线周围，服从统计关系。随机误差项Ut中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以在经济问题上“控制其他因素不变”是不可能的。回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略（在需求的例子中，如消费者收入、同类竞争产品的价格等因素），（2）人们的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等（数据统计）。所以为了把上 述产生的误差考虑在内，在计量经济模型中引进了随机变量ut，认为它对假定存在于 x和y之间的精确线性关系进行扰动。回归模型存在两个特点。（1）建立在某些假定条件不变前提下

22、抽象出来的回归函数不能 百分之百地再现所研究的经济过程。（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。通常线性回归函数 E（yt） = g + “ xt是观察不到的，利用样本得到的只是对 E（yt） = -o + -i xt的估计，即对-0和V的估计。在对回归函数进行估计之前应该对随机误差项Ut做出如下假定。（1）ut是一个随机变量，Ut的取值服从概率分布。（2）E（ut） = 0。该假定表明：平均地看，随机扰动项对yt没有任何影响，也就是说，正值与负值相互抵消。（3）D（ut） = E ut - E（ut） 2 = E（ut）2 =二2。称U具有

23、同方差性。该假定表示，每个 y值以相 同的方差分布在其均值周围。这是由于 x值是给定的或是非随机的，因此， y中唯一变 化的部分来自于u。因此，在给定 x值的条件下，ut与yt同方差。PRR0Y图6-2砒同方走讨异方差ut为正态分布(根据中心极限定理)。 以上四个假定可作如下表达。Ut、N (0,-)。(5) Cov( Ui, Uj) = E( Ui - E(Ui) ) ( Uj - E(Uj) ) = E( Ui, Uj) = 0, (i = j )。含义是不同观测值所对应的随机项相互独立。称为Ui的非自相关性。该假定表明Ui是随机的。(6) xi是非随机的。(7) Cov( Ui, Xi)

24、 = E( Ui - E(Ui) ) (xi - E(xi) ) = E Ui (xi - E(xi) = E UiXi - Ui E(xi) = E( Ui 刈=0.Ui与Xi相互独立。否则，分不清是谁对yt的贡献。(8) 对于多元线性回归模型，解释变量之间不能完全相关或高度相关(非多重共线性)。在假定(1)，(2)成立条件下有 E(yt) = E(Po+ Pi xt + Ut) =+ 必 xt 。同学们或许会对这些假定感到迷惑，为什么需要这些假定？它们的现实意义如何呢？如果这些假定不为真，情况又会怎样呢？如何知道某一回归模型却是满足说有这些假定呢？2 .最小二乘估计(OLS )对于所研究的

25、经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。29242016123怎样估计这条直线呢？显然综合起来看,这条直线处于样本数据的中心位置最合理。怎条直线的纵向距离用?t表示，称为残差(residUal),是Ut的估计量。样用数学语言描述“处于样本数据的中心位置”？设估计的直线用?t = ?0+ ? xt表示。其中?t称yt的拟合值(fitted valUe ),?0和?i分别是-0和-1的估计量。观测值到这yt = ? + ? = Po + Pi xt + Ut称为估计的模型。假定样本容量为To （1 ）用“残差和最小”确定直线位置是一个途径。但很快

26、发现计算“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性。（这种方法对异常值非常敏感）设残差平方和用Q表示，T 2丁TQ = v ? =、 (yt ?t)2 = v (yt - ？o - ？师)2，i 1i 4y则通过Q最小确定这条直线，即确定?o和?i的估计值。以?o和?i为变量，把Q看作是?o 和?i的函数，这是一个求极值的问题。求Q对?o和?i的偏导数并令其为零，得正规方程，汨 2L(yt_?0_?iXt)(-i)

27、 = 0.:QT=2 (yt?0?ixt)(-刈=0i 4(i)F面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由（i）、（2）式得,T尸送(yt -?0 -咕)=0id：T-送(yt ？0 f?ixt ) Xt = 0 i =!(3)式两侧用T除，并整理得，?0= y_?ix把上式代入(4)式并整理，得，T- (yt - y) - ?i(xt -x)xt = 0i iTT (yt y)xt - ？ (xt x)xt = 0 ii =!?_ xt(yt -y)送(x 一刃)人(8)TTT因为x（% -y）= 0，工x（Xt -x）= 0,分别在（8）式的分子和分母上减x（y y）和i

28、 di ii dT、x(Xt -x)得,i (9)、Xt(yt y)x(yt -y) (Xt X)Xt X(Xt -X)二（Xt -）（人-）Z （Xt X）2下面用矩阵形式推导首先正规方程为? = 2 .二：(yt ?o ?iXt) (-1) = 0-：?0i 丄.Q一:?iT=2 .二.(yt ?0 ?iXt)(-刈=0i =4(10)(i)TT?oT + ?iXt) = - yti吕i 4TTT?0 Xt+ ?i(7 Xt2) = - XtytT xt XtXt2!?o=二 yt 1 一 L?i企 Xtyt Ji甲0=t Z x/I E yt I i 石 Xt2 Xt yt 佃匡 Xt xt2-任 Xtyt - T 送 Xt2（送 X