线性回归基本思想-一元模型

第2章线性回归的基本思1回归分析的应用Y和X：某一个总体的两个 如（Y）学生的成绩与（X）班级的规模（Y）工资收入与（X）受教育的年数（Y）社区 率与 的数量2YX(dependent(independent(explained(explanatory(response(control(predicted(predictor3建立X解释Y的模型时 三个问题Y和X的函数关系是怎样下面的简单方程解决了这些问题YX4一元回归模型的YX变量u：随机误差项或随机扰动表示：除X之外其他影响Y的因5u一、理论的不确（现象的内在随机性二、模型的简变量与 变忽略影响较小的因三、数据测量、收集的四、模型函数形式设定6一元线性回归模YX模型表述了Y和X之间的线性关系简单线性回归模型（Simplelinearregression又称做两变量或双变量线性回归模(Thetwovariableregression如果u中的其他因素保持不变的，即有X对Y具有线性影响，表述如下ΔY=ββ：Y和X关系式中的斜率参数（slopeα：截距参数（intercept7例1假使学生的成绩由以下模型所决定TestScoreClassSize教育学研究者对（其他因素不变时）模如何影响学生成绩感 。随机误差项u包括了学生基础、教师素质等因影响的效果由β给系数度量了在其他条件不变的情况下，班级规模对学生成绩的影响：ΔTestScore=8例 简单的工资方表示一个人的与他的其他非观测因素的关系：wageeducWage：工资水Educ：受教育的其他非观测因素9其他条件不变：包含在随机误差项中的相关因素均保持固定不变。因果性效应：其他条件不变情况下，量对另一个变量产生的影响。除非极为特殊的情形下，否则不可能经验研究：足够多的其他因素被保持不问假使期末考试的分数（score）决定于出勤（attend）和影响考试成绩的其他非观测因素score=α+βattend+那么这个模型能否满足其他非观测因素，如：学 、能力总体回归函一个假设的例——X—收入Y—消费支出Y17全部家庭来认识某一个群体的消费行相同的收入对应着不同的

|X

YY

X自变量给定时因变量的条件期望值的轨YY

E(Y|X)=17+ X总体回归函数的确定形式

|X

总体回归函数的随机形式YX样本回归函样本回归函数 (SampleRegressioniiuui

:ˆ

:

|Xi)

Xi下列方程哪些是正确的?哪些是错误的？为什么i,2)ˆXi,3)ˆXi,4)ˆi, OLS：ordinaryleast一元线性回归模型的估

22 OLS最小二乘准则使全部观察值的残差平方和最小n(Yˆ

(Y

Xmin i

ni n(ordinaryleastsquares)OLSn22

Xi

i)

i)Xi2Yi2

(XiXi

xi(Xi

Xi

22iOLS残差的均值为零i数学表述为

ei

残差定义

即OLS的一阶条n

nniii

ˆ

nni

X即i

Xi)

eiiiY 一条通过Y的均值的水平线，也满足残差均值为0X和OLS残差的相关系数为0来自于一阶条n

2Xi2即i

Xi)Xi

nin

eiXie与

N

e)(Xi

X11N11

(Xi

X

N(eiXi

i1N(eiXii1

Xe

1eX 和OLS1X1

参数估计的最大或然法最大或然法 umLikelihood,简称ML)，也基本原理 0

1X

iX,)2假如模型的参数估计量已经求得，为X,)2Yi

N(ˆ0

(Y

P(Yi)

e2

合概率，也即或然函数(likelihoodfunction)为：

,, )

,Y2

,