演示文稿简单回归模型

演示文稿简单回归模型第一页，共六十三页。（优选）简单回归模型第二页，共六十三页。回归的历史含义F.加尔顿最先使用“回归（regression）”。父母高，子女也高；父母矮，子女也矮。给定父母的身高，子女平均身高趋向于

“回归”到全体人口的平均身高。简单回归模型的定义第三页，共六十三页。

回归的现代释义

回归分析用于研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。

关注对象：（1）用x来解释y

（2）研究y如何随x而变化商品需求函数：

警察和犯罪率：

第四页，共六十三页。除x外其他影响y的因素如何处理？y和x函数关系如何设定？

简单回归的几个问题：y=0

+1

x+u扰动项u的引入。x和y的非线性关系怎么办？生产函数：

第五页，共六十三页。yx因变量(dependentV.)自变量(independentV.)被解释变量(explainedV.)解释变量(explainatoryV.)响应变量(responseV.)控制变量(controlV.)被预测变量(predictedV.)预测变量(predictorV.)回归子(regressand)回归元(regressor)u误差项（errorterm)扰动项、干扰项（disturbance）第六页，共六十三页。两个例子yield=0

+1

fertilizer+uwage=0

+1

educ+u其他因素不变，u=0，则：

1

=yield/fertilizer

1

=wage/educ变化解释变量fertilizer或educ时，能假定其他因

素不变吗？

第七页，共六十三页。

解释变量x和扰动项u关于均值独立：均值独立比“不相关”更强相关关系度量的是变量间的线性关系。若x表示受教育水平，u是个人能力，假定可能成立吗？关于u的假定E(u|x)=E(u)第八页，共六十三页。对于模型：

如方程包含常数项，可以假定：

若E(u)=a0，可将模型调整为：零条件均值假定：y=0

+1

x+uE(u)=0y=0

+a+1

x+u1E(u|x)=0第九页，共六十三页。总体回归函数（PRF）E(y|x)=0

+1

xPRF是确定的，未知的第十页，共六十三页。总体回归函数（传统思路）

假想案例

总体回归函数的随机设定

随机误差项的意义第十一页，共六十三页。XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191户数5657665765总支出32546244570767875068510439661211

假设一个国家只有60户居民，他们的可支配收入和消费支出数据如下（单位：美元）：

假想案例第十二页，共六十三页。

描出散点图发现：随着收入的增加，消费“平均地说”也在增加，且Y的条件均值均落在一根正斜率的直线上。这条直线称为总体回归线。E(Y|Xi)

=0

+1Xi=17.00+0.6Xi第十三页，共六十三页。“天行有常，不为尧存，不为桀亡。应之以治则吉，应之以乱则凶。”

---荀子《天论》E(Y|Xi)

=0

+1Xi

总体回归函数其中：Y——被解释变量；X——解释变量；0，1—回归系数（待定系数或待估参数）第十四页，共六十三页。

总体回归模型的随机设定

对于某一个家庭，如何描述可支配收入和消费支出的关系?XiYi.........E(Y|Xi)

=0

+1

XiY1Y2Y3u1u2u3—总体回归直线ui＝Yi-E(Y|Xi)—误差项某个家庭的消费支出分为两部分：一是E(Y|Xi)=0

+1Xi

，称为系统成分或确定性成分；二是ui，称为非系统或随机性成分。Yi=E(Y|Xi)

+ui

=0

+1

Xi

+ui第十五页，共六十三页。Yi=0

+1

Xi

+uiE(Y|Xi)

=0

+1

Xi,随机性总体回归函数确定性总体回归函数第十六页，共六十三页。

随机误差项u的意义

反映被忽略掉的因素对被解释变量的影响。或者理论不够完善，或者数据缺失；或者影响轻微。模型设定误差度量误差人类行为内在的随机性第十七页，共六十三页。普通最小二乘法对于一元回归模型：两个条件：两个未知数：所有的yi和xi都是已知数据。

E(u)=0E(u|x)=0E(xu)=0yi=0

+1

xi

+ui0

和1

第十八页，共六十三页。方程组：

用样本矩代替总体矩：

E(y-0

-1

x)=E(u)=0E[x(y-0

-1

x)]=E(xu)=0第十九页，共六十三页。当满足条件：

OLS估计量

：实际上就是y和x的样本协方差与x的样本方

差之比。第二十页，共六十三页。第二十一页，共六十三页。拟合值：给定截距和斜率估计值，y在x=xi时的预测值该函数为样本回归函数

（SRF）残差：第二十二页，共六十三页。普通最小二乘法（传统思路）如何得到一条能够较好地反映这些点变化规律

的直线呢？第二十三页，共六十三页。Q==通过Q最小确定这条直线，即确定，以为变量，把它们看作是Q的函数，就变成了一个求极值的问题，可以通过求导数得到。残差的平方和最小第二十四页，共六十三页。求Q对两个待估参数的偏导数：即第二十五页，共六十三页。XY8010012014016018020022024026055——————135137—60——93107115————6574—95110120—140—175——94103——144——17875—98108—135——175—－88－113125—－—189—－－－115－－－162－191户数4226331333总支出255162192627342370144337501544样本回归函数

为研究总体，我们需要抽取一定的样本。

第一个样本第二十六页，共六十三页。样本回归线样本均值连线第二十七页，共六十三页。XY80100120140160180200220240260—6579—102—120135——60708493—115——145152—7490—————155——80——116—144152165—7585——118—145——180－—－——140－160189185－－－115－－－—－—户数2532323343总支出135374253208336255409447654517样本回归函数

第二个样本第二十八页，共六十三页。样本回归线样本均值连线第二十九页，共六十三页。

总体回归模型和样本回归模型的比较第三十页，共六十三页。

几个例子首席执行官的薪水和股本回报率？第三十一页，共六十三页。工资和受教育程度投票结果与竞选支出：

第三十二页，共六十三页。Xiyiy1y2y3u1u2u3E(y|xi)

=0

+1

xi注意：分清几个关系式和表示符号（2）样本（估计的）回归直线：（3）总体（真实的）回归模型：

（4）样本（估计的）回归模型：（1）总体（真实的）回归直线：ui——随机误差项

——残差项第三十三页，共六十三页。OLS操作技巧

（1）残差和及样本均值都等于零OLS估计量代数性质=

=

（2）回归元和残差的样本协方差为零第三十四页，共六十三页。（3）总在OLS回归线上

（4）拟合值的样本均值等于yi的样本均值

（5）拟合值和残差的样本协方差为零第三十五页，共六十三页。........yxyi

xi

A0=+总离差

=回归差

+残差

回归差：由样本回归直线解释的部分

残差：不能由样本回归直线解释的部分

可以证明:

离差平方和分解第三十六页，共六十三页。

总平方和＝解释平方和＋残差平方和SST=SSE+SSR=+

利用性质（1）和性质（5）：第三十七页，共六十三页。＋=1解释平方（SSE）和在总平方和（SST）中所占的比重越大，说明样本回归模型对样本数据拟合的程度越好。因此，用来表示拟合优度的可决系数定义为：R2R2的取值范围是

[0，1]。对于一组数据，TSS是不变，所以ESS↑（↓），RSS↓（↑）

拟合优度与判定系数（可决系数）第三十八页，共六十三页。R2=0时表明解释变量x与被解释变量y之间不存在线性关系；R2=1时表明样本回归线与样本值重合；一般情况下，R2越接近1表示拟合程度越好，x对y的解释能力越强；看似很低的R2值，并不意味着OLS回归方程没有用！

R2=

=

=

=(R)2第三十九页，共六十三页。度量单位和函数形式改变度量单位对OLS估计量的影响首席执行官的薪水和股本回报率？若salarydol=1000salary，即将薪水单位由千美元

调整为美元，模型估计结果为：第四十页，共六十三页。若股本回报率由百分比调整为小数，即roedoc=roe/100，模型估计结果为：若将薪水单位调整为美元，股本回报率调整为小数，

模型估计结果？判定系数R2为什么不变？第四十一页，共六十三页。

弹性度量：双对数模型

yt

=axtb

两侧同取对数，加入扰动项：

Lnyt=Lna+bLnxt+ut令a*=Lna，yt*=Lnyt，xt*=Lnxt，上式表示为

yt*=a*+bxt*+utCobb-Douglas生产函数Q=AL

K

模型的非线性第四十二页，共六十三页。双对数模型与线性模型的区别双对数模型中斜率系数b为y对x的弹性E：Lnyt=a*+bLnxt+utb=E=线性模型中斜率系数b为x对y的边际影响：yt=a+bxt+ut

b=dy/dx从而弹性E

=(dy/dx)(x/y)=b(x/y)双对数模型中弹性E是不变的，线性模型中弹性随着x/y的变化而变化。

第四十三页，共六十三页。增长率测度：半对数模型Lnyt

=a+bxt+ut

b反映x一单位变动导致y的相对变动：当x表示时间时，b为y的增长率。

令

yt

=y0(1+r)t两侧同时取对数：Lnyt

=Lny0

+tLn(1+r)

当r很小时，b=Ln(1+r)≈r第四十四页，共六十三页。人力资本研究中，通常会使用半对数模型：

这里wage为工资收入，edu为受教育年限，ability为能力，work为工作经验。引入work2是因为人们通常认为存在最优工作年限！半对数模型中，参数1的含义为：1

=如果使用线性模型，即被解释变量为wage，则参数1的含义为第四十五页，共六十三页。

线性—对数模型

yt=a+bLnxt

+ut

（b>0）

家庭预算的截面研究中，一类支出y和收入x的关系。预算花费在这种商品之前，收入要达到一个确定的临界水平e-a/b。而且支出随着收入的增加而单调增加，但其增长率递减，该商品消费的边际倾向(b/x)和弹性(b/y)都随着收入增加而递减。第四十六页，共六十三页。第四十七页，共六十三页。

倒数模型

yt=a+b/xt

+ut

yxy=a0yt=a+b/xtb>0，a<0yx0yt=a+b/xtb<0,a>0菲利普斯曲线恩格尔消费曲线第四十八页，共六十三页。多项式模型：二次函数：

yt=b0+b1xt+b2xt2+ut

交叉乘积项：

yt=b0+b1x1t+b2x2t+b3x1tx2t+ut

第四十九页，共六十三页。吸烟与肺癌第五十页，共六十三页。关于参数线性，而不是关于变量线性！可以通过变量替换，转化为线性模型！“线性”回归的含义第五十一页，共六十三页。OLS估计量的期望值和方差

高斯-马尔可夫定理（参见P97）如果满足古典线性回归模型的基本假定，则在所有的线性估计量中，OLS估计量是最优线性无偏估计量（BLUE）。线性性无偏性有效性第五十二页，共六十三页。简单回归的高斯—马尔科夫假定假定1：关于参数线性y=0

+1

x+u

（1）假定2：随机抽样

有一个服从总体模型（1）的随机样本{(xi,yi):i=1,2,…,n}，n为样本容量假定3：解释变量的样本有变异

xi的样本实现值，