第11讲(一元线性回归)

如果---应当---如果你不够漂亮，你就应当聪明；如果你既不漂亮也不聪明，你就应当勤奋；如果你既不漂亮也不聪明，而且还不够勤奋，你就应当经常保持微笑；如果你既漂亮，又聪明、勤奋，你就应当谦虚。1谁是赢家？

一个农夫牵着一头羊走在乡间小道上，迎面碰到一位游民。游民看了看农夫和他的羊。说到：“我愿出10美元买你的这头羊。”诚实的农夫说：“我的这头羊腿有些跛，值不了10美元。”游民肯定地说：“我会让它值更多的钱。”农民点点头，接过钱。露出一脸的疑惑。2

一周后，农夫和游民再次见面了。农夫关心地问游民：“那只羊是否让你富有？”“当然！”游民有些得意地说。农夫急切地问道：“说说看，那只羊是如何让你富有的？”看着农夫急切的神态，游民讲了他利用那只羊进行发财的经过。言语中流露出几分自豪与得意。3---我将那只羊带到一个村子，然后向村民们宣布：任何人都有可能用一美元获得这只羊。方法是用一美元购买一个抽签权，然后，每人抽一个签。谁抽中写有“羊”字的签，谁就可以得到这只羊。数百人参加了这一活动。最后，一个村民得到了这只羊。而我却得到了数百美元。4

农夫听完了游民的故事，想了很久。起初他以为以一美元获得这只羊的村民是赢家，但在他看到游民的兴奋表情，知道游民是真正的赢家。不过，他却始终不明白，为什么那么多的村民看不到这一点。细细想想，如果他在现场，他肯定也会同样地花一美元去买这个抽签权的。为什么？

5第11讲一元线性回归11.1变量间关系的度量11.2一元线性回归11.3利用回归方程进行估计和预测11.4残差分析本章重点：一元线性回归的方法本章难点：一元线性回归的计算611.1变量间关系的度量11.1.1.变量间关系11.1.2.相关关系的描述与测度11.1.3.相关关系的显著性检验711.1.1.变量间关系1）函数关系是一一对应的确定关系设有两个变量x和y，变量

y随变量x一起变化，并完全依赖于x

，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上

xy8函数关系(几个例子)函数关系的例子①某种商品的销售额y与销售量x之间的关系可表示为y=px

(p为单价)②圆的面积S与半径之间的关系可表示为S=R2

③企业的原材料消耗额y与产量x1、单位产量消耗x2、原材料价格x3之间的关系可表示为

y=x1x2x3

92）相关关系(correlation)变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量y的取值可能有几个各观测点分布在直线周围

xy10相关关系(几个例子)相关关系的例子①父亲身高y与子女身高x之间的关系②收入水平y与受教育程度x之间的关系③粮食亩产量y与施肥量x1、降雨量x2、温度x3之间的关系④商品的消费量y与居民收入x之间的关系⑤商品销售额y与广告费支出x之间的关系11相关关系(类型)1211.1.2.相关关系的描述与测度1）散点图(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关13散点图(例题分析)【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据

14散点图(例题分析)15散点图(例题分析)162）相关系数(correlationcoefficient)1.概念：①对变量之间关系密切程度的度量②对两个变量之间线性相关程度的度量称为简单相关系数③若相关系数是根据总体全部数据计算的，称为总体相关系数，记为④若是根据样本数据计算的，则称为样本相关系数，记为r172.相关系数的计算公式（记住）样本相关系数的计算公式或化简为183）相关系数取值及其意义

r

的取值范围是[-1,1]

|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关关系

-1r<0，为负相关

0<r1，为正相关

|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切相关系数的性质在p35919取值及其意义-1.0+1.00-0.5+0.5完全负相关无线性相关完全正相关负相关程度增加r正相关程度增加20相关系数的例题分析2111.1.3.相关关系的显著性检验1）r的抽样分布

①r是依据样本数据计算的，根据一个样本的相关系数能否说明总体的相关性呢？这需对样本相关系数的显著性进行检验。②样本相关系数的理论分布函数是很复杂的。r的抽样分布随总体相关系数和样本容量的大小而变化。③在进行这项检验时，天通常假设x与y是正态变量，如果总体相关系数=0,则样本相关系数r服从t分布222）检验的步骤1. 检验两个变量之间是否存在线性相关关系等价于对回归系数b1的检验采用R.A.Fisher提出的t检验检验的步骤为提出假设：H0：；H1：0

计算检验的统计量：

确定显著性水平，并作出决策若t>t，拒绝H0

若t<t，不能拒绝H023相关系数的显著性检验(例题分析)对不良贷款与贷款余额之间的相关系数进行显著性检(0.05)1.假设：H0：；H1：02.计算检验的统计量3.根据显著性水平＝0.05，查t分布表得t(n-2)=2.0687由于t=7.5344>t(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系24相关系数的显著性检验(例题分析)各相关系数检验的统计量25重要不论你在什么时候开始，重要的是开始之后就不要放弃。不论你在什么时候结束，重要的是结束之后就不要悔恨。26超过超过别人一点点，别人就会嫉妒你；超过别人一大截，别人就会羡慕你。

2711.2.一元线性回归11.2.1一元线性回归模型

回归模型、回归方程、估计的回归方程11.2.2参数的最小二乘估计11.2.3回归直线的拟合优度

判定系数、估计标准误差11.2.4显著性检验

线性关系的检验、回归系数的检验11.2.5回归分析结果的评价2811.2.1一元线性回归模型什么是回归分析？(Regression)从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度回归一词是怎么来的?？29回归分析与相关分析的区别相关分析中，变量x

变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x

可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制

30回归模型的类型31一元线性回归含义涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一个线性方程来表示321.一元线性回归模型具体形式描述因变量y如何依赖于自变量x和误差项

的方程称为理论回归模型一元线性回归模型可表示为

y=b0+b1x+ey是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数理论回归模型33一元线性回归模型基本假定①因变量y与自变量x具有线性关系②自变量x取值是非随机的，y是随机变量③误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为E(y)=0+

1x④对于所有的x值，ε的方差σ2都相同⑤误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关342.回归方程(regressionequation)描述y的平均值或期望值如何依赖于x的方程称为回归方程一元线性回归方程的形式如下

E(y)=0+1x方程的图示是一条直线，也称为直线回归方程0是回归直线在y轴上的截距，是当x=0时y的期望值1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值353.估计的回归方程(estimatedregressionequation)P365一元线性回归中估计的回归方程为用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必须利用样本数据去估计其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是y的估计值，也表示x每变动一个单位时，y的平均变动值

3611.2.2.参数的最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小37最小二乘估计的图示xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾38最小二乘法

(

和的计算公式)

根据最小二乘法，可得求解和的公式如下39

和的计算公式

根据最小二乘法的要求，可得求解和的公式如下：（记住）40估计方程的求法(例题分析)【例】求不良贷款对贷款余额的回归方程回归方程为：y=-0.8295

+0.037895

x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元

^41估计方程的求法(例题分析)不良贷款对贷款余额回归方程的图示42用Excel进行回归分析第1步：选择“工具”下拉菜单第2步：选择“数据分析”选项第3步：在分析工具中选择“回归”，然后选择“确定”第4步：当对话框出现时

在“Y值输入区域”设置框内键入Y的数据区域

在“X值输入区域”设置框内键入X的数据区域

在“置信度”选项中给出所需的数值在“输出选项”中选择输出区域在“残差”分析选项中选择所需的选项4311.2.3.回归直线的拟合优度

1、判定系数(1)变差①因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响②对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示。44(2)变差的分解(图示)xy{}}45(3)离差平方和的分解(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{461.总平方和(SST)反映因变量的n个观察值与其均值的总离差2.回归平方和(SSR）

（SSR：sumofsquaresforregression)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和3.残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和(4)三个平方和的意义47(5)判定系数r2(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝r248判定系数与相关系数的关系：

联系：数值上判定(可决)系数是相关系数的平方

区别：判定系数相关系数

就模型而言就两个变量而言说明解释变量对因变说明两变量线性依存程度量的解释程度

取值有非负性取值-1≦r≦1可正可负49例题分析【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系502.估计标准误差(standarderrorofestimate)①实际观察值与回归估计值离差平方和的均方根②反映实际观察值在回归直线周围的分散状况③对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量④反映用估计的回归方程预测y时预测误差的大小

计算公式为注：例题的计算结果为1.97995111.2.4.显著性检验1.线性关系的检验①检验自变量与因变量之间的线性关系是否显著②将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方(MSE)

：残差平方和SSE除以相应的自由度(n-p-1)（注：P为字变量个）52线性关系的检验的步骤提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F

作出决策：若F>F

,拒绝H0；若F<F

,不能拒绝H053例题分析

(以前面资料)提出假设H0：1=0不良贷款与贷款余额之间的线性关系不显著计算检验统计量F确定显著性水平=0.05，并根据分子自由度1和分母自由度25-2找出临界值F

=4.28作出决策：若F>F,拒绝H0，线性关系显著54方差分析表Excel输出的方差分析表552.回归系数的检验在一元线性回归中，等价于线性关系的显著性检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布56样本统计量的分布

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于未知，需用其估计量sy来代替得到的估计的标准差57回归系数的检验检验步骤

提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量确定显著性水平，并进行决策t>t，拒绝H0；t<t，不能拒绝H058例题分析对例题的回归系数进行显著性检验(＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系59回归系数的检验例题分析表P值的应用P=0.000000<=0.05，拒绝原假设，不良贷款与贷款余额之间有线性关系603、三种检验的关系在一元线性回归分析中，回归系数显著性的t检验、回归方程显著性的F检验，相关系数显著性t检验，三者等价的，检验结果是完全一致的。对一元线性回归，只做其中的一种检验即可。6111.2.5回归分析结果的评价建立的模型是否合适？或者说，这个拟合的模型有多“好”？要回答这些问题，可以从以下几个方面入手所估计的回归系数

的符号是否与理论或事先预期相一致在不良贷款与贷款余额的回归中，可以预期贷款余额越多不良贷款也可能会越多，也就是说，回归系数的值应该是正的，在上面建立的回归方程中，我们得到的回归系数为正值如果理论上认为x与y之间的关系不仅是正的，而且是统计上显著的，那么所建立的回归方程也应该如此在不良贷款与贷款余额的回归中，二者之间为正的线性关系，而且，对回归系数的t检验结果表明二者之间的线性关系是统计上显著的62回归模型在多大程度上解释了因变量y取值的差异？可以用判定系数R2来回答这一问题在不良贷款与贷款余额的回归中，得到的R2=71.16%，解释了不良贷款变差的2/3以上，说明拟合的效果还算不错考察关于误差项的正态性假定是否成立。因为我们在对线性关系进行F检验和回归系数进行t检验时，都要求误差项服从正态分布，否则，我们所用的检验程序将是无效的。正态性的简单方法是画出残差的直方图或正态概率图11.2.5回归分析结果的评价63Excel输出的部分回归结果R2）6411.3残差分析1用残差证实模型的假定2用残差检测异常值和有影响的观测值65残差图(residualplot)表示残差的图形关于x的残差图关于y的残差图标准化残差图用于判断误差的假定是否成立检测有影响的观测值66残差图(形态及判别)67残差图(例题分析)68标准化残差(standardizedresidual)残差除以它的标准差后得到的数值。计算公式为

sei是第i个残差的标准差，其计算公式为

69标准化残差图用以直观地判断误差项服从正态分布这一假定是否成立若假定成立，标准化残差的分布也应服从正态分布在标准化残差图中，大约有95%的标准化残差在-2到+2之间70标准化残差图

(例题分析)71异常值(outlier)如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点如果异常值是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模型如果完全是由于随机因素而造成的异常值，则应该保留该数据在处理异常值时，若一个异常值是一个有效的观测值，不应轻易地将其从数据集中予以剔除72异常值识别异常值也可以通过标准化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就