第六章回归分析魏红梅

1、 我国人均国民收入与人均消费金额数据 单位:元人均国民收入人均消费金额人均国民收入人均消费金额393.8419.14460.86544.11668.29737.73859.972492672893294064515131068.81169.21250.71429.51725.92099.56436907138039471148在研究我国人均消费水平的问题中，把全国人均消费额记在研究我国人均消费水平的问题中，把全国人均消费额记为为y，把人均国民收入记为，把人均国民收入记为x。我们收集。我们收集13年的样本数据年的样本数据(xi ，yi)，i =1,2,，13，数据见表，数据见表6-1，计算一元线

2、性回归方，计算一元线性回归方程，并说明其经济含义。程，并说明其经济含义。第六章第六章 相关与回归分析相关与回归分析n第一节第一节 相关与回归的基本概念相关与回归的基本概念n第二节第二节 简单线性相关分析简单线性相关分析n第三节第三节 一元线性回归分析一元线性回归分析学习目标学习目标1.掌握相关系数的含义、计算方法和应用掌握相关系数的含义、计算方法和应用2.掌握一元线性回归的基本原理和参数的掌握一元线性回归的基本原理和参数的最小二乘估计方法最小二乘估计方法3.掌握回归方程的显著性检验掌握回归方程的显著性检验4.利用回归方程进行预测利用回归方程进行预测 据世界卫生组织统计，全球肥胖症患者达据世界卫

3、生组织统计，全球肥胖症患者达3 3亿人，其中儿童占亿人，其中儿童占22002200万人，万人，1111亿人体重过重。亿人体重过重。肥胖症和体重超常早已不是发达国家的肥胖症和体重超常早已不是发达国家的“专利专利”，已遍及五大洲。目前，全球因已遍及五大洲。目前，全球因”吃吃”致病乃至死致病乃至死亡的人数已高于因饥饿死亡的人数。亡的人数已高于因饥饿死亡的人数。 (引自引自光明日报光明日报刘军刘军/文）文）案例: 全球吃死的人比饿死的人多?此类问题可以运用相关分析与回归分析的方法去此类问题可以运用相关分析与回归分析的方法去解决。解决。问题问题: : 肥胖症和体重超常与死亡人数真有显著肥胖症和体重超常与

4、死亡人数真有显著 的数量关系吗的数量关系吗? ?第一节第一节 相关与回归的基本概念相关与回归的基本概念一、变量间的相互关系一、变量间的相互关系二、相关关系的类型二、相关关系的类型三、相关分析与回归分析三、相关分析与回归分析一、变量间的相互关系一、变量间的相互关系n 确定性的函数关系确定性的函数关系 Y=f (X)Y=f (X)n不确定性的统计关系不确定性的统计关系相关关系 Y= fY= f（X X）+ (+ (为随机变量为随机变量) )n没有关系没有关系 变量间关系的图形描述：变量间关系的图形描述： 坐标图坐标图( (散点图散点图) )二、相关关系的类型二、相关关系的类型n从涉及的从涉及的变量

5、数量看看n简单相关简单相关n多重相关（复相关）多重相关（复相关）n 从变量相关关系的从变量相关关系的表现形式看看n线性相关相关散布图接近一条直线散布图接近一条直线n非线性相关相关散布图接近一条曲线散布图接近一条曲线n(左图左图)n(右图右图)n从变量相关关系变化的从变量相关关系变化的方向看看n正相关变量同方向变化，变量同方向变化，同增同减同增同减n负相关变量反方向变化变量反方向变化 ， 一增一减一增一减 n从变量相关的程度看从变量相关的程度看n完全相关完全相关 n不相关不相关 n不完全相关不完全相关（A）（B）（C）n(B)(B)n(C)(C)n(A)(A) (A)(B) 三、相关分析与回归分

6、析三、相关分析与回归分析n相关分析（相关分析（Correlation Analysis）研究变量之间）研究变量之间相关的方向和相关的程度，但无法给出变量间相相关的方向和相关的程度，但无法给出变量间相互关系的具体形式，因而无法从一个变量推测另互关系的具体形式，因而无法从一个变量推测另一个变量。一个变量。n回归分析（回归分析（Regression) 可以确定变量之间相互可以确定变量之间相互关系的具体形式（回归方程），确定一个变量关系的具体形式（回归方程），确定一个变量对另一个变量的影响程度，并根据回归方程进对另一个变量的影响程度，并根据回归方程进行预测。行预测。回归的回归的古典意义：古典意义： 高

7、尔顿遗传学的回归概念高尔顿遗传学的回归概念 父母身高与子女身高的关系父母身高与子女身高的关系: : 无论高个子或低个子的子女无论高个子或低个子的子女 都有向人的平均身高回归的都有向人的平均身高回归的 趋势趋势回归的回归的现代意义现代意义:一个因变量对若干解释变量依存关系的研究一个因变量对若干解释变量依存关系的研究回归的回归的目的（实质）：目的（实质）：由固定的自变量去估计因变量的平均值由固定的自变量去估计因变量的平均值估计因变量估计因变量平均值平均值自变量的固定值自变量的固定值相关分析与回归分析的关系相关分析与回归分析的关系n（一）区别n1、相关分析的任务是确定两个变量之间相关的方向和密切程度

8、。回归分析的任务是寻找因变量对自变量依赖关系的数学表达式。n2、相关分析不必确定两变量中哪个是自变量，哪个是因变量，而回归分析中必须区分因变量与自变量。n3、相关分析中两变量是对等的改变两者的地位，并不影响相关系数的数值，只有一个相关系数。而在回归分析中，互为因果关系的两个变量可以编制两个独立的回归方程。n4、相关分析中两变量可以都是随机的，而回归分析中因变量是随机的，自变量不是随机的。（二）联系（二）联系n1、共同的研究对象：都是对变量间相关关系的分析。n2、相关分析是回归分析的基础和前提。只有在相关分析确定了变量之间存在一定相关关系的基础上建立的回归方程才有意义。n3、回归分析是相关分析的

9、继续和深化。只有建立了回归方程才能表明变量之间的依赖关系，并进一步进行预测。一、相关系数及其计算一、相关系数及其计算第二节第二节 简单线性相关分析简单线性相关分析n对变量之间关系密切程度的度量对变量之间关系密切程度的度量n对两个变量之间对两个变量之间线性线性相关程度的度量称为简单线相关程度的度量称为简单线性相关系数，或皮尔逊（性相关系数，或皮尔逊（ Pearson）相关系数）相关系数n若相关系数是根据总体全部数据计算的，称为总若相关系数是根据总体全部数据计算的，称为总体相关系数，记为体相关系数，记为n若是根据样本数据计算的，则称为样本相关系数，若是根据样本数据计算的，则称为样本相关系数，记为记

10、为 rn总体相关系数总体相关系数 对于所研究的总体，表示两个相互联系变量相关程度的对于所研究的总体，表示两个相互联系变量相关程度的总体相关系数为：总体相关系数为： 总体相关系数反映总体两个变量总体相关系数反映总体两个变量X X和和Y Y的的线性线性相关程度。相关程度。 特点：特点：对于特定的总体来说，对于特定的总体来说，X X和和Y Y的数值是既定的的数值是既定的 总体相关系数是客观存在的特定数值。总体相关系数是客观存在的特定数值。 (, )()( )Cov X YVar X Var Y（1）n 样本相关系数样本相关系数 通过通过X X和和Y Y 的样本观测值去估计样本相关系数变量的样本观测值

11、去估计样本相关系数变量X X和和Y Y的样本相关系数通常用的样本相关系数通常用 表示表示 或化简为：或化简为：特点：特点：样本相关系数是根据从总体中抽取的随机样本的观测值计样本相关系数是根据从总体中抽取的随机样本的观测值计算出来的，是对总体相关系数的估计，它是个算出来的，是对总体相关系数的估计，它是个随机变量。随机变量。 xyr_22()()()()iixyiixxyyrxxyy（2）（3）back1back2n 相关系数取值及其意义相关系数取值及其意义n相关系数相关系数r r 的取值范围是的取值范围是 -1,1。n当当r=0时，表明时，表明X X与与Y Y没有没有线性线性相关关系。相关关系。

12、n当当 时，表明时，表明X X与与Y Y存在一定的存在一定的线性线性相关关相关关系系: : 若若 表明表明X X与与Y Y 为正相关为正相关; ; 若若 表明表明X X与与Y Y 为负相关。为负相关。01r0r 0r n当当 时，表明时，表明X X与与Y Y完全完全线性线性相关相关: : 若若r=1，称，称X与与Y完全正相关；完全正相关； 若若r=-1，称，称X X与与Y Y完全负相关。完全负相关。1r n|r|r|越趋于越趋于1 1表示关系越密切；表示关系越密切；|r|r|越趋于越趋于0 0表示关系表示关系越不密切越不密切 表6-1 我国人均国民收入与人均消费金额数据 单位:元年份人均国民收

13、入人均消费金额年份人均国民收入人均消费金额1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148【例例10.1】在研究我国人均消费水平的问题中，把全国人在研究我国人均消费水平的问题中，把全国人均消费额记为均消费额记为y，把人均国民收入记为，把人均国民收入记为x。我们收集到。我们收集到19811993年的样本数据年的

14、样本数据(xi ，yi)，i =1,2,，13，数据见表，数据见表6-1，计算相关系数。，计算相关系数。backn解：根据样本相关系数的计算公式有根据样本相关系数的计算公式有人均国民收入与人均消费金额之间的相关系数为人均国民收入与人均消费金额之间的相关系数为 0.9987back样本能代表总体吗样本能代表总体吗？n如果如果红色红色的点碰巧为你的样本，则样本相关系数的点碰巧为你的样本，则样本相关系数为为0.907，总体相关系数为，总体相关系数为0.00005二、相关系数的显著性检验二、相关系数的显著性检验n样本相关系数样本相关系数r受到抽样波动的影响，是一个随受到抽样波动的影响，是一个随机变量。

15、机变量。n相关系数非常高的样本也有可能来自无相关关相关系数非常高的样本也有可能来自无相关关系的总体。为了排除这种情况，需要对相关系系的总体。为了排除这种情况，需要对相关系数进行假设检验。数进行假设检验。为什么要对相关系数进行显著性检验？为什么要对相关系数进行显著性检验？n概念要点概念要点:n检验两个变量之间是否存在线性相关关系检验两个变量之间是否存在线性相关关系n等价于对回归系数等价于对回归系数 b b1的检验的检验n采用采用 t 检验检验n检验的步骤为检验的步骤为:n 计算检验的统计量：计算检验的统计量：确定显著性水平确定显著性水平 ，并作出决策，并作出决策 若若 t t，拒绝，拒绝H0，表

16、明总体的两个变量之间存，表明总体的两个变量之间存在显著的线性关系。在显著的线性关系。 若若 t t(13-2)=2.201，拒绝，拒绝H0，人均，人均消费金额与人均国民收入之间的相关关系显著消费金额与人均国民收入之间的相关关系显著&使用相关系数的注意事项：使用相关系数的注意事项：nX X和和Y Y 都是相互对称的随机变量，所以都是相互对称的随机变量，所以xyyxrrn相关系数不能确定变量的因果关系，也不能说明相关系数不能确定变量的因果关系，也不能说明相关关系具体接近于哪条直线。相关关系具体接近于哪条直线。n相关系数相关系数只反映只反映变量间的线性相关程度，不能变量间的线性相关程度，不能说明非线

17、性相关关系。说明非线性相关关系。注意：相关关系注意：相关关系因果关系！因果关系！n 典型的错误推断：典型的错误推断：n统计分析表明，庆祝生日次数越多的人越长寿。因此，统计分析表明，庆祝生日次数越多的人越长寿。因此，庆祝生日有利于健康。庆祝生日有利于健康。n调查表明，世界各国人均电视机拥有量与预期寿命存在调查表明，世界各国人均电视机拥有量与预期寿命存在很强的正相关性。因此，电视机拥有量越高，预期寿命很强的正相关性。因此，电视机拥有量越高，预期寿命越长。越长。n对小学各年级学生的抽样调查表明，学生的识字水平与对小学各年级学生的抽样调查表明，学生的识字水平与他们鞋子的尺寸高度正相关。因此，学生穿的鞋

18、越大，他们鞋子的尺寸高度正相关。因此，学生穿的鞋越大，他的识字水平就越高。他的识字水平就越高。n思考题：思考题：n解释相关关系的含义和主要类型。解释相关关系的含义和主要类型。n相关分析与回归分析的联系。相关分析与回归分析的联系。n简述相关系数的取值意义。简述相关系数的取值意义。n为什么要对相关系数进行显著性检验？为什么要对相关系数进行显著性检验？n简述相关系数显著性检验的步骤。简述相关系数显著性检验的步骤。n从某一行业中随机抽取从某一行业中随机抽取12家企业，所得产量与生产费家企业，所得产量与生产费用的数据如下：用的数据如下：企业编号企业编号产量产量/台台生产费用生产费用/万元万元企业编号企业

19、编号产量产量/台台生产费用生产费用/万元万元14013078416524215081001703501559116167455140101251805651501113017567815412140185n（1）绘制产量与生产费用的散点图，判断二者）绘制产量与生产费用的散点图，判断二者之间的关系形态。之间的关系形态。n（2）计算产量与生产费用之间的线性相关系数。）计算产量与生产费用之间的线性相关系数。n（3）对相关系数的显著性进行检验（）对相关系数的显著性进行检验（ ），），并说明二者的关系强度。并说明二者的关系强度。0.05第三节第三节 一元线性回归分析一元线性回归分析n回归分析的回归分析的

20、内容和步骤内容和步骤： 1.根据理论和对问题的分析判断，区分自变量和因变根据理论和对问题的分析判断，区分自变量和因变量。量。 2.设法找出合适的回归模型来描述变量间的关系。设法找出合适的回归模型来描述变量间的关系。 3.对回归模型进行统计检验。对回归模型进行统计检验。 4.利用回归模型，根据解释变量去估计、预测因变量利用回归模型，根据解释变量去估计、预测因变量回归模型的类型回归模型的类型回归模型回归模型多元回归多元回归一元回归一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归一、一元线性回归模型一、一元线性回归模型1、回归模型、回归模型n当只涉及一个自变量时称为当

21、只涉及一个自变量时称为一元回归一元回归，若因变量，若因变量 y 与自与自变量变量 x 之间为线性关系时称为之间为线性关系时称为一元线性回归一元线性回归n对于具有线性关系的两个变量，可以用一条线性方程来对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系表示它们之间的关系n描述描述因变量因变量 y 如何依赖于自变量如何依赖于自变量 x 和误差项和误差项 的方程称为的方程称为回归模型回归模型 对于只涉及一个自变量的一元线性回归模型可对于只涉及一个自变量的一元线性回归模型可表示为表示为 y = b + b1 x + n模型中，模型中，y 是是 x 的线性函数的线性函数(部分部分)加上误

22、差项加上误差项n线性部分反映了由于线性部分反映了由于 x 的变化而引起的的变化而引起的 y 的变化的变化n误差项误差项 是随机变量是随机变量n反映了除反映了除 x 和和 y 之间的线性关系之外的随机因素之间的线性关系之外的随机因素对对 y 的影响的影响n是不能由是不能由 x 和和 y 之间的线性关系所解释的变异性之间的线性关系所解释的变异性nb b0 和和 b b1 称为模型的参数称为模型的参数（4）1.误差项误差项是一个期望值为是一个期望值为0的随机变量，即的随机变量，即E()=0。对。对于一个给定的于一个给定的 x 值，值，y 的期望值为的期望值为E ( y ) =b 0+ b 1 x2.

23、对于所有的对于所有的 x 值，值，的方差的方差2 都相同都相同3.误差项误差项是一个服从正态分布的随机变量，且相互独是一个服从正态分布的随机变量，且相互独立。即立。即N( 0 ,2 )n独立性意味着对于一个特定的独立性意味着对于一个特定的 x 值，它所对应的值，它所对应的与与其他其他 x 值所对应的值所对应的不相关不相关n对于一个特定的对于一个特定的 x 值，它所对应的值，它所对应的 y 值与其他值与其他 x 所所对应的对应的 y 值也不相关值也不相关基本假定基本假定2、回归方程回归方程1.描述描述 y 的的平均值或期望值平均值或期望值如何依赖于如何依赖于 x 的方程称为的方程称为回回归方程归

24、方程2.简单线性回归方程的形式如下简单线性回归方程的形式如下3. E( y ) = b b0+ b b1 x（5）3、估计、估计(经验经验)的回归方程的回归方程 y（6） 为观测值与估计值之间的离差：点到直线的纵为观测值与估计值之间的离差：点到直线的纵向距离。向距离。 二、参数二、参数b b0 0 和和 b b1 1的最小二乘估计的最小二乘估计1112131415165.05.56.06.5iiyyGauss最小二乘法（最小二乘法（OLS，Ordinary Least Square）0b1bxy(xn , yn)(x1 , y1)(x2 , y2)(xi , yi)ei = yi-yixy10

25、bb+（7）和和 的计算公式的计算公式注意：注意： 的符号与相关系数的符号与相关系数r是一致的。是一致的。1b b（8）&估计方程的求法估计方程的求法（实例）（实例）n【例】根据前例中的数据，配合人均消费金额根据前例中的数据，配合人均消费金额对人均国民收入的回归方程对人均国民收入的回归方程n根据根据 和和 的求解公式得的求解公式得&n 人均消费金额对人均国民收入的回归方程为人均消费金额对人均国民收入的回归方程为back2、对一个具体的观测值来说，变差的大小可以通过该、对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差实际观测值与其均值之差 来表示来表示1.因变量因变量 y 的取

26、值是不同的，的取值是不同的，y 取值的这种波动称为取值的这种波动称为变变差差。变差来源于两个方面。变差来源于两个方面n由于自变量由于自变量 x 的取值不同造成的的取值不同造成的n除除 x 以外的其他因素以外的其他因素(如如x对对y的非线性影响、测量误的非线性影响、测量误差等差等)的影响的影响三、回归直线的拟合优度三、回归直线的拟合优度n回归直线与各观测点的接近程度称为回归直线回归直线与各观测点的接近程度称为回归直线对数据的对数据的拟合优度拟合优度用判定系数用判定系数R2度量度量离差平方和的分解离差平方和的分解离差平方和的分解离差平方和的分解（图示）（图示）y三个平方和的关系三个平方和的关系n2

27、. 两端平方后求和有两端平方后求和有（9）（10）三个平方和的意义三个平方和的意义1.总平方和总平方和(SST)n反映因变量的反映因变量的 n 个观察值与其均值的总离差个观察值与其均值的总离差2.回归平方和回归平方和(SSR)n反映自变量反映自变量 x 的变化对因变量的变化对因变量 y 取值变化的影取值变化的影响，或者说，是由于响，或者说，是由于 x 与与 y 之间的线性关系引之间的线性关系引起的起的 y 的取值变化，也称为可解释的平方和的取值变化，也称为可解释的平方和3.残差平方和残差平方和(SSE)n反映除反映除 x 以外的其他因素对以外的其他因素对 y 取值的影响，也取值的影响，也称为不

28、可解释的平方和或剩余平方和称为不可解释的平方和或剩余平方和判定系数判定系数 R21.回归平方和占总离差平方和的比例回归平方和占总离差平方和的比例（11）在具体计算在具体计算R R2 2时，由于根据估计的回归方程式有：时，由于根据估计的回归方程式有： 2212211niiinniiiixxyyRxxyy（12）2r&back2944762.5880.9978899.788%946766.923SSRRSST222(0.999)0.99899.8%Rr也可以根据相关系数求得：也可以根据相关系数求得：估计标准误差估计标准误差 Sy1.实际观测值与回归估计值离差平方和的均方根实际观测值与回归估计值离差

29、平方和的均方根2.反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况3.从另一个角度说明了回归直线的拟合程度从另一个角度说明了回归直线的拟合程度4.计算公式为计算公式为注：上例的计算结果为注：上例的计算结果为13.4986（13）四、显著性检验四、显著性检验1 1、线性关系的检验、线性关系的检验n检验自变量和因变量之间的线性关系是否显著检验自变量和因变量之间的线性关系是否显著n具体方法是将回归离差平方和具体方法是将回归离差平方和(SSR)同残差平方同残差平方和和(SSE)加以比较，应用加以比较，应用F检验来分析二者之间的检验来分析二者之间的差别是否显著差别是否显著如果

30、是显著的，两个变量之间存在线性关系如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系如果不显著，两个变量之间不存在线性关系1.提出假设提出假设nH0： 两个变量之间的线性关系不显著两个变量之间的线性关系不显著2. 2. 计算检验统计量计算检验统计量F F3. 确定显著性水平确定显著性水平 ，并根据分子自由度，并根据分子自由度1和分母和分母自由度自由度n-2找出临界值找出临界值F 4. 作出决策：若作出决策：若F F ,拒绝拒绝H0；若若F t t，拒绝，拒绝H H0 0； t t t t，接受，接受HH0 010b10b五、利用回归方程进行估计和预测五、利用回归方程进

31、行估计和预测1.根据自变量根据自变量 x 的取值估计或预测因变量的取值估计或预测因变量 y的取值的取值2.估计或预测的类型估计或预测的类型n点估计点估计ny 的平均值的点估计的平均值的点估计ny 的个别值的点估计的个别值的点估计n区间估计区间估计ny 的平均值的的平均值的置信区间置信区间估计估计ny 的个别值的的个别值的预测区间预测区间估计估计点估计点估计2. 点估计值有点估计值有ny 的平均值的点估计的平均值的点估计ny 的个别值的点估计的个别值的点估计3. 在点估计条件下，平均值的点估计和个别值的点估计在点估计条件下，平均值的点估计和个别值的点估计是一样的，但在区间估计中则不同是一样的，但

32、在区间估计中则不同n y 的平均值的点估计1.利用估计的回归方程，对于自变量利用估计的回归方程，对于自变量 x 的一个给的一个给定值定值 x0 ，求出因变量，求出因变量 y 的平均值的一个估计值的平均值的一个估计值E(y0) ，就是平均值的点估计，就是平均值的点估计2.在前面的例子中，假如我们要估计人均国民收在前面的例子中，假如我们要估计人均国民收入为入为2000元时，所有年份人均消费金额的平均元时，所有年份人均消费金额的平均值，就是平均值的点估计。根据估计的回归方值，就是平均值的点估计。根据估计的回归方程得程得&n y 的个别值的点估计的个别值的点估计1. 利用估计的回归方程，对于自变量利用

33、估计的回归方程，对于自变量 x 的一个的一个给定值给定值 x0 ，求出因变量，求出因变量 y 的一个个别值的估的一个个别值的估计值计值 ，就是个别值的点估计，就是个别值的点估计2. 比如，如果我们只是想知道比如，如果我们只是想知道1990年人均国民年人均国民收入为收入为1250.7元时的人均消费金额是多少，元时的人均消费金额是多少，则属于个别值的点估计。根据估计的回归方则属于个别值的点估计。根据估计的回归方程得程得区间估计区间估计1.点估计不能给出估计的精度，点估计值与实际点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计值之间是有误差的，因此需要进行区间估计2.对

34、于自变量对于自变量 x 的一个给定值的一个给定值 x0，根据回归方程，根据回归方程得到因变量得到因变量 y 的一个估计区间的一个估计区间3.区间估计有两种类型区间估计有两种类型n置信区间估计置信区间估计n预测区间估计预测区间估计置信区间估计置信区间估计n y 的平均值的置信区间估计的平均值的置信区间估计 1.利用估计的回归方程，对于自变量利用估计的回归方程，对于自变量 x 的一个给的一个给定值定值 x0 ，求出因变量，求出因变量 y 的平均值的平均值E(y0)的估计区的估计区间间 ，这一估计区间称为，这一估计区间称为置信区间置信区间2. E(y0) 在在1- 置信水平下的置信区间为置信水平下的置信区间为+niiyxxxxnSnty1220201)2(（14）置信区间估计置信区间估计:算例算例n 【例】根据前例，求出人均国民收入为根据前例，求出人均国