统计学（第二版） 费宇第6章回归分析

统计学主编：费宇、石磊(第二版）1/5/20231《统计学》第3章参数估计第6章回归分析6.1相关分析6.2一元线性回归6.3多元线性回归6.4虚拟变量回归6.5Logistic回归6.6回归分析的扩展6.7可化为线性情形的非线性回归1/5/20232《统计学》第3章参数估计【引例6.0】（数据文件为example6.0）某公司经理想研究公司员工的年薪问题，根据初步分析，他认为员工的当前年薪y(元)与员工的开始年薪x1(元)、在公司的工作时间x2(月)、先前的工作经验x3(月)和受教育年限x4(年)有关系，他随机抽样调查了36个员工，收集到以下数据，如表6.1所示。1/5/20233《统计学》第3章参数估计1/5/20234《统计学》第3章参数估计问题经理想根据以上样本数据，构建一个模型来反映y与x1、x2、x3和x4之间关系，并希望利用该模型在给定一个员工的x2、x3和x4的条件下，预测该员工的当前年薪y。此外，经理认为，公司男女员工的薪水结构不同，他想在建立模型的时候能把性别因素考虑进来，这是否可行？1/5/20235《统计学》第3章参数估计6.1相关分析6.1.1相关的概念1.人的身高与体重有相关关系。2.居民可支配收入与支出有相关关系。3.粮食产量与施肥量有相关关系。1/5/20236《统计学》第3章参数估计6.1.2相关的种类1.按相关程度划分:分为完全相关、不完全相关和不相关；如图6.1所示。2.按相关方向划分:分为正相关和负相关。如图6.2所示。3.按相关形式划分:分为线性相关和非线性相关；如图6.3所示。4.按变量多少划分:分为简单相关和复相关。1/5/20237《统计学》第3章参数估计6.1.3相关关系的度量1.简单线性相关系数1/5/20238《统计学》第3章参数估计1/5/20239《统计学》第3章参数估计1/5/202310《统计学》第3章参数估计2.偏相关系数1/5/202311《统计学》第3章参数估计1/5/2023《统计学实验》第6章回归分析(数据文件为li6.1.sav)为研究初中一年级男生身高x(单位：厘米)、体重z(单位：千克)和肺活量y(单位：升)的关系，随机抽取了16名初一男生测量得有关数据如表6.2所示：表6.2初一男生身高、体重和肺活量的测量值身高x体重z肺活量y身高x体重z肺活量y140.137.02.25162.548.32.75151.538.53.0165.542.52.5161.242.13.25148.036.52.25172.846.53.25165.845.43.25150.038.03.0164.043.53.0153.542.22.75149.539.72.75170.554.53.5159.644.53.0157.037.02.25162.545.03.2【例6.1】1/5/202312《统计学》第3章参数估计要求：（1）绘制变量散点图，分析身高x、体重z和肺活量y之间是否存在相关关系；（2）计算简单相关系数，分析身高x、体重z和肺活量y的之间是否存在直线相关关系；（3）计算偏相关系数，分析身高x、体重z和肺活量y的之间的偏相关关系。1/5/2023《统计学实验》第6章回归分析【例6.1】1/5/202313《统计学》第3章参数估计

解：

（1）画散点图，观察身高x、体重z和肺活量y之间的相关关系1/5/2023《统计学实验》第6章回归分析1/5/202314《统计学》第3章参数估计1/5/2023《统计学实验》第6章回归分析【软件操作】打开数据文件li6.1.sav选择“图形（G）”→点击“旧对话框（L）→“散点/点状（S）”在“散点图/点图”中选“矩阵分布”→点击“定义”→将身高x、体重z和肺活量y选入“矩阵变量（M）”框中→点击“确定”，可得图6.1。1/5/202315《统计学》第3章参数估计1/5/2023《统计学实验》第6章回归分析图6.1身高x、体重z和肺活量y矩阵式散点图1/5/202316《统计学》第3章参数估计（2）计算身高x、体重z和肺活量y之间的相关系数1/5/2023《统计学实验》第6章回归分析1/5/202317《统计学》第3章参数估计“分析”→点击“相关（C）”→“双变量”（B）将身高x、体重z和肺活量y三个变量同时选入“变量”框，在“相关系数”框选“Pearson”点击“确定”即可得如表6.3所示的相关系数。1/5/2023《统计学实验》第6章回归分析【软件操作】1/5/202318《统计学》第3章参数估计1/5/2023《统计学实验》第6章回归分析表6.3初一男生身高、体重和肺活量的相关系数表相关性身高，cm体重，kg肺活量，L身高(cm)Pearson相关性1.810**.650**显著性（双侧）.000.006N161616体重(kg)Pearson相关性.810**1.707**显著性（双侧）.000.002N161616肺活量(L)Pearson相关性.650**.707**1显著性（双侧）.006.002N161616**.在.01水平（双侧）上显著相关。1/5/202319《统计学》第3章参数估计（3）计算偏相关系数，分析身高x、体重z和肺活量y的之间的偏相关关系1/5/2023《统计学实验》第6章回归分析1/5/202320《统计学》第3章参数估计选择“分析（A）”→点击“相关（C）”→“偏相关(R)”将身高x和肺活量y两个变量同时选入“变量”框，再将控制变量体重z选入“控制（C）”框中点击“确定”即可得相关系数表表6.4。1/5/2023《统计学实验》第6章回归分析【软件操作】1/5/202321《统计学》第3章参数估计1/5/2023《统计学实验》第6章回归分析表6.4初一男生身高、体重和肺活量偏相关系数表相关性控制变量身高，cm肺活量，L体重，kg身高，cm相关性1.000.186显著性（双侧）..508df013肺活量，L相关性.1861.000显著性（双侧）.508.df1301/5/202322《统计学》第3章参数估计6.2一元线性回归6.2.1回归的含义回归（regression）一词最早由英国生物学家兼统计学家高尔顿（F.Galton）于1886年在论文“Regressiontowardsmediocrityinhereditarystature”中正式提出。回归分析（regressionanalysis）是通过建立回归模型来研究相关变量的关系并作出相应估计和预测的一种统计方法，1/5/202323《统计学》第3章参数估计6.2.2一元线性回归1/5/202324《统计学》第3章参数估计1/5/202325《统计学》第3章参数估计6.2.3最小二乘估计图6.4x和y的散点图1/5/202326《统计学》第3章参数估计1/5/202327《统计学》第3章参数估计1/5/202328《统计学》第3章参数估计1/5/202329《统计学》第3章参数估计1/5/202330《统计学》第3章参数估计1/5/202331《统计学》第3章参数估计【例6.2】(数据文件为example6.2)已知我国2007年31个地区城镇居民年人均可支配收入和年人均消费性支出数据如表6.5（单位：元），试分析城镇居民年人均可支配收入和年人均消费性支出之间的关系，如果有线性相关关系，试建立一元线性回归模型。1/5/202332《统计学》第3章参数估计1/5/202333《统计学》第3章参数估计解：1.先画散点图，打开数据文件example6.2，点击“图形”→点击“旧对话框”→点击“散点/点状”→点击“简单分布”，点击“定义”，将两个变量年人均可支配收入x和年人均消费性支出y分别选入“X轴”和“Y轴”，点“确定”即可得散点图，如图6.5所示。1/5/202334《统计学》第3章参数估计图6.5人均可支配收入x和人均消费性支出y散点图

1/5/202335《统计学》第3章参数估计2.计算相关系数点击“分析”→点击“相关”→点击“双变量”，将两个变量年人均可支配收入x和年人均消费性支出y同时选入“变量”，在“相关系数”中选“Pearson”，点“确定”即可得相关系数表，如表6.6所示。1/5/202336《统计学》第3章参数估计表6.6年人均可支配收入和年人均消费性支出的相关系数表相关性可支配收入消费支出可支配收入Pearson相关性1.976**显著性（双侧）.000N3131消费支出Pearson相关性.976**1显著性（双侧）.000N3131**.在.01水平（双侧）上显著相关。1/5/202337《统计学》第3章参数估计3.作一元线性回归点击“分析”→点击“回归”→点击“线性”，将自变量年人均可支配收入x选入“自变量”，再将因变量年人均消费性支出y选入“因变量”中，然后选择“方法”为默认值“进入”，点“确定”即可得表6.7和表6.8。1/5/202338《统计学》第3章参数估计表6.7年人均可支配收入和年人均消费性支出的方差分析表Anovaa模型平方和df均方FSig.1回归182436901.3701182436901.370583.144.000b残差9072666.76529312850.578总计191509568.13530a.因变量:消费支出b.预测变量:(常量),可支配收入。1/5/202339《统计学》第3章参数估计表6.8年人均可支配收入和年人均消费性支出的回归方程系数表系数a模型非标准化系数标准系数tSig.B标准误差试用版1(常量)450.334388.9061.158.256可支配收入.692.029.97624.148.000a.因变量:消费支出1/5/202340《统计学》第3章参数估计6.2.4回归方程的检验1/5/202341《统计学》第3章参数估计1.F检验1/5/202342《统计学》第3章参数估计1/5/202343《统计学》第3章参数估计1/5/202344《统计学》第3章参数估计1/5/202345《统计学》第3章参数估计2.t检验1/5/202346《统计学》第3章参数估计3.r检验1/5/202347《统计学》第3章参数估计1/5/202348《统计学》第3章参数估计【例6.3】给定显著水平，对例6.2的回归方程进行检验。解：用SPSS打开数据文件example6.2，选择点击“分析”→点击“回归”→点击“线性”，将自变量年人均可支配收入x选入“自变量”，再将因变量年人均消费性支出y选入“因变量”中，然后选择“方法”为默认值“进入”，点“确定”即可得表6.7、表6.8和表6.10。1/5/202349《统计学》第3章参数估计1/5/202350《统计学》第3章参数估计1/5/202351《统计学》第3章参数估计6.2.5估计与预测1/5/202352《统计学》第3章参数估计1/5/202353《统计学》第3章参数估计图6.6回归预测的预测区间1/5/202354《统计学》第3章参数估计6.3多元线性回归6.3.1多元线性回归模型1/5/202355《统计学》第3章参数估计引入矩阵符号

1/5/202356《统计学》第3章参数估计1/5/202357《统计学》第3章参数估计1/5/202358《统计学》第3章参数估计6.3.2多元线性回归方程的检验1/5/202359《统计学》第3章参数估计1/5/202360《统计学》第3章参数估计2.方程显著性检验1/5/202361《统计学》第3章参数估计1/5/202362《统计学》第3章参数估计表6.11多元回归方程显著性检验的方差分析表1/5/202363《统计学》第3章参数估计3.回归系数显著性检验1/5/202364《统计学》第3章参数估计【例6.4】(数据文件为example6.0)沿用本章引例中的资料，建立多元线性回归方程并对回归方程进行检验（给定显著水平=0.05）。解：(1)先画散点图，用SPSS打开数据文件example6.0，点击“图形”→点击“旧对话框”→点击“散点/点状”，点击“定义”，将两个变量开始年薪和当前年薪y分别选入“X轴”和“Y轴”，点击“确定”即可得散点图，如图6.7所示，可以看出开始年薪和当前年薪y呈直线相关，同样可以做y对其它x变量的散点图帮助判断。1/5/202365《统计学》第3章参数估计图6.7当前年薪对开始年薪的散点图1/5/202366《统计学》第3章参数估计（2）做多元线性回归：点击“分析”→点击“回归”→点击“线性”，将自变量开始年薪、工作时间、先前工作经验和受教育年限选入“自变量”，再将因变量当前年薪y选入“因变量”中，然后选择“方法”为默认值“进入”，点击“确定”即可得3个主要表格（见表6.12至表6.14）。1/5/202367《统计学》第3章参数估计表6.12员工年薪问题的回归方程的可决系数模型汇总模型RR方调整R方标准估计的误差1.959a.919.9097858.180a.预测变量:(常量),受教育年限,工作时间,先前工作经验,开始年薪。1/5/202368《统计学》第3章参数估计表6.13员工年薪问题的方差分析表Anovaa模型平方和df均方FSig.1回归21723657594.52745430914398.63287.949.000b残差1914280929.7793161750997.735总计23637938524.30635a.因变量:当前年薪b.预测变量:(常量),受教育年限,工作时间,先前工作经验,开始年薪。1/5/202369《统计学》第3章参数估计表6.14员工年薪问题的多元回归方程回归系数表系数a模型非标准化系数标准系数tSig.B标准误差试用版1(常量)-1613.93811237.288-.144.887开始年薪1.683.130.89712.929.000工作时间-34.552130.260-.014-.265.793先前工作经验-13.00013.788-.056-.943.353受教育年限808.322547.802.1081.476.150a.因变量:当前年薪1/5/202370《统计学》第3章参数估计于是可得如下回归方程：从回归方程可以看出：当前年薪y与开始年薪x1和受教育年限x4正相关（回归系数为正），这是合理的；但与工作时间x2和先前工作经验x3负相关（回归系数为负），这是不合理的，为什么？1/5/202371《统计学》第3章参数估计3．对回归方程进行检验。1/5/202372《统计学》第3章参数估计6.3.3估计与预测1.均值E(y0)的估计1/5/202373《统计学》第3章参数估计2.个值

y0的预测1/5/202374《统计学》第3章参数估计6.4虚拟变量回归1/5/202375《统计学》第3章参数估计【例6.5】在例6.4中，将性别作为虚拟变量引入回归方程，建立当前年薪y关于受教育年限和性别虚拟变量的线性回归模型。解：性别x5是虚拟变量，所以这是虚拟变量回归问题；将性别变量“量化”，x5=0表示男性，x5=1表示女性，统计模型设定为1/5/202376《统计学》第3章参数估计用SPSS打开数据文件example6.0，点击“分析”→点击“一般线性模型”→点击“单变量”，将因变量当前年薪y选入“因变量”中，把定量自变量受教育年限选入“协变量”中，把虚拟变量性别选入“固定因子”中，点击“模型”，在“指定模型”中选“设定”，再把定量自变量和虚拟变量选入右边，在“构建项”中选“主效应”，然后点“继续”回到主对话框，在“选项”中的“输出”中选择“参数估计”，点击“继续”→点击“确定”即可得如表6.15所示的参数估计值表。1/5/202377《统计学》第3章参数估计表6.15引入性别虚拟变量的线性回归模型回归系数表参数估计因变量:当前年薪参数B标准误差tSig.95%置信区间下限上限截距[x5=f]-11556.01013143.534-0.8790.386-38296.73215184.712-16840.4816344.927-2.6540.012-29749.332-3931.630[x5=m]0a.....x44434.394915.4784.8440.0002571.8406296.949a.此参数为冗余参数，将被设为零。1/5/202378《统计学》第3章参数估计由表6.15容易得如下回归方程显然，这两条线是截距不同的两条平行线，截距的差异表示男女职工年薪的差别。1/5/202379《统计学》第3章参数估计6.5Logistic回归本节讨论因变量是二值定性变量的回归，即Logistic回归。1/5/202380《统计学》第3章参数估计【例6.6】

(数据文件为example6.6)为了研究家庭年收入与是否有私家车的关系，随机调查了50个家庭的情况得结果如表6.16，以是否有私家车为因变量（它是一个二值定性变量），年收入为自变量建立回归方程，并估计年收入为12万元的家庭有私家车的可能性。1/5/202381《统计学》第3章参数估计表6.16抽样调查得到的50个家庭的数据资料1/5/202382《统计学》第3章参数估计1/5/202383《统计学》第3章参数估计1/5/202384《统计学》第3章参数估计利用SPSS软件实现Logistic回归具体操作如下：打开数据文件example6.6，选择“分析”→“回归”→“二元Logistic”，将因变量y选入“因变量”中，把自变量x选入“协变量”中，点击“确定”即可得参数估计表，如表6.17所示。1/5/202385《统计学》第3章参数估计表6.17Logistic回归方程回归系数表方程中的变量BS.E,WalsdfSig.Exp(B)步骤1ax1.6890.5369.94310.0025.412常量-21.7646.77610.31710.0010.000a.在步骤1中输入的变量:x.1/5/202386《统计学》第3章参数估计如果要估计年收入为12万元的家庭有私家车的可能性，可以打开数据文件example6.7，在x变量末尾增加一个值12，点击“分析”→点击“回归”→点击“二元Logistic”，将因变量y选入“因变量”中，把自变量x选入“协变量”中，点击“保存”，在“预测值”里选“概率”，返回主对话框，点击“确定”，在原数据文件里就会得到一列预测值（PRE_1），对应于x=12的PRE值为0.18237，这就是年收入为12万元的家庭有私家车的可能性的估计值。1/5/202387《统计学》第3章参数估计6.6回归分析的扩展6.6.1异方差1.异方差的概念1/5/202388《统计学》第3章参数估计异方差的三种类型(1)单调递增型：随的增大而增大；(2)单调递减型：随的增大而减小；(3)复杂型：随的的变化呈复杂形式变化。1/5/202389《统计学》第3章参数估计图6.8异方差的类型1/5/202390《统计学》第3章参数估计2.异方差的修正1/5/202391《统计学》第3章参数估计加权最小二乘（WLS）估计1/5/202392《统计学》第3章参数估计1/5/202393《统计学》第3章参数估计【例6.7】在例6.4中，求当前年薪y

(元)关于开始年薪x1(元)的线性回归方程。1/5/202394《统计学》第3章参数估计解：用SPSS打开数据文件example6.0，做的散点图图6.7，容易看出模型存在异方差性，因此先用OLS法求的估计，点击“分析”→点击“回归”→点击“线性”，将自变量开始年薪选入“自变量”，再将因变量当前年薪y选入“因变量”中，然后选择“方法”为默认值“进入”，点击“保存”，在“残差”中选“未标准化”(将回归残差保存到原数据文件中)，点击“继续”→点击“确定”即可得如表6.18至6.20所示的三个主要表格。1/5/202395《统计学》第3章参数估计表6.18普通最小二乘回归方程的可决系数模型汇总b模型RR方调整R方标准估计的误差1.951a.904.9018183.736a.预测变量:(常量),开始年薪。b.因变量:当前年薪1/5/202396《统计学》第3章参数估计表6.19普通最小二乘回归方程的方差分析表Anovaa模型平方和df均方FSig.1回归21360838107.992121360838107.992318.944.000b残差2277100416.3133466973541.656总计23637938524.30635a.因变量:当前年薪b.预测变量:(常量),开始年薪。1/5/202397《统计学》第3章参数估计表6.20普通最小二乘回归方程的回归系数表

系数a模型非标准化系数标准系数tSig.B标准误差试用版1(常量)2563.2832486.3921.031.310开始年薪1.784.100.95117.859.000a.因变量:当前年薪1/5/202398《统计学》第3章参数估计加权最小二乘回归

点击“转换”→点击“计算变量”，在“目标变量”中输入目标变量名ei，在“数字表达式”中输入表达式ABS(RES_1)求得残差向量的绝对值ei，类似再计算残差向量的绝对值ei的倒数inei：点击“转换”→点击“计算变量”，在“目标变量”中输入目标变量名inei，在“数字表达式”中输入表达式1/ei，回到数据窗口可见已经产生了两列新数据：残差向量的绝对值ei和它的倒数inei，最后进行加权最小二乘回归：点击“分析”→点击“回归”→点击“线性”，将自变量开始年薪选入“自变量”，将因变量当前年薪y选入“因变量”中，将权向量inei选入“WLS权重”中，然后选择“方法”为默认值“进入”，点击“确定”即可得如表6.21至6.23所示的三个主要表格。1/5/202399《统计学》第3章参数估计表6.21加权最小二乘回归方程可决系数模型汇总b,c模型RR方调整R方标准估计的误差1.975a.950.94872.560a.预测变量:(常量),开始年薪。b.因变量:当前年薪c.加权的最小二乘回归-按inei

进行加权1/5/2023100《统计学》第3章参数估计表6.22加权最小二乘回归方程的方差分析表Anovaa,b模型平方和df均方FSig.1回归3396677.90213396677.902645.154.000c残差179006.828345264.907

总计3575684.73035a.因变量:当前年薪b.加权的最小二乘回归-按inei

进行加权c.预测变量:(常量),开始年薪。1/5/2023101《统计学》第3章参数估计表6.23加权最小二乘回归方程的回归系数表系数a,b模型非标准化系数标准系数tSig.B标准误差试用版1(常量)2620.7381295.6802.023.051开始年薪1.762.069.97525.400.000a.因变量:当前年薪b.加权的最小二乘回归-按inei

进行加权1/5/2023102《统计学》第3章参数估计6.6.2多重共线多元回归模型(6.34)的基本假定之一是自变量是互不相关的，如果其中两个或多个自变量之间出现了相关性，则称为存在多重共线性。1/5/2023103《统计学》第3章参数估计1/5/2023104《统计学》第3章参数估计1/5/2023105《统计学》第3章参数估计1/5/2023106《统计学》第3章参数估计【例6.4(续)】

(数据文件为example6.0)沿用本章引例中的资料，试建立当前年薪y关于开始年薪x1，工作时间x2

，先前工作经验x3和受教育年限x4的多元线性回归模型。1/5/2023107《统计学》第3章参数估计点击“分析”→点击“回归”→点击“线性”，将自变量开始年薪，工作时间，先前工作经验和受教育年限选入“自变量”，再将因变量当前年薪y选入“因变量”中，然后选择“方法”为默认值“进入”(全变量回归)，点击“确定”即可得表6.12，6.13和6.14。从方差分析表表6.13可以看出，对应的p值，所以回归方程显著；但从回归系数表表6.14可知回归系数对应的t统计量的p值分别为0.793，0.353和0.150，都大于0.05，所以这三个回归系数都不显著，因此估计存在多重共线性。解：1.全变量回归1/5/2023108《统计学》第3章参数估计2.逐步回归，点击“分析”→点击“回归”→点击“线性”，将自变量开始年薪，工作时间，先前工作经验和受教育年限选入“自变量”，再将因变量当前年薪y选入“因变量”中，然后选择“方法”为“逐步”(逐步回归法)，点击“确定”即可得以下回归系数表（见表6.24）。1/5/2023109《统计学》第3章参数估计表6.24逐步回归方程回归系数表系数a模型非标准化系数标准系数tSig.B标准误差试用版1(常量)2563.2832486.3921.0310.310开始年薪1.7840.1000.95117.8590.0002(常量)-7902.8355265.218-1.5010.143开始年薪1.6310.1170.86913.9340.000受教育年限1039.260467.6700.1392.2220.033a.因变量:当前年薪1/5/2023110《统计学》第3章参数估计6.7可化为线性情形的非线性回归1/5/2023111《统计学》第3章参数估计1/5/2023112《统计学》第3章参数估计1/5/2023113《统计学》第3章参数估计1/5/2023114《统计学》第3章参数估计【例6.8】(数据文件为example6.8)表6.25给出了1990-2002年某市人均消费性支出x和教育支出y的数据，试建立y关于x的回归模型。1/5/2023115《统计学》第3章参数估计表6.25人均消费性支出和人均教育支出数据1/5/2023116《统计学》第3章参数估计解：1.先画散点图点击“图形”→点击“旧对话框”→点击“散点/点状”，点击“定义”，将两个变量人均消费性支出x和人均教育支出y分别选入“X轴”和“Y轴”点击“确定”即可得散点图，如图6.9所示。1/5/2023117《统计学》第3章参数估计图6.9人均消费性支出x对人均教育支出y的散点图1/5/2023118《统计学》第3章参数估计2.再尝试采用二次、三次曲线、幂函数曲线和指数函数曲线拟合数据：点击“分析”→点击“回归”→点击“曲线估计”，将自变量人均消费性支出x选入“自变量”，再将因变量人均教育支出y选入“因变量”中，在“模型”中选“线性”(线