新编数理统计CH7-回归分析71课件

1、新编数理统计CH7_回归分析71新编数理统计CH7_回归分析71本章内容7.1 变量间的关系7.2 一元线性回归7.3 多元线性回归7.4 回归注意事项7 回归分析重点：一元线性回归和决定系数9/9/20222王玉顺：数理统计07_回归分析本章内容7.1 变量间的关系7.2 一元线性回归7.7.1 变量间的关系Correlation between Variables7 回归分析9/9/20223王玉顺：数理统计07_回归分析7.1 7 回归分析9/5/20225王玉顺：数理统计07_7.1 变量间的关系(1)函数关系9/9/20224王玉顺：数理统计07_回归分析7.1 变量间的关系(1)函

2、数关系9/5/20226王玉顺：7.1 变量间的关系(2)随机关系9/9/20225王玉顺：数理统计07_回归分析7.1 变量间的关系(2)随机关系9/5/20227王玉顺：(3)相关关系7.1 变量间的关系9/9/20226王玉顺：数理统计07_回归分析(3)相关关系7.1 变量间的关系9/5/20228王玉顺：(4)回归分析解决的问题 考察响应变量与自变量之间的关系，存在如下三种类型：(1)确定性关系：响应=自变量的函数(2)不确定关系：响应=独立随机变量(3)相关关系：响应=函数+独立随机变量回归分析就是对相关关系中的函数部分进行估计和检验7.1 变量间的关系9/9/20227王玉顺：数

3、理统计07_回归分析(4)回归分析解决的问题 考察响应变量与自变量之间 生物学家FGalton和统计学家KPearson的种族身高研究(1889)。 高个父亲群体的平均身高高个父亲群体儿子们的平均身高整个种族的平均身高低个父亲群体儿子们的平均身高低个父亲群体的平均身高(5)为什么称作“回归分析”7.1 变量间的关系9/9/20228王玉顺：数理统计07_回归分析 生物学家FGalton和统计学家KPearson的(6)回归分析类型一元回归：只有一个自变量的回归多元回归：有两个以上自变量的回归线性回归：回归函数是自变量的线性组合非线性回归：回归函数是自变量的非线性组合7.1 变量间的关系9/9/

4、20229王玉顺：数理统计07_回归分析(6)回归分析类型一元回归：只有一个自变量的回归7.1 变量7.2 一元线性回归Linear Regression 7 回归分析9/9/202210王玉顺：数理统计07_回归分析7.2 7 回归分析9/5/202212王玉顺：数理统计07案例：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉强度y，试验结果如表所示。问题：(1)估计y对x的回归函数；(2)检验回归估计的显著性；(3)考察y与x的相关程度；(4)由x预测y。抗拉强度试验结果(1)案例和问题7.2 一元线性回归x(%)y(MPa)2.073.104.145.176.2012819427

5、3372454x称作自变量y称作响应变量9/9/202211王玉顺：数理统计07_回归分析案例：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉(2)数据模式7.2 一元线性回归抗拉强度试验结果x(%)y(MPa)2.073.104.145.176.20128194273372454随机的试验响应非随机人工控制变量9/9/202212王玉顺：数理统计07_回归分析(2)数据模式7.2 一元线性回归抗拉强度试验结果x(%)y(3)回归模型7.2 一元线性回归回归模型指响应与自变量关系的数学表达回归模型描述响应y与自变量x的关系模型对的分布没有特别要求9/9/202213王玉顺：数理统计07

6、_回归分析(3)回归模型7.2 一元线性回归回归模型指响应与自变量关系用线性回归模型描述第i次观测响应yi与自变量xi的关系：7.2 一元线性回归(3)回归模型回归模型指响应与自变量关系的数学表达一元线性回回模型9/9/202214王玉顺：数理统计07_回归分析用线性回归模型描述第i次观测响应yi与自变量xi的关系：7.以矩阵形式表达线性回归模型：7.2 一元线性回归(3)回归模型响应向量设计矩阵回归参数误差向量9/9/202215王玉顺：数理统计07_回归分析以矩阵形式表达线性回归模型：7.2 一元线性回归(3)回归模7.2 一元线性回归(3)回归模型n阶协差阵n阶单位阵以矩阵形式表达线性回

7、归模型：9/9/202216王玉顺：数理统计07_回归分析7.2 一元线性回归(3)回归模型n阶协差阵n阶单位阵以矩阵(4)回归分析内容7.2 一元线性回归9/9/202217王玉顺：数理统计07_回归分析(4)回归分析内容7.2 一元线性回归9/5/202219王7.2.1 回归最小二乘估计Least-Square Estimation on Linear Regression7.2 一元线性回归9/9/202218王玉顺：数理统计07_回归分析7.2.1 7.2 一元线性回归9/5/202220王玉顺对于回归方程回归方程的估计记作 回归估计实际上是由样本数据求得回归方程的一个估计，回归方程

8、的估计亦简称作回归方程。求一元回归方程等价于对回归系数和回归截距进行参数估计。(1)回归估计问题7.2.1 回归最小二乘估计回归方程估计的期望：9/9/202219王玉顺：数理统计07_回归分析对于回归方程回归方程的估计记作 回归估计实际上是由(2)最小二乘思想7.2.1 回归最小二乘估计最小二乘几何描述9/9/202220王玉顺：数理统计07_回归分析(2)最小二乘思想7.2.1 回归最小二乘估计最小二乘几何描 求回归方程a+bx的估计，数学上就是用一个一元线性函数去拟合试验数据，几何上可看作为试验点拟合一条直线。可拟合的直线有无穷多条，哪一条直线在表达y对x的相关关系上更合理呢？自然想到与

9、所有试验点总距离为最小的那条线较合理。(2)最小二乘思想7.2.1 回归最小二乘估计合理解决方案 9/9/202221王玉顺：数理统计07_回归分析 求回归方程a+bx的估计，数学上就是用一个回归方程的最小二乘估计可归结为求解下面的优化模型：用残差(误差)平方和代表试验点与回归直线的总距离残差计算：(2)最小二乘思想7.2.1 回归最小二乘估计9/9/202222王玉顺：数理统计07_回归分析回归方程的最小二乘估计可归结为求解下面的优化模型：用残差(误步骤1：构建由观测数据表达的残差平方和回归最小二乘估计问题可表为：(3)回归最小二乘估计7.2.1 回归最小二乘估计残差平方和9/9/20222

10、3王玉顺：数理统计07_回归分析步骤1：构建由观测数据表达的残差平方和回归最小二乘估计问题可步骤2：残差平方和分别对a,b求偏导7.2.1 回归最小二乘估计(3)回归最小二乘估计9/9/202224王玉顺：数理统计07_回归分析步骤2：残差平方和分别对a,b求偏导7.2.1 回归最小二乘7.2.1 回归最小二乘估计(3)回归最小二乘估计9/9/202225王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计(3)回归最小二乘估计9/5/2符号简写：步骤3：令偏导等于0整理出正规方程组7.2.1 回归最小二乘估计(3)回归最小二乘估计正规方程组9/9/202226王玉顺：数理统计07_回归

11、分析符号简写：步骤3：令偏导等于0整理出正规方程组7.2.1 回则下面的正规方程组有唯一解(克莱姆法则)：步骤4：用克莱姆法则解方程组得回归估计7.2.1 回归最小二乘估计若有(3)回归最小二乘估计克莱姆法则9/9/202227王玉顺：数理统计07_回归分析则下面的正规方程组有唯一解(克莱姆法则)：步骤4：用克莱姆法克莱姆法则7.2.1 回归最小二乘估计(3)回归最小二乘估计9/9/202228王玉顺：数理统计07_回归分析克莱姆法则7.2.1 回归最小二乘估计(3)回归最小二乘估计7.2.1 回归最小二乘估计克莱姆法则(3)回归最小二乘估计9/9/202229王玉顺：数理统计07_回归分析7

12、.2.1 回归最小二乘估计克莱姆法则(3)回归最小二乘估计(4)回归最小二乘估计概要7.2.1 回归最小二乘估计9/9/202230王玉顺：数理统计07_回归分析(4)回归最小二乘估计概要7.2.1 回归最小二乘估计9/5(5)回归最小二乘估计的性质7.2.1 回归最小二乘估计9/9/202231王玉顺：数理统计07_回归分析(5)回归最小二乘估计的性质7.2.1 回归最小二乘估计9/xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.203414214730497.2.1 回归最小二乘估计(6)回

13、归最小二乘估计案例数据的表格算法9/9/202232王玉顺：数理统计07_回归分析xy2.07128数据乘积和数据和20.6814217.2.7.2.1 回归最小二乘估计平方和计算(6)回归最小二乘估计案例9/9/202233王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计平方和计算(6)回归最小二乘估计回归方程：7.2.1 回归最小二乘估计参数估计(6)回归最小二乘估计案例9/9/202234王玉顺：数理统计07_回归分析回归方程：7.2.1 回归最小二乘估计参数估计(6)回归最小7.2.1 回归最小二乘估计(6)回归最小二乘估计案例 求回归方程几何上就是求一条能较好解释数据的最佳

14、直线。 9/9/202235王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计(6)回归最小二乘估计案例 求7.2.2 回归显著性检验Significance Testing on Linear Regression7.2 一元线性回归9/9/202236王玉顺：数理统计07_回归分析7.2.2 7.2 一元线性回归9/5/202238王玉顺：7.2.2 回归显著性检验(1)线性相关存在性线性相关存在但相关程度不同9/9/202237王玉顺：数理统计07_回归分析7.2.2 回归显著性检验(1)线性相关存在性线性相关存在9(1)线性相关存在性7.2.2 回归显著性检验0R1R=0R=0

15、R=0变量非线性相关9/9/202238王玉顺：数理统计07_回归分析(1)线性相关存在性7.2.2 回归显著性检验0RFModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSEpTotalSSTn-1一元线性回归方差分析表7.2.2 回归显著性检验显著性检验全部工作可归结于方差分析表SourceSSdfMSF valueF(dfR,dfE)ModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSETotalSSTn-1或：(10)显著性检验9/9/202258王玉顺：数理统计07_回归分析SourceSSdfMSF valuePrFModel

16、SS相关系数取值范围决定系数7.2.2 回归显著性检验决定系数是对y与x线性相关程度的估计(11)线性相关程度9/9/202259王玉顺：数理统计07_回归分析相关系数决定系数7.2.2 回归显著性检验决定系数是对y与x7.2.2 回归显著性检验决定系数表征回归效应在响应总变异中的比重(11)线性相关程度9/9/202260王玉顺：数理统计07_回归分析7.2.2 回归显著性检验决定系数表征回归效应在响应总变异中xy2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.20341421473049(12)

17、回归分析案例7.2.2 回归显著性检验数据的表格算法9/9/202261王玉顺：数理统计07_回归分析xy2.07128数据乘积和数据和20.681421(12)7.2.2 回归显著性检验平方和计算(12)回归分析案例9/9/202262王玉顺：数理统计07_回归分析7.2.2 回归显著性检验平方和计算(12)回归分析案例9/7.2.2 回归显著性检验(12)回归分析案例回归参数估计平方和计算9/9/202263王玉顺：数理统计07_回归分析7.2.2 回归显著性检验(12)回归分析案例回归参数估计平SourceSSDFMSF valuePrFModelError68885.63315.171

18、368885.63105.06655.680.000131Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数9/9/202264王玉顺：数理统计07_回归分析SourceSSDFMSF valuePrFModel68SourceSSDFMSF valueF0.05(1,3)ModelError68885.63315.171368885.63105.06655.6810.1280Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数9/9/202265王玉顺：数理统计07_回归分析SourceSSDFMSF valueF0.05(1,3)M7.2.2 回归显著性检验(12)回归分析案例9/9/202266王玉顺：数理统计07_回归分析7.2.2 回归显著性检