概率论与数理统计--一元回归分析

1、.1.2 在现实问题中，处于同一个过程中的一些变量，在现实问题中，处于同一个过程中的一些变量，往往是相互依赖和相互制约的，它们之间的相互关系往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种：大致可分为两种： 相关关系问题相关关系问题 （1 1）确定性关系）确定性关系函数关系；函数关系； （2 2）非确定性关系）非确定性关系相关关系；相关关系； 相关关系表现为这些变量之间有一定的依赖关系，相关关系表现为这些变量之间有一定的依赖关系，但这种关系并不完全确定，它们之间的关系不能精确但这种关系并不完全确定，它们之间的关系不能精确地用函数表示出来，这些变量其实是随机变量，或至地用函数表示出来

2、，这些变量其实是随机变量，或至少有一个是随机变量。少有一个是随机变量。.3 相关关系举例相关关系举例 例如：在气候、土壤、水利、种子和耕作技术等条件基本例如：在气候、土壤、水利、种子和耕作技术等条件基本相同时，某农作物的亩产量相同时，某农作物的亩产量 Y Y 与施肥量与施肥量 X X 之间有一定的关系，之间有一定的关系，但施肥量相同，亩产量却不一定相同。但施肥量相同，亩产量却不一定相同。亩产量是一个随机变量。亩产量是一个随机变量。 又如：人的血压又如：人的血压 Y Y 与年龄与年龄 X X 之间有一定的依赖关系，一之间有一定的依赖关系，一般来说，年龄越大，血压越高，但年龄相同的两个人的血压不般

3、来说，年龄越大，血压越高，但年龄相同的两个人的血压不一定相等。一定相等。血压是一个随机变量。血压是一个随机变量。 农作物的亩产量与施肥量、血压与年龄之间的这农作物的亩产量与施肥量、血压与年龄之间的这种关系称为相关关系，在这些变量中，施肥量、年龄种关系称为相关关系，在这些变量中，施肥量、年龄是可控变量，亩产量、血压是不可控变量。一般在讨是可控变量，亩产量、血压是不可控变量。一般在讨论相关关系问题中，论相关关系问题中，可控变量称为自变量，不可控变可控变量称为自变量，不可控变量称为因变量。量称为因变量。.4函数关系与相关关系的区别函数关系与相关关系的区别 相关关系相关关系x影响影响Y的值，的值，xY

4、函数关系函数关系决定决定的值，的值， 因此，统计学上讨论两变量的相关关系时，是设法因此，统计学上讨论两变量的相关关系时，是设法确定：在给定自变量确定：在给定自变量 的条件下，因变量的条件下，因变量 的的条件数学期望条件数学期望xX Y(| )E Y x不能确定。不能确定。.5回归分析的概念回归分析的概念 研究一个随机变量与一个（或几个）可控变量之间研究一个随机变量与一个（或几个）可控变量之间的相关关系的统计方法称为回归分析。的相关关系的统计方法称为回归分析。 只有一个自变量的回归分析称为一元回归分析；多只有一个自变量的回归分析称为一元回归分析；多于一个自变量的回归分析称为多元回归分析。于一个自

5、变量的回归分析称为多元回归分析。)|()(xYEx 引进回归函数引进回归函数称为回归方程称为回归方程 ( )(| )yxE Y xYx 回归方程反映了因变量回归方程反映了因变量 随自变量随自变量 的变化而变化的变化而变化的平均变化情况的平均变化情况. .6 回归分析主要包括三方面的内容回归分析主要包括三方面的内容 （1 1）提供建立有相关关系的变量之间的数学关系）提供建立有相关关系的变量之间的数学关系式（称为经验公式）的一般方法；式（称为经验公式）的一般方法； （2 2）判别所建立的经验公式是否有效，并从影响随）判别所建立的经验公式是否有效，并从影响随机变量的诸变量中判别哪些变量的影响是显著的

6、，哪些机变量的诸变量中判别哪些变量的影响是显著的，哪些是不显著的；是不显著的；回归分析的内容回归分析的内容 （3 3）利用所得到的经验公式进行预测和控制。）利用所得到的经验公式进行预测和控制。.7一元线性回归模型一元线性回归模型 如果试验的散点图中各点呈直线状，则假设这批数如果试验的散点图中各点呈直线状，则假设这批数据的数学模型为据的数学模型为 设随机变量设随机变量Y Y依赖于自变量依赖于自变量x x，作，作n n次独立试验，次独立试验，得得n n对观测值：对观测值：称这称这n n对观测值为容量为对观测值为容量为n n的一个子样，若把这的一个子样，若把这n n对观对观测值在平面直角坐标系中描点

7、，得到试验的测值在平面直角坐标系中描点，得到试验的散点图散点图. .1122( ,) (,)(,)nnx yxyxy01,iiiyxni, 2, 1其中其中 ，且相互独立，且相互独立，2(0,)iNni, 2, 1201,iiyNx则则 .8图图 9-1xyOi( ,)iix yiiixy10ni, 2, 1其中其中 i同服从于正态分布同服从于正态分布 相互独立，相互独立，), 0(2N因此因此 201(,)iiyNxni, 2, 1.9), 0 () 0(,2110NxY210、x其中其中 是与是与 无关的无关的未知常数未知常数。（9.1）一元线性回归模型一元线性回归模型 一般地，称如下数学

8、模型为一元线性模型一般地，称如下数学模型为一元线性模型 而而 称为回归函数或回归方程。称为回归函数或回归方程。01Yx称为回归系数。称为回归系数。01、.10回归函数（方程）的建立回归函数（方程）的建立 由观测值由观测值 确定的回归确定的回归函数函数 ，应使得，应使得 较小。较小。1122( ,) (,)(,)nnx yx yxy01Yx01iiiyx考虑函数考虑函数 201011(,)niiiQyx 问题：确定问题：确定 ，使得，使得 取得极小值。取得极小值。01, 01(,)Q 这是一个二元函数的无条件极值问题。这是一个二元函数的无条件极值问题。.11回归方程的建立回归方程的建立 2010

9、11min(,)niiiQyx 令令 01102( 1)0niiiQyx 01112()0niiiiQyxx 01yx1xyxxLL1111, nniiiixxyynn21()nxxiiLxx1()()nxyiiiLxxyy.12回归方程的建立回归方程的建立 01yx1xyxxLL记记 表示对表示对 的估计值的估计值01, 01yx则变量则变量 对对 的回归方程为的回归方程为 Yx简写为简写为 01yx01yx.13回归方程有效性的检验回归方程有效性的检验 对于任何一组数据对于任何一组数据 ，都可按最，都可按最小二乘法确定一个线性函数，但变量小二乘法确定一个线性函数，但变量 与与 之间是否真之

10、间是否真有近似于线性函数的相关关系呢？尚需进行假设检验。有近似于线性函数的相关关系呢？尚需进行假设检验。( ,) (1,2, )iix yinxy假设假设 0111: 0, : 0,HHxy如果如果 成立，则不能认为成立，则不能认为 与与 有线性相关关系。有线性相关关系。0H三种检验方法：三种检验方法：F F检验法、检验法、t-t-检验法、检验法、r r检验法。检验法。 .1421()nTiyyiSSyyL回归方程有效性的回归方程有效性的F检验法检验法 记记 总离差平方和总离差平方和，反映观测值与平均值的偏差程度。，反映观测值与平均值的偏差程度。经恒等变形，将经恒等变形，将 分解分解 TSS2

11、21211()() () nTiiiiniiiREniiyySSSyyyySyySS.15回归方程有效性的回归方程有效性的F检验法检验法 22111()nRxiixyxLLSSyy21011(),nEiiyyxyiSSyyLLQ 回归平方和，反映回归值与平均值的偏差，揭示回归平方和，反映回归值与平均值的偏差，揭示变量变量 与与 的线性关系所引起的数据波动。的线性关系所引起的数据波动。yx剩余平方和，反映观测值与回归值的偏差，揭示剩余平方和，反映观测值与回归值的偏差，揭示试验误差和非线性关系对试验结果所引起的数据波动。试验误差和非线性关系对试验结果所引起的数据波动。.16回归方程有效性的回归方程

12、有效性的F检验法检验法 如果如果 为真，则为真，则 01: 0H221TSSn 221RSS222ESSn于是，统计量于是，统计量 1,2(2)RESSFFnSSn对给定的检验水平对给定的检验水平 ，（1 1）当）当 时，时，拒绝拒绝 ，即可认为变量，即可认为变量 与与 有线性相关关系有线性相关关系；FF0Hxy（2 2）当）当 时，时，接受接受 ，即可认为变量，即可认为变量 与与 没有线性相关关系没有线性相关关系；FF0Hyx.17回归方程有效性的回归方程有效性的F检验法检验法 （2 2）当）当 时，时，接受接受 ，即可认为变量，即可认为变量 与与 没有线性相关关系没有线性相关关系；FF0H

13、yx此时，可能有以下几种情况：此时，可能有以下几种情况： （2 2） 对对 有显著影响，但这种影响不能用线性关系有显著影响，但这种影响不能用线性关系表示，应作非线性回归；表示，应作非线性回归；yx（3 3）除）除 之外，还有其它变量对之外，还有其它变量对 也有显著影响，从也有显著影响，从而削弱了而削弱了 对对 的影响，应考虑多元回归。的影响，应考虑多元回归。yyxx（1 1） 对对 没有显著影响，应丢弃自变量没有显著影响，应丢弃自变量 ；yxx.18回归方程有效性的回归方程有效性的r检验法检验法 记记 xyxxyyLRL L样本的相关系数样本的相关系数 R 可反映变量可反映变量 与与 之间的线

14、性相关程度。之间的线性相关程度。 xy因为因为 2121xyEyyxyyyxxyxxyxxyyyyyyyyLLSSQLLLLLLRLLLL21RxyyySSLR L.19回归方程有效性的回归方程有效性的r检验法检验法 记记 xyxxyyLRL L样本的相关系数样本的相关系数 越大，变量越大，变量 与与 之间的线性相关程度越强。之间的线性相关程度越强。 Rxy因为因为 21EyySSQRL2RyySSR L（1 1） 1R TyySSL（2 2） 时，时， 1R 0,ETRSSSSSS（3 3） 时，时， 0R 0,RTESSSSSS 与与 有线性相关关系；有线性相关关系； xy 与与 无线性相

15、关关系；无线性相关关系； xy.20回归方程有效性的回归方程有效性的r检验法检验法 计算计算 xyxxyyLRL L对给定的检验水平对给定的检验水平 ，查相关系数的临界值表，查相关系数的临界值表 如果如果 ，则拒绝，则拒绝 ，即线性回归方程有效；，即线性回归方程有效；否则，接受否则，接受 ，即线性回归方程无效。，即线性回归方程无效。RR0H0HF F检验与检验与r r检验是一致的：检验是一致的： 22(2)(1)(2)yyREyyR LSSFSSnRLn.21回归方程有效性的回归方程有效性的t检验法检验法 统计量统计量 11 (2)(2)ExxTt nSSnLH H0 0成立时，成立时， 1

16、(2)(2)ExxTt nSSnL对给定的检验水平对给定的检验水平 ，H H0 0的拒绝域为的拒绝域为 2(2)Ttn即当即当 时，变量时，变量 与与 有线性相关关系。有线性相关关系。 2(2)TtnyxF F检验与检验与t t检验是一致的：检验是一致的： 2(2)RESSFTSSn.22编号编号123456789脂肪脂肪含量含量%15.417.518.920.021.022.815.817.819.1蛋白蛋白质含质含量量%44.039.241.838.937.438.144.640.739.8试求出试求出 与与 的关系，并判断是否有效。的关系，并判断是否有效。 xy例例1 1 为了研究大豆脂

17、肪含量为了研究大豆脂肪含量 和蛋白质含量和蛋白质含量 的关系，的关系，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，测定了九种大豆品种籽粒内的脂肪含量和蛋白质含量，得到如下数据得到如下数据xy.23解解 （1 1）描散点图）描散点图 .24（2 2）建立模型）建立模型 由散点图，设变量由散点图，设变量 与与 为线性相关关系：为线性相关关系： xyyabx确定回归系数确定回归系数 和和 ： ab编号编号123456789 x15.417.518.920.021.022.815.817.819.1168.3y44.039.241.838.937.438.144.640.739.8364.5x22

18、37.16306.25357.21400441519.84249.64316.84364.813192.75y219361536.641747.241513.211398.761451.611989.161656.491584.0414813.2xy677.6686790.02778785.4868.68704.68724.46760.186775.02.25168.3364.518.7; 40.599xy6775.029 18.740.541.13xyL 23192.759 18.745.54xxL 214813.2940.550.95yyL 0.9032xyxxLbL 57.3891ayb

19、x所以，所求的回归方程为所以，所求的回归方程为 0.903257.3891yx .26（3 3）检验回归方程的有效性）检验回归方程的有效性 0.8539xyxxyyLRL L 0.010.7977R2927dfn查相关系数临界值表查相关系数临界值表 因为因为 0.01RR所以回归方程在所以回归方程在 的检验水平下有统计意义。的检验水平下有统计意义。0.01即可以认为大豆的蛋白质含量与脂肪含量有线性相关性。即可以认为大豆的蛋白质含量与脂肪含量有线性相关性。.27利用回归方程进行预测利用回归方程进行预测1 1、点预测、点预测 0 xx时，时， 即为即为 的点预测值。的点预测值。 0 yabxy2 2、区间预测、区间预测 统计量统计量 0020 (2)11(2)ExxyyTt nxxSSnnL对给定的置信水平对给定的置信水平 ， 的预测区间为的预测区间为 10y20201(2)1