简单线性回归

1、简单线性回归本章内容本章内容 第一节第一节 简单线性回归简单线性回归 第二节第二节 线性回归的应用线性回归的应用 第三节第三节 残差分析残差分析 第四节第四节 非非线性回归线性回归 双变量计量资料：双变量计量资料：每个个体有两个变量值每个个体有两个变量值 总体：总体：无限或有限对变量值无限或有限对变量值 样本：样本：从总体随机抽取的从总体随机抽取的n n对变量值对变量值 （x1,y1）, （x2,y2）, , （xn,yn） 目的：目的：研究研究x x和和y y的数量关系的数量关系 方法：方法：回归与相关回归与相关 简单、基本简单、基本直线回归、直线相关直线回归、直线相关第一节第一节 简单线性

2、回归简单线性回归 英国人类学家 f.galton首次在自然遗传一书中，提出并阐明了“相关”和“相关系数”两个概念，为相关论奠定了基础。其后，他和英国统计学家 karl pearson对上千个家庭的身高、臂长、拃长（伸开大拇指与中指两端的最大长度）做了测量，发现发现：历史背景： 儿子身高（y，英寸）与父亲身高（x，英寸）存在线性关系： 。 也即高个子父代的子代在成年之后的身高平均来说不是更高，而是稍矮于其父代水平，而矮个子父代的子代的平均身高不是更矮，而是稍高于其父代水平。galton将这种趋向于种族稳定的现象称之“回归”33.730.516yx “回归”已成为表示变量之间某种数量依存关系的统计

3、学术语，相关并且衍生出“回归方程”“回归系数”等统计学概念。如研究糖尿病人血糖与其胰岛素水平的关系，研究儿童年龄与体重的关系等。线性回归的概念及其统计描述线性回归的概念及其统计描述直线回归的概念 目的：目的：研究因变量研究因变量y对自变量对自变量x的数量依的数量依 存关系。存关系。特点：特点：统计关系。统计关系。 x值和值和y的的均数均数的关系，的关系， 不同于一般数学上的不同于一般数学上的x 和和y的函数关系的函数关系 为了直观地说明直线回归的概念，以15名健康人凝血酶浓度（x）与凝血时间(y)数据（表12-1）进行回归分析，得到图12-1所示散点图（scatter plot） no. 12

4、3456789101112131415x1.11.21.00.91.21.10.90.61.00.91.10.91.11.00.7y141315151314161714161516141517 在定量描述健康人凝血酶浓度（x）与凝血时间(y)数据的数量上的依存关系时，将凝血酶浓度称为自变量(independent variable)，用 x 表示；凝血时间称为因变量(dependent variable)，用 y 表示 由图12-1可见，凝血时间随凝血酶浓度的增加而减低且呈直线趋势，但并非所有点子恰好全都在一直线上，此与两变量间严格的直线函数关系不同，称为直线回归（linear regress

5、ion）,其方程叫其方程叫直线回归方程直线回归方程，以区别，以区别严格意义的直线方程。回归是回归分析中最基本、最简单严格意义的直线方程。回归是回归分析中最基本、最简单的一种，故又称简单回归。的一种，故又称简单回归。 (12 1)yabx样本线回归方程样本线回归方程y 为各x处y的总体均数的估计。简单线性回归模型 iiixy1a 为回归直线在为回归直线在 y 轴上的截距轴上的截距a 0，表示直线与纵轴的交点在，表示直线与纵轴的交点在原点的上方原点的上方a 0，直线从左下方走向右上方，直线从左下方走向右上方，y 随随 x 增大而增大；增大而增大； b0，直线从左上方走向右下方，直线从左上方走向右下

6、方，y 随随 x 增大而减小；增大而减小； b=0，表示直线与，表示直线与 x 轴平行，轴平行，x 与与y 无直线关系无直线关系b 的统计学意义是：的统计学意义是：x 每增加每增加(减减)一个单位，一个单位，y 平均改变平均改变b个单位个单位 回归模型的前提假设回归模型的前提假设o 线性回归模型的前提条件是：线性线性(linear)独立独立(independent)正态正态(normal)等方差等方差(equal variance)公式（12-2）称为样本回归方程，它是对两变量总体间线性关系的一个估计。根据散点图我们可以假定， 对于x各个取值，相应y的总体均数|y x在一条直线上（图 12-2

7、） ，表示为 | y xx 残差(residual)或剩余值，即实测值y与假定回归线上的估计值 的纵向距离 。 求解a、b实际上就是“合理地”找到一条能最好地代表数据点分布趋势的直线。yyy原则：最小二乘法(least sum of squares)，即可保证各实测点至直线的纵向距离的平方和最小回归参数的估计回归参数的估计最小二乘原则最小二乘原则 式中式中xyl为为 x 与与 y 的离均差乘积和的离均差乘积和: ()()()() xylx x y yxyxyn2()()()xyxxxx yylblxx aybx回归参数的估计方法回归参数的估计方法 本例：n=15 x=14.7 x2=14.81

8、 y=224 xy=216.7 y2=336898020. 615)7 .14(81.1415)224)(7 .14(7 .2162b77393.21157 .14)98020. 6(15224 axy9802. 677393.21除了图中所示两变量呈直线关系外， 一般还假定每个x对应y的总体为正态分布，各个正态分布的总体方差相等且各次观测相互独立。这样，公式（12-2）中的y实际上是x所对应y的总体均数|y x的一个样本估计值，称为回归方程的预测值（predicted value）,而a、b分别为和的样本估计。 1由原始数据及散点图观察两变量间是否有直线趋势 2计算x、y的均数x、y，离均差

9、平方和xxl、yyl与离均差积和xyl。 解题步骤3、计算有关指标的值4、计算回归系数和截距5、列出回归方程 此直线必然通过点此直线必然通过点( , )( , )且与纵坐标轴相且与纵坐标轴相交于截距交于截距a a 。如果散点图没有从坐标系原。如果散点图没有从坐标系原点开始，可在自变量实测范围内远端取易点开始，可在自变量实测范围内远端取易于读数的于读数的 值代入回归方程得到一个点的值代入回归方程得到一个点的坐标，连接此点与点坐标，连接此点与点( , )( , )也可绘出回归也可绘出回归直线。直线。 x绘制回归直线绘制回归直线xyy总体回归系数总体回归系数的的的统计推断样本回归系数样本回归系数b的

10、标准误的标准误 niixybxxss12.)(21.()2niiiy xyysn.3.249170.249940.4999413y xs78655. 0404. 049994. 0)(12.niixybxxss回归方程的假设检验 建立样本直线回归方程，只是完成了统计分析中两变量关系的统计描述，研究者还须回答它所来自的总体的直线回归关系是否确实存在，即是否对总体有 ？0无论x如何取值，|y x总在一条水平线上，即0，总体直线回归方程并不成立，意即y与x无直线关系，此时|y xy。然而在一次随机抽样中，如果所得样本为实心园点所示， 则会得到一个并不等于 0 的样本回归系数b。b与 0 相差到多大可

11、以认为具有统计学意义？可用方差分析或与其等价的 t 检验来回答这一问题。 理解回归中方差分析的基本思想，需要对应变量y的离均差平方和yyl作分解（如图所示） 。 1方差分析 y的离均差，总变异残差回归的变异图中， 任意一点p的纵坐标被回归直线y与均数y截成三个线段，其中：)()(yyyyyy。由于p点是散点图中任取的一点，将全部数据点都按上法处理，并将等式两端平方后再求和则有 数理统计可证明：222)()()(yyyyyy()(yyy-)0y = 上式用符号表示为 式中 总ss即2)(yy，为y的离均差平方和，表示未考虑x与y的回归关系时y的总变异。 回ss 即2)(yy，为回归平方和。由于特

12、定样本的均数 y 是固定的， 所以这部分变异由iy的大小不同引起。 当 x 被引入回归以后，正是由于ix的不同导致了iiyabx不同，所以回ss反映了在 y 的总变异中可以用x 与 y 的直线关系解释的那部分变异。 b 离 0 越远，x 对 y 的影响越大，回ss就越大，说明回归效果越好。 yss残即2)(yy，为残差平方和。它反应除了x对y的线性影响之外的一切因素对y的变异的作用，也就是在总平方和中无法用x解释的部分， 表示考虑回归之后y真正的随机误差。在散点图中， 各实测点离回归直线越近，ss残也就越小，说明直线回归的估计误差越小，回归的作用越明显。 上述三个平方和，各有其相应的自由度 ，

13、并有如下的关系： 以上分解可见，不考虑回归时，随机误差是 y 的总变异总ss；而考虑回归以后，由于回归的贡献使原来的随机误差减小为ss残。 如果两变量间总体回归关系确实存在，回归的贡献就要大于随机误差，大到何种程度时可以认为具有统计意义，可计算统计量f:ms回为回归均方 ms残为残差均方。 f服从自由度为 回残、的f分布。 式中22xyxyxxxxssblllb l回 ssmsfssms回回回残残残， 1 2n回残， 对0这一假设是否成立还可进行如下t检验 0bbbts，2n y xbxxssl 2y xsssn残 t 检验 （1）方差分析0h: 0，即凝血酶浓度与凝血时间)之间无直线关系 1

14、h: 0，即凝血酶浓度与凝血时间数据之间有直线关系 0.05 方差分析表 11、26，查f界值表，得0.01p 。按0.05水准拒绝0h，接受1h，可以认为尿肌酐含量与年龄之间有直线关系。 （2）t 检验13，查t界值表，得0.001p 。按0.05水准，拒绝0h，接受1h。 参数的意义是：若自变量x增加一个单位，反因变量y的平均值便增加 bbsbt87. 878655. 098020. 6bt注意：ft，即直线回归中对回归系数的t检验与f检验等价，类似于两样本均数比较可以作t检验亦可作方差分析。 总体回归系数 的可信区间 利用上述对回归系数的t检验，可以得到的1双侧可信区间为bnstb2,

15、本 例b = - 6 . 9 8 0 2 , 自 由 度 = 1 3 ，t0.05,13=2.16，sb=0.78655, 代入公式（12-7）得参数的95%置信区间为 =（-8.6791 -5.2813） 78655. 016. 29802. 6注意到此区间不包括 0，可按0.05 水准同样得到总体回归系数不为 0 的结论， 即用区间估计回答相同时的假设检验问题。 第二 节 线性回归的应用（估计和预测） 1总体均数|y x的可信区间（总体总体回归线的回归线的 95%置信带置信带） 给定x的数值0x，由样本回归方程算出的0y只是相应总体均数0|y x的一个点估计。0y会因样本而异, 存在抽样误

16、差。 给定0xx时，总体均数0|y x的(1)可信区间为 00/2,yyts22()1()ppy xyixxssnxx反映其抽样误差大小的标准误为o 例12-1中，第一观测值x1=1.1， 0.4994， 0.404， 代入（12.8）式获得第一观测点x1对应的 的标准误为 0.1599y的总体均数的95%置信区间为 14.0957(2.16)(0.1599)（13.7502，14.4412） xys.1512)(iixx98. 0x1y404. 0)98. 01 . 1 (15149994. 021ys对象实测值 x实测值 y预测值均值均值的标准误y均值的95%ciy值的95%预测区间残差下

17、限上限下限上限11.11414.09570.159913.750214.441212.961815.2297-0.095721.21313.39770.215912.931313.864112.221214.5741-0.397731.01514.79370.130014.512815.074713.677715.90970.206340.91515.49170.143615.181515.802014.368016.6155-0.491751.21313.39770.215912.931313.864112.221214.5741-0.397761.11414.09570.159913.75

18、0214.441212.961815.2297-0.095770.91615.49170.143615.181515.802014.368016.61550.508380.61717.58580.325616.882518.289216.296918.8747-0.585891.01414.79370.130014.512815.074713.677715.9097-0.7937o 以上是给定某一x值时所对应的总体均数的置信区间。当同时考虑x的所有可能取值时，总体均数的点估计就是根据样本算得的回归直线 o （1-）置信区间的上下限连起来形成一个弧形区带，称为回归直线的（1-）置信带（confi

19、dence band）。同样，因为其标准误是x的函数，所以在均数（ ）点处置信带宽度最小，越远离该均数点，置信带宽度越大。 bxayyx,o 图12-4中，左图显示位于最小二乘回归线上下两侧的两条弧形虚线为总体回归线的（1-）置信区带。右图的实线表示可能的总体回归线，它们落在弧形虚线所确定的置信带内。o （1-）置信带的意义是：在满足线性回归的假设条件下，可以认为真实的回归直线落在两条弧形曲线所形成的区带内, 置信度为（1-） 所谓预测就是把预报因子（自变量 x）代入回归方程对总体中预报量（应变量 y）的个体值进行估计。给定 x 的数值0x， 对应的个体 y 值也存在一个波动范围。 其标准差0

20、ys（注意勿与样本观察值 y 的标准差相混）按公式（12-10）计算 22()11()ppyy xxxssnxx/2,ppyytso 以第一观测点数据（x1=1.1）点为例，该点预测值的标准差为 o =0.52489182 o 第一数据点的预测区间为： 14.0957(2.16)(0.0.5249)=12.961815.2297o 当同时考虑x的所有可能取值时，个体y值的95%预测区间形成一个带子，称为y值的95%预测带，它比总体回归线95%置信带更宽。 图12-5和图12-6同时显示个体y值的预测带与总体回归线的置信带，可见，在相同信度下，个体值预测带的曲线要比回归线置信带的曲线离回归直线更

21、远。 404.0)98.01.1(151149994.02|1xyspici决定系数(coefficient of determination) 定义为回归平方和与总平方和之比，计算公式为：222xyxxxyyyxx yysslllrsslll回总 取值在0到1之间且无单位，其数值大小反映了回归贡献的相对程度，也就是在y的总变异中回归关系所能解释的百分比。 2r公式说明当总ss固定不变时， 回归平方和的大小决定了相关系数 r 绝对值的大小。回归平方和越接近总平方和， 则 r 绝对值越接近 1， 说明相关的实际效果越好。 例如相关系数 r=0.8818，得到2r=0.7775，表示此例中 x 可

22、解释 y 变异性的 77.75，另外约22的变异不能用 x 来解释。 第三节第三节 残差分析残差分析 o 残差残差（residual）是指观测值yi与回归模型拟合值之差 o 残差分析(residual analysis)旨在通过残差深入了解数据与模型之间的关系，评价实际资料是否符合回归模型假设，识别异常点等。 o 例如，第一数据点的残差e1=14-14.0957=-0.0957，如此类推，计算出各数据点的残差值示于表12-2的第10列中。将第10列的残差减去其均数，除以其标准差，便得标准化残差。 iiiyye若以反因变量取值yi为横坐标，以标准化残差为纵坐标，构成的散点图如图12-7所示。类似

23、地，也可以自变量取值xi为横坐标, 以标准化残差为纵坐标，构成的散点图。这类散点图统称为标准化残差图。 o 图12-8给出的是以自变量取值为纵坐标，以残差为横坐标的残差图的常见类型。其中，图(e)显示残差呈随机分布；图(a)、(b ) 和(f)表示残差不满足方差齐性条件；图(c)显示存在非线性关系；图(d)显示有的点处于2倍标准差以外，可能是异常点。 第四节第四节 非线性回归非线性回归o 非线性回归要比线性回归更能充分地表达变量间的关系。当今线性回归之所以比非线性回归应用甚多，原因在于无论从数学理论还是计算方法，线性回归都比非线性回归模型简单得多。o 通过自变量的变换实现线性化通过自变量的变换

24、实现线性化实践中有两类非线性关系，一类是通过自变量x的适当变换可线性化的，另一类是不可能通过自变量x的变换实现线性化的 iiixy210iiixy)log(10iiixy*10x数据变换ixiiey10ixiiey)(10iiiixxy10不能线性化的关系不能线性化的关系变换自变量实现线性回归步骤变换自变量实现线性回归步骤 1.将观测数据(xi, yi), i=1,2,n作散点图，观察散点分布特征类似于何种函数类型；2.按照所选定的函数进行相应的变量变换；3.对变换后的数据用常规最小二乘法（ols）作线性模型的参数估计。4.一般拟合多个相近的模型，然后通过对各个模型的拟合优度评价挑选较为合适的

25、模型。 o例12-2 为了研究某药物浓度与肾上腺素释放的量关系，选取10个给药物浓度水平，每种药物剂量水平上重复5次试验，观测结果如表12-3所示。欲用合适的回归模型描述该药品剂量与反应的规律 药物剂量（mg）肾上腺素释放量（pg/ml）1519.2614.2917.6018.3616.532021.2021.7820.7720.6523.382521.7722.6122.7021.1721.653023.4723.2221.7424.0224.053523.8825.3222.9024.8423.704025.2724.6924.6724.4825.244524.2024.9425.5225.0227.435027.9825.8826.6726.3125.945527.4224.9126.4228.2425.496028.4127.0929.0428.8527.89o 由结果可见：在所拟合的三种模型中，以x对数函数回归的效果最佳，该模型拟合的残差均方最小，决定系数最大 模型名称回归方程msef值p值r2值简单线性1.91786212.480.00010.8157对数函数1.39592309.88.00010.8659二次函数2.72770135.050.00010.852xy19879. 052265.16)ln(80477. 61