第五章 试验数据的回归分析

第五章试验数据的回归分析5.1变量与变量之间的关系

变量与变量之间存在下面两种关系：1、函数关系变量之间存在一种确定性关系，当给定一个或几个变量值后，另一个变量有确定值。例如圆的面积S和半径R之间存在这样一种函数关系：2、相关关系

变量间存在密切的但又不完全确定的关系，当给定一个或几个变量值时，另一变量有一大致的取值。例如一个人的血压p与年龄x存在这样一种大致关系：1但这种关系并未完全确定。相关关系经过抽象分析可以得到一个函数关系，用来评估这种相关关系，也可以这样说：相关关系是一种误差不为常数的函数关系。

分析、抽象相关关系函数关系

误差R≠const.

有关相关关系的计算方法和理论称为回归分析，确定回归方程、检验回归方程的可信度是回归分析的主要内容。回归分析分为一元回归分析和多元回归分析，也可分为线性回归和非线性回归两种形式。25.1变量与变量之间的关系5.2一元线性回归分析5.2.1一元线性回归数学模型一元线性回归数学模型为：回归模型中为误差项，它包括试验误差及无法用x表达的因素或非x的一次项如项等。这是一个因变量y与一个自变量x之间的线性关系式。后面的任务就是要根据对应的实验数据来估计模型参数的估计值，以得到一个一元线性回归方程式：。35.2

一元线性回归分析5.2.2一元线性回归方程的建立我们知道，对于一个，通过实验得到的数据与通过回归方程计算得到的回归值之间存在一定的差异，即。令称为残差。令显然，对于不同的回归系数，其得到的Q大小不一，Q最小者最能反映x与y间的相关关系，即所得的回归方程与试验结果拟合最好。称Q为剩余平方和，它反映了偏离的总体程度。45.2一元线性回归分析现在的问题就是为何值时Q最小？这样就转化为二次非负函数求极小值问题，通过最小二乘法可以解决这一问题。极小值点求法如下：即：55.2一元线性回归分析上面的方程组称为正规方程组，对方程组求解即可得到回归系数的计算式：我们定义x、y及xy的离差平方和分别为：65.2一元线性回归分析则：75.2一元线性回归分析kxkykxkyk12345245892.012.983.505.025.074.0211.9217.5040.1645.634162564814.048.8812.2525.2025.702818.58119.2319076.07具体例子见书P46～47例4－1。从上可以看出根据试验数据建立回归方程可用最小二乘法，其基本步骤为：①根据试验数据画出散点图；②确定拟合的函数类型；③通过最小二乘法得到正规方程组；④求解正规方程组，得到回归方程的表达式。5.2.3一元线性回归方程的检验对于给定的N个观测值，即使x与y之间根本不存在线性关系，我们仍旧可以通过最小二乘法求得x与y的线性拟合方程，显然这样的回归方程没有任何意义，我们必须对回归方程进行显著性检验，对其可信性或拟合效果进行检验。85.2一元线性回归分析1、F检验法(1)总变动平方和及其分解显然在无重复试验的情况下：SST＝Lyy而95.2一元线性回归分析对于所以SST可以分解为两部分：我们称为剩余平方和，它宜小；称为回归平方和，它宜大。105.2一元线性回归分析在无重复试验时，可用下面的式子进行计算：(2)自由度115.2一元线性回归分析(3)F检验我们可以认为U相对于Q较大时，回归方程显著。若F<F0.05(1,N-2)，回归方程不显著。若F0.05(1,N-2)<F<F0.01(1,N-2)，回归方程显著，用*表示。若F>F0.01(1,N-2)，回归方程高度显著，用**表示。(4)残差分析与之间的偏差称为残差，表示为根据残差，我们可以计算出剩余标准差125.2一元线性回归分析如果试验的随机误差服从正态分布，利用剩余标准差sy，我们可以预测y的取值区间：试验值落在之内的概率为95.4％；试验值落在之内的概率为99.7％。Sy越小，回归方程拟合得越好。2、相关系数检验法令135.2一元线性回归分析显然，当＝1时，x与y完全线性相关，这时x与y有精确的线性关系；当r=0时，x与y根本没有线性关系，但并不意味x与y之间不存在其他类型的关系；当r>0时，x与y正线性相关，直线的斜率为正；当r<0时，x与y负线性相关，直线的斜率为负。由于所以145.2一元线性回归分析可见，r与b同号。可查相关系数临界值表，见书P208，这里p表示变量个数，包括自变量和因变量。回归方程才有意义。相关系数r接近于1的程度与试验数据个数N有关，当N较小时，r越接近于1，当N较大时，r容易偏小，特别是N＝2时，因为两点确定一条直线，r总等于1，所以只有当实验次数N较多时，才能得到真正有实际意义的回归方程。155.2一元线性回归分析155.2一元线性回归分析试用F检验法和相关系数检验法对例4-1的回归方程进行显著性检验。5.3多元线性回归分析如果因变量y与多个自变量xj之间的近似函数关系式为多元线性方程：则称该式为因变量y与自变量的多元线性回归方程。设变量有N组试验数据：下面的任务就是采用最小二乘法求其多元线性回归方程。5.3.1多元线性回归方程的建立165.3多元线性回归分析将自变量代入回归方程中，得到：剩余平方和Q可以表示为：175.3

多元线性回归分析根据最小二乘法原理，要使Q达到最小，应该满足以下条件：即：185.3多元线性回归分析整理上式可得正规方程组：195.3多元线性回归分析205.3多元线性回归分析上述正规方程组非常繁琐，不变记忆，令：（N组观测值中自变量xj的平均值）（N组观测值中因变量y的平均值）则上述正规方程组变为：215.3多元线性回归分析求解上述方程组即可得到多元线性回归方程的偏回归系数b0、b1、b2…bm。215.3多元线性回归分析例4-4在某化合物的合成试验中，为了提高产量，研究了得率与原料配比x1，溶剂量x2，和反应时间x3的关系，结果如下表。试用线性回归方程拟合试验数据。试验号配比x1溶剂量x2反应时间x3得率y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.482215.3多元线性回归分析试验号x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元线性回归分析试验号x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683215.3多元线性回归分析试验号x1x2x3yy2x12x22x32x1x2x2x3x1x3x1yx2yx3y12345671.01.41.82.22.63.03.4131925101622281.53.01.02.50.52.03.50.3300.3360.2940.4760.2090.4510.4820.1090.1130.0860.2270.0440.2030.2321.001.963.244.846.769.0011.561693616251002564847842.259.001.006.250.254.0012.2513.026.645.022.041.666.095.219.557.025.025.08.044.098.01.54.21.85.51.36.011.90.3300.4700.5291.0470.5431.3531.6394.2906.3847.3504.7603.3449.92213.4960.4951.0080.2941.1900.1050.9021.687∑15.4133142.5781.01438.36277935.00309.4276.532.25.91249.5465.681平均2.2192.00.3683225.3多元线性回归分析建立正规方程组如下：已知一个容量为N的样本将样本中各值代入回归方程，得到方程组：225.3多元线性回归分析下面以矩阵形式来表示正规方程组：②回归系数矩阵③结构矩阵则正规方程组左边的系数矩阵A可以由结构矩阵X直接算出：235.3多元线性回归分析①初始数据矩阵或观测值矩阵245.3多元线性回归分析正规方程组右边的常数项矩阵B可由结构矩阵X和观测值矩阵Y计算出：255.3多元线性回归分析则正规方程组可以用矩阵形式表示如下：求解上述方程组即可得到多元线性回归方程的偏回归系数b0、b1、b2…bm。具体例子见书P53～55例4－4。用矩阵形式来计算：265.3多元线性回归分析275.3多元线性回归分析285.3多元线性回归分析求解上述正规方程组即可得到多元线性回归方程。5.3.2多元线性回归方程显著性检验1、F检验法295.3多元线性回归分析若，则称y与间没有明显的线性关系，回归方程不可信。若，则称y与有明显的线性关系，回归方程显著，用*表示。若，则称y与间有十分明显的线性关系，回归方程高度，用**表示。305.3多元线性回归分析2、相关系数检验法与一元线性回归的相关系数r类似，在多元线性回归分析中，我们定义复相关系数R，用它反映一个变量y与多个变量xj（j=1,2,…，m）之间的线性相关