第二章回归模型(7-8)

1、三、多元线性回归方程的显著性检验1复相关系数法：在多元线性回归中，回归平方和U与离差平方和 之比的方根称为复相关系数。总离差平方和计算公式：总自由度 。 的大小反映了数据 的总波动。回归平方和U：U反映了因素对变量y的线性关系密切程度。一元线性回归中：其中： yyLUQLyy22222)(1)()(yNyyNyyyLiiiiyy1 NfyyLiynixyibLyyU12)()(yyxxLiixy 对于多元线性回归：计算公式：上式中： 为 的回归系数，2)(yyUi2)()(xbabxai2)(xxbixyxxxxxyxxxxbLLLLbLbbLb2pjjyjniiLbyyU112)(jbjxp

2、jyyxxLijijjy, 2 , 1)(证明： 回归自由度 （自变量个数为p个）)(110ppxbxbbynipppipiniixbxbbxbxbbyyU1211011012)()()(nippipiixxbxxbxxb12222111)()()( niffijjipfjfjnipjjjijxxxxbbxxb111121)()(pjjyjpfjjffjLbLbb111pf回剩余平方和 ： 以 一定的情况下，Q越小，U越大，则说明回归效果好。由此可导出复相关系数：2F检验法 （在多元线性回归中常用）ULQyy1PNf剩QyyLyyyyyyyyLQLQLLUR1) 1/(/PNQPUF 服从第一

3、自由度为p，第二自由度为N-P-1的F分布。对于给定置信度，相应的自由度p和N-P-1 ，查F分布表，可得到对应的临界值F 若 ，则认为y与x存在线性关系。3估计回归方程的精度仍用剩余标准差4偏回归平方和的显著性检验 在处理多元回归的实际问题中，往往不满足于仅仅判断回归方程是否显著，因为回归方程显著，并不意味着每个自变量对y的影响都显著，其中有些次要的自变量是可有可无的，为了剔除这些次要变量。建立既简单又不失准确性的回归方程，往往还要进行回归系数的显著性检验。1PNQFF 回归平方和U是所有x对y的总影响，若剔除一个自变量 ，新的回归方程的U值只会减小，不会增加。U减小的越多，说明该自变量对y

4、的影响越大，若用 表示这个减少量， 则是衡量回归方程中自变量 对y影响大小的指标，称为偏回归平方和。 kxkpkpkx 设： 表示p个自变量 所引起的回归平方和。 表示p-1个自变量 所引起的回归平方和。 则： )( pUpxxx,21)1( pUpkkxxxxx,1121)1()(ppkUUP可以证明： 式中： 所对应的偏回归系数； 为正规方程组系数矩阵的逆矩阵主对角线上第k个元素。 若用行列式表示，则 其中为系数行列式 为划去k行，k列后的行列式。kkkkCbP2/kkkkCppppppLLLLLLLLL212222111211kkkkxb kkC 当求出偏回归平方和后，要进行F检验，通常

5、采取步骤如下：（1）按上式计算出回归方程中各因素的偏回归平方和p1，p2，pp，比较其大小，首先对偏回归平方和最小者进行显著性检验，如果检验结果发现其不显著，则将它从回归方程中剔除，剔除该因素以后，重新计算新回归方程的回归系数，然后再对新回归方程的各因素进行显著性检验，直到各因素都显著为止。（2）对偏回归平方和进行F检验。 Fk是服从第一自由度为1，第二自由度为N-P-1的分布，对于给定的置信度，若FkF ，则Fk对y的影响显著，否则就不显著，即可以将不显著的变量剔除。) 1/(1/PNQPFkk 例：根据经验认为，在人的身高相等的情况下，血压的收缩压与体重、年龄有关，为了了解其相关关系，现收

6、集了13个男子的下述数据： 解：一般对于多元回归分析，我们不是首先根据数据作散点图，因为多元回归不象一元回归那样可以在平面上表示出来，多元回归要想表示，只有在多维空间中表示，所以一般达不到，所以多元回归分析，首先，一般是根据经验给定一个模型形式，然后检验。 这里为了考查它们的相关关系，我们选择模型形式为： 这里P=2，即二元线性回归。 由于变量取值较大，为减少计算量，我们先对各变量分别作线性变换，通过观察。22110 xbxbby22110221112010/150 xxyyyxxxx 我们用变换后的数据先求出 关于 、 的二元线性回归方程，然后再回复到y关于x1，x2的二元线性回归方程。（一

7、）计算回归方程系数。 按公式计算变换后的正规方程组系数 ， y1x2xijLiyL2 , 1,ji9231.2078209131543912212111iiiixnxL3846.1535 .502091315 .658121212112iiiiiiixxnxxLL0769.235 .5013125.21912222222iiiixnxL160713020913136971111iiiiiiiyyxnyxL5 .711305 .501315 .433)(1222iiiiiiiyyxnyxL这样可以列出变换后的二元线性方程组解此方程组，得： ， 即： 得： 5 .710769.233846.153

8、16073846.1539231.207821210683. 110022. 427068.220022. 488. 30683. 108.161022110 xxy210022. 41006837068.22xxy10/0022. 4)150(0683. 17068.2212021xxy214002. 00683. 19518.62xxy（二）回归方程显著性检验 对回归方程显著性检验，等价于对回归方程习作显著性检验： 查F分布表，在 水平下 可知回归方程是显著的。1512)130(1312812)(1222iiiiyyynyL6008.1430) 5 .71(0022. 416070683.

9、 122111yyPiiyiLLlbU3992.81vLQyy) 1/(/回回fnQfUF88.87) 1213/(3992.812/6008.143001. 056. 7)10, 2(01. 0F56. 7)12, 2(88.8701. 0FF 也可采用复相关系数：（三）回归系数的显著性检验。我们利用求偏回归平方和 ,其中 那么对于本例： 9727. 015126008.1430yyLURkkkkCbP2/kkkkC2650.244480769.233846.1533846.1539231.20789231.20780769.2322110856.12092650.24448/0769.23

10、0683. 1211211CbP3680.1882650.24448/9231.20780022. 4222222CbP对偏回归平方和进行F检验 ) 1/(1/PNPFkk0 .10)10, 1 (54.148) 1213/(3992.810856.120901. 01FF0 .10)10, 1 (14.23) 1213/(3992.813680.18801. 02FF2-8 逐步回归分析一、概述 逐步回归可以采用逐步增元回归和逐步降元回归两种：逐步增元回归分析： 特点：它是从所考虑的全部自变量中，每 次挑选一个与因变量关系最密切的因素进 入回归方程。（比较因变量y与每个自变量 xi之间的偏相

11、关系数）。新变量引入后，对 回归方程的所有自变量进行显著性检验， 剔除其中不显著因素。为此逐个引入，逐 个剔除，反复检验，直至回归方程中所有 自变量都显著，所有显著因素都引入为止。逐步降元回归分析 特点：首先建立包括全部自变量的回归方程，然后对其中每个自变量都进行显著性检验，找出最不显著的一个自变量，进行偏回归平方和的F检验，若小于 值，则把这个变量剔除。然后重新建立回归方程，对余下的自变量再重复进行显著性检验，直到所有自变量均显著为止。该回归方法特点是比较稳妥，不容易漏掉有显著影响的因素。由于选矿过程中模型的自变量并不是太多，工作量不是太大，所以这种方法应用较多。 F二、逐步降元回归分析 逐

12、步降元回归分析并不包含更多的新内容，主要仍采用前面介绍的回归分析方法，现将步骤说明如下：（1）用多元回归分析方法建立一个包括全部因素在内的多元回归方程。（2）用F检验法检验各回归系数的显著性，将不显著因素中F值最小的一个因素剔除。（3）剔除了一个因素后，重新建立新的多元回归方程。并按上述步骤重复进行显著性检验，剔除方程中余下的所有显著因素，直至全部因素均显著为止。 例：某种水泥在凝固时放出的热量y可能与水泥中下列四种化学成份有关： x13CaoAl2O3的成份（的成份（%） x23CaoSio2的成份（的成份（%） x34CaoAl2O3Fe2O3的成份（的成份（%） x42CaoSio3的成

13、份（的成份（%） 测得的数据为下表，试建立y与这些因素的回归方程。解：第一步：求多元线性回归方程 由观测数据可得： , , , 由443322110 xbxbxbxbby971iix6262iix1533iix3904iix5 .1240iiy46. 71x15.482x77.113x304x42.95y)(1iikiijiikijjkxxnxxL)(1iiiikiiikkyyxnyxL 根据观测数据可写出正规方程转变后的矩阵元素： 3800.29062.37208.25123.415433441143113211211LLLLLLLLL33620031.49200.304154.16669.

14、290544334224322322LLLLLLL即：只要求出L的逆矩阵即可。70.248123.61895.229596.7754321yyyyLLLL70.248123.61895.229596.77500.336200.3800.304100.29000.3831.49254.16662.37200.304154.16669.290508.25100.29062.37208.25123.4154321bbbbFLBFBL1根据 得 ， ， ，100000.336200.3800.304100.290010000.3831.49254.16662.372001000.304154.1666

15、9.290508.251000100.29062.37208.25123.4151/084076. 0086441. 0085644. 0084504. 01000086441. 0095255. 008791. 0092691. 00100085644. 0087917. 0087607. 0085736. 00010084504. 0092691. 0085736. 0092763. 00001LIFLB15511. 11b5101. 02b1019. 03b1441. 04b4111.62443322110 xbxbxbxbyb 这样可得多元回归方程： 第二步：检验回归方程的显著性 计算

16、方程的回归平方和U和总偏差平方和方差分析表43211441. 01019. 05101. 05511. 14111.62xxxyyyL)23.618(1019. 095.22955101. 096.7755511. 141jjyjLbU39.2669)70.2481()1441. 0(76.271525.153884013109.121088)(122iiiiyyynyL方差来源平方和自由度均方和F比值回 归2669.394U/f 667.35115.06剩 余46.378Q/f 5.8 总 和2715.7612 对于 ，查得 ， 因此有所以求得的回归方程是显著的。第三步：检验回归系数显著性。

17、首先计算各自变量的偏回归平方和：由公式 为正规方程组系数矩阵的逆矩阵主对角线上第k个元素。则 01. 001. 7)8 , 4(01. 0F01. 7)8 , 4(06.11501. 0FFkkkkCbP2kkC8 .547.4092763.0)5511.1 (211211CbP8 .551.0087607.0)5101.0(222222CbP对偏回归平方和进行F检验。由公式： 8 . 502. 0095255. 0)1019. 0(233233CbP8 . 504. 0084076. 0)1441. 0(244244CbP) 1/(1/PNQPFkk47. 43718.468 . 547.

18、4) 1/(11PNQPF04. 0,02. 0,51. 0432FFF 查F分布表：对显著性水平 ，查得 则有： x1是显著的x2，x3和x4均不显著，上面求得的回归方程并非“最优”。为此，须对不显著变量进行剔除。因为F3最小，先剔除x3 。 重复上述三步。第一步：求出y对x1 ， x2和x4 的回归方程，得： 第二步：经检验知回归方程是显著的。 第三步：经检验知x4不显著。剔除x4 。10. 046. 3)8 , 1 (10. 0F10. 0410. 0310. 0210. 0104. 0,02. 0,51. 0,47. 4FFFFFFFF4212365. 04161. 04519. 16

19、482.71xxxy再重复上述三步：第一步：求得回归方程第二步：经检验知回归方程是显著的。第三步：经检验知x1及x2都是 在水平上显著的，这就是要求的“最优”回归方程。216623.04683.15773.52xxy01. 0 作业1：由于C、H、O是煤燃烧过程中产生热量的主要元素，今从某矿的原煤中，取出12块煤样，经化验后其发热量Q（大卡/克）与C（%）、H（%）、O（%）元素的数据为下表所示，试建立它们的多元回归模型。作业2：在浮选生产过程中，影响浮选结果的因素较多，现对某选煤厂其中四个主要因素进行实验，经过对六个生产班的测定得数据如下，试用回归分析方法建立浮选效率与各操作因素之间的多元线性模型。取样次数（生产班）操作因素浮选效率y（%）X1捕收剂用量（g/t）X2PH值X3起泡剂用量（g/t）X4浮选时间（min）11050.3256221560.4276231290.2306641870.1326051150.4306161080.425672-7 一元多项式回归模型一、一元多项式模型选取 在确定一元非线性回归模型时，可以利用经验或散点图，选择恰当的非线性初等函数，通过坐标适当变换，转换成线性函数，然后利用线性回归方法求解。 如果在初等函数中找不到满意的非线性函数，或者事先不能确定出函数的类型