化学试验设计法中的回归分析

化学试验设计法中的回归分析1第一页，共三十一页，编辑于2023年，星期五多元回归有多种，除了多元线性、非线性回归外，其他如化学计量学中的主成分分析、偏最小二乘法、聚类分析等也是比较常用的回归分析方法。多元线性回归是一种使用非常广泛的校正方法，在均匀设计中就要用到。2第二页，共三十一页，编辑于2023年，星期五对于一个多因素（X1、X2、…Xn）的试验，试验响应指标为Y，如果Y与各因素之间为线性关系，则有：

（11）

这里，b0为常数项，b1、…bn称为多元线性回归的偏回归系数。和一元线性回归方法类似，用最小二乘法来确定建立模型的系数，从而可以建立起Y对Xi的线性回归方程。

3第三页，共三十一页，编辑于2023年，星期五当Xi取不同水平（如m个水平）时，经过试验可以得到不同的响应指标值Yi：

…（12）

注意这里m≥n＋1，想一想为什么？

方程组（12）可以用最小二乘法来确定b0~bn的值。4第四页，共三十一页，编辑于2023年，星期五即：

（13）

同样的，为了得到极小值，对（13）式求导：

…（14）

5第五页，共三十一页，编辑于2023年，星期五方程组（14）可变形为：

…(14)’(14)’称为正规方程组，其方程数目与未知数数目相等。

6第六页，共三十一页，编辑于2023年，星期五方程组(14)’右边的系数矩阵为：

＝XTXm…………而左边为：

＝XTY…7第七页，共三十一页，编辑于2023年，星期五因此(14)’式的矩阵形式就是：

XTY＝XTXB（15）

如果XTX的逆矩阵(XTX)-1存在，则系数矩阵为：

B＝(XTX)-1XTY(16)

如果将（16）式代入（12）式，则有：

Y’＝XB＝X(XTX)-1XTY(17)(17)式表示了实验值Yi与拟和值Yi’的关系，可能很接近，也可能不相符，甚至相差很大。因而也需要对拟和结果进行检验。8第八页，共三十一页，编辑于2023年，星期五对于多元回归分析，通常采用复相关系数r来评价拟和值Yi’和实验值Yi之间的关系。

根据方差分析的思想，将Y的总差方和ssT（total）分解为两部分，一部分是由自变量的变化引起的Y的波动，即回归差方和ssReg（regression）；另一部分是随机误差或其他未知因素引起的波动，即残余差平方和ssRes（residual）。

9第九页，共三十一页，编辑于2023年，星期五（18）

ssT、ssReg、ssRes的自由度分别是m-1,n,和m-n-1。

（19）

r越接近1，说明Y与自变量的相关性越好。

r在回归分析中是非常重要的指标。但是应注意：r不仅是回归方程中自变量个数n的函数，还与观测水平数m有关。当m相对于n不很大时，常有较大的r，特别是当m＝n+1时，即使n个自变量与y不相关，也恒有r=1(Q=0)。因而在实际计算中，要注意m和n的比例问题。

一般认为，m至少为n的5倍。10第十页，共三十一页，编辑于2023年，星期五6．5多元非线性回归

多元非线性回归是另一个很常用的回归方法，其回归原理也和一元非线性回归相似。一般有两种方法：（1）

变量代换法。（2）非线性最小二乘法，它就是采用最小二乘法估计非线性模型中的参数，从而建立非线性回归模型。

一般的，当我们不知道回归模型时，则多元非线性回归可转化成多元多次多项式进行拟合，这是基于泰勒展开的基础。通过这样的转换即可对其进行多元非线性拟合。11第十一页，共三十一页，编辑于2023年，星期五6．6逐步回归分析法介绍（stepwiseregression）

在上一节中讨论了多元回归分析。当我们不知道指标（因变量）和多个因素（自变量）之间的关系模型时，如何进行回归分析？还有，在某些实际问题中可能有这样的情况：参加回归的n个变量x1、x2、…xn中，单独观察，有些因素与因变量y的相关程度很密切，但当综合观察n个因素与y的相关性时，这些因素可能显得不太重要。12第十二页，共三十一页，编辑于2023年，星期五若把这些变量保留，不仅增加计算工作量，而且会增加回归方程的不稳定性，因此希望从n个变量中选出与y最密切、最具代表性的变量来描述y变化的情况。即希望所得回归方程包含一切对y作用显著的因素，不包含对y不显著的变量。原因：这些因素与n个变量中的其他变量之间本来就有相关关系，当做回归时，它们对y的作用被其他因子替代了。这时候就要用到逐步回归分析法。逐步回归分析是在多元回归基础上派生出来的一种算法技巧。13第十三页，共三十一页，编辑于2023年，星期五逐步回归方法的基本思想：对全部的自变量x1,x2,...,xn,按它们对Y贡献的大小进行比较，并通过F检验法，选择偏回归平方和显著的变量进入回归方程，每一步只引入一个变量，同时建立一个偏回归方程。当一个变量被引入后，对原已引入回归方程的变量，逐个检验他们的偏回归平方和。如果由于引入新的变量而使得已进入方程的变量变为不显著时，则及时从偏回归方程中剔除。上面介绍的是“逐步引入”的方法。另外还有“逐步剔除”、“有进有出”等方法。14第十四页，共三十一页，编辑于2023年，星期五自变量x的显著性如何检验？假定在n个自变量中已经建立了x1、x2、…、xL对y的回归方程，对各变量的贡献进行比较，找出最小贡献xj，要检验xj的显著性，则可由xj对y的方差贡献Qj来衡量。通常用Qj与x1、x2、…、xL的整体方差Q之比Qj/Q来量度。采用F检验：F>Fa，说明xj贡献较大，保留；F≤Fa，则剔除xj。15第十五页，共三十一页，编辑于2023年，星期五在引入了两个自变量以后，便开始考虑是否有需要剔除的变量。只有当回归方程中的所有自变量对Y都有显著影响而不需要剔除时，再考虑从未选入方程的自变量中，挑选对Y有显著影响的新的变量进入方程。不论引入还是剔除一个变量都称为一步。这一过程不断被重复，直至无法剔除已引入的变量，也无法再引入新的自变量时，逐步回归过程结束。一般逐步回归分析都需要借助专用软件完成。

16第十六页，共三十一页，编辑于2023年，星期五逐步回归分析逻辑结构图输入基本参数、读入原始数据计算各变量均值、离差矩阵、相关矩阵开始逐步计算是否为前三步？是否引入处理剔除处理是否剔除？是否是否引入？否结束处理，打印计算结果对相关阵进行变换是否有待预报样品？否结束预报计算是17第十七页，共三十一页，编辑于2023年，星期五多元线性回归举例。例14.已知水泥在凝固过程中放出的热量y(J/g)与以下四种成分的含量有关：x1:3CaO·SiO2;x2:2CaO·SiO2;x3:3CaO·Al2O3;x4:4CaO·Al2O3·Fe2O3;原始数据如下表：具体处理见EXCEL表。18第十八页，共三十一页，编辑于2023年，星期五试验号mx1x2x3x4y(J/g)172666078.52129155274.331156820104.34113184787.6575263395.961155922105.27371176102.78131224472.59254182293.1102147426115.911140233483.8121160912113.3131068812109.419第十九页，共三十一页，编辑于2023年，星期五6．7回归分析法常用软件介绍

1.EXCEL2.Origin3.SPSS5.MatLab4.Dab/20第二十页，共三十一页，编辑于2023年，星期五21第二十一页，共三十一页，编辑于2023年，星期五22第二十二页，共三十一页，编辑于2023年，星期五23第二十三页，共三十一页，编辑于2023年，星期五24第二十四页，共三十一页，编辑于2023年，星期五25第二十五页，共三十一页，编辑于2023年，星期五26第二十六页，共三十一页，编辑于2023年，星期五27第二十七页，共三十一页，编辑于2023年，星期五28第二十八页，共三十一页，编辑于2023年，星期五SPSS(StatisticalPackagefortheSocialScience)社会科学应用软件包是世界上著名的统计分析软件之一。它和SAS（StatisticalAnalysisSystem，统计分析系统）、BMDP（BiomedicalPrograms，生物医学程序）并称为国际上最有影响的三大统计软件。Dab/浙江大学，唐启义29第二十九页，共三十一页，编辑于2023年，星期五MatLab

Matlab是一种广泛应用于工程计算及数值分析领域的新型高级语言。自1984年推向市场以来，历经二十多年的发展与竞争，现已成为国际公认的最优秀的工程应用开发环境。

在欧美各高等院校，Matlab已经成为线性代数、数值分析、数理统计、自动控制理论、数字信号处理、时间序列分析、动态系统仿