第30章偏最小二乘回归

1、第三十章 偏最小二乘回归在实际问题中，经常遇到需要研究两组多重相关变量间的相互依赖关系，并研究用 一组变量常称为自变量或预测变量去预测另一组变量常称为因变量或响应变量， 除了最小二乘准那么下的经典多元线性回归分析MLR ，提取自变量组主成分的主成分回归分析PCR等方法外，还有近年开展起来的偏最小二乘PLS回归方法。偏最小二乘回归提供一种多对多线性回归建模的方法，特别当两组变量的个数很 多，且都存在多重相关性，而观测数据的数量样本量又较少时，用偏最小二乘回归 建立的模型具有传统的经典回归分析等方法所没有的优点。偏最小二乘回归分析在建模过程中集中了主成分分析，典型相关分析和线性回归分 析方法的特点

2、，因此在分析结果中，除了可以提供一个更为合理的回归模型外，还可以 同时完成一些类似于主成分分析和典型相关分析的研究内容，提供更丰富、深入的一些 信息。本章介绍偏最小二乘回归分析的建模方法；通过例子从预测角度对所建立的回归模 型进行比拟。§ 1偏最小二乘回归考虑p个变量yi, y2," , yp与m个自变量xi, X2, " , xm的建模问题。偏最小二乘回归的根本作法是首先在自变量集中提出第一成分titi是xi,", xm的线性组合，且尽可能多地提取原自变量集中的变异信息；同时在因变量集中也提取第一成分ui,并要求ti与ui相关程度到达最大。然后建立因变

3、量yi," , yp与ti的回归，如果回归方程已到达满意的精度，那么算法中止。否那么继续第二对成分的提取，直到能到达满意的精度为止。假设最终对自变量集提取r个成分ti,t2, " ,tr，偏最小二乘回归将通过建立yi," , yp与ti,t2," ,tr的回归式，然后再表示为yi," , yp与原自变量的回归方程式，即偏最小二乘回归方程式。为了方便起见，不妨假定p个因变量yi, " , yp与m个自变量xi, " , xm均为标准化变量。因变量组和自变量组的n次标准化观测数据阵分别记为yii"yipxii"

4、;ximFo # ，Eo #ffym"ynpxni"xm偏最小二乘回归分析建模的具体步骤如下:-53i-(1)分别提取两变量组的第一对成分，并使之相关性达最大。假设从两组变量分别提出第一对成分为tl和U1，tl是自变量集X (X1, " , Xm)的线性组合：t1wx1"w1mxmw仃Xui是因变量集Y(yi,",yp)T的线性组11合：U1 vny1 "V1pyp V1tY 。为了回归分析的需要，要求： t1和U1各自尽可能多地提取所在变量组的变异信息； 廿和w的相关程度到达最大。由两组变量集的标准化观测数据阵E。和F。，可以计算第

5、一对成分的得分向量，记为 t?和 u? Eow1u? Fov1X11"X1mW11t 11#Xn1"X丽twn1yn"y1p#v 1m#u1111yn1"ynpUn1v第一对成分t1和U1的协方差Cov(t1，up)可用第一对成分的得分向量 来计算。故而以上两个要求可化为数学上的条件极值问题：匕和?11的内积?t1 ,?1Eow1 ,YoV1w仃 EotFoX1maxw：w W1 | | 2 1, v1 V1 v1 21|1利用Lagrange乘数法，问题化为求单位向量W1和V1,使1W1TE0TF0W 最大。问题的求解只须通过计算m m矩阵MEotFo

6、Fj 0E特征值和特征向量，且M的最大特征值为12,相应的单位特征向量就是所求的解W1，而V1可由W1计算得到 V11 F0TEoW1(2)建立 y1, " , yp对t1的回归及X1, " , Xm对打的回归。假定回归模型为Eo t?仃 EiFo u?1 仃 Fi其中1( 11, " , 1m)T ,1( 11, " , 1p)T分别是多对一的回归模型中的参数向量，Ei和F1是残差阵。回归系数向量1,啲最小二乘估计为1 eT t?屮 21 Fo叫?称1, 1为模型效应负荷量。1(3)用残差阵 巳和F1代替Eo和Fo重复以上步骤。记E?>t?n，F

7、?)t? t，那么残差阵E1EoE?，F1FoF?。如果残差阵F1中元素的绝对值近似为0,那么认为用第一个成分建立的回归式精度已满足需要了，可以停止抽取成分。否那么用残差阵E1和F1代替Eo和F。重复以上步骤即得：分别为第二对成分的权数。而TW2(W21, " ,W2m) ； V2 (V21," ,V2 p) Tt? E1w2，u学F1v2为第二对成分的得分向量。E1Tt?>2，2畀？分别为I?X，丫的第二对成分的负荷量。这时有Fo t?1 1 T t2 2T F2(4设n m数据阵Eo的秩为r min(n 1,m)，那么存在r个成分打虺"，tr，使得Eo t? 1T " t?