PLS的基本性质扩展与改进策略：以战略管理实证数据为例

1、    PLS的基本性质扩展与改进策略：以战略管理实证数据为例            作者：王希泉 周海炜 谢小韦时间：2009-9-22 10:05:00                     论文关键词：偏最小二乘回归 管理 优势 劣

2、势论文摘要：偏最小二乘回归（PLS）应用价值广泛，在战略管理研究中，尤其是以企业样本为主要分析单位时，偏最小二乘回归良好的数学性质，如交叉有效性原则、对样本量需求小和多重共线性的诊断等优势发挥的非常明显。同时偏最小二乘回归在组织与管理研究中也存在较明显的不足，针对不足运用一个战略管理领域企业实地调研的实例对偏最小二乘回归的劣势进行否证式的说明与论证。偏最小二乘回归（以下简称PLS）是一种先进的多元统计分析方法，主要应用于建立多因变量的统计关系。在回归分析中，当自变量与因变量的个数都很多，并且在自变量以及因变量之间都存在较严重的多重共线时，如果采取一般的多元回归方法，其分析的可靠性极低，而采取偏

3、最小二乘(PLS)回归分析的建模方法，可以很好的解决这个问题。 1.主成分回归和偏最小二乘回归法的基本思想：主成分回归基本思想：观察n 个样本点，得到因变量y 和p 个自变量 关系，设自变量 = ( ) 间的相关数矩阵记为R。主成分回归方法完全撇开因变量y ，单独考虑对自变量集合做主成分提取。其过程是:1) 求R 的前m 个非零特征值 ，以及相应的特征向量 ；2) 求m 个主成分:   偏最小二乘回归的基本思想： 首先在自变量集中提取第一潜因子 （ 是 的线性组合, 且尽可能多地提取原自变量集中的变异信息, 比如第一主成分)；同时在因变量集中也提取第一潜因子 ,并要求 与 相关程度达

4、最大。然后建立因变量Y 与 的回归，如果回归方程已达到满意的精度, 则算法终止。否则继续第二轮潜在因子的提取, 直到能达到满的精度为止。若最终对自变量集提取 个潜因子 , 偏最小二乘回归将通过建立Y与 的回归式, 然后表示为Y 与原自变量的回归方程式2。2.偏最小二乘回归法的基本性质与扩展1.1偏最小二乘回归的基本性质 性质1  在 、 、 和 之间存在以下循环计算关系：（1） （2） （3） （4） 性质2  解释变量空间的潜变量向量 （即成分）与其同阶的解释变量空间的残差向量 直交，即给定任意 ，均有 性质3   解释潜变量向量 之间是相互直交的，即

5、对于任给的 均有 性质4   解释变量空间的潜变量向量 与其同阶及以后的解释变量空间的残差向量 直交，即给定任意 ，且 不小于 ,均有 性质5  在第 步计算得到的回归系数向量 与其对应的轴 之间有 ，也即 性质6  轴 与其同阶及以后的解释变量空间的残差向量 直交，即给定任意 ，且 不小于 ,均有 1.2偏最小二乘回归的扩展性质及推导 下面，对偏最小二乘回归的部分基本性质进行扩展，给出了详细的证明过程。扩展性质1  解释变量空间的潜变量向量 （即成分）与其同阶的反应变量空间的残差向量 直交，即给定任意 ，均有 证明：   

6、     扩展性质2  解释变量空间的潜变量向量 与其同阶及以后的反应变量空间的残差向量 直交，即给定任意 ，且 不小于 ,均有 证明：由扩展性质1知， ，当 时，有 扩展性质3  在第 步计算得到的回归系数向量 与其对应的轴 之间有 ，也即 证明： 在相关文献的基础上，根据偏最小二乘回归基本理论，扩展了部分性质，并给出了详细的证明过程，性质表明，与其它常见的多元统计分析方法相比，显示出该方法的独特之处。3 战略管理企业调研实例的检验：基于主成份回归与PLS回归法的比较本次调查历时6个月，调查方式以访问、E-mail、传真等方式进行，为保证问卷

7、回收率访问调查被大量采用，共发出问卷200余份，回收146份，回收率为70.2%。大部分接受问卷企业对各项能力要素都比较看重。其中均值在5.5以上的二项要素：产品测试方面的专业水平、严格的质量管理，反映了大部分企业还是认同技术能力的高低对一个产品的最终影响。s 图  SEQ 图 * ARABIC 1  企业能力各要素的现实表现直方图通过聚类分析，将18个企业能力要素聚类为5大类。在此基础上运用SAS9.0进行回归分析。战略管理的实证研究一般运用传统的因果模型为主，例如主成份分析法，我们运用战略管理研究方面企业核心能力实地调研的真实数据，运用主成份法进行回归分析。由可以得出删

8、去第三个主成分 (PCOMIT= 1)后的主成分回归方程 (其中OBS为3的那一行)为Y=1.56437 + 0. 11973 x1+ 0. 18803 x2+ 0. 20956 x3+0. 05397 x4+ 0. 10827 x5数据主成分回归的结果见图2。这个主成分回归方程中回归系数的符号都是有意义的;各个回归系数的方差膨胀因子均小于1.1 (见中OBS为2的那一行);主成分回归方程的均方根误差(RMSE=1.08289)。图  SEQ 图 * ARABIC 2 基于主成份法分析战略管理实例的结果介绍了PLS回归建模方法对于算法中，给出了一个具体例子,计算出了，PLS回归较好地

9、克服了各指标间的多重共线性问题,通过此方法求得指数更准    确、合理。最后，使用SAS软件中的PLS过程完成偏最小二乘回归分析，输出结果见图 2 图  SEQ 图 * ARABIC 3 基于最小二乘回归法的江苏企业能力要素与企业自评满意度关系上图的第一部分给出抽取潜在变量的个数及相应的用于度量拟合效果的预测残差平方和 (PRESS)的均方根值, 并指出在L = 1 时预测残差平方和的均方根达最小。输出的第二部分给出第一、二个潜在变量所解释的变差的百分数 (包括自变量和因变量两方面) ; 输出的第三部分给出所拟合的模型的信息。其中OBS为2和3

10、 的行给出自变量和因变量的均值和标准差; OBS为6的行给出抽取二个潜在因子时的偏最小二乘估计,由估计值可以写出标准化回归方程为 (Y和 x z 表示 Y 和 x 的标准化变量)Y= 0. 11505 x1+ 0. 15942 x2+ 0.13036 x3+0. 11970 x4+ 0. 12946 x5以上偏最小二乘回归方程中回归系数的符号都是有意义的。偏最小二乘回归的均方根误差(需根据原始变量方程算出)比普通最小二乘回归的均方根误差 ( RMSE= 1.07560)有所增大, 但增加不多。且比主成分回归方程的均方根误差为1.08289也有所增大。 偏最小二乘回归对研究很多因变量及很多自变量

11、的相依关系时更能显示其特点, 此例变量个数少, 故没能看出太多的优点。由实例看出，对于这组数据的处理，主成分回归与偏最小二乘回归的计算结果相比，PLS的计算结果更为可靠。且PLS可处理小样本，30-100家企业数据的优势使PLS在战略管理实证中的优势得以充分发挥。4.偏最小二乘回归的改进策略及推导在多元线性回归分析中,如果出现多重共线性的情况,用偏最小二乘回归分析解决这个问题有很大的优势.然而, 偏最小二乘回归也有它的弱点,比如,它对影响点是非稳健的,一个或几个影响点的存在,可以严重改变回归的结果.其次, 偏最小二乘回归的选成份的过程也存在缺点。偏最小二乘回归的基本的原理是按降序和交叉有效性原

12、则，顺次选择使 和 的协方差 尽量大的成分 。从前面提供的偏最小二乘回归的计算过程可以看到，对于一个数据集来讲，成分实际上就是解释矩阵 的列的线性组合，而回归就是建立在这些成分之上的。在偏最小二乘回归中，提取成分 的基本思路是使协方差 最大。在很多情形下，这样提取的因子 可以保证对因变量的解释能力最强，同时对自变量集合又有最佳综合能力。为了说明这个问题，给出一个模拟的例子，具体如下：考虑模型 用这个模型进行样本容量为100的100次模型。同时，还模拟出与 正交的变量 和 ，再用 、 、 构造解释变量 。 ， 且 解释变量 包含了原始的解释信息 ，用模型产生的100个数据集，分别拟合模型 。然后

13、，用这个 来与 做偏最小二乘回归，得到的100组系数 的估计，它们的平均值如下： 由于前面提到的偏最小二乘的弱点，得到3个估计都接近于0。如果偏最小二乘是有效的，那么估计的 、 、 的3个系数应该是 我们提出了一种改进的偏最小二乘回归。针对这样的情况，提出的解决办法是用投影的办法把解释矩阵中与响应变量无关的成分扣除出去，经过这样处理的解释矩阵便不存在含有大量与响应变量无关的信息的问题，也就适合使用偏最小二乘法来处理。具体的过程如下：假设 是一个 的响应向量， 是一个 的解释矩阵，它们都已被标准化。因为 是一个秩为1的 阶对称方阵，所以它有 个特征值为0的正交特征向量，不妨把它们记为 。或者把这

14、 个特征向量作为列向量而组成一个 阶的矩阵 。因为 是特征值为0的特征向量，所以 或者可以写作 。因此 便构成了一组 维空间中的标准正交基。而我们想扣除的是与响应向量 正交的、由解释矩阵 的列组成的（将其表达为 ）的向量，即满足 的向量 。因此可知 属于 的正交补空间，也就是说， 可以用 的列的线性组合来表示，可将其记为 。既然我们想要尽可能多地扣除解释矩阵中与响应变量无关的信息，寻找能使 的方差达到最大方向 就成为主要目标。假定 为单位向量， ，能使 的方差达到最大的向量是矩阵 的最大特征值对应的特征向量。因此寻找那些具有大方差且与响应变量 线性无关的信息就等价于寻找矩阵 的具有较大特征值的标准特征向量，剩下所要做的就是将解释矩阵 投影到这些标准特征向量所张成的空间的正交补空间中    去。投影后得到的矩阵就是扣除了那些与