PLS的基本性质扩展与改进策略：以战略管理实证数据为例

1、PLS 的基本性质扩展与改进策略： 以战略管 理实证数据为例作者：王希泉 周海炜 谢小韦论文 关键词：偏最小二乘回归 管理 优势 劣势 论文摘要：偏最小二乘回归应用价值广泛，在战略管理 研究中，尤其是以 企业 样本为主要分析单位时，偏最小二 乘回归良好的数学性质，如交叉有效性原则、对样本量需求 小和多重共线性的诊断等优势发挥的非常明显。同时偏最小 二乘回归在组织与管理研究中也存在较明显的不足，针对不 足运用一个战略管理领域企业实地调研的实例对偏最小二 乘回归的劣势进行否证式的说明与论证。偏最小二乘回归是一种先进的多元统计分析方法，主要 应用于建立多因变量的统计关系。在回归分析中，当自变量 与因

2、变量的个数都很多，并且在自变量以及因变量之间都存 在较严重的多重共线时，如果采取一般的多元回归方法，其 分析的可靠性极低， 而采取偏最小二乘 (PLS)回归分析的建模 方法，可以很好的解决这个问题。1.主成分回归和偏最小二乘回归法的基本思想： 主成分回归基本思想：观察 n 个样本点，得到因变量 y 和 p 个自变量 关系，设自变量 = ( ) 间的相关数矩阵记为R。主成分回归方法完全撇开因变量 y ，单独考虑对自变量 集合做主成分提取。其过程是 :1) 求 R 的前 m 个非零特征值 ，以及相应的特征向 量；) 求 m 个主成分 :偏最小二乘回归的基本思想： 首先在自变量集中提取 第一潜因子

3、与其同阶的反应变量空间的残差向量 直交，即 给定任意 ，均有扩展性质 2 解释变量空间的潜变量向量 与其同阶及以 后的反应变量空间的残差向量 直交，即给定任意 ，且 不 小于 ,均有证明：由扩展性质 1 知， ，当 时，有扩展性质 3 在第 步计算得到的回归系数向量 与其对 应的轴 之间有在相关 文献 的基础上，根据偏最小二乘回归基本理 论，扩展了部分性质， 并给出了详细的证明过程， 性质表明， 与其它常见的多元统计分析方法相比，显示出该方法的独特 之处。战略管理企业调研实例的检验：基于主成份回归与 PLS 回归法的比较本次调查历时 6 个月，调查方式以访问、 E-mail 、传真 等方式进行

4、，为保证问卷回收率访问调查被大量采用，共发 出问卷 200 余份，回收 146 份，回收率为 %。大部分接受问 卷企业对各项能力要素都比较看重。其中均值在以上的二项 要素：产品测试方面的专业水平、严格的质量管理，反映了 大部分企业还是认同技术能力的高低对一个产品的最终影 响。s图 SEQ 图 * ARABIC 1 企业能力各要素的现实表现 直方图通过聚类分析，将 18 个企业能力要素聚类为 5 大类。 在此基础上运用进行回归分析。战略管理的实证研究一般运用传统的因果模型为主，例 如主成份分析法，我们运用战略管理研究方面企业核心能力 实地调研的真实数据，运用主成份法进行回归分析。由可以 得出删去

5、第三个主成分 (PCOMIT= 1)后的主成分回归方程 (其中 OBS 为 3 的那一行 )为 Y=+ 0. 1197x1+ 0. 1880x2+ +0. 0539x4+ 0. 1082x5 数据主成分回归的结果见图 2。这个主成分回归方程中回归系数的符号都是有意义的 各个回归系数的方差膨胀因子均小于(见中 OBS为 2的那一行);主成分回归方程的均方根误差 (RMSE=) 。图 SEQ 图 * ARABIC 基于主成份法分析战略管理实例的介绍了 PLS 回归建模方法对于算法中， 给出了一个具体 例子, 计算 出了，PLS 回归较好地克服了各指标间的多重共 线性问题 ,通过此方法求得指数更准确

6、、合理。最后，使用 SAS 软件中的 PLS 过程完成偏最小二乘回归分析， 输出结果 见图图 SEQ 图 * ARABIC 基于最小二乘回归法的江苏 企业 能力要素与企业自评满意度关系上图的第一部分给出抽取潜在变量的个数及相应的用 于度量拟合效果的预测残差平方和(PRESS)的均方根值 , 并指出在 L = 1 时预测残差平方和的均方根达最小。输出的第 二部 分给出第一、二个潜在变量所解释的变差的百分数(包括自变量和因变量两方面 ) ; 输出的第三部分给出所拟合的模型的信息。其中 OBS 为 2 和的行给出自变量和因变量的均值和 标准差 ; OBS 为 6 的行给出抽取二个潜在因子时的偏最小二

7、 乘估计 ,由估计值可以写出标准化回归方程为（Y 和 x z 表示 Y 和 x 的标准化变量 ）Y= 0. 1150x1+ 0. 1594x2+ +0. 11970 x4+ 0. 1294x5 以上偏最小二乘回归方程中回归系数的符号都是有意 义的。偏最小二乘回归的均方根误差 （需根据原始变量方程算 出）比普通最小二乘回归的均方根误差（ RMSE= ）有所增大 ,但增加不多。且比主成分回归方程的均方根误差为也有所增 大。偏最小二乘回归对研究很多因变量及很多自变量的相 依关系时更能显示其特点 , 此例变量个数少 , 故没能看出太 多的优点。由实例看出，对于这组数据的处理，主成分回归与偏最 小二乘回

8、归的计算结果相比， PLS 的计算结果更为可靠。且 PLS 可处理小样本， 30-100 家企业数据的优势使 PLS 在战略 管理实证中的优势得以充分发挥。.偏最小二乘回归的改进策略及推导在多元线性回归分析中 ,如果出现多重共线性的情况 ,用 偏最小二乘回归分析解决这个问题有很大的优势 . 然而 , 偏 最小二乘回归也有它的弱点 ,比如 ,它对影响点是非稳健的 ,一 个或几个影响点的存在 ,可以严重改变回归的结果 .其次 , 偏 最小二乘回归的选成份的过程也存在缺点。偏最小二乘回归的基本的原理是按降序和交叉有效性 原则，顺次选择使 和 的协方差 尽量大的成分 。从前面提 供的偏最小二乘回归的计

9、算过程可以看到，对于一个数据集 来讲，成分实际上就是解释矩阵 的列的线性组合，而回归 就是建立在这些成分之上的。在偏最小二乘回归中，提取成分 的基本思路是使协方 差 最大。在很多情形下，这样提取的因子 可以保证对因 变量的解释能力最强，同时对自变量集合又有最佳综合能 力。根据协方差的计算公式 ,最理想的情况是因为选出成份 与因变量的相关系数 （与响应变量具有较高的相关性 ）和方差 （所选的成份既含有解释矩阵中较多的信息 ） 都最大而使协方差达到最大 .在很多情况下 ,两者兼顾是可以做到的 .但是 , 在某些情况下 ,尽管相关系数比较小 ,但由于方差非常大 ,还是 能得到相当大的协方差 . 相关

10、系数比较小 ,回归的结果一般 不会令人满意 .这种情况下 ,不适宜直接使用偏最小二乘法 .这 一现象主要是由于解释矩阵中含有大量与响应变量无关的 信息造成的 .这些与相应变量无关的信息被提取成具有大方 差和小相关系数的成份 ,从而使得入选成份虽然具有较大的协方差 ,但是仍然对响应变量缺乏解释能力为了说明这个问题，给出一个模拟的例子，具体如下： 考虑模型由于前面提到的偏最小二乘的弱点，得到 3 个估计都接 近于 0。如果偏最小二乘是有效的，那么估计的、 、 的3 个系数应该是我们提出了一种改进的偏最小二乘回归。针对这样的情 况，提出的解决办法是用投影的办法把解释矩阵中与响应变 量无关的成分扣除出

11、去，经过这样处理的解释矩阵便不存在 含有大量与响应变量无关的信息的问题，也就适合使用偏最 小二乘法来处理。具体的过程如下：假定 为单位向量， ，能使 的方差达到最大的向量是 矩阵 的最大特征值对应的特征向量。因此寻找那些具有大 方差且与响应变量 线性无关的信息就等价于寻找矩阵 的 具有较大特征值的标准特征向量，剩下所要做的就是将解释 矩阵 投影到这些标准特征向量所张成的空间的正交补空间 中去。投影后得到的矩阵就是扣除了那些与 无关的信息的 解释矩阵，再对响应向量 做回归的时候就可以用偏最小二乘的方法参考 文献 ：1 任若恩 王惠文 . 多元统计数据分析 -理论、方法、实 例M. 北京: 国防 工业 出版社 ; 19972 Wu Lou, .Second-order approach to loca