结构方程模型的约束最小二乘解与确定性算法

1、结构方程模型的约束最小二乘解与确定性算法1)摘 要研究了结构方程模型(SEM)的约束最小二乘解（CLS），从分析SEM的观测方程组入手，发现了这个不定方程组的结构变量与观测变量必须满足的最小二乘关系，在对结构变量有固定模长参数约束的条件下，求出它的一组模长约束最小二乘解（MCLS）。MCLS 可以作为求解结构方程组的偏最小二乘（PLS）迭代初值。在求得MCLS以后，在观测方程组中改变模长，使得每个结构变量所对应的与观测变量的路径系数满足配方条件，是更为合理的约束，它可以保证结构变量与所辖的观测变量同质。尽管观测方程组是不定方程组，但是根据误差平方和最小以及对路径系数的配方约束，使得MCLS求解

2、为合理的确定性算法。然后再对结构方程组直接求解，也是确定性算法，这就解决了结构方程模型求解的唯一性问题。关键词：结构方程模型，约束最小二乘解，配方条件，确定性算法MR(2000)主题分类：62H12, 62J05THE CONSTRAINT LEST SQUARE SOLUTION AND DEFINITE ALGORITHM IN STRUCTURAL EQUATION MODELAbstractthe constraint least square solution in structural equation model (SEM) has been studied. By analys

3、is of the observation equations in SEM, the least square relationship between each structural variable and its observation variables is find. Adding a constraint with modular length to the structural variables, the modular constraint least square solution (MCLS) for observation equations is obtained

4、. This MCLS can be used as the initial value in PLS iterative process to improve its convergence. Furthermore it is reasonable to change the modular lengths of observation variables so that the path coefficients between the structure variable and its observation variables satisfy prescription condit

5、ions. This prescription conditions can guarantee the homogeneity of a structure variable with its observation variables. This algorithm is a determinate algorithm with the least square of errors and prescription conditions for the path coefficients, although the SEM is an indeterminate equations. Ke

6、ywords: Structural equation models, Constraint least square solution, Prescription conditions, Definite algorithm.2000 Mathematics Subject Classification：62H12, 62J051) 国家自然科学基金资助项目（30570611, 60773210）.1. 结构方程模型结构方程模型（SEM）是应用统计领域近来发展迅速的一个分支，广泛应用于心理学、社会学等领域，尤其是顾客满意指数（CSI）分析模型(12)。由于ISO9000系列标准和卓越绩效国家

7、标准要求顾客满意指数分析，SEM的计算就显得非常重要。SEM包括两个方程组，一个是结构变量之间的关系方程组，称为结构方程组，一个是结构变量与观测变量之间的关系方程组，称为观测方程组。图1是中国顾客满意指数模型，是一个典型的结构方程模型。它含有6个结构变量（隐含变量）、，11个关系（自变量作用的关系为，如虚线箭头所示；因变量作用的关系为，如水平的实线箭头所示）。每个结构变量带有若干个观测变量（如图所示的若干问题，它们是顾客满意度调查问卷中的实际问题）。预期质量 品牌形象 感知价值 顾客满意度 顾客忠诚 感知质量 调查问卷的5个问题x11,x15调查问卷的4个问题y11,y14调查问卷的3个问题y

8、21,y23调查问卷的5个问题y31,y35调查问卷的4个问题y41,y44调查问卷的3个问题y51,y53图1. 中国顾客满意度模型结构方程模型也可以视为二级指标汇总问题。图1中的结构变量、是一级指标，它们是虚拟的，没有直接的观测值。观测变量是二级指标，是有实际观测值的。在顾客满意度调查问卷中，这些观测值是顾客对于调查问题的满意程度，一般取值110。设一共有个观测变量，对每一个观测变量有个观测，在顾客满意指数分析中就是有个顾客的测评，这样我们手里的数据是一个矩阵。对于结构变量之间的关系我们可以得到如下结构方程组： （1）结构变量与观测变量之间的关系也可以用方程表示出来。设结构方程模型有个结构

9、自变量和个结构因变量，与结构变量中的自变量对应的观测变量为，这里是与第个结构自变量相联系的观测变量个数，图1的观测变量而。与结构变量中的因变量对应的观测变量为，这里为与第个结构因变量相联系的观测变量个数，图1中而。则从观测变量到结构变量的观测方程可以表达为： ， (2) ， (3)其中是从观测变量到结构变量的汇总系数，是随机误差项。根据路径分析的思想，我们也可以认为观测变量的变化是来源于它所对应的结构变量，于是从结构变量到观测变量的观测方程组还可以表达为： ， (4) , (5)其中、是从结构变量到观测变量的载荷系数，带下标的还是误差项。我们可以把（1）（2）（3）称为带有正向观测的结构方程模

10、型，而把（1）（4）（5）称为带有逆向观测的结构方程模型。在一般情形，结构自变量不一定只有1个，结构因变量也不一定是5个，结构方程系数形式除了要求对角线是0外也可以不同于（1）。我们采用向量与矩阵记法一般描述结构方程模型。记，设的系数矩阵为阶方阵记为，的系数矩阵为阶矩阵记为，残差向量为，则结构方程组（1）可以一般表示为： (6)记观测向量，,再记系数，则方程组（6）（2）（3）合并为 (7)则我们称为带有正向观测的结构方程模型。记，则观测方程组（4）可以表示为：， (8)（5）可以表示为：， (9)方程组（6）（8）（9）合并为 (10)则我们称为带有逆向观测的结构方程模型。2. 协方差拟合算

11、法与偏最小二乘算法求解结构方程模型，目前已有的方法主要有两个，协方差拟合算法与偏最小二乘算法。这一节我们简要叙述这两种算法。为了叙述简便，我们采用矩阵记法。在（8）中令，；在（9）中令，其中是单位方阵，则（8）（9）可以表为： (11) (12)协方差拟合（Linear Structure RELationship，LISREL)算法是从出发，将样本协方差阵与模型协方差阵进行拟合。为了简单表达模型协方差阵，我们对变量和残差有均值假定：，还有相关假定：，这里的0是零向量或者零矩阵。同时我们简记协方差阵：，则模型协方差阵为 (13)由于和假设，故。由结构方程(6)有，令，则。于是计算出，以及 。将

12、这些结果代入（13）式就可以得到模型协方差阵的表达式，其中含有模型中未知而待估的各个参数。样本协方差阵可以根据观测样本矩阵计算出来，然后采用拟合函数，例如，是一适当的矩阵，使拟合函数达到最小值，从而计算出各个参数的估计。PLS方法是从出发，先在（2）（3）给任意初值，于是可以根据已知的观测变量的值，利用公式（2）（3）求出结构变量的值。结构方程的变量有了数值，就可以对结构方程组（6）求最小二乘解，于是有了系数的估计值，进而有了变量的估计值。结构变量与观测变量都有了数值，就可以对方程组（2）（3）求解，此时的就有了估计值，而不再是任给的初值。有了估计值，就可以回到迭代起点，开始新一轮迭代。迭代收

13、敛控制可以选取迭代过程中所有对应元素的差值小于指定的误差精度。上述迭代过程可以表示为：这里表示外生估计值，即由观测方程组得到的估计值，而表示内生估计值，即由结构方程组得到的估计值。 这两个算法都存在计算的收敛性、收敛速度和解的唯一性问题。本文着力解决这方面的问题，找到了模型的确定性算法，下面分段叙述。3. 基于向量模长约束的最小二乘解我们仔细分析结构方程模型的观测方程组，可以发现这个不定方程组的结构变量与观测变量必须满足的最小二乘关系。在对结构变量模长约束的条件下，我们可以求出它的最小二乘解，不必迭代，进而求出SEM模型的解。先叙述观测方程组解的一些基本性质。性质1. 结构方程模型或者的解并不

14、唯一，可以相差一个非零常数倍。显然，若是结构方程模型的一组解，则也是一组解，这里是任一非零常数。因此我们可以在、为单位向量的条件下求解。性质2. 结构方程模型存在当然0解，但是并不存在当然0解。这是因为观测变量有实际观测值，一般是非零的。性质3. 结构方程模型或者的解在最小二乘意义和一定系数约束条件下（，）等价。这个性质可以从观测方程组的变量替换得出结论，因此的最小二乘解也是的最小二乘解。已往的PLS算法是利用进行的，但是我们推导基于单位向量约束的最小二乘解时将和LISREL算法一样，利用。考虑带逆向观测的观测方程组，以（5）为例。在（5）中实际有个方程组，每个方程组中又包含个方程：， (14

15、)注意到一个变量要同时满足个线性关系，实际上是矛盾方程组。对于矛盾方程组自然想到应该找最小二乘关系，采用最小二乘解。考虑结构向量，它是一个维向量，其第个分量应该同时满足与个向量的第个分量的线性关系，写出来就是：， (15)写成向量形式就是 ， (16)它是观测向量的横切向量之间的关系。在（16）两边左乘前的转置向量，不计误差项得，这里。参照标准的多元线性回归模型，这里的因变量是，自变量是，。现在因变量是未知的，不能马上求解。由于性质1，我们可以假定因变量的模长为1，就可以求解了。下面我们采用更简捷的推导形式。对于（9），设观测变量各有个观测，则为的矩阵。作乘积，如果取结构变量为单位向量，即，则

16、有。这是两个的矩阵在最小二乘意义下的近似相等，写详细一些就是： (17)注意左边的元素是两个向量相乘得到的数，右边的元素是数与数相乘得到的数。取对角线的元素相等，即得：， (18)对于自变量也有类似结果。这样我们得到了观测变量与结构变量之间的系数的最小二乘意义下的解，即得到向量的估计值。我们再来估计结构变量。已设，我们要逐个估计它的分量。在(16)中根据最小二乘原理，我们又有了的最小二乘估计： (19)， (20)这里的是已经估计出来的值。类似我们可以估计出与。这样我们得到了全部结构变量的估计值，它是在模长约束下的最小二乘解（MCLS），满足 (21)其几何意义是求一个单位球面与一个超平面的距

17、离。总结上述推导，我们有关于MCLS的算法1。算法1. 基于结构向量模长约束的SEM最小二乘解MCLS。步骤1. 在模型中，假定结构向量都为单位向量，计算观测变量与对应结构变量之间系数的最小二乘估计: ， (22)， (23)步骤2. 在模型中，利用步骤1得到的系数估计值，计算结构变量的最小二乘估计: ,， (24)这里是观测向量的横切向量：，。步骤3. 利用步骤2得到的结构变量估计值，在（2）（3）中按照普通线性回归计算汇总系数。步骤4. 在结构方程组（6）中，利用步骤2得到的结构变量估计值，计算系数矩阵的估计值。注意（6）是一个普通的线性回归方程组，可以按照二阶段最小二乘方法求出它的解。4

18、. MCLS无偏性的改进上一节的近似等式（17）实际上忽略了残差项的方差，因此估计的无偏性存在缺陷，需要改进。我们继续考虑（3）或（9）式，如果假定结构变量与残差变量彼此独立， ，则由（9）可得： (25)是对角矩阵，记为 (26)于是（17）的矩阵对角线成为， (27)我们需要先估计出。按照因子分析的方法，令，则，设矩阵的对角线元素为，则可以取估计， (28)有了估计，我们可以轻松地在（27）中计算出的估计，而不必像因子分析那样去计算正交变换来估计整个矩阵。总结上述推导，我们有关于MCLS的算法2。算法2. 对算法1的步骤1的改进。步骤 . 在模型中，假定结构向量都为单位向量，计算观测变量与

19、对应结构变量之间系数的最小二乘估计: ， (29)， (30)其中，而与分别是矩阵与的对角线元素，这里，。 由于这里的假设较多，取舍较多，所以我们并不能说完全获得了无偏估计，而只是说改进了估计的无偏性。5. 配方约束的确定性算法第三节我们在对结构变量模长单位向量的约束下，得到模长约束下的最小二乘解MCLS。在结构方程（1）或者（6）中，如果每个结构变量都乘以同一个倍数，根据第三节性质1，它的系数解是相同的。从这一点看，结构方程的解不在乎结构变量的模长。但是人为规定每个结构变量的模长都是1，却缺乏理论和实践依据。如果可能存在的最优解集里每个结构变量的模长并不相等，那么MCLS就不好了。我们需要进

20、一步探索。一个合理的办法是令每个结构变量带上待定的模长参数，参加结构方程（1）或者（6）求解。这个解的误差平方和含有个模长参数。改变这些模长参数使得误差平方和最小是合理的，这样得到的每个结构变量模长也就是合理的。这个多元变量的极值问题虽然比漫无目标的偏最小二乘迭代好像要确定一些，但是熟悉多元变量极值求解问题的都知道，实际求解过程和结果都还比较复杂，而且免不了还是迭代，甚至是非线性迭代。另一条探索途径是寻找更为合理的约束来取代模长约束。我们考虑在求得MCLS以后，在观测方程组中改变模长，使得每个结构变量所对应的与观测变量的路径系数满足配方条件。在方程（2）（3）中，配方条件就是 , ， (31)

21、, ， (32)这个配方条件的计算分两种情况。如果开始时MCLS的相应路径系数都非负，那么很简单，只需要在方程（2）（3）中两边同时除以一个倍数即可，这个倍数应该是MCLS的相应路径系数之和。例如在方程（2）中如果对应第个结构变量的系数之和为，则在（2）中两边同时除以常数。这样新的汇总系数满足，而结构变量模长变为。如果开始时MCLS的相应路径系数有负数，我们并不能完全照搬1213中的方法，因为这里的回归因变量还不是完全已知的。我们现在知道回归因变量的方向，但是模长待定。根据12中的定理，初始回归系数有负数的，其配方回归系数应该为0。因此我们可以先对采用算法1，求得MCLS，此时的因变量模长为1

22、。求得初始回归系数如果有为非正数的，则在配方回归中去掉该自变量，即认定对应的配方回归系数为0。再在方程（2）（3）中两边同时除以一个倍数，这个倍数应该是MCLS的相应非负路径系数之和，如同上段讨论的那样。这样的配方约束还可以继续改进，因为如果初始回归系数有为非正数的，就会把一些观测变量去掉了。为了避免这种情况，我们可以将配方条件改为 和，这里是大于0的某一正数。如果初始回归系数有小于的，一律改为，并且将对应的自变量乘以移到方程左边，再作一次普通回归。对新的回归系数作配方调整时，其倍数应该是1减去移到左边的之和。最后再将移到左边的自变量移回到方程右边。这样的调整既保证了右边回归系数之和为1，也保

23、证了系数不改变。总结上述分析，我们有关于MCLS的算法3。算法3. 对算法1的步骤3的改进。步骤 .利用步骤2得到结构变量估计值以后，在（2）（3）中采用配方回归计算汇总系数，并重新计算的估计值。1）直接利用算法1的步骤2得到的，在（2）（3）中用普通回归计算。2）对任一，如果对一切有，（），而，则 在（2）两边同时除以。同样的，对任一，如果对一切有，（），而，则在（3）两边同时除以。对所有的检查完毕后转算法1的步骤4。3）对任一，如果有某一有或者，（），则令该项固定，即或者。对所有的检查完毕后转步骤1）到2）。注意一个多元线性回归过程中，如果方程右边的某一自变量的系数已经被固定，则应将其移项

24、到方程左边，与因变量合并，再作回归。回归以后，再将该项移项到方程右边。6. 总结与算例本文主要报告了我们的两项工作。一个是在结构方程模型的带逆向观测的观测方程组中发现了结构变量与观测变量之间的最小二乘关系，在对结构变量的单位长度约束下，求出了结构变量和载荷系数的最小二乘解MCLS。这个MCLS既可以作为普通偏最小二乘算法PLS的迭代初值，改善PLS的收敛性，又为SEM的确定性算法奠定了基础。另一项工作是在带正向观测的观测方程组中，采用配方回归，基于MCLS而改变它的模长，从而实现了结构方程模型的确定性算法。配方约束是合理的约束，它可以保证结构变量与所辖的观测变量同质。这里同质的含义是取值范围相

25、同，并且基本变化相同。例如许多顾客满意度的观测变量范围是取值1到10分，那么配方约束产生的结构变量也是1到10分；观测变量的分值较高，则结构变量的分值也较高；如果所有的观测变量都相同，那么相应的结构变量也应该和它们相同。作为一个算例，我们看第一节的中国顾客满意度模型。观测样本个数（观测数据行数） 我们从简取为N= 10；每个结构变量所带的观测变量个数已经设定分别为5，4，3，5，4，3，所以样本列数为24；结构变量的个数为 6，其中自变量个数为 1, 因变量个数为 5。输入这些参数以及原始观测数据，就可以开始计算了。原始观测数据如下：927552977945899579494769859647

26、973973679439776968347533425999955395399954395599778297867798334568483455322689559759682272939497932386274452686962942635592236266835429942942892943285458962793855687596487799835594684787877985597577298952592535打印结构方程计算结果，左边5×5是矩阵，右边一列是矩阵：0.0000000.0000000.0000000.0000000.0000000.7963700.2245750

27、.0000000.0000000.0000000.0000000.9355170.0791100.1827380.0000000.0000000.0000000.752740-0.1936050.1937110.4484000.0000000.0000000.3097310.0000000.0000000.0000001.0351550.0000000.000000打印结构变量的估计值，第一列是自变量的，其余各列是因变量的。0.2751290.7001850.4999040.5162840.4032950.6020770.5317820.3175850.3003850.4105960.6990

28、120.6013850.3898920.4871360.9000000.3319690.3098850.4993080.8360390.7956500.7001920.7054480.3009880.6013850.7559900.2000930.8999040.6895830.5973640.6965390.3652200.2049060.6001920.3903620.6013180.5972310.4520640.2300780.5997120.7682700.4036240.3986160.4540520.3048140.5002880.8737780.6973640.5000000.

29、7786570.7039790.9000000.5159250.5993410.7993080.7111020.7083290.7000000.8637210.4996710.301384如果我们不采用本文的基于配方回归约束的确定性算法，那么结构变量的估计值就可能出现负数，显然是不合理的。我们的计算程序有多种模型选择和多种参数选择，也有更为丰富的输出结果，这里不再赘述。它已经收入了我们的软件DASC，可以在“计算园地”网站下载。参 考 文 献1 Claes Fornel, Michael D. Johnson, et al. The American customer satisfaction

30、 index: nature, popurse, and findings. Journal of Marketing, 1996, 60:7-182 国家质检总局质量管理司，清华大学中国企业研究中心.中国顾客满意指数指南. 北京：中国标准出版社，20033 Iñón, F.A., Llario, R. et al. Development of a PLS based method for determination of the quality of beers by use of NIR: spectral ranges and sample-introduction

31、 considerations. Analytical and Bioanalytical Chemistry, Springer Berlin Heidelberg, 2005, 382(7): 1549-1561. 4 M. Tenenhaus, V.E. Vinzi, Y.M. Chatelin, C. Lauro. PLS path modeling. Computational Statistics and Data Analysis, 2005, 48: 1592055 V. Stan, G. Saporta. Customer satisfaction and PLS structural equation modeling. An Application to Automobile Ma