第三节 顾客满意度模型与路径分析 - 武汉理工大学pa

1、结构方程模型的约束最小二乘解1)童恒庆 邓艳芳 刘天桢武汉理工大学数学系，武汉，430070摘 要本文首先改进了结构方程模型（SEM）的偏最小二乘（PLS）算法，在单位向量约束下找到了最小二乘迭代初值，提高了收敛速度，说明了收敛性；然后我们将这种模型和算法扩展到多层结构方程模型；最后我们研究多个对象的结构方程模型，借助于作者提出的广义凸约束线性模型将这多个SEM统一成一个模型并给出了算法。本文成果都通过了编程计算并收入DASC软件。关键词：结构方程模型，偏最小二乘算法，迭代初值，收敛性，约束解MR(2000)主题分类：62H12, 62J05THE LEST SQUARE SOLUTION I

2、N STRUCTRUAL EQUATION MODELS WITH CONSTRAINTTong Hengqing, Deng Yanfang, Liu TianzhenDepartment of Mathematics, Wuhan University of Technology, Wuhan, 430070AbstractThis paper first improves the partial least square (PLS) algorithm in structural equation models(SEM), and finds a suitable iterative i

3、nitial value with the constraint of unit vector in the meaning of LSE. The algorithm enhances the convergence rate greatly and its convergence is illuminated. Then we build a multi-level structural equation models and find our algorithm is suitable too. At last we build a uniform structural equation

4、 model with many objections using the generalized linear model with convex constraint and give the algorithm of the model. The results of this paper have been received in software DASC.Keywords: Structural equation models, Partial least square, Iterative initial value, Convergence, Constraint soluti

5、on.2000 Mathematics Subject Classification：62H12, 62J051) 国家科技部技术创新基金资助项目（02C26214200218）.国家自然科学基金资助项目（35070611）1. 结构方程模型与偏最小二乘结构方程模型（SEM）是应用统计领域近来发展迅速的一个分支，主要包括因果模式、路径图、偏最小二乘（PLS）算法等。SEM广泛应用于心理学、社会学等领域，尤其是顾客满意指数（CSI）分析模型(Claes Fornel、Michael D. Johnson, et al. 1996)。由于ISO9000系列标准和卓越绩效国家标准要求顾客满意指数分析

6、，SEM的计算就显得非常重要，许多国际知名的软件公司不断推出升级版的SEM应用软件(如LISREL, AOMS, EQS,SEPATH, MPLUS和SAS中CALIS模块等)。关于SEM的算法已有许多进展，包括采用ML算法、EM算法(Liang,et al,2004)等，实际应用中PLS算法仍然是主要的和有效的（Michel et al, 2005）。但是过去都是采用任给的迭代初值，因此不能确保收敛或者收敛速度太慢。关于SEM的研究已经扩展到非线性模型(Lee Sik-Yum Lee, Lu Bin, 2003)和多层模型(Lee Sik-Yum; Zhu Hong-Tu, 200

7、2)，但是还没有文献研究多对象的SEM并将其统一成一个模型。关于SEM研究的最新进展已经有了很好的综述报告（Andrew J，2005）。SEM包括两个方程组，一个是结构变量之间的关系方程组，称为结构方程组；一个是结构变量与观测变量之间的关系方程组，称为观测方程组。在典型的中国顾客满意指数模型里，结构方程组包含6个结构变量（隐含变量）、与11个关系（自变量作用的关系为，因变量之间的作用关系为），如（1）所示。 （1）在一般情形，结构变量不一定是5个，结构方程系数形式除了要求对角线是0且是下三角矩阵以外也可以不同于（1），自变量的个数也可以多于一个。我们采用向量与矩阵记法进行一般描述。设因变量有

8、个，将排成列向量，记为；自变量有个，将排成列向量，记为；的系数矩阵为阶方阵记为，的系数矩阵为阶矩阵记为，残差向量为，则结构方程组（1）可以扩展为： (2)SEM的结构变量是隐含的，不能直接观测，而是对应若干个观测变量。设一共有个观测变量，对每一个观测变量有个观测，在顾客满意指数分析中就是有个顾客的测评，这样我们手里数据是一个矩阵。结构变量与观测变量之间的作用关系也可以用方程表示出来，按作用的因果路径有两种表示方式。设与自变量对应的个观测变量为，与因变量对应的个观测变量为，于是从观测变量到结构变量的观测方程组可以表达为： , (3) ， (4)反之，从结构变量到观测变量的观测方程可以表达为： ，

9、 (5) ， (6)其中、为载荷项。我们将（2）、（3）、（4）合在一起（或者（2）、（5）、（6）合在一起）称为结构方程模型，有时也称为路径分析模型。目前国际通行的路径分析模型求解是采用偏最小二乘（PLS）迭代算法。以顾客满意度模型为例，PLS方法是先在（3）（4）给任意初值，于是可以根据已知的观测变量的值，利用公式（3）（4）求出结构变量的值；结构方程的变量有了数值，就可以对方程组（2）求最小二乘解，于是有了系数的估计值，进而有了变量的估计值。结构变量与观测变量都有了数值，就可以对方程组（3）（4）求解，此时的就有了估计值，而不再是任给的初值。有了估计值，就可以回到迭代起点，开始新一轮迭代

10、。迭代收敛控制可以选取迭代过程中所有对应元素的差值小于指定的误差精度。上述迭代过程可以表示为：文献1给出的计算方法，迭代初值是任给的，一般取（1,0,0,0），没有给出收敛性的证明。文献2介绍他们的PLS迭代，250个样本，18个指标，大约需要迭代45分钟，这对于21世纪的专用计算机来说显然收敛速度太慢。 2. 单位向量约束下结构方程的最小二乘解本文作者发现，在合理的一定约束条件下，结构方程求解可以根据最小二乘原理计算出偏最小二乘迭代初值，数值计算表明迭代过程收敛很快，我们也可以在一定条件下说明迭代的收敛性。先叙述结构方程解的一些基本性质。（1）.方程（2）、（3）、（4）组成的模型的解并不唯

11、一，可以相差一个常数倍，即若是一组解，则也是一组解，这里是任一常数。因此我们可以在为单位向量的条件下求解。（2）.方程（3）、（4）存在当然0解，但是方程（5）（6）并不存在当然0解。（3）方程（4）和（6）在的条件下等价，因而（6）的最小二乘解也就是（4）的最小二乘解。已往的PLS迭代算法是直接利用方程（3）、（4）任给初值进行的，没有利用（5）（6），而我们推导约束条件下的最小二乘解将利用方程（5）或（6）。下面我们推导结构方程模型在单位向量约束条件下的最小二乘迭代初值。将（6）记为，作乘积，如果取结构变量为单位向量，即，则有。这是两个的矩阵在最小二乘意义下的近似相等，写详细一些就是： （

12、7）注意左边的元素是两个向量相乘得到的数，右边的元素是数与数相乘得到的数。取对角线的元素相等，即得：， （8）这样我们得到了观测变量与结构变量之间的系数在最小二乘意义下的估计。我们再来估计结构变量。设，我们要逐个估计它的分量。观察（6）式，对于的第个分量，有， ， （9）写成矩阵形式就是：， （10）记向量，它是矩阵的横截向量。还是根据最小二乘原理，我们又有了的最小二乘解： （11）， （12）这里的是已经估计出来的值。类似我们可以估计出与，这样我们得到了全部结构变量的最小二乘估计值。由本段性质（3），从式（6）获得的最小二乘估计在一定条件下也是式（4）的最小二乘估计，因此它满足 （13）其几

13、何意义是求一个单位球面与一个线性子空间的距离，在向量之间不存在线性相关的条件下，解是唯一的。 要保证这一点，必须要求这个单位球面与这个线性子空间没有公共点。若不然，即（13）左边可以为0，也即（4）存在精确解或者线性关系，代入（6）将得出向量之间存在线性相关的结论。在根据最小二乘原则从观测方程组得到结构变量的最小二乘解以后，回到结构方程组，可以得到路径作用系数和的唯一解。将方程（2）移项得： (14)对于顾客满意指数模型，其路径关系表达的方程中，矩阵总是主对角线为0的下三角矩阵，所以是下三角矩阵，其行列式为1，故可逆。于是有 (15)这里，所以对于给定的和，结构方程的最小二乘解存在。如果矩阵列

14、向量线性无关，这个最小二乘解还是唯一的。上述迭代过程可以表示为： 方程（15）将联立方程模型转化成了普通回归分析模型，有利于我们说明解的存在与唯一性。但是实际计算我们不能采用（15），因为普通回归估计出的，并不一定满足（1）（2）中矩阵和对0元素的要求，即对路径关系的要求。实际计算还是需要根据（1）（2），采用一般联立方程模型的二阶段最小二乘，以改进估计的相合性。上述算法已经收入了DASC软件。我们要说明这里给出的迭代初值是最小二乘意义下最优的。SEM的最后解要满足两个方程组，其中的结构方程组在开始时其变量与系数都是未知的，不可能计算出迭代初值。我们根据观测方程组计算出来的迭代初值在最小二乘意

15、义下已经满足了这个方程组，当然就是最小二乘意义下最优的。当结构方程组根据这个初值计算出系数时，结构方程组也就满足了。那么为什么还要继续PLS迭代呢？那是因为在第一次迭代过程中，还没有体现结构变量之间的相互作用，所以还要继续迭代，直到两个方程组都被满足，特别是结构方程组内部平衡时为止。顺带说明的是，CSI最后计算公式需要改进与研究：文献1的公式缺乏统计稳健性（数据的最大值最小值作为单项参与计算）：， (16)我们建议最终计算公式为： （17）这相当于计算出所有观测变量到顾客满意度变量的影响系数，分清了主从关系。与顾客满意度直接关联的观测变量较亲，它们的影响系数就是；其余变量较疏，它们的影响系数是

16、与的乘积，即它们要先通过影响自己的结构变量，再通过影响顾客满意度；顾客满意度以后的结构变量将不对顾客满意度发生影响。3. 多层结构方程模型及其算法单层结构方程模型其结构变量都是直接与观测变量相联系，实际工作提出需要多层路径分析模型。例如手机质量感知是一个结构变量，派生出若干个质量类别，如外观质量、通话质量、可靠性质量等类别，每个类别再与若干个观测变量相联系。我们可以将多层路径分析模型画图表达，仔细分析其结构，发现可以将派生的结构变量理解为自变量，于是模型的基本框架就能确定下来。在第一节叙述的中国顾客满意指数模型中，假设其、不直接与观测变量联系，而是分别派生出2个、3个、2个低层的结构变量，它们

17、再与观测变量相联系。这派生的低层结构变量就可以理解为自变量，连同原来的自变量一起就有8个：，因变量还是5个：。于是基本结构方程如下：（18）自变量对应的观测变量以表示，因变量对应的观测变量以表示。自变量对应的结构变量与观测变量关系方程为： ， (19)在一个算例里分别为5，4，3，2，5，4，3，2；同时分别与4个观测变量相联系，则直接因变量对应的结构变量与观测变量关系方程为： （20）间接因变量对应的结构变量与低层结构自变量关系方程为： （21）其中为载荷项，为误差项。在有了多层结构方程模型的正确描述以后，我们就可以作出它的基于单位向量约束下的最小二乘解。虽然路径系数的计算要复杂得多，变量编

18、号查找与属性判定也非常复杂，但是根据前一节的论述,计算是切实可行的。4. 多对象评估的结构方程模型在凸约束下的最小二乘解我们现在考虑更为深入更为实际的结构方程模型。实际工作中的指标测评包括顾客满意指数测评都是同时针对多个对象进行的。我们应该建立统一的测评模型，对每一个对象的汇总计算系数应该是一致的；同时模型系数应该是合理客观而不是事先指定的。我们考虑每一个对象，都满足第一节建立的结构方程模型，都是个观测变量，对每一个观测变量都有个观测，是一个矩阵。现在假设有W个对象，应该有W个模型，问题是这W个模型的系数必须是一致的。如果将这W个模型统一起来，其数据结构应该是行、列的数据块。可以看到模型表面上

19、理解并不复杂，困难在于模型的求解计算。如果对每一个模型分别套用第一节的方法，得到的系数彼此不能保证一致。为了求解多对象评估的结构方程模型，我们需要了解多对象评估的广义配方模型，它是本文作者早期的研究成果（童恒庆，1993）。我们这里简要叙述广义配方模型结构与主要定理。设个指标是变量，分别以表示。一张评估表是对某一对象的一次观测，可取得数据，对个对象各取得次观测，就得阵。一张评估表是阵的一行，一个对象的次观测是阵的一块。对每个变量的加权系数待定，但需（即）；(即)。这是一种配方约束。对每个对象必须且只须给出一个评估分，它也是事先未知而待定的，这就是所谓广义。因此评估模型是： （22）这里，将块数

20、据块按列分别求平均，得到压缩的数据阵 ，这就引入了广义配方模型。定理1. 令，若，则在约束下， 有唯一解：，这里， 。如果各分量非负，则也就是模型的解。若定理1叙述的解有分量为负时，要考虑模型的解的存在性、唯一性，有定理2。定理2. 若，则模型有唯一解。若定理1中有分量为负，则模型的解一定有分量为0，并且的零分量是的分量之一。要具体给出模型的解，需要引入凸集间的交互投影。求一点到闭凸集之间的最短欧氏距离，若, 则可以称为到的投影。要求两个闭凸集之间的最短欧氏距离，可以使用交互投影法：任取，求，使；对于，求，使；对于，求，使；对于，求，使。当时，停止迭代，完成计算。这个迭代过程收敛的意思是： ，

21、我们有定理3。定理3. 设两个闭凸集之一有界，则其交互投影的迭代过程收敛。根据定理3，求两个闭凸集之间的距离可以化为累次求一点到闭凸集间的距离。于是求解广义配方模型可以化为累次求解配方模型，求解凸约束广义配方模型可以化为累次求解一般凸约束模型，实际计算表明，收敛过程非常快。现在回到多对象评估的结构方程模型。每一个对象的观测数据为矩阵，将个对象的观测数据按块纵向排列成矩阵。我们按如下步骤求解：第一步：对矩阵，按照本文第1节叙述的模型和第2节叙述的解法，求出每个观测变量的汇总系数：（3）（4）中的。取，, ，。第二步：注意，我们实际上已经将矩阵按列划分成块，每一块对应一个结构变量。对于每一个结构变

22、量对应的数据块，套用多对象评估的广义配方模型，它的约束条件是或者，当然还有；这里的或就是广义配方模型的指标数；这样得到的广义配方模型评估值是一个维的向量，我们记作或。我们一共得到了个维向量或。第三步：将个维向量或带回到第1节叙述的结构方程模型，运用第2节叙述的模型算法，先计算出（5）（6）中的与；再计算出（3）（4）中的中的，注意这里的与第一步的并不相同；然后在（2）中计算出路径影响系数，这样开始了偏最小二乘迭代并结束。第四步：取最后的计算结果，它是一个维向量，它的第个分量就是第个对象获得的最后评估分。模型的系数还是反映了这些变量之间影响作用的大小。本文数值算例这里省略，可以在作者主页上查到：

23、 。参 考 文 献1 Claes Fornel、Michael D. Johnson, et al. The American Customer Satisfaction Index: Nature, Popurse, and Findings, Journal of Marketing,Vol. No.60, Oct.1996,7-182 国家质检总局质量管理司，清华大学中国企业研究中心，中国顾客满意指数指南，中国标准出版社，2003. 3 S.Y. Sohn, T.H. MoonStructural Equation Model for Predicting Technology：Comm

24、ercialization Success Index (TCSI)JTechnological Forecasting & Social ChangeVol.70, 2003, 885-8994 Philippe Bastien, Vincenzo Esposito Vinzi and Michel Tenenhaus. PLS generalised linear regression, Computational Statistics & Data Analysis, Vol. 48, No.1, Jan. 2005, 17-46. 5 Michel Tenenhaus, Vincenzo Esposito Vinzi, Yves-Marie Chatelin and Carlo Lauro, PLS path modeling, Computational Statistics & Data Analysis, Vol. 48, No.1, Jan. 2005, 159-20