第四讲 因子分析

1、第七章第七章 因子分析因子分析 第一节第一节 因子分析概述因子分析概述 第二节第二节 因子分析模型及概念因子分析模型及概念 第三节第三节 因子载荷矩阵求解因子载荷矩阵求解 第四节第四节 公因子重要性的分析公因子重要性的分析 第五节第五节 实例分析与计算机实现实例分析与计算机实现 第一节第一节 因子分析概述因子分析概述 n因子分析因子分析(factor analysis)也是一种降维、简化数据的技术。也是一种降维、简化数据的技术。 它通过研究众多变量之间的内部依赖关系，探求观测数据中它通过研究众多变量之间的内部依赖关系，探求观测数据中 的基本结构，并用的基本结构，并用少数几个少数几个“抽象抽象”

2、的变量来表示其基本的的变量来表示其基本的 数据结构数据结构。这几个。这几个抽象的变量被称作抽象的变量被称作“因子因子”，能反映原来，能反映原来 众多变量的主要信息。原始的变量是可观测的显在变量，而众多变量的主要信息。原始的变量是可观测的显在变量，而 因子一般是不可观测的因子一般是不可观测的潜在变量潜在变量。 factor analysis） n何谓因子？分析变量之间往往存在相关性，变量之间为何会 有相关性呢？这是因为往往有一些共同的因子支配着这些相 关的变量。例如，随着年龄的增长，儿童的身高、体重会随 着变化，具有一定的相关性；身高和体重之间为何会有相关 性呢？因为存在着一个同时支配或影响着身

3、高与体重的生长 因子。因子分析就是通过对多个变量的相关系数矩阵的研究， 找出同时影响或支配所有变量的共性因子的多元统计方法。 n因子分析的应用 （1）寻求基本结构：通过对变量间相关关系探测，寻找作 用于这些具有强相关关系的变量的共同因子，用这些较少的 几个因子代表原数据的基本结构。 （2）数据简化：用个数较少的几个因子变量替代原变量进 行回归分析、聚类分析等 n问题2：影响大学生考试成绩的因素分析 100个学生的数学、物理、化学、语文、历史、英语成绩的相关系数矩阵。 Correlation Matrix 1.000.636.620-.605-.487-.497 .6361.000.544-.4

4、31-.344-.355 .620.5441.000-.440-.348-.359 -.605-.431-.4401.000.814.832 -.487-.344-.348.8141.000.803 -.497-.355-.359.832.8031.000 MATH PHYS CHEM LITERAT HISTORY ENGLISH Correlation MATHPHYSCHEMLITERATHISTORYENGLISH 1.1. 假定假定可用变量间的相关性把它们分组可用变量间的相关性把它们分组，即假设组内的所用变，即假设组内的所用变 量之间是高度相关，而不同组的变量间是弱相关。量之间是高度

5、相关，而不同组的变量间是弱相关。 2.2. 假定每一组变量，存在一个导致其组内变量高度相关的潜在假定每一组变量，存在一个导致其组内变量高度相关的潜在 （不能观察）公共因子，并且这些因子变量具有以下特点：（不能观察）公共因子，并且这些因子变量具有以下特点： 1)1) 因子变量的数量远远少于原始变量的个数；因子变量的数量远远少于原始变量的个数； 2)2) 因子变量并非原始变量的简单取舍，而是一种新的综合；因子变量并非原始变量的简单取舍，而是一种新的综合； 3)3) 因子变量之间没有线性关系；因子变量之间没有线性关系； 4)4) 因子变量具有明显解释性，可以最大限度地发挥专业分析因子变量具有明显解释

6、性，可以最大限度地发挥专业分析 的作用。的作用。 3.3. 假定因子对观测变量的影响是线性的，假定因子对观测变量的影响是线性的，即观测变量可用因子即观测变量可用因子 的线性组合表示的线性组合表示。 4.4. 因子分析的基本问题因子分析的基本问题: : 一类是探测性因子分析；另一类是证一类是探测性因子分析；另一类是证 实性因子分析。实性因子分析。 第二节第二节 因子分析模型及概念因子分析模型及概念 一一 因子分析的数学模型因子分析的数学模型 二二 因子载荷阵的统计意义因子载荷阵的统计意义 一、因子分析的数学模型一、因子分析的数学模型 n求公共因子的核心是求因子载荷矩阵 二、因子载荷阵的统计意义二

7、、因子载荷阵的统计意义 因子载荷阵因子载荷阵 变量共同度变量共同度公因子贡献公因子贡献 行平行平 方和方和 列平列平 方和方和 二、因子载荷阵的统计意义二、因子载荷阵的统计意义 n因子分析的核心问题：一是如何构造因子变量；二 是如何对因子变量进行命名解释。因此，因子分析 的基本步骤和解决思路就是围绕这两个核心问题展 开的。 n 基本步骤： （1）进行变量之间的相关性检验，确认待分析的这些 变量是否适合作因子分析。 （2）构造因子变量：确定因子的个数，求负载矩阵。 （3）利用旋转方法使因子变量更具有可解释性。 （4）计算因子变量得分。以便在其他分析中使用 n模型有区别 n主成分解释了原来变量的全

8、部变差，没有方差损失， 而公因子只解释原来变量的部分变差（特殊因子未 被计算），有方差损失。 n因子分析中的公因子（旋转后）没有主成分那么综 合，公因子往往可以找到实际含义，而主成分一般 找不到实际的含义 n检验的意义：因子分析的前提是观测变量检验的意义：因子分析的前提是观测变量X1, X2, , Xp之之 间具有相关性。如果相关性较低，则他们不可能共享公因间具有相关性。如果相关性较低，则他们不可能共享公因 子，只有相关性较高时，才适合作因子分析。子，只有相关性较高时，才适合作因子分析。 nSPSS提供的提供的3种检验种检验 1)反映象相关矩阵检验（Anti-image correlation

9、 matrix） 2)巴特利特球度检验（Bartlett test of sphericity） 3)KMO(Kaiser-Meyer-Olkin) KMO越接近1，越适合作因子分析；KMO越小，则越不适合作因子分析。 Kaiser给出了一个KMO的度量标准：0.9以上 非常适合；0.8-0.9 很适合； 0.7-0.8 适合；0.6-0.7 不太适合；0.5-0.6 很勉强; 0.5以下不适合。 第三节第三节 因子载荷矩阵求解因子载荷矩阵求解 一一 因子载荷矩阵的求解因子载荷矩阵的求解 二二 约相关阵的估计（不要求）约相关阵的估计（不要求） 一、因子载荷矩阵的求解一、因子载荷矩阵的求解 n

10、因子个数确定因子个数确定 n确定因子个数的方法主要有：(主成分法) （1）特征值准则：选取特征值大于等于1的因子（主 成分）作为初始因子，通过求相应的标准化正交特 征向量来计算因子载荷 （2）碎石检验准则：删去特征值变平缓的那些因子 （碎石） （3）累计方差贡献：85% 第四节第四节 公因子重要性的分析公因子重要性的分析 一一 因子旋转因子旋转 二二 因子得分因子得分 一、因子旋转一、因子旋转 n因子分析的目标之一就是要对所提取的抽象因子的实际含义因子分析的目标之一就是要对所提取的抽象因子的实际含义 进行合理解释。进行合理解释。有时根据特征根、特征向量求得的因子载荷有时根据特征根、特征向量求得

11、的因子载荷 阵难看出公共因子含义。例如，可能有些变量在多个公共因阵难看出公共因子含义。例如，可能有些变量在多个公共因 子上都有较大的载荷，有些公共因子对许多变量的载荷也不子上都有较大的载荷，有些公共因子对许多变量的载荷也不 小，说明它对多个变量都有较明显的影响作用。小，说明它对多个变量都有较明显的影响作用。 n这时需要通过因子旋转的方法，使每个变量仅在一个公共因这时需要通过因子旋转的方法，使每个变量仅在一个公共因 子上有较大的载荷，而在其余的公共因子上的载荷比较小，子上有较大的载荷，而在其余的公共因子上的载荷比较小， 至多达到中等大小。至多达到中等大小。 n这时对于每个公共因子而言（即载荷矩阵

12、的每一列），它在这时对于每个公共因子而言（即载荷矩阵的每一列），它在 部分变量上的载荷较大，在其它变量上的载荷较小，使部分变量上的载荷较大，在其它变量上的载荷较小，使同一同一 列上的载荷尽可能地向靠近列上的载荷尽可能地向靠近1和靠近和靠近0两极分离两极分离。 n负载矩阵的不唯一性：如果A一个负载矩阵解，则 AT也是一个负载矩阵解，这里T是一正交矩阵。 n因子旋转：给负载矩阵A右乘一个矩阵，等于做一 次坐标旋转 n因子旋转的目的：初始因子的综合性太强，难以找 出因子的实际意义，因此需要通过坐标旋转，使因 子负荷两极分化，要么接近于0，要么接近于1， 从而降低因子的综合性，使其实际意义凸现出来，

13、以便于解释因子。 n因子旋转的基本方法：一类是正交旋转正交旋转（保持因子 间的正交性，3种，常用最大方差旋转最大方差旋转），一类是斜 交旋转（因子间不一定正交）。 补充：解释因子 二、因子得分二、因子得分 n n v因子得分的用途因子得分的用途：利用公因子作进一步的研究，比如用公：利用公因子作进一步的研究，比如用公 因子（视为变量）作回归分析、聚类分析和评价等。因子（视为变量）作回归分析、聚类分析和评价等。 小结小结 因子载荷矩阵的求解因子载荷矩阵的求解 因子旋转因子旋转 因子得分因子得分 特征值特征值 方差贡献率方差贡献率 相关矩阵相关矩阵确定公因子个数确定公因子个数 标准化数据标准化数据

14、12 3 4 5 0 因子命名因子命名 第五节第五节 实例分析与计算机实现实例分析与计算机实现 一一 利用利用SPSS进行因子分析进行因子分析 二二 因子分析在市场研究中的应用因子分析在市场研究中的应用 一、利用一、利用SPSS进行因子分析进行因子分析 n （一）（一） 操作步骤操作步骤 1. 在在SPSS窗口中选择窗口中选择AnalyzeData ReductionFactor，调，调 出因子分析主界面出因子分析主界面图图( (7.1) )，并将变量，并将变量X1X13移入移入Variables 框中。框中。 图图7.1 因子分析主界面因子分析主界面 2. 点击点击Descriptives按

15、钮，展开相应对话框，见图按钮，展开相应对话框，见图7.2。选择。选择 Initial solution复选项。这个选项给出各因子的特征值、各复选项。这个选项给出各因子的特征值、各 因子特征值占总方差的百分比以及累计百分比。单击因子特征值占总方差的百分比以及累计百分比。单击 Continue按钮，返回主界面。按钮，返回主界面。 图图7.2 Descriptives子对话框子对话框 3. 点击点击Extraction按钮，设置因子提取的选项，见图按钮，设置因子提取的选项，见图7.3。在。在 Method下拉列表中选择因子提取的方法，下拉列表中选择因子提取的方法，SPSS提供了七种提供了七种 提取方

16、法可供选择，一般选择默认选项，即提取方法可供选择，一般选择默认选项，即“主成分法主成分法”。 在在Analyze栏中指定用于提取因子的分析矩阵，分别为相关栏中指定用于提取因子的分析矩阵，分别为相关 矩阵和协方差矩阵。在矩阵和协方差矩阵。在Display栏中指定与因子提取有关的栏中指定与因子提取有关的 输出项，如未旋转的因子载荷阵和因子的碎石图。在输出项，如未旋转的因子载荷阵和因子的碎石图。在 Extract栏中指定因子提取的数目，有两种设置方法：一种栏中指定因子提取的数目，有两种设置方法：一种 是在是在Eigenvalues over后的框中设置提取的因子对应的特征后的框中设置提取的因子对应的

17、特征 值的范围，系统默认值为值的范围，系统默认值为1，即要求提取那些特征值大于，即要求提取那些特征值大于1的的 因子；第二种设置方法是直接在因子；第二种设置方法是直接在Number of factors后的矩形后的矩形 框中输入要求提取的公因子的数目。这里我们均选择系统默框中输入要求提取的公因子的数目。这里我们均选择系统默 认选项，单击认选项，单击Continue按钮，返回主界面。按钮，返回主界面。 图图7.3 Extraction子对话框子对话框 4.点击点击Rotation按钮，设置因子旋转的方法。这里选择按钮，设置因子旋转的方法。这里选择 Varimax(方差最大旋转方差最大旋转)，并选

18、择，并选择Display栏中的栏中的Rotated solution复选框，在输出窗口中显示旋转后的因子载荷阵。复选框，在输出窗口中显示旋转后的因子载荷阵。 单击单击Continue按钮，返回主界面。按钮，返回主界面。 图图7.4 Rotation子对话框子对话框 5.点击点击Scores按钮，设置因子得分的选项。选中按钮，设置因子得分的选项。选中Save as variables复选框，将因子得分作为新变量保存在数据文件中。复选框，将因子得分作为新变量保存在数据文件中。 选中选中Display factor score coefficient matrix复选框，这样在复选框，这样在 结果输

19、出窗口中会给出因子得分系数矩阵。单击结果输出窗口中会给出因子得分系数矩阵。单击Continue按按 钮返回主界面。钮返回主界面。 6. 单击单击OK按钮，运行因子分析过程。按钮，运行因子分析过程。 图图7.5 Scores子对话框子对话框 （二）（二） 主要运行结果解释主要运行结果解释 1. Communalities（给出变量共同度）（给出变量共同度） 变量共同度反映每个变量对所提取的所有公共因子的依赖程度，变量共同度反映每个变量对所提取的所有公共因子的依赖程度， 此数值是因子载荷阵中每一行的因子载荷量的平方和，提取的此数值是因子载荷阵中每一行的因子载荷量的平方和，提取的 因子个数不同，变量

20、共同度也不同。因子个数不同，变量共同度也不同。 2. Total Variance Explained（给出各公因子方差贡献表）（给出各公因子方差贡献表） Initial Eigenvalues给出初始相关矩阵或协差阵矩阵的特征值，给出初始相关矩阵或协差阵矩阵的特征值， 用于确定哪些因子应该被提取，共有三项：用于确定哪些因子应该被提取，共有三项： Total列为各因子列为各因子 对应的特征值，本例中共有四个因子对应的特征值大于对应的特征值，本例中共有四个因子对应的特征值大于1，因，因 此应提取相应的四个公因子；此应提取相应的四个公因子；% of Variance列为各因子的方列为各因子的方 差

21、贡献率；差贡献率；Cumulative %列为各因子的累积方差贡献率，由列为各因子的累积方差贡献率，由 表表7.1可以看出，前四个因子已经可以解释可以看出，前四个因子已经可以解释89.651%的方差。的方差。 Rotation Sums of Squared Loadings给出提取出的公因子经过给出提取出的公因子经过 旋转后的方差贡献情况。旋转后的方差贡献情况。 表表7.1 特征根与方差贡献率表特征根与方差贡献率表 表表7.2 旋转前因子载荷阵旋转前因子载荷阵 表表7.3 旋转后因子载荷阵旋转后因子载荷阵 Rotated Component Matrix 4.714E-02.925-.130

22、5.040E-02 .221.9505.080E-02.104 .1831.323E-02.895.152 .176-4.567E-02.880.134 .174.909.109.101 .724.150.470.350 .236.104.166.938 .232.110.157.943 .8433.187E-02-.2674.853E-02 .845.157.2556.884E-02 .848.214.235.254 .782.163.431.387 .793.193.445.302 X 1 X 2 X 3 X 4 X 5 X 6 X 7 X 8 X 9 X 10 X 11 X 12 X 1

23、3 1234 Component 注意：在因子表达式中的各变量为进行标准化变换后的标准变注意：在因子表达式中的各变量为进行标准化变换后的标准变 量，均值为量，均值为0，标准差为，标准差为1。 7. 由于我们已经在由于我们已经在Scores子对话框中选择了子对话框中选择了Save as variables 复选框，因此，因子得分已经作为新的变量保存在数据文件复选框，因此，因子得分已经作为新的变量保存在数据文件 中，变量名分别为中，变量名分别为fac1_1、fac2_1、fac3_1和和fac4_1。此后，。此后， 我们还可以利用因子得分进行其他的统计分析。我们还可以利用因子得分进行其他的统计分析

24、。 表表7.4 因子得分系数矩阵因子得分系数矩阵 二、因子分析在市场研究中的应用二、因子分析在市场研究中的应用 n表表7.5是研究消费者对购买牙膏偏好的调查数据。通过市场是研究消费者对购买牙膏偏好的调查数据。通过市场 的拦截访问，用的拦截访问，用7级量表询问受访者对以下陈述的认同程度级量表询问受访者对以下陈述的认同程度 （1表示非常不同意，表示非常不同意，7表示非常同意）。表示非常同意）。 V1：购买预防蛀牙的牙膏是重要的；：购买预防蛀牙的牙膏是重要的； V2：我喜欢使牙齿亮泽的牙膏；：我喜欢使牙齿亮泽的牙膏； V3：牙膏应当保护牙龈；：牙膏应当保护牙龈； V4：我喜欢使口气清新的牙膏；：我喜欢使口气清新的牙膏； V5：预防坏牙不是牙膏提供的一项重要利益；：预防坏牙不是牙膏提供的一项重要利益