统计软件SAS讲义因子分析

1、 因子分析与主成分分析在思路上的区别 第十二章 因子分析Chapter XII Factor Analysis 主成分分析是寻求数据矩阵的一个线性代换 ，令。 因子分析是寻求一个因子分解，令。 因子分析是主成分分析的进一步推广和发展，它们都是多维数据减维压缩的数据处理方法。 第四章 因子分析Chapter Factor Analysis第二节 因子模型的主因子解法第一节 因子分析的意义及因子模型第三节 常用的因子轴旋转方法第四节 用计算机软件进行因子分析第一节 因子分析的意义及因子模型Function & Factor Model如果有一组已知的多元数据资料，想要了解有些什么因素对原来的所有变

2、量都有重要影响时，使用因子分析。 因子分析的意义 例如：学生学习的课程：语文、政治、英语、历史、地理、数学、物理、化学、生物等。1. 形象思维，记忆力比较好2. 抽象（逻辑）思维，推理能力较好从生理学知，这五个指标是受植物神经支配的。而植物神经分为交感神经和副交感神经，因此这五个指标至少受到两个公共因子的影响。如果用 和 表示这两个因子。可以设想第一节 因子分析的意义及因子模型Function & Factor Model 例子：一定是 的函数。考察人类的五个生理性状： 收缩压、 舒张压、 心跳间隔、 呼吸间隔和 舌底温度。第一节 因子分析的意义及因子模型Function & Factor M

3、odel再加上其他对这些变量 有影响的因子，用函数的形式表示，就是即或 其中、和 都是待定的矩阵和向量。第一节 因子分析的意义及因子模型Function & Factor Model因子分析的目的就是试图将已知的多元数据的变异分解为两部分即或 一部分由对所有变量 有公共影响的因子解释。另一部分由只对某一变量有影响的特殊因子解释。第一节 因子分析的意义及因子模型Function & Factor Model这种分解不是唯一的。不同的因子分析方法可以得到不同的结果，采用那种结果完全由研究者决定。 因子分析的作用 好比一个古董鉴赏家，化了许多代价，辛辛苦苦得到一件艺术珍品，一定将它前前后后、左左右右

4、、上上下下地转着欣赏，当转到某一个角度上时，他忽然发现从这个角度看最有意义，于是他就决定按这个角度来摆设他的珍品。第一节 因子分析的意义及因子模型Function & Factor Model同样，如果我们收集到一组数据，对它进行因子分析，用不同的分析方法求得的结果会有所不同。但是，如果能在众多的分解方式中找到一种对您所研究的问题有合理的解释，最能表达您的意念，就会对于您的研究有所帮助，就是最好的结果。本章仅介绍一些最基本、最常用的方法。第一节 因子分析的意义及因子模型Function & Factor Model 因子模型 设有 个样本，每样本观察了 等 个平均数为0，标准差为1的性状。这些

5、变量间的关系可以用协方差距阵（也即相关矩阵）表示。现要找到合适的 、 和 使得每个样本 个变量的观察值分解为：.即第一节 因子分析的意义及因子模型Function & Factor Model 用矩阵表示为： m1mpp1 m1 其中m1是经标准化的原数据矩阵；mp称为因子载荷阵（factor loading)；p1称为公共因子（common factors)；m1称为特殊因子（specific factors)； 为了数学推导上的方便，还要对他们作下列规定： (1) 公共因子 均为标准化变量，且不同的 之间不相关。即 ()；Cov()；E()；Cov()；第一节 因子分析的意义及因子模型Fu

6、nction & Factor Model 用矩阵表示为： m1mpp1 m1 其中m1是经标准化的原数据矩阵；mp称为因子载荷阵（factor loading)；p1称为公共因子（common factors)；m1称为特殊因子（specific factors)； 为了数学推导上的方便，换要对他们作下列规定： (2) 各 与 之间不相关；即 Cov(,)； E()； Cov()； Cov(,)；第一节 因子分析的意义及因子模型Function & Factor Model 用矩阵表示为： m1mpp1 m1 其中m1是经标准化的原数据矩阵；mp称为因子载荷阵（factor loading)

7、；p1称为公共因子（common factors)；m1称为特殊因子（specific factors)； E()； Cov()； Cov(,)； (3) 各 的平均数均为0，方差为,但不同的 之间不相关；即E()；Cov() E()； Cov() ；第二节 因子模型的主因子解法Principle Factor Solution 联想到关于主成分分析的方法，可以发现求解 因子模型的最现成的方法是将主成分分析中的 型分析逆转来做。 这种把主成分分析中的型分析逆转来做的因子 分析方法称为主因子解法。 主因子解法的原理 主因子解法的计算步骤 因子载荷阵的统计意义 因子得分的专业解释 主因子解法的原理

8、 在型主成分分析中,若只保留前 个主成分,则 .即：p1p1第个特征向量；第个特征向量；第个特征向量；第二节 因子模型的主因子解法Principle Factor Solution 主因子解法的原理 在型主成分分析中,若只保留前 个主成分,则 p1p1矩阵是由前个正交的向量构成的p矩阵用矩阵的转置阵前乘方程两边，得mpp1=mpp1 =1 - V1 第二节 因子模型的主因子解法Principle Factor Solution1 =mpp1 +V1 =mpp1 + 1 mppI-m(m-p)(m-p)I-V1 mpp1 + 1 如果在因子分析中，我们认为前 个主成分所解释的变异是由公共因子造成

9、的，剩下( )个主成分所解释的变异是由特殊因子造成的，利用此式就可以解出：第个特征向量；第个特征向量；第个特征向量；第二节 因子模型的主因子解法Principle Factor Solution注意：这里的是转置了的。元素叫 不叫.于是令第二节 因子模型的主因子解法Principle Factor Solution这样， 的由前 个主成分所解释的变异就转换为 的变异了。但这些 还不符合因子模型中“因子变量是标准化变量”的要求。 的平均数为0,方差为 。将它们除以各自的标准差就可实现标准化。.第二节 因子模型的主因子解法Principle Factor Solution记 为 ， 为 方程变为注

10、意下标的顺序.第二节 因子模型的主因子解法Principle Factor Solution记 为 ， 为 方程变为.注意下标的顺序.第二节 因子模型的主因子解法Principle Factor Solution这样，便得到所求得因子模型： 其中，就是因子载荷阵。 记为 .(5) 用前 p 个特征根的平方根乘相应特征向量得因 子载荷阵； 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution.(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(1) 将原始数据按列( 个变

11、量)进行标准化；. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数（因子得分）矩阵；(8) 用因子得分矩阵乘标准化数据得因子得分。 因子分析主因子解法的例题： 第二节 因子模型的主因子解法Principle Factor Sol

12、ution 30个小麦品种的10个性状： 抽穗期（天）； 株高（cm)； 单株穗数（穗)； 主穗长（cm)； 主穗粒数（粒)； 穗下节长（cm)； 主穗小穗数（穗)； 每小穗粒数（粒)； 单株粒重（g)； 百粒重（g)； 研究的目的是想找出对这些变量有共同影响的因子和只对某个变量有影响的特殊因子。并利用它们对实际情况作有意义的解释。 (数据见课本p66表3.1）. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计

13、方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。 资料总方差=1.0000+1.0000+1.0000=10.0000. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个

14、特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。 =2.9118+2.3357+1.7883+0.0016=10.0000. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相

15、关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。 =2.91

16、18+2.3357+1.7883+0.0016=10.00000.29120.23360.1788第1特征根的方差贡献：2.911810.0000= 29.12%第2特征根的方差贡献：2.335710.0000= 23.36%第3特征根的方差贡献：1.788310.000= 17.88%0.0002第10特征根的方差贡献：0.001610.0000= 0.02%. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计

17、方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。 =2.9118+2.3357+1.7883+0.0016=10.0000第1个特征根的方差贡献：0.2912头两个特征根的累计贡献：0.2912+0.2336= 52.48%头三个特征根的累计贡献：0.5248+0.1788= 70.36%全部特征根的累计贡献：1.0000 = 100.00%0.29120.52480.70361.00000.29120.233

18、60.17880.0002. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数阵；(8) 用回归系数阵乘标准化数据得因子得分。0.29120.52480.70361.00000.29120.23360.17880.0002 若要保留85%以上信息，需要保留前五

19、个特征根。. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数（因子得分）矩阵；(8) 用因子得分矩阵乘标准化数据得因子得分。 (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；1.72971.52831.33731.04230.8363(6) 求相关矩阵的逆阵-1；. 主因子解法的计算步骤 第二节 因子模型

20、的主因子解法Principle Factor Solution (7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数（因子得分）矩阵；(8) 用因子得分矩阵乘标准化数据得因子得分。 (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (7) 用因子载荷阵乘相关矩阵的逆阵-1得回归

21、系数（因子得分）矩阵；(8)用因子得分矩阵乘标准化数据得因子得分。 (1) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(510-1 1010)-11010105. 主因子解法的计算步骤 第二节 因子模型的主因子解法Principle Factor Solution (7) 用因子载荷阵乘相关矩阵的逆阵-1得回归 系数（因子得分）矩阵；(8)用因子得分矩阵乘标准化数据得因子得分。 (1

22、) 将原始数据按列( 个变量)进行标准化；(2) 求相关矩阵；(3) 求相关矩阵的特征根、特征向量、各特征根的 方差贡献和累计方差贡献率；(4) 决定保留特征根的数目 ；(5) 用前 个特征根的平方根乘相应特征向量得因 子载荷阵；(6) 求相关矩阵的逆阵-1；(5101030)3010105见课本第87页表4.4 因子载荷阵的统计意义 第二节 因子模型的主因子解法Principle Factor Solution 3 公共因子 的方差贡献 的统计意义； 2 变量 共同度 的统计意义； 1 因子载荷量 的统计意义；第二节 因子模型的主因子解法Principle Factor Solution 因

23、子载荷阵中的每一个元素 称为因子载荷量 (factor loading)。它是 与 之间的相关系数， 衡量了原变量与公共因子之间的关系密切程度。 这意味着如果 大，则原变量 与公共因子 之 间的关系就密切，原变量 受公共因子 的影响 就大。因此，在 的表达式中 衡量了第 个公共因子对 的影响所占的比重。第二节 因子模型的主因子解法Principle Factor Solution 因子载荷阵中第 行元素的平方之和称为变量 的共同度(communality),记为 。即 因为是剩余方差，也称为特殊因子 对 方差贡献。第二节 因子模型的主因子解法Principle Factor Solution

24、在本例中： 因子载荷阵中第 行元素的平方之和称为变量 的共同度(communality),记为 。即8.9213 1.0787 10 第二节 因子模型的主因子解法Principle Factor Solution 在本例中： 比较各个 的共同度 ，就可以看出在各个 中，共同因素所起作用的大小。 、 、 均已接近1，说明公共因子起了很大的作用。反之，在 中则是特殊因子起很大作用。xi12345h2i0.80310.86700.92470.75020.9969xi678910h2i0.89800.86420.95890.88360.9747第二节 因子模型的主因子解法Principle Facto

25、r Solution 因子载荷阵中第 列元素的平方之和记为 。它 衡量了第 个公共因子 对所有原变量的方差贡献 在本例中： 在主因子解中： 第二节 因子模型的主因子解法Principle Factor Solution8.9213 1.0787 由于全部原变量的总方差为 ，在未进行因子分析 之前，平均每个公共因子的方差贡献为，我们称“先验的公共因子方差为1，总估计为 ，平均估计 为1”。 经过因子分析后，各公共因子的方差发生了 变化，如本例，我们说“最后的公共因子方差估计 为8.9213，前 个因子解释了总方差的89.21%。” 若用主因子解法求得的因子解仍不是最佳角度， 还可以将它进行适当的

26、旋转。第二节 因子模型的主因子解法Principle Factor Solution 用主因子解法求得的因子得分与用型主成分分 析所求得的标准化主成分值是一致的，因此其解释 也基本一致。 与主成分分析类似，可以利用因子得分对资料进 一步进行排队评比和分类等分析。第三节 常用的因子轴旋转方法Factor Axis Rotation 因子轴旋转有正交旋转(orthogonal rotation) 和斜交旋转(oblique rotation)。 正交旋转是经过旋转之后，要求得到的新公共因 子之间能保持不相关。这对于某些研究是必要的。 (例如想用加得的总分来对样本进行优劣评比等)。 斜交旋转则不要求

27、经过旋转之后得到的新公共因 子之间保持不相关的性质，只要他们的因子结构具 有对实际意义的适当解释即可。 2 方差最大旋转 1 因子旋转的原理第三节 常用的因子轴旋转方法Factor Axis Rotation 因子分析的目的是把已知的分解为待定的、 和，即m1mpp1m1 。 如果找到一个正交矩阵pp能使得向量 p1ppp1 那么，这种分解决不是唯一的。 因为ppp1ppppp1p1 代入上式，有 m1mpppp1m1记mppp为mp m1 mp p1m1变成新的因子载荷阵，变成新的因子得分。矩阵称为转换矩阵第三节 常用的因子轴旋转方法Factor Axis Rotation 方差最大旋转(V

28、arimax Rotation)当利用因子分析结果对实践问题进行解释时，常会碰到在一个公共因子结构中有多个原始变量的权重(载荷量)差别不大、难以比较的情况。 例如在本例中(p.85表4.1):第一公共因子的载荷量除 、 为0.8以上外，还有好几个变量的载荷量在0.5上下。第二公共因子的载荷量除 大于0.9外,还有好几个变量的载荷量在0.7左右。第三节 常用的因子轴旋转方法Factor Axis Rotation 方差最大旋转(Varimax Rotation)当利用因子分析结果对实践问题进行解释时，常会碰到在一个公共因子结构中有多个原始变量的权重(载荷量)差别不大、难以比较的情况。 例如在本例

29、中(p.85表4.1):第一公共因子的载荷量除 、 为0.8以上外，还有好几个变量的载荷量在0.5上下。第二公共因子的载荷量除 大于0.9外,还有好几个变量的载荷量在0.7左右。这有时会给专业解释带来困难。如果能经过旋转，使得在同一列中的元素，要么尽可能大，要么尽可能小，即尽量“分散”，就会给专业解释带来方便。方差最大正交旋转就是在这样的思路下发展出来的。第三节 常用的因子轴旋转方法Factor Axis Rotation 求转换矩阵的方法：如果原来的因子模型是现在要找一个将因子模型变成 m1mpppp1m1 mpp1m1m1mpp1m1条件是:1. 新的公共因子保持正交的性质；2. 新的因子

30、载荷阵具有最大的方差。这件工作不能一次完成，要通过迭代法来进行。 先用最简单(载荷阵只有两列)的情况作说明。第三节 常用的因子轴旋转方法Factor Axis Rotation 求转换矩阵的方法：如果原来的因子模型是现在要找一个将因子模型变成 m1mpppp1m1 mpp1m1m1mpp1m1对于求一个正交转换矩阵1使得11具有最大方差可以验证: 1111第三节 常用的因子轴旋转方法Factor Axis Rotation如果原来的因子模型是现在要找一个将因子模型变成 m1mpppp1m1 mpp1m1m1mpp1m1第1次迭代，求1使11具有最大的方差 ； .如此一直迭代 次，第2次迭代，求2使212 12 具有最 大的方差 ；若 大于 则迭代有进展。第3次迭代，求3使323123 具有 最大的方差 ；若 大于 则迭代有进展。 求转换矩阵的方法：第三节 常用的因子轴旋转方法Factor Axis Rotation 求转换矩