SAS统计之第十章-因子分析

第十章因子分析

Chapter

X

Factor

Analysis第二节

因子模型的主成分解法第一节因子分析的意义及因子模型第三节

常用的因子轴旋转方法第四节

用软件进行因子分析

因子分析与主成分分析在思路上的区别第十章因子分析

Chapter

X

Factor

Analysis

主成分分析是寻求数据矩阵Ｘ的一个线性代换

Ｚ，令

Ｚ＝ＵＸ。

因子分析是寻求一个因子(Ｆ)分解，令Ｘ＝ＡＦ＋

。因子分析是主成分分析的进一步推广和开展，它们都是多维数据减维压缩的数据处理方法。第一节因子分析的意义及因子模型

Function&Factor

Model如果有一组的多元数据资料，想要了解有些什么因素对原来的所有变量都有重要影响时，使用因子分析。

因子分析的意义例1：学生学习的课程：语文、政治、英语、历史、地理、数学、物理、化学、生物等。1.形象思维，记忆力比较好2.逻辑思维，推理能力较好从生理学知，这五个指标是受植物神经支配的。而植物神经分为交感神经和副交感神经，因此这五个指标至少受到两个公共因子的影响。如果用和表示这两个因子。可以设想第一节因子分析的意义及因子模型

Function&Factor

Model

例2：一定是的函数。考察人类的五个生理性状：收缩压、舒张压、心跳间隔、呼吸间隔和舌底温度。第一节因子分析的意义及因子模型

Function&Factor

Model再加上其他对这些变量有影响的因子，用函数的形式表示，就是即或Ｘ＝ＡＦ＋

其中Ａ、Ｆ和

都是待定的矩阵和向量。第一节因子分析的意义及因子模型

Function&Factor

Model因子分析的目的就是试图将的多元数据的变异分解为两局部即或Ｘ＝ＡＦ＋

一局部由对所有变量有公共影响的因子解释。另一局部由只对某一变量有影响的特殊因子解释。第一节因子分析的意义及因子模型

Function&Factor

Model这种分解不是唯一的。不同的因子分析方法可以得到不同的结果，采用那种结果完全由研究者决定。

因子分析的作用好比一个古董鉴赏家，化了许多代价，辛辛苦苦得到一件艺术珍品，一定将它前前后后、左左右右、上上下下地转着欣赏，当转到某一个角度上时，他突然发现从这个角度看最有意义，于是他就决定按这个角度来摆设他的珍品。第一节因子分析的意义及因子模型

Function&Factor

Model同样，如果我们收集到一组数据，对它进行因子分析，用不同的分析方法求得的结果会有所不同。但是，如果能在众多的分解方式中找到一种对您所研究的问题有合理的解释，最能表达您的意念，就会对于您的研究有所帮助，就是最好的结果。这里仅介绍一些最根本、最常用的方法。第一节因子分析的意义及因子模型

Function&Factor

Model

因子模型

设有个样本，每样本观察了等个平均数为0，标准差为1的性状。这些变量间的关系可以用协方差距阵〔也即相关矩阵〕表示。现要找到适宜的、和使得每个样本个变量的观察值分解为：…………….即第一节因子分析的意义及因子模型

Function&Factor

Model用矩阵表示为：Ｘm1＝ＡmpＦp1＋

m1

其中Ｘm1是经标准化的原数据矩阵；Ａmp称为因子载荷阵〔factorloading)；Ｆp1称为公共因子〔commonfactors)；m1称为特殊因子〔specificfactors)；为了数学推导上的方便，还要对他们作以下规定：(1)公共因子均为标准化变量，且不同的之间不相关。即Ｅ(Ｆ)＝０；Cov(Ｆ)＝Ｉ；E(Ｆ)＝０；Cov(Ｆ)＝Ｉ；第一节因子分析的意义及因子模型

Function&Factor

Model用矩阵表示为：

Ｘm1＝ＡmpＦp1＋

m1

其中Ｘm1是经标准化的原数据矩阵；Ａmp称为因子载荷阵〔factorloading)；Ｆp1称为公共因子〔commonfactors)；m1称为特殊因子〔specificfactors)；为了数学推导上的方便，换要对他们作以下规定：(2)各与之间不相关；即Cov(Ｆ,

)＝０；

E(Ｆ)＝０；

Cov(Ｆ)＝Ｉ；

Cov(Ｆ,

)＝０；第一节因子分析的意义及因子模型

Function&Factor

Model用矩阵表示为：

Ｘm1＝ＡmpＦp1＋

m1

其中Ｘm1是经标准化的原数据矩阵；Ａmp称为因子载荷阵〔factorloading)；Ｆp1称为公共因子〔commonfactors)；m1称为特殊因子〔specificfactors)；

E(Ｆ)＝０；

Cov(Ｆ)＝Ｉ；

Cov(Ｆ,

)＝０；(3)各的平均数均为0，方差为,但不同的之间不相关；即

E(

)＝０；Cov(

)＝

＝

E(

)＝０；

Cov(

)＝

；第二节

因子模型的主成分解法

PrincipalFactor

Solution因子模型的解法因子载荷矩阵的解法有多种，主要包括主成分法、主因子法和极大似然法等。主成分法：把主成分分析中的逆转分析来做的因子分析方法称为主成分解法。主成分解法的原理主成分解法的计算步骤因子载荷阵的统计意义因子得分的专业解释

主成分解法的原理在Ｒ型主成分分析中,若只保留前个主成分,则………………...即：Ｚp1＝Ｕp

ｍＸｍ1第１个特征向量；第２个特征向量；第个特征向量；第二节

因子模型的主成分解法

PrincipalFactor

Solution

主成分解法的原理在Ｒ型主成分分析中,若只保留前个主成分,则Ｚp1＝Ｕp

ｍＸｍ1矩阵Ｕ是由前个正交的向量构成的p

ｍ矩阵用矩阵Ｕ的转置阵前乘方程两边，得Ｕ’mpＺp1=Ｕ’mpＵp

ｍＸｍ1=Ｘｍ1-Vｍ

ｍＸｍ1

第二节

因子模型的主成分解法

PrincipalFactor

SolutionＸｍ1=Ｕ’mpＺp1+Vｍ

ｍＸｍ1=Ｕ’mpＺp1+

ｍ1Ｕ’mpＵp

ｍ＝I-Ｕ’m(m-p)Ｕ(m-p)

ｍ＝I-Vｍ

ｍＸｍ1＝Ｕ’mpＺp1+

ｍ1如果在因子分析中，我们认为前个主成分所解释的变异是由公共因子造成的，剩下()个主成分所解释的变异是由特殊因子造成的，利用此式就可以解出：第１个特征向量；第２个特征向量；第个特征向量；第二节

因子模型的主成分解法

PrincipalFactor

Solution注意：这里的Ｕ是转置了的。元素叫不是...……………于是令第二节

因子模型的主成分解法

PrincipalFactor

Solution这样，的由前个主成分所解释的变异就转换为的变异了。但这些还不符合因子模型中“因子变量是标准化变量”的要求。的平均数为0,方差为。将它们除以各自的标准差就可实现标准化。...……………第二节

因子模型的主成分解法

PrincipalFactor

Solution记为，为方程变为注意下标的顺序...……………...……………第二节

因子模型的主成分解法

PrincipalFactor

Solution记为，为方程变为...……………注意下标的顺序...……………第二节

因子模型的主成分解法

PrincipalFactor

Solution这样，便得到所求得因子模型：其中，Ａ就是因子载荷阵。记为Ｘ＝ＡＦ＋

...……………(5)用前

p个特征根的平方根乘相应特征向量得因子载荷阵Ａ；

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution...……………(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差奉献和累计方差奉献率；(4)决定保留特征根的数目；(1)将原始数据按列(个变量)进行标准化；...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数〔因子得分〕矩阵Ｂ；(8)用因子得分矩阵Ｂ乘标准化数据得因子得分。因子分析主成分解法的例题：第二节

因子模型的主成分解法

PrincipalFactor

Solution30个小麦品种的10个性状：抽穗期〔天〕；株高〔cm)；单株穗数〔穗)；主穗长〔cm)；主穗粒数〔粒)；穗下节长〔cm)；主穗小穗数〔穗)；每小穗粒数〔粒)；单株粒重〔g)；百粒重〔g)；研究的目的是想找出对这些变量有共同影响的因子和只对某个变量有影响的特殊因子。并利用它们对实际情况作有意义的解释。(数据见课本p66表3.1〕...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。资料总方差=1.0000+1.0000+…+1.0000=10.0000...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。

=2.9118+2.3357+1.7883+…+0.0016=10.0000...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。

=2.9118+2.3357+1.7883+…+0.0016=10.00000.29120.23360.1788第1特征根的方差奉献：2.911810.0000=29.12%第2特征根的方差奉献：2.335710.0000=23.36%第3特征根的方差奉献：1.788310.000=17.88%0.0002第10特征根的方差奉献：0.001610.0000=0.02%...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。

=2.9118+2.3357+1.7883+…+0.0016=10.0000第1个特征根的方差奉献：0.2912头两个特征根的累计奉献：0.2912+0.2336=52.48%头三个特征根的累计奉献：0.5248+0.1788=70.36%全部特征根的累计奉献：1.0000=100.00%0.29120.52480.70361.00000.29120.23360.17880.0002...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(7)用因子载荷阵Ａ乘相关矩阵的逆阵Ｒ-1得回归系数阵Ｂ；(8)用回归系数阵Ｂ乘标准化数据得因子得分。0.29120.52480.70361.00000.29120.23360.17880.0002假设要保存85%以上信息，需要保存前五个特征根。...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(7)用因子载荷阵Ａ左乘相关矩阵的逆阵Ｒ-1得回归系数〔因子得分〕矩阵Ｂ；(8)用因子得分矩阵Ｂ左乘标准化数据得因子得分。

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；1.72971.52831.33731.04230.8363(6)求相关矩阵的逆阵Ｒ-1；...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(7)用因子载荷阵Ａ左乘相关矩阵的逆阵Ｒ-1得回归系数〔因子得分〕矩阵Ｂ；(8)用因子得分矩阵Ｂ左乘标准化数据得因子得分。

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(7)用因子载荷阵Ａ左乘相关矩阵的逆阵Ｒ-1得回归系数〔因子得分〕矩阵Ｂ；(8)用因子得分矩阵Ｂ左乘标准化数据得因子得分。

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；Ｂ＝Ｒ-11010Ａ105...……………

主成分解法的计算步骤第二节

因子模型的主成分解法

PrincipalFactor

Solution

(7)用因子载荷阵Ａ左乘相关矩阵的逆阵Ｒ-1得回归系数〔因子得分〕矩阵Ｂ；(8)用因子得分矩阵Ｂ左乘标准化数据得因子得分。

(1)将原始数据按列(个变量)进行标准化；(2)求相关矩阵Ｒ；(3)求相关矩阵的特征根、特征向量、各特征根的方差贡献和累计方差贡献率；(4)决定保留特征根的数目；(5)用前个特征根的平方根乘相应特征向量得因子载荷阵Ａ；(6)求相关矩阵的逆阵Ｒ-1；Ｆ＝Ｘ3010Ｂ105Ｆ’见课本第87页表4.4

因子载荷阵的统计意义第二节

因子模型的主成分解法

PrincipalFactor

Solution3公共因子的方差奉献的统计意义；

2

变量共同度的统计意义；1

因子载荷量的统计意义；第二节

因子模型的主成分解法

PrincipalFactor

Solution因子载荷阵Ａ中的每一个元素称为因子载荷量(factorloading)。它是与之间的相关系数，衡量了原变量与公共因子之间的关系密切程度。这意味着如果大，则原变量与公共因子之间的关系就密切，原变量受公共因子的影响就大。因此，在的表达式中衡量了第个公共因子对的影响所占的比重。第二节

因子模型的主成分解法

PrincipalFactor

Solution因子载荷阵Ａ中第行元素的平方之和称为变量的共同度(communality),记为。即因为是剩余方差，也称为特殊因子对方差奉献。第二节

因子模型的主成分解法

PrincipalFactor

Solution在本例中：

因子载荷阵Ａ中第行元素的平方之和称为变量的共同度(communality),记为。即8.9213

1.0787

10

第二节

因子模型的主成分解法

PrincipalFactor

Solution在本例中：

比较各个的共同度，就可以看出在各个中，共同因素所起作用的大小。、、均已接近1，说明公共因子起了很大的作用。反之，在中则是特殊因子起很大作用。xi12345h2i0.80310.86700.92470.75020.9969xi678910h2i0.89800.86420.95890.88360.9747第二节

因子模型的主成分解法

PrincipalFactor

Solution因子载荷阵Ａ中第列元素的平方之和记为。它衡量了第个公共因子对所有原变量的方差贡献在本例中：

在主成分解中：

第二节

因子模型的主成分解法

PrincipalFactor

Solution8.9213

1.0787

由于全部原变量的总方差为，在未进行因子分析之前，平均每个公共因子的方差贡献为１，我们称“先验的公共因子方差为1，总估计为，平均估计为1”。经过因子分析后，各公共因子的方差发生了变化，如本例，我们说“最后的公共因子方差估计为8.9213，前个因子解释了总方差的89.21%。”假设用主成分解法求得的因子解仍不是最正确角度，还可以将它进行适当的旋转。第二节

因子模型的主成分解法

PrincipalFactor

Solution用主成分解法求得的因子得分与用Ｒ型主成分分析所求得的标准化主成分值是一致的，因此其解释也根本一致。与主成分分析类似，可以利用因子得分对资料进一步进行排队评比和分类等分析。第三节

常用的因子轴旋转方法

Factor

AxisRotation因子轴旋转有正交旋转(orthogonalrotation)和斜交旋转(obliquerotation)。正交旋转是经过旋转之后，要求得到的新公共因子之间能保持不相关。这对于某些研究是必要的。(例如想用加得的总分来对样本进行优劣评比等)。斜交旋转那么不要求经过旋转之后得到的新公共因子之间保持不相关的性质，只要他们的因子结构具有对实际意义的适当解释即可。

2方差最大旋转1因子旋转的原理第三节

常用的因子轴旋转方法

Factor

AxisRotation因子分析的目的是把的Ｘ分解为待定的Ａ、Ｆ和，即Ｘm1＝ＡmpＦp1＋m1。如果找到一个正交矩阵Ｔpp能使得向量

Ｙp1＝Ｔ’ppＦp1

那么，这种分解决不是唯一的。因为ＴppＹp1＝ＴppＴ’ppＦp1＝Ｆp1

代入上式，有Ｘm1＝ＡmpＴppＹp1＋

m1记ＡmpＴpp为ＤmpＸm1＝ＤmpＹp1＋

m1Ｄ变成新的因子载荷阵，Ｙ变成新的因子。矩阵Ｔ称为转换矩阵第三节

常用的因子轴旋转方法

Factor

AxisRotation方差最大旋转(VarimaxRotation)当利用因子分析结果对实践问题进行解释时，常会碰到在一个公共因子结构中有多个原始变量的权重(载荷量)差异不大、难以比较的情况。例如在本例中(p.85表4.1):第一公共因子的载荷量除、

为0.8以上外，还有好几个变量的载荷量在0.5上下。第二公共因子的载荷量除大于0.9外,还有好几个变量的载荷量在0.7左右。第三节

常用的因子轴旋转方法

Factor

AxisRotation方差最大旋转(VarimaxRotation)当利用因子分析结果对实践问题进行解释时，常会碰到在一个公共因子结构中有多个原始变量的权重(载荷量)差异不大、难以比较的情况。例如在本例中(p.85表4.1):第一公共因子的载荷量除、

为0.8以上外，还有好几个变量的载荷量在0.5上下。第二公共因子的载荷量除大于0.9外,还有好几个变量的载荷量在0.7左右。这有时会给专业解释带来困难。如果能经过旋转，使得在同一列中的元素，要么尽可能大，要么尽可能小，即尽量“分散”，就会给专业解释带来方便。方差最大正交旋转就是在这样的思路下开展出来的。第三节

常用的因子轴旋转方法

Factor

AxisRotation求转换矩阵Ｔ的方法：如果原来的因子模型是现在要找一个Ｔ将因子模型变成Ｘm1＝ＡmpＴppＹp1＋

m1＝ＤmpＹp1＋

m1Ｘm1＝ＡmpＦp1＋

m1条件是:1.新的公共因子Ｙ保持正交的性质；2.新的因子载荷阵Ｄ具有最大的方差。这件工作不能一次完成，要通过迭代法来进行。先用最简单(载荷阵Ａ只有两列)的情况作说明。第三节

常用的因子轴旋转方法

Factor

AxisRotation求转换矩阵Ｔ的方法：如果原来的因子模型是现在要找一个Ｔ将因子模型变成Ｘm1＝ＡmpＴppＹp1＋

m1＝ＤmpＹp1＋

m1Ｘm1＝ＡmpＦp1＋

m1对于Ａ＝求一个正交转换矩阵Ｔ1＝使得Ｄ1＝ＡＴ1具有最大方差可以验证:

Ｔ’1Ｔ1＝Ｔ1Ｔ’1＝Ｉ第三节

常用的因子轴旋转方法

Factor

AxisRotation如果原来的因子模型是现在要找一个Ｔ将因子模型变成Ｘm1＝ＡmpＴppＹp1＋

m1＝ＤmpＹp1＋

m1Ｘm1＝ＡmpＦp1＋

m1第1次迭代，求Ｔ1使Ｄ1＝ＡＴ1具有最大的方差；…….如此一直迭代

次，第2次迭代，求Ｔ2使Ｄ2＝Ｄ1Ｔ2＝ＡＴ1Ｔ2具有最大的方差；若大于则迭代有进展。第3次迭代，求Ｔ3使Ｄ3＝Ｄ2Ｔ3＝ＡＴ1Ｔ2Ｔ3具有最大的方差；若大于则迭代有进展。求转换矩阵Ｔ的方法：第三节

常用的因子轴旋转方法

Factor

AxisRotation求转换矩阵Ｔ的方法：如果原来的因子模型是现在要找一个Ｔ将因子模型变成Ｘm1＝ＡmpＴppＹp1＋

m1＝ＤmpＹp1＋

m1Ｘm1＝ＡmpＦp1＋

m1第1次迭代，求Ｔ1使Ｄ1＝ＡＴ1具有最