lecture9因子分析ppt课件

1、第九章第九章 因子分析因子分析北京交通大学李雪梅因子分析n因子分析模型n因子载荷矩阵的估计方法n因子旋转n因子得分 n因子分析的步骤、展望和建议引言 因子分析(factor analysis)是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。 对商店的测度指标很多，但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过24个变量，找出反映商店环境、商店服务水平和商品

2、价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为： iiiiiiFFFx33221124, 1i 称 是不可观测的潜在因子。24个变量共享这三个因子，但是每个变量又有自己的个性，不被包含的部分 ，称为特殊因子。321FFF、i注：注： 因子分析与回归分析不同，因子因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际念，而回归因子有非常明确的实际意义；意义； 主成分分析分析与因子分析也有主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。而因子

3、分析需要构造因子模型。 主成分分析主成分分析: :原始变量的线性组原始变量的线性组合表示新的综合变量，即主成分；合表示新的综合变量，即主成分； 因子分析：潜在的假想变量和因子分析：潜在的假想变量和随机影响变量的线性组合表示原始随机影响变量的线性组合表示原始变量。变量。第一节第一节 因子分析模型因子分析模型 一、数学模型一、数学模型 设 个变量，如果表示为iX), 2 , 1(pip11iiiimmiXa Fa F)(pm 11111211122212222212mmpppppmpmXFXFXF或XAF或 称为 公共因子，是不可观测的变量，他们的系数称为因子载荷。 是特殊因子，是不能被前m个公共

4、因子包含的部分。并且满足：mFFF,21iIFD111)(cov( , )0,F,F即不相关；mFFF,21即 互不相关，方差为1。22221)(pD即互不相关，方差不一定相等， 。), 0(2iiN用矩阵的表达方式X- = AF+( )EF0( )E0( )VarFI22212( )(,)pVardiag1 11212 122212()()()()()()cov()()()()()ppppppE FE FE FE FE FE FEE FE FE FF,F0二、二、Q Q型因子分析模型型因子分析模型Q型因子分析模型有：此时， 表示n个样品。因子分析的目的就是通过模型，以F替代X，由于mp，m0

5、。)C(X-) =C(AF+CXC+CAF +C*XC+CAF+C*X + A F +*FF*()EF0*( )E0*()VarFI*22212()(,)pVardiag* *cov()()EF ,F 03、因子载荷不是惟一的 设T为一个pp的正交矩阵，令A*=AT，F*=TF，则模型可以表示为*X+A F +()ET F0( )E0*()()( )VarVarVarFTFTF TI22212( )(,)pVardiag*cov()()EF ,F 0且满足条件因子模型的条件 四、四、 因子载荷矩阵中的几个统计特征因子载荷矩阵中的几个统计特征1 1、因子载荷、因子载荷aijaij的统计意义的统计

6、意义 因子载荷 是第i个变量与第j个公共因子的相关系数 ija模型为 imimiiFaFaX11 在上式的左右两边乘以 jF,再求数学期望 )()()()()(11jijmimjjijjijiFEFFEaFFEFFEaFXE 根据公共因子的模型性质，有ijFxji （载荷矩阵中第i行，第j列的元素反映了第i个变量与第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。 2 2、变量共同度的统计意义、变量共同度的统计意义 定义：变量定义：变量 的共同度是因子载荷矩阵的第的共同度是因子载荷矩阵的第i i行的元素的平方和。记为行的元素的平方和。记为iX统计意义：统计意义：imimiiFaFaX

7、11两边求方差 )()()()(2112imimiiVarFVaraFVaraXVarmjiija1221 所有的公共因子和特殊因子对变量 的贡献为1。假如 非常靠近1， 非常小，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。iXmjija122i。mjijiah122 3 3、公共因子、公共因子 方差贡献的统计意义方差贡献的统计意义jF因子载荷矩阵中各列元素的平方和 称为所有的 对 的方差贡献和。衡量的相对重要性。piijjaS12jFiX), 1(mjjF第二节第二节 因子载荷矩阵的估计方法因子载荷矩阵的估计方法 设随机向量 的均值为，协方差为, 为的特征根， 为对应的标准化

8、特征向量，那么pxxx,21x021pp21u,u,u12p = UUAA +D （一主成分分析法（一主成分分析法 上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献，有21111mmmmmmp1122ppu uu uu uuuu up2uuuuuuppp21122111100p212ppuuuuuu 12 mmm1122AA +Du uu uu uD1121122 mmp mpmm p2uuuuuDAADu 上式有一个假定，模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。22212(,)pdiagD其中

9、221miiiijjsa注：残差矩阵 SAAD其中S为样本的协方差矩阵。 （二主因子法（二主因子法 主因子方法是对主成分方法的修正，假定我们首先对变量进行标准化变换。那么 R=AA+D R*=AA=R-D称R*为约相关矩阵， R*对角线上的元素是 ,而不是1。2ih2112122122212ppppphrrrhrRrrhR-D直接求R*的前p个特征根和对应的正交特征向量。得如下的矩阵：*1122ppAuuu*10pR特征根：*12,pu uu正交特征向量：21222pRR 当特殊因子当特殊因子 的方差不同且已知的，问题非常好解决。的方差不同且已知的，问题非常好解决。i*11*221122*pp

10、ppuuuuuu*1122mmAuuu2121100phhD 在实际的应用中，个性方差矩阵一般都是未知的，可以通过一组样本来估计。估计的方法有如下几种： 首先，求 的初始估计值，构造出 2ih*R 1取 ，在这个情况下主因子解与主成分解等价； 2取 ， 为xi与其他所有的原始变量xj的复相关系数的平方，即xi对其余的p-1个xj的回归方程的判定系数，这是因为xi 与公共因子的关系是通过其余的p-1个xj 的线性组合联系起来的；12ih22iiRh 2iR 3取 ，这意味着取xi与其余的xj的简单相关系数的绝对值最大者；)( |max2ijrhiji 4取 ，其中要求该值为正数。pjijijir

11、ph, 1211 5取 ，其中 是 的对角元素。iiirh/12iir1R（三极大似然估计法（三极大似然估计法 如果假定公共因子F和特殊因子服从正态分布，那么可以得到因子载荷和特殊因子方差的极大似然估计。设 为来自正态总体Np(,)的随机样本。 n21x,x,xAA )()(21exp)(112 iininp2XX12 ()( )()()()nLff Xf Xf X,A,DX)()(21exp)2(12121 iipnixx 它通过依赖和。上式并不能唯一确定,为此可添加一个唯一性条件： 这里式一个对角矩阵，用数值极大化的方法可以得到极大似然估计 。极大似然估计 将使 为对角阵，且似然函数达到最

12、大。 相应的共同度的似然估计为： 第J个因子对总方差的贡献：1和x和、1222212imiiiaaah222212pjjjjaaaS 例例 假定某地固定资产投资率假定某地固定资产投资率 ，通货膨，通货膨胀率胀率 ，失业率，失业率 ，相关系数矩阵为，相关系数矩阵为试用主成分分析法求因子分析模型。试用主成分分析法求因子分析模型。1x2x3x15/25/15/215/15/15/11 特征根为： 55. 11 85. 02 6 . 03 6 . 0707. 085. 0331. 055. 1629. 06 . 0707. 085. 0331. 055. 1629. 0085. 0883. 055.

13、1475. 0A707. 0331. 0629. 0707. 0331. 0629. 00883. 0475. 0U548. 0305. 0783. 0548. 0305. 0783. 00814. 0569. 0 可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X的贡献为1.55。第二公因子F2为投资因子，对X的贡献为0.85。共同度分别为1，0.706，0.706。211814. 0569. 0FFx3212548. 0305. 0783. 0FFFx3213548. 0305. 0783. 0FFFx 假定某地固定资产投资率 ，通货膨胀率 ，失业 率 ，相关系数矩阵为试

14、用主因子分析法求因子分析模型。假定用代替初始的 。 1x2x3x15/25/15/215/15/15/11)( |max2ijrhiji2ih53,51,54232221hhh221241111515/25/25/15/25/45/15/15/15/1*R 特征根为： 9123. 010877. 0203 对应的非零特征向量为：261. 0657. 0261. 0657. 0929. 0369. 00877. 0261. 09123. 0657. 00877. 0261. 09123. 0657. 00877. 0929. 09123. 0369. 0077. 0628. 0077. 0628

15、. 0275. 0352. 01211275. 0352. 0FFx2212077. 0625. 0FFx3211077. 0682. 0FFx新的共同度为：18129. 0275. 0352. 02221h3966. 0077. 0625. 02222h4710. 0077. 0682. 02223h 第三节 因子旋转正交变换） 建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载荷

16、矩阵每列或行的元素平方值向0和1两极分化。有四种主要的正交旋转法、四次方最大法、方差最大法和等量最大法。 （一为什么要旋转因子（一为什么要旋转因子变换后因子的共同度变换后因子的共同度设正交矩阵，做正交变换 AB )()(1mlljilppijabBmjmjmlljilijiabh111222)()(B mjmlmjmlmljttjljitilljilaaa1 11 1 122)(2111222Aimlmjmlilljilhaa变换后因子的共同度没有发生变化！变换后因子的共同度没有发生变化！（二旋转方法（二旋转方法变换后因子贡献变换后因子贡献设正交矩阵，做正交变换 AB )()(1qlljilp

17、pijabBpipiqlljilijjabS111222)()(B piqlpiqlqltttjljitilljilaaa1111 122piqlqlljjljilSa1112222)(A变换后因子的贡献发生了变化！变换后因子的贡献发生了变化！ 1、方差最大法 方差最大法从简化因子载荷矩阵的每一列出发，使和每个因子有关的载荷的平方的方差最大。当只有少数几个变量在某个因子上又较高的载荷时，对因子的解释最简单。方差最大的直观意义是希望通过因子旋转后，使每个因子上的载荷尽量拉开距离，一部分的载荷趋于1，另一部分趋于0。2122211211ppaaaaaaA221122212122121111FaFa

18、XFaFaXFaFaXpppcossinsincosT设旋转矩阵为：cossinsincosAATB则cossinsincoscossinsincos112112111211ppppaaaaaaaa*2*1*12*11ppaaaa1,2, ;1,2ijijiadip jh令211(pjijiddp这是列和）max)()(1212 mjpijijddV简化准则为：00V令，则可以解出0000cossinsincosT旋转矩阵为：max(8.4.2)123m即：V +V +V+V1000cossin0sincosT1000cossin0sincos T111 TT 2 2、四次方最大旋转、四次方最

19、大旋转 四次方最大旋转是从简化载荷矩阵的行出发，通过旋四次方最大旋转是从简化载荷矩阵的行出发，通过旋转初始因子，使每个变量只在一个因子上又较高的载转初始因子，使每个变量只在一个因子上又较高的载荷，而在其它的因子上尽可能低的载荷。如果每个变荷，而在其它的因子上尽可能低的载荷。如果每个变量只在一个因子上又非零的载荷，这是的因子解释是量只在一个因子上又非零的载荷，这是的因子解释是最简单的。最简单的。 四次方最大法通过使因子载荷矩阵中每一行的因子载四次方最大法通过使因子载荷矩阵中每一行的因子载荷平方的方差达到最大。荷平方的方差达到最大。max)1(2112 pimjijmbQ简化准则为： pimjij

20、ijpimjijmbmbmbQ112242112)112()1( pimjpimjijpimjijmbmb111122114)112( pimjpimjijpimjijmbmb111122114)112( pimjijmpb114)2(MAXbQpimjij 114最终的简化准则为： 3 3、等量最大法、等量最大法 等量最大法把四次方最大法和方差最大法结等量最大法把四次方最大法和方差最大法结合起来求合起来求Q Q和和V V的加权平均最大。的加权平均最大。 MAXpbbEpimjmjpiijij 1111224/)(最终的简化准则为：权数等于m/2，因子数有关。 4 4、斜交旋转、斜交旋转 斜交

21、旋转的目的是使新的载荷系数尽可能的接近斜交旋转的目的是使新的载荷系数尽可能的接近于于0 0或尽可能的远离或尽可能的远离0 0；只是在旋转时，放弃了；只是在旋转时，放弃了因子之间彼此独立的限制，旋转后的新公因子因子之间彼此独立的限制，旋转后的新公因子更容易解释。主要有以下的方法：更容易解释。主要有以下的方法：direct oblimin:direct oblimin:直接斜交旋转。允许因子之间具有直接斜交旋转。允许因子之间具有相关性；相关性；promax:promax:斜交旋转方法。允许因子之间具有相关斜交旋转方法。允许因子之间具有相关性；性；由于斜交旋转计算量大，通常使用并不多。由于斜交旋转计

22、算量大，通常使用并不多。 第四节第四节 因子得分因子得分 （一因子得分的概念（一因子得分的概念 前面我们主要解决了用公共因子的线性组合来表示一组观测变量的有关问题。如果我们要使用这些因子做其他的研究，比如把得到的因子作为自变量来做回归分析，对样本进行分类或评价，这就需要我们对公共因子进行测度，即给出公共因子的值。 因子分析的数学模型为： mpmppmmnFFFXXX2121222211121121 原变量被表示为公共因子的线性组合，当载荷矩阵旋转之后，公共因子可以做出解释，通常的情况下，我们还想反过来把公共因子表示为原变量的线性组合。 因子得分函数： pjpjjXXF11mj, 1可见，要求得

23、每个因子的得分，必须求得分函数的系数，而由于pm，所以不能得到精确的得分，只能通过估计。1、回归方法 nmnmnnmmnFFFXXX212121222211121121pjpjjXbXbF11mj, 1mmpmmppbbbbbbbbbbbb21212222111211 1) 思想)(jiFxijFXEji)(11pjpjiXbXbXEipjpijbb11jpjjipiibbbrrr2121 那么，我们有如下的方程组：pjjjjpjjppppppaaabbb2121212222111211j=1,2,m矩阵为原始变量的相关系数pppppp212222111211个因子得分函数的系数为第 jbbb

24、jpjj21列为载荷矩阵的第 jaaapjjj21 注：共需要解m次才能解出 所有的得分函数的系数。矩阵表示方法 在因子模型中，假设 服从m+p)元的正态分布，有F( )( )EEEFF0 xxVEFFFx-xx-()()()EEEEFFF x-x- Fx- x-()()IEEF x-x- F()()IEEF AF+AF+ FIAA21xx这是一个 对于给定的 的多元回归模型。1()A x122()(E-1-11122212222x /x - )+ x1FA(AA +D) (x-)可见()E-1-12F/x-A + A x2估计的有偏性11()()EF-F)(F-FI + A D A 3平均预

25、报误差11()EF/FF-(I + A D A) F2、巴特莱特因子得分、巴特莱特因子得分(加权最小二乘法）加权最小二乘法） 把 看作因变量；把因子载荷矩阵 看成自变量的观测；把某个个案的得分 看成最小二乘法所要求的系数 。iixpmppmm212222111211ijF 1)巴特莱特因子得分计算方法的思想mmpmpppipmmimmifafafaxfafafaxfafafax221122222121221121211111 由于特殊因子的方差相异，所以用加权最小二乘法求得分，每个个案作一次，要求出所有样品的得分，需要作n次。 pjimimiiiijfafafax1222211/)()(1,m

26、ff使上式最小的是相应个案的因子得分。 用矩阵表达：x- = AF+1()()minx-AF Dx-AF满足上式的F是相应个案的因子得分。2112200D其中111D (x-) = D AF+D 1-1-1A D (x-) = A D AF + A D -1-1A D (x-) = A D AF1-1-1AD AAD (x-) = F1()()0 x-AF Dx-AFF12()0A Dx-AF1( )0A D2得分估计的无偏性n如果将f和不相关的假定加强为相互独立，那么1(E-1-1A D AA DAF +/F)1)/ )EE-1-1(F/FAD AAD(x-) F1-1-1AD AAD AF

27、11-1A DAA D AF F3）F的估计精度1()FF-1-1AD AADAF+F1-1-1AD AAD ()EF-F)(F-F11E-1-1-1-1A D AA D D A A D A11-1-1-1-1A D AA D DD A A D A1-1A D A第五节第五节 因子分析的基本步骤因子分析的基本步骤 计算所选原始变量的相关系数矩阵 相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。 选择分析的变量选择分析的变量 用定性分析和定量分析的方法选择变量，因子分析的前用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子无相关性或相关性较小的话，他们不会有共享因