应用统计学-因子分析-新

第八章因子分析因子分析的目的与类型探索性因子分析的模型因子模型的求解因子旋转因子得分因子分析的SPSS实现实例分析确认性因子分析1/31/20231OriginsofFactorAnalysisInconjunctionwithhisfamoustwo-factortheoryofintelligenceCharlesSpearman1863-1945一、因子分析的目的与类型因子分析的目的：用少数几个不可观测的隐变量来解释原始变量间的协方差关系OriginsofFactorAnalysisWantedtoestimateintelligenceof24childreninavillageschool.Realizedwayofmeasuringintelligencewasimperfectandthatthecorrelationbetweenanytwovariables(say,one’sscoreonamathematicsexamandonaclassicsexam)wouldbeunderestimated.Noticedthattheobservedcorrelationsbetweenthevariableshewasinterestedinwereallpositiveandfollowedapattern.Spearmanwantedtodevelopamodelthatwouldreflectthepatternhesaw.WhatdidSpearmannotice?CorrelationsBetweenExaminationScoresNoticethetrendacrosseachrowontheupperdiagonal认为存在着“generalintelligence”，影响着个体在所有智力活动中的表现(解释各变量间的高度相关），而个体在不同智力活动中表现的差异则是由另一些“specificfactors”决定的（解释相关程度差异）。区分这两类因素可以更准确地预测出某个人在某项工作中的表现。two-factortheoryofintelligence

Couldmodeleachtestscoreashavingtwotypesofcomponents:onecommontoallthescoresandonespecifictotheparticulartestf:availabletothesameindividualtothesamedegreeforallintellectualacts

:variesinstrengthfromoneacttoanother

Ifoneknowshowapersonperformsononetaskthatishighlysaturatedwith“f",onecansafelypredictasimilarlevelofperformanceforaanotherhighly“f"saturatedtask.

themostimportantinformationtohaveaboutaperson'sintellectualabilityisanestimateoftheir“f"

Schematicallyclassicsfrenchenglishmathdiscrmusich1h2h3h4h5h6ff因子：不可观测可观测特殊因子：不可观测，难以估计构成：测量误差+个性因素GoalsofFactorAnalysismodelcorrelationpatternsinusefulway通过对多个变量的相关系数矩阵的研究，找出同时影响或支配多个变量的共性因素。allowforcontextualinterpretationofthenewvariablesevaluatetheoriginaldatainlightofthenewvariables注意：因子分析是一种用来分析隐藏在表象背后的潜在因子作用的统计模型，这些共同因素通常是不可直接观测的基本思想：认为存在一些潜在共性因素影响着事物在多方面的表现实例1考查人体的五项生理指标：收缩压、舒张压、心跳间隔、呼吸间隔和舌下温度。从生理学知识可知，这五项指标是受植物神经支配的，植物神经又分为交感神经和负交感神经，因此这五项指标至少受到两个公共因子的影响，也可用因子模型去处理。五项指标均可观测，而两个公共因子是不可直接观测的：通过指标与公共因子的关系诊病。舒张压心跳间隔呼吸间隔舌下温度收缩压交感神经负交感神经实例2林登根据他收集的来自139名运动员的比赛数据，对第二次世界大战以来奥林匹克十项全能比赛的得分作了因子分析研究。这十个全能项目为：100米跑x1、跳远x2、铅球x3、跳高x4、400米跑x5、110米跨栏x6、铁饼x7、撑杆跳x8、标枪x9、1500米跑x10对10个变量标准化后的因子分析表明，十项得分基本上可归结于他们的短跑速度、爆发性臂力、爆发性腿力和耐力这四个方面，每一方面都称为一个公共因子。因子分析的类型探索性因子分析exploratoryFactorAnalysis根据变量间相关关系探索因子结构实例2确认性因子分析ConfirmatoryFactorAnalysis检验对因子结构的先验认识是否合理，评估因子模型的拟合程度实例1二、探索性因子分析模型正交因子模型重要假设因子载荷阵的统计意义1.正交因子模型observedvariablesfactorloadings因子载荷commonfactorsspecificfactors设：可观测随机变量xi，E(xi)=μi，i=1,2,…p,不可观测正交随机变量fj，j=1,2,…m,E(fj)=0，(fj)=1，一般因子模型：反映了各变量与公共因子的关系m<p因子载荷阵因子分析：求出各因子载荷量aij，并在此基础上计算各样本的因子得分，据此评价样本，预测。与线性回归模型的区别？因子载荷量中心化变量因子模型x1x2x3…xixph1h2h3hihPf1f2fmf因子：不可观测，可估计可观测特殊因子：不可观测，难以估计构成：测量误差+个性因素十项全能例因子模型因子得分计算公式2.ImportantAssumptionsf1,f2,…,fmareindependent,withidenticaldistributionshavingameanof0andavarianceof11、2、…pareindependent,withdistributionshavingameanof0andvariancesi2fiandjareindependentforalli,jcombinationsUndertheassumptionsaboveActually,thegoalof“factoranalysis”istotrytodecomposethecovariancematrix(orcorrelationmatrixforstandardizeddata)intotwopartseachintheformdictatedabove.当m=p时，var(x)=AAT然而只有当m<<p时，因子分析的优势才能显示出来3.因子载荷(Factorloadings)的统计意义Theseaijrepresentthecovariance(corelationifxisstandardised)betweentheoriginalvariableandthecorrespondingfactor，calledfactorloading，aij

表示xi对fj的相关程度全部公共因子对xi的方差贡献称为变量共同度：因子载荷阵第i行元素平方和特殊因子的方差变量共同度（communalities）IfDataareStandardized三、因子模型的求解方法因子模型求解：估计公共因子个数m、载荷阵A和特殊因子方差已知p个相关变量的n次观测值主成分法主成分解主轴因素法principalaxisfactoring如果我们已知特殊因素方差的初始估计，则初始共同度为求R*的前m个特征值和特征向量，得到:实际应用中特殊因素方差未知，可以将初始共同度取为xi对其他所有变量线性回归的R2，然后叠代求解。三、因子模型的求解方法（续）主轴因素法principalaxisfactoring这是用于因子分析的主成分法，是一种叠代方法极大似然法maximumlikelihood：见书不加权最小二乘unweightedleastsquares使观测的和再生的相关阵()之差的平方和最小广义最小二乘generalizedleastsquares因素提取法alphafactoring映像因子提取法imagefactoring例：消费者对止痛药的感觉消费者对止痛药的调查要求消费者从6个方面给不同牌子的止痛药打分：不伤胃：nstomach没有副作用：nsideeff止痛:stoppain见效快:wksquick保持清醒:kpawake部分止痛:limrelie以主成分法和主轴因素法进行因子分析，先用主成分法确定共因子数主轴因素法主成分法用残差评估因子模型方法：检验原始相关矩阵减再生相关矩阵得到的残差阵中，绝对值大于0.05的元素个数及百分比。残差绝对值大于0.05的个数太多，表明该模型不理想四、因子旋转——因子的解释观察止痛药因子模型：两个因子与各变量的相关程度都差不多，这使得我们难以解释潜在因子的含义。能否通过某种变换使因子的含义更为清晰？四、因子的解释——因子旋转设：T为任一正交阵，如果A为载荷阵，则:这说明因子分析的解是不唯一的。这一性质给我们提供了寻找“理想”共因子结构的思路：通过因子旋转使每个变量的载荷都尽可能集中在某个因子上，而在其他因子上的载荷尽可能小，以使公因子易于解释。A*=AT仍是一个因子载荷阵，因子F*与F有相同的统计特性：Rotations

Af1f2FactorLoadings

B“Importance”Theorthogonalrotationdoesnotchangetheoverallcovariancematrix,thespecificvariancesnorthecommunalities.RotationsAf1f2FactorLoadingsB“Importance”RotationsAf1f2FactorLoadingsB“Importance”因子旋转方法正交旋转:保持因素间互不相关方差最大旋转Varimax：使每个因子上具有高载荷的变量数最少——简化对因子的解释四分旋转quartmax：使每个变量中需要解释的因子数最少——简化变量的解释平均正交旋转equamax：前两种方法的结合斜交旋转：允许因素间相关直接斜交旋转directoblilminPromax：比直接斜交旋转快止痛药因子模型旋转结果Factor1:有效性Factor2:和缓性止痛药潜在因素分析五、因子得分因子模型建立之后，样本评价需要计算因子得分即某个样本在这些公共因子方面的表现公共因子得分的计算模式如下：在智力的双因子模型中，每个样本在公共因子f上的得分表示了该样本的一般智力水平Bartlett法(加权最小二乘法)因子模型：我们可以采用与求解线性回归模型相似的方法来得到f1,f2,…fm的近似解。由于p个特殊方差可以不全相等，因此应采用加权的最小二乘估计法，即寻求一组估计值，使得加权的“残差”平方和这样求得的解就是因子得分因子得分系数的求解方法：止痛药例SPSS的因子分析过程分析→数据降维→因子分析显示因子分析主对话框六、因子分析的SPSS实现“描述统计”对话框单变量统计量：均值、标准差初始结果：变量共同度初始估计生成变量相关阵相关阵行列式因子分析的适宜度检验相关阵的逆矩阵反映象相关阵再生相关阵：因子分析后的R及残差“抽取”对话框因子提取方法显示未旋转解特征根图抽取因子个数“旋转”对话框因子旋转方法显示旋转解因子载荷散点图：给出以两两因子为坐标的各变量载荷“因子得分”对话框因子得分作为变量保存回归法：因子得分均值为0“选项”对话框缺失值处理方法有缺失值的样本被剔除载荷系数的显示格式按数值大小排列不显示绝对值小于指定值的载荷系数因子分析的基本步骤因子分析的核心问题有两个：一是如何构造因子变量；二是如何对因子变量进行命名解释。因此，因子分析的基本步骤和解决思路就是围绕这两个核心问题展开的。因子分析常常有以下四个基本步骤：（1）确认待分析的原有变量是否适合作因子分析。（2）构造因子变量（确定公共因子个数）。（3）利用旋转方法使因子变量更具有可解释性。（4）计算因子变量得分。（5）多种算法比较以判断因子模型的稳定性1.巴特利特球度检验

（Bartletttestofsphericity）巴特利特球度检验是以变量的相关系数矩阵为出发点。它的零假设是Ho：相关系数矩阵是一个单位阵，即相关系数矩阵对角线上的所有元素都为1，所有非对角线上的元素都为零。巴特利特球度检验的统计量根据相关系数矩阵的行列式计算得到。如果该统计量值比较大，且其对应的相伴概率值小于用户心中的显著性水平，则应拒绝Ho，认为相关系数矩阵不太可能是单位阵，适合作因子分析；相反，如果该统计量值比较小，且其对应的相伴概率值大于用户心中的显著性水平；则不能拒绝Ho，可以认为相关系数矩阵可能是单位阵，不适合作因子分析。因子分析的适宜度检验：变量间相关程度较高才适宜做化简2.KMO(Kaiser-Meyer-Olkin)

KMO统计量是用于比较变量间简单相关系数和偏相关系数的一个指标，计算公式如下：

式中：rij是变量和变量之间的简单相关系数，pij是它们之间的偏相关系数。可见，KMO统计量的取值在0和1之间，当所有变量之间的简单相关系数平方和远远大于偏相关系数平方和时，KMO值接近1。KMO值越接近1，则越适合作因子分析，KMO越小，则越不适合作因子分析。Kaiser给出了一个KMO的度量标准：0.9以上非常适合；0.8适合；0.7一般；0.6不太适合；0.5以下不适合。

止痛药例：因子分析适宜度检验七、应用（1）研究消费者对速溶麦片的看法：12种品牌速溶麦片的调查(Creatingaperceptualmapofready-to-eatcerealbrandsintheAustralianmarket,RobertsandLattin,1991)影响麦片销售的特性有25个每个被调查者从25个方面给三个自己最喜欢的品牌的麦片打分，打分采用5分制共116人作答，得到235个样本研究的目的：有哪些特性影响消费者的购买决策研究过程1.用主成分法确定因素的个数2.用不同方法求解因子模型，以确定较好模型3.因子解释4.用因子得分对各个品牌做出综合评价。用SPSS中的“aggregate”功能和散点图保留四个因子还是五个因子？可能意味着因子数过多两种不同方法得到的同一因子的分散点图越接近45°线越好保留四个因子主成分法和极大似然法主轴因素法和极大似然法注意：“easy”的变量共同度非常低，说明easy83%的变异都是特殊因子解释的，4个因子对这一特性的解释能力非常低，而且与每个因子的相关程度很低（最大0.3)，为什么？

因子个数太少？

easy这一特性指标选得不好？所有品牌都是速溶麦片，消费者在这一特性上难以作出明确判断5个公因子选用主轴因素法healthfulartificialNon-adultPopularityinteresting对各品牌的评价调用”数据”→“分类汇总”过程，按照cerealid分类统计各品牌麦片的因素得分应用（2）303名MBA学生对10个品牌汽车的评价BMW328i,FordExplorer,InfinitiJ130,Cherokee,LexusES300,ChryslerTown&Country,MercedesC280,Saab9000,PorscheBoxster,VolvoV90每个学生对每种车型就16个方面打分Exciting,dependable,luxurious,ourdoorsy,powerful,stylish,comfortable,rugged,funtodrive,safe,high-performancecar,familycar,versatile,sporty,high-statuscar,practical从每个学生对10个品牌汽车的评价中随机抽取一份组成样本，共303个样本。作因子分析：可提取多少个共因子？如何解释这些因子？保存因子得分，计算每个品牌汽车的平均因子得分并作图和解释现代实用越野保留四个因子？再生相关阵残差明显下降八、确认性因子分析

ConfirmatoryFactorAnalysisLooselySpeaking…AllowstheusertospecifypriornotionsaboutthestructureofthefactormodelAllowstheusertotesthypothesesaboutmodelparametersandtoassessfitPriorNotions?Aboutwhichvariablesloadonwhichfactors.Abouthowcorrelatedyouthinktheunderlyingfactorsare.Recall,intheexploratorymodeltheunderlyingfactorsarenecessarilymodeledasuncorrelated.TestingandFit?Withsomepriornotionsfixedandmaximumlikelihoodestimationemployed,standarderrorsofparameterestimatesareavailable.Theseare“asymptotic”–orvalidwithlargesamples.Likewise,formalfitstatisticsareavailable(typicallychi-squaredstatistics)thatallowmodelcomparisonsExploratoryTwo-FactorModel待估参数：ij,i,i=1,…5,j=1,2Specificweightingpatternhypothesized.NumberofparameterstobeestimatedreducedTypicalConfirmatoryModelwith待估参数：11,21,31,42,52

,12,i,i=1,…5SchematicallyX1X2X3X4X5h1h2h3h4h5f1f2Wij=1ifxiandxjarehypothesizedtoloadonthesamefactorWij=cov(f1,f2)ifxiandxjarehypothesizedtoloadondifferentfactorsCovarianceModel确认性因子分析一般模型AsymptoticStandardError(标准误的一致估计量Forthecomfirmatoryfactoranalysis,weareabletoobtainasymptoticstandarderroroftheparameterestimates.ThisenablesustoconductstatisticaltestsoftheparametervaluesGoodnessofFitThestatisticstotestthegoodness-of-fitofthemodelGoodness-of-fitindex(GFI)Bettergreaterthano.95GFIadjustedfordegreesoffreedom(AGFI)Bettergreaterthano.902