主成分分析与因子分析(管理统计学与SPSS应用课件)

管理统计学2010年11主成分分析与因子分析11.1因子分析11.1.1因子分析的理论与方法11.1.2因子分析的SPSS应用11.2主成分分析11.2.1主成分分析的理论与方法11.2.2主成分分析的SPSS应用11.1因子分析因子/基础变量：既能包含原来众多变量代表的信息，又能解释这些变量相互依存关系的变量因子分析：多元统计分析技术的一个分支，用于处理多变量问题，是一种降维、简化数据的技术因子分析的应用寻求基本结构数据化简

11.1.1因子分析的理论与方法因子分析的数学模型因子分析的有关概念因子负载公共因子方差因子的贡献因子旋转解释因子因子得分因子分析的步骤因子分析的数学模型F1,F2,…,Fm称为公共因子，i为Xi的特殊因子矩阵形式X=AF需满足：mpCov(F,)=0

且因子负载联系观测变量和公共因子的桥梁公共因子完全不相关时，因子负载aij等于第i个变量和第j个因子之间的相关系数aij的绝对值越大，公共因子与观测变量关系越大公共因子彼此不相关时，变量Xi与Xj的相关系数为比较观测数据计算出的相关系数和模型导出的变量的相关系数，判断因子解是否合适差别很小，模型很好的拟合观测数据，因子解合适

公共因子方差/共同度观测变量的方差中由公共因子决定的比例说明用公共因子替代观测变量后，原来每个变量信息被保留的程度公共因子方差越大，变量能够被因子说明的程度越高当公共因子彼此正交时，公共因子方差等于和该变量有关的因子负载的平方和因子的贡献用因子所能够解释的总方差衡量的每个公共因子对变量的解释能力所有公共因子的总贡献为：实际中，相对指标更为常用，即每个因子所解释的方差占所有变量总方差的比例Vp/kK为观测变量的个数因子旋转因子结构：因子和变量之间的相关关系因子模式：因子负载矩阵因子旋转的条件一个变量在多个公共因子上有较大的负荷多个变量在同一个公共因子上有较大的负荷因子旋转的目的使同一个因子在各个变量上的负载尽可能的向靠近1和靠近0的两极分离因子旋转的方式正交旋转：使因子轴之间仍然保持90度角，因子之间仍旧不相关，因子结构与因子模式等同斜交旋转：因子之间的夹角是任意的，因子负载不再等于因子和变量之间的相关系数因子模式与因子结构的关系为S=BW，S为因子结构矩阵，B为因子负载矩阵，W为斜交因子之间的相关系数矩阵解释因子解释因子的作用借助因子负载矩阵，找出在某个因子上有显著负载的变量根据这些变量的意义给因子一个合适的名称具有较高负载的变量对因子名称的影响较大解释因子的确定一般认为绝对值大于0.3的因子负载就是显著的因子得分因子得分的求解过程用观测变量的线性组合表示因子依据因子对应的每个变量的具体数值进行测度因子得分的计算在因子分析模型中，不考虑特殊因子的影响，当m=p且A可逆时，该样本在因子F上的得分F=A-1X实际应用要求mp，只能对因子得分进行估计因子分析的步骤计算所有变量的相关系数矩阵提取因子，确定因子的个数和求因子解的方法进行因子旋转，使因子解的实际意义更容易解释计算因子得分11.1.2因子分析的SPSS应用添加分析变量描述性统计设置因子提取设置因子旋转设置因子得分设置缺失值及因子负载矩阵设置生育率影响因素分析变量设置X1:Multi-parity(%),X2:Contraception(%)X3:J.school&above(%),X4:Averageincome(元),X5:Urban(%)IdX1X2X3X4X5IdX1X2X3X4X510.9489.8964.51357773.08169.0488.7639.7188015.5222.5892.3255.41298168.651712.0287.2838.76124828.91313.4690.7138.2114819.081811.1589.1336.3397618.23412.4690.0445.12112427.681922.4687.7238.38184536.7758.9490.4641.83108036.122024.3484.8631.0779815.162.890.1750.64201150.862133.2183.7939.44119324.0578.9191.4346.32138342.65224.7890.5731.2690320.2588.8290.7847.33162847.172321.5686.022.3865418.9390.891.4762.36482266.232414.0980.9621.4995614.72105.9490.3140.85169621.242532.3187.67.786512.59112.692.4235.14171732.812611.1889.7141.0193021.49127.0787.9729.5193317.92713.886.3329.6993822.041314.4488.7129.04131321.362825.3481.5631.3110027.351415.2489.4331.0594320.42920.8481.4534.59102425.72153.1691.2137.85137227.343039.664.938.47137431.91添加分析变量Analyze→Data

Reduction→Factor选择变量：选择参与分析的数据描述性统计设置输出原始变量的基本描述统计量

输出因子分析的初始解

简单相关系数矩阵

相关系数矩阵的逆矩阵

显著性检验

相关系数矩阵的行列式

再生相关阵

反映象相关矩阵

KMO和Bartlett球形检验

因子提取设置7

种因子提取方法，默认为主成分分析法标准化后因子分析直接因子分析相关系数矩阵协方差矩阵输出旋转前的因子方差贡献表和因子负载矩阵输出因子碎石图设置提取的因子对应的特征跟范围，默认值1输入提取因子的个数Principalcomponents/主成分法：把给定的一组相关变量通过线性变换转换成另一组不相关的变量，新的变量按照方差递减的顺序排列，总方差不变Unweightedleastsquares/普通最小二乘法：使因子模型计算出的相关系数和观测到的相关系数之间的离差平方和最小Genenralizedleastsquares/广义最小二乘法：用与Unweightedleastsquares同样的原则，迭代过程中，用特殊因子方差倒数调整相关系数矩阵Maximumlikelihood/最大似然法：类似广义最小二乘法，使因子解最好拟合观测数据变量的相关关系假设样本来源于多维正态总体，构造样本似然函数使其达到极大求解过程中相关系数用特殊因子方差倒数加权因子提取方法Principalaxisfactoring/主轴因子法：类似主成分法，用公共因子方差代替相关系数矩阵主对角线上的元素1新的矩阵称为调整相关系数矩阵，解调整相关系数矩阵的特征方程求得因子解Alphafactoring/因子提取法：变量是来自潜在变量空间中的样本，通过给定的总体观测，使提取的公共因子和假设存在的公共因子有最大的相关Imageanalysis/映像分析法：一个变量分解为两部分公共部分：由除该变量外的观测变量线性组合预测，即该变量的映像特有部分：不能被其他变量线性组合预测，即变量的反像同时考虑样本空间和变量空间，映像的平方相当于公共因子方差，反像的平方相当于特殊因子方差，采用和主成分法类似的过程求得因子解因子提取方法（续）因子提取方法的选择通常各种方法产生的公共因子方差差别不大公共因子方差为1时，主成分法和其他6种方法的实质是一样的公共因子方差较低时，差别比较明显主成分法解释变量的方差，假设每个变量的方差能被完全解释，相关系数矩阵主对角线上的元素和其他元素同样重要，甚至更重要其他方法解释变量的相关关系，假设观测变量的相关能完全被公共因子解释，方差不一定能完全被公共因子解释不能被解释的方差只影响相关系数矩阵主对角线上的元素要求因子解能够拟合相关系数矩阵主对角线以外的元素提取相同数目的因子，主成分法能够解释更多的方差变量个数增加，主对角线上元素重要程度降低，差异不再明显样本量很大时，最大似然法解比其他解的精度有明显提高依据因子分析的目的和对变量方差了解程度决定的方法要以最少的因子最大程度地解释原始数据中的方差，或已明确特殊因子和误差带来的方差很小，适合用主成分法为了确定数据结构但并不了解变量方差的情况，适用其他6种方法因子旋转设置简化因子负载矩阵列，使因子负载平方的方差最大直接斜交旋转法因子自相关的程度可尽量减少解释变量的因子个数Varimax与Quartimax因子解加权平均速度比直接旋转法快，适用于大样本输出旋转后的因子方差贡献表和因子负载矩阵

输出旋转后因子负载散点图

因子得分设置将因子值作为新变量保存在数据文件中

计算因子得分的方法

输出因子得分矩阵

缺失值及因子负载矩阵设置

缺失值处理方法

因子负载矩阵显示方式

观测的所有分析变量有一个有缺失值就不参与分析

只把两个变量协方差或相关系数带有缺失值的观测删除

用均值替代缺失值

按因子负载的大小排序

不显示绝对值太小的因子负载

变量共同度、KMO与Bartlett球形检验

CommunalitiesInitialExtractionmulti-parity%1.000.887contraception%1.000.913J.school&above%1.000.860averageincome1.000.878urban%1.000.931ExtractionMethod:PrincipalComponentAnalysis.共同度都在85%以上，因子提取效果比较理想KMOandBartlett'sTestKaiser-Meyer-OlkinMeasureofSamplingAdequacy..713Bartlett'sTestofSphericityApprox.Chi-Square106.776df10Sig..000KMO统计量为0.713，Bartlett球形检验的值为0.000，说明案例数据比较适合因子分析

相关系数矩阵及相关显著性检验（CorrelationMatrix）

multi-parity%contraception%J.school&above%AverageincomeUrban%Correlationmulti-parity%1.000-.761-.542-.453-.453contraception%-.7611.000.293.253.245J.school&above%-.542.2931.000.771.849averageincome-.453.253.7711.000.878urban%-.453.245.849.8781.000Sig.(1-tailed)multi-parity%.000.001.006.006contraception%.000.058.089.096J.school&above%.001.058.000.000averageincome.006.089.000.000urban%.006.096.000.000初始的样本相关系数矩阵或协差阵特征根

特征根与方差贡献率表TotalVarianceExplainedInitialEigenvaluesExtractionSumsofSquaredLoadingsRotationSumsofSquaredLoadingsTotal%ofVarianceCumulative%Total%ofVarianceCumulative%Total%ofVarianceCumulative%13.2565.00665.0063.2565.00665.0062.68353.66153.66121.2224.39689.4011.2224.39689.4011.78735.74089.4013.254.99394.3944.1813.62098.0145.0991.986100.000ExtractionMethod:PrincipalComponentAnalysis.各因子特征根

各因子方差贡献率

各因子累计方差贡献率旋转前的因子负载矩阵ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554contraception%.568-.768ExtractionMethod:PrincipalComponentAnalysis.a.2componentsextracted.每个变量的因子表达式因子碎石图变平缓，提取两个因子旋转后的因子负载矩阵RotatedComponentMatrixaComponent12urban%.952.157averageincome.922.166J.school&above%.892.255contraception%.076.953multi-parity%-.354-.873ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.a.Rotationconvergedin3iterations.因子负载系数两级分化

因子得分系数矩阵ComponentScoreCoefficientMatrixComponent12multi-parity%.041-.510contraception%-.185.627J.school&above%.343-.032averageincome.378-.100urban%.393-.113ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.因子得分表达式因子得分表IdFAC1_1FAC2_1IdFAC1_1FAC2_112.594700.2954816-0.598150.5204821.888210.6211217-0.084350.064343-0.493410.4759418-0.596870.437224-0.071070.37147190.37363-0.532495-0.012690.5549820-0.70198-0.6773560.982890.60139210.00308-1.3820270.372610.5791622-0.805650.9378080.637300.4457923-0.97955-0.3883692.835570.4032424-0.83624-0.6054310-0.148170.7262825-1.49137-0.6829311-0.116541.0775526-0.418400.4734212-0.802310.5335227-0.61051-0.0301413-0.567790.1823928-0.15355-1.2355514-0.709020.2688729-0.14180-1.0100715-0.269420.97540300.92086-4.00152因子得分的协差阵ComponentScoreCovarianceMatrixComponent1211.000.0002.0001.000ExtractionMethod:PrincipalComponentAnalysis.RotationMethod:VarimaxwithKaiserNormalization.根据因子分析的数学模型，因子得分的协差阵应该是单位阵11.2主成分分析Hotelling于1933年首先提出主要思想通过线性组合的方式从多个具有一定相关性的变量中尽可能快地提取信息当一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个快速提取的过程，，直到所提取的信息与原指标相差不多时为止优点通过较少的主成分得到较多的信息量与因子分析的区别用各个变量的线性组合表示主成分，并非用因子表示变量不需要类似于各个因子之间不相关等的假设条件与因子分析的联系都需要对指标进行正向化和标准化都需要判断相关系数矩阵变量间的相关性求特征值和特征向量11.2.1主成分分析的理论与方法

主成分分析的数学模型主成分分析的几何意义主成分分析的作用主成分分析的求解步骤主成分分析的数学模型用原始数据矩阵的个变量作线性组合用矩阵表示为：Y=UX满足：矩阵的每一行都是单位行向量Yi与Yj之间不相关Y1是X1,…,XP的一切组合中方差最大的，Y2是与Y1不相关的X1,…,XP的一切组合中方差最大的，Ym是与Y1,…,Ym-1都不相关的X1,…,XP的一切组合中方差最大的主成分分析的几何意义二维变量的情况二维空间中的变量由横坐标和纵坐标表示这些数据形成一个椭圆形状的点阵椭圆短轴方向上，数据变化很少极端情况，短轴退化成一点，只有在长轴的方向上才能解释这一点的变化，二维到一维的降维完成坐标轴和椭圆的长、短轴平行长轴的变量描述数据的主要变化，短轴的变量描述数据的次要变化坐标轴不和椭圆的长、短轴平行寻找椭圆的长、短轴，进行变换，使新变量和椭圆的长、短轴平行多维变量的情况表现为高维椭球，无法直观看见找出高维椭球主轴，用代表大多数信息的最长的几个轴作为新变量主成分分析基本上完成二维椭圆有两个主轴，三维椭球有三个主轴，有几个变量，就有几个主成分主成分分析的作用主成分分析能降低所研究的数据空间维数可通过因子负载的结论，弄清变量间的某些关系主成分分析可以作为多维数据的一种图形表示方法可以由主成分分析法构造回归模型用主成分分析筛选回归变量主成分分析的求解步骤指标数据的标准化指标之间的相关关系判定确定主成分个数确定主成分的表达式为主成分命名11.2.2主成分分析的SPSS应用利用SPSS进行因子分析利用因子分析结果进行主成分分析计算主成分利用SPSS进行因子分析Analyze→Data

Reduction→Factor使用与因子分析相同的原始数据ComponentMatrixaComponent12J.school&above%.892.255urban%.891.370averageincome.870.347multi-parity%-.762.554c