10主成分因子.ppt

1、第 11 章 主成分分析和因子分析,11.1 主成分分析 11.2 因子分析,汇报什么？,假定你是一个公司的财务，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。 如果让你向上面介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？ 当然不能。 你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。,每个人都会遇到有很多变量的数据。 比如全国或各个地区的带有许多经济和社会变量的数据； 用指标描述研究对象要求具有全面性，难免会设计很多指标。 观察指标的增加本来是为了使研究过

2、程趋于完整，但反过来说，为使研究结果清晰明了而一味增加观察指标又让人陷入混乱不清。由于指标太多，使得分析的复杂性增加。众多的要素常常给模型的构造带来很大困难。 由于在实际工作中，指标间经常具备一定的相关性，故人们希望用较少的指标代替原来较多的指标，但依然能反映原有的全部信息，于是就产生了主成分分析、因子分析等方法。,从众多指标中找出它们的少数“代表”来对它们进行描述。,100个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。,从本例可能提出的问题,目前的问题是，能不能把这个数据的6个变量用一两个综合变量来表示呢？ 这一两个综合变量包含有多少原来的信息呢？ 能不能利用找到的综合变量

3、来对学生排序呢？,11.1 主成分分析 11.1.1 主成分分析的基本原理 11.1.2 主成分分析的数学模型 11.1.3 主成分分析的步骤,11.1.1 主成分分析的基本原理,主成分分析,主成分分析就是设法将原来指标重新组合成一组新的互相无关的几个综合指标来代替原来指标，同时根据实际需要从中可取几个较少的综合指标尽可能多地反映原来指标的信息。 这种将多个指标化为少数互相无关的综合指标的统计方法叫做主成分分析或称主分量分析。 也是数学上处理降维的一种方法。 在引进主成分分析之前，先看下面的例子。,空间的点,例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用

4、低维空间表示。 先假定只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；,收入,消费支出,收入,消费支出,如果这些数据形成一个椭圆形状的点阵,那么这个椭圆有一个长轴和一个短轴。在短轴方向上，数据变化很少；在极端的情况，短轴如果退化成一点，那只有在长轴的方向才能够解释这些点的变化了；这样，由二维到一维的降维就自然完成了。,椭球的长短轴,当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。 但是，坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的

5、长短轴平行。 如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有道理。,问: 哪个有降维的可能呢? 什么时候降维不损失信息呢? 独立的两个变量没有办法降维,主成分分析就没有意义. 上面图中取一维,取长轴,损失短轴,损失多少?看短轴占的比例.,主轴和主成分,对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看见罢了。 首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基本完成了。 注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交的新

6、变量是原先变量的线性组合，叫做主成分(principal component)。,主成分之选取,正如二维椭圆有两个主轴(垂直)，三维椭球有三个主轴一样(主轴的长度就是在这个变量的差异,即方差)，有几个变量，就有几个主成分。 选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴长度总和的大部分。有些文献建议，所选的主轴总长度占所有主轴长度之和的大约85%即可，其实，这只是一个大体的说法；具体选几个，要看实际情况而定。,不难想像这些主成分之间不仅不相关，而且它们的方差依次递减。 因此在实际工作中，就挑选前几个最大主成分，虽然这样做会损失一部分信息，但是由

7、于它使我们抓住了主要矛盾，并从原始数据中进一步提取了某些新的信息，因而在某些实际问题的研究中得益比损失大，这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的分析和处理。,2008年8月,选择几个主成分？选择标准是什么？ 被选的主成分所代表的主轴的长度之和占了主轴总程度之和的大部分 在统计上，主成分所代表的原始变量的信息用其方差来表示。因此，所选择的第一个主成分是所有主成分中的方差最大者，即Var(yi)最大 如果第一个主成分不足以代表原来的个变量，在考虑选择第二个主成分，依次类推 这些主成分互不相关，且方差递减,主成分的选择,11.1.2 主成分分析的数学模型,2008年8月,数学上的处

8、理是将原始的p个变量作线性组合，作为新的变量 设p个原始变量为 ，新的变量(即主成分)为 ，主成分和原始变量之间的关系表示为,主成分分析的数学模型,主成分分析的数学模型,aij为第i个主成分yi和原来的第j个变量xj之间的线性相关系数，称为载荷(loading)。比如，a11表示第1主成分和原来的第1个变量之间的相关系数，a21表示第2主成分和原来的第1个变量之间的相关系数,主成分分析的数学模型,用矩阵X的p个向量（ 即p个指标向量） Xl，X2，Xp 作线性组合且具有正交特征。即将综合成p个指标，即 F1=a11X1+a12X2+.+a1pXp F2=a21X1+a22X2+.+a2pXp

9、. Fp=ap1X1+ap2X2+.+appXp 这样决定的综合指标F1，F2，Fp分别称做原指标的第一，第二，第p主成分，且F1，F2，Fp 在总方差中占的比例依次递减。,上述方程组简写成:,(注意:X是n维向量,所以F也是n维向量),上述方程要求:,且系数有下列原则决定: (1) 与 不相关 (2) 是 的一切线性组合(系数满足上述方程组)中方差最大的, 是与 不相关的 的一切线性组合(系数满足上述方程组)中方差最大的,2008年8月,究竟选择几个主成分才合适呢？ 一般要求所选主成分的方差总和占全部方差的80%以上就可以了。当然，这只是一个大体标准，具体选择几个要看实际情况 如果原来的变量

10、之间的相关程度高，降维的效果就会好一些，所选的主成分就会少一些，如果原来的变量之间本身就不怎么相关，降维的效果自然就不好 不相关的变量就只能自己代表自己了,主成分的选择,11.1.3 主成分分析的步骤,2008年8月,对原来的p个指标进行标准化，以消除变量在水平和量纲上的影响 根据标准化后的数据矩阵求出相关系数矩阵 求出协方差矩阵的特征根和特征向量 确定主成分，并对各主成分所包含的信息给予适当的解释,主成分分析的步骤,2008年8月,【例】根据我国31个省市自治区2006年的6项主要经济指标数据，进行主成分分析，找出主成分并进行适当的解释,主成分分析 (实例分析),2008年8月,SPSS的输

11、出结果,各变量之间的相关系数矩阵,变量之间的存在较强的相关关系，适合作主成分分析,2008年8月,SPSS的输出结果(选择主成分),各主成分所解释的原始变量的方差,该表是选则主成分的主要依据,2008年8月,“Initial Eigenvalues”(初始特征根) 实际上就是本例中的6个主轴的长度 特征根反映了主成分对原始变量的影响程度，表示引入该主成分后可以解释原始变量的信息 特征根又叫方差，某个特征根占总特征根的比例称为主成分方差贡献率 设特征根为，则第i个主成分的方差贡献率为 比如，第一个主成分的特征根为3.963，占总特征根的的比例(方差贡献率)为66.052%，这表示第一个主成分解释

12、了原始6个变量66.052%的信息，可见第一个主成分对原来的6个变量解释的已经很充分了,根据什么选择主成分？,2008年8月,根据主成分贡献率 一般来说，主成分的累计方差贡献率达到80%以上的前几个主成分，都可以选作最后的主成分 比如表13.3中前两个主成分的累计方差贡献率为95.57% 根据特特征根的大小 一般情况下，当特征根小于1时，就不再选作主成分了，因为该主成分的解释力度还不如直接用原始变量解的释力度大 比如表13.3中除前两个外，其他主成分的特征根都小于1。所以SPSS只选择了两个主成分 就本例而言，两个主成分就足以说明各地区的经济发展状况了,根据什么选择主成分？,2008年8月,S

13、PSS还提供了一个更为直观的图形工具来帮助选择主成分，即碎石图(Scree Plot) 从碎石图可以看到6个主轴长度变化的趋势 实践中，通常结合具体情况，选择碎石图中变化趋势出现拐点的前几个主成分作为原先变量的代表，该例中选择前两个主成分即可,根据什么选择主成分？ (Scree Plot),拐点,2008年8月,怎样解释主成分？,主成分的因子载荷矩阵,表1中的每一列表示一个主成分作为原来变量线性组合的系数，也就是主成分分析模型中的系数aij 比如，第一主成分所在列的系数0.670表示第1个主成分和原来的第一个变量(人均GDP)之间的线性相关系数。这个系数越大，说明主成分对该变量的代表性就越大,

14、2008年8月,载荷图(Loading Plot)直观显示主成分对原始6变量的解释情况 图中横轴表示第一个主成分与原始变量间的相关系数；纵轴表示第二个主成分与原始变量之间的相关系数 每一个变量对应的主成分载荷就对应坐标系中的一个点，比如，人均GDP变量对应的点是(0.670，0.725) 第一个主成分很充分地解释了原始的6个变量(与每个原始变量都有较强的正相关关系)，第二个主成分则较好地解释了居民消费水平、人均GDP和年末总人口这3个变量(与它们的相关关系较高)，而与其他变量的关系则较弱(相关系数的点靠近坐标轴),怎样解释主成分？ (Loading Plot),相关系数的点越远离坐标轴，主成分

15、对原始变量的代表性就越大。这3个点远离主成分2的坐标,11.2 因子分析 11.2.1 因子分析的意义和数学模型 11.2.2 因子分析的步骤 11.2.3 因子分析的应用,第 11 章 主成分分析和因子分析,11.2.1 因子分析的意义和数学模型,11.2 因子分析,2008年8月,由Charles Spearman于1904年首次提出的 与主成分分析类似，它们都是要找出少数几个新的变量来代替原始变量 不同之处：主成分分析中的主成分个数与原始变量个数是一样的，即有几个变量就有几个主成分，只不过最后我们确定了少数几个主成分而已。而因子分析则需要事先确定要找几个成分，也称为因子(factor)，

16、然后将原始变量综合为少数的几个因子，以再现原始变量与因子之间的关系，一般来说，因子的个数会远远少于原始变量的个数,什么是因子分析？ (factor analysis),2008年8月,因子分析可以看作是主成分分析的推广和扩展，但它对问题的研究更深入、更细致一些。实际上，主成分分析可以看作是因子分析的一个特例 简言之，因子分析是通过对变量之间关系的研究，找出能综合原始变量的少数几个因子，使得少数因子能够反映原始变量的绝大部分信息，然后根据相关性的大小将原始变量分组，使得组内的变量之间相关性较高，而不同组的变量之间相关性较低。因此，因子分析属于多元统计中处理降维的一种统计方法，其目的就是要减少变量

17、的个数，用少数因子代表多个原始变量,什么是因子分析？ (factor analysis),2008年8月,因变量和因子个数的不一致，使得不仅在数学模型上，而且在实际求解过程中，因子分析和主成分分析都有着一定的区别，计算上因子分析更为复杂 因子分析可能存在的一个优点是：在对主成分和原始变量之间的关系进行描述时，如果主成分的直观意义比较模糊不易解释，主成分分析没有更好的改进方法；因子分析则额外提供了“因子旋转(factor rotation)”这样一个步骤，可以使分析结果尽可能达到易于解释且更为合理的目的,因子分析的数学模型,2008年8月,原始的p个变量表达为k个因子的线性组合变量 设p个原始变

18、量为 ，要寻找的k个因子(kp)为 ，主成分和原始变量之间的关系表示为,因子分析的数学模型,因子分析的数学模型,系数aij为第个i变量与第k个因子之间的线性相关系数，反映变量与因子之间的相关程度，也称为载荷(loading)。由于因子出现在每个原始变量与因子的线性组合中，因此也称为公因子。为特殊因子，代表公因子以外的因素影响,2008年8月,共同度量(Communality) 因子的方差贡献率,因子分析的数学模型(共同度量Communality和公因子的方差贡献率 ),变量xi的信息能够被k个公因子解释的程度，用 k个公因子对第i个变量xi的方差贡献率表示,第j个公因子对变量xi的提供的方差总

19、和，反映第j个公因子的相对重要程度,11.2.2 因子分析的步骤,11.2 因子分析,2008年8月,因子分析要求样本的个数要足够多 一般要求样本的个数至少是变量的5倍以上。同时，样本总数据量理论要求应该在100以上 用于因子分析的变量必须是相关的 如果原始变量都是独立的，意味着每个变量的作用都是不可替代的，则无法降维 检验方法 计算各变量之间的相关矩阵，观察各相关系数。若相关矩阵中的大部分相关系数小于0.3，则不适合作因子分析 使用Kaiser-Meyer-Olkin检验(简称KMO检验)和 Bartlett球度检验(Bartletts test of sphericity)来判断(SPSS

20、将两种检验统称为“KMO and Bartletts test of sphericity”),因子分析的步骤(数据检验),2008年8月,Bartlett球度检验 以变量的相关系数矩阵为基础，假设相关系数矩阵是单位阵(对角线元素不为0，非对角线元素均为0)。如果相关矩阵是单位阵，则各变量是独立的，无法进行因子分析 KMO检验 用于检验变量间的偏相关性，KMO统计量的取值在01之间 如果统计量取值越接近1，变量间的偏相关性越强，因子分析的效果就越好 KMO统计量在0.7以上时，因子分析效果较好；KMO统计量在0.5以下时，因子分析效果很差,因子分析的步骤(数据检验),2008年8月,Princ

21、ipal components(主成分法)：多数情况下可以使用该方法(这也是SPSS的默认选项)。通过主成分分析的思想提取公因子，它假设变量是因子的线性组合 Unweight Least Square(不加权最小平方法)：该方法使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Generalized Least Square(加权最小平方法)：用变量值进行加权，该方法也是使实际的相关矩阵和再生的相关矩阵之差的平方和达到最小 Maximum Likelihood(最大似然法)：该方法不要求数据服从正态分布，在样本量较大时使用较好 Principal Axis Factoring(主轴因子法)

22、：该方法从原始变量的相关性出发，使得变量间的相关程度尽可能地被公因子解释,因子分析的步骤(因子提取),2008年8月,因子数量的确定 用公因子方差贡献率提取：与主成分分析类似，一般累计方差贡献率达到80%以上的前几个因子可以作为最后的公因子 用特征根提取：一般要求因子对应的特征根要大于1，因为特征根小于1说明该共因子的解释力度太弱，还不如使用原始变量的解释力度大 实际应用中，因子的提取要结合具体问题而定，在某种程度上，取决于研究者自身的知识和经验,因子分析的步骤(因子提取),2008年8月,因子命名是因子分析重要一步 一个因子包含了多个原始变量的信息，它究竟反映了原始变量的哪些共同信息？ 因子

23、分析得到的因子的含义是模糊的，需要重新命名，以便对研究的问题作出合理解释 可通过考察观察因子载荷矩阵并结合实际问题完成 命名已经不是统计问题。它需要研究者自身的专业素质和对实际问题背景的了解程度，这需要更多的实践经验,因子分析的步骤(因子命名),2008年8月,观察因子载荷矩阵 如果因子载荷aij的绝对值在第i行的多个列上都有较大的取值(通常大于0.5)，表明原始变量与多个因子都有较大的相关关系，意味着原始变量xi需要由多个因子来共同解释 如果因子载荷aij的绝对值在第j列的多个行上都有较大的取值，则表因子fi能共同解释许多变量的信息，而对每个原始变量只能解释其中的少部分信息，表明因子不能有效

24、代表任何一个原始变量，因子的含义模糊不清，难以对因子给出一个合理的解释 需要进行因子旋转，以便得到更加合理的解释,因子分析的步骤(因子命名),2008年8月,因子旋转(factor rotation)的目的是使因子的含义更加清楚，以便于对因子的命名和解释 旋转的方法有正交旋转和斜交旋转两种 正交旋转是指坐标轴始终保持垂直90度旋转，这样新生成的因子仍可保持不相关 斜交旋转坐标轴的夹角可以是任意的，因此新生成的因子不能保证不相关。因此实际应用中更多地使用正交旋转 SPSS提供5种旋转方法，其中最常用的是Varimax(方差最大正交旋转)法,因子分析的步骤(因子命名旋转),2008年8月,Vari

25、max(方差最大正交旋转)：最常用的旋转方法。使各因子保持正交状态，但尽量使各因子的方法达到最大，即相对的载荷平方和达到最大，从而方便对因子的解释 Quartimax(四次方最大正交旋转)：该方法倾向于减少和每个变量有关的因子数，从而简化对原变量的解释 Equamax(平方最大正交旋转)：该方法介于方差最大正交旋转和四次方最大正交旋转之间 Direct Oblimin(斜交旋转)：该方法需要事先指定一个因子映像的自相关范围 Promax：该方法在方差最大正交旋转的基础上进行斜交旋转,因子分析的步骤(因子命名旋转),2008年8月,因子得分(factor score)是每个因子在每个样本上的具体

26、取值，它由下列因子得分函数给出,因子分析的步骤(计算因子得分),因子得分函数,因子得分是各变量的线性组合,11.2.3 因子分析的应用,11.2 因子分析,2008年8月,【例】根据我国31个省市自治区2006年的6项主要经济指标数据，进行因子分析，对因子进行命名和解释，并计算因子得分和排序,因子分析 (实例分析),2008年8月, 数据的相关性检验,因子分析 (实例分析),KMO检验和Bartlett球度检验,Bartlett球度检验统计量为277.025。检验的P值接近0。表明6个变量之间有较强的相关关系。而KMO统计量为0.695，接近0.7。适合作因子分析,2008年8月, 共同度量,

27、因子分析 (实例分析),变量共同度量,所有变量的共同度量都在80%以上，因此，提取出的公因子对原始变量的解释能力应该是很强的,2008年8月, 因子方差贡献率,因子分析 (实例分析),各因子所解释的原始变量的方差,除最后3列外，其余部分与主成分分析中的表相同。 “Rotation Sums of Squared Loadings”部分是因子旋转后对原始变量方差的解释情况。旋转后的累计方差没有改变，只是两个因子所解释的原始变量的方差发生了一些变化。,2008年8月, Varimax法得到的旋转后的因子载荷矩阵,因子分析 (实例分析),旋转后的因子载荷矩阵,第一个因子与年末总人口、固定资产投资、社

28、会消费品零售总额、财政收入这几个载荷系数较大，主要解释了这几个变量。从实际意义上看，可以把因子1姑且命名为“经济水平”因子。而第二个因子与人均GDP、居民消水平这两个变量的载荷系数较大，主要解释了这两个变量，从实际意义看，可以将因子2姑且命名为“消费水平”因子 (是否合理读者自己评判),2008年8月,原始的6个变量与两个因子的关系(模型表达),因子分析(实例分析),因子分析的数学模型,表达式中的xi已经不是原始变量，而是标准化变量,2008年8月, 旋转后的因子载荷图,因子分析 (实例分析),旋转后的因子载荷系数更加接近于1(如果旋转后的因子载荷系数向01分化越明显，说明旋转的效果越好)，从而使因子的意义更加清楚了,20