《因子分析法预测》PPT课件.ppt

因子分析与地质成因解释 (Factor Analysis),第十三讲,YOUR SITE HERE,第一节 引言 第二节 主成分分析 第三节 因子分析 第四节 对应分析,主要内容,YOUR SITE HERE,第一节 引言,YOUR SITE HERE,回归分析,因 果,因子分析,由因索果,执果析因,YOUR SITE HERE,方阵的特征值和特征向量,对于n阶方阵A,A x = l x,特征值 实数 （也可以是复数）,特征向量 n维非零向量,可以用从一点指向另一点的箭头来表示,缩放因子,矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量,YOUR SITE HERE,一个变换的特征向量是这样一种向量，它经过这种特定的变换后保持方向不变，只是进行长度上的伸缩而已 。,特征向量所指示的方向是更本质的东西，特征值只不过反映了特征向量在变换时的伸缩倍数。,特征方程|A-lI|=0 的解为特征值l； 满足 (A-liI)xi=0 的向量xi为li的特征量。,YOUR SITE HERE,n阶方阵A有且恰有n个特征值； AT与A有相同的特征值； n阶方阵A=(aij)nxn的迹等于其特征值之和； 实对称矩阵A的特征值都是实数； 实对称矩阵A的不同特征值所对应的特征向量都正交。,因此，其特征值可以排序：l1 l2 lp,因此，存在正交矩阵P，使得P-1AP = (以A的n个特征值为对角元素的对角阵),YOUR SITE HERE,地质成因是地质学研究的根本问题之一。,理性认识 感性认识,内在本质 外在表象,从定量角度对各地质变量进行成因分析，所建立的数学模型一般有,主成分分析（又称主分量分析） 因子分析（R型、Q型） 对应分析,YOUR SITE HERE,在如此多的地质变量之中，有很多是相关的。 人们希望能够找出它们的少数“代表”来对它们进行描述。 需要把这种有很多变量的数据进行高度概括。 一般情形下，每个变量都会提供一定的信息，但其重要程度与侧重有所不同，且这些变量所提供的信息在一定程度上有所重叠。,把所有指标和数字都原封不动地摆出去吗？,YOUR SITE HERE,利用相关性来对所涉及的变量加以“改造”和“组合”。 用为数较少的、互不相关（或基本不相关）的新变量来“代表”原来多个变量所提供的信息。 通过对新变量的分析达到合理分析和数据解释的目的。,相关互不相关,YOUR SITE HERE,潜在的、可导出的 (latent、 derived) 少量 不相关 取主舍次 识别、分离 隐性的 基因的,可观测的 (observed) 大量 相关 主次杂乱 混合、叠加 显性的 多样化的,地质资料观测变量,因子,两类变量的不同特性,执果 析因,YOUR SITE HERE,最早提出：J. Person(皮尔逊)，主成分分析，1901、S. Spearman(斯卑尔曼)，真因子分析，1904年，用于心理学研究；Benzeci(贝尔凯斯)，对应分析，1970。 因子分析最早引入地质领域：W.C. Krumbren（克伦宾），1957年，研究沉积学。 应用发展的重要地质人物：J.Imbrie(英布里),发展简史,已成为地质学等领域中传播最快、应用最广的多元统计方法之一 。,YOUR SITE HERE,基本概念,是一种常用的处理高维数据的多元统计分析方法。 是一种化繁为简，将指标尽可能压缩的降维（即空间压缩）技术。 把数目较多的变量作线性组合，组合成几个主要的新变量主成分，少数几个主成分代表了原有变量变化的主要信息。 又称主分量分析。,主成分分析(Principal Component Analysis),作用：降维,YOUR SITE HERE,信息的大小如何度量？,从统计分析角度看，一个指标（看作随机变量）或一串数据所包含的信息，可以用差异的大小方差来度量。 方差越大，所包含的信息量就越大； 方差越小，所包含的信息量就越小。,YOUR SITE HERE,x1,x2,y2,y1,YOUR SITE HERE,是一种常用的处理高维数据的多元统计分析方法。 是一种探索不易观测或不能观测的潜在因素，用有限个隐变量来解释原始变量之间相关关系的技术。 是通过对地质观测数据的分析来建立一个成因系统。它能把原来具有一定程度相关联系的地质变量转换为数量较少的由原始地质变量组合而成的新变量因子，用它们来代替原始变量，各因子之间基本上是不相关的（基本独立）。 又称析因分析。,因子分析(Factor Analysis),基本概念,YOUR SITE HERE,相关性度量：变量间的方差-协方差、相关系数,相关性度量：夹角余弦和各种距离系数,R型因子分析,R型因子分析是主成分分析的发展,Q型因子分析,研究变量之间的成因分类,研究样品之间的成因分类,因子分析分类,YOUR SITE HERE,C,I,M,F,E,A,B,D,K,L,G,J,N,形状 因子1 因子2 因子3,2 +0 +0,C,2 +1 +1,YOUR SITE HERE,沉积盆地与剥蚀区示意图,F1,F2,F3,xj = f(F1,F2,F3, ),YOUR SITE HERE,MgCO3,SiO2,CaCO3,C O Mg Ca Si,碳酸盐演示分类三角图解,YOUR SITE HERE,R2,R1,R14Si-11(Na+K)-2(Fe+Ti) R2 (Al+2Mg+6Ca),侵入岩分类R1-R2图解 (De la Roche等, 1980),YOUR SITE HERE,因子分析典型应用问题,沉积盆地蚀源区的研究 沉积物粒度分析 沉积相研究 地层分析 古生物与古环境的研究 岩石化学成分的研究 变质岩原岩恢复 矿床成因研究 矿物的类质同象研究 地球化学 等,识别矿化活动的阶段和类型 分析成矿控制因素,识别地层剖面上发生的气候、水体深度、物质来源，水动力学条件等沉积环境因素的细微变化。,识别在同一时间点上不同空间过程的叠加过程；识别蚀源区的个数、岩石类型、分布,识别岩浆岩的形成过程，诸如岩浆的异源叠加，或同源多期侵入，分异作用，交代作用，同化作用，交代识别作用，矿化活动等；岩浆岩的分类,识别在同一空间点上不同时间过程的叠加过程,YOUR SITE HERE,作用：,用最精炼的形式描述地质对象（压缩原始数据，降维技术） 指示成因推理方向（探索潜在因素、进行成因分类、思考成因结论） 分解叠加的地质过程（例如：得到矿物共生组合变量划分不同成矿阶段不同地质过程分解、时空分解） 等,YOUR SITE HERE,是在R型因子分析和Q型因子分析的基础上发展起来的，能够揭示变量与样品之间双重关系的一种多元统计方法。 又称R-Q型因子分析。,对应分析(Correspondence Analysis),基本概念,因子分析是研究系统分类、成因分类的重要手段，在地质研究中的作用： 第一、压缩原始数据。 第二、指示成因推理方向。 第三、分解叠加的地质过程。,因子分析是研究变量间相关关系、样品间相似关系、变量与样品间成因联系以及探索它们之间产生上述关系之内在原因的一些多元统计分析方法的总称. 根据它们的的研究对象可分为： （1）、主成分分析； （2）、R型因子分析； （3）、Q型因子分析； （4）、对应分析；,因子分析在地质研究中的应用：,YOUR SITE HERE,第二节 主成分分析,2 主成分分析,地质中经常要作多变量的综合分析，这些变量经常是不独立的，存在复杂的相关关系。为了化繁为简，用一种数学方法把数目较多的变量作线性组合，组合成几个主要的新变量主成分。,YOUR SITE HERE,一、主成分分析的基本思想,构造关于原始变量的适当的线性组合，形成几个新变量（即所谓的主成分），它们是我们用来代替原始变量进行资料解释的综合性指标。,这一分析过程应使得,每个新变量都是各原始变量的线性组合 新变量的数目大大少于原始变量的数据 新变量保留了原始变量所包含的绝大部分信息 新变量之间互不相关，即各自含义的信息不重叠。,主成分的几何意义: （1）N个点的新坐标F1和F2的相关很小，几乎为零。 （2）在新坐标系中N个点的波动（方差）大部分归结为F1的波动，F2的波动很小，故用F1就可以反映变化的大部分信息。 （3）由于是正交坐标系，坐标（F1，F2）与（x1，x2）间的关系可用下式表示:,A是正交矩阵，满足,计算步骤: （1）作数据标准化。 （2）计算变量之间的相关系数矩阵 （3）用Jacobi法计算相关系数矩阵R的特征值j及对应的特征向量uj(j=1,2,p)即可得主成分Fj，其表达式为:,（4）计算前m个特征值所占的累计百分比： （5）计算各个样品在m个主成分上的得分，第i个样品的第j个主成分为:,（6）利用前m个主成分作地质解释或利用样品在主成分上的得分对样品进行分类。,YOUR SITE HERE,二、主成分分析的数学提法,观测资料矩阵,x1 x2 xp,Case,Var.,1 2 n,确定应该构造多少个综合指标（主成分），并如何构造出各主成分的表达式（用x1,x2,xp表示）,YOUR SITE HERE,x1,x2,y2,y1,方差越大，所包含的信息量就越大,主成分分析,YOUR SITE HERE,我们希望用y1来代替原来p个变量x1,x2,xp，这就要求在向量l1的正则化条件下，y1的方差尽可能大，由此确定的随机变量y1称为第一主成分。 如果第一主成分还不足以反映原来p个变量的信息，那么考虑第二主成分。为了有效反映原变量的信息，新变量y1和y2所包含的信息不应重叠，即要求y1和y2不相关。前述两个约束条件下求l2使Var(y2)达到最大，从而得到第二主成分。,YOUR SITE HERE,以此类推，我们最多可以找出p个yi出来。 然而我们最多只选择k个yi (i=1,2,k, kp)，并希望主成分数量较少，但解释能力却能达到约85%以上。,推导表明： 变量x1,x2,xp的主成分是以协方差矩阵S（或相关矩阵R）的特征向量为系数的线性组合，它们互不相关，方差为S（或R）的特征根。而S（或R）的特征根l1 l2 lp ，所以有：Var(y1)Var(y2)Var(yp)0。,YOUR SITE HERE,对p个指标，经过适当线性组合，p个新变量为,这里,y1,y2,yp分别称为第一主成分、第二主成分、第p主成分。 lij 称为第 i 个主成分 yi 在第 j 个原始变量 xj 上的载荷（主成分载荷），是第i个特征向量的第j个分量 。,YOUR SITE HERE,其中， 样本协方差矩阵,样本相关矩阵,对标准化数据矩阵：,新变量（随机变量）yi的方差与协方差,YOUR SITE HERE,一般地，在约束条件,（向量l的正则化）,（ yi和yk所包含的信息不应重叠，即yi和yk不相关）,之下求向量li ,使Var(yi)达到最大，由此向量li所确定的,称为x1,x2,xp的第i个主成分。,YOUR SITE HERE,三、主成分的性质, Y=LX, LL=I。 这里，L为X的协差阵的特征向量（单位化的）组成的正交阵。 y 的各分量之间是互不相关的。 y 的 p 个分量是按方差大小、由大到小排列的。 y 的协差阵为对角阵。,YOUR SITE HERE,第k个主成分的方差贡献率,前k个主成分的累积方差贡献率(一般取80%, 85%),这里，a(yi,xj)表示第 i 个主成分 yi 和第 j 个原始变量 xj 之间的线性相关系数，称为因子载荷。矩阵A=(aij)称为因子载荷矩阵,标准化：消除量纲和数量级上的影响，sii=1,(kp),系统总方差不变,(i,j=1,2,p),YOUR SITE HERE,对原始数据进行标准化变换 计算个变量间的相关系数，形成相关系数矩阵R。 求出R的特征值并按大小排列及相应于的单位特征向量。即可得主成分的表达式。 将特征值按大小降序排列，计算前k个特征值之和占特征值总和的百分数，一般按累积方差贡献率大于85%（或80%）的准则，来确定k，从而建立前k个主成分：,四、主成分的计算步骤,YOUR SITE HERE,计算各个样品在k个主成分上的得分。第i个样品的第j个主成分得分为: 从而可得新指标（主成分）样本值(yij)nxk以代替原样本值(xij)nxp作统计分析。 对前k个主成分进行地质解释并对样品进行分类。,四、主成分的计算步骤,YOUR SITE HERE,(A) Sn, (B) As, (C) Cu, (D) Pb, (E) Zn, (E) Cd. 三角符号表示锡矿床，粗黑线条表示断层,四、应用实例,YOUR SITE HERE,YOUR SITE HERE,第一主成分,YOUR SITE HERE,第三节 因子分析,YOUR SITE HERE,一、因子分析的基本思想,对于直接可观测的随机变量，根据其相关性大小，使得同组内的变量之间相关性较高，不同组的变量相关性较低。每组变量代表一个基本结构，用一个不可观测的综合变量表示，这个基本结构称为公因子。 于是，原始观测的随机变量X可分解为不可观测（或未做观测）的两个随机向量的线性组合： 一是对整个X有影响的公共因素公因子； 二是只对各对应分量有影响的特殊因素特殊因子。,YOUR SITE HERE,F1,F2,YOUR SITE HERE,建立因子载荷矩阵 给出各公共因子的合理解释及命名 若有必要（当难以招到合理解释的公共因子）时，进一步作因子旋转。,因子分析的基本任务是：,因子分析就是寻找这些公共因子的模型分析方法，它是在主成分的基础上构筑若干意义较为明确的公因子，以它们为框架分解原变量，以此考察原变量间的联系与区别。,百米跑成绩X1 跳远成绩X2 铅球成绩X3 跳高成绩X4 400米跑成绩X5 百米跨栏X6 铁饼成绩X7 撑杆跳远成绩X8 标枪成绩X9 1500米跑成绩X10,奥运会十项全能运动项目 得分数据的因子分析,因子载荷矩阵可以看出，除第一因子在所有的变量在公共因子上有较大的正载荷，可以称为一般运动因子。其他的3个因子不太容易解释。似乎是跑和投掷的能力对比，似乎是长跑耐力和短跑速度的对比。于是考虑旋转因子，得下表,通过旋转,因子有了较为明确的含义: X1百米跑,X2跳远和X5 400米跑，需要爆发力的项目在F1有较大的载荷, F1可以称为短跑速度因子； X3铅球, X7铁饼和 X9 标枪在 F2上有较大的载荷,可以称为爆发性臂力因子； X6百米跨栏, X8撑杆跳远，X2跳远和X4跳高在F3上有较大的载荷，F3爆发腿力因子； F4 长跑耐力因子,设对研究对象的n个样品测试了p个变量x1, x2, , xp，可认为这p个变量共同起因于m因子(即因素) F1, F2, , Fm. 假定这m个公因子(可理解为新的变量)对每个指标(变量)的影响或作用是线性的(我们总是讨论线性模型)，那么，因子分析模型可以表示为：,二、R型因子分析的数学提法,YOUR SITE HERE,称为因子模型。 矩阵形式,YOUR SITE HERE,(1) x = (x1, x2, , xp)是可观测随机向量，均值向量E(x)=0，协方差阵 Cov(X)=，且协方差阵与相关矩阵相等（因子分析通常要先对观测资料数据作标准化处理）； (2) F= (F1, F2, , Fm) (mp)是不可测的向量，其均值向量E(F)=0，协方差矩阵 Cov(F) = I，即向量的各分量是相互独立的; (3) = (1, 2, p)与F相互独立Cov(F,)=0，且E()=0, e的协方差阵是对角阵，即各分量e之间是相互独立的。,假定条件,YOUR SITE HERE,因子载荷 第i个变量在第j个公因子上的载荷,A中元素aij称为,YOUR SITE HERE,主成分模型,特征向量约束条件,从而，每个原始变量亦可用各主成分F1,F2,Fp的线性组合来表示,实际上，我们不需要p个主成分，按累积方差贡献取前m个主成分。,从主成分分析模型到因子分析模型,YOUR SITE HERE,这m个主成分对应的数据矩阵就是将特征向量矩阵剖分成：,(i=1,2,p),于是,使得模型中FA和FB因子中各变量都是标准化，即均值为0，方差为1，可得R型因子模型：,从主成分分析模型到因子分析模型,YOUR SITE HERE,称为因子模型。 矩阵形式,因子分析二、R型因子分析的数学提法,公因子、公共因子或潜因子,特殊因子唯一因子,原始观测变量,共性,个性,YOUR SITE HERE,因子载荷 第i个变量在第j个公因子上的载荷,A中元素aij称为,略去特殊因子部分，因子分析的简化模型,(mp),YOUR SITE HERE,三、因子载荷矩阵的求解,方法一：主成分法,方法二：极大似然法 （在多元正态分布的假定下）,YOUR SITE HERE,四、与因子载荷矩阵的统计意义,（1）因子载荷aij的统计意义,aij第i个变量在第j个公因子上的载荷； lij由相关矩阵R提取的第j个公因子之特征值(j=1,2,.,m)所对应的特征向量在第i个分量。,因子载荷求解公式：,( 注意: E(Fj)=0, Var(Fj)=1 ),aij是变量xi与Fj的协方差，也是xi与Fj的相关系数（依赖程度）。第i个变量在第j个公因子上的重要性（权重）。 aij 的绝对值越大(|aij|1)，表明 xi 与 Fj的相依程度越大， 或称公共因子Fj 对于xi的载荷量越大。 公因子F的实际含义，这可以通过各变量在公因子上载荷的符号与绝对值的大小来描述。,YOUR SITE HERE,（2）变量共同度hi2的统计意义 (也称公因子方差、共性方差、 公共方差),因子载荷矩阵中各行元素的平方和,F1 F2 Fm,公因子方差hi2代表所有m个公因子对原始变量xi的总方差的贡献。反映了xi对于F1,F2,Fm的共同依赖程度。 如果公因子方差近于1，则说明该变量xi的几乎全部原始信息都被所选取的因子说明了。 公因子方差的意义在于提供转化为因子空间后，保留原来各变量的信息有多少。,注意：,(特殊方差 个性方差),YOUR SITE HERE,（3）公因子Fj的方差贡献的统计意义,因子载荷矩阵中各列元素的平方和,F1 F2 Fm,公因子Fj对所有原始变量所提供方差贡献的总和。它是衡量公因子相对重要性的指标。 gj2 越大，表明公因子 Fj 对 x的贡献越大，或者说对x的影响和作用就越大。如果将因子载荷矩阵的所有gj2( j =1,2,m)都计算出来，使其按照大小排序，就可以依 此提炼出最有影响力的公共因子。,注意：,YOUR SITE HERE,五、因子旋转,1. 旋转的目的,建立因子分析模型的目的不仅是找出主因子，更重要的是知道每个主因子的意义，以便对实际问题进行分析。 如果求出的主因子解后，各个主因子的“典型变量”不很突出，还需要进行因子旋转。 使因子载荷两极分化，因子载荷的平方值要么接近于0，要么接近于1。 通过适当的旋转得到比较满意的因子。,YOUR SITE HERE,（2）常用的旋转方法, 方差最大正交旋转 (varimax orthogonal rotation)因子对应轴相互正交 斜交旋转 (oblique rotation) 因子对应轴相互间不正交,YOUR SITE HERE,斜交旋转 因子斜交旋转后，各因子负荷发生了较大变化，出现了两极分化。各因子间不再相互独立，而彼此相关。各因子对各变量的贡献的总和也发生了改变。 适用于大数据集的因子分析。,方差最大正交旋转 基本思想 以使各因子载荷值的方差达到最大作为因子载荷矩阵简化的准则，且保持原公因子的正交性和变量共同度hi2不变，此时公因子的方差贡献则不再与原来相同。 可使每个因子上的具有最大载荷的变量数最小，因此可以简化对因子的解释。,YOUR SITE HERE,因子旋转的操作对于二维因子来说好办，而多维因子的旋转就复杂多了，每次只调整两个因子轴，让其它的轴固定，这样不断反复地进行，直到获得最大方差为止。,bij为旋转后因子载荷中第i行第j列的元素，使用平方是为了避免负值。, 达到极大,YOUR SITE HERE,F1,F1,F2,F2,Factor 1 Factor 2 x1 0.5 0.5 x2 0.7 0.7 x3 -0.6 0.6 x4 -0.5 -0.5,Factor 1 Factor 2 x1 0 0.6 x2 0 0.9 x3 -0.9 0 x4 0 -0.9,2,1,3,4,2,1,3,4,正交旋转及样品点投影,YOUR SITE HERE,六、因子得分,因子分析模型建立后，还有一个重要的作用是应用因子分析模型去评价每个样品（或变量）在整个模型中的地位，即进行综合评价。 由于公因子能充分反映原始变量的相关关系，用公因子代表原始变量时，将更有利于描述研究对象的特征。 通常，所选取的公因子数总是少于原始变量数。 对于每一个样品，利用其原始变量观测值去计算相应因子Fi的估计值，这便称为因子得分或因子计量。,YOUR SITE HERE,变成 F=bx 或 Fj=bj1x1+ bjpxp j=1,m. 称为因子得分(函数).,由简化的因子模型,可用Thomson法，即回归法等来求。 回归法得分是由Bayes思想导出的，得到的因子得分是有偏的，但计算结果误差较小。,YOUR SITE HERE,根据最小二乘估计得,因为变量和因子均已标准化，所以,bj0 = 0,YOUR SITE HERE,七、Q型因子分析,（自学）,YOUR SITE HERE,输入原始数据xn*p，计算样本均值和方差，进行标准化计算（处理）； 求样本相关系数矩阵R=(rij)p*p； 求相关系数矩阵的特征根i (1,2,p0)和相应的标准正交的特征向量li；,八、因子分析的步骤,YOUR SITE HERE,确定公共因子数m（按前m个特征值之和占特征值总和的百分比来确定）； 求出主因子载荷矩阵A=aij； 计算公共因子的共性方差hi2,是否接近于1； 对载荷矩阵进行旋转，以求能更好地解释公共因子； 计算因子得分； 对公共因子作出专业性的解释。,YOUR SITE HERE,相关性度量：变量间的方差-协方差、相关系数,相关性度量：夹角余弦和各种距离系数,R型因子分析控矿地质因素分析,R型因子分析是主成分分析的发展,Q型因子分析圈定远景区,研究变量之间的成因分类,研究样品之间的成因分类,焦家金矿矿化元素因子分析,地质找矿论丛, 2008年 02期,焦家金矿位于胶东西北部,是“焦家式破碎带热液蚀变岩型”金矿的命名地。它以规模巨大、矿体形 态简单、矿化连续、稳定等特点明显有别于石英脉金矿。,在水平上,以断面为中心向外依次出现绢英岩化带、钾化-绢英岩化-硅化带、硅化-钾化带、正常花岗岩带; 在垂向上,蚀变分带不是很发育,随着深部韧性变形作用加强,蚀变的强度和规模都逐渐减小。,YOUR SITE HERE,第四节 对应分析,YOUR SITE HERE,对应分析是在R型因子分析和Q型因子分析的基础上发展起来的、能够揭示变量与样品之间双重关系的一种多元统计方法。,YOUR SITE HERE,可提供以下信息： 变量间的关系：空间上邻近的一些变量点，表示这些变量紧密相关，即它们具有成因上的联系，指示某一特定的地质作用； 样品间的关系：邻近的样品点具有相似的性质，属同一类型，是同样地质作用的产物； 变量与样品之间的关系：同一类型的样品点将为邻近的变量点所表征。也就是说，同类样品点为其邻近变量点所指示的地质作用下的产物。 更重要的是，可在同一图上表示出上述三种信息，从而可同时进行分类及地质推断解释。,YOUR SITE HERE,R型和Q型对应关系的对偶定理,YOUR SITE HERE,YOUR SITE HERE,YOUR SITE HERE,主成分分析是将主分量表示为原观测变量的线性组合，而因子分析是将原观测变量表示为公共因子的线性组合； 主成分分析的主成分数m和原变量数p相等，它是将一组具有相关性