医学统计学课件--主成分分析与因子分析(第20章)

1、2022-2-19医学统计学1 Principal Components Analysis & Factor Analysis第二军医大学卫生统计学教研室第二军医大学卫生统计学教研室 张罗漫张罗漫第第20章章2022-2-19医学统计学22022-2-19医学统计学3Principal Components Analysis2022-2-19医学统计学4数据的降维、数据的解释数据的降维、数据的解释 将原来众多具有一定相关性的指标，组将原来众多具有一定相关性的指标，组 合成一组新的合成一组新的相互无关的综合指标。相互无关的综合指标。 从中选取几个较少的综合指标尽可能多从中选取几个较少的综

2、合指标尽可能多 的反映原来众多指标的信息。的反映原来众多指标的信息。这种既减少了指标的数目又抓住了主要矛这种既减少了指标的数目又抓住了主要矛 盾的做法有利于问题的分析和处理。盾的做法有利于问题的分析和处理。2022-2-19医学统计学52022-2-19医学统计学6 如何利用这些指标对每一儿童的生长发育如何利用这些指标对每一儿童的生长发育 作出正确评价？作出正确评价？ 仅用单一指标：仅用单一指标： 结论片面；结论片面； 没有充分利用原有数据信息。没有充分利用原有数据信息。 利用所有指标：利用所有指标： 各指标评价的结论可能不一致，使综合各指标评价的结论可能不一致，使综合 评价困难；评价困难；

3、工作量大。工作量大。2022-2-19医学统计学7 找出几个综合指标找出几个综合指标(长度、围度、特体长度、围度、特体)，这，这些综合指标是原始指标的线性组合，既保留些综合指标是原始指标的线性组合，既保留了原始指标的信息，且互不相关。了原始指标的信息，且互不相关。 各综合指标提供的各综合指标提供的“信息信息”量大小用其方差量大小用其方差来衡量。来衡量。 衡量一个指标的好坏衡量一个指标的好坏除了正确性与精确性外，除了正确性与精确性外，还必须能充分反映个体间的变异，一还必须能充分反映个体间的变异，一 项指标在个体间的变异越大，提供的信息项指标在个体间的变异越大，提供的信息 量越多。量越多。2022

4、-2-19医学统计学8mmm22m11mmmm22221212mm12121111XaXaXaZ XaXaXaZXaXaXaZ 2022-2-19医学统计学9Z = A XZ = A X2022-2-19医学统计学10第一主成分第一主成分mm12121111XaXaXaZ 1aaa2m1212211 在所有在所有Zi中最大中最大 )Z( Var12022-2-19医学统计学11第二主成分第二主成分理论上主成分个数最多为理论上主成分个数最多为m个个(指标个数指标个数)实际工作中确定的主成分个数总是小于实际工作中确定的主成分个数总是小于m个个 )Z( Var0aaaaaaZZ1aaaXaXaXaZ

5、2m1m212221121212m2222221mm22221212 与与在所有在所有Zi中为第中为第2大。大。 无关，互相垂直：无关，互相垂直：2022-2-19医学统计学12X1X2112- -2- -2- -1- -120相关相关变异变异2022-2-19医学统计学13X1X2Z1Z2112- -2- -2- -2- -211- -1- -1- -1- -122202022-2-19医学统计学14Z1Z2- -2- -211- -1- -1220相关相关变异变异2022-2-19医学统计学152022-2-19医学统计学16（一）主成分的求法（一）主成分的求法 1. 1. 对各原始指标值

6、进行标准化对各原始指标值进行标准化m , , 2 1,j SXXXjjijij 为了方便，仍用为了方便，仍用Xij表示表示Xij。2022-2-19医学统计学17标准化后的数据矩阵标准化后的数据矩阵 nm n21n2m 22211m 1211 X XX X XX X XXX X = =2022-2-19医学统计学182. 求出求出X1 , X2 , , Xm 的相关矩阵的相关矩阵R R mm m21m2m 22211m 1211r r r r r rr r rR R=Cov(X X) =2022-2-19医学统计学1922)YY()YY()XX()XX(r YYXXXY22lll)YY()XX

7、()YY)(XX(r Pearson 相关系数相关系数 YXSYYSXX1n1r标准化后的协方差标准化后的协方差1n)YY)(XX( 1n)XX)(XX( 协方差协方差2022-2-19医学统计学203. 求出矩阵求出矩阵R R的全部特征值的全部特征值(eigenvalue) i, 第第i个主成分的组合系数个主成分的组合系数ai1, ai2, , aim满满 足方程组足方程组: : (r11 i) ai1+ r12 ai2+ + r1m aim =0 r21 ai1+ (r22 i) ai2+ + r2m aim=0 rm1 ai1+ rm2 ai2+ + (rmm i) aim =0 202

8、2-2-19医学统计学21 (r11 i) ai1+ r12 ai2+ + r1m aim =0 r21 ai1+ (r22 i) ai2+ + r2m aim=0 rm1 ai1+ rm2 ai2+ + (rmm i) aim =0 i为为矩阵矩阵R R的第的第i个特征值，个特征值， 共有共有m个非个非负特征值，由大到小的顺序排列为：负特征值，由大到小的顺序排列为： 1 2 m0 i=Var(Zi)2022-2-19医学统计学224. 由以上方程组，求出相应于特征值由以上方程组，求出相应于特征值 i 的的 特征向量特征向量(eigenvector) (ai1 , ai2 , , aim)mi

9、m22i11iiXaXaXaZ 2022-2-19医学统计学23（二）主成分的性质（二）主成分的性质 1.各主成分互不相关各主成分互不相关 j)(i 0)Z,Z(Cov)Z,Z(Cov)Z,Z(CovrjjiijiZ,Zji 2022-2-19医学统计学242.主成分的贡献率与累积贡献率主成分的贡献率与累积贡献率 (原始指标值标准化原始指标值标准化)m)Z(Var)X(Varm1im1iiim1ii (指标个数指标个数)m)(k m m), 2 1,(i mk1iiim1iii 贡献率贡献率累积贡献率累积贡献率2022-2-19医学统计学253.主主成分个数的选取成分个数的选取（1）前前k个主

10、成分的累积贡献率个主成分的累积贡献率70%。（2）主成分主成分Zi的的特征值特征值 i 1。ijiijaq 4.因子载荷因子载荷（第（第i主成分主成分Zi与第与第j原始指标原始指标Xi间相关系数间相关系数） 2022-2-19医学统计学265.样品的主成分得分样品的主成分得分m, 2 1,i XaXaXaZmim22i11ii m, 2 1,j SXXXjjijij 2022-2-19医学统计学272022-2-19医学统计学282022-2-19医学统计学292022-2-19医学统计学302022-2-19医学统计学31 1.主成分个数的选取主成分个数的选取 3很接近于很接近于1 1； 3

11、 与与 2的贡献率相差不大，为的贡献率相差不大，为25%左右，左右， 若舍去若舍去 3不合理。不合理。 取前三个主成分。取前三个主成分。2022-2-19医学统计学32432134321243211X930532. 0X270314. 0X058463. 0X240049. 0ZX304983. 0X904159. 0X283647. 0X095010. 0ZX162777. 0X087939. 0X689798. 0X699964. 0Z 2.列出主成分表达式列出主成分表达式Z1为急性炎症成分为急性炎症成分（X1转氨酶、转氨酶、X2肝大指数）肝大指数）Z2为慢性炎症成分为慢性炎症成分（X3硫

12、酸锌浊度硫酸锌浊度 ）Z3为癌变成分为癌变成分（X4甲胎球蛋白甲胎球蛋白 ）2022-2-19医学统计学333.求出因子载荷阵求出因子载荷阵ijiijaq 2022-2-19医学统计学344.主成分得分主成分得分2022-2-19医学统计学35p标准化指标主成分还原为标准化指标主成分还原为原始指标主成分原始指标主成分719569. 0 X042531. 0X036432. 0X055428. 0X002701. 0Z844992. 1 X01394. 0X121858. 0X268923. 0X001069. 0Z049134. 3 X00744. 0X011852. 0X653991. 0X

13、007875. 0Z432134321243211 8789.21S 4197. 7S 0548. 0S 8879.88S5 .35X 0 .15X 325. 2X 0 .138X43214321 2022-2-19医学统计学36p 将该肝病患者的四项肝功能指标代入将该肝病患者的四项肝功能指标代入 原始指标主成分原始指标主成分表达式：表达式： Z1=2.50865 Z2=1.06626 Z3=1.22943 该肝病患者可能为急性炎症该肝病患者可能为急性炎症。2022-2-19医学统计学37 1.1.对原始指标进行综合对原始指标进行综合 以互不相关的较少个综合指标反应众多原以互不相关的较少个综合

14、指标反应众多原 始指标提供的信息。始指标提供的信息。 主成分回归主成分回归(解决多元共线问题解决多元共线问题)。 息息的的各各主主成成分分得得分分反反映映各各相相应应评评价价指指标标信信各各主主成成分分方方差差权权重重：被被评评价价对对象象综综合合得得分分:Z)(:Z)ZZZ(Ziikk2211 2.进行综合评价进行综合评价 2022-2-19医学统计学383.进行进行探索性分析探索性分析 利用因子载荷阵，找出影响各综合指标的利用因子载荷阵，找出影响各综合指标的 主要原始指标。主要原始指标。 4.对样品进行分类对样品进行分类 利用主成分得分对样品进行分类：利用主成分得分对样品进行分类： Z1为

15、急性炎症成分为急性炎症成分 Z2为慢性炎症成分为慢性炎症成分 Z3为癌变成分为癌变成分2022-2-19医学统计学39Factor Analysis2022-2-19医学统计学40p从分析多个可观测的原始指标的相关关系从分析多个可观测的原始指标的相关关系入手，找到支配这种相关关系的有限个入手，找到支配这种相关关系的有限个不可不可观测的潜在变量。观测的潜在变量。是多元分析中处理降维的是多元分析中处理降维的一种统计方法。一种统计方法。p如：脑部疾病患者的如：脑部疾病患者的意识清醒状态意识清醒状态可由语可由语言能力、辩识能力、记忆能力、理解能力与言能力、辩识能力、记忆能力、理解能力与思维逻辑能力等可

16、观测的指标反映。思维逻辑能力等可观测的指标反映。2022-2-19医学统计学41 X1: :收缩压收缩压X2: :舒张压舒张压X3: :心跳间隔心跳间隔X4: :呼吸间隔呼吸间隔X5: :舌下温度舌下温度F1: :交感神经交感神经F2: :副交感神经副交感神经 common factor2022-2-19医学统计学42 eFaFaXeFaFaXeFaFaXeFaFaXeFaFaX5252151542421414323213132222121212121111 specific factor common factor2022-2-19医学统计学43Xi:观测指标观测指标(标准化数据标准化数据)

17、 Fi:公因子公因子 ei:特殊因子特殊因子aij:因子载荷因子载荷(计算关键项计算关键项)2022-2-19医学统计学44X = X = A AF + eF + e2022-2-19医学统计学45 0r 0r . 2S 0e 1S 0F 1S 0X . 1ijjiijie ,FF,F2i2ei2Fj2Xi 2022-2-19医学统计学46 IR IR .32m2221eqqFFmmXX 2022-2-19医学统计学47 矩阵矩阵A A的统计意义的统计意义1.1.公共度公共度(共性方差共性方差 )2ihm , 2, , 1iha1)X(VareFaX2i2i2iq1k2ikiiq1kkiki

18、2022-2-19医学统计学48因子的共性方差因子的共性方差2022-2-19医学统计学492.因子贡献与因子贡献率因子贡献与因子贡献率矩阵矩阵A A第第j列元素列元素 反映了第反映了第j个公个公因子因子Fj对所有原始指标的影响对所有原始指标的影响; ;数据标准化后全部原始指标的总方差为指数据标准化后全部原始指标的总方差为指标个数标个数m。 m1i2ij2jagmamgm1j2ij2j Fj对原始指标对原始指标的方差贡献率的方差贡献率2022-2-19医学统计学50各因子的贡献各因子的贡献2mq2m22m122q22222121q212211a a a a a a a a a 2q2221g

19、g g2022-2-19医学统计学513.因子载荷及因子载荷阵因子载荷及因子载荷阵jiF,Xijra qmij)a( A A2022-2-19医学统计学52 1. 收集原始数据并整理为下表收集原始数据并整理为下表 2022-2-19医学统计学532.对各指标进行标准化对各指标进行标准化3.求指标间的相关系数矩阵求指标间的相关系数矩阵R RX X4.求指标间的约相关系数矩阵求指标间的约相关系数矩阵R R* * （1）R R* *的非对角线元素与相关矩阵的非对角线元素与相关矩阵R RX X的的 非对角线元素相等非对角线元素相等 （2）R R* *的对角线元素为共性方差的对角线元素为共性方差ji r

20、rij*ij hr2i*ii h2i2022-2-19医学统计学545. 求出约关系数矩阵求出约关系数矩阵R R* *所有大于零的特所有大于零的特 征值及相应的特征向量征值及相应的特征向量6. 写出因子载荷阵写出因子载荷阵A，得出原始指标，得出原始指标X的的 公因子表达式公因子表达式2022-2-19医学统计学55p要求：要求：1. 保留公因子个数保留公因子个数q小于指标个数小于指标个数m，原则：，原则： j1 前前k个公因子累积贡献率个公因子累积贡献率70%2. 各共性方差各共性方差 接近于接近于1。3. 各原始指标在同一公因子各原始指标在同一公因子Fj上的因子载荷上的因子载荷 之间的差别应

21、尽可能大。之间的差别应尽可能大。2ihija2022-2-19医学统计学562022-2-19医学统计学571.主成分解主成分解2022-2-19医学统计学582022-2-19医学统计学592022-2-19医学统计学60主成分解：主成分解：除因子除因子1 1可初步认定为综合因子外，其余可初步认定为综合因子外，其余3个因子的专业意义不明显。个因子的专业意义不明显。2.主因子解：主因子解：除因子除因子1 1可初步认定为综合因子外，其余可初步认定为综合因子外，其余3个因子的专业意义不明显。个因子的专业意义不明显。2022-2-19医学统计学61当各公因子的专业意义难以解释时，可以当各公因子的专业意义难以解释时，可以 通过因子旋转来解决。通过因子旋转来解决。如求得的因子载荷阵如求得的因子载荷阵A A不甚理想，可右乘不甚理想，可右乘 一个正交阵一个正交阵T T，使，使ATAT有更好的实际意义，有更好的实际意义， 使各原始指标在同一公因子上使各原始指标在同一公因子上 之间之间 差别尽可能增大。差别尽可能增大。称因子正交旋转。称因子正交旋转。正交旋转可保持各指标的共性方差不变；正交旋转可保持各指标的共性方差不变； 各公因子互不相关。各公因子互不相关。常用常用方差最大旋转法方差最大旋转法等。等。ija2022-2-19医学统计学622022-2-19医学统计学63