主成分分析因子分析

1、主成分分析主成分分析( (Principal component analysis)Principal component analysis)主成分的定义主成分的定义 从从n个观察对象的个观察对象的m个变量中寻找个变量中寻找i（i m）个相互独立并具有特定结构的成分，来反映个相互独立并具有特定结构的成分，来反映原始的原始的 个数据信息的一种多元统计分析个数据信息的一种多元统计分析方法。方法。nm主成分的数学模型：主成分的数学模型： C=AZ C：主成分向量主成分向量A：正交矩阵正交矩阵Z：原始变量标准化转换后向量原始变量标准化转换后向量1111mnnmaaAaa主成分线性组合表达式：主成分线性

2、组合表达式：111 11221mmca za za z221 12222mmca za zaz1 122iiiimmca za za ziiiiXXzs特征根与特征向量特征根与特征向量特征根（特征根（ ）：第：第i个主成分的方差个主成分的方差特征向量：特征向量：各主成分对应的系数各主成分对应的系数注：特征根与特征向量是根据原变量相关系数的矩阵计算出来的。注：特征根与特征向量是根据原变量相关系数的矩阵计算出来的。12(,)iiimaaai主成分的贡献率主成分的贡献率主成分的贡献率主成分的贡献率 每个特征根占总方差的比例，每个特征根占总方差的比例， 越大，表明相应的越大，表明相应的主成分反映主成分

3、反映X的信息（的信息（“总方差总方差”）就越多。）就越多。 主成分的累积贡献率主成分的累积贡献率 前前i个主成分特征根之和占总方差的比例，累积贡个主成分特征根之和占总方差的比例，累积贡 献越大，表明前献越大，表明前i个主成分反映了个主成分反映了X的信息（的信息（“总方差总方差”） 就越多。就越多。 i Bartlett法：法： 取有统计学差异的取有统计学差异的经验法：经验法： 累积贡献率达累积贡献率达 （70、80、85、）、）均数法：均数法： 取大于或者约等于取大于或者约等于1的的 主成分的个数主成分的个数i的确定的确定0:0iHiii上机内容：上机内容：主成分计算主成分计算主成分评价主成分

4、评价主成分回归主成分回归1.主成分计算主成分计算见教材p50例4.1SAS的步骤的步骤 数据步（数据步（data步）：略步）：略 过程步（过程步（proc步）步） PRINCOMP（主成分计算过程）主成分计算过程） SAS中中PRINCOMP过程过程Proc princomp 选项选项; *var 变量列表变量列表; Run;*: 表示表示Princomp过程必须的语句。过程必须的语句。程序程序4.1title 主成分分析主成分分析;data exp4_1;input x1-x6;cards;14 13 28 14 22 39 . . . . . . . .9 9 12 10 23 46 ;p

5、roc princomp;var x1-x6;run;2.主成分评价主成分评价步骤：步骤：提取主成分提取主成分(Proc princomp)用主成分做评价用主成分做评价第一主成分：排序法第一主成分：排序法前两个主成分：散点图前两个主成分：散点图前前i个主成分：综合得分法个主成分：综合得分法 见教材见教材P56例例4.4例例4.4的程序的程序title 主成分评价主成分评价;data exp4_4;input id $ x1-x16;cards;教青教青 0.77 1.14 0.19 1.52 0.77 0.19 0.57 0.57 0.19 0.00 0.00 0.19 4.56 0.38 0

6、.38 0.00 . . . . . . . .工老工老 1.95 1.30 0.00 0.65 0.00 0.00 0.00 0.00 1.30 0.00 0.00 0.00 1.95 3.24 0.65 0.00;proc princomp out=prindata;var x1-x16;run;指定紧接着的前一个变量类型为字符型变量指定紧接着的前一个变量类型为字符型变量“Outc”表示产生一个名为表示产生一个名为C的数据集，的数据集，C包含包含原始数据及各观测值对应的原始数据及各观测值对应的变量个数变量个数的主成分的主成分例例4.4的程序的程序(第一主成分、前第一主成分、前i个主成分个主

7、成分)title 主成分评价主成分评价;data exp4_4;input id $ x1-x16;cards;略略;proc princomp out=prindata;var x1-x16;run;proc print data=prindata;var id prin1 prin2 prin3 prin4;run;例例4.4的程序的程序title 主成分评价主成分评价;data exp4_4;input id $ x1-x16;cards;略略;proc princomp out=prindata;var x1-x16;run;title plot of the first factor

8、 and the second factor;proc gplot data=prindata;plot prin2*prin1;run;3.主成分回归主成分回归步骤：步骤：提取主成分提取主成分(Proc princomp)选取前选取前i主成分做回归（主成分做回归（ Proc reg）见教材见教材p60例例4.5例例4.5程序（程序（提取主成分提取主成分）title 主成分回归主成分回归;data exp4_5;input x1 x2 x3 y;cards;13.0 9.2 50.0 13.0 . . . . . . . .49.0 34.8 2500.0 36.0 ;proc princom

9、p out=prindata;var x1-x3;run;例例4.5程序（程序（主成分回归主成分回归）title 主成分回归;data exp4_5;input x1 x2 x3 y;cards;略;proc princomp out=prindata;var x1-x3;run;proc reg outest=prindata;model y=x1 x2 x3/pcomit=1;output;run;proc print data=prindata;run; “Outestc”表示产生一个名为表示产生一个名为C的数据集，的数据集，C包含回归模型拟合过程与参数估计值包含回归模型拟合过程与参数估

10、计值“pcomit=n”指定每个指定每个n值都做进程通讯值都做进程通讯 即即IPC分析分析作用：回归过程除了用最后作用：回归过程除了用最后n个个主成分外的主成分外的其余几个主成分（用了前其余几个主成分（用了前“变量数变量数 n”个的主成分）来做回归。并把个的主成分）来做回归。并把IPC分析出相应分析出相应参数输出到参数输出到Outest指定的数据集指定的数据集c中。中。因子分析因子分析( (factor analysis)factor analysis)因子分析的定义因子分析的定义 寻找隐含在多变量数据中的无法直接观寻找隐含在多变量数据中的无法直接观察，但又支配多个变量间相互关系的少数几察，但

11、又支配多个变量间相互关系的少数几个（小于原指标个数）专业上有意义的，相个（小于原指标个数）专业上有意义的，相互间彼此独立的公因子的一种多元统计分析互间彼此独立的公因子的一种多元统计分析方法。方法。因子分析的数学模型因子分析的数学模型XLFUL：因子载荷矩阵因子载荷矩阵F：公因子公因子U：特殊因子特殊因子 对原变量的协方差结构进行分解：对原变量的协方差结构进行分解： X的方差共同度特殊方差的方差共同度特殊方差 因子分析实质：因子分析实质：因子模型的估计（估计出因子载荷系数因子模型的估计（估计出因子载荷系数 ）；）；主成分法主成分法极大似然法极大似然法主因子法主因子法迭代因子法迭代因子法确定有实际

12、意义的的因子载荷矩阵确定有实际意义的的因子载荷矩阵正交旋转正交旋转协交旋转协交旋转 计算因子得分计算因子得分 因子分析的内容因子分析的内容11( ,)iiikl llSAS的步骤的步骤 数据步（数据步（data步）：略步）：略 过程步（过程步（proc步）步）factor（因子分析过程）因子分析过程） Proc factor 选项选项；Run；Factor过程过程Factor过程的过程的选项：选项：Method/M=prin ml prinitrotate =varimax promax Nn Socreres 主成分分析法主成分分析法极大似然法极大似然法迭代主因子法迭代主因子法方差最大旋转方

13、差最大旋转斜交旋转斜交旋转保留公因子的个数，如缺省系统只保留特征根大于保留公因子的个数，如缺省系统只保留特征根大于1的公因子数的公因子数因子得分因子得分计算残差矩阵计算残差矩阵用主成分法估计因子模型用主成分法估计因子模型见教材见教材P68例例5.31.因子模型的估计因子模型的估计例例5.3程序程序title 主成分因子分析主成分因子分析;data exp5_3;input x1-x6;cards;14 13 28 14 22 39 . . . . . . . . 9 9 12 10 23 46 ;proc factor method=prin n=3;var x1-x6;run;用极大似然法估计因子模型用极大似然法估计因子模型见