应用多元统计分析因子分析

应用多元统计分析因子分析第一页，共三十四页，2022年，8月28日

例：心理学家CharlesSpearman(100多年前),学习成绩是由一个智力因子g唯一决定的.目前考试系统:语言(verbal),数学(mathematical),逻辑(logical)

第二页，共三十四页，2022年，8月28日例：100个学生的数学、物理、化学、语文、历史、英语的成绩。智能因子，因子负荷第三页，共三十四页，2022年，8月28日记：数学、物理、化学、语文、历史、英语成绩分别为：X1,X2,X3,X4,X5,X6

其中

F对所有Xi都起作用的公共因子

(智能因子)-不可观测;ai表示第i个科目在智能高低因子上的体现,称为因子载荷;

是Xi特有的特殊因子第四页，共三十四页，2022年，8月28日可以把模型推广到多个因子的情况，如含数学推导因子，记忆因子，计算因子等分别记为：F1,F2,…,Fm

其中

F1,F2,…,Fm又被称为潜在因子，是相互不相关不可观测的，是对所有Xi都起作用的公共因子

(作用可大可小);aij称为因子载荷;

是Xi特有的特殊因子第五页，共三十四页，2022年，8月28日因子分析的主要应用：

1.寻求内部结构,找出少数几个因子,

以再现它们与原始变量间的内在联系

2.用于分类,对p个变量或n个样本分类

R型因子分析：用变量之间的相关关系

对变量或样本分类

Q型因子分析：用样本之间的相关关系

对变量或样本分类第六页，共三十四页，2022年，8月28日1.不是研究自变量和因变量间关系，

而是在探寻可能无法观察的自变量(因子)的过程中，研究因变量之间的关系.回答：A.找几个因子？

B.因子的含义？

C.因子解释数据的程度？

D.随机成分解释数据程度

2.启发式Heuristic：不是绝对的模型第七页，共三十四页，2022年，8月28日正交因子模型矩阵形式第八页，共三十四页，2022年，8月28日

其中:可观测公共因子

不可观测

特殊因子与F互不相关因子载荷阵

附页第九页，共三十四页，2022年，8月28日由于

有方程：

如用标准化的变量X，协方差阵被换成相关阵附页第十页，共三十四页，2022年，8月28日还有

如用标准化的变量X

由于系数ai1,ai2,…,aim

度量了Xi可由F1,F2,…,Fm的线性组合表示的程度,称作载荷（loading,心理学).即称aij

为

第i个变量在第j个因子上的载荷附页第十一页，共三十四页，2022年，8月28日由于

其中

是全部公共因子对变量Xi的总方差的贡

献,称为共因子方差.它反映了变量Xi对

公共因子F的依赖程度,也称为变量Xi的

公共度(communalities)

是由与Xi有关的特定因子产生的方差，

称为剩余方差附页第十二页，共三十四页，2022年，8月28日在因子载荷阵A中,求A的各列的平方和

是第j个公共因子Fj对所有变量X的总影

响,也称它为公共因子Fj的方差贡献.

的值越大,表明Fj对X的贡献越大.可以将它们排序，得到公共因子的贡献排序

附页第十三页，共三十四页，2022年，8月28日注1：

因子模型

作量纲变化X*=CX,其中C为对角阵有

即

模型不受量纲影响附页第十四页，共三十四页，2022年，8月28日注2：

因子模型

做变换,其中G为m×m正交阵,

有

如将看成公共因子,则可看成因子载荷阵,即公共因子和因子载荷阵不唯一.附页第十五页，共三十四页，2022年，8月28日

方差最大的正交旋转(varimax)

记

其中

而

记

做旋转使p个数据的方差最大附页第十六页，共三十四页，2022年，8月28日几何解释：

如果记

其长度为1,即

夹角余弦

它恰好等于变量与的相关系数？！附页第十七页，共三十四页，2022年，8月28日公共因子不一定是正交的

---斜交因子模型

把公共因子表示成变量的线性组合

---因子得分

附页第十八页，共三十四页，2022年，8月28日因子模型

1.因子得分的加权最小二乘估计：

2.假设可得到因子得分的最大似然估计（巴特来因子得分）

3.回归法权（汤普森因子得分）附页第十九页，共三十四页，2022年，8月28日主成分分析与因子分析的公式上的区别主成分分析因子分析(m<p)SPSS用主成分输出Componentmatrix因子得分SPSS用主成分输出中的Componentscorecoefficientmatrix(选Displayfactorscorecoefficientmatrix)prin1

和f1的差别在于前者系数是单位向量第二十页，共三十四页，2022年，8月28日参数估计方法：

1.主成分法

2.主因子解

3.极大似然法

附页第二十一页，共三十四页，2022年，8月28日

主成分法

设样本协方差阵S的特征向量为

特征值为则S有谱分解

其中

被看作的主成分分解附页第二十二页，共三十四页，2022年，8月28日

主因子解

对相关阵R出发,设则有约相

关阵：.给定对角阵D作初始值可得,记其特征向量为

特征值为

记

用作为新D，重复上面计算

直到收敛，称此分解为主因子解附页第二十三页，共三十四页，2022年，8月28日

极大似然法

在正交因子模型中

设共因子和特殊因子服从正态分布

则来自正态分布

设取

似然函数中，A和D未知

上述等式满足似然方程式

用迭代方法求极大似然解附页第二十四页，共三十四页，2022年，8月28日SPSS数据形式第二十五页，共三十四页，2022年，8月28日SPSS-因子分析打开studentscore.sav，选Analyze－DataReduction－FactorAnalysis进入主对话框；把math、phys、chem、literat、history、english选入Variables，点击ExtractionA在Method可选择PrincipalComponentsB在Analysis选Covariancematrix（X不做标准化）；选Correlationmatrix（X标准化）C在Display可选unrotatedfactorsoluation和画碎石图就选ScreeplotD在Extract选项可以按照特征值的大小选主成分，也可选主成分的数目Numberoffactors(2)之后选Continue。第二十六页，共三十四页，2022年，8月28日点击RotationA在Method选一个旋转方法如varimaxB在Display选Rotatedsolution（以输出和旋转有关的结果）和Loadingplot（以输出载荷图）；之后选Continue点击Scores，再选择Saveasvariables（因子得分就会作为变量存在数据中的附加列上）和计算因子得分的方法（比如Regression）；要想输出ComponentScoreCoefficientMatrix表，就要选择Displayfactorscorecoefficientmatrix；之后选Continue。这时点OK即可。第二十七页，共三十四页，2022年，8月28日这里的InitialEigenvalues就是这里的六个特征值（数据相关阵的特征值）。头两个成分特征值累积占了总方差的81.142%。后面的特征值的贡献越来越少。

第二十八页，共三十四页，2022年，8月28日特征值的贡献还可以从SPSS的所谓碎石图看出第二十九页，共三十四页，2022年，8月28日原始六主成分

用x1,x2,x3,x4,x5,x6来表示math（数学），phys（物理），chem（化学），literat（语文），history（历史），english（英语）等变量。选两个因子f