多元统计学-课件第六章3

多元统计学-课件第六章3多元统计学-课件第六章3多元统计学-课件第六章3因子分析的方法最初是应用在教育心理学上，英国心理学家C.Spearman于1904年发表了对学生考试成绩分析的著名文章，可以认为是因子分析方法的开始。例如，为了考察学生的知识水平，常用学生的考试成绩来评定。假设有个学生，每个学生都参加词汇、阅读、同义词，算术、代数和微积分等六科的考试，每个学生的六科成绩记为。由此可以算出六科考试成绩的样本相关矩阵表示第科成绩与第科成绩之间的样本相关系数，。其数值如下表6.6。2020/12/182人有了知识，就会具备各种分析能力，明辨是非的能力。多元统计学-课件第六章3多元统计学-课件第六章3多元统计学-1

因子分析的方法最初是应用在教育心理学上，英国心理学家C.Spearman于1904年发表了对学生考试成绩分析的著名文章，可以认为是因子分析方法的开始。

例如，为了考察学生的知识水平，常用学生的考试成绩来评定。假设有个学生，每个学生都参加词汇、阅读、同义词，算术、代数和微积分等六科的考试，每个学生的六科成绩记为。由此可以算出六科考试成绩的样本相关矩阵表示第科成绩与第科成绩之间的样本相关系数，。其数值如下表6.6。

2020/12/182因子分析的方法最初是应用在教育心理学上，英国心理学家C.S由表6.6中的数值可以看出，前三种中每两科之间相关系数较大，后三科中每两科之间相关系数也较大，但前三科与后三科之间的相关系数都很小，这表明，用六个科目来考察学生的知识水平，实际可分为二大科目来考察学生知识水平，即前三科可列为语文能力的考察，后三科可列为数学能力的考察。称语文能力和数学能力为反映学生成绩的两个不可观测的公共因子，并且可以认为这两个公共因子互不相关。

2020/12/183由表6.6中的数值可以看出，前三种中每两科之间相关系数较大，表6.6样本相关系数表

（词汇）（阅读）（同义词）（算术）（代数）（微积分）（词汇）1

（阅读）0.721对

（同义词）0.630.571

称

（算术）0.090.150.141

（代数）0.090.160.150.511

（微积分）0.000.090.090.630.721

（词汇）（阅读）（同义词）（算术）（代数）（微积分）（词汇）1

（阅读）0.721对

（同义词）0.630.571

称

（算术）0.090.150.141

（代数）0.090.160.150.511

（微积分）0.000.090.090.630.721

（词汇）（阅读）（同义词）（算术）（代数）（微积分）（词汇）1

（阅读）0.721对

（同义词）0.630.571

称

（算术）0.090.150.141

（代数）0.090.160.150.511

（微积分）0.000.090.090.630.721

（词汇）（阅读）（同义词）（算术）（代数）（微积分）（词汇）1

（阅读）0.721对

（同义词）0.630.571

称

（算术）0.090.150.141

（代数）0.090.160.150.511

（微积分）0.000.090.090.630.721x1（词汇）

x2（阅读）

x3（同义词）

x4（算术）

x5（代数）x6（微积分）

X1（词汇）1X2（阅读）0.721对X3（同义词）0.630.571称X4（算术）0.090.150.141X5（代数）0.090.160.150.511X6(微积分）0.000.090.090.630.7212020/12/184表6.6样本相关系数表

（词汇）（阅

对每个学生来说，他们各自都有六科成绩，但归纳起来，可以用上述两个不可观测的互不相关的公共因子，即语文能力、数学能力来考察学生的知识水平。一般的作法是，学生的每科成绩即可观测的相互有关的一组变量可用两个不可观测的语文能力（设为）与数学能力（设为）的线性组合，再加上影响各科成绩的各自特殊因子（分别设为）来描述，于是有：2020/12/185对每个学生来说，他们各自都有六科成绩，但归纳起来，可以用写成矩阵形式，即其中：并由此来分析学生的语文能力和数学能力，这就是因子分析的目的。

2020/12/186写成矩阵形式，即2020/12/186一般来说，因子分析就是试图用最少个数的不可观测的互不

相关的公共因子的线性组合，再加上特殊因子来描述原来一组可观测的相互有关的每个变量，其目的是尽可能合理解释存在于原

始变量之间的相关性，并且简化变量的维数和结构。2020/12/187一般来说，因子分析就是试图用最少个数的不可观测的互不相关§6.2.1因子分析数学模型

设有个样品，每个样品提取了m个特征变量（指标），如果特征变量用（）表示，则对不同的就有不同的均值与方差。为了对变量进行比较，并消除由于变量量纲的差异所造成的影响，可将样本观测数据先进行标准化处理，使标准化后的变量的均值为0，方差为1。这样一来，原来的m个变量（）经过标准化后变为新的变量，用（）表示，称为标准变量。如果原来的m个变量有不可观测的n个公共因子设为，，经过标准化后可记作，且变量可以表达为2020/12/188§6.2.1因子分析数学模型设有个样品，每个样品提取

（6.25）式中，称为特殊因子，它是既与不相关且

间也互不相关的因子。随机向量的均值为

，协方差矩阵，且等于相关阵，向量，协方差矩阵，即向量的各分量是相互独立的，向量与相互独立，即且的协方差矩阵（6.25）

2020/12/189（6.25）式中，称为特殊因子，它是既与不相关且为对角阵，即的各分量之间也是相互独立的，则（6.25）式可展开为

（6.27）（6.26）

2020/12/1810（6.26）2020/12/1810（6.27）式用矩阵形式表示，即为

（6.28）上式（6.27），（6.28）称为因子分析数学模型，其中

为矩阵且

（6.29）2020/12/1811（6.27）式用矩阵形式表示，即为2020/12/1811称为公共因子（或称主因子），且

称为第个公共因子，公共因子是在变量的表达式（6.27）中共同出现的因子，是相互独立的不可观测的变量，称为特殊因子，是向量的分量所特有的因子，只对起作用。各特殊因子之间以及特殊因子与所有公共因子之间都是相互独立的。

矩阵中的元素称为因子载荷，矩阵A称为因子载荷矩阵。2020/12/1812称为公共因子显然，上述因子分析数学模型可以简化为（6.30）其中并已假定。2020/12/1813显然，上述因子分析数学模型可以简化为2020/12/1813实际问题中，因子分析总是根据特征变量的观测数据阵来求因子载荷矩阵A，并且确定公共因子的个数。2020/12/1814实际问题中，因子分析总是根据特征变量的2020/12§6.2.2因子载荷矩阵的统计意义

对于因子分析数学模型（6.30）式，一旦因子载荷矩阵A及公共因子确定，则因子分析数学模型最终确定。为了确定因子载荷矩阵A，我们需要对因子载荷矩阵A的统计意义给予解释。下面就因子载荷矩阵A的统计意义从三个方面进行说明。1．因子载荷矩阵的统计意义

由§6.2.1知，所以与的协方差2020/12/1815§6.2.2因子载荷矩阵的统计意义

（6.31）即是的协方差。又因为与的相关系数为

（6.32）由此知又可看作与的相关系数，它表示依赖的程度，即反映了第个变量对第个公共因子的相对重要性，也就是表示与公共因子的密切程度。2020/12/18162020/12/1816而的系数，，…，正好表示了与的线性组合程度。

2．变量共同度的统计意义如果将因子载荷矩阵A中第行元素的平方和记为，即

（6.33）则称为变量的共同度。为了说明共同度的统计意义，我们先来计算的方差。2020/12/1817而的系数，，…（6.34）又∵

∴

（6.35）对于（6.34）式，它表明的方差由两部分组成，第一部分是，它反映了全部公共因子对变量的影响，也就是反映了全部公共因子对

2020/12/1818（6.34）2020/12/1818的方差所做出的贡献，所以也称为公共因子对变量的方差贡献。当接近于1时，则表明变量的全部原始信息几乎被所选取的公共因子所包含。第二部分是，它是特殊因子所产生的方差，仅和的变化有关，称为剩余方差。由（6.35）式知，大，则小，大就表示变量对公共因子的共同依赖程度大，这正是称为变量的共同度的理由。当

=1，，这时变量由公共因子的线性2020/12/1819的方差所做出的贡献，所以也称为公共因子对变量的组合表示，当接近于0时，则表明公共因子

对变量的影响不大，这时主要由特殊因子来表述。因此，剩余方差也称为特殊因子的方差贡献。3．公共因子的方差贡献的统计意义

因子载荷矩阵A的第j列（的各元素的平方和记为，即

（6.36）

2020/12/1820组合表示，当接近于0时，则表明公共因子2020/12/1则就表示第个公共因子对于X的每一个分量所提供的方差总和，称为公共因子对的方差贡献。反映了公共因子对X的影响和作用，是衡量公共因子相对重要性的指标。越大，表明公共因子对X的贡献就大，或者说对X的影响和作用就越大。2020/12/1821则就表示第个公共因子对于X的每一个分量§6.2.3因子载荷矩阵的求法

由于的每一个分量都已标准化，所以的协方差矩阵等于相关阵，即

（6.37）又由

，有2020/12/1822§6.2.3因子载荷矩阵的求法

由于所以有令

则有

这里称为约相关矩阵。（6.38）

2020/12/1823（6.38）2020/12/1823与的区别仅在于主对角线上的元素不相同：即2020/12/1824与的区别仅在于主对角线上的元素不相同：2020（6.39）

显然的主对角线上的元素依次为；而的主对角线上的元素依次为，且为非负定矩阵。2020/12/1825（6.39）显然的主对角线上的元素依次为为确定因子载荷矩阵，现在可依次确定因子载荷矩阵A的各列，使因子载荷矩阵中各列对X的贡献有顺序。因为

2020/12/1826为确定因子载荷矩阵，现在可依次确定因子载2020/12/18所以

（6.41）

下面先来确定因子分析数学模型中的公共因子，显然我们希望对的影响最大（贡献最大），即是要求在满足

2020/12/1827所以 （6.41）202条件下取得最大，这是一个条件极值问题，应用Lagrange乘数法，有

（6.42）式中称为拉格朗日乘数因子，Q为一增广函数，因子载荷为未知量。2020/12/1828条件下取得最大，这是现在分别求Q关于及的偏导数，并令其为0，于是有

（6.43）

（6.44）（6.43）与（6.44）式可写成统一形式（6.45）2020/12/1829现在分别求Q关于及的偏导数，并令其为0其中用乘（6.45）式两端，并对求和，则有

（6.46）由（6.43）式有所以2020/12/1830其中2020/12/1830因此（6.46）可以写成

（6.47）再用乘（6.47）式两端，并对求和，则有

（6.48）又由（6.41）式，有

（6.49）2020/12/1831因此（6.46）可以写成2020/12/1831将（6.49）式写成矩阵形式，则有或用矩阵表示，即

（6.50）2020/12/1832将（6.49）式写成矩阵形式，则有2020/12/1832（6.50）式说明，是约相关矩阵的最大特征根，而是的最大特征根所对应的特征向量，而该向量是因子载荷矩阵A的第一列元素组成的向量。由此，我们就给出了确定因子载荷矩阵A第一列元素的方法，即，只需求出约相关矩阵的最大特征根所对应的特征向量（注意，属于的特征向量不唯一）。为了使该特征向量能成为因子载荷阵第1列元素所组成的向量，则必须满足（6.50）式同时又要满足（6.51）

2020/12/1833（6.50）式说明，是约相关矩阵的最大特征根，而

综上所述，求第一公共因子的第一列向量的方法如下：求出的最大特征根及其相对应的特征向量

后，由（6.51）式，对进行规格化处理，即有

2020/12/1834综上所述，求第一公共因子的第一列向量的方法如下：2

其中

（6.52）令

，则所以为选出的第一公因子的因子载荷阵中第一列。如果各变量的公因子方差未被分解完，则继续求与不相关的第二个公因子所对应的因子载荷阵中第二列

。

2020/12/1835

自然的方差贡献要在条件

（6.53）或

（6.54）下为最大。其中，称为从中去掉的影响之后的剩余约相关阵，为的第行，第列元素，为的第行，第列元素。重复前述作法，可求得的最大特征根并记为及相应的特征向量，并根据条件

（6.55）

2020/12/1836自然的方差贡献要在条件（6.55）进行规格化处理，于是可求出公共因子及因子载荷阵A的第二列向量其中

（6.56）

（6.57）

依次类推，就解决了求因子载荷阵A的问题。2020/12/1837进行规格化处理，于是可求出公共因子及因子载荷阵A但是，实际上，求以后的特征根及对应的特征向量，并不需要作变换即由剩余约相关阵来求得，而是由直接求出。下面我们来解决这个问题。设对求得的全部非零特征根为，对应的标准化特征向量为，于是

；为因子载荷阵的第列向量，此时且有2020/12/1838但是，实际上，求以后的特又∵

故

（6.58）下面就（6.58）式