多元统计知识点总结(老师思考题)

十、聚类分析中系统聚类方法聚类分析的步骤是什么？为什么系统聚类中各种聚类分析方法都有递推公式。最长距离、最短距离和类平均法的递推公式是如何证明的？1、根据样品的特征，规定样品之间的距离，共有个。将所有列表，记为D（0）表，该表是一张对称表。2、选择D（0）表中最小的非零数，不妨假设，于是将和合并为一类，记为。(1)聚类分析中系统聚类方法:开始各样品自成一类。3、利用递推公式计算新类与其它类之间的距离。分别删除D（0）表的第K，L行和第K，L列，并新增一行和一列添上的结果，产生D（1）表。4、在D（1）表再选择最小的非零数，其对应的两类有构成新类，再利用递推公式计算新类与其它类之间的距离。分别删除D（1）表的相应的行和列，并新增一行和一列添上的新类和旧类之间的距离。结果，产生D（2）表。类推直至所有的样本点归为一类为止。最后所有的样本被归于一类。聚类分析的步骤是什么？

§3主要的步骤1、选择变量（1）变量与聚类分析的目的密切相关（2）反映要分类变量的特征（3）在不同研究对象上的值有明显的差异（4）变量之间不要高度相关2、计算相似性相似性是聚类分析中的基本概念，他反映了研究对象之间的亲疏程度，聚类分析就是根据对象之间的相似性来分类的。有很多刻画相似性的测度3、聚类选定了聚类的变量，计算出样品或指标之间的相似程度后，构成了一个相似程度的矩阵。这时主要涉及两个问题：（1）选择聚类的方法（2）确定形成的类数4、聚类结果的解释和证实对聚类结果进行解释是希望对各个类的特征进行准确的描述，给每类起一个合适的名称。这一步可以借助各种描述性统计量进行分析，通常的做法是计算各类在各聚类变量上的均值，对均值进行比较，还可以解释各类产别的原因。

为什么系统聚类中各种聚类分析方法都有递推公式。因为系统聚类刚开始计算的距离都有一定的规律性，有着严格的定义，开分项，每一步都可以由上一步的计算所得到，如同可以从D（0）表中可以获得很多知识，最长距离、最短距离和类平均法的递推公式是如何证明的？

最短距离法的递推公式推证

假设第K类和第L类合并成第M类，第M类与其它各旧类的距离按最短距离法为：

最长距离法的递推公式

假设第K类和第L类合并成第M类，第J类与其它各旧类的距离按最长距离法为：类平均法定义类间的距离是两类间样品距离的平均数。对于我们前面讨论的问题

3、类平均法定义两类间的距离递推公式类平均法的递推公式推导假设第K类和第L类合并成第类，第J类与其它各旧类的距离按最短距离法为：K类和L类与J类的距离的加权平均数十一、在系统聚类分析中，分类的类数可以通过R^2和伪F统计量来确定，指出R^2和伪F统计量的构造。注：总离差平方和的分解（准备知识）3.一些统计量如果着些样品被分成两类可以证明：总离差平方和＝组内离差平方和＋组间离差平方和令W为总离差平方和令PG为分为G类的组内离差平方和，则PG＝W1+W2+┅+WG。R2比较大，说明分G个类时类内的离差平方和比较小，也就是说分G类是合适的。但是，分类越多，每个类的类内的离差平方和就越小,R2也就越大；所以我们只能取合适的G，使得R2足够大，而G本生很小，随着G的增加,R2的增幅不大。比如，假定分4类时，R2=0.8；下一次合并分三类时，下降了许多，R2=0.32，则分4类是合适的。1)统计量

3)伪F统计量的定义为

伪F统计量用于评价聚为G类的效果。如果聚类的效果好，类间的离差平方和相对于类内的离差平方和大，所以应该取伪F统计量较大而类数较小的聚类水平。

十二、有序聚类与系统聚类有何不同？k-均值聚类与系统聚类有何不同。有序聚类与系统聚类有何不同？系统聚类分析直观，易懂，速度慢；

快速聚类快速，动态；

有序聚类*保序；

第二章聚类分析

§5有序样本聚类法

一、功能范畴与数据类型有序样本聚类法又称为最优分段法。该方法是由费歇在1958年提出的。它主要适用于样本由一个变量描述的情况。所以多变量问题必须要找到一个刻画距离的指标。有序样本聚类法常常被用于系统的评估问题，被用来对样本点进行分类划级。

系统聚类开始n个样品各自自成一类，然后逐步并类，直至所有的样品被聚为一类为止。而有序聚类则相反，开始所有的样品为一类，然后分为二类、三类等，直到分成n类。每次分类都要求产生的离差平方和的增量最小。k-均值聚类与系统聚类有何不同。（网上）K均值聚类法和系统聚类法有什么区别，这两种聚类方法的适用条件都是什么？k均值聚类法快速高效，特别是大量数据时，准确性高一些，但是需要你自己指定聚类的类别数量系统聚类法则是系统自己根据数据之间的距离来自动列出类别，所以通过系统聚类法得出一个树状图，至于聚类的类别需要自己根据树状图以及经验来确定（书75）K均值法和系统聚类法一样，都是以距离的远近亲疏为标准进行聚类的，但是两者的不同之处也是明显的：系统聚类对不同的类数产生一系列的聚类结果，而k均值法只能产生指定类数的聚类结果。具体类数的确定，离不开实践经验的积累；有时也可以借助系统聚类法以一部分样品为对象进行聚类，其结果作为k均值法确定类数的参考。十四、判别分析与聚类分析在变量有什么不同？聚类分析的选择变量要求（1）变量与聚类分析的目的密切相关（2）反映要分类变量的特征（3）在不同研究对象上的值有明显的差异（4）变量之间不要高度相关变量聚类：找出彼此独立且有代表性的自变量，而又不丢失大部分信息。不同：判别分析和聚类分析不同的在于判别分析要求已知一系列反映事物特征的数值变量的值，并且已知各个体的分类聚类结果主要受所选择的变量影响。如果去掉一些变量，或者增加一些变量，结果会很不同。相比之下，聚类方法的选择则不那么重要了。因此，聚类之前一定要目标明确。

判别分析的变量要求：1.判别分析的基本条件：分组类型在两组以上，解释变量必须是可测的；2.每个解释变量不能是其它解释变量的线性组合（比如出现多重共线性情况时，判别权重会出现问题）；3.各解释变量之间服从多元正态分布（不符合时，可使用Logistic回归替代），且各组解释变量的协方差矩阵相等（各组协方方差矩阵有显著差异时，判别函数不相同）。4.判别分析是根据表明事物特点的变量值和它们所属的类求出判别函数，根据判别函数对未知所属类别的事物进行分类的一种分析方法，与聚类分析不同，它需要已知一系列反映事物特性的数值变量值及其变量值。要选择好可能用于判别的预测变量。这是最重要的一步。当然，在应用中，选择的余地不见得有多大。要注意数据是否有不寻常的点或者模式存在。还要看预测变量中是否有些不适宜的；这可以用单变量方差分析（ANOVA）和相关分析来验证。判别分析是为了正确地分类，但同时也要注意使用尽可能少的预测变量来达到这个目的。使用较少的变量意味着节省资源和易于对结果进行解释。判别分析中的因变量或判别准则是定类变量，而自变量或预测变量基本上是定距变量。聚类分析并不是一种纯粹的统计技术，其方法基本上与分布理论和显著性检验无关。一般不从样本推断总体。而判别分析中，对于分布理论非常关注，它有一个基本假设；每一个类别都应取自一个多元正态的样本，而且所有正态总体的协方差矩阵或相关矩阵都假定是相同的。如不满足正态总体假定的做正态变换；如果不满足协方差矩阵相同的假定，则可能要采用非线性的判别函数十五、距离判别分析中，为何不用欧氏距离？而用马氏距离。首先由于判别分析中，对于分布理论非常关注，它有一个基本假设；每一个类别都应取自一个多元正态的样本，而且所有正态总体的协方差矩阵或相关矩阵都假定是相同的。如不满足正态总体假定的做正态变换。因此我们应该选择马氏。二、常用距离的算法设和是第i和j个样品的观测值，则二者之间的距离为：明氏距离特别，欧氏距离(1)明氏距离测度

明考夫斯基距离主要有以下两个缺点：①明氏距离的值与各指标的量纲有关；②明氏距离的定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各个变量都同等看待，将两个样品在各个变量上的离差简单地进行了综合；(4)马氏距离这是印度著名统计学家马哈拉诺比斯(P．C．Mahalanobis)所定义的一种距离，其计算公式为：分别表示第i个样品和第j样品的p指标观测值所组成的列向量，即样本数据矩阵中第i个和第j个行向量的转置，表示观测变量之间的协方差短阵。在实践应用中，若总体协方差矩阵未知，则可用样本协方差矩阵作为估计代替计算。第二节

距离判别（一）马氏距离距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。设是从期望μ=和方差阵Σ=的总体G抽得的两个观测值点，则称

为X与Y之间的Mahalanobis距离。马氏距离和欧式距离之间的差别马氏距离欧氏距离马氏距离有如下的特点：

2、马氏距离是标准化后的变量的欧式距离1、马氏距离不受计量单位的影响;

3、若变量之间是相互无关的，则协方差矩阵为对角矩阵2倍标准差1.5倍标准差判给哪个总体更合理？十六、给出三个或以上距离判别法的判别规则。为什么在距离判别分析中，为何不能计算出错判概率？随着计算机计算能力的增强和计算机的普及，距离判别法的判别函数也在逐步改进，一种等价的距离判别为：设有个K总体，分别有均值向量μj(j=1,2,…,k)和协方差阵Σj=Σ，各总体出现的先验概率相等。又设Y是一个待判样品。则与的距离为（即判别函数）(三)多总体的距离判别法上式中的第一项Y’Σ-1Y与j无关，则舍去，得一个等价的函数将上式中提-2，得则距离判别法的判别函数为：判别规则为注：这与前面所提出的距离判别是等价的.（四）对判别效果做出检验

由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。如图

1.错判问题阈值

了解两个总体的情形：其判别函数为2.错判概率的计算设1和2是两个总体，假设其服从正态分布，记p(2/1)来于第一个总体，但是判给了第二个总体的概率；p(1/2)来于第二个总体，但是判给了第一个总体的概率。则

因为所以，当x属于第一个总体时又则则所以同理思考：越大误判概率是越大还是越小？误判概率最大是多少？这时的为几？假设两总体均值间的马氏距离为16，错判概率为多少？误判概率一定可以计算出来吗？

十七、给出贝叶斯判别法中后验概率最大的准则贝叶斯判别法。为何要给出总体的分布形式。什么条件下距离判别和贝叶斯判别方法等价？(当总体会以相同的概率（先验概率）出现时）(1)给出贝叶斯判别法中后验概率最大的准则贝叶斯判别法。设有总体，具有概率密度函数。并且根据以往的统计分析，知道出现的概率为。即当样本发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有：判别规则则判给。在正态的假定下，为正态分布的密度函数。(2)为何要给出总体的分布形式。距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率（先验概率）出现，也没有考虑误判之后所造成的损失的差异。一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。十八、在逐步判别中，^统计量是如何构造的。如果该统计量小，说明什么？小说明p个指标至少有一个对G1，G2，┅，Gk有强的区别能力，拒绝原假设。设有n样品，分别来自k个类G1，G2，┅，Gk其中nj个来自Gj，

（一）变量组间差异的显著检验样品分别为：即，p个指标对G1，G2，┅，Gk均无区别能力；p个指标至少有一个对G1，G2，┅，Gk有区别能力。当比值很小，类内叉积矩阵的行列式在总叉积矩阵的行列式所占比率小，则类间的离差平方和所占比重大。在原假设为真的条件下，服从维尔克斯分布。当接受原假设；当p个指标至少有一个对G1，G2，┅，Gk有强的区别能力，拒绝原假设。

五、如果我们有p个变量，如果基于相关系数矩阵进行主成分分析，那么所有主成分方差为p，这是为什么？

因为相关系数矩阵就是随机变量标准化后的协方差矩阵，通过随机变量的标准化，相关系数矩阵剥离了单个指标的方差，仅保留指标间的相关性。用相关系数矩阵计算主成分，其优势效应体现在相关性大、相关指标多的一类指标上。§4主成分的性质一、均值二、方差为所有特征根之和说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。

协方差矩阵的对角线上的元素之和等于特征根之和。而因为相关系数矩阵的对角线上的元素只和为p六、在主成分分析中，主成分与原始变量之间的相关系数的计算公式是什么？四、变量与主成分之间的相关系数

可见，和的相关的密切程度取决于对应线性组合系数的大小。F1F2…Fpx1…x2…┇┇┇┇xp…七、基于相关系数矩阵的特征根和特征向量如下计算8个变量与第一个主成分之间的相关性。0.842658992=0.354838*sqrt(5.6395370)/sqrt(1)0.63029747=0.265414*sqrt(5.6395370)/sqrt(1)0.8615764180.8816456080.6722050540.899928970.956807110.913985239四、在因子分析中载荷矩阵有什么统计意义？我们在进行因子分析时载荷矩阵A，要满足一些什么条件呢？§2因子分析的数学模型

（一）数学模型1、型因子分析数学模型设个变量，如果表示为称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。并且满足：，即不相关；即互不相关，方差为1。即互不相关，方差不一定相等，。2、型因子分析数学模型设个样品，如果表示为称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。并且满足：即不相关；即互不相关，方差为1。即互不相关，方差不一定相等，。（二）因子分析中的几个统计特征1、因子载荷的统计意义因子载荷是第i个变量与第j个公共因子的相关系数

模型为

在上式的左右两边乘以

,再求数学期望

根据公共因子的模型性质，有（载荷矩阵中第i行，第j列的元素）反映了第i个变量与第j个公共因子的相关重要性。绝对值越大，相关的密切程度越高。八、如果进行因子分析时利用主成分法，那么因子分析的载荷矩阵与主成分分析的载荷矩阵有什么关系。设随机向量的均值为，协方差为,为的特征根，为对应的标准化特征向量。（一）主成分法

上式给出的表达式是精确的，然而，它实际上是毫无价值的，因为我们的目的是寻求用少数几个公共因子解释，故略去后面的p-m项的贡献。

如果先假定模型中的特殊因子是不重要的，因而从的分解中忽略了特殊因子的方差。如果认为从第m+1到p个特征根是非常小的，则九、从应用的角度讨论因子分析旋转的目的。

§4因子旋转（正交变换）建立了因子分析数学目的不仅仅要找出公共因子以及对变量进行分组，更重要的要知道每个公共因子的意义，以便进行进一步的分析，如果每个公共因子的含义不清，则不便于进行实际背景的解释。由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值向0和1两极分化。有三种主要的正交旋转法。四次方最大法、方差最大法和等量最大法。（一）为什么要旋转因子因素旋转的目的是想通过改变坐标轴的位置，重新分配各个因素所解释的变异数的比例，使因素结构更为简单，更易于解释。因素旋转不会改变模型对数据的拟合程度，也不会改变每个变量的共通性，但却会改变因素的变异数贡献。所谓「简单的因素结构」是指每个变量在尽可能少的因素上有比较高的负荷。以因素为轴，因素负荷为坐标而做图，则每个变量是该空间中的一个点，该图称为因素负荷图。如图1和图2所示。图1

因素载荷图图2

坐标轴旋转载荷图直角坐标系由两个因子张成。

十三、利用因子分析进行聚类分析的步骤？

应用背景：变量过多，理清其相关的头绪。第一步：对P个变量做因子分析，留下两个因子，做四次方最大旋转，然后根据其载荷的大小，将变量分到与其载荷最大的因子一组，则一分为二。第二步：选中一个类进行再次的分割，分别对两个类里的变量做因子分析，留两个公共因子，做四次方最大旋转观察那个类有最大的第二个公共因子可解释的方差，哪个最大，则此类被选中进行二次分类；第三步：重复第二步的工作直到不能分为止。补充：变量聚类分析一、简介在实际工作中，变量聚类的应用也十分重要。在系统分析或评估过程中，为了避免某些重要因素的遗漏，人们往往在一开始选取指标时，尽可能多地考虑所有的相关因素。而这样做的结果，则是变量过多，变量相关度高，给系统分析与建模带来很大的不便。因此，人们常常希望能研究变量间的相似关系，按照变量的相关关系把他们聚合为若干类，从而观察和解释影响系统的主要原因。SAS/VARCLUS过程试图把一组变量分为不重叠的一些类，所以VARCLUS过程可以用来压缩变量，用信息损失很少的类分量来代替含有很多变量的变量集。例如，一种教育情况的检查可能包括有50项指标，VARCLUS分析将这些项分为几类，比如5个类，每类做部分检查，检查类分量的得分。二、变量聚类的步骤VARCLUS过程开始把所有变量看为一个类,然后重复下面的步骤:1.

首先挑选一个将被分裂的类变量聚类分析的想法是，VARCLUS过程首先找出该大类的第一和第二公共因子，这两个公共因子经过正交坐标变换，即因子分析中常用的Quartimax（四次方最大方法）旋转，让原始变量仅仅在一个公共因子上有高载荷。变量被指定归入一个与其相关系数的平方较高的公共因子。如此原有的大类被分裂为二。2.变量重新归类两个（或两个以上的）之中的一个类被选中，照第一步的方法再分裂为二。这个被选中的类通常拥有最大的第二特征根，或者是拥有最小的可被类向量解释的变异数百分比。3.第一步和第二步不停的交互进行，直至类内变量之间的第二特征根或可被类向量解释的变异数百分比达到预设定的标准为止。二十一、利用主成分得分进行综合评价的步骤。

计算所选原始变量的相关系数矩阵

相关系数矩阵描述了原始变量之间的相关关系。可以帮助判断原始变量之间是否存在相关关系，这对因子分析是非常重要的，因为如果所选变量之间无关系，做因子分析是不恰当的。并且相关系数矩阵是估计因子结构的基础。选择分析的变量用定性分析和定量分析的方法选择变量，因子分析的前提条件是观测变量间有较强的相关性，因为如果变量之间无相关性或相关性较小的话，他们不会有共享因子,所以原始变量间应该有较强的相关性。一、因子分析通常包括以下五个步骤提取公共因子

这一步要确定因子求解的方法和因子的个数。需要根据研究者的设计方案或有关的经验或知识事先确定。因子个数的确定可以根据因子方差的大小。只取方差大于1(或特征值大于1)的那些因子，因为方差小于1的因子其贡献可能很小；按照因子的累计方差贡献率来确定，一般认为要达到60％才能符合要求；

因子旋转

通过坐标变换使每个原始变量在尽可能少的因子之间有密切的关系，这样因子解的实际意义更容易解释,并为每个潜在因子赋予有实际意义的名字。

计算因子得分求出各样本的因子得分，有了因子得分值，则可以在许多分析中使用这些因子，例如以因子的得分做聚类分析的变量，做回归分析中的回归因子。

二十二、证明因子模型中总体协方差矩阵的分解公式。§2因子分析的数学模型

（一）数学模型1、型因子分析数学模型设个变量，如果表示为称为公共因子，是不可观测的变量，他们的系数称为因子载荷。是特殊因子，是不能被前m个公共因子包含的部分。并且满足：，即不相关；即互不相关，方差为1。即互不相关，方差不一定相等，。（三）因子分析模型的性质1、原始变量X的协方差矩阵的分解D的主对角线上的元素值越小，则公共因子共享的成分越多。三、为什么在进行综合评价时需要进行数据的标准化处理。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。数据无量纲化处理主要解决数据的可比性。因为统计分析更多的是针对较复杂的社会经济现象,需要用比较广泛的统计指标,即利用由众多指标构成的统计指标体系进行描述与分析。而利用多指标进行统计分析,往往需要借助于各种各样的统计综合合成方法,如多指标的综合评价、聚类分析、主成分分析、关联分析,等等。为此,需要指标之间具有综合性。然而,各指标由于性质不同、计量单位不同,往往缺乏综合性。此外,当各指标间的水平相差很大时,如果直接用原始指标值进行分析,就会突出数值较高的指标在综合分析中的作用,相对削弱数值水平较低指标的作用,从而使各指标以不等权参加运算分析。为避免这一点,解决各指标数值可综合性的问题,必要时需要对各指标数值进行无量纲化处理。由于不同变量常常具有不同的单位和不同的变异程度。不同的单位常使系数的实践解释发生困难。不同变量自身具有相差较大的变异时，会使在计算出的关系系数中，不同变量所占的比重大不相同。为了消除量纲影响和变量自身变异大小和数值大小的影响，故将数据标准化。

二、假设有一个p维正态总体

。那么数据变换

和有什么不同？他们都是马氏距离的开方，而第一种变换假设p维变量无关，且他们的方差都相同，而变换二则考虑到更一般的情况也就是p维向量无关，但是p维向量的方差是不同的。一、假设是正态分布的似然函数，x是nxp样本观测矩阵。那么有最大值，这句话对吗？为什么？（书p21）

十九、在我国的城镇居民消费支出中有食品、衣着、居住、家庭设备用品及服务、医疗保健1.这两年的第一和第二公共因子有何不同。请阐述。2.给两个公共因子命名3.计算共同度，和公共因子的方差解释。4.用EXCEL计算残差矩阵，讨论因子分析结果；1.这两年的第一和第二公共因子有何不同。请阐述。

2009年各个因素所解释的变异数的比例更加明显，使因素结构更为简单，更易于解释。2.给两个公共因子命名

第一个因子：为城镇居民的一般性支出因子（基本消费因子）第二个因子：城镇居民额外保健审美消费因子（附加消费因子）3.计算共同度，和公共因子的方差解释。共同度：0.904021=0.95*0.95+0.39*0.0390.776450.7024090.80930.8197540.9425160.9379450.822226可见每个X的共同度都非常大，则因子分析的效果好，从原变量空间到公共因子空间的转化性质好。2、变量共同度的统计意义定义：变量的共同度是因子载荷矩阵的第i行的元素的平方和。记为统计意义：两边求方差

所有的公共因子和特殊因子对变量的贡献为1。如果非常靠近1，