多元统计分析方法

多元统计分析方法主要内容主成分分析因子分析判别分析聚类分析主成分分析主要思想:减少指标个数，将多个指标组合形成几个较少的综合指标希望得到的综合指标之间互不相关希望综合之后能绝大部分的保留原有的信息主成分分析设p维随机变量 的协方差矩阵为由高代的知识有,必存在正交矩阵 ,使其中向量为为特征值,其对应的特征的对应列。主成分分析作变换的协方差矩阵为说明 的各个分量之间是互不相关的,且对 的第i个分量的方差为主成分分析 是对 作的正交变换,是可逆的,因此他们包含的信息也是相等的。随机变量包含的信息由方差大小来衡量,因此衡量总信息的多少主成分分析称为 的第j个主成分,为主成分 的贡献率,称的累计贡献率。为主成分分析实际一般从贡献率大的主成分开始选择,依次选 择直到累计贡献率达到85%以上,当然也可以根 据自己的选择和要求来确定最低的累计贡献率。第i个主成分实际上是p个原始变量的线性组合, 线性组合的权重是正交矩阵的第i列的对应元 素。因子分析模型形式为因子分析假设有•因子分析不妨假设记的影响,而 说明特其中 说明公共因子对 殊因子的影响。记说明公共因子 对 的影响,是度量这个公共因 子作用的重要尺度。因子分析矩阵A的统计意义如下:因子分析假设已知记可以证明因子分析在实际中,只知道样本的协方差矩阵对协方差矩阵做谱分解其中因子分析先取第一个特征值和相应特征向量,检查是否接近于对角矩阵,如果接近,则表明公共因子只有一个,剩下的都是特殊因子的影响。如果不接近对角矩阵,那么考虑取第二个特征值和相应特征向量,检查因子分析如何判定对角矩阵,可以设定一个很小的值,比 如0.001,如果矩阵的非对角元都比它小,则可 以近似认为该矩阵是一个对角阵如果最后满足条件为则认为有k个公共因子。主成分和因子分析的比较它们的目的是相同的。选择标准不一样,主成分分析是让剩余方差的总和比较小,而因子分析是让剩余的协方差矩阵近似为对角阵。如果能得到两者的统一最好。在很多统计软件中没有单独列出主成分分析的内容,而是包括在因子分析中。判别分析有G个总体，每个总体中的个体都含有p项指标， 各总体的分布函数分别为:对给定的一个属于未知类属的个体，希望由它的p个指标的观测值来判别它的类属。判别分析距离判别Bayes（贝叶斯）判别Fisher（费歇）判别距离判别以简单的两总体来说明问题。设有两个p维总体A1.A2，它们分别服从现有一个来自二总体之一的一个个体要判断它来自哪个总体？？？？距离判别马氏距离:个体到总体的距离为距离判别的思想即求出马氏距离之后，看哪个值小 就判定此个体属于哪个总体。但有误差，因此一般 只有两个总体的均值之间有显著性差异的时候才使 用距离判别。推广到多个总体时思想是一样的，也可以推广到非 正态总体，只要二阶矩存在就可以。实际问题中的距离判别问题实际问题中，各个总体的均值和协方差矩阵都是未知的。需要先从各个总体中抽出一些样本，根据样本来估计各个总体的均值和相同的协方差矩阵，然后以这些估计来计算相应的马氏距离。实际中不是比较他们的距离，而是根据总体的性质确定出两个总体的接受域。如果各个总体的方差不相等怎么办？？Bayes判别在各个总体的分布密度和先验概率已知的情形下使 用。是目前使用最多的判别方法之一。Bayes判别Bayes判别可以证明Bayes判别的划分为如下:函数 具有明显的概率意义,它表示来自总体 的样品错分到 的平均损失,上式也说明总的平 均损失达到最小与每个的平均损失最小是等价的。Fisher判别假设有k个p维总体,Fisher判别的思想为 找一个p维向量V,得到线性判别函数Fisher判别Fisher判别Fisher判别令则 相当一元方差分析中的组间差，而 相当 于组内差，由前面讲的Fisher判别的思想有？？？？Fisher判别要选择U使得 尽量大，而 尽量小，即选择U 使得下式达到极大:Fisher判别