第8讲最大似然估计和主成分

第8讲最大似然估计和主成分分析文志强文志强计算机与通信学院1主要内容最大似然估计维数问题主成分分析2贝叶斯方法的困难：先验概率P(wi)和类条件概率密度p(x|wi)难以获取。解决办法：利用训练样本来估计问题中所涉及的先验概率和类条件密度函数。类条件密度函数估计的难点：1）很多情况下，已有的训练样本数总是显得太少；2）当用于表示特征的向量维数较大时，就会产生严重的计算复杂度问题。解决办法：如果事先知道参数个数，并且先验知识允许能够把条件概率密度进行参数化，问题的难度就可以显著地降低。两个概念：有监督学习和无监督学习38.1最大似然估计8.1.1基本原理已知样本集D，其中每一个样本都是独立的根据已知形式的概率密度函数p(x|θ)抽取得到的，要求使用这些样本，估计概率密度函数中的参数向量θ的值。假设样本集D中有n个样本：x1,x2,…,xn。由于这些样本独立抽取，则下式成立：p(D|θ)称为样本集D下的似然函数4图8-1中上图显示了一维情况下的一些训练样本，这些样本都服从一个方差已知，而均值未知的一维高斯分布。中间图显示了似然函数p(D|θ)关于均值的函数图像。如果我们有非常多的训练样本，那么函数的波形将是非常窄的。使得似然函数取得最大值的点标记为。下图中所示对数似然函数l(θ)取最大值的那个点。5定义对数似然函数l(θ)最大似然估计：即有：求解最大似然估计值θ的必要条件求出来的θ值是估计值，其真实程度受训练样本个数的制约。最大后验概率(maximumaposteriori，简记MAP)方法：maxθ

l(θ)p(θ)68.1.2高斯情况：μ未知考虑一个训练样本点xk，有下面的式子成立：可得：78.1.2高斯情况：μ和Σ均未知考虑单变量的情况，对于单个训练样本的对数似然函数为：求导得：8可得极值条件：可得：当为多元高斯分布时98.1.3估计的偏差1）方差是有偏估计2）协方差矩阵也是有偏估计3）协方差矩阵的无偏估计如下式10

8.2维数问题问题包括50或100个特征

(二进制)分类精度取决于维数和训练样本的数量具有相同分布函数的两组多维向量情况7两类问题：假设先验概率相同，贝叶斯误差概率为：11如果特征是独立的，则有:

最有用的特征：均值之间的距离大于标准差的特征。降低误差概率的方法：引进新的，独立的特征。在实际中，考虑较多的特征会导致更糟糕的结果而不是好的结果:模型有误

712777图8-3中显示了两个三维分布，具有互不重叠的概率密度函数。在三维空间中，贝叶斯误差概率为0，但把它投影到一个子空间中时，导致了较大的贝叶斯误差率。138.3主成分分析将高维数据投影到一个低维空间里去使用两种分类方法寻找理想一点的线性传递PCA(主成份分析)“在最小均方误差意义下的数据的最优表示的映射”MDA(多类判别分析)“在最小均方误差意义下的数据的最优分类的映射”8148.3.1概念一个例子：小学各科成绩的评估可以用下面的综合成绩来体现：a1×语文＋a2×数学＋a3×自然＋a4×社会科学

确定权重系数的过程就可以看作是主成分分析的过程，得到的加权成绩总和就相对于新的综合变量——主成分158.3.1概念推而广之，当某一问题需要同时考虑好几个因素时，我们并不对这些因素个别处理而是将它们综合起来处理，这就是PCA。

这样综合处理的原则是使新的综合变量能够解释大部分原始数据方差。主成分分析(PrincipalComponentAnalysis,简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。16为什么要根据方差确定主成分？情形II下总分的方差为0，显然不能反映三个学生各科成绩各有所长的实际情形，而红色标记的变量对应的方差最大，可反映原始数据的大部分信息178.3.2主成分分析的目的压缩变量个数，用较少的变量去解释原始数据中的大部分变量，剔除冗余信息。即将许多相关性很高的变量转化成个数较少、能解释大部分原始数据方差且彼此互相独立的几个新变量，也就是所谓的主成分。消除原始变量间存在的共线性，克服由此造成的运算不稳定、矩阵病态等问题。188.3.3主成分得分

（潜变量－latentvariable）PC(1)=a11X1+a12X2+…+a1pXpPC(2)=a21X1+a22X2+…+a2pXp...PC(m)=am1X1+am2X2+…+ampXp选择加权系数a11…，a1p时要能使PC(1)得到最大解释方差的能力,而PC(2)则是能对原始数据中尚未被PC(1)解释的差异部分拥有有最大解释能力，若以此类推，我们可以找出m个PC出來(m≦p)

198.3.4主成分轴、载荷向量原始数据前的加权系数决定了新的综合变量主成分（得分）的大小和性质，通常称为主成分轴或者载荷向量（载荷轴、载荷系数）。主成分分析的关键就是确定这些系数，这些系数构成了新的坐标系，将原始变量在新的坐标系下投影就可求得新坐标系下的变量值（主成分得分）。20三变量主成分分析示意图PC1=a1xi1+a2xi2+a3xi3PC2=b1xi1+b2xi2+b3xi321

主成分变换将三维空间的样本显示在二维空间，其中v1,v2称为第一、第二载荷轴。对于m维空间，载荷轴的个数最多为m。在对原始坐标系经过坐标平移、尺度伸缩、旋转等变换后,得到一组新的、相互正交的坐标轴v1,v2，可使原始变量在新坐标系上的投影值（分别称为第一、第二主成分）的方差达到最大。228.3.5基本概念协方差(covariance)

方差标准差238.3.5基本概念相关系数(correlationcoefficient)协方差数据矩阵的每一列对应一个变量的n个量测值，任意两列之间可以计算两变量间的协方差cov(i,j),i=j时，24协方差矩阵258.3.6主成分的求解步骤

i）对原始数据矩阵进行标准化处理

相当于对原始变量进行坐标平移与尺度伸缩：

26

ii）求协方差矩阵Ziii）特征分解

相当于将原来的坐标轴进行旋转得到新的坐标轴U：

—Z的特征值组成的对角阵

U—Z的特征向量按列组成的正交阵，它构成了新的矢量空间，作为新变量（主成分）的坐标轴，又称为载荷轴。得到的特征矢量的方差比前一个特征矢量更小，也就是依次递减。27

iv)确定主成分个数

（1）根据累积贡献率当大于某个阈值时，可认为主成分数目为m。

（2）根据其它准则*特征值大于1.0的因子数定为主成分数。*利用特征值与因子数目的曲线，到某一因子数后，特征值减小幅度变化不大，此转折点的因子数即为主成分数m。*保留那些与一个以上变量有重大关系的因子。28

v)求主成分得分－新的变量值

F阵的每一行相当于原数据矩阵的所有行（即原始变量构成的向量）在主成分坐标轴（载荷轴）上的投影，这些新的投影构成的向量就是主成分得分向量。298.3.7主成分分析原理根据方差最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。通过对原始数据的平移、尺度伸缩(减均值除方差)和坐标旋转(特征分解)，得到新的坐标系(特征向量)后，用原始数据在新坐标系下的投影(点积)来替代原始变量。308.3.8主成分的特点

☆主成分是原变量的线性组合；

☆各个主成分之间互不相关；

☆主成分按照方差从大到小依次排列，第一主成分对应最大的方差（特征值）；

☆每个主成分的均值为0、其方差为协方差阵对应的特征值；

☆不同的主成分轴（载荷轴）之间相互正交。31☆如果原来有p个变量，则最多可以选取p个主成分，这p个主成分的变化可以完全反映原来全部p个变量的变化；☆如果选取的主成分少于p个，则这些主成分的变化应尽可能多地反映原来全部p个变量的变化。8.3.8主成分的特点328.3.9PCA的优点

★它能找到表现原始数据阵最重要的变量的组合。

★

通过表示最大的方差，能有效地直观反映样本之间的关系。

★

能从最大的几个主成分的得分来近似反映原始的数据阵的信息。33例1：有3个变量X1,X2与X3(m=3)，其16次（n=16）观测值见下表：34相关矩阵为：相关阵R的特征值分别为2.077,0.919,0.004，

这说明第三个主成分所起作用非常小，可以只要两个主成分。

35例2：8个样品中苯和二甲苯的含量见下表：#BTBmcTmc14826131224420963402451043818345329-3-56286-7-87265-9-98244-11-10mean351400B:苯，T:二甲苯；Bmc和Tmc为减去平均值后的值36原始数据矩阵中含有8（n＝8）个样品、两个变量，其协方差矩阵为：373839根据PC1求得的苯与二甲苯含量及残差40主成分得分的平方和、特征值与方差(17.67)2+(10.58)2+(10.64)2+(4