主成分分析算法解析.ppt

主成分分析算法的研究 报告人：周卫林 2016.4.15 1背景 8应用 4几何意义 2提出 主成分分析算法 3原理 5数学描述 6数学推导 7计算步骤 9程序演示 主成分分析算法的背景 指标 在实际 工程领域的研究中，为了 全面、系统地分析问题 ，我们必须考虑众多 的影响因素。在多元统计分析中也称为变量。 主成分分析算法的背景 每个变量都在不同程度上反映了 所研究问题的某些信息，并且变 量之间彼此有一定的相关性，因 而使得统计后的数据反映的信息 在一定程度上存在重叠。 主成分分析算 法的产生原因 主成分分析算法的背景 在用统计方法研究多变量问题时，变量 太多会大大增加计算量和问题的复杂度 ，会耗费很多硬件、网络资源，所以人 们希望在进行定量分析的过程中，通过 较少的变量得到较多的信息量。 主成分分析算 法的产生原因 主成分分析算法的提出 主成分分析(Principal Component Analysis) 首先是由K.Pearson在1901年的生物学理论研究中 引入的； 之后H.Hotelling将此方法推广到心理学中随机向量 的情形，使主成分分析得到进一步发展； 1947年，Karhunen独立地用概率论的形式再次描 述了主成分分析算法； 其后，Loeve将该理论进一步扩充和完善。因此主 成分分析也有其它名称，又叫做KLT(Karhunen一 Loeve Transform)或者Hotelling变换。 卡尔 皮尔逊（Karl Prarson,1857- 1936），英国生物学家和统计学 家 。 他是现代统计学的奠基人之一 ， 他的主要成就和贡献是在统计学 方面。他开始把数学运用于遗传 和进化的随机过程，首创次数分 布表与次数分布图，提出一系列 次数曲线；推导出卡方分布，提 出卡方检验，用以检验观察值与 期望值之间的差异显著性；发展 了回归和相关理论；为大样本理 论奠定了基础。皮尔逊的科学道 路，是从数学研究开始，继之以 哲学和法律学，进而研究生物学 与遗传学，集大成于统计学。 卡尔 皮尔逊（Karl Prarson,1857- 1936），英国生物学家和统计学 家 。 他是现代统计学的奠基人之一 ， 他的主要成就和贡献是在统计学 方面。他开始把数学运用于遗传 和进化的随机过程，首创次数分 布表与次数分布图，提出一系列 次数曲线；推导出卡方分布，提 出卡方检验，用以检验观察值与 期望值之间的差异显著性；发展 了回归和相关理论；为大样本理 论奠定了基础。皮尔逊的科学道 路，是从数学研究开始，继之以 哲学和法律学，进而研究生物学 与遗传学，集大成于统计学。 主成分分析算法的原理 以某些线性组合来表示原始数据，再从这些线性组 合中尽可能快地提取原始数据的信息。 当第一个线性组合不能提取更多的信息时，再考虑 用第二或更多的线性组合继续快速提取数据信息 直到所提取的信息与原始数据包含的信息相 差不多或者满足用户精度要求。 这些线性组合依次被称为第一主成分(主分量)、 第二主成分(主分量) 主成分分析在二维空间的几何意义 主成分分析在二维空间的几何意义相当于坐标旋坐标旋 转转。 主成分分析在二维空间的几何意义 主成分分析在二维空间的几何意义相当于坐坐标标标标 旋旋转转转转。 主成分分析在二维空间的几何意义 经过坐标变换可以看到，在新坐标系y1Oy2下m个散点 的坐标Y1和Y2几乎不相关。散点总是沿着y1和y2方向 分布，它们在y1轴上的方差达到最大，在y2轴上的方差 次之，所以在这两个方向上散点的离散程度很小。 在这里，我们把Y1称为第一主成分，Y2称为第二主成 分。 主成分分析的数学描述 主成分分析就是针对原始数据，要寻求那些主成分 并以它们为坐标轴构建一个新的坐标系，使得原始 数据在新坐标轴上的投影的方差最大。 主成分分析可用数学语言描述为:给定n维空间中的m个数据( 如图像信息、工业参数、基因指标等)，寻求一个nxn维的变 换矩阵W,使得Y=y1,y2,ym=WTX，而且满足新坐标系下 各维之间数据的相关性最小，或者说一个去相关性的过程。 主成分分析的数学推导 在下列所有运算中均有i、k1，n，j1，m。 假设有m个n维数据组成的矩阵 其中，xi=xi1,xi2,xim。 X的均值矩阵和协方差矩阵分别记为 主成分分析的数学推导 另外，假设转换矩阵 其中，wi=wi1,wi2,winT 。 主成分分析的数学推导 考虑如下的线性变换： 用矩阵形式表示为： 主成分分析的数学推导 我们需要寻求一组新的变量Y1,Y2,.,Yd(dn)，这组新的变量要 求能充分地反映原变量X1,X2,.,Xn的信息，而且相互独立。 对于Y1,Y2,.,Yd有： 这样我们所要解决的问题就转化为，在新的变量 Y1,Y2,.,Yd相互独立的条件下寻求 ，使得 达到最大。 主成分分析的数学推导 下面依次求取各主成分 构造目标函数 并对目标函数微分，有 即 两边分别左乘，可得 主成分分析的数学推导 是X的协方差矩阵的特征方程，因为 是非负定的，所以特征根均大于0，假设 由式 可知Y1的方差为 也就是说，Y1的最大方差为 ，其相应的单位化特征向量是 的最大方差为第k大特征根，其相应的单位化特征向量是 主成分分析的数学推导 由上述推导，我们得到以下结论：设 的协方差矩阵为， 其特征根为 相应的单位化特征向量为 则由此所确定的主成分是 主成分分析的计算步骤 1、计算原始数据矩阵X矩阵的均值矩阵 即对每维(行)数据计算平均 值 ， 主成分分析的计算步骤 2、计算中心平移矩阵 即把每维数据减去由上式求出的平均值 主成分分析的计算步骤 3、计算数据的协方差矩阵 其中，a,b1,n。 主成分分析的计算步骤 4、对协方差矩阵进行特征分析，使 这里 它们分别是协方差矩阵的特征值和对应的特征向 量。将特征值按照由大到小的顺序排列，对应的特 征向量也作相应排列。 主成分分析的计算步骤 5、取前d个特征值 和特征向量 作为子空间的基底，那么主成分可以由中心平移矩 阵 在d个基底上投影得到，即 主成分分析的应用 主成分分析是数据降维技术的典型算法，它通过对矩 阵的特征分析把原始数据投影到包含了大部分数据信 息的线性子空间中达到数据降维的目的，它的优点在 于计算过程简单，数据信息丢失很少。 在现代科学领域，特别是在网络入侵检测、图像处理 、多元统计分析、生物医学等应用场合 主成分分析在图像处理中的应用 v图像匹配 图像匹配是根据已知的图像模式，在另 一幅图像中寻找相应或相近模式的过程 。 人脸识别是模式识别和图像处理等学科的一大研究热点， 在身份鉴别、信用卡识别、护照核对以及监控系统等方面有 着广泛的应用。 主成分分析在图像处理中的应用 人脸识别是将检测出的人脸与数据库中的已知人脸进行比较， 得出有关身份方面的信息。即解决“这是谁的脸？” 识别的关键 是人脸特征的选择和提取，只有选取适当的人脸表征方式，以 及匹配策略，才能得到较高的识别率。 主成分分析在图像处理中的应用 目标跟踪 运用模板匹配定位从而实现目标跟踪的方法是目前的成像 跟踪系统通常采用的方法。 主成分分析(PCA)具有数据分离和信息压缩等有用的特 性，运用主成分分析的方法可以根据图像的整体特征，构造 目标的特征子空间(即由主成分生成的子空间)，从而较好地 克服噪声干扰和图像畸变的影响，完成对目标的匹配定位和 跟踪。 主成分分析在图像处理中的应用 v特征提取图像处理中一个非常重要的环节，如何提 取有效的