![PCA主成分分析原理_第1页](http://file4.renrendoc.com/view/26e0c1d023a075416425df4172321382/26e0c1d023a075416425df41723213821.gif)
![PCA主成分分析原理_第2页](http://file4.renrendoc.com/view/26e0c1d023a075416425df4172321382/26e0c1d023a075416425df41723213822.gif)
![PCA主成分分析原理_第3页](http://file4.renrendoc.com/view/26e0c1d023a075416425df4172321382/26e0c1d023a075416425df41723213823.gif)
![PCA主成分分析原理_第4页](http://file4.renrendoc.com/view/26e0c1d023a075416425df4172321382/26e0c1d023a075416425df41723213824.gif)
![PCA主成分分析原理_第5页](http://file4.renrendoc.com/view/26e0c1d023a075416425df4172321382/26e0c1d023a075416425df41723213825.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
PCA主成分分析principalcomponentanalysis内容一、PCA背景二、主成分的定义及导出三、从相关阵出发求主成分四、主成分分析总结在模式识别中,一个常见的问题就是特征选择或特征提取,理论上我们要选择与原始数据空间相同的维数。但是,为了简化计算,设计一种变换使得数据集由维数较少的“有效”特征来表示。找出数据中最“主要”的元素和结构,去除噪音和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。一、主成分分析背景PCA的优点是简单,而且无参数限制,可以方便的应用与各个场合。
因此应用极其广泛,从神经科学到计算机图形学都有它的用武之地。被誉为应用线形代数最价值的结果之一。
主成分分析由皮尔逊(Pearson,1901)首先引入,后来被霍特林(Hotelling,1933)发展了。在PCA中,我们感兴趣的是找到一个从原d维输入空间到新的k维空间的具有最小信息损失的映射。X在方向w上的投影为:二、主成分的定义及导出设为一个n维随机向量,主成分是这样的,样本投影到上之后被广泛散布,使得样本之间的差别变得最明显,即最大化方差。设希望在约束条件下寻求向量,使最大化写成拉格朗日问题现在关于求导并令其等于0,得到如果是的特征向量,是对应的特征值,则上式是成立的同时我们还得到为了使方差最大,选择具有最大特征值的特征向量,因此,第一个主成分是输入样本协方差阵的具有最大特征值对应的特征向量。第二个主成分也应该最大化方差,具有单位长度,并且与正交。对于第二个主成分,有关于
求导并令其为0,得到上式两边乘以得:其中可知β=0,并且可得这表明应该是的特征向量,具有第二大特征值
类似的,可以证明其它维被具有递减的特征值的特征向量给出。另一种推导:,W是矩阵。如果建立一个矩阵C,其第i列是的规范化的特征向量,则,并且三、从相关阵出发求主成分其中,D是对象矩阵,其对角线元素是特征值
,称为的谱分解由于C是正交的,并且,在的左右两边乘以和C,得到如果则为了使它等于一个对角矩阵,可以令W=C在实践中,即使所有的特征值都大于0,某些特征值对方差的影响很小,并且可以丢失,因此,我们考虑例如贡献90%以上方差的前k个主要成分,当降序排列时,由前k个主要成分贡献的方差比例为:实践中,如果维是高度相关的,则只有很少一部分特征向量具有较大的特征值,k远比n小,并且可能得到很大的维度归约。总方差中属于主成分的比例为称为主成分的贡献率。第一主成分的贡献率最大,表明它解释原始变量的能力最强,而的解释能力依次递减。主成分分析的目的就是为了减少变量的个数,因而一般是不会使用所有主成分的,忽略一些带有较小方差的主成分将不会给总方差带来大的影响。前k个主成分的贡献率之和称为主成分的累计贡献率,它表明
解释的能力。
通常取较小的k,使得累计贡献达到一个较高的百分比(如80%~90%)。此时,可用来代替,从而达到降维的目的,而信息的损失却不多。在主成分分析中,我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平,其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释。主成分的解释其含义一般多少带有点模糊性,不像原始变量的含义那么清楚、确切,这是变量降维过程中不得不付出的代价。四.主成分分析总结如果原始变量之间具有较高的相关性,则前面少数几个主成分的累计贡献
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 石英玻璃管棒项目可行性实施报告
- C语言程序设计 课件 第8章-指针
- 贵州省威宁县市级名校2024-2025学年初三5月阶段性模块监测数学试题含解析
- 贵州省黔西南州兴义市鲁屯中学2024-2025学年初三化学试题查漏补缺专项试题含解析
- 开闭幕词之农村文艺晚会开幕词
- 让未来发生成都银泰城开业活动策略案(成都腾豪)
- 2024-2034年全球及中国变压器绕线机行业市场发展分析及前景趋势与投资发展研究报告
- 企业首席质量官职业技能竞赛竞赛题库之国家质量发展政策(共40题)
- 农产品质量安全定性分析质量控制规范
- 2024年版旅游服务合作协议书
- 中华人民共和国行政区划代码
- 2023年基层乡村干部管理制度
- 骨科疾病案例分析
- SEMI-S2半导体制程设备安全准则教学文案
- 消防工程电气火灾监控系统专项施工方案
- 全面推行行政指导工作方案3篇
- 气排球竞赛规则
- 中学秋季学期教务处工作计划4篇
- 副主任医师职称晋升答辩PPT
- 中层科级干部竞争上岗面试题2
- 服务器机房点检记录表
评论
0/150
提交评论