《统计学习方法 第2版 》读书笔记

思维导图PPT模板《统计学习方法第2版》最新版读书笔记，下载可以直接修改01内容简介第1版序言第2篇无监督学习第2版序言第1篇监督学习附录A梯度下降法目录030502040607附录B牛顿法和拟牛顿法附录D矩阵的基本子空间附录C拉格朗日对偶性附录EKL散度的定义和狄利克雷分布的性...目录0908010内容摘要本书全面系统地介绍了统计学习的主要方法，共分两篇。第一篇系统介绍监督学习的各种重要方法，包括决策树、感知机、支持向量机、最大熵模型与逻辑斯谛回归、推进法、多类分类法、EM算法、隐马尔科夫模型和条件随机场等；第二篇介绍无监督学习，包括聚类、奇异值、主成分分析、潜在语义分析等。两篇中，除概论和总结外，每章介绍一或二种方法。内容简介输入变量与输出变量均为连续变量的预测问题称为回归问题；输出变量为有限个离散变量的预测问题称为分类问题；输入变量与输出变量均为变量序列的预测问题称为标注问题。第2版序言统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。第1版序言称其为统计学习方法的三要素，简称为模型（model）、策略（strategy）和算法（algorithm）。第1篇监督学习监督学习的本质是学习输入到输出的映射的统计规律。第1章统计学习及监督学习概论第2章感知机第3章k近邻法第4章朴素贝叶斯法第5章决策树第6章逻辑斯谛回归与最大熵模型010302040506第1篇监督学习第7章支持向量机第8章提升方法第9章EM算法及其推广第10章隐马尔可夫模型第11章条件随机场第12章监督学习方法总结010302040506第1篇监督学习1.1统计学习1.2统计学习的分类1.3统计学习方法三要素1.4模型评估与模型选择1.5正则化与交叉验证1.6泛化能力010302040506第1章统计学习及监督学习概论1.7生成模型与判别模型1.8监督学习应用本章概要继续阅读习题参考文献010302040506第1章统计学习及监督学习概论2.1感知机模型2.2感知机学习策略2.3感知机学习算法本章概要第2章感知机继续阅读参考文献习题第2章感知机3.1k近邻算法3.2k近邻模型3.3k近邻法的实现：kd树本章概要第3章k近邻法继续阅读参考文献习题第3章k近邻法4.1朴素贝叶斯法的学习与分类4.2朴素贝叶斯法的参数估计本章概要继续阅读习题参考文献010302040506第4章朴素贝叶斯法5.1决策树模型与学习5.2特征选择5.3决策树的生成5.4决策树的剪枝5.5CART算法本章概要010302040506第5章决策树继续阅读参考文献习题第5章决策树6.1逻辑斯谛回归模型6.2最大熵模型6.3模型学习的最优化算法本章概要第6章逻辑斯谛回归与最大熵模型继续阅读参考文献习题第6章逻辑斯谛回归与最大熵模型7.1线性可分支持向量机与硬间隔最大化7.2线性支持向量机与软间隔最大化7.3非线性支持向量机与核函数7.4序列最小最优化算法第7章支持向量机本章概要继续阅读习题参考文献第7章支持向量机8.1提升方法AdaBoost算法8.2AdaBoost算法的训练误差分...8.3AdaBoost算法的解释8.4提升树第8章提升方法本章概要继续阅读习题参考文献第8章提升方法9.1EM算法的引入9.2EM算法的收敛性9.3EM算法在高斯混合模型学习中的应...9.4EM算法的推广第9章EM算法及其推广本章概要继续阅读习题参考文献第9章EM算法及其推广10.1隐马尔可夫模型的基本概念10.2概率计算算法10.3学习算法10.4预测算法第10章隐马尔可夫模型本章概要继续阅读习题参考文献第10章隐马尔可夫模型11.1概率无向图模型11.2条件随机场的定义与形式11.3条件随机场的概率计算问题11.4条件随机场的学习算法11.5条件随机场的预测算法本章概要010302040506第11章条件随机场继续阅读参考文献习题第11章条件随机场第2篇无监督学习统计学习（statisticallearning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科无监督学习的本质是学习数据中的统计规律或潜在结构。第13章无监督学习概论第14章聚类方法第15章奇异值分解第16章主成分分析第17章潜在语义分析第18章概率潜在语义分析010302040506第2篇无监督学习第19章马尔可夫链蒙特卡罗法第20章潜在狄利克雷分配第21章PageRank算法第22章无监督学习方法总结第2篇无监督学习13.1无监督学习基本原理13.2基本问题13.3机器学习三要素13.4无监督学习方法第13章无监督学习概论本章概要参考文献继续阅读第13章无监督学习概论14.1聚类的基本概念14.2层次聚类14.3k均值聚类本章概要第14章聚类方法继续阅读参考文献习题第14章聚类方法15.1奇异值分解的定义与性质15.2奇异值分解的计算15.3奇异值分解与矩阵近似本章概要第15章奇异值分解继续阅读参考文献习题第15章奇异值分解16.1总体主成分分析16.2样本主成分分析本章概要继续阅读习题参考文献010302040506第16章主成分分析17.1单词向量空间与话题向量空间17.2潜在语义分析算法17.3非负矩阵分解算法本章概要第17章潜在语义分析继续阅读参考文献习题第17章潜在语义分析18.1概率潜在语义分析模型18.2概率潜在语义分析的算法本章概要继续阅读习题参考文献010302040506第18章概率潜在语义分析19.1蒙特卡罗法19.2马尔可夫链19.3马尔可夫链蒙特卡罗法19.4Metropolis-Hast...19.5吉布斯抽样本章概要010302040506第19章马尔可夫链蒙特卡罗法继续阅读参考文献习题第19章马尔可夫链蒙特卡罗法20.1狄利克雷分布20.2潜在狄利克雷分配模型20.3LDA的吉布斯抽样算法20.4LDA的变分EM算法第20章潜在狄利克雷分配本章概要继续阅读习题参考文献第20章潜在狄利克雷分配21.1PageRank的定义21.2PageRank的计算本章概要继续阅读习题参考文献010302040506第21章PageRank算法22.1无监督学习方法的关系和特点参考文献22.2话题模型之间的关系和特点第22章无监督学习方法总结附录A梯度下降法统计学习由监督学习（supervisedlearning）、无监督学习（unsupervisedlearning）和强化学习（reinforcementlearning）等组成。附录B牛顿法和拟牛顿法统计学习研究的对象是数据（data）。附录C拉格朗日对