机器学习：从公理到算法

读书笔记模板机器学习：从公理到算法01思维导图读书笔记目录分析内容摘要精彩摘录作者介绍目录0305020406思维导图机器算法算法聚类问题学习数据习题算法参考文献数据理论线性分类模型参数聚类问题讨论本书关键字分析思维导图内容摘要内容摘要这是一本基于公理研究学习算法的书。共17章，由两部分组成。第一部分是机器学习公理以及部分理论演绎，包括第1、2、6、8章，论述学习公理以及相应的聚类、分类理论。第二部分如何从公理推出经典学习算法，包括单类、多类和多源问题。第3～5章为单类问题，分别论述密度估计、回归和单类数据降维。第7、9～16章为多类问题，包括聚类、神经络、K近邻、支持向量机、Logistic回归、贝叶斯分类、决策树、多类降维与升维等经典算法。最后第17章研究了多源数据学习问题。本书可以作为高等院校计算机、自动化、数学、统计学、人工智能及相关专业的研究生教材，也可以供机器学习的爱好者参考。读书笔记读书笔记强烈建议北京某所高校，能不能不要以这本书为课本，真的有点难懂。南周北于，是为国内之先行权威，此书略奥深，有数学基础者读之为上。感觉不太适合普通学生作为机器学习入门，晦涩难懂，老师上课也讲的让人昏昏欲睡。学CS，想做AI，没学术积淀光会实操，是无法厚基础以大效于世的；就喜欢这么纯粹的理论，学完后有充实的、沉甸甸的感觉。“天行健，君子以自强不息；地势坤，君子以厚德载物”，意谓：天的运动刚强劲健，相应于此，君子处事，应像天一样，自我力求进步，刚毅坚卓，发奋图强，永不停息；大地的气势厚实和顺，君子应增厚美德，容载万物。很不错的一本书！虽然有一定数学门槛，但是主要是逻辑符号系统，用来表示一般的概念，只是作者可能没打算把它写成一本科普读物，有一些提法不是学数学或者计算机的读者会觉得晦涩难懂，比如说机器学习可解释性的提法，说白了就是放弃模拟人脑解决问题的方式，也就是放弃逻辑推理和因果理论，这是第一次人工智能遭遇瓶颈后学界探索的一个重要方向。精彩摘录精彩摘录归类算法设计应该遵循的4条准则——类一致性准则、类紧致性准则、类分离性准则和奥卡姆剃刀准则。典型的最优化算法有梯度下降算法、共轭梯度算法、伪牛顿算法、线性规划算法、演化算法、群体智能等丑小鸭定理是由SatosiWatanabe于1969年提出的，其内容可表述为“如果选定的特征不合理，那么世界上所有事物之间的相似程度都一样，丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大”。对于对象特性输入表示，通常有三种表示方式。一种是向量表示，对于每个对象，可以相对独立地观察其特有的一些特征。机器学习的主要目的是从有限的数据中学习到知识，而知识的基本单元是概念20世纪80年代神经络的复苏，其基本思路即为放弃解释性，一心提高算法的泛化性能。神经络放弃解释性的最重要标志是其激活函数不再使用线性函数，而是典型的非线性函数如Sigmoid函数和双曲函数等，其优点是其表示能力大幅提高，相应的复杂性也极度增长。，要完成一个具体的学习任务，需要学习材料、学习方法以及学习效果评估方法。数据集合、学习判据、学习算法对于任何学习任务都是需要讨论的对象。目录分析内容简介第1章引言第2章归类理论第3章密度估计目录第4章回归第5章单类数据降维第6章聚类理论第7章聚类算法第8章分类理论12345目录第9章基于单类的分类算法：神经络第10章K近邻分类模型第11章线性分类模型第12章对数线性分类模型第13章贝叶斯决策12345目录第14章决策树第15章多类数据降维第16章多类数据升维：核方法第17章多源数据学习后记索引010302040506目录第1章引言1.1机器学习的目的：从数据到知识1.2机器学习的基本框架1.3机器学习思想简论延伸阅读习题第2章归类理论2.1类表示公理2.2归类公理2.3归类结果分类2.4归类方法设计准则讨论延伸阅读习题参考文献第3章密度估计3.1密度估计的参数方法3.2密度估计的非参数方法延伸阅读习题第4章回归4.1线性回归4.2岭回归4.3Lasso回归讨论习题第5章单类数据降维5.1主成分分析5.2非负矩阵分解5.3字典学习与稀疏表示5.4局部线性嵌入5.5典型关联分析5.6多维度尺度分析与等距映射讨论习题参考文献第6章聚类理论6.1聚类问题表示及相关定义6.2聚类算法设计准则6.3聚类有效性延伸阅读习题第7章聚类算法7.1样例理论：层次聚类算法7.2原型理论：点原型聚类算法7.3基于密度估计的聚类算法延伸阅读习题第8章分类理论8.1分类及相关定义8.2从归类理论到经典分类理论8.3分类测试公理讨论习题第9章基于单类的分类算法：神经络9.1分类问题的回归表示9.2人工神经络9.3从参数密度估计到受限玻耳兹曼机9.4深度学习讨论习题参考文献第10章K近邻分类模型10.1K近邻算法10.2距离加权最近邻算法10.3K近邻算法加速策略10.4kd树10.5K近邻算法中的参数问题延伸阅读习题第11章线性分类模型11.1判别函数和判别模型11.2线性判别函数11.3线性感知机算法11.4支持向量机讨论习题参考文献第12章对数线性分类模型12.1Softmax回归12.2Logistic回归讨论习题参考文献第13章贝叶斯决策13.1贝叶斯分类器13.2朴素贝叶斯分类13.3最小化风险分类13.4效用最大化分类讨论习题第14章决策树14.1决策树的类表示14.2信息增益与ID3算法14.3增益比率与C4.5算法14.4Gini指数与CART算法14.5决策树的剪枝讨论习题参考文献第15章多类数据降维15.1有监督特征选择模型15.2有监督特征提取模型延伸阅读习题参考文献第16章多类数据升维：核方法16.1核方法16.2非线性支持向量机16.3多核方法