机器学习 课件 第6章 非线性模型、第7章 集成学习_第1页
机器学习 课件 第6章 非线性模型、第7章 集成学习_第2页
机器学习 课件 第6章 非线性模型、第7章 集成学习_第3页
机器学习 课件 第6章 非线性模型、第7章 集成学习_第4页
机器学习 课件 第6章 非线性模型、第7章 集成学习_第5页
已阅读5页，还剩24页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第6章非线性模型《机器学习》胡晓目录6.1分段线性判别6.2二次判别分析6.3核方法6.1分段线性判别如图所示，我们可以用两条线性分界线(两条黑色直线)完成线性不可分的分类问题。此策略分成两步：子类划分和合并同类。子类划分，将某些类别划分成可与其它类线性可分的子类。合并同类即将分类后相同类合并成一类。6.2二次判别分析

因此，实际上采用参数估计获得二次判别函数。6.2二次判别分析

6.3核方法核方法基本思路：不增加模型参数，将训练样本属性向量从低维空间非线性映射到高维空间，然后在高维空间学习线性模型。6.3核方法

6.3核方法

6.3核方法

6.3核方法6.3.2核函数

6.3核方法

1、线性核函数

3、双正切核函数

5、指数核函数

6、拉普拉斯核函数

6.3核方法

6.3核方法

谢谢！第7章集成学习《机器学习》胡晓目录7.1集成学习理论依据7.2集成学习机制7.3决策树7.4随机森林7.5自适应助推7.1集成学习理论依据

7.2集成学习机制装袋法(Bagging)

：每次被选取的样本赋予相同权重，所有模型有相同投票权；采用某种组合策略确定最终结果。助推法(Boosting)采用级联方式，前级基学习指导后级基学习，后级基学习重视前级的错分样本，并给予错分样本

7.3决策树

在树形结构图中，只有输出没有输入的节点称为是根结点，位于树的顶端；既有输入又有输出的结点称为中间结点；只有输入没有输出的结点称为叶结点，叶结点代表了对样本数据的决策类别，即决策结果。7.3决策树7.3.2ID3和C4.5第3代迭代二叉树(IterativeDichotomiser3,ID3)C4.5算法与ID3整体结构基本一样，都采用自顶向下的贪婪搜索遍历所有可能的决策树空间；不同的是：在划分分支选择最优属性时，ID3选择信息增益最高的属性，而C4.5采用信息增益比最高的属性。

信息增益比，

7.3决策树7.3.2ID3和C4.5

7.3决策树

7.3决策树7.3.3分类回归树

从表7.1中有放回的随机抽取15个样本构成数据集

7.3决策树

7.3决策树7.3.4剪枝理想情况下，所有样本都能被决策树精确预测，即生成决策树叶结点都有确定类型。但实际上决策树可能存在过多结点，导致过度拟合。常见原因：样本中存在噪声和样本不具代表性。因此，实际中常常进行枝叶裁剪。预剪枝后剪枝7.4随机森林随机森林是(RadomForest)装袋学习机制的一种进阶。在随机森林中，每个基映射函数都是一棵决策树，然后

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论