AdaBoost算法及提升树PPT教学课件_第1页
AdaBoost算法及提升树PPT教学课件_第2页
AdaBoost算法及提升树PPT教学课件_第3页
AdaBoost算法及提升树PPT教学课件_第4页
AdaBoost算法及提升树PPT教学课件_第5页
已阅读5页，还剩11页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、AdaBoost算法的解决方案 如何在每一轮改变训练数据的权值 提高前一轮弱分类器错误分类样本的权值，降低被正确分类样本的权值 如何将弱分类器组合成强分类器 增加分类误差率小的弱分类器的权值，使其起较大的决定作用，同时减小分类误差率大的弱分类器的权值。第1页/共16页AdaBoost算法第2页/共16页系数( )mGx11ln2mmmee第3页/共16页权值更新当正确分类时， ，相应的权值会降低，相反相应的权值会增大1,exp( )mimimimimwwyGxZ1exp( )MmmimimimZwyGx( )0mimiyGx第4页/共16页AdaBoost误差分析 AdaBoost算法最终分类

2、器的训练误差界为111( ()exp()NiiiimiimI G xyy f xZNN第5页/共16页AdaBoost误差分析 对于二分类问题AdaBoost训练误差界为其中2211112(1)(14)exp( 2)MMMMmmmmmmmmmZee12mme第6页/共16页 不等式的证明，等价于证明 只需证明采用做差、求导的方法即可证明上式说明，AdaBoost的训练误差是以指数速率下降的！AdaBoost误差分析2211(14)exp( 2)MMmmmm22(14)exp( 2)mm第7页/共16页第8页/共16页前向分步算法 AdaBoost算法中的基本分类器的线性组合为这是一个加法模型。

3、在给定训练数据及损失函数L(y,f(x)条件下，学习加法模型f(x)成为损失函数极小化问题M1( )( )mmmf xGx,( )11min(,)mmNMimmGximL yG第9页/共16页前向分步算法 但是求解这个问题非常复杂。而前向分步算法的思想是每次只学习一组参数，保证每一轮都最优，然后逐步逼近最优目标函数，即 注意前后两个公式的差别, ( )1min(,( )NiG xiL yG x第10页/共16页前向分步算法 定理8.3的证明中，8.21、8.22。第11页/共16页提升树模型 以决策树为基函数的提升方法称为提升树。 二叉分类树 二叉决策树第12页/共16页提升树算法 仍然采用前向分步算法 不同问题的提升树学习算法，主要区别在于使用损失函数不同 比如回归树，采用平方误差损失函数，因此引入了残差。例题8.2。第13页/共16页例题8

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论