AdaBoost算法及提升树课件

需要解决的问题如何在每一轮改变训练数据的权值如何将弱分类器组合成一个强分类器需要解决的问题1AdaBoost算法的解决方案如何在每一轮改变训练数据的权值提高前一轮弱分类器错误分类样本的权值，降低被正确分类样本的权值如何将弱分类器组合成强分类器增加分类误差率小的弱分类器的权值，使其起较大的决定作用，同时减小分类误差率大的弱分类器的权值。AdaBoost算法的解决方案如何在每一轮改变训练数据的权值2AdaBoost算法

AdaBoost算法

3系数系数4权值更新

当正确分类时，，相应的权值会降低，相反相应的权值会增大权值更新

当正确分类时，5AdaBoost误差分析AdaBoost算法最终分类器的训练误差界为AdaBoost误差分析AdaBoost算法最终分类器的训练6AdaBoost误差分析对于二分类问题AdaBoost训练误差界为其中AdaBoost误差分析对于二分类问题AdaBoost训练误7不等式的证明，等价于证明只需证明采用做差、求导的方法即可证明上式说明，AdaBoost的训练误差是以指数速率下降的！AdaBoost误差分析不等式的证明，等价于证明AdaBoost误差分析8AdaBoost算法及提升树课件9前向分步算法AdaBoost算法中的基本分类器的线性组合为这是一个加法模型。在给定训练数据及损失函数L(y,f(x))条件下，学习加法模型f(x)成为损失函数极小化问题前向分步算法AdaBoost算法中的基本分类器的线性组合为10前向分步算法但是求解这个问题非常复杂。而前向分步算法的思想是每次只学习一组参数，保证每一轮都最优，然后逐步逼近最优目标函数，即注意前后两个公式的差别前向分步算法但是求解这个问题非常复杂。而前向分步算法的思想是11前向分步算法定理8.3的证明中，8.21、8.22。前向分步算法定理8.3的证明中，8.21、8.22。12提升树模型以决策树为基函数的提升方法称为提升树。二叉分类树二叉决策树提升树模型以决策树为基函数的提升方法称为提升树。13提升树算法仍然采用前向分步算法不同问题的提升树学习算法，主要区别在于使用损失函数不同比如回归树，采用平方误差损失函数，因此引入了残差。例题8.2。提升树算法仍然采用前向分步算法14例题8.2第二轮结果例题8.2第二轮结果15例题8.2第六轮结果例题8.2第六轮结果16需要解决的问题如何在每一轮改变训练数据的权值如何将弱分类器组合成一个强分类器需要解决的问题17AdaBoost算法的解决方案如何在每一轮改变训练数据的权值提高前一轮弱分类器错误分类样本的权值，降低被正确分类样本的权值如何将弱分类器组合成强分类器增加分类误差率小的弱分类器的权值，使其起较大的决定作用，同时减小分类误差率大的弱分类器的权值。AdaBoost算法的解决方案如何在每一轮改变训练数据的权值18AdaBoost算法

AdaBoost算法

19系数系数20权值更新

当正确分类时，，相应的权值会降低，相反相应的权值会增大权值更新

当正确分类时，21AdaBoost误差分析AdaBoost算法最终分类器的训练误差界为AdaBoost误差分析AdaBoost算法最终分类器的训练22AdaBoost误差分析对于二分类问题AdaBoost训练误差界为其中AdaBoost误差分析对于二分类问题AdaBoost训练误23不等式的证明，等价于证明只需证明采用做差、求导的方法即可证明上式说明，AdaBoost的训练误差是以指数速率下降的！AdaBoost误差分析不等式的证明，等价于证明AdaBoost误差分析24AdaBoost算法及提升树课件25前向分步算法AdaBoost算法中的基本分类器的线性组合为这是一个加法模型。在给定训练数据及损失函数L(y,f(x))条件下，学习加法模型f(x)成为损失函数极小化问题前向分步算法AdaBoost算法中的基本分类器的线性组合为26前向分步算法但是求解这个问题非常复杂。而前向分步算法的思想是每次只学习一组参数，保证每一轮都最优，然后逐步逼近最优目标函数，即注意前后两个公式的差别前向分步算法但是求解这个问题非常复杂。而前向分步算法的思想是27前向分步算法定理8.3的证明中，8.21、8.22。前向分步算法定理8.3的证明中，8.21、8.22。28提升树模型以决策树为基函数的提升方法称为提升树。二叉分类树二叉决策树提升树模型以决策树为基函数的提升方法称为提升树。29提升树算法仍然采用前向分步算法不同问题的提升树学习算法，主要区别在于使