学位论文—基于adaboost算法的银行客户数据分析dm课程

1、山东财经大学金融数据挖掘课程论文题目： 基于 Adaboost算法的银行客户数据分析学院计算机科学与技术专业计算机科学与技术班 级计算机科学与技术1201班学号201218441442姓 名王健山东财经大学教务处制二O四年十二月山东财经大学学士学位论文基于Adaboost算法的银行客户数据分析摘要分类是一种重要的数据分析形式，它提取刻画重要数据类的模型。这种模型称为分类 器，预测分类的（离散的，无序的）错误！未指定书签。错误！未找到引用源。错误！未找到引用源。类标号。在机器学习中，对分类器的分类进行准确性评估是一个基本问题。 我们以此来确定分类器是否可以运用到实际的分类中。组合分类器是一个复合

2、模型，由多个分类器组合而成。组合分类器基于投票返回类标号预测。 组合分类器往往比它的成员分 类器更准确。传统的学习模型假定数据类是良分布的。 然而在现实世界的许多领域中，数 据是类不平衡的，其中感兴趣的主类只有少量元祖。 这称为类不平衡问题。我们还研究提 高类不平衡数据分类准确率的技术。我们将 Adaboost算法应用于银行客户数据分析， 分析结果表明，该算法运行可靠。本文最后对Adaboost算法的优缺点进行了总结。错误! 未指定书签。错误！未找到引用源。错误！未找到引用源。关键词：银行信息；AdaBoost；组合分类1山东财经大学学士学位论文51.引言1.1组合分类方法简介袋装、提升和随机

3、森林都是组合分类方法的列子。组合分类把k个学习得到的模型（或基分类器）M1, M2Mk组合在一起，旨在创建一个改建的复合分类模型M*。使用给定的数据集 D创建k个训练集D1, D2,Dk,其中Di用于创建分类器 Mi。给定一个待分类的新数据元祖，每个基分类器通过返回类预测投票。组合分类器基于基分类器的投票返回类预测。组合分类器往往比它的基分类器。列如，考虑一个进行多数表决的组合分类器。也就是说，给定一个待分类元祖 X,它收集由基分类器返回的类标号预测，并输入占多数的类。基分类器可能出错时，但 是仅当超过一半的基分类器出错时，组合分类器才会误分类X,当模型之间存在显著差异时，组合分类器产生更好的

4、结果。也就说，理想的，基分类器之间几乎不相关。基分类器还应该优于随机预测。1.2组合分类方法我们分类中用到很多经典分类算法如：SVM logistic等，我们很自然的想到一个方法，我们是否能够整合多个算法优势到解决某一个特定分类问题中去，答案是肯定的！通过聚合多个分类器的预测来提高分类的准确率。这种技术称为组合方法（ensemble method）。组合方法由训练数据构建一组基分类器，然后通过对每个基分类器的预测进行权重控制来进行分类。考虑25个二元分类组合，每个分类误差是0.35，如果所有基分类器都是相互独立的（即误差是不相关的），则在超过一半的基分类器预测错误组合分类器才会作出错误预测。这

5、种情况下的组合分类器 的误差率：Qn semble25i =1325-iC2i (1-S= 0.06组合分类器性能优于单个分类器必须满足两个条件：（1）基分类器之间是相互独立的（2）基分类器应当好于随机猜测分类器。实践上很难保证基分类器之间完全独立，但是在基分类器轻微相关情 况下，组合方法可以提高分类的准确率。2.背景介绍2.1 Boosti ng方法提出和发展在了解Adaboost方法之前，先了解一下 Boosting方法回答一个是与否的问题，随机猜测可以获得50%勺正确率。如果一种方法能获得比随机猜测稍微高一点的正确率，则就可以称该得到这个方法的过程为弱学习；如果一个方法可以显著提高猜测的

6、正确率，则称获取该方法的过程为强学习。1994年，Kearns和Valia nt 证明，在 Valia nt的PAC （ProbablyApproximatelyCorrect ）模型中，只要数据足够多，就可以将弱学习算法通过集成的方式提高到任 意精度。实际上，1990年，SChapire就首先构造出一种多项式级的算法，将弱学习算法提升为强学习算 法，就是最初的 Boosting算法。Boosting意思为提升、加强，现在一般指将弱学习提升为强学习的一 类算法。1993年，Drucker和Schapire首次以神经网络作为弱学习器，禾U用Boosting算法解决实际问题。前面指出，将弱学习算法

7、通过集成的方式提高到任意精度，是Kearns和Valia nt在1994年才证明的，虽然Boosting方法在1990年已经提出，但它的真正成熟，也是在 1994年之后才开始的。1995 年，Freund提出了一种效率更高的 Boosting算法。2.2 AdaBoost算法的提出AdaBoost算法是Freund和Schapire根据在线分配算法提出的，他们详细分析了AdaBoost算法错误率的上界，以及为了使强分类器达到错误率，算法所需要的最多迭代次数等相关问题。与Boosti ng算法不同的是，adaBoost算法不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最 后得到的

8、强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分类器算法的能力。Adaboost是一种基于级联分类模型的分类器。级联分类模型可以用图2-1表示：图2-1级联分类器介绍：级联分类器就是将多个强分类器连接在一起进行操作。每一个强分类器都由若干个弱分类器加权组成，例如，有些强分类器可能包含10个弱分类器，有些则包含 20个弱分类器，一般情况下一个级联用的强分类器包含20个左右的弱分类器，然后在将10个强分类器级联起来，就构成了一个级联强分类器，这个级联强分类器中总共包括200若分类器。因为每一个强分类器对负样本的判别准确度非常高，所以一旦发现检测到的目标位负样本，就不在继续调用下

9、面的强分类器，减少了很多的 检测时间。因为一幅图像中待检测的区域很多都是负样本，这样由级联分类器在分类器的初期就抛弃了 很多负样本的复杂检测，所以级联分类器的速度是非常快的；只有正样本才会送到下一个强分类器进行 再次检验，这样就保证了最后输出的正样本的伪正（false positive）的可能性非常低。3.方法3.1 AdaBoost算法的基本原理Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总

10、体分类的准确率，来确定每个样 本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合 起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并将关键放在关键的训练数据上面。AdaBoost算法中不同的训练集是通过调整每个样本对应的权重来实现的。开始时，每个样本对应 的权重是相同的，即其中n为样本个数，在此样本分布下训练出一弱分类器。对于分类错误的样本，加大其对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出来，从而得到一个 新的样本分布。在新的样本分布下，再次对弱分类器进行训练，得到弱分类器。依次类推，经

11、过T次循环，得到T个弱分类器，把这T个弱分类器按一定的权重叠加(boost)起来，得到最终想要的强分类器。AdaBoost实际具体解决了两个问题：怎么处理训练样本？在AdaBoost中，每个样本都被赋予一个权重。 如果某个样本没有被正确分类，它的权重就会被提高，反之则降低。这样， AdaBoost方法将注意力更多地放在难分”的样本上。怎么合并弱分类器成为一个强分类器？强分类器表示为弱分类器的线性加权和形式，准确率越高的弱学习权重越高。3.2 AdaBoost算法分析AdaBoost算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以提高对数 据分类能力。1 、先通过对N个训练样

12、本的学习得到第一个弱分类器；2、 讲分错的样本和其他的新数据一起构成一个新的N个的训练样本，通过对这个样本的学习得到第 二个弱分类器；3、 将1和2都分错了的样本加上其他的新样本构成另一个新的N个的训练样本，通过对这个样本的 学习得到第三个弱分类器；4、 最终经过提升的强分类器。即某个数据被分为哪一类要通过的多数表决。具体说来，整个 Adaboost迭代算法就3步：1、初始化训练数据的权值分布。 如果有N个样本，则每一个训练样本最开始时都被赋予相同的权重：1/N。2、 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集 中，它的权重就被降低；相反，如果某个样本

13、点没有被准确地分类，那么它的权重就得到提高。然后，权重更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。3、 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中 占的权重较大，否则较小。3.3 AdaBoost算法流程1. 给定训练样本集 S,其中X和Y分别对应于正例样本和负例样本；T为训练的最大循环次数；2. 初始化样本权重为1/n，即为训练样本的初始概率分布；

14、3. 第一次迭代：(1) 训练样本的概率分布相当下，训练弱分类器：(2) 计算弱分类器的错误率：(3) 选取合适阈值，使得错误率最小(4) 更新样本权重：(5) 最终得到的强分类器3.4 AdaBoost算法的实现图3-1图3-1就是Adaboost的结构，最后的分类器YM是由数个弱分类器(weak classifier )组合而成的,相当于最后m个弱分类器来投票决定分类，而且每个弱分类器的“话语权”a不一样。3.5 AdaBoost算法过程1. 初始化所有训练样列的权重为1/N, 其中N是样列数2. For m=1 , MA ).训练弱分类器ym (),使其最小化权重误差函数( weight

15、ed error function N(m )mI ym Xntnn =1 nB ).计算该弱分类器的话语权:C ).更新权重：Wm 1, i nexp- ： mtiYm Xi， = 1,2 NZm山东财经大学学士学位论文其中ZmNZm =7 W miexp -mtiYm Xj是规范因子，使所有 W的和为1.i 43. 得到最后的分类器:40 AND sex二MALE THEN car二 YESR2:IF in come2000 AND sex=MALE THEN marr= noR3:IF in come2000 AND sex=MALE THEN marr= noR4:IF marr=NO

16、 then chil=0R5:IF in come1500 AND save=no THEN marr= noR6:IF marr=YES AND sex=FEMA THEN save=YES5.结论本文通过 AdaBoost算法对银行客户信息的研究，对银行客户资料做了不同角度的分析，同时也总结了AdaBoost算法的优缺点及对 AdaBoost算法的思考。1）adaboost是一种有很高精度的分类器2）可以使用各种方法构建子分类器，adaboost算法提供的是框架3）当使用简单分类器时，计算出的结果是可以理解的。而且弱分类器构造极其简单4）简单，不用做特征筛选5）不用担心 ovefittin

17、g ！AdaBoost算法的核心思想是当分类器对某些样本正确分类时，则减少这些样本的权值；当错误分类时，则增加这些样本的权值，让学习算法在后续的学习中集中对比较难的训练样本进行学习，从而得 到一个识别准确率理想的分类器。当训练样本集包含噪音样本和一些罕见的困难样本时，AdaBoost算法的重心将转移到难分类的样本上，即难分类的样本权重会呈指数增长。到这里，也许你已经对adaboost算法有了大致的理解。但是也许你会有个问题，为什么每次迭代都 要把分错的点的权值变大呢？这样有什么好处呢？不这样不行吗？这就是我当时的想法，为什么呢？。然后我仔细一想，也许提高错误点可以让后面的分类器权值更高。然后看

18、了 adaboost算法，和我最初的想法很接近，但不全是。注意到算法最后的表到式为H x二sign atht x ，这里面的a表示的权ly 丿1 （1 名、值，是由:t ln -得到的。而a是关于误差的表达式，到这里就可以得到比较清晰的答案了，2 t丿所有的一切都指向了误差。提高错误点的权值，当下一次分类器再次分错了这些点之后，会提高整体的错误率，这样就导致 a变的很小，最终导致这个分类器在整个混合分类器的权值变低。也就是说，这个 算法让优秀的分类器占整体的权值更高，而挫的分类器权值更低。这个就很符合常理了。最后，我们可以总结下 adaboost算法的一些实际可以使用的场景：1）用于二分类或多

19、分类的应用场景2） 用于做分类任务的baseli ne无脑化，简单，不会 overfitti ng，不用调分类器3）用于特征选择（feature selectio n）4）Boosting框架用于对badcase的修正只需要增加新的分类器，不需要变动原有分类器5 ）应用于人脸检测、目标识别等领域。由于adaboost算法是一种实现简单，应用也很简单的算法。Adaboost算法通过组合弱分类器而得到强分类器，同时具有分类错误率上界随着训练增加而稳定下降，不会过拟合等的性质，应该说是一种很适合于在各种分类场景下应用的算法。12参考文献1于玲；吴铁军;集成学习：Boosting算法综述J;模式识别与