分类与决策树

分类与决策树第一页，共九十一页，2022年，8月28日主要内容分类与决策树概述ID3、C4.5与C5.0CART第二页，共九十一页，2022年，8月28日分类VS.预测分类和预测是两种数据分析形式，用于提取描述重要数据类或预测未来的数据趋势的模型分类：预测类对象的分类标号（或离散值）根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据预测：建立连续函数值模型比如预测空缺值，或者预测顾客在计算机设备上的花费典型应用欺诈检测、市场定位、性能预测、医疗诊断分类是一种应用非常广泛的数据挖掘技术分类与预测的区别：当估计的属性值是离散值时，这就是分类；当估计的属性值是连续值时，这就是预测。第三页，共九十一页，2022年，8月28日分类和预测---示例分类银行贷款员需要分析数据，来弄清哪些贷款申请者是安全的，哪些是有风险的（将贷款申请者分为“安全”和“有风险”两类）我们需要构造一个分类器来预测类属编号，比如预测顾客属类预测银行贷款员需要预测贷给某个顾客多少钱是安全的构造一个预测器，预测一个连续值函数或有序值，常用方法是回归分析第四页，共九十一页，2022年，8月28日数据分类——一个两步过程(1)第一步，也成为学习步，目标是建立描述预先定义的数据类或概念集的分类器分类算法通过分析或从训练集“学习”来构造分类器。训练集由数据库元组（用n维属性向量表示）和他们相对应的类编号组成；假定每个元组属于一个预定义的类训练元组：训练数据集中的单个元组学习模型可以用分类规则、决策树或数学公式的形式提供第五页，共九十一页，2022年，8月28日数据分类——一个两步过程(2)第二步，使用模型，对将来的或未知的对象进行分类首先评估模型的预测准确率对每个测试样本，将已知的类标号和该样本的学习模型类预测比较模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比测试集要独立于训练样本集，否则会出现“过分拟合”的情况第六页，共九十一页，2022年，8月28日第一步——建立模型训练数据集分类算法IFrank=‘professor’ORyears>6THENtenured=‘yes’分类规则第七页，共九十一页，2022年，8月28日第二步——用模型进行分类分类规则测试集未知数据(Jeff,Professor,4)Tenured?第八页，共九十一页，2022年，8月28日监督学习VS.无监督学习监督学习（用于分类）模型的学习在被告知每个训练样本属于哪个类的“指导”下进行新数据使用训练数据集中得到的规则进行分类无监督学习（用于聚类）每个训练样本的类编号是未知的，要学习的类集合或数量也可能是事先未知的通过一系列的度量、观察来建立数据中的类编号或进行聚类第九页，共九十一页，2022年，8月28日数据预测的两步过程数据预测也是一个两步的过程，类似于前面描述的数据分类对于预测，没有“类标号属性”要预测的属性是连续值，而不是离散值，该属性可简称“预测属性”E.g.银行贷款员需要预测贷给某个顾客多少钱是安全的预测器可以看作一个映射或函数y=f(X)其中X是输入；y是输出，是一个连续或有序的值与分类类似，准确率的预测，也要使用单独的测试集第十页，共九十一页，2022年，8月28日3.1决策树概述决策树(DecisionTree)

一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。第十一页，共九十一页，2022年，8月28日决策树学习是以实例为基础的归纳学习。从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。概念分类学习算法：来源于Hunt,Marin和Stone于1966年研制的CLS学习系统，用于学习单个概念。1979年,J.R.Quinlan给出ID3算法，并在1983年和1986年对ID3进行了总结和简化，使其成为决策树学习算法的典型。Schlimmer和Fisher于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。1988年，Utgoff在ID4基础上提出了ID5学习算法，进一步提高了效率。1993年，Quinlan进一步发展了ID3算法，改进成C4.5算法。另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例。其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。第十二页，共九十一页，2022年，8月28日决策树学习采用的是自顶向下的递归方法。决策树的每一层节点依照某一属性值向下分为子节点，待分类的实例在每一节点处与该节点相关的属性值进行比较，根据不同的比较结果向相应的子节点扩展，这一过程在到达决策树的叶节点时结束，此时得到结论。从根节点到叶节点的每一条路经都对应着一条合理的规则，规则间各个部分（各个层的条件）的关系是合取关系。整个决策树就对应着一组析取的规则。决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多背景知识，只需要对训练例子进行较好的标注，就能够进行学习。如果在应用中发现不符合规则的实例，程序会询问用户该实例的正确分类，从而生成新的分枝和叶子，并添加到树中。第十三页，共九十一页，2022年，8月28日树是由节点和分枝组成的层次数据结构。节点用于存贮信息或知识，分枝用于连接各个节点。树是图的一个特例，图是更一般的数学结构，如贝叶斯网络。

决策树是描述分类过程的一种数据结构，从上端的根节点开始，各种分类原则被引用进来，并依这些分类原则将根节点的数据集划分为子集，这一划分过程直到某种约束条件满足而结束。

根结点个子大可能是松鼠可能是老鼠可能是大象在水里会吱吱叫鼻子长脖子长个子小不会吱吱叫鼻子短脖子短可能是长颈鹿在陆地上可能是犀牛可能是河马第十四页，共九十一页，2022年，8月28日可以看到，一个决策树的内部结点包含学习的实例，每层分枝代表了实例的一个属性的可能取值，叶节点是最终划分成的类。如果判定是二元的，那么构造的将是一棵二叉树，在树中每回答一个问题就降到树的下一层，这类树一般称为CART（ClassificationAndRegressionTree）。判定结构可以机械的转变成产生式规则。可以通过对结构进行广度优先搜索，并在每个节点生成“IF…THEN”规则来实现。如图6-13的决策树可以转换成下规则：

IF“个子大”THENIF“脖子短”THENIF“鼻子长”THEN可能是大象形式化表示成

根结点个子大可能是松鼠可能是老鼠可能是大象在水里会吱吱叫鼻子长脖子长个子小不会吱吱叫鼻子短脖子短可能是长颈鹿在陆地上可能是犀牛可能是河马第十五页，共九十一页，2022年，8月28日构造一棵决策树要解决四个问题：收集待分类的数据，这些数据的所有属性应该是完全标注的。设计分类原则，即数据的哪些属性可以被用来分类，以及如何将该属性量化。分类原则的选择，即在众多分类准则中，每一步选择哪一准则使最终的树更令人满意。设计分类停止条件，实际应用中数据的属性很多，真正有分类意义的属性往往是有限几个，因此在必要的时候应该停止数据集分裂：该节点包含的数据太少不足以分裂，继续分裂数据集对树生成的目标(例如ID3中的熵下降准则)没有贡献，树的深度过大不宜再分。通用的决策树分裂目标是整棵树的熵总量最小，每一步分裂时，选择使熵减小最大的准则，这种方案使最具有分类潜力的准则最先被提取出来第十六页，共九十一页，2022年，8月28日预测变量目标变量记录样本类标号属性类别集合：Class={“优”，“良”，“差”}决策树的基本原理第十七页，共九十一页，2022年，8月28日根节点叶子节点分裂属性分裂谓词每一个叶子节点都被确定一个类标号第十八页，共九十一页，2022年，8月28日每一个节点都代表了一个数据集。根节点1代表了初始数据集D其它节点都是数据集D的子集。例如，节点2代表数据集D中年龄小于40岁的那部分样本组成的数据集。子节点是父节点的子集。

If(年龄<40)and(职业=“学生”or职业=“教师”)Then信用等级=“优”If(年龄<40)and(职业!=“学生”and职业!=“教师”)Then信用等级=“良”If(年龄≥40)and(月薪<1000)Then信用等级=“差”If(年龄≥40)and(月薪≥1000and月薪≤3000)Then信用等级=“良”If(年龄≥40)and(月薪>3000)Then信用等级=“优”第十九页，共九十一页，2022年，8月28日决策树是指具有下列三个性质的树：每个非叶子节点都被标记一个分裂属性Ai；每个分支都被标记一个分裂谓词，这个分裂谓词是分裂父节点的具体依据；每个叶子节点都被标记一个类标号Cj∈C。任何一个决策树算法，其核心步骤都是为每一次分裂确定一个分裂属性，即究竟按照哪一个属性来把当前数据集划分为若干个子集，从而形成若干个“树枝”。第二十页，共九十一页，2022年，8月28日熵，是数据集中的不确定性、突发性或随机性的程度的度量。当一个数据集中的记录全部都属于同一类的时候，则没有不确定性，这种情况下的熵就为0。决策树分裂的基本原则是，数据集被分裂为若干个子集后，要使每个子集中的数据尽可能的“纯”，也就是说子集中的记录要尽可能属于同一个类别。如果套用熵的概念，即要使分裂后各子集的熵尽可能的小。3.2ID3、C4.5与C5.0第二十一页，共九十一页，2022年，8月28日数据集D被按照分裂属性“年龄”分裂为两个子集D1和D2

信息增益:Gain(D,年龄)=H(D)–[P(D1)×H(D1)+P(D2)×H(D2)]第二十二页，共九十一页，2022年，8月28日显然，如果D1和D2中的数据越“纯”，H(D1)和H(D2)就越小，信息增益就越大，或者说熵下降得越多。按照这个方法，测试每一个属性的信息增益，选择增益值最大的属性作为分裂属性。第二十三页，共九十一页，2022年，8月28日信息熵计算举例令C1对应“是”，C2对应“否”。那么C1有9个样本，C2有5个样本，所以数据集D的熵为：第二十四页，共九十一页，2022年，8月28日决策树归纳策略(1)输入数据划分D是训练元组和对应类标号的集合attribute_list,候选属性的集合Attribute_selection_method，指定选择属性的启发性过程算法步骤树以代表训练样本的单个节点（N）开始如果样本都在同一个类，则该节点成为树叶，并用该类标记否则，算法调用Attribute_selection_method，选择能够最好的将样本分类的属性；确定“分裂准则”，指出“分裂点”或“分裂子集”。第二十五页，共九十一页，2022年，8月28日决策树归纳策略(2)对测试属性每个已知的值，创建一个分支，并以此划分元组算法使用同样的过程，递归的形成每个划分上的元组决策树。一旦一个属性出现在一个节点上，就不在该节点的任何子节点上出现递归划分步骤停止的条件划分D（在N节点提供）的所有元组属于同一类没有剩余属性可以用来进一步划分元组——使用多数表决没有剩余的样本给定分支没有元组，则以D中多数类创建一个树叶第二十六页，共九十一页，2022年，8月28日属性选择度量属性选择度量是一种选择分裂准则，将给定类标号的训练元组最好的进行划分的方法理想情况，每个划分都是“纯”的，即落在给定划分内的元组都属于相同的类属性选择度量又称为分裂准则常用的属性选择度量信息增益增益率Gini指标第二十七页，共九十一页，2022年，8月28日信息增益(1)S是一个训练样本的集合，该样本中每个集合的类编号已知。每个样本为一个元组。有个属性用来判定某个训练样本的类编号假设S中有m个类，总共s个训练样本，每个类Ci有si个样本(i＝1,2,3...m)，那么任意一个样本属于类Ci的概率是si/s，那么用来分类一个给定样本的期望信息是：第二十八页，共九十一页，2022年，8月28日信息增益(2)一个有v个值的属性A{a1,a2,...,av}可以将S分成v个子集{S1,S2,...,Sv}，其中Sj包含S中属性A上的值为aj的样本。假设Sj包含类Ci的sij个样本。根据A的这种划分的期望信息称为A的熵A上该划分的获得的信息增益定义为：具有高信息增益的属性，是给定集合中具有高区分度的属性。所以可以通过计算S中样本的每个属性的信息增益，来得到一个属性的相关性的排序。第二十九页，共九十一页，2022年，8月28日若以“年龄”作为分裂属性，则产生三个子集（因为该属性有三个不同的取值），所以D按照属性“年龄”划分出的三个子集的熵的加权和为：其中有一个子集的熵为0第三十页，共九十一页，2022年，8月28日同理，若以“收入水平”为分裂属性：第三十一页，共九十一页，2022年，8月28日若以“有固定收入”为分裂属性：若以“VIP”为分裂属性：第三十二页，共九十一页，2022年，8月28日以“年龄”作为分裂属性，所得信息增益最大。叶子节点第三十三页，共九十一页，2022年，8月28日第三十四页，共九十一页，2022年，8月28日ID3的主要缺点ID3算法只能处理分类属性（离散属性），而不能处理连续属性（数值属性）。在处理连续属性时，一般要先将连续属性划分为多个区间，转化为分类属性。例如“年龄”，要把数值事先转换为诸如“小于30岁”、“30至50岁”、“大于50岁”这样的区间，再根据年龄值落入了某一个区间取相应的类别值。通常，区间端点的选取包含着一定的主观因素。ID3生成的决策树是一棵多叉树，分支的数量取决于分裂属性有多少个不同的取值。这不利于处理分裂属性取值数目较多的情况。因此目前流行的决策树算法大多采用二叉树模型。第三十五页，共九十一页，2022年，8月28日ID3是采用“信息增益”来选择分裂属性的。虽然这是一种有效的方法，但其具有明显的倾向性，即它倾向于选择具有大量不同取值的属性，从而产生许多小而纯的子集。尤其是关系数据库中作为主键的属性，每一个样本都有一个不同的取值。如果以这样的属性作为分裂属性，那么将产生非常多的分支，而且每一个分支产生的子集的熵均为0（因为子集中只有一个样本！）。显然，这样的决策树是没有实际意义的。因此，Quinlan提出使用增益比例来代替信息增益。3.2.2C4.5第三十六页，共九十一页，2022年，8月28日设S代表训练数据集，由s个样本组成。A是S的某个属性，有m个不同的取值，根据这些取值可以把S划分为m个子集，Si表示第i个子集（i=1,2,…,m），|Si|表示子集Si中的样本数量。那么：称为“数据集S关于属性A的熵”。第三十七页，共九十一页，2022年，8月28日用来衡量属性A分裂数据集的广度和均匀性。样本在属性A上的取值分布越均匀，Split_Info(S,A)的值就越大。增益比例的定义为：增益比例消除了选择那些值较多且均匀分布的属性作为分裂属性的倾向性。第三十八页，共九十一页，2022年，8月28日连续属性的处理

设属性Y有m个不同的取值，按大小顺序升序排列为v1<v2<,…,<vm。从{v1,v2,…,vm-1}中选择一个vi作为阈值，则可以根据“Y≤vi”和“Y>vi”将数据集划分为两个部分，形成两个分支。显然，{v1,v2,…,vm-1}就是可能的阈值的集合，共(m-1)个元素。把这些阈值一一取出来，并根据“Y≤vi”和“Y>vi”把训练数据集划分为两个子集，并计算每一种划分方案下的信息增益或增益比例，选择最大增益或增益比例所对应的那个阈值，作为最优的阈值。可以看出，如果选择连续属性作为分裂属性，则分裂后只有两个分支，而不象离散属性那样可能会有多个分支（由离散属性的取值个数决定）。

第三十九页，共九十一页，2022年，8月28日第四十页，共九十一页，2022年，8月28日如果要计算“年龄”属性的信息增益，则首先将不同的属性值排序{20,25,28,40,46,55,56,58,60,65,70}那么可能的阈值集合为{20,25,28,40,46,55,56,58,60,65,70}，从中一一取出，并形成分裂谓词，例如取出“20”，形成谓词“≤20”和“>20”，用它们划分训练数据集，然后计算信息增益或增益比例。第四十一页，共九十一页，2022年，8月28日处理有缺失值的样本

C4.5并不会武断地将一个有缺失值的样本抛弃,也不会随意地将它分配到某个类别中去。“收入水平”的值，取为“高”的概率为3/12，取为“中”的概率为5/12，取为“低”的概率为4/12。S1（收入水平=“高”）的样本数量为：3+2×(3/12)；第四十二页，共九十一页，2022年，8月28日3.2.4C5.0算法C5.0是经典的决策树模型的算法之一，可生成多分支的决策树，目标变量为分类变量使用c5.0算法可以生成决策树（decisiontree）或者规则集（rulesets）。C5.0模型根据能够带来最大信息增益（informationgain）的字段拆分样本。第一次拆分确定的样本子集随后再次拆分，通常是根据另一个字段进行拆分，这一过程重复进行直到样本子集不能再被拆分为止。最后，重新检验最低层次的拆分，那些对模型值没有显著贡献的样本子集被剔除或者修剪。

第四十三页，共九十一页，2022年，8月28日C5.0的优点优点：C5.0模型在面对数据遗漏和输入字段很多的问题时非常稳健。C5.0模型通常不需要很长的训练次数进行估计。C5.0模型比一些其他类型的模型易于理解，模型推出的规则有非常直观的解释。C5.0也提供强大的增强技术以提高分类的精度。C5.0算法选择分支变量的依据以信息熵的下降速度作为确定最佳分支变量和分割阀值的依据。信息熵的下降意味着信息的不确定性下降第四十四页，共九十一页，2022年，8月28日举例：在Clementine中应用C5.0这里，以学生参加某次社会公益活动的数据（文件名为Students.xls）为例，讲解C5.0算法的具体实现操作。分析目标是，研究哪些因素将显著影响到学生参与社会公益活动。其中，是否参加为输出变量，除编号以外的变量均为输入变量。第四十五页，共九十一页，2022年，8月28日数据流如下：第四十六页，共九十一页，2022年，8月28日一、建立模型第一步建立数据源，第二步选择Modeling卡中的C5.0节点并将其连接到恰当位置，鼠标右击该节点，弹出下面窗口。模型名称（Modelname）输出类型（Outputtype）：此处指定希望最终生成的模型是决策树还是规则集。群体字符（Groupsymbolics）。如果选择该选项，C5.0会尝试将所有与输出字段格式相似的字符值合并。如果没有选择该选项，C5.0会为用于拆分母节点的字符字段的每个值创建一个子节点。使用自举法（Useboosting）：提高其精确率。这种方法按序列建立多重模型。第一个模型以通常的方式建立。随后，建立第二个模型，聚焦于被第一个模型错误分类的记录。以此类推，最后应用整个模型集对样本进行分类，使用加权投票过程把分散的预测合并成综合预测。TheNumberoftrials选项允许控制用于助推的模型数量。第四十七页，共九十一页，2022年，8月28日交叉验证（Cross－validate）：如果选择了该选项，C5.0将使用一组基于训练数据子集建立的模型，来估计基于全部数据建立的模型的精确度。如果数据集过小，不能拆分成传统意义上的训练集和测试集，这将非常有用。或用于交叉验证的模型数目。模式（Mode）：对于简单的训练，绝大多数C5.0参数是自动设置。高级训练模式选项允许对训练参数更多的直接控制。第四十八页，共九十一页，2022年，8月28日简单模式选项（simple）偏好（Favor）：在accuracy下，C5.0会生成尽可能精确的决策树。在某些情况下，这会导致过度拟和。选择Generality（一般化）项以使用不易受该问题影响的算法设置。期望噪声百分数（Expectednoise（%））：指定训练集中的噪声或错误数据期望比率。第四十九页，共九十一页，2022年，8月28日高级模式选项修剪纯度（pruningseverity）：决定生成决策树或规则集被修剪的程度。提高纯度值将获得更小，更简洁的决策树。降低纯度值将获得更加精确的决策树。子分支最少记录数（Minimumrecordsperchildbranch）：子群大小可以用于限制决策树任一分支的拆分数。只有当两个或以上的后序子分支包括来自训练集的记录不少于最小记录数，决策树才会继续拆分。默认值为2，提高该值将有助于避免噪声数据的过度训练。全局修剪（Useglobalpruning）：第一阶段：局部修建第二阶段：全局修剪排除属性（Winnowattributes）：如果选择了该选项，C5.0会在建立模型前检验预测字段的有用性。被发现与分析无关的预测字段将不参与建模过程。这一选项对有许多预测字段元的模型非常有用，并且有助于避免过度拟和。第五十页，共九十一页，2022年，8月28日图1指定错误归类损失错误归类损失允许指定不同类型预测错误之间的相对重要性。错误归类损失矩阵显示预测类和实际类每一可能组合的损失。所有的错误归类损失都预设设置为1.0。要输入自定义损失值，选择Usemisclassificationcosts，然后把自定义值输入到损失矩阵中。第五十一页，共九十一页，2022年，8月28日具体设置第五十二页，共九十一页，2022年，8月28日执行结果第五十三页，共九十一页，2022年，8月28日二、预测结果为观测C5.0对每个样本的预测结果，可在流管理器的Models卡中，鼠标右击C5.0模型结果，选择弹出菜单中的AddToStream，并将模型结果连接到数据流中，然后连接Table节点查看预测结果，如下图所示：第五十四页，共九十一页，2022年，8月28日三、C5.0模型评价第五十五页，共九十一页，2022年，8月28日3.3CART分类和回归树（ClassificationandRegressionTrees，CART,在Clementine中简写为C&RT）CART算法中的每一次分裂把数据分为两个子集，每个子集中的样本比被划分之前具有更好的一致性。它是一个递归的过程，也就是说，这些子集还会被继续划分，这个过程不断重复，直到满足终止准则，然后通过修剪和评估，得到一棵最优的决策树。第五十六页，共九十一页，2022年，8月28日三个步骤生成最大树生成一棵充分生长的最大树树的修剪根据修剪算法对最大树进行修剪，生成由许多子树组成的子树序列子树评估从子树序列中选择一棵最优的子树作为最后的结果。

第五十七页，共九十一页，2022年，8月28日3.3.1生成最大树标准问题集

就某个给定的属性来说，由于属性的取值可能有很多个，所以按照这个属性来分裂数据集的方式也有很多种，属性的标准问题集就是所有候选分支方案的集合。连续属性的标准问题集离散属性的标准问题集第五十八页，共九十一页，2022年，8月28日杂度

在ID3算法中，用“熵”来度量数据集随机性的程度。在CART中我们把这种随机性的程度称为“杂度”（impurity，也称为“不纯度”），并且用“吉尼”(gini)指标来衡量它。第五十九页，共九十一页，2022年，8月28日吉尼指标设t是决策树上的某个节点，该节点的数据集为S，由s个样本组成，其类标号属性具有m个不同的取值，即定义了m个不同的类Ci（i=1,2,…,m）。设属于类Ci的样本的个数为si。那么这个节点的吉尼指标这样来计算：第六十页，共九十一页，2022年，8月28日杂度削减

由于CART算法生成的是一棵二叉树，所以对于节点t来说，分裂后将产生两个子节点tL和tR，设这两个子节点的杂度分别为gini(tL)和gini(tR)，那么，在此次分裂过程中的杂度削减为：第六十一页，共九十一页，2022年，8月28日计算杂度削减第六十二页，共九十一页，2022年，8月28日停止准则

以下任何一个规则被满足，节点将不再分裂这个节点是“纯”的，即这个节点的所有样本都属于同一类别；对于每一个属性（不包括类标号属性），节点中的所有样本都有相同的值；当前节点所在的深度已经达到“最大树深度”（如果定义有）；这个节点的样本数量小于“父分支中的最小记录数”（如果定义有）；这个节点分裂后产生的子节点中包含的样本数量小于预定义的“子分支中的最小记录数”（如果定义有）；分裂产生的杂度削减小于预定义的“最小杂度削减”（如果定义有）

第六十三页，共九十一页，2022年，8月28日树的修剪叶子节点过多，则树的复杂度高。叶子节点过少，则误分类损失大。代价复杂度

第六十四页，共九十一页，2022年，8月28日树的修剪过程令α=0，从T1=T(0)开始，这里的T(0)就是最大树Tmax；逐渐增大α

，直到某个节点使得成立，将它的分支删除，得到T2；重复上一步骤，直到被修剪到只有一个根节点，从而得到一个树的序列T1,T2,…,Tk。第六十五页，共九十一页，2022年，8月28日子树评估要找到一棵分类准确性最好、同时节点数量尽量少的树计算每一棵子树的误分类损失：第六十六页，共九十一页，2022年，8月28日3.3.4在Clementine中应用CART这里，以电信客户数据（文件名为Telephone.sav）为例，讨论分类回归树的具体操作以及如何通过交互操作控制决策树的生长和剪枝过程。分析目标是，找到影响客户流失的重要因素，以实现客户流失的事前控制。第六十七页，共九十一页，2022年，8月28日数据流第六十八页，共九十一页，2022年，8月28日建模第六十九页，共九十一页，2022年，8月28日分类结果第七十页，共九十一页，2022年，8月28日

分析结论1在流管理器的Models卡中，鼠标右击所得到的CART模型，选择弹出菜单中的Brower项浏览默写结果并选择Generate菜单下的FilterNode项。于是，会在数据流编辑区自动生成一个Filter节点，将它连到数据流的恰当位置，可看到下图结果：从图中可知，只有性别对客户流失的影响不大，其他因素都有影响。应该注意到，这棵决策树是代价复杂度最小的，但针对本例的分析目标，可适当减少复杂性、降低精度，以找到更主要的影响因素。第七十一页，共九十一页，2022年，8月28日Chi-SquareAutomaticInteractionDetectionCHAID提供了一种在多个自变量中自动搜索能产生最大差异的变量方案。不同于C＆R树和QUEST节点，CHAID分析可以生成非二叉树，即有些分割有两个以上的分支。CHAID模型需要一个单一的目标和一个或多个输入字段。CHAID分析，是一种用卡方统计，以确定最佳的分割，建立决策树的分类方法。3.4CHAID算法（卡方自动交叉检验）第七十二页，共九十一页，2022年，8月28日CHAID方法CHAID根据细分变量区分群体差异的显著性程度（卡方值）的大小顺序，将消费者分为不同的细分群体，最终的细分群体是由多个变量属性共同描述的，因此属于多变量分析。在形式上，CHAID非常直观，它输出的是一个树状的图形。

它以因变量为根结点，对每个自变量（只能是分类或有序变量，也就是离散性的，如果是连续变量，如年龄，收入要定义成分类或有序变量）进行分类，计算分类的卡方值(Chi-Square-Test)。如果几个变量的分类均显著，则比较这些分类的显著程度（P值的大小），然后选择最显著的分类法作为子节点。第七十三页，共九十一页，2022年，8月28日CHAID过程

建立细分模型，根据卡方值最显著的细分变量将群体分出两个或多个群体，对于这些群体再根据其它的卡方值相对最显著的细分变量继续分出子群体，直到没有统计意义上显著的细分变量可以将这些子群体再继续分开为止。第七十四页，共九十一页，2022年，8月28日CHAID的适用范围

当预测变量是分类变量时，CHAID方法最适宜。对于连续型变量，CHAID在缺省状态下将连续变量自动分为10段处理，但是可能有遗漏。第七十五页，共九十一页，2022年，8月28日CHAID模块的优点-不像CART和QUEST模块，CHAID可产生多分枝的决策树-目标变量可以定距或定类的-从统计显著性角度确定分支变量和分隔值，进而优化树的分枝过程-CHAID是建立在因果关系的探讨中的，依据目标变量实现对输入变量众多水平的划分第七十六页，共九十一页，2022年，8月28日实例：以电信客户数据Telephone.sav为例,讨论CHAID具体操作。第七十七页，共九十一页，2022年，8月28日Clementine决策树算法

C&RT、CHAID、C5.0的区别第七十八页，共九十一页，2022年，8月28日决策树(decision