【原创】基于weka的数据分类模型分析数据挖掘试验报告

1、【原创】附代码数据有问题到淘宝找“大数据部落”就可以了基于weka的数据分类分析实验报告i实验目的(1) 了解决策树C4.5和朴素贝叶斯等算法的基本原理。(2)熟练使用weka实现上述两种数据挖掘算法，并对训练出的模型进行 测试和评价。2实验基本内容本实验的基本内容是通过基于 weka实现两种常见的数据挖掘算法(决策树 C4.5和朴素贝叶斯)，分别在训练数据上训练出分类模型，并使用校验数据对各 个模型进行测试和评价，找出各个模型最优的参数值，并对模型进行全面评价比 较，得到一个最好的分类模型以及该模型所有设置的最优参数。最后使用这些参数以及训练集和校验集数据一起构造出一个最优分类器，并利用该分

2、类器对测试 数据进行预测。3算法基本原理(1)决策树C4.5C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分 类。C4.5由J.Ross Quinlan在ID3的基础上提出的。ID3算法用来构造决策树。 决策树是一种类似流程图的树结构， 其中每个内部节点(非树叶节点)表示在一 个属性上的测试，每个分枝代表一个测试输出，而每个树叶节点存放一个类标号。 一旦建立好了决策树

3、，对于一个未给定类标号的元组，跟踪一条有根节点到叶节 点的路径，该叶节点就存放着该元组的预测。决策树的优势在于不需要任何领域 知识或参数设置，适合于探测性的知识发现。【原创】附代码数据有问题到淘宝找“大数据部落”就可以了从ID3算法中衍生出了 C4.5和CAR晒种算法，这两种算法在数据挖掘中都非常 重要。属性选择度量又称分裂规则，因为它们决定给定节点上的元组如何分裂。属 性选择度量提供了每个属性描述给定训练元组的秩评定，具有最好度量得分的属 性被选作给定元组的分裂属性。目前比较流行的属性选择度量有-信息增益、增 益率和Gini指标。(2)朴素贝叶斯贝叶斯分类是一类分类算法的总称，这类算法均以贝

4、叶斯定理为基础，故统称为贝叶斯分类。朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是这样的：对于给出的待分类 项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到一个黑人，我问 你你猜这哥们哪里来的，你十有八九猜非洲。为什么呢？因为黑人中非洲人的比 率最高，当然人家也可能是美洲人或亚洲人，但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。朴素贝叶斯分类的正式定义如下：1)设x=a_1,a_2,.,a_m 为一个待分类项，而每个

5、a为x的一个特征属 性。2)有类别集合 C=y_1,y_2,.,y_n。3)计算 P(y_1|x),P(y_2|x),.,P(y_n|x)。4)如果 P(y_k|x)=maxP(y_1|x),P(y_2|x),.,P(y_n|x),则 x in y_k 。那么现在的关键就是如何计算第 3步中的各个条件概率。我们可以这么做： 1)找到一个已知分类的待分类项集合，这个集合叫做训练样本集。2)统计得到在各类别下各个特征属性的条件概率估计。即P(a_1|y_1),P(a_2|y_1),.,P(a_m|y_1);P(a_1|y_2),P(a_2|y_2),.,P(a_m| y_2);P(a_1|y_n)

6、,P(a_2|y_n),.,P(a_m|y_n)。3)如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：P(y_i|x尸fracP(x|y_i)P(y_i)P(x)【原创】附代码数据 有问题到淘宝找“大数据部落”就可以了因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各 特征属性是条件独立的，所以有：P(x|y_i)P(y_i)=P(a_1|y_i)P(a_2|y_i)P(a_m|y_i)P(y_i)=P(y_i)pr0dAm_ j=1P(a_j|y_i)根据上述分析，朴素贝叶斯分类的流程分为三个阶段：第一阶段一一准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的

7、准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分， 然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类 中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很 大程度上由特征属性、特征属性划分及训练样本质量决定。第二阶段一一分类器训练阶段，这个阶段的任务就是生成分类器，主要工作 是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条 件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这 一阶段是机械性阶段，根据前面讨论的公式可以由程序自

8、动计算完成。第三阶段一一应用阶段。这个阶段的任务是使用分类器对待分类项进行分 类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。 这一阶段 也是机械性阶段，由程序完成。4实验(1)实验设置通过统计数据信息，发现带有类标号的数据一共有286行，为了避免数据的过度拟合，必须把数据训练集和校验集分开，目前的拆分策略是训练集200行，校验集86行。(2)决策树分类用Explorer打开刚才 breast-cancer_train.arff”,并切换至 U “ Class。点Choose” 按钮选择tree (weka.classifiers.trees.j48) ”,这是 WEKA中实现的

9、决策树算法。选择 Cross-Validatioin folds=10 ,然后点击“start”按钮：训练数据集训练决策树得出的结果【原创】附代码数据有问题到淘宝找“大数据部落”就可以了C 3 3.= 31 j. 1=二.t=c s fl a s - val i fla t l an = Suukls 匚号CCirMcTL 二 1 三耳目二工二生！3 tFistaneeg1L41支。r? %Inccrzrclylr.stiin-35427.AS23 %SKapp a s - atzstic0.243Swean aDs*ute error0.Roct Dean 3quEred rrar0.4E0

10、lative arsclute 史2mE97/M *Rd匚工 zeLdblvt 出口口士：三eircrLDL.051J 之Toul nuxbr cf 工dstgces195- De t ail=d ZggU二 is ;第 By Clasi IP RataFP艮出二型fcr&ct SLMR必亡aLL3三赫电且才U注ROC Ar*a0.S33fl .5720.7470.903o.fiiafi.575匚匚二Et:3t工1EEL工亡亡ZJltJ0-3230.097D.0-60.323O.i20.575re currene-evea:自KfrlQhtcd 2口,0, 7230.4320,7030.723

11、O.fl0”=Cen:ion MAtruee b 4三 classified am121 13 |a = n 5-rSjr r# n c*-su#f：t s41 2Q )b - rriijELCt-r/rnLs使用不同配置训练参数，得到的实验数据:配置小向的叶子节点的实例个数实例数/叶节点23457准确率72.33%70.8%72.8%73.3%73.8%结果分析：使用决策树时，每个叶子节点最优的实例个数为7。校验数据集校验决策树得出的结果Cl ajssifiez ciotTiatC qFIP 0 3tett.3t.ZQ口.303M-ea2_ &LelLit-e u工工口工Q aRoot 谏魅力 flmu4ml errorM4T91RjClfl.tve1 -凿Etp1=离 二仁工atiF suarec. erroxice.5412Tocal Number &r InaMiiceaK一 .EUaALKd JkD-D B岁 ciaaa .TP Rai;e FP F,m-e?rrcl?loinRecallT-MeasurcR3C ArmCl Q330-32160_633fi.137iQ,esfiO.7CS0.4骗ro-recuErr-e-aze-e-jtnt.30.170.1151OdVJ.167依纳ixts j jle zenc e ejiL a?weianwd。,髓号o-if