WEKA中文详细教程

1、2021/2/15,1,数据挖掘工具-weka教程,weka简介.2 数据集.11 数据准备.24 数据预处理36 分类63 聚类.184 关联规则225 选择属性244 数据可视化253 知识流界面275,2021/2/15,2,1、weka简介,weka的全名是怀卡托智能分析环境 （waikato environment for knowledge analysis） weka也是新西兰的一种鸟名 是新西兰怀卡托大学weka小组用java开发的机器学习/数据挖掘开源软件。其源代码获取 http:/www.cs.waikato.ac.nz/ml/weka/ http:/ 2005年8月，在第

2、11届acm sigkdd国际会议上，怀卡托大学的weka小组荣获了数据挖掘和知识探索领域的最高服务奖， weka系统得到了广泛的认可，被誉为数据挖掘和机器学习历史上的里程碑，是现今最完备的数据挖掘工具之一。 weka的每月下载次数已超过万次,2021/2/15,3,weka软件,主要特点 它是集数据预处理、学习算法（分类、回归、聚类、关联分析）和评估方法等为一体的综合性数据挖掘工具。 具有交互式可视化界面。 提供算法学习比较环境 通过其接口，可实现自己的数据挖掘算法,weka的界面,2021/2/15,4,探索环境,命令行环境,知识流环境,算法试验环境,2021/2/15,5,explore

3、r环境,2021/2/15,6,把“explorer”界面分成8个区域,区域1的几个选项卡是用来切换不同的挖掘任务面板。 preprocess（数据预处理）：选择和修改要处理的数据。 classify（分类）：训练和测试分类或回归模型。 cluster（聚类）：从数据中聚类。 associate（关联分析）：从数据中学习关联规则。 select attributes（选择属性）：选择数据中最相关的属性。 visualize（可视化） ：查看数据的二维散布图。 区域2是一些常用按钮。包括打开、编辑、保存数据及数据转换等功能。例如,我们可以把文件“bank-data.csv”另存为“bank-da

4、ta.arff”。 区域3中可以选择（choose）某个筛选器（filter），以实现筛选数据或者对数据进行某种变换。数据预处理主要就利用它来实现,2021/2/15,7,区域4展示了数据集的关系名、属性数和实例数等基本情况。 区域5中列出了数据集的所有属性。 勾选一些属性并“remove”就可以删除它们，删除后还可以利用区域2的“undo”按钮找回。 区域5上方的一排按钮是用来实现快速勾选的。 区域6中显示在区域5中选中的当前某个属性的摘要。 摘要包括属性名（name）、属性类型（type）、缺失值（missing）数及比例、不同值（distinct ）数、唯一值（unique）数及比例 对

5、于数值属性和标称属性，摘要的方式是不一样的。图中显示的是对数值属性“income”的摘要。 数值属性显示最小值（minimum）、最大值（maximum） 、均值（mean）和标准差（stddev） 标称属性显示每个不同值的计数,2021/2/15,8,区域7是区域5中选中属性的直方图。 若数据集的最后一个属性（这是分类或回归任务的默认目标变量）是类标变量（例如“pep” ），直方图中的每个长方形就会按照该变量的比例分成不同颜色的段。 要想换个分段的依据，在区域7上方的下拉框中选个不同的分类属性就可以了。 下拉框里选上“no class”或者一个数值属性会变成黑白的直方图,2021/2/15,

6、9,区域8窗口的底部区域，包括状态栏、log按钮和weka鸟。 状态栏（status）显示一些信息让你知道正在做什么。例如，如果 explorer 正忙于装载一个文件，状态栏就会有通知。 在状态栏中的任意位置右击鼠标将会出现一个小菜单。这个菜单给了你两个选项： memory information-显示weka可用的内存量。 run garbage collector-强制运行java垃圾回收器，搜索不再需要的内存空间并将之释放，从而可为新任务分配更多的内存。 log按钮可以查看以weka操作日志 。 右边的weka鸟在动的话，说明weka正在执行挖掘任务,2021/2/15,10,knowl

7、edgeflow环境,2021/2/15,11,2、weka数据集,weka所处理的数据集是一个.arff文件的二维表,2021/2/15,12,表格里的一个横行称作一个实例（instance），相当于统计学中的一个样本，或者数据库中的一条记录。 竖行称作一个属性（attribute），相当于统计学中的一个变量，或者数据库中的一个字段。 这样一个表格，或者叫数据集，在weka看来，呈现了属性之间的一种关系(relation)。 上图中一共有14个实例，5个属性，关系名称为“weather”。 weka存储数据的格式是arff（attribute-relation file format）文件，

8、这是一种ascii文本文件。 上图所示的二维表格存储在如下的arff文件中。这也就是weka自带的“weather.arff”文件，在weka安装目录的“data”子目录下可以找到,relation weather attribute outlook sunny, overcast, rainy attribute temperature real attribute humidity real attribute windy true, false attribute play yes, no data sunny,85,85,false,no sunny,80,90,true,no ove

9、rcast,83,86,false,yes rainy,70,96,false,yes rainy,68,80,false,yes rainy,65,70,true,no overcast,64,65,true,yes sunny,72,95,false,no sunny,69,70,false,yes rainy,75,80,false,yes sunny,75,70,true,yes overcast,72,90,true,yes overcast,81,75,false,yes rainy,71,91,true,no,2021/2/15,14,weka数据文件,weka存储数据的格式是a

10、rff（attribute-relation file format）文件 这是一种ascii文本文件 文件的扩展名为.arff 可以用写字板打开、编辑 arff文件 文件中以“%”开始的行是注释，weka将忽略这些行。 除去注释后，整个arff文件可以分为两个部分: 第一部分给出了头信息（head information），包括了对关系的声明和对属性的声明。 第二部分给出了数据信息（data information），即数据集中给出的数据。从“data”标记开始，后面的就是数据信息了,2021/2/15,16,关系声明,关系名称在arff文件的第一个有效行来定义，格式为： relation

11、是一个字符串。如果这个字符串包含空格，它必须加上引号（指英文标点的单引号或双引号,2021/2/15,17,属性声明,属性声明用一列以“attribute”开头的语句表示。 数据集中的每一个属性都有对应的“attribute”语句，来定义它的属性名称和数据类型（datatype）： attribute 其中必须以字母开头的字符串。和关系名称一样，如果这个字符串包含空格，它必须加上引号。 属性声明语句的顺序很重要，它表明了该项属性在数据部分的位置。 例如，“humidity”是第三个被声明的属性，这说明数据部分那些被逗号分开的列中，第2列（从第0列开始）数据 85 90 86 96 . 是相应的

12、“humidity”值。 其次，最后一个声明的属性被称作class属性，在分类或回归任务中，它是默认的目标变量,2021/2/15,18,数据类型,weka支持四种数据类型 numeric数值型 标称（nominal）型 string字符串型 date 日期和时间型 还可以使用两个类型“integer”和“real”，但是weka把它们都当作“numeric”看待。 注意：“integer”，“real”，“numeric”，“date”，“string”这些关键字是区分大小写的，而“relation”、“attribute ”和“data”则不区分,2021/2/15,19,数值型属性 数值

13、型属性可以是整数或者实数，但weka把它们都当作实数看待。例如： attribute temperature real 字符串属性 字符串属性可以包含任意的文本。例如： attribute lcc string,2021/2/15,20,标称属性 标称属性由列出一系列可能的类别名称并放在花括号中：, , , . 。 数据集中该属性的值只能是其中一种类别。 例如属性声明： attribute outlook sunny, overcast, rainy 说明“outlook”属性有三种类别：“sunny”，“ overcast”和“rainy”。而数据集中每个实例对应的“outlook”值必是这

14、三者之一。 如果类别名称带有空格，仍需要将之放入引号中,2021/2/15,21,日期和时间属性 日期和时间属性统一用“date”类型表示，它的格式是： attribute date 其中是一个字符串，来规定该怎样解析和显示日期或时间的格式，默认的字符串是iso-8601所给的日期时间组合格式： “yyyy-mm-dd hh:mm:ss” 数据信息部分表达日期的字符串必须符合声明中规定的格式要求，例如： attribute timestamp date yyyy-mm-dd hh:mm:ss data 2011-05-03 12:59:55,2021/2/15,22,数据信息,数据信息中“da

15、ta”标记独占一行，剩下的是各个实例的数据。 每个实例占一行，实例的各属性值用逗号“,”隔开。 如果某个属性的值是缺失值（missing value），用问号“?”表示，且这个问号不能省略。 例如： data sunny,85,85,false,no ?,78,90,?,yes,2021/2/15,23,稀疏数据,有的时候数据集中含有大量的0值，这个时候用稀疏格式的数据存储更加省空间。 稀疏格式是针对数据信息中某个对象的表示而言，不需要修改arff文件的其它部分。例如数据： data 0, x, 0, y, class a 0, 0, w, 0, class b 用稀疏格式表达的话就是 dat

16、a 1 x, 3 y, 4 class a 2 w, 4 class b 注意：arff数据集最左端的属性列为第0列，因此，1 x表示x为第1列属性值,2021/2/15,24,3、数据准备,数据获取 直接使用arff文件数据。 从csv，c4.5，binary等多种格式文件中导入。 通过jdbc从sql数据库中读取数据。 从url（uniform resource locator）获取网络资源的数据。 数据格式转换 arff格式是weka支持得最好的文件格式。 使用weka作数据挖掘，面临的第一个问题往往是数据不是arff格式的。 weka还提供了对csv文件的支持，而这种格式是被很多其他软

17、件（比如excel）所支持。 可以利用weka将csv文件格式转化成arff文件格式,2021/2/15,25,数据资源,weka自带的数据集 c:program filesweka-3-6data 网络数据资源 /ml/datasets.html,2021/2/15,26,xls .csv .arff,excel的xls文件可以让多个二维表格放到不同的工作表（sheet）中，只能把每个工作表存成不同的csv文件。 打开一个xls文件并切换到需要转换的工作表，另存为csv类型，点“确定”、“是”忽略提示即可完成操作。 在weka中打开一个csv

18、类型文件，再另存为arff类型文件即可,2021/2/15,27,打开excel的iris.xls文件,2021/2/15,28,2021/2/15,29,将iris.xls另存为iris.csv文件,2021/2/15,30,2021/2/15,31,2021/2/15,32,在weka的explorer中打开iris.csv文件,2021/2/15,33,2021/2/15,34,将iris. csv另存为iris. arff 文件,2021/2/15,35,2021/2/15,36,4、数据预处理 preprocess,在weka中数据预处理工具称作筛选器（filters） 可以定义筛选

19、器来以各种方式对数据进行变换。 filter 一栏用于对各种筛选器进行必要的设置。 choose 按钮：点击这个按钮就可选择 weka 中的某个筛选器。 选定一个筛选器后，它的名字和选项会显示在 choose 按钮旁边的文本框中,2021/2/15,37,载入数据,explorer的预处理（ preprocess ）页区域2的前4个按钮用来把数据载入weka： open file. 打开一个对话框，允许你浏览本地文件系统上的数据文件。 open url. 请求一个存有数据的url地址。 open db. 从数据库中读取数据 。 generate. 从一些数据生成器（datagenerators

20、）中生成人造数据,2021/2/15,38,去除无用属性,通常对于数据挖掘任务来说，像id这样的信息是无用的，可以将之删除。 在区域5勾选属性“id”，并点击“remove”。 将新的数据集保存，并重新打开,2021/2/15,39,数据离散化,有些算法(如关联分析)，只能处理标称型属性，这时候就需要对数值型的属性进行离散化。 对取值有限的数值型属性可通过修改.arff文件中该属性数据类型实现离散化。 例如，在某数据集中的 “children”属性只有4个数值型取值：0，1，2，3。 我们直接修改arff文件，把 attribute children numeric 改为 attribute

21、children 0,1,2,3 就可以了。 在“explorer”中重新打开“bank-data.arff”，看看选中“children”属性后，区域6那里显示的“type” 变成“nominal”了,2021/2/15,40,对取值较多的数值型属性，离散化可借助weka中名为“discretize”的filter来完成。 在区域2中点“choose”，出现一棵“filter树”，逐级找到“weka.filters.unsupervised.attribute.discretize”，点击。 现在“choose”旁边的文本框应该显示“discretize -b 10 -m -0.1 -r f

22、irst-last”。 点击这个文本框会弹出新窗口以修改离散化的参数,2021/2/15,41,在weka的explorer中打开iris.arff文件,2021/2/15,42,2021/2/15,43,2021/2/15,44,查看iris数据集,2021/2/15,45,2021/2/15,46,查看iris数据属性分布图，选择属性,2021/2/15,47,2021/2/15,48,2021/2/15,49,通过观察发现petallength最能区分各类,2021/2/15,50,将属性petallength离散化,2021/2/15,51,2021/2/15,52,2021/2/15

23、,53,2021/2/15,54,2021/2/15,55,2021/2/15,56,离散化成10段数据,等频离散化,离散化成10段数据,2021/2/15,57,2021/2/15,58,2021/2/15,59,2021/2/15,60,2021/2/15,61,查看离散化后的iris数据集,2021/2/15,62,2021/2/15,63,5、分类 classify,weka把分类(classification)和回归(regression)都放在“classify”选项卡中。 在这两个数据挖掘任务中，都有一个目标属性（类别属性，输出变量）。 我们希望根据一个weka实例的一组特征属性

24、 （输入变量），对目标属性进行分类预测。 为了实现这一目的，我们需要有一个训练数据集，这个数据集中每个实例的输入和输出都是已知的。观察训练集中的实例，可以建立起预测的分类/回归模型。 有了这个模型，就可以对新的未知实例进行分类预测。 衡量模型的好坏主要在于预测的准确程度,2021/2/15,64,weka中的典型分类算法,bayes: 贝叶斯分类器 bayesnet: 贝叶斯信念网络 navebayes: 朴素贝叶斯网络 functions: 人工神经网络和支持向量机 multilayerperceptron: 多层前馈人工神经网络 smo: 支持向量机（采用顺序最优化学习方法） lazy:

25、基于实例的分类器 ib1: 1-最近邻分类器 ibk: k-最近邻分类器,2021/2/15,65,选择分类算法,meta: 组合方法 adaboostm1: adaboost m1方法 bagging: 袋装方法 rules: 基于规则的分类器 jrip: 直接方法ripper算法 part: 间接方法从j48产生的决策树抽取规则 trees: 决策树分类器 id3: id3决策树学习算法（不支持连续属性） j48: c4.5决策树学习算法（第8版本） reptree: 使用降低错误剪枝的决策树学习算法 randomtree: 基于决策树的组合方法,2021/2/15,66,选择分类算法,2

26、021/2/15,67,2021/2/15,68,选择模型评估方法,四种方法 using training set 使用训练集评估 supplied test set 使用测试集评估 cross-validation 交叉验证 设置折数folds percentage split 保持方法。使用一定比例的训练实例作评估 设置训练实例的百分比,2021/2/15,69,选择模型评估方法,2021/2/15,70,output model. 输出基于整个训练集的分类模型，从而模型可以被查看，可视化等。该选项默认选中。 output per-class stats. 输出每个class的准确度/反馈

27、率（precision/recall）和正确/错误（true/false）的统计量。该选项默认选中。 output evaluation measures. 输出熵估计度量。该选项默认没有选中。 output confusion matrix. 输出分类器预测结果的混淆矩阵。该选项默认选中。 store predictions for visualization. 记录分类器的预测结果使得它们能被可视化表示。 output predictions. 输出测试数据的预测结果。注意在交叉验证时，实例的编号不代表它在数据集中的位置。 cost-sensitive evaluation. 误差将根据一

28、个价值矩阵来估计。set 按钮用来指定价值矩阵。 random seed for xval / % split. 指定一个随即种子，当出于评价的目的需要分割数据时，它用来随机化数据,点击more options 按钮可以设置更多的测试选项,2021/2/15,71,文字结果分析,单击start按钮，classifier output窗口显示的文字结果信息： run information 运行信息 classifier model (full training set) 使用全部训练数据构造的分类模型 summary 针对训练/检验集的预测效果汇总。 detailed accuracy by

29、class 对每个类的预测准确度的详细描述。 confusion matrix 混淆矩阵，其中矩阵的行是实际的类，矩阵的列是预测得到的类，矩阵元素就是相应测试样本的个数,2021/2/15,72,文字结果,2021/2/15,73,主要指标,correctly classified instances 正确分类率 incorrectly classified instances 错误分类率 kappa statistic kappa 统计数据 mean absolute error 平均绝对误差 root mean squared error 根均方差 relative absolute er

30、ror 相对绝对误差 root relative squared error 相对平方根误差 tp rate(bad/good) 正确肯定率 fp rate(bad/good) 错误肯定率 precision(bad/good) 精确率 recall(bad/good) 反馈率 f-measure(bad/good) f测量 time taken to build model 建模花费的时间,2021/2/15,74,输出图形结果,鼠标右键,2021/2/15,75,view in main window(查看主窗口)。在主窗口中查看输出结果。 view in separate window(

31、查看不同的窗口)。打开一个独立的新窗口来查看结果。 save result buffer(保存结果的缓冲区)。弹出对话框来保存输出结果的文本文件。 load model(下载模式)。从二进制文件中载入一个预训练模式对象。 save model (保存模式)。将一个模式对象保存到二进制文件中，也就是保存在java 的串行对象格式中。 re-evaluate model on current test set(对当前测试集进行重新评估)。通过已建立的模式，并利用supplied test set(提供的测试集) 选项下的set.按钮来测试指定的数据集,2021/2/15,76,visualize

32、classifier errors(可视化分类器错误)。弹出一个可视化窗口来显示分类器的结果图。其中，正确分类的实例用叉表示，然而不正确分类的实例则是以小正方形来表示的。 visualize tree(树的可视化)。如果可能的话，则弹出一个图形化的界面来描述分类器模型的结构(这只有一部分分类器才有的)。右键单击空白区域弹出一个菜单，在面板中拖动鼠标并单击，就可以看见每个节点对应的训练实例。 visualize margin curve(边际曲线的可视化)。产生一个散点图来描述预测边际的情况。边际被定义为预测为真实值的概率和预测为真实值之外的其它某类的最高概率之差。例如加速算法通过增加训练数据集

33、的边际来更好地完成测试数据集的任务,2021/2/15,77,visualize threshold curve(阈曲线的可视化)。产生一个散点图来描述预测中的权衡问题，其中权衡是通过改变类之间阈值来获取的。例如，缺省阈值为0.5，一个实例预测为positive的概率必须要大于0.5，因为0.5时实例正好预测为positive。而且图表可以用来对精确率/反馈率权衡进行可视化，如roc 曲线分析(正确的正比率和错误的正比率)和其它的曲线。 visualize cost curve(成本曲线的可视化)。产生一个散点图，来确切描述期望成本，正如drummond 和holte 所描述的一样,2021/

34、2/15,78,visualize classifier errors. 可视化分类错误 实际类与预测类的散布图。其中正确分类的结果用叉表示，分错的结果用方框表示,2021/2/15,79,visualize tree可视化树,2021/2/15,80,2021/2/15,81,2021/2/15,82,可视化边际曲线 （visualize margin curve,创建一个散点图来显示预测边际值。 四个变量 margin: 预测边际值 instance_number: 检验实例的序号 current: 具有当前预测边际值的实例个数 cumulative: 小于或等于预测边际值的实例个数 （与

35、instance_number一致,2021/2/15,83,2021/2/15,84,单击8号检验实例，显示该点的边际值为0.5，有7个实例的边际值小于0.5,2021/2/15,85,可视化阈值曲线（基于类,阈值是将检验实例归为当前类的最小概率，使用点的颜色表示阈值 曲线上的每个点通过改变阈值的大小生成 可以进行roc分析 x轴选假正率 y轴选真正率,2021/2/15,86,2021/2/15,87,2021/2/15,88,roc曲线,roc曲线（receiver operating characteeristic curve）是显示classification模型真正率和假正率之间折

36、中的一种图形化方法。 假设样本可分为正负两类，解读roc图的一些概念定义: 真正（true positive , tp），被模型预测为正的正样本 假负（false negative , fn）被模型预测为负的正样本 假正（false positive , fp）被模型预测为正的负样本 真负（true negative , tn）被模型预测为负的负样本 真正率（true positive rate , tpr）或灵敏度（sensitivity） tpr = tp /（tp + fn） 正样本预测结果数 / 正样本实际数 假正率（false positive rate , fpr） fpr = f

37、p /（fp + tn） 被预测为正的负样本结果数 /负样本实际数 ( tpr=1,fpr=0 ) 是理想模型 一个好的分类模型应该尽可能靠近图形的左上角,2021/2/15,89,iris分类示例,2021/2/15,90,在weka的explorer中打开iris.arff文件,2021/2/15,91,在weka的explorer中打开iris.arff文件,2021/2/15,92,2021/2/15,93,选择分类（classify）数据挖掘任务,2021/2/15,94,选择分类算法,2021/2/15,95,选择决策树算法trees-j48,2021/2/15,96,设置相关参数

38、,2021/2/15,97,2021/2/15,98,2021/2/15,99,选择检验方法,2021/2/15,100,2021/2/15,101,2021/2/15,102,2021/2/15,103,2021/2/15,104,2021/2/15,105,执行分类算法，建立决策树模型,2021/2/15,106,查看算法执行的输出信息,2021/2/15,107,2021/2/15,108,查看决策树分类模型,2021/2/15,109,2021/2/15,110,2021/2/15,111,查看分类错误散点图,2021/2/15,112,2021/2/15,113,选择其他的分类算法,

39、2021/2/15,114,2021/2/15,115,选择贝叶斯分类算法bayes-naive bayes,2021/2/15,116,选择检验方法,2021/2/15,117,执行分类算法，建立贝叶斯模型,2021/2/15,118,进行roc分析,2021/2/15,119,2021/2/15,120,2021/2/15,121,选择其他的分类算法,2021/2/15,122,选择决策树用户自分类法trees-userclssifier,2021/2/15,123,选择检验方法,2021/2/15,124,执行算法,2021/2/15,125,2021/2/15,126,数据散点图,20

40、21/2/15,127,但击鼠标，确定分类边界,2021/2/15,128,查看相应的分类树,2021/2/15,129,预测指定属性值,2021/2/15,130,选择预测属性,2021/2/15,131,2021/2/15,132,选择算法,2021/2/15,133,2021/2/15,134,执行算法,2021/2/15,135,观察输出信息,2021/2/15,136,2021/2/15,137,查看分类错误散点图,2021/2/15,138,2021/2/15,139,点击实例，察看详细信息,2021/2/15,140,该实例petallength的实际值为5.1，预测值为5.89

41、,2021/2/15,141,训练bank-data分类模型示例,bank-data数据各属性的含义如下： id: a unique identification number age: age of customer in years (numeric) sex: male / female region:inner_city/rural/suburban/town income: income of customer (numeric) married:is the customer married (yes/no) children: number of children (numeri

42、c) car: does the customer own a car (yes/no) save_act: does the customer have a saving account (yes/no) current_act:does the customer have a current account (yes/no) mortgage: does the customer have a mortgage (yes/no) pep （目标变量） : did the customer buy a pep (personal equity plan，个人参股计划) after the l

43、ast mailing (yes/no,2021/2/15,142,浏览bank-data. xls数据,2021/2/15,143,数据准备将数据另存为.csv格式,2021/2/15,144,2021/2/15,145,数据准备在weka中打开bank-data. csv,2021/2/15,146,2021/2/15,147,2021/2/15,148,2021/2/15,149,数据准备在weka中浏览数据,2021/2/15,150,2021/2/15,151,数据准备将数据另存为.arff格式,2021/2/15,152,在写字板中浏览bank-data.arff文件,2021/2

44、/15,153,2021/2/15,154,数据预处理,去除无用属性 通常对于数据挖掘任务来说，id这样的信息是无用的，我们将之删除。勾选属性“id”，并点击“remove”。将新的数据集保存为“bank-data.arff”，重新打开。 离散化 在这个数据集中有3个变量是数值型的，分别是“age”，“income”和“children”。 其中“children”只有4个取值：0，1，2，3。这时我们直接修改arff文件，把 attribute children numeric 改为 attribute children 0,1,2,3 就可以了。 在“explorer”中重新打开“bank

45、-data.arff”，看看选中“children”属性后，显示的“type” 变成“nominal”了,2021/2/15,155,数据预处理,age”和“income”的离散化可借助weka中名为“discretize”的filter来完成。 点“choose”，出现一棵“filter树”，逐级找到“weka.filters.unsupervised.attribute.discretize”，点击。 现在“choose”旁边的文本框应该显示“discretize -b 10 -m -0.1 -r first-last”。 点击这个文本框会弹出新窗口以修改离散化的参数。 我们不打算对所有的

46、属性离散化，只是针对对第1个和第4个属性（见属性名左边的数字），故把attributeindices右边改成“1,4”。计划把这两个属性都分成3段，于是把“bins”改成“3”。其它框里不用更改。 点“ok”回到“explorer”，可以看到“age”和“income”已经被离散化成分类型的属性。若想放弃离散化可以点“undo”。 经过上述操作得到的数据集我们保存为bank-data-final.arff,2021/2/15,156,数据预处理-去除无用属性,2021/2/15,157,2021/2/15,158,数据预处理children数据离散化,2021/2/15,159,数据预处理ch

47、ildren数据离散化,用写字板打开bank-data.arff文件,2021/2/15,160,2021/2/15,161,在weka中重新打开bank-data.arff文件,2021/2/15,162,2021/2/15,163,观察 children属性,2021/2/15,164,数据预处理离散化“age”和“income,2021/2/15,165,数据预处理数据离散化,2021/2/15,166,2021/2/15,167,2021/2/15,168,2021/2/15,169,2021/2/15,170,2021/2/15,171,2021/2/15,172,在写字板中重新观察

48、bank-data.arff数据,2021/2/15,173,训练分类模型,2021/2/15,174,2021/2/15,175,2021/2/15,176,评估分类模型,2021/2/15,177,选择不同的分类算法或参数,2021/2/15,178,2021/2/15,179,选择模型,2021/2/15,180,2021/2/15,181,2021/2/15,182,2021/2/15,183,2021/2/15,184,6、 聚类 cluster,聚类分析是把对象分配给各个簇，使同簇中的对象相似，而不同簇间的对象相异。 weka在“explorer”界面的“cluster”提供聚类分

49、析工具,选择聚类算法,2021/2/15,185,weka中的聚类算法,2021/2/15,186,主要算法包括： simplekmeans 支持分类属性的k均值算法 dbscan 支持分类属性的基于密度的算法 em 基于混合模型的聚类算法 fathestfirst k中心点算法 optics 基于密度的另一个算法 cobweb 概念聚类算法 sib 基于信息论的聚类算法，不支持分类属性 xmeans 能自动确定簇个数的扩展k均值算法，不支持分类属性,2021/2/15,187,参数设置,simplekmeans重要参数 n 簇个数 dbscan重要参数 e eps半径 m minpts， e

50、ps半径内点个数,2021/2/15,188,simplekmeans重要参数,2021/2/15,189,displaystddevs：是否显示数值属性标准差和分类属性个数 distancefunction：选择比较实例的距离函数 (默认: weka.core.euclideandistance) dontreplacemissingvalues：是否不使用均值/众数（mean/mode）替换缺失值。 maxiterations：最大迭代次数 numclusters：聚类的簇数 preserveinstancesorder：是否预先排列实例的顺序 seed：设定的随机种子值,2021/2/1

51、5,190,聚类模式cluster mode,2021/2/15,191,使用训练集 (use training set) 报告训练对象的聚类结果和分组结果 使用附加的检验集 (supplied test set) 报告训练对象的聚类结果和附加的检验对象的分组结果 百分比划分 (percentage split) 报告全部对象的聚类结果、训练对象的聚类结果，以及检验对象的分组结果 监督评估 (classes to clusters evaluation) 报告训练对象的聚类结果和分组结果、类/簇混淆矩阵和错误分组信息,2021/2/15,192,执行聚类算法,点击“start”按钮，执行聚类算

52、法,2021/2/15,193,观察聚类结果,观察右边“clusterer output”给出的聚类结果。也可以在左下角“result list”中这次产生的结果上点右键，“view in separate window”在新窗口中浏览结果,2021/2/15,194,run information = %运行信息 scheme:weka. clusterers. simplekmeans -n 3 -a “weka. core. euclideandistance -r first-last” -i 500 -s 10 % 算法的参数设置：-n 3 -a “weka. core. eucli

53、deandistance -r first-last” -i 500 -s 10; % 各参数依次表示： % -n 3 聚类簇数为3； % -a “weka. core. euclideandistance 中心距离为欧氏距离； % - i 500 -最多迭代次数为500； % -s 10 -随机种子值为10。 relation: iris %数据集名称 instances: 150 %数据集中的实例个数,2021/2/15,195,attributes: 5 %数据集中的属性个数及属性名称 sepallength sepalwidth petallength petalwidth ignor

54、ed: %忽略的属性 class test mode:classes to clusters evaluation on training data %测试模式 = model and evaluation on taining set = %基于训练数据集的模型与评价 kmeans %使用kmeans算法 = number of iterations: 6 kmeans %迭代次数 winthin cluster sum of squared errors: 6.998114004826762 % sse(误差的平方和) missing values globally replaced wi

55、th mean/mode %用均值/众数替代缺失值,2021/2/15,196,cluster centroids: %各个簇的质心 cluster# attribute full data 0 1 2 (150) (61) (60) (39) = sepallength 5.8433 5.8885 5.006 6.8462 sepalwidth 3.064 2.7377 3,418 3.0821 petallength 3.7587 4,3967 1,464 5.7026 petalwidth 1.1987 1.418 0.244 2.0795 time taken to build mod

56、el (full training data) : 0.03 seconds %建模用的时间 = modal and evaluation on training set = clustered instances %各个簇中的实例个数及百分比。 0 61 (41%) 1 50 (33%) 2 39 (26,2021/2/15,197,注意：采用有监督聚类（即已知建模数据集的类标号）， 才会出现以下执行信息,class attribute: class %类标号属性名称 classes to clusters: %类簇混淆矩阵 0 1 2 - assigned to cluster 0 50

57、0 | iris-setosa 47 0 3 | iris-versicolor 14 0 36 | iris-virginisa cluster 0 - iris-versicolor cluster 1 - iris-setosa cluster 2 - iris-virginica incorrectly clustered instances : 17.0 11.3333 % %错分实例个数及百分比,2021/2/15,198,文字分析 simplekmeans 非监督模式：运行信息、kmeans结果（迭代次数、sse、簇中心）、检验对象的分组信息 监督模式：运行信息、kmeans结果

58、（迭代次数、sse、簇中心）、类/簇混淆矩阵、错误分组的对象个数和比例 簇中心：对于数值属性为均值，对于分类属性为众数 dbscan 非监督模式：运行信息、dbscan结果（迭代次数、各个训练对象的分组信息）、检验对象的分组信息 监督模式：运行信息、 dbscan结果（迭代次数、各个训练对象的分组信息）、类/簇混淆矩阵、错误分组的对象个数和比例 图形分析 （必须将store clusters for visualization勾上） 可视化簇指派 (visualize cluster assignments)：2d散布图，能够可视化类/簇混淆矩阵,2021/2/15,199,simplekme

59、ans聚类结果分析,重要的输出信息 “ within cluster sum of squared errors ”评价聚类好坏的标准sse，即误差的平方和。sse值越小说明聚类结果越好。 “cluster centroids:”之后列出了各个簇中心的位置。对于数值型的属性，簇中心就是它的均值（mean），分类型的就是它的众数（mode）。 “clustered instances”是各个簇中实例的数目及百分比,2021/2/15,200,观察可视化的聚类结果,在左下方“result list”列出的结果上右击，点“visualize cluster assignments”。 弹出的窗口给出

60、了各实例的散点图。 最上方的两个框是选择横坐标和纵坐标， 第二行的”color”是散点图着色的依据，默认是根据不同的簇“cluster”给实例标上不同的颜色,2021/2/15,201,示例：对iris数据集作聚类分析,2021/2/15,202,采用无监督聚类，删除原有的类标号,2021/2/15,203,选择聚类数据挖掘任务,2021/2/15,204,选择聚类算法,2021/2/15,205,选中simplekmeans算法,2021/2/15,206,设置参数,2021/2/15,207,聚类簇数numcluster=3,2021/2/15,208,执行聚类算法,2021/2/15,2