国内数据挖掘工具研究综述

1、 基金项目:国家自然科学基金项目“人力资源管理与先进制造技术及其匹配对产品创新的影响”(编号:70740005。作者简介:钱峰,男,1976年,博士,研究方向为企业知识管理、数据挖掘与决策支持系统。国内数据挖掘工具研究综述3R evie w of Domestic R esearch on Data Mining钱峰(南京大学商学院南京210093摘要在对国内数据挖掘工具的相关文献计量分析的基础上,综述了其三大研究主题:数据挖掘工具的分类、数据挖掘工具的介绍与开发、数据挖掘工具比较与评价,并归纳了数据挖掘工具研究的两个发展方向:专业领域数据挖掘工具的开发、数据挖掘工具的分类评价。关键词数据挖掘

2、数据挖掘工具评价研究中图分类号TP311.1随着20世纪80年代“数据挖掘”这一新兴学科的出现,形形色色的数据挖掘商业软件工具也竞相面世。按照姚毓才等的观点,能够从巨量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程的软件工具可称为数据挖掘工具1。当前的数据挖掘工具有哪些?如何选用最合适的数据挖掘工具等问题是用户经常面对的问题。本文尝试在国内现有文献的基础上综述数据挖掘工具的研究主题,并归纳其发展方向。1数据挖掘工具研究的文献计量分析数据挖掘已在多个领域中得到广泛应用,在CN KI 与维普(V IP 中文科技期刊数据库中能检索到的最早的相关论文发表于1997年。软件是数据挖掘

3、的必备工具,在CN KI 与V IP 中能检索到的最早的“数据挖掘工具”的相关论文发表于1998年。截至笔者撰写本文时,CN KI 中共收录相关论文35篇。这35篇论文按时间和学科的分布分别如表1、表2所示。表1“数据挖掘工具”相关论文的时间分布年份1998199920002001200220032004200520062007论文数(篇1111475555表2“数据挖掘工具”相关论文的学科分布学者所属学科计算机图书情报学遥感自动化商学论文数(篇25442所占比例71.4%11.4%11.4%5.7%表1显示:自1998年起,CN KI 中“数据挖掘工具”的相关论文数量呈递增趋势。这表明数据挖

4、掘工具逐渐成为学者们关注的对象。究其原因,主要在于数据挖掘在多个领域的广泛应用,而工具在数据挖掘的应用中必不可少,自然也越来越受关注。表2显示:从事数据挖掘工具研究的学者主要分布在四个专业领域,即计算机、图书情报学、遥感自动化、商学。从论文数量上看,计算机领域发表的相关论文数量最多(25篇,占71.4%,其次为图书情报学领域与遥感自动化领域,均占1114%,再次是商学领域,占5.7%。究其原因,主要在于非计算机领域的学者通常只是将数据挖掘作为一种方法,从事研究工作时,会使用数据挖掘工具即可,而不会专门从事数据挖掘工具的研究。表2中的非计算机领域的学者所发表的相关论文主要是对数据挖掘工具的介绍或

5、比较、评价,而未涉及数据挖掘工具的开发、设计、算法等内容。2数据挖掘工具研究的内容分析通过分析近10年文献的主题内容,笔者将数据挖掘工具的研究主题归纳为三个方面:数据挖掘工具的分类、数据挖掘工具的介绍与开发、数据挖掘工具的比较与评价。分类研究是为了了解当前数据挖掘工具的共性与特性;开发则是因为当前的数据挖掘工具不能满足特定领域的特定需求;比较与评价研究是按照某种或某些性能筛选数据挖掘工具。2.1数据挖掘工具的分类按照一般的分类方法,数据挖掘工具可以分为:特定领域的数据挖掘工具和通用的数据挖掘工具。特定领域的数据挖掘工具是针对某个特定领域的问题提供解决方案,其针对性比较强,往往采用一些特殊的算法

6、,可以处理特殊的数据,实现特殊的目的。通用的数据挖掘工具不区分具体数据的含义,采用通用的挖掘算法,处理常见的数据类型,挖掘什么、用什么来挖掘都由用户根据自己的应用来选择。这两类数据挖掘工具的实例如表3所示。按照软件所基于的平台划分,数据挖掘工具可分为:基于DOS 的软件工具、基于Windows 的软件工具、基于Linux 的软件工具和基于S olaris 的软件工具等。此外,也有学者按照其他标准将数据挖掘工具划分为其他类别。例如,高英明等根据应用领域将数据挖掘工具分为3类:通用单任务类、通用多任务类、专用领域类;而根据所采用11J o ur nal of Inf or m a ti o n N

7、o.10,2008情报杂志2008年第10期 的技术将数据挖掘工具分为6类:基于规则和决策树的工具、基于神经元网络的工具、数据可视化方法、模糊发现方法、统计方法和综合多方法3。表3特定领域的与通用的数据挖掘工具实例分类数据挖掘工具开发单位功能特定领域的数据挖掘工具AdvancedScoutIBM 公司针对NBA 的数据,帮助教练优化战术组合SKICAT 系统加州理工学院喷气推进实验室与天文科学家合作开发帮助天文学家发现遥远的类星体TASA 芬兰赫尔辛基大学计算机科学系帮助预测网络通信中的警报通用的数据挖掘工具Clementine SPSS 公司Enterprise Min 2erSAS 公司Q

8、UEST 系统IBM 公司Almaden 研究中心通用型MineSet 系统SGI 公司DBMiner 系统加拿大SimonFraser 大学注:表中部分数据来源于文献3姚毓才等借鉴多维数据立方体表示的概念,提出了数据挖掘软件工具的多维立方体分类方案,即用数据挖掘工具的不同属性类作为多维立方体的维,从而建立一个多维的立方体模型,然后在此基础上进行有关知识的挖掘,该模型的三个维分别是:数据源(数据库、文本文件Web 数据、多媒体数据等、方法(统计方法、决策树、规则抽取、基于事例的推理、Bayes 网络、遗传算法、神经网络、模糊集、Rough 集等和功能(预处理、关联分析、回归分析、分类、预测、聚

9、类分析、异常分析、模型可视化等。如图1所示 。图1数据挖掘工具的三维立体分类方案2.2数据挖掘工具的介绍与开发通用数据挖掘工具已越来越不能满足各专业领域研究日益深入的需要,侧重研发的学者便自行开发新的数据挖掘工具,例如:刘君强等4开发了智能型数据挖掘工具SmartMiner ,该工具是以在数据挖掘算法研究和专家系统研究中取得的成果为基础,提出了挖掘作业描述语言MDL 和挖掘任务模型脚本语言,设计了挖掘向导、可视化向导和挖掘任务模型,集成了数据仓库管理功能,挖掘引擎具有智能性,体系结构开放并可扩展。袁红春等5将常用于关系数据库和事务数据库的面向属性的归纳和关联规则挖掘方法扩展应用于GIS 数据库

10、,开发了空间数据挖掘工具GISMiner 。何耀东等6开发了DMTools ,实现了基于数据库的知识发现(K DD 的主要过程:数据可视分析、数据预处理、数据库的知识发现、数据挖掘、模型解释及模型评估等,该工具可从各行业的历史业务数据库中挖掘出隐含的有价值的知识,用于决策支持。刘伟7、田小霞8等学者设计了基于CORBA 的数据挖掘工具。而侧重应用的学者则主要介绍企业或学术机构研发的数据挖掘工具的功能应用,例如:邓英等介绍了两类Web 数据挖掘工具9:文本信息挖掘工具,如IBM 公司推出的Intelligent Miner for Text ;用户访问模式挖掘工具,如用户导航行为挖掘工具WUM

11、(web UtilizationMiner ,http :/wum.wiwi.hu -berlin.de 上可免费获得,以及Stephen Turner 博士编制的免费个人软件Analog (http :/.ac.uk 上可免费获得。汤海鹏等介绍了专业航空遥感图像处理系统Erdas 和DB Miner 的特点10。Erdas 是由ERDAS 等公司开发的专用于遥感图像处理的一个系统,提供的主要功能有:非监督分类、监督分类、知识分类、知识引擎等。DBMiner 是加拿大Simon Fraser 大学数据库科研实验室下的数据挖掘科研小组开发的一个多任务数据挖掘系统。王颖等介绍了可视化数据挖掘工具R

12、efViz 的基本功能:数据导入与导出、数据分析、顾问、词表工具等,并以肺炎支原体为例介绍了该工具的用法11。2.3数据挖掘工具的比较与评价数据挖掘工具的比较研究主要包括基本属性的比较与功能的比较,数据挖掘工具的评价研究主要为评价指标体系研究。比较与评价的目标相同,都是为了筛选数据挖掘工具。表4数据挖掘工具的比较研究实例作者比较对象比较属性主要结论郭秋萍Intelligent Miner 、DB Miner 2.0、SAS 、Darwin 产品提供商、用户界面、拥有成本、商业竞争能力、建模技术与算法、模型发布Intelligent Miner 简单易用,能进行大数据量的挖掘,功能一般,没有数据

13、探索功能,与其他软件接口差,难于发布,结果虽美观但不好理解;DB Miner 2.0算法简单,价格便宜,系统功能较全面,并提供了开放式体系结构;SAS 系列产品功能强大,但难以掌握;Darwin 功能较弱,使用不方便,没有数据探索功能,市场份额小张雪英Clementine -SPSS 、IntelligentMiner 、Darwin 、Teradata Miner 、SQL Server 2000、SAS 、DB Miner2.0产品提供商、方法论、商业理解、支持平台数据展现、用户界面、提供商业竞争能力、拥有成本、数据准备、建模技术与算法、评估、模型发布SAS 完全以统计理论为基础,功能强大

14、,有完备的数据探索功能,要求是高级统计分析专业人员,价格也极其昂贵;IBM 的Intelli 2gent Miner 简单易用,能处理大数据量的挖掘,功能一般,没有数据探索功能,与其他软件接口差;O 2racle 功能较弱,使用不方便,没有数据探索功能,市场份额也小;SPSS 功能强大,有完备的数据探索功能,也较易掌握,性价比较高,有能力处理大数据量,而且SPSS 具有方便的发布和集成功能;Teradata 新推出自己的挖掘工具,在某些方面还不太成熟马准中SPSS 、STATICTICA 、Tiberius回归分析SPSS 支持脚本功能,鼓励人工参与,支持多种类型数据,提供丰富的图形表示功能;

15、STATICTICA 易于学习和使用,功能单一;Tiberius 功能强大,支持几乎所有数据挖掘技术,具有批处理功能2.3.1数据挖掘工具的比较。具有代表性的数据挖掘工21情报杂志2008年第10期J o ur nal of Inf or m a ti o n No.10,2008具的比较研究包括郭秋萍12、张雪英13、马准中14等人的研究。他们从不同的方面对国内外常用的数据挖掘工具进行了比较,比较的属性与结论如表4所示。2.3.2数据挖掘工具的评价。当前数据挖掘工具的评价研究主要为综合评价,不同的学者从不同的角度设计了不同的分类体系,但评价对象均是所有数据挖掘工具,具体如表5所示。表5数据挖

16、掘工具的评价体系实例作者评价指标朱莹商业理解,数据理解,建模,模型评估,结果发布高英明刘克勤系统功能及工具的完备性,系统体系结构的可扩展性,多种数据源的存取能力,底层数据模型支持能力,数据量的最大处理能力,提供给用户的表现能力郭秋萍数据挖掘工具的功能及其完备性,数据挖掘工具的可扩展性,数据挖掘工具的数据准备和处理能力,解决复杂问题的能力,数据挖掘工具提供给用户的表现力,数据挖掘工具的易操作性,系统的开放性周健吉数据存储,数据处理,模型算法,自动建模,可视化,其他邓英可产生的模式种类的多少,解决复杂问题的能力,易操作性,数据存取能力,与其他产品的接口李建刘红星数据准备,数据访问,算法与建模,模型

17、评价和解释,用户界面事实上,随着各种特定领域的数据挖掘工具的出现,通用的、综合型的评价体系将不再是研究的重点,学者们将越来越关注对特定领域的数据挖掘工具的评价研究。综上所述,数据挖掘工具的分类研究、数据挖掘工具的介绍与开发研究、数据挖掘工具的比较与评价研究概括了国内数据挖掘工具的研究现状。3数据挖掘工具研究的方向根据学者与数据挖掘工具之间的关系,可将学者群体分为两类:开发者与使用者。从开发者的角度而言,开发专业领域的数据挖掘工具将成为一个重要的研究方向,因为数据挖掘日益广泛地应用在过程中,必将有越来越专业化的需求,如Web 挖掘中对于音频、视频等多媒体数据的挖掘。从使用者的角度而言,数据挖掘工

18、具的分类评价也将成为一个重要的研究方向,越来越多的专业领域的数据挖掘工具将使得数据挖掘工具的综合评价适用性降低,分类评价将成为关注的焦点。3.1专业领域数据挖掘工具的开发数据挖掘的研究热点包括:Web挖掘(Web内容挖掘、Web结构挖掘、Web日志挖掘、生物信息挖掘、文本数据挖掘等15。在这些领域,数据挖掘工具也必将广泛使用,但通用数据挖掘工具通常难以胜任这些领域的数据挖掘。数据库有规范的结构,其中数据有统一的格式,而且高度结构化,而Web上的数据结构性差,多为半结构化或非结构化,由于半结构化和非结构化的信息不能清楚地用数据模型来表示,因此在Web挖掘中开发更适用Web数据(如Web多媒体数据

19、、链接数据等的数据挖掘工具便成为必然。在遥感领域,通过卫星扫描地球,每天都能获得大量的关于地表的遥感图像,要从大量的数据中判读出每一个图片所潜藏的信息,必然用到空间数据挖掘技术。在空间数据挖掘过程中,通用数据挖掘工具仍显不足,针对空间数据特征,开发专业的空间数据挖掘工具也将成为必然。其他领域亦然。3.2数据挖掘工具的分类评价一方面,数据挖掘工具在多个领域体现出越来越重要的作用;另一方面,各专业领域的数据挖掘工具日益丰富。因此,如何选择合适的数据挖掘工具必将成为用户不得不面对的问题。针对各专业领域的不同需求,将不同领域的数据挖掘工具按照统一的指标体系评价是不可行的,因为这样的评价结果并不能为用户

20、筛选出合适的工具。而数据挖掘工具的分类评价则可以解决这一问题。分类评价首先需要按照一定的标准将数据挖掘工具分类,然后再按照预先设定的评价指标体系对各类工具进行评价。分类评价的结果的针对性更强,可有效地为特定领域的用户选择特定的工具。4结束语对数据挖掘工具的研究仅有十余年的历史,作为数据挖掘领域的一个研究分支,尽管其作用不言而喻,却并未引起从事数据挖掘研究的学者的充分注意。笔者以国内数据挖掘工具的相关文献为基础,综述其发展现状,并归纳其发展方向,以期能引起更多学者对数据挖掘工具的关注。参考文献1姚毓才,王本年.数据挖掘工具的分类与挖掘J.计算机技术与发展,2006,16(8:6-92数据挖掘工具简介EB.2008-2-23.http:/forest-1980.blog.3高英明,刘克勤.基