现代数据挖掘技术与发展ppt课件

1、本章学习目的：本章学习目的：(1) 经过知识发掘系统的体系构造的学习掌握知识发现的定义和知识发现系经过知识发掘系统的体系构造的学习掌握知识发现的定义和知识发现系统的构造统的构造 。(2) 经过现代发掘技术及运用的学习掌握规那么型、神经网络型、遗传算法经过现代发掘技术及运用的学习掌握规那么型、神经网络型、遗传算法型、粗糙集型和决策树型现代发掘技术。型、粗糙集型和决策树型现代发掘技术。(3) 经过知识发现工具与运用的学习掌握知识发掘工具的系统构造、运用中经过知识发现工具与运用的学习掌握知识发掘工具的系统构造、运用中的问题和知识发掘的价值。的问题和知识发掘的价值。(4) 经过数据发掘技术的开展的学习

2、了解文本发掘、经过数据发掘技术的开展的学习了解文本发掘、Web发掘、可视化数据发发掘、可视化数据发掘、空间数据发掘和分布式数据发掘。掘、空间数据发掘和分布式数据发掘。 6.1知识发掘系统的体系构造 6.2现代发掘技术及运用 6.3知识发现工具与运用 6.4数据发掘技术的开展 练 习 数据仓库知识库数 据库 接口数据选择知识发现引擎知识发现评价知识发现描画知识发现管理器商业分析员图6.1 知识发现系统构造1.知识发现系统管理器 控制并管理整个知识发现过程 2.知识库和商业分析员 知识库包含了源于各方面的知识。商业分析员要按一种有效的方式指点关注信息的发现。3.数据仓库的数据库接口 知识发现系统的

3、数据库接口可以直接与数据仓库通讯。 4.数据选择 确定从数据仓库中需求抽取的数据及数据构造 5.知识发现引擎 将知识库中的抽取算法提供应数据选择构件抽取的数据 6.发现评价 有助于商业分析员挑选方式，选出那些关注性的信息 7.发现描画 发现、评价并辅助商业分析员在知识库中保管关注性发现结果以备未来援用,并坚持知识发现与管理人员的通讯。 频繁方式是频繁的出如今数据集中的方式频繁方式是频繁的出如今数据集中的方式 如项集、子序或者子构造如项集、子序或者子构造 动机：发现数据中蕴含的内在规律动机：发现数据中蕴含的内在规律 那些产品经常被一同购买？那些产品经常被一同购买？-啤酒和尿布？啤酒和尿布？ 买了

4、买了PC之后接着都会买些什么？之后接着都会买些什么？ 哪种哪种DNA对这种新药敏感对这种新药敏感 我们可以自动的分类我们可以自动的分类WEB文档吗？文档吗？ 运用运用 购物篮分析、购物篮分析、WEB日志点击流分析、捆绑销日志点击流分析、捆绑销售、售、DNA序列分析等序列分析等 提示数据集的内在的、重要的特性提示数据集的内在的、重要的特性 作为很多重要数据发掘义务的根底作为很多重要数据发掘义务的根底 关联、相关和因果分析关联、相关和因果分析 序列、构造序列、构造e.g.子图方式分析子图方式分析 时空、多媒体、时序和流数据中的方式分析时空、多媒体、时序和流数据中的方式分析 分类：关联分类分类：关联

5、分类 聚类分析：基于频繁方式的聚类聚类分析：基于频繁方式的聚类 数据仓库：冰山方体计算数据仓库：冰山方体计算 假设问题的全域是商店中一切商品的集合，那么对每种商品都可以用一个布尔量来表示该商品能否被顾客购买，那么每个购物篮都可以用一个布尔向量表示；而经过分析布尔向量那么可以得到商品被频繁关联或被同时购买的方式，这些方式就可以用关联规那么表示e.g. 0001001100 关联规那么的两个兴趣度度量 支持度 置信度 通常，假设关联规那么同时满足最小支持度阈值和最小置信度阈值，那么此关联规那么是有趣的%60%,2sup_confidenceportsoftwareantiviruscomputer

6、 给定：给定： 项的集合：项的集合：I=i1,i2,.,in 义务相关数据义务相关数据D是数据库事务的集合，每个事务是数据库事务的集合，每个事务T那么是项的集合，使得那么是项的集合，使得 每个事务由事务标识符每个事务由事务标识符TID标识；标识； A,B为两个项集，事务为两个项集，事务T包含包含A当且仅当当且仅当 那么关联规那么是如下蕴涵式：那么关联规那么是如下蕴涵式： 其中其中 并且并且 ，规那么，规那么 在在事务集事务集D中成立，并且具有支持度中成立，并且具有支持度s和置信度和置信度cIT TA , csBA IBIA , BABA 项的集合 I=A,B,C,D,E,F 每个事务T由事务标

7、识符TID标识，它是项的集合 TID(2000)=A,B,C 义务相关数据D是数据库事务的集合支持度支持度s是指事务集是指事务集D中包含中包含 的百分比的百分比置信度置信度c是指是指D中包含中包含A的事务同时也包含的事务同时也包含B的百分比的百分比假设最小支持度阈值假设最小支持度阈值为为50%，最小置信度，最小置信度阈值为阈值为50%，那么有，那么有如下关联规那么如下关联规那么A C (50%, 66.6%)C A (50%, 100%)同时满足最小支持度同时满足最小支持度阈值和最小置信度阈阈值和最小置信度阈值的规那么称作强规值的规那么称作强规那么那么Customerbuys diaperCu

8、stomerbuys bothCustomerbuys beerBA)( )(supBAPBAport)(/ )()|( )( APBAPABPBAconfidence布尔关联规那么、单维规那么 buys(x,“computer)=buys(x,“finacial_management_software)量化关联规那么、多维关联 a g e ( “ 3 0 . . 4 0 ) i n c o m e ( “ 4 2 0 0 0 . . 5 0 0 0 0 )=buys(x,“high_resolution_TV)多层关联规那么 单层关联规那么 age(x,“30.40)=buys(x,“IBM

9、 computer) (6.3)age(x,“30.40)=buys(x,“computer) (6.4)关联规那么6.2可以用下面的SQL查询语句完成。 Select C, P.item_name from Purchases，P group by Cust.ID having (Cust.age=30.and.Cust.age=42000 and Cust.income 40否是普通良好2.决策树的运用编号编号年龄年龄学生学生信誉等级信誉等级类别标号类别标号1=30是是良好良好会购买会购买240否否一般一般会购买会购买440否否良好良好不会购买不会购买540否否一般一般会购

10、买会购买63140是是一般一般会购买会购买740是是一般一般会购买会购买940否否良好良好不会购买不会购买11=30否否一般一般不会购买不会购买123140是是一般一般会购买会购买133140否否一般一般会购买会购买143140是是良好良好会购买会购买“年龄在各个属性中具有最大的信息增益，所以选择年龄在各个属性中具有最大的信息增益，所以选择“年龄属性作为第一个测试属性，创建一个节点，用年龄属性作为第一个测试属性，创建一个节点，用“年龄标志。年龄标志。计算剩余各个属性的相应的信息增益，选择信息增益最大计算剩余各个属性的相应的信息增益，选择信息增益最大的属性作为测试属性，这时信息增益最大的是的属性

11、作为测试属性，这时信息增益最大的是“学生属学生属性，创建一个节点，用性，创建一个节点，用“学生标志学生标志 。6.3.1 知识发掘工具的系统构造知识发掘工具的系统构造1.无耦合无耦合no couplingDM系统不利用系统不利用DB或或DW系统的任何功能系统的任何功能 2.松散耦合松散耦合loose couplingDM系统将运用系统将运用DB/DW的某些工具的某些工具 3.半严密耦合半严密耦合semitight couplingDM系统衔接到一个系统衔接到一个DB/DW系统，一些根本数据系统，一些根本数据发掘原语可以在发掘原语可以在DB/DW系统中实现。系统中实现。 4.严密耦合严密耦合ti

12、ght couplingDM系统被平滑地集成到系统被平滑地集成到DB/DW系统中系统中 6.3.2 知识发掘工具运用中的问题知识发掘工具运用中的问题1.数据发掘技术运用中的共性问题数据发掘技术运用中的共性问题(1)数据质量数据质量(2)数据可视化数据可视化(3)极大数据库极大数据库(vLDB)的问题的问题(4)性能和本钱性能和本钱(5)商业分折员的技艺商业分折员的技艺(6)处置噪声和不完全数据处置噪声和不完全数据(7)方式评价方式评价兴趣度问题兴趣度问题6.3.2 知识发掘工具运用中的问题知识发掘工具运用中的问题2.数据发掘技术运用中的个性问题数据发掘技术运用中的个性问题(1)规那么归纳运用中

13、的问题规那么归纳运用中的问题主要用于显式描画数据抽取的规那么主要用于显式描画数据抽取的规那么 、找到一切、找到一切的规那么，任务量是宏大的的规那么，任务量是宏大的 (2)神经网络运用中的问题神经网络运用中的问题受训练过度的影响受训练过度的影响 、神经网络的训练速度问题、神经网络的训练速度问题 (3)遗传算法运用中的问题遗传算法运用中的问题6.3.3 知识发掘的价值知识发掘的价值1.了解商业活动了解商业活动2.发现商业异常发现商业异常3.预测模型预测模型6.3.4 现代数据发掘工具简介现代数据发掘工具简介1.DBMiner的体系构造的体系构造2.DBMiner的数据发掘类型的数据发掘类型6.4.

14、1 文本发掘文本发掘1.文本分析和语义网络文本分析和语义网络文本分析文本分析为一个大型文本集合提供内容概略为一个大型文本集合提供内容概略例如，可以发现一个客户反响集合中文档的显著例如，可以发现一个客户反响集合中文档的显著簇，这样能够会发现公司的产品或效力在哪里需簇，这样能够会发现公司的产品或效力在哪里需求改良。求改良。指出对象间的隐藏构造指出对象间的隐藏构造在组织一个企业内部网站时，文本分析可以找出在组织一个企业内部网站时，文本分析可以找出对象间的隐藏构造，这样有关联的文档就能被超对象间的隐藏构造，这样有关联的文档就能被超链接衔接起来。链接衔接起来。提高发现类似或相关信息搜索过程的效率和有提高

15、发现类似或相关信息搜索过程的效率和有效性效性例如，可以从一个新闻效力机构搜索文章和发现例如，可以从一个新闻效力机构搜索文章和发现独有的文档，这些文档含有到如今为止在别的文独有的文档，这些文档含有到如今为止在别的文章中没有提到过的新趋势或技术的线索。章中没有提到过的新趋势或技术的线索。侦查存档中的反复文档侦查存档中的反复文档文本分析可以用于大量文本需求分析的地方。虽文本分析可以用于大量文本需求分析的地方。虽然自动处置不能到达人类阅读分析的深度，但它然自动处置不能到达人类阅读分析的深度，但它可以被用来抽取关键点、产生总结、分类文档等。可以被用来抽取关键点、产生总结、分类文档等。语义网络语义网络一个

16、有效文本分析的第一步是创建该文本的一个一个有效文本分析的第一步是创建该文本的一个语义网络。一个语义网络是一系列来自分析的文语义网络。一个语义网络是一系列来自分析的文本的最重要概念词与词的组合以及文本中这本的最重要概念词与词的组合以及文本中这些概念间的语义联络。一个语义网络为分析的文些概念间的语义联络。一个语义网络为分析的文本提供了一个简明和非常准确的总结。与人工神本提供了一个简明和非常准确的总结。与人工神经网络一样，语义网络的每个元素经网络一样，语义网络的每个元素概念都被概念都被它的权重和一组与此网络其他元素的联络所标它的权重和一组与此网络其他元素的联络所标识识一个上下文结点。一旦为调查研讨的

17、文本一个上下文结点。一旦为调查研讨的文本构造的一组准确的语义网络建立起来，一切文本构造的一组准确的语义网络建立起来，一切文本分析义务就可以执行。分析义务就可以执行。在现有的大部分算法中，一个语义网络是在一些在现有的大部分算法中，一个语义网络是在一些已定义的规那么和概念的根底上建立起来的。不已定义的规那么和概念的根底上建立起来的。不过，也存在一些比较强大的算法，这些算法不需过，也存在一些比较强大的算法，这些算法不需求任何关于主题的预先背景知识，可以仅仅在一求任何关于主题的预先背景知识，可以仅仅在一个调查研讨文本的根底上完全自动建立起一个语个调查研讨文本的根底上完全自动建立起一个语义网络。义网络。

18、2.文本发掘文本发掘文本总结文本总结从文档中抽取关键信息，用简约的方式对文档内从文档中抽取关键信息，用简约的方式对文档内容进展摘要或解释。用户不需求阅读全文就可以容进展摘要或解释。用户不需求阅读全文就可以了解文档或文档集合的总体内容。了解文档或文档集合的总体内容。基于关键字的关联分析基于关键字的关联分析首先搜集经常一同出现的关键字或词汇，然后找首先搜集经常一同出现的关键字或词汇，然后找出其关联或相互关系。在这类分析中，每一个文出其关联或相互关系。在这类分析中，每一个文档被视为一个事务，文档中的关键字组可视为事档被视为一个事务，文档中的关键字组可视为事务中的一组事务项。这样，这种基于关键字的关务

19、中的一组事务项。这样，这种基于关键字的关联分析就变成事务数据库中事务项的关联发掘问联分析就变成事务数据库中事务项的关联发掘问题。题。 一组经常延续出现或严密相关的关键字可构成一一组经常延续出现或严密相关的关键字可构成一个词或词组。关联分析有助于找出复合关联，即个词或词组。关联分析有助于找出复合关联，即领域相关的词或词组，如领域相关的词或词组，如中国，长江，三峡中国，长江，三峡。还。还有助于找出非复合关联，即领域不相关的词或词有助于找出非复合关联，即领域不相关的词或词组，如组，如人民币，买卖，总额，证券，佣金，参股人民币，买卖，总额，证券，佣金，参股。基于这些词或词组关联的发掘被称为基于这些词或

20、词组关联的发掘被称为“词级关联词级关联发掘。利用这种词和词组的识别，词级发掘可发掘。利用这种词和词组的识别，词级发掘可以用于找出词或关键字之间的关联。以用于找出词或关键字之间的关联。2.文本发掘文本发掘文档分类分析文档分类分析在已有的数据根底上学会一个分类函数或构造出在已有的数据根底上学会一个分类函数或构造出一个分类模型。对文档进展分类。文档的分类分一个分类模型。对文档进展分类。文档的分类分析，普通是先把一组预先分类过的文档作为训练析，普通是先把一组预先分类过的文档作为训练集，然后对训练集加以分析以便得出分类方式。集，然后对训练集加以分析以便得出分类方式。这种分类方式普通要经过一定的测试过程，

21、不断这种分类方式普通要经过一定的测试过程，不断细化。最后用分类方式对其他文档加以分类。细化。最后用分类方式对其他文档加以分类。常用的一种对文档分类的有效方法是基于关联的常用的一种对文档分类的有效方法是基于关联的分类。这种分类方法是基于一组相关联的、经常分类。这种分类方法是基于一组相关联的、经常出现的文本方式对文档加以分类。其处置过程为：出现的文本方式对文档加以分类。其处置过程为：首先，经过简单的信息检索技术或关联分析技术首先，经过简单的信息检索技术或关联分析技术提出关键字或词汇。然后，运用已有的词类，或提出关键字或词汇。然后，运用已有的词类，或基于专家知识，或用关键字分类系统，生成关键基于专家

22、知识，或用关键字分类系统，生成关键字和词的概念层次。最后，运用词级关联发掘方字和词的概念层次。最后，运用词级关联发掘方法发现一组关联词。这样，每一类文档相关有一法发现一组关联词。这样，每一类文档相关有一组关联规那么表示。这些分类规那么可以基于其组关联规那么表示。这些分类规那么可以基于其出现频率和识别才干，加以排序，并用于对新的出现频率和识别才干，加以排序，并用于对新的文档进展分类。文档进展分类。文档聚类分析文档聚类分析文档聚类是把文档集分成不同组的自动过程。没文档聚类是把文档集分成不同组的自动过程。没有预先定义好主题类别，它的目的是将文档集合有预先定义好主题类别，它的目的是将文档集合分成假设干

23、个组，要求同一组内文档内容的类似分成假设干个组，要求同一组内文档内容的类似度尽能够大，而不同组间的类似度尽能够小。当度尽能够大，而不同组间的类似度尽能够小。当文档的内容作为聚类的根底时，不同组是对应于文档的内容作为聚类的根底时，不同组是对应于集合中讨论的不同主题或论题。因此，聚类是找集合中讨论的不同主题或论题。因此，聚类是找出集合所含内容的一条途径。为协助识别出一组出集合所含内容的一条途径。为协助识别出一组主题，聚类工具可以识别出在此组文档中频繁出主题，聚类工具可以识别出在此组文档中频繁出现的术语或词的列表。聚类也能根据文档的属性现的术语或词的列表。聚类也能根据文档的属性集实施，例如它们的长度

24、、日期等进展聚类。集实施，例如它们的长度、日期等进展聚类。文本发掘的运用文本发掘的运用利用文本发掘构造的电子邮件路由，可以对电子利用文本发掘构造的电子邮件路由，可以对电子邮件进展文本发掘以后，确定由哪一个部门、哪邮件进展文本发掘以后，确定由哪一个部门、哪一个人来处置这些电子邮件，并可以根据电子邮一个人来处置这些电子邮件，并可以根据电子邮件的内容进展相关统计。件的内容进展相关统计。文本发掘可以协助组织对成千上万的文档实现有文本发掘可以协助组织对成千上万的文档实现有效的管理，可以使组织很快地了解到所需求查找效的管理，可以使组织很快地了解到所需求查找的文档所在位置，以及其包含的主要内容。的文档所在位

25、置，以及其包含的主要内容。可以利用文本发掘建立一个客户自动问答系统，可以利用文本发掘建立一个客户自动问答系统，对客户所邮寄的信件、电子邮件进展文本发掘以对客户所邮寄的信件、电子邮件进展文本发掘以后，根据其反映的主要问题，可以确定客户的需后，根据其反映的主要问题，可以确定客户的需求置信度后，就可以自动给客户发送适宜的回信。求置信度后，就可以自动给客户发送适宜的回信。企业并且还可以利用联机文本发掘系统对因特网企业并且还可以利用联机文本发掘系统对因特网上所出现的特定词、概念、主题进展发掘统计，上所出现的特定词、概念、主题进展发掘统计，对市场进展客观的统计分析。对市场进展客观的统计分析。企业甚至可以利

26、用一些具有文本发掘功能的自动企业甚至可以利用一些具有文本发掘功能的自动智能网络爬虫来搜集与企业有关的市场、竞争对智能网络爬虫来搜集与企业有关的市场、竞争对手和市场环境的信息，给出总结性的分析报告。手和市场环境的信息，给出总结性的分析报告。6.4.2 Web发掘技术发掘技术Web的特点的特点Web的庞大性、的庞大性、Web的动态性、的动态性、Web的异构性、的异构性、非构造化的数据构造、用户群体多种多样非构造化的数据构造、用户群体多种多样2. Web内容发掘内容发掘基于文本信息的发掘基于文本信息的发掘和通常的平面文本发掘比较类似。和通常的平面文本发掘比较类似。Web文档多为文档多为HTML、XM

27、L等言语，因此可以利用等言语，因此可以利用Web文档文档中的标志，如中的标志，如、等额外信息，等额外信息，利用这些信息来提高利用这些信息来提高Web文本发掘的性能。文本发掘的性能。在对在对Web文档进展分类分析中，可以基于一组预文档进展分类分析中，可以基于一组预先分类好的文档，从预定义好分类目录中为每先分类好的文档，从预定义好分类目录中为每一文档赋予一个类标签。例如，一文档赋予一个类标签。例如，Yahoo!的文档的文档和其相关文档可以作为训练集，用于导出和其相关文档可以作为训练集，用于导出Web文档的分类方式，这一方式可以用于对新的文档的分类方式，这一方式可以用于对新的Web文档加以分类。由于

28、超链接包含了有关页文档加以分类。由于超链接包含了有关页面内容的高质量信息，因此，可以利用这些信面内容的高质量信息，因此，可以利用这些信息对息对Web文档进展分类。这种分类比基于关键文档进展分类。这种分类比基于关键字的分类方法要更准确、更完美。字的分类方法要更准确、更完美。基于多媒体信息的发掘基于多媒体信息的发掘基于音频的发掘、基于图片的静态图像的发掘和基于音频的发掘、基于图片的静态图像的发掘和基于视频的动态图像发掘。基于视频的动态图像发掘。3.Web构造发掘构造发掘从从WWW的组织构造和链接关系中推导知识的组织构造和链接关系中推导知识 有助于用户找到相关主题的权威站点，并且可以有助于用户找到相

29、关主题的权威站点，并且可以指向众多权威站点的相关主题站点。指向众多权威站点的相关主题站点。 从一个页面指向另一个页面的超链接。超链接包从一个页面指向另一个页面的超链接。超链接包含了大量人类潜在的语义，它有助于自动分析含了大量人类潜在的语义，它有助于自动分析出权威性语义。当一个出权威性语义。当一个Web页面的作者建立起页面的作者建立起指向另一页面的指针时，这就可以看作是作者指向另一页面的指针时，这就可以看作是作者对另一页面的注解，也就是对另一页面的认可。对另一页面的注解，也就是对另一页面的认可。把一个页面的来自与不同作者的注解搜集起来，把一个页面的来自与不同作者的注解搜集起来，就可以用来反映页面

30、的重要性。就可以用来反映页面的重要性。 Hub页面是指一个或多个页面是指一个或多个Web页面，它提供了指页面，它提供了指向权威页面的链接集合。对于一个向权威页面的链接集合。对于一个Hub页面来页面来说，它本身能够并不突出，但是，它却提供了说，它本身能够并不突出，但是，它却提供了指向某个话题的权威页面的链接。好的指向某个话题的权威页面的链接。好的Hub是是指向许多好的权威页面；好的权威页面是指有指向许多好的权威页面；好的权威页面是指有好的好的Hub页面指向的页面。用页面指向的页面。用Hub页面和权威页面和权威页面之间的这种相互作用来用于权威页面的发页面之间的这种相互作用来用于权威页面的发掘和高质

31、量掘和高质量Web构造和资源的自动发现。构造和资源的自动发现。4. Web运用记录的发掘运用记录的发掘经过发掘经过发掘Web日志文件和相关数据，发现用户访问日志文件和相关数据，发现用户访问Web页面的方式。页面的方式。 Internet的用户一旦衔接到一个在线的效力器上，就的用户一旦衔接到一个在线的效力器上，就在效力器上的日志文件留下了所恳求的在效力器上的日志文件留下了所恳求的URL，发出恳，发出恳求的求的IP地址和时间戳。这些日志纪录提供了地址和时间戳。这些日志纪录提供了Web数据数据发掘源，可提取有关用户的知识：用户的访问行为、发掘源，可提取有关用户的知识：用户的访问行为、频度、内容，得到

32、关于用户的行为和方式方式。改良频度、内容，得到关于用户的行为和方式方式。改良站点的构造，或为用户提供个性化效力。这方面的研站点的构造，或为用户提供个性化效力。这方面的研讨主要有两个方向：普通的访问方式追踪和个性化的讨主要有两个方向：普通的访问方式追踪和个性化的运用纪录追踪。普通的访问方式追踪经过分析运用纪运用纪录追踪。普通的访问方式追踪经过分析运用纪录来了解用户的访问方式和倾向，从而改良站点的组录来了解用户的访问方式和倾向，从而改良站点的组织构造。而个性化的运用纪录追踪那么倾向于分析单织构造。而个性化的运用纪录追踪那么倾向于分析单个用户的偏好，其目的是根据不同用户的访问方式，个用户的偏好，其目的是根据不同用户的访问方式，为每个用户提供个性化的页面，开展有针对性的效力为每个用户提供个性化的页面，开展有针对性的效力以满足用户的需求。以满足用户的需求。数据预处置阶段数据预处置阶段包括数据清洗和事务识别两个部分包括数据清洗和事务识别两个部分 方式识别阶段方式识别阶段采用统计法、机器学习等技术，从采用统计法、机器学习等技术，从Web运用记录运用记录中发掘