图书馆数据挖掘方法课件

图书馆数据挖掘方法、二具与梟例分析图书馆数据挖掘方法、1大纲口数据挖掘概述口数据挖掘的过程口数据挖掘方法与工具口图书馆数据挖掘案例分析口图书馆数据挖掘实践大纲2数据挖掘的发展动力需要是发明之母口信息技术的发展使得数据的收集和存储简单,且价格低廉。导致了:数据极大丰富(datarich),知识极其匮乏(knowledgepoor),事实上,多数数据被闲置。口数据量太大,无法用传统的统计方法进行处理(包括实现算法)如同大型搜索引擎进行数据组织时使用倒排索引,而不是使用数据库一样。口解决方法:数据挖掘技术,将传统的数据分析方法与处理海量数据的复杂算法相结合。(面向实际应用,强调高性能算法的实现。而统计更多的强调其理论特性如大数定理,假设检验等)■数据挖掘:在大量的数据中挖掘感兴趣的知识(规则,规律,或模式)数据挖掘的发展动力3数据挖掘的案例:“啤酒”和“尿布”口一则广为流传的案例:啤漍和尿布的故事口美国加州某个超市连锁店发现:在下班后前来购买婴儿尿布的顾客多数是男性他们往往也同时购买啤洇。口处理:重新布置了货架,啤潤类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。口结果:上述几种商品的销量几乎马上成倍增长。数据挖掘的案例:“啤酒”和“尿布”4数据、信息、知识、理解和先知口系统学专家RussellAckoff博士认为人类大脑包涵的内容,分为五类:数据(Data):符号(Symbols)的集合,未加工、较为原始的形态信息(Information):数据经过处理后,有意义的,具有利用价值的,能够回答4W为("who","what","where",and"when")等问题知识(Knowledge):实践申产生、经过实践检验的一种客观规律。(信息经过加工和改造成为知识),能够回答“how的间题理解(Understanding):why"的正确评价先知(Wisdom):理解的进一步提升数据、信息、知识、理解和先知5数据、信息、知识和先知的关系comectecmesswisdom/understandingknowledgeprinciplesunderstandingpattenunderstandingrelationsdataUnderstanding数据、信息、知识和先知的关系6什么是数据挖掘?口从大量数据中提取或发现(挖掘)知识的过程。口从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。数据集:一组事实F,如关系数据库中的记录模式:一个用语言L表示的一个表达式E,它可以用来描述数据集F的一个子集F·E作为一个模式要求它比对数据子集F的枚举要简单(所用的描述信息量要少)。如:y=f(x)■过程:需要多阶段的处理,涉及数据准备、模式搜索、知识评价以及反复的修改求精。什么是数据挖掘?7什么是数据挖掘?口从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。非平凡(的过程):有一定的智能性、自动性(仅仅给出所有数据之和不能算做一个发现过程)。有效性:所发现的模式对新的数据仍保持一定的可信度。■新颖性:所发现的模式应该是新的。潜在有用性:所发现的模式将来有实际的效用最终可理解性:能被用户理解,如:简洁性口有趣性:有效性、新颖性、潜在有用性、最终可理解性的综合。什么是数据挖掘?8数据挖掘:多个学科的融合数据库系统统计学机器学习数据挖掘可视化算法其他学科数据挖掘:多个学科的融合9数据挖掘的步骤口观点:数据挖掘是数据库中的知识发现(KDD)的一个步骤。指挖掘的算法口粗略理解三部曲:数据准备(datapreparation)、数据挖掘(datamining)一指挖掘的算法结果的解释评估(interpretationandevaluation)数据挖掘的步骤10图书馆数据挖掘方法课件11图书馆数据挖掘方法课件12图书馆数据挖掘方法课件13图书馆数据挖掘方法课件14图书馆数据挖掘方法课件15图书馆数据挖掘方法课件16图书馆数据挖掘方法课件17图书馆数据挖掘方法课件18图书馆数据挖掘方法课件19图书馆数据挖掘方法课件20图书馆数据挖掘方法课件21图书馆数据挖掘方法课件22图书馆数据挖掘方法课件23图书馆数据挖掘方法课件24图书馆数据挖掘方法课件25图书馆数据挖掘方法课件26图书馆数据挖掘方法课件27图书馆数据挖掘方法课件28图书馆数据挖掘方法课件29图书馆数据挖掘方法课件30图书馆数据挖掘方法课件31图书馆数据挖掘方法课件32图书馆数据挖掘方法课件33图书馆数据挖掘方法课件34图书馆数据挖掘方法课件35图书馆数据挖掘方法课件36图书馆数据挖掘方法课件37图书馆数据挖掘方法课件38图书馆数据挖掘方法课件39图书馆数据挖掘方法课件40图书馆数据挖掘方法课件41图书馆数据挖掘方法课件42图书馆数据挖掘方法课件43图书馆数据挖掘方法课件44图书馆数据挖掘方法课件45图书馆数据挖掘方法课件46图书馆数据挖掘方法课件47图书馆数据挖掘方法课件48图书馆数据挖掘方法课件49图书馆数据挖掘方法课件50图书馆数据挖掘方法课件51图书馆数据挖掘方法课件52图书馆数据挖掘方法课件53图书馆数据挖掘方法课件54图书馆数据挖掘方法课件55图书馆数据挖掘方法课件56图书馆数据挖掘方法课件57图书馆数据挖掘方法课件58图书馆数据挖掘方法课件59图书馆数据挖掘方法课件60图书馆数据挖掘方法课件61图书馆数据挖掘方法课件62图书馆数据挖掘方法课件63图书馆数据挖掘方法课件64图书馆数据挖掘方法课件65图书馆数据挖掘方法课件66图书馆数据挖掘方法课件67图书馆数据挖掘方法课件68图书馆数据挖掘方法课件69图书馆数据挖掘方法课件70图书馆数据挖掘方法课件71图书馆数据挖掘方法课件72图书馆数据挖掘方法课件73图书馆数据挖掘方法课件74图书馆数据挖掘方法课件75图书馆数据挖掘方法课件76图书馆数据挖掘方法课件77图书馆数据挖掘方法课件78图书馆数据挖掘方法、二具与梟例分析图书馆数据挖掘方法、79大纲口数据挖掘概述口数据挖掘的过程口数据挖掘方法与工具口图书馆数据挖掘案例分析口图书馆数据挖掘实践大纲80数据挖掘的发展动力需要是发明之母口信息技术的发展使得数据的收集和存储简单,且价格低廉。导致了:数据极大丰富(datarich),知识极其匮乏(knowledgepoor),事实上,多数数据被闲置。口数据量太大,无法用传统的统计方法进行处理(包括实现算法)如同大型搜索引擎进行数据组织时使用倒排索引,而不是使用数据库一样。口解决方法:数据挖掘技术,将传统的数据分析方法与处理海量数据的复杂算法相结合。(面向实际应用,强调高性能算法的实现。而统计更多的强调其理论特性如大数定理,假设检验等)■数据挖掘:在大量的数据中挖掘感兴趣的知识(规则,规律,或模式)数据挖掘的发展动力81数据挖掘的案例:“啤酒”和“尿布”口一则广为流传的案例:啤漍和尿布的故事口美国加州某个超市连锁店发现:在下班后前来购买婴儿尿布的顾客多数是男性他们往往也同时购买啤洇。口处理:重新布置了货架,啤潤类商品、婴儿尿布、土豆片之类的佐酒小食品、男士们日常生活用品就近布置。口结果:上述几种商品的销量几乎马上成倍增长。数据挖掘的案例:“啤酒”和“尿布”82数据、信息、知识、理解和先知口系统学专家RussellAckoff博士认为人类大脑包涵的内容,分为五类:数据(Data):符号(Symbols)的集合,未加工、较为原始的形态信息(Information):数据经过处理后,有意义的,具有利用价值的,能够回答4W为("who","what","where",and"when")等问题知识(Knowledge):实践申产生、经过实践检验的一种客观规律。(信息经过加工和改造成为知识),能够回答“how的间题理解(Understanding):why"的正确评价先知(Wisdom):理解的进一步提升数据、信息、知识、理解和先知83数据、信息、知识和先知的关系comectecmesswisdom/understandingknowledgeprinciplesunderstandingpattenunderstandingrelationsdataUnderstanding数据、信息、知识和先知的关系84什么是数据挖掘?口从大量数据中提取或发现(挖掘)知识的过程。口从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。数据集:一组事实F,如关系数据库中的记录模式:一个用语言L表示的一个表达式E,它可以用来描述数据集F的一个子集F·E作为一个模式要求它比对数据子集F的枚举要简单(所用的描述信息量要少)。如:y=f(x)■过程:需要多阶段的处理,涉及数据准备、模式搜索、知识评价以及反复的修改求精。什么是数据挖掘?85什么是数据挖掘?口从数据集中识别出有效的、新颖的、潜在有用的,以及最终可理解的模式的非平凡过程。非平凡(的过程):有一定的智能性、自动性(仅仅给出所有数据之和不能算做一个发现过程)。有效性:所发现的模式对新的数据仍保持一定的可信度。■新颖性:所发现的模式应该是新的。潜在有用性:所发现的模式将来有实际的效用最终可理解性:能被用户理解,如:简洁性口有趣性:有效性、新颖性、潜在有用性、最终可理解性的综合。什么是数据挖掘?86数据挖掘:多个学科的融合数据库系统统计学机器学习数据挖掘可视化算法其他学科数据挖掘:多个学科的融合87数据挖掘的步骤口观点:数据挖掘是数据库中的知识发现(KDD)的一个步骤。指挖掘的算法口粗略理解三部曲:数据准备(datapreparation)、数据挖掘(datamining)一指挖掘的算法结果的解释评估(interpretationandevaluation)数据挖掘的步骤88图书馆数据挖掘方法课件89图书馆数据挖掘方法课件90图书馆数据挖掘方法课件91图书馆数据挖掘方法课件92图书馆数据挖掘方法课件93图书馆数据挖掘方法课件94图书馆数据挖掘方法课件95图书馆数据挖掘方法课件96图书馆数据挖掘方法课件97图书馆数据挖掘方法课件98图书馆数据挖掘方法课件99图书馆数据挖掘方法课件100图书馆数据挖掘方法课件101图书馆数据挖掘方法课件102图书馆数据挖掘方法课件103图书馆数据挖掘方法课件104图书馆数据挖掘方法课件105图书馆数据挖掘方法课件106图书馆数据挖掘方法课件107图书馆数据挖掘方法课件108图书馆数据挖掘方法课件109图书馆数据挖掘方法课件110图书馆数据挖掘方法课件111图书馆数据挖掘方法课件112图书馆数据挖掘方法课件113图书馆数据挖掘方法课件114图书馆数据挖掘方法课件115图书馆数据挖掘方法课件116图书馆数据挖掘方法课件117图书馆数据挖掘方法课件118图书馆数据挖掘方法课件119图书馆数据挖掘方法课件120图书馆数据挖掘方法课件121图书馆数据挖掘方法课件122图书馆数据挖掘方法课件123图书馆数据挖掘方法课件124图书馆数据挖掘方法课件125图书馆数据挖掘方法课件126图书馆数据挖掘方法课件127图书馆数据挖掘方法课件128图书馆数据挖掘方法课件129图书馆数据挖掘方法课件130图书馆数据挖掘方法课件131图书馆数据挖掘方法课件132图书馆数据挖掘方法课件133图书馆数据挖掘方法课件134图书馆数据挖掘方法课件135图书馆数据挖掘方法课件136图书馆数据挖掘方法课件137图书馆数据挖掘方法课件138图书馆数据挖掘方法课件