《数据挖掘、机器学习和Weka》

数据挖掘—实用机器学习技术及Java实现原书英文版《DataMining—PracticalMachineLearningToolsandTechniqueswithJavaImplementations》，新西兰IanH.Witten、EibeFrank著WekaAnopensourceframeworkfortextanalysisimplementedinJavathatisbeingdevelopedattheUniversityofWaikatoinNewZealand.://cs.waikato.ac.nz/ml/weka/://mkp/datamining/概念：KDD、ML、OLAP与DMKDD〔KnowledgeDiscoveryinDatabase〕是一种知识发现的一连串过程。ML〔MachineLearning〕＝KD，不限于Database的数据过程：挖掘－数据模式－表示－验证－预测OLAP〔OnlineAnalyticalProcess〕是数据库在线分析过程。数据挖掘〔dataMining〕只是KDD/ML的一个重要组成局部。DM用在产生假设，而OLAP那么用于查证假设概念：DM与DBDataPreparation要占Datamining过程70％工作量「Database」＋「Datamining」＝会说话的数据库概念：DataMining概念：数据挖掘是从大量的数据中，抽取出潜在的、有价值的知识〔模型或规那么〕的过程KeyCharacteristicsofDataMining：LargeamountofdataDiscoveringpreviouslyunknown,hiddeninformationExtractingvaluableinformationMakingimportantbusinessdecisionusingtheinformationDM/ML的一些要点Thedataisstoredelectronicallyandthesearchisautomatedbycomputer;Aboutsolvingproblemsbyanalyzingdataalreadypresentindatabases;Definedastheprocessofdiscoveringpatternsindata;Thisbookisabout——Techniquesforfindinganddescribingstructuralpatternsindata.structuralpatterns表示法：表、树、规那么概念：MachineLearningTolearn:togetknowledgeofstudy,experience,orbeingtaught;tobecomeawarebyinformationorfromobservation;tocommittomemory;tobeinformedof,ascertain(确定);toreceiveinstructionShortcomingswhenitcomestotalkingaboutcomputesIt’svirtuallyimpossibletotestiflearningasbeanachievedornot.Thistieslearningtoperformanceratherthanknowledge简单例子：天气问题*天气数据：weather.nominal.arff运行Weka，载入数据，选择算法id3预测〔决策树〕outlook=rainy|windy=TRUE:no|windy=FALSE:yes测试方法：采用10Cross-validation的测试结果：ConfusionMatrix(P.138)和准确率ab<--classifiedas81|a=yes14|b=noCorrectlyClassifiedInstances1285.7143%IncorrectlyClassifiedInstances214.2857%其他算法：NeuralNetwork数据挖掘的过程步骤：见『回忆：DM的步骤』输入：Concepts,Instances,AttributesConcept四种根本的学习类型Classification,association,clustering,numericprediction不考虑类型，我们把要学习的称为Concept，而把学习的输出成为conceptdescriptionInstance：数据样本记录Attribute：数据字段Nominal：outlook:sunny=>noOrdinal：距离无法度量，如hot>mild>coolInterval：距离可度量，如整数Ratio：如58.1%输入：Preparingtheinput*GatheringthedatatogetherThedatamustbeassembled,integrated,andcleanedup〔DataWarehousing〕Selectingtherighttypeandlevelofaggregationisusuallycriticalforsuccess属性类型：ARFF文件格式〔备注：weather.nominal.arff〕支持两种根本类型：nominalandnumeric，尽可能用前者属性值Missingvalue：去掉该样本、替代、〔用?来表示字段值〕Inaccuratevalue：一粒老鼠屎——需要领域知识！Gettingtoknowyourdata!数据清理一个耗时、费力，却很重要的过程，Garbagein,garbageout!输出：KnowledgerepresentationDecisiontablesDecisiontreesClassificationrulesIfaandbthenxAssociationrules：多个结果If…thenoutlook=sunnyandhumidity=highRuleswithexceptions(P.66)If…then…except…else…except…TreesfornumericpredictionInstance-basedrepresentationClusters算法：ThebasicmethodsSimplicity-first：simpleideasoftenworkverywellVerysimpleclassificationrulesperformwellonmostcommonlyuseddatasets(Holte1993)Inferringrudimentaryrules〔算法：1R、1-Rule〕Statisticalmodeling〔算法：NaïveBayes〕使用所有属性，假设属性无关、且同等重要Divideandconquer:Constructingdecisiontrees循环选择一个属性来分割样本(算法：ID3、C4.5)Coveringalgorithms：Constructingrules〔算法：Prism〕Takeeachclassinturnandseekawayofcoveringallinstancesinit,atthesametimeexcludinginstancesnotintheclass.Coveringapproach导出一个规那么集而不是决策树算法：ThebasicmethodsMiningassociationrules：参数：coverage(support)，accuracy(confidence)Linearmodels〔参考cpu.arff例子〕主要用于值预估和分类〔Linearregression〕Instance-basedlearning算法：Nearest-neighbor,K-Nearest-neighbor评估可信度*三个数据集：Trainingdata：用于导出模型，越大那么模型越好Validationdata：用于优化模型参数Testdata：用于计算最终模型的错误率，越大越准确原那么：测试数据无论如何也不能用于模型的训练问题：如果样本很少，如何划分?方法：N-foldCross-validation，(n=3,10)Leave-one-outCross-validationBootstrap(e=0.632):bestforverysmalldatasetsCountingthecost：Liftcharts(Respondents/SampleSize)、ROCcurves(P.141)TheMDLprinciple(MinimumDescriptionLength)Occam’sRazor：Otherthingsbeingequal,simpletheoriesarepreferabletocomplexones.爱因斯坦：Everythingshouldbemadeassimpleaspossible,butnosimpler.实现：Realmachinelearningschemes(略)参考阅读：Ch6.1DecisiontreeCh6.2ClassificationrulesCh6.3Extendinglinearclassification:SupportvectormachinesCh6.4Instance-basedlearningCh6.5NumericpredictionCh6.6Clustering改进：Engineeringtheinputandoutput数据工程AttributeselectionDiscretizing〔离散化〕numericattributesAutomaticdatacleaningCombiningmultiplemodelsBaggingBoostingStackingError-correctingoutputcodes未来：Lookingforward大数据集可视化：输入、输出IncorporatingdomainknowledgeMetadataofteninvolvesrelationsamongattributes文本挖掘挖掘Web回忆：目录DM综合的技术领域DM的功能分类DM的具体应用DM的步骤DM的理论技术和算法DM的常用分析工具回忆：DM综合的技术领域Databasesystems,DataWarehouses,OLAPMachinelearningStatisticalanddataanalysismethodsVisualizationMathematicalprogrammingHighperformancecomputing回忆：DM的功能分类分类方法一分类(classification)估计(estimation)预测(prediction)关联分组(affinitygrouping)聚类(clustering〕分类方法二ClassificationRegressionTime-SeriesForecastingClusteringAssociationSequenceDiscovery回忆：DM的具体应用市场--购物蓝分析客户关系管理寻找潜在客户提高客户终生价值保持客户忠诚度行销活动规划预测金融市场方向保险欺诈侦察客户信用风险评级盗打NBA球员强弱分析信用卡可能呆帐预警星际星体分类回忆：DM的步骤*一种步骤划分方式理解资料与进行的工作获取相关知识与技术〔Acquisition〕整合与查核资料〔Integrationandchecking〕去除错误、不一致的资料〔Datacleaning〕模式与假设的演化〔Modelandhypothesisdevelopment〕实际数据挖掘工作测试与核查所分析的资料〔Testingandverification〕解释与运用〔Interpretationanduse〕另一种步骤划分方式〔见本页的备注！〕不管那种方式，前期数据处理占很大比率回忆：DM的理论技术和算法统计分析方法〔StatisticalMethods)决策树〔DecisionTree〕人工神经网络〔NeuralNetwork〕规那么归纳法〔RulesInduction〕遗传算法〔Geneticalgorithms〕常用的分析DM工具回忆：DM的常用分析工具Case-basedReasoningDataVisualizationFuzzyQueryandAnalysisKnowledgeDiscoveryNeuralNetworks典型案例：英国Safeway公司简介英国Safeway的年销售量超过一百亿美金，员工接近七万名，是英国第三大的连锁超级市场，提供的效劳种类那么达三十四种。问题在英国市场运用传统的技术，如更低的价位、更多的店面、以及更多种类的产品，竞争已经越来越困难了问题确认：必须以客户为导向，而非以产品与店家为导向。必须了解六百万客户所做的每一笔交易，以及这些交易彼此之间的关连性。英国Safeway想要知道哪些种类的客户买了哪些种类的产品以及购置的频率，以建立「个人导向的市场」典型案例：英国Safeway数据来源公司开始发信用卡给客户，客户用这种信用卡结帐可以享受各种优惠，这种信用卡就成为该公司在500家店面搜集六百万客户资料的「网」使用工具：使用IBMIntelligentMiner从数据库中取得商业知识。根据客户的相关资料，将客户分为150类。然后再用Association的技术来比较这些资料集合，然