数据挖掘算法介绍

数据挖掘算法介绍第1页，课件共30页，创作于2023年2月数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。

KDDDM第2页，课件共30页，创作于2023年2月KDDKDD:knowledgediscoveryindatabase数据建模验证应用第3页，课件共30页，创作于2023年2月DMDM:dataming——KDD的一个阶段KDD与DM等同第4页，课件共30页，创作于2023年2月DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/TeamKitchen/DWH第5页，课件共30页，创作于2023年2月数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization第6页，课件共30页，创作于2023年2月数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具有未知、有效、可实用三个特征能自动的发现隐藏在数据中的规律可以发现比OLAP更复杂而细致的信息未知——归纳——结论联系：OLAP——DMOLAM第7页，课件共30页，创作于2023年2月数据挖掘与统计学数据挖掘：数据挖掘利用了统计、人工智能、数据库等技术，把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题；不仅仅是统计分析；统计分析：统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意的，但对使用者的要求很高

联系统计分析方法学的延伸和扩展

很多的挖掘算法来源于统计学第8页，课件共30页，创作于2023年2月前景预言：著名的咨询公司GartnerGroup在（2000年）一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位国外现状：成熟、产品：SAS、CLEMENTINE、UNICA、各大数据库国内现状：起步产品：大部分是实验室产品第9页，课件共30页，创作于2023年2月数据挖掘分类挖掘对象基于数据库的挖掘基于web的挖掘基于文本的挖掘其他：音频、视频等多媒体数据库第10页，课件共30页，创作于2023年2月数据挖掘分类应用响应模型交叉销售价值评估客户分群第11页，课件共30页，创作于2023年2月数据挖掘分类挖掘模式预测型(Predictive)描述型(Descriptive)实际作用可分为以下几种模式：分类：对没有分类的数据进行分类；预测：用历史来预测未来；关联分析：关联规则；聚类：物以类聚；序列模式：在多个数据序列中发现共同的行为模式;描述和可视化：数据挖掘的结果的表示形式;偏差分析：从数据分析中发现异常情况。第12页，课件共30页，创作于2023年2月数据挖掘分类我的理解－挖掘的算法分为三个层次：模式：比如分类、聚类－》模型：决策树、神经网络－》算法：ID3、CHAID、BP举例：分类－决策树－ID3、CHAID等；聚类－聚类分析－k-means、EM等。第13页，课件共30页，创作于2023年2月数据挖掘分类挖掘模型决策树(decisiontree)关联规则(associationrules)聚类(clustering)神经网络(ArtificialNeuralNetworks，简记作ANN)粗糙集(roughset)概念格(conceptlattice)遗传算法(geneticalgorithms)序列模式(sequencepattern)贝叶斯(Bayes)支持向量机(supportvectormachine，简记作SVM)模糊集(fuzzyset)基于案例的推理(case-basedreasoning，简记作CBR)第14页，课件共30页，创作于2023年2月决策树决策树学习是以实例为基础的归纳学习算法,着眼于从一组无次序/无规则的事例中推理出决策树表示形式的分类规则；决策树基本算法是:贪心算法,它以自顶向下递归、各个击破方式构造决策树.第15页，课件共30页，创作于2023年2月关联规则关联规则是形式如下的一种规则，“在购买面包和黄油的顾客中，有90％的人同时也买了牛奶”（面包＋黄油→牛奶）；

关联规则的“三度”：支持度、可信度、兴趣度。第16页，课件共30页，创作于2023年2月聚类聚类是根据数据的不同特征,将其划分为不同的簇（cluster）,目的是使得属于同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别（相异度）较大；聚类技术大致分为五种：划分方法（partitioningmethod）层次方法（hierarchicalmethod）基于密度的方法（density-basedmethod）基于网格的方法（grid-basedmethod）基于模型的方法（model-basedmethod）第17页，课件共30页，创作于2023年2月神经网络人工神经网络，是对人类大脑系统的中模拟；神经网络是一组连接的输入/输出单元,其中每个连接都与一个权相关联,在学习阶段,通过调整神经网络的权,使得能够预测输入样本的正确类标号来学习。激励函数的选择和权值的调整第18页，课件共30页，创作于2023年2月粗糙集粗糙集理论是一种研究不精确、不确定性知识的数学工具；粗糙集对不精确概念的描述方法是：通过上近似概念和下近似概念这两个精确概念来表示；一个概念（或集合）的下近似指的是其中的元素肯定属于该概念；一个概念（或集合）的上近似指的是其中的元素可能属于该概念。

粗糙集方法则有几个优点：不需要预先知道的额外信息，如统计中要求的先验概率和模糊集中要求的隶属度；算法简单，易于操作。

粗糙集理论在知识发现研究中有着许多具体应用，特别适合于数据之间（精确的或近似的）依赖关系发现、评价某一分类（属性）的重要性、数据相似或差异发现、数据模式发现、从数据中产生一般决策规则、削减冗余对象与属性、寻求属性的最小子集以确保产生满意的近似分类等等

第19页，课件共30页，创作于2023年2月粗糙集举例第20页，课件共30页，创作于2023年2月概念格概念格描述的是对象和属性之间的联系和统一，表明概念之间的泛化和例化关系，相应的Hasse图实现数据的可视化。第21页，课件共30页，创作于2023年2月遗传算法遗传算法（GeneticAlgoritms，简称GA）是以自然选择和遗传理论为基础，将生物进化过程中“适者生存”规则与群体内部染色体的随机信息交换机制相结合的搜索算法；遗传算法主要组成部分包括编码方案、适应度计算、父代选择、交换算子和变异算子。第22页，课件共30页，创作于2023年2月序列模式是指在多个数据序列中发现共同的行为模式。通过时间序列搜索出重复发生概率较高的模式。这里强调时间序列的影响。例如，在所有购买了激光打印机的人中，半年后80%的人再购买新硒鼓，20%的人用旧硒鼓装碳粉；在所有购买了彩色电视机的人中，有60%的人再购买VCD产品；在时序模式中，需要找出在某个最短时间内出现比率一直高于某一最小百分比（阈值）的规则。第23页，课件共30页，创作于2023年2月贝叶斯贝叶斯分类是统计学的分类方法，其分析方法的特点是使用概率来表示所有形式的不确定性，学习或推理都用概率规则来实现；朴素贝叶斯分类：假定一个属性值对给定类的影响独立于其他属性的值；贝叶斯网络：是用来表示变量间连接概率的图形模式,它提供了一种自然的表示因果信息的方法,用来发现数据间的潜在关系。第24页，课件共30页，创作于2023年2月支持向量机支持向量机（SupportVectorMachine,SVM）建立在计算学习理论的结构风险最小化(SRM)原则之上。其核心问题是寻找一种归纳原则，以实现最小化风险，从而实现最佳的推广能力。而且SVM一个重要的优点是可以处理线性不可分的情况。以往的机器学习理论的核心是经验风险最小化原则（ERM）第25页，课件共30页，创作于2023年2月模糊集模糊集：不同于经典集合，没有精确边界的集合；定义：设X是对象x的集合，x是X的任一个元素。X上的模糊集合A定义为一组有序对：A＝{（x，uA(X)）|xX},其中uA(X)称为模糊集合A的隶属度函数（membershipfunction,MF）MF将集合中的元素映射为0到1之间的隶属度；隶属度为0，或者1，则A就退化为经典集合。第26页，课件共30页，创作于2023年2月案例的推理案例是一段带有上下文信息的知识,该知识表达了推理机在达到其目标的过程中能起关键作用的经验

第27页，课件共30页，创作于2023年2月几个概念的区别分类和聚类分类是指将数据归于一系列已知类别之中的某个类的分类过程;聚类是根据客体属性对一系列未分类的客体进行类别的识别,把一组个体按照相似性归成若干类。分类和预测是两种数据分析形式.是两类主要的预测问题