机器学习经典算法课件

经典算法经典算法1机器学习十大经典算法C4.52.分类与回归树3.朴素贝叶斯4.支持向量机(SVM5.K近邻(KNN)6.Adaboost7.K均值(K-means)8.最大期望(EM)9.Apriori算法10.Pagerank机器学习十大经典算法2机器学习方法的分类基于学习方式的分类(1)有监督学习:输入数据中有导师信号,以概率函数、代数函数或人工神经网络为基函数模型,采用迭代计算方法,学习结果为函数。(2)无监督学习:输入数据中无导师信号,采用聚类方法,学习结果为类别。典型的无导师学习有发现学习、聚类竞争学习等。(3)强化学习(增强学习):以环境反馈(奖/惩信号)作为输入,以统计和动态规划技术为指导的一种学习方法。机器学习方法的分类3有监督学习(用于分类)标定的训练数据训练过程:根据目标输出与实际输出的误差信号来调节参典型方法全局:BN,NN.SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)ObjectFeatureRepresentationX2(areaS(x)s(x)<0→ClassBs(×)=0Obiects有监督学习(用于分类)4无监督学习(用于聚类)不存在标定的训练数据学习机根据外部数据的统计规律(e.g.Cohension&divergence)来调节系统参数,以使输出能反映数据的某种特性。典型方法K-means、SOM示例:聚类无监督学习(用于聚类)5半监督学习·结合(少量的)标定训练数据和(大量的)未标定数据来进行学习典型方法Co-training、EM、Latentvariables半监督学习6C4.5C45由J.RossQuinlan在|D3的基础上提出的ID3算法用来构造决策树。决策树是一种类似流程图的树结构,其中每个内部节点(非树叶节点)表示在一个属性上的测试,每个分枝代表一个测试输出,而每个树叶节点存放一个类标号。一旦建立好了决策树,对于一个未给定类标号的元组,跟踪条有根节点到叶节点的路径,该叶节点就存放着该元组的预测。决策树的优势在于不需要任何领域知识或参数设置,产生的分类规则易于理解,准确率较高。适合于探测性的知识发现。缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效,C4.57增益比率度量是用增益度量Gain(S,A)和分裂信息度量Sp|Information(S,A)来共同定义的设代表训练数据集,由s个样本组成。是S的某个属性,有m个不同的取值,根据这些取值可以把S划分为m个子集,S表示第个子集(-1,2,…,m),S2|表示子集S,中的样本数量。GainRatio(S,4)≡Gain(s,4)Splitlnformatiors,1)其中,分裂信息度量被定义为分裂信息用来衡里属性分裂数据的广度和均匀)SplitlinformationS.A)=-sISi1og,Sa增益比率度量是用增益度量Gain(S,A)和分裂信息度8数据集如图1所示,它表示的是天气情况与去不去打高尔夫球之间的关系DayOutlookTemperatureHumidityWindyPlayGolf?SunOvercast508%8m6TrueNoFalseYesOutlook7OvercastluNny2θ万万FalseYeOvercastTrueYes12Overcast72Windy13Overcast81FalseLy14Rainy71TrueNoFalseYesY图2在藏据集上通过C45生成的军稠数据集如图1所示,它表示的是天气情况与去不去打高尔夫球之间的9、分类和回归树(ClassificationandRegressionreesCART,可简写为C&RT)CART算法中的每一次分裂把数据分为两个子集,每个子集中的样本比被划分之前具有更好的一致性它是一个递归的过程,也就是说,这些子集还会被继续划分,这个过程不断重复,直到满足终止准则然后通过修剪和评估,得到一棵最优的决策树。、分类和回归树(Classificationand10机器学习经典算法课件11机器学习经典算法课件12机器学习经典算法课件13机器学习经典算法课件14机器学习经典算法课件15机器学习经典算法课件16机器学习经典算法课件17机器学习经典算法课件18机器学习经典算法课件19机器学习经典算法课件20机器学习经典算法课件21机器学习经典算法课件22机器学习经典算法课件23机器学习经典算法课件24机器学习经典算法课件25机器学习经典算法课件26机器学习经典算法课件27机器学习经典算法课件28机器学习经典算法课件29机器学习经典算法课件30机器学习经典算法课件31机器学习经典算法课件32机器学习经典算法课件33机器学习经典算法课件34机器学习经典算法课件35机器学习经典算法课件36机器学习经典算法课件37机器学习经典算法课件38机器学习经典算法课件39机器学习经典算法课件40机器学习经典算法课件41机器学习经典算法课件42机器学习经典算法课件43机器学习经典算法课件44机器学习经典算法课件45经典算法经典算法46机器学习十大经典算法C4.52.分类与回归树3.朴素贝叶斯4.支持向量机(SVM5.K近邻(KNN)6.Adaboost7.K均值(K-means)8.最大期望(EM)9.Apriori算法10.Pagerank机器学习十大经典算法47机器学习方法的分类基于学习方式的分类(1)有监督学习:输入数据中有导师信号,以概率函数、代数函数或人工神经网络为基函数模型,采用迭代计算方法,学习结果为函数。(2)无监督学习:输入数据中无导师信号,采用聚类方法,学习结果为类别。典型的无导师学习有发现学习、聚类竞争学习等。(3)强化学习(增强学习):以环境反馈(奖/惩信号)作为输入,以统计和动态规划技术为指导的一种学习方法。机器学习方法的分类48有监督学习(用于分类)标定的训练数据训练过程:根据目标输出与实际输出的误差信号来调节参典型方法全局:BN,NN.SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)ObjectFeatureRepresentationX2(areaS(x)s(x)<0→ClassBs(×)=0Obiects有监督学习(用于分类)49无监督学习(用于聚类)不存在标定的训练数据学习机根据外部数据的统计规律(e.g.Cohension&divergence)来调节系统参数,以使输出能反映数据的某种特性。典型方法K-means、SOM示例:聚类无监督学习(用于聚类)50半监督学习·结合(少量的)标定训练数据和(大量的)未标定数据来进行学习典型方法Co-training、EM、Latentvariables半监督学习51C4.5C45由J.RossQuinlan在|D3的基础上提出的ID3算法用来构造决策树。决策树是一种类似流程图的树结构,其中每个内部节点(非树叶节点)表示在一个属性上的测试,每个分枝代表一个测试输出,而每个树叶节点存放一个类标号。一旦建立好了决策树,对于一个未给定类标号的元组,跟踪条有根节点到叶节点的路径,该叶节点就存放着该元组的预测。决策树的优势在于不需要任何领域知识或参数设置,产生的分类规则易于理解,准确率较高。适合于探测性的知识发现。缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效,C4.552增益比率度量是用增益度量Gain(S,A)和分裂信息度量Sp|Information(S,A)来共同定义的设代表训练数据集,由s个样本组成。是S的某个属性,有m个不同的取值,根据这些取值可以把S划分为m个子集,S表示第个子集(-1,2,…,m),S2|表示子集S,中的样本数量。GainRatio(S,4)≡Gain(s,4)Splitlnformatiors,1)其中,分裂信息度量被定义为分裂信息用来衡里属性分裂数据的广度和均匀)SplitlinformationS.A)=-sISi1og,Sa增益比率度量是用增益度量Gain(S,A)和分裂信息度53数据集如图1所示,它表示的是天气情况与去不去打高尔夫球之间的关系DayOutlookTemperatureHumidityWindyPlayGolf?SunOvercast508%8m6TrueNoFalseYesOutlook7OvercastluNny2θ万万FalseYeOvercastTrueYes12Overcast72Windy13Overcast81FalseLy14Rainy71TrueNoFalseYesY图2在藏据集上通过C45生成的军稠数据集如图1所示,它表示的是天气情况与去不去打高尔夫球之间的54、分类和回归树(ClassificationandRegressionreesCART,可简写为C&RT)CART算法中的每一次分裂把数据分为两个子集,每个子集中的样本比被划分之前具有更好的一致性它是一个递归的过程,也就是说,这些子集还会被继续划分,这个过程不断重复,直到满足终止准则然后通过修剪和评估,得到一棵最优的决策树。、分类和回归树(Classificationand55机器学习经典算法课件56机器学习经典算法课件57机器学习经典算法课件58机器学习经典算法课件59机器学习经典算法课件60机器学习经典算法课件61机器学习经典算法课件62机器学习经典算法课件63机器学习经典算法课件64机器学习经典算法课件65机器学习经典算法课件66机器学习经典算法课件67机器学习经典算法课件68机器学习经典算法课件69机器学习经典算法课件70机器学习经典算法课件71机器学习经典算法课件72机器学习经典算法课件73机器学