人工智能-机器学习

ArtificialIntelligence(AI)

人工智能主讲：机器学习内容提要机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他内容提要机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他机器学习的基本概念机器学习的两大学派机器学习：人工智能的重要分支构造具有学习能力的智能系统知识、推理、学习手段：统计，逻辑，代数……统计机器学习从大量样本出发，运用统计方法，发现统计规律有监督学习、无监督学习、半监督学习问题：分类，聚类，回归机器学习的基本概念机器学习的定义西蒙（Simon,1983）：学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。明斯基（Minsky,1985）：学习是在人们头脑里（心理内部）有用的变化。学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。机器学习是研究如何使用机器来模拟人类学习活动的一门学科。机器学习的基本概念机器学习的任务根据有限样本集Q，推算这个世界W的模型，使得其对这个世界为真。机器学习的基本概念机器学习的三要素一致性假设：假设世界W与样本集Q具有某种相同的性质机器学习的条件。样本空间划分：将样本集放到一个n维空间，寻找一个决策面(等价关系)，使得问题决定的不同对象被划分在不相交的区域。泛化能力：从有限样本集合中获得的规律是否对学习集以外的数据仍然有效。泛化能力决定模型对世界的有效性。

内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他机器学习策略与基本结构机器学习的主要策略：按照学习中使用推理的多少，机器学习所采用的策略大体上可分为4种机械学习：记忆学习方法，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。示教学习：外界输入知识与内部知识的表达不完全一致，系统在接受外部知识时需要推理、翻译和转化。类比学习：需要发现当前任务与已知知识的相似之处，通过类比给出完成当前任务的方案。示例学习：需要从一组正例和反例中分析和总结出一般性的规律，在新的任务中推广、验证、修改规律。机器学习策略与基本结构学习系统的基本结构影响学习系统设计的要素环境：环境向系统提供信息的水平（一般化程度）和质量（正确性）知识库：表达能力，易于推理，容易修改，知识表示易于扩展。环境学习知识库执行内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他归纳学习归纳学习（InductionLearning）归纳学习是指以归纳推理为基础的学习，其任务是要从某一概念的分类例子集出发，归纳出一个一般的概念描述。归纳学习的模式：解释过程实例空间规则空间规划过程归纳学习归纳学习（InductionLearning）归纳学习是目前研究得最多的学习方法，其学习目的是为了获得新概念、构造新规则或发现新理论。根据归纳学习有无教师指导，可把它分为示例学习：给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述（规则），并使这个描述适合于所有的正例，排除所有的反例。观察发现学习：概念聚类：按照一定的方式和准则分组，归纳概念机器发现：从数据和事例中发现新知识内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他决策树决策树是一种由节点和边构成的用来描述分类过程的层次数据结构。决策树决策树的中间节点对应一个属性，节点下的分支为该属性的可能值；叶节点都有一个类别标记，每个叶节点对应一个判别规则；决策树可以产生合取式规则（如：香蕉={黄色AND细长}），也可以产生析取式规则（如：苹果={绿色AND中等大小}OR{红色AND中等大小}）；决策树学习是一种以示例为基础的归纳学习方法，也是目前最流行的归纳学习方法之一。归纳学习得到的分类模型可以是一系列规则，也可以是决策树。决策树决策树的生成算法须解决以下6个问题：节点处的分支数应该是几？两分支或多分枝如何确定某节点处应该测试哪个属性？使节点的不纯度下降最快的属性何时可以令某节点成为叶节点，分支操作何时停止？如何使一个过大的树变小，如何“剪枝”？如果叶节点仍不“纯”，如何给它赋类别标记？缺损的数据如何处理？内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他类比学习类比推理和类比学习方式类比学习（learningbyanalogy）就是通过类比，即通过对相似事物加以比较所进行的一种学习。类比学习是利用二个不同领域（源域、目标域）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。例如：1.一个从未开过truck的司机，只要他有开car的知识就可完成开truck的任务。2.若把某个人比喻为很像消防车，则可通过观察消防车的行为，推断出这个人的性格。类比学习类比推理和类比学习方式类比学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。类比推理过程：回忆与联想：找出当前情况的相似情况选择：选择最相似的情况及相关知识

建立对应关系：建立相似元素之间的映射转换：求解问题或产生新的知识类比学习类比学习研究类型问题求解型的类比学习：求解一个新问题时，先回忆以前是否求解过类似问题，若是，则以此为依据求解新问题。预测推理型的类比学习传统的类比法：用来推断一个不完全确定的事物可能还有的其他属性因果关系型：已知因果关系S1:A->B，如果有A’≌A，则可能有B’满足A’->B’内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他解释学习解释学习(Explanation-basedlearning,EBL)

解释学习兴起于20世纪80年代中期，根据任务所在领域知识和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。例如：学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。解释学习解释学习过程和算法米切尔提出了一个解释学习的统一算法EBG，建立了基于解释的概括过程，并用知识的逻辑表示和演绎推理进行问题求解。其一般性描述为：给定：领域知识DT目标概念TC训练实例TE操作性准则OC找出：满足OC的关于TC的充分条件目标概念新规则操作准则训练例子知识库解释学习EBG算法可概括为两步：1.构造解释：运用领域知识进行演绎，证明提供给系统的训练实例为什么是满足目标概念的一个实例。例如：设要学习的目标概念是“一个物体（Obj1）可以安全地放置在另一个物体（Obj2）上”，即：

Safe-To-Stack(Obj1,obj2)领域知识是把一个物体放置在另一个物体上面的安全性准则：解释学习EBG算法可概括为两步：领域知识：¬Fragile(y)→Safe-To-Stack(x,y):如果y不是易碎的，则x可以安全地放到y的上面Lighter(x,y)→Safe-To-Stack(x,y):如果x比y轻，则x可以安全地放到y的上面Volume(p,v)∧Density(p,d)∧*(v,d,w)→Weight(p,w):如果p的体积是v、密度是d、v乘以d的积是w，则p的重量是wIsa(p,table)→Weight(p,15):若p是桌子，则p的重量是15

Weight(p1,w1)∧Weight(p2,w2)∧Smaller(w1,w2)→Lighter(p1,p2):如果p1的重量是w1、p2的重量是w2、w1比w2小，则p1比p2轻解释学习EBG算法可概括为两步：Safe-To-Stack(Obj1,obj2)解释结构：Safe-To-Stack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,0.1)Weight(Obj2,15)Smaller(0.1,15)Isa(Obj2,table)Voume(Obj1,1)Density(Obj1,0.1)*(1,0.1,0.1)解释学习EBG算法可概括为两步：2.获取一般性的知识：任务：对上一步得到的解释结构进行一般化的处理，从而得到关于目标概念的一般性知识。方法：将常量换成变量，并把某些不重要的信息去掉，只保留求解问题必须的关键信息。例如：

Volume(O1,v1)∧Density(O1,d1)∧*(v1,d1,w1)∧Isa(O2,table)∧Smaller(w1,15)→Safe-To-Stack(Obj1,obj2)解释学习EBG算法可概括为两步：Safe-To-Stack(O1,O2)一般化解释结构Safe-To-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,15)Smaller(w1,15)Isa(O2,table)Voume(O1,v1)Density(O1,d1)*(v1,d1,w1)以后求解类似问题时，就可以直接利用这个知识进行求解，提到了系统求解问题的效率。内容提要第七章：机器学习1.机器学习的基本概念2.机器学习策略与基本结构3.归纳学习4.决策树5.类比学习6.解释学习7.神经学习8.其他神经学习神经生理学研究表明，人脑的神经元既是学习的基本单位，同是也是记忆的基本单位。目前，关于人脑学习和记忆机制的研究有两大学派：化学学派：认为人脑经学习所获得的信息是记录在某些生物大分子之上的。例如，蛋白质、核糖核酸、神经递质，就像遗传信息是记录在DNA（脱氧核糖核酸）上一样。突触修正学派：认为人脑学习所获得的信息是分布在神经元之间的突触连接上的。神经学习按照突触修正学派的观点，人脑的学习和记忆过程实际上是一个在训练中完成的突触连接权值的修正和稳定过程。其中，学习表现为突触连接权值的修正，记忆则表现为突触连接权值的稳定。突触修正假说已成为人工神经网络学习和记忆机制研究的心理学基础，与此对应的权值修正学派也一直是人工神经网络研究的主流学派。突触修正学派认为，人工神经网络的学习过程就是一个不断调整网络连接权值的过程。按照学习规则，神经学习可分为：Hebb学习、纠错学习、竞争学习及随机学习等。神经学习Hebb学习Hebb学习的基本思想：如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强，反之应该减弱。Hebb学习对连接权值的调整可表示为：wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值；η取正值，称为学习因子，它取决于每次权值的修正量；xi(t)、xj(t)分别表示t时刻第i个和第j个神经元的状态。

神经学习纠错学习纠错学习的基本思想：利用神经网络的期望输出与实际输出之间的偏差作为连接权值调整的参考，并最终减少这种偏差。纠错学习是一种有导师的学习过程。最基本的误差修正规则为：连接权值的变化与神经元希望输出和实际输出之差成正比。其联结权值的计算公式为：yj(t)为神经元j的实际输出;dj(t)为神经元j的希望输出；神经学