机械工业出版社2020《人工智能导论》课程同步PPT课件第7章 机器学习

人工智能导论Introductiontoartificialintelligence机械工业出版社2020第7章机器学习【导读案例】Netflix的电影推荐引擎讨论：1什么是机器学习2机器学习的学习类型3机器学习的算法4机器学习的基本结构5机器学习的分类与应用1机器学习的发展2机器学习的定义第1节7.1什么机器学习苹果手机提供了一个智能语音助手Siri，而亚马逊公司的子公司Alexa是一家专门发布网站世界排名的网站，其目的是让互联网网友们在分享虚拟资源的同时，更多地参与互联网资源的组织。那么，日常生活中，你是否已经在使用像Siri或Alexa这样的个人助理客户端呢？你是否依赖垃圾邮件过滤器来保持你的电子邮件收件箱的清洁呢？你是否订阅了类似Netflix的服务并依赖它惊人的准确推荐来寻找你喜欢的新电影或书刊呢？如果你对这些问题回答说“是”，那么，事实上，你已经在很好地利用机器学习了！7.1什么机器学习机器学习是人工智能的一个分支，它所涉及的范围非常大——语言处理、图像识别、规划等等，但它实际上是一个相当简单的概念。为了更好地理解它，我们来研究一下关于机器学习的what，who，when，

where，how以及why（什么、谁、何时、何地、如

何以及为什么）。

图7-2什么是机器学习7.1.1机器学习的发展机器学习最早的发展可以追溯到英国数学家贝叶斯（1701年~1761年）在1763年发表的贝叶斯定理，这是关于随机事件A和B的条件概率（或边缘概率）的一则数学定理，是机器学习的基本思想。其中，P(A|B)是在B发生的情况下A发生的可能性，即寻求根据以前的信息寻找最可能发生的事件。机器学习的发展过程大体上可分为4个时期（参见图7-3）。7.1.1机器学习的发展图7-3机器学习的发展7.1.1机器学习的发展第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。7.1.1机器学习的发展机器学习的最新阶段始于1986年，进入新阶段的重要表现在下列诸方面：（1）机器学习成为新的边缘学科并在高校成为一门课程，它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。（2）结合各种学习方法取长补短的多种形式的集成学习系统研究正在兴起。特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。7.1.1机器学习的发展（3）机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。（4）各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用；连接学习在声图文识别中占优势；分析学习已用于设计综合型专家系统；遗传算法与强化学习在工程控制中有较好的应用前景；与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。7.1.1机器学习的发展（5）与机器学习有关的学术活动空前活跃。国际上除每年举行的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。7.1.1机器学习的发展在1950年图灵发明图灵测试之后，1952年亚瑟·塞缪尔创建了第一个真正的机器学习程序——简单的下棋游戏程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。接着是唐纳德·米奇在1963年推出的强化学习的tic-tac-toe（井字棋）程序。在接下来的几十年里，机器学习的进步遵循了同样的模式——一项技术突破导致了更新的、更复杂的计算机，通常是通过与专业的人类玩家玩战略游戏来测试的。7.1.1机器学习的发展机器学习在1997年达到巅峰，当时，IBM深蓝国际象棋电脑在一场国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫。近年来，谷歌开发了专注于中国棋类游戏围棋（Go）的AlphaGo（阿尔法狗），该游戏被普遍认为是世界上最难的游戏。尽管围棋被认为过于复杂，以至于一台电脑无法掌握，但在2016年，AlphaGo终于获得了胜利，在一场五局

比赛中击败了李世石。7.1.1机器学习的发展机器学习最大的突破是深度学习（2006年）。深度学习的目的是模仿人脑的思维过程，经常被用于图像和语音识别。深度学习的出现导致了我们今天使用的（可能是理所当然的）许多技术。试想，你有没有把一张照片上传到你的微信或者脸书账户，只是为了暗示给照片中的人贴上标签？微信或者脸书正在使用神经网络来识别照片中的面孔。7.1.2机器学习的定义学习是人类具有的一种重要的智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。比如，兰利（1996）的定义是：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。汤姆·米切尔的机器学习（1997）对信息论中的一些概念有详细的解释，其中定义机器学习时提到：“机器学习是对能通过经验自动改进的计算机算法的研究”。Alpaydin（2004）提出自己对机器学习的定义：“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准”。7.1.2机器学习的定义为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，电子计算机，中子计算机、光子计算机或神经计算机等等。7.1.2机器学习的定义机器能否像人类一样能具有学习能力呢？机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。由汤姆·米切尔给出的被广泛引用的机器学习的定义给出了最佳解释。下面是其中的内容：“计算机程序可以在给定某种类别的任务T和性能度量P下学习经验E，如果其在任务T中的性能恰好可以用P度量，则随着经验E而提高。”7.1.2机器学习的定义让我们用简单的例子来分解下这个描述。示例1：机器学习和根据人的身高估算体重。假设你想创建一个能够根据人的身高估算体重的系统（也许你出自某些理由对这件事情感兴趣）。那么你可以使用

机器学习去找出任何可能的错误和数

据捕获中的错误，首先你需要收集一

些数据。图7-5根据人的身高估算体重7.1.2机器学习的定义图7-5中的每一个点对应一个数据，我们可以画出一条简单的斜线来预测基于身高的体重。这些斜线能帮助我们作出预测，尽管这些斜线表现得很棒，但是我们需要理解它是怎么表现的，我们希望去减少预测和实际之间的误差，这也是衡量其性能的方法。深远一点地说，我们收集更多的数据（经验），模型就会变得更好。我们也可以通过添加更多变量（例如性别）和添加不同的预测斜线来完善我们的模型。7.1.2机器学习的定义示例2：飓风预测系统。我们找一个复杂一点的例子。假如你要构建一个飓风预测系统，假设你手里有所有以前发生过的飓风的数据和这次

飓风产生前三个月的天气信息。图7-6预测飓风7.1.2机器学习的定义如果要手动构建一个飓风预测系统，我们应该怎么做？首先是要清洗所有的数据，找到数据里面的模式进而查找产生飓风的条件。我们既可以将模型条件数据（例如气温高于40度，湿度在80-100等）输入到我们的系统里面生成输出，也可以让我们的系统自己通过这些条件数据产生合适的输出。可以把所有以前的数据输入到系统里面来预测未来是否会有飓风。基于系统条件的取值，评估系统性能（正确预测飓风的次数）。可以将系统预测结果作为反馈继续多次迭代以上步骤。7.1.2机器学习的定义根据前边的解释来定义我们的预测系统：任务是确定可能产生飓风的气象条件。性能P是在系统所有给定的条件下有多少次正确预测飓风，经验E是系统的迭代次数。1监督学习2无监督学习3强化学习第2节7.2机器学习的学习类型机器学习的核心是“使用算法解析数据，从中学习，然后对世界上的某件事情做出决定或预测”。这意味着，与其显式地编写程序来执行某些任务，不如教计算机学会如何开发一个算法来完成任务。有三种主要类型的机器学习：监督学习、非监督学习和强化学习，各自有

着不同的优点和缺点。图7-7机器学习的三种主要类型7.2.1监督学习监督学习（supervisedlearning）涉及一组标记数据，计算机可以使用特定的模式来识别每种标记类型的新样本，即在机器学习过程中提供对错指示，一般是在数据组中包含最终结果（0，1）。通过算法让机器自我减少误差。监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。7.2.1监督学习在分类中，机器被训练成将一个组划分为特定的类，一个简单例子就是电子邮件帐户上的垃圾邮件过滤器。过滤器分析你以前标记为垃圾邮件的电子邮件，并将它们与新邮件进行比较，如果它们有一定的百分比匹配，这些新邮件将被标记为垃圾邮件并发送到适当的文件夹中。那些比较不相似的电子邮件被归类为正常邮件被发送到你的收件箱。第二种监督学习是回归。在回归中，机器使用先前的（标记的）数据来预测未来，天气应用是回归的好例子。使用气象事件的历史数据（即平均气温、湿度和降水量），你的手机天气预报APP可以查看当前天气，并对未来时间的天气进行预测。7.2.2无监督学习无监督学习（unsupervisedlearning）又称归纳性学习，通过循环和递减运算来减小误差，达到分类的目的。在无监督学习中，数据是无标签的。由于大多数真实世界的数据都没有标签，这样的算法就特别有用。无监督学习分为聚类和降维。聚类用于根据属性和行为对象进行分组。这与分类不同，因为这些组不是你提供的。聚类的一个例子是将一个组划分成不同的子组（例如，基于年龄和婚姻状况），然后应用到有针对性的营销方案中。降维通过找到共同点来减少数据集的变量。大多数大数据可视化使用降维来识别趋势和规则。7.2.3强化学习强化学习使用机器的个人历史和经验来做出决定，其经典应用是玩游戏。与监督和非监督学习不同，强化学习不涉及提供“正确的”答案或输出。相反，它只关注性能，这反映了人类是如何根据积极和消极的结果学习的。很快就学会了不要重复这一动作。同样的道理，一台下棋的电脑可以学会不把它的国王移到对手的棋子可以进入的空间。然后，国际象棋的这一基本教训就可以被扩展和推断出来，直到机器能够打（并最终击败）人类顶级玩家为止。7.2.3强化学习机器学习使用特定的算法和编程方法来实现人工智能。没有机器学习，我们前面提到的国际象棋程序将需要数百万行代码，包括所有的边缘情况并包含来自对手的所有可能的移动。有了机器学习，我们可以将代码量缩小到以前的一小部分。此外，深度学习是机器学习的一个子集，它专注于模仿人类大脑的生物学和过程。1什么是算法2回归与基于实例的算法3决策树与贝叶斯算法4聚类算法第3节5神经网络算法7.3机器学习的算法学习是一项复杂的智能活动，学习过程与推理过程是紧密相连的。学习中所用的推理越多，系统的能力越强。7.3.1什么是算法要完全理解大多数机器学习算法，需要对一些关键的数学概念有一个基本的理解，这些概念包括线性代数、微积分、概率和统计知识（见图7-8）。线性代数概念包括：矩阵运算、特征值/特征向量、向量空间和范数。微积分概念包括：偏导数、向量-值

函数、方向梯度。统计概念包括：贝叶斯定理、组合

学、抽样方法。图7-8机器学习所需的数学主题的重要性7.3.1什么是算法机器学习专注于让人工智能具备学习任务的能力，使人工智能能够使用数据来教自己。程序员是通过机器学习算法来实现这一目标的。这些算法是人工智能学习行为所基于的模型。算法与训练数据集一起使人工智能能够学习。例如，学习如何识别猫与狗的照片。人工智能将算法设置的模型应用于包含猫和狗图像的数据集。随着时间的推移，人工智能将学习如何更准确，更轻松地识别狗与猫而无需人工输入。7.3.1什么是算法1.算法的特征算法能够对一定规范的输入，在有限时间内获得所要求的输出。如果一个算法有缺陷，或者不适合于某个问题，执行这个算法就不会解决这个问题。不同的算法可能用不同的时间、空间或效率来完成同样的任务。7.3.1什么是算法一个算法应该具有以下五个重要的特征：（1）有穷性。是指算法必须能在执行有限个步骤之后终止。（2）确切性。算法的每一步骤必须有确切的定义。（3）输入项。一个算法有0个或多个输入，以刻画运算对象的初始情况，所谓0个输入是指算法本身给出了初始条件。（4）输出项。一个算法有一个或多个输出，以反映对输入数据加工后的结果。没有输出的算法是毫无意义的。（5）可行性。算法中执行的任何计算步骤都可以被分解为基本的可执行的操作步，即每个计算步都可以在有限时间内完成（也称为有效性）。7.3.1什么是算法2.算法的要素（1）数据对象的运算和操作：计算机可以执行的基本操作是以指令的形式描述的。一个计算机系统能执行的所有指令的集合，成为该计算机系统的指令系统。一个计算机的基本运算和操作有如下四类：①算术运算：加、减、乘、除等运算。②逻辑运算：或、且、非等运算。③关系运算：大于、小于、等于、不等于等运算。④数据传输：输入、输出、赋值等运算。7.3.1什么是算法（2）算法的控制结构：一个算法的功能结构不仅取决于所选用的操作，而且还与各操作之间的执行顺序有关。7.3.1什么是算法3.算法的评定同一问题可用不同算法解决，而算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。算法评价主要从时间复杂度和空间复杂度来考虑：（1）时间复杂度。是指执行算法所需要的计算工作量。一般来说，计算机算法是问题规模的正相关函数。7.3.1什么是算法（2）空间复杂度。是指算法需要消耗的内存空间。其计算和表示方法与时间复杂度类似，一般都用复杂度的渐近性来表示。同时间复杂度相比，空间复杂度的分析要简单得多。（3）正确性。是评价一个算法优劣的最重要的标准。（4）可读性。是指一个算法可供人们阅读的容易程度。（5）健壮性。是指一个算法对不合理数据输入的反应能力和处理能力，也称为容错性。7.3.2回归算法回归算法是最流行的机器学习算法，线性回归算法是基于连续变量预测特定结果的监督学习算法。另一方面，Logistic回归专门用来预测离散值。这两种（以及所有其他回归算法）都以它们的速度而闻名，它们是最快速的机器学习算法之一。图7-9回归算法7.3.3基于实例的算法最著名的基于实例的算法是k-最近邻算法，也称为KNN（K-NearestNeighbor）算法，它是机器学习中最基础和简单的算法之一，它既能用于分类，也能用于回归。KNN算法有一个十分特别的地方：它没有一个显示的学习过程。它的工作原理是利用训练数据对特征向量空间进行划分，并将其划分的结果作为其最终的算法模型。即，基于实例的分析使用提供数据的特定实例来预测结果。KNN用于分类，比较数据点的距离，并将每个点分配给它最接近的组。7.3.4决策树算法决策树算法将一组“弱”学习器集合在一起，形成一种强算法，这些学习器组织在树状结构中，相互分支。一种流行的决策树算法是随机森林算法。在该算法中，弱学习器是随机选择的，这往往可以获得一个强预测器。在下面的例子中，我们可以发现许多共同的特征（就像眼睛是蓝的或者不是蓝色的），它们都不足以单独识别动物。然而，

当我们把所有这些观察结合在一起时，我们

就能形成一个更完整的画面，并做出更准确

的预测。图7-10决策树算法7.3.5贝叶斯算法事实上，上述算法都是基于贝叶斯（Bayes）理论的，最流行的算法是朴素贝叶斯，它经常用于文本分析。例如，大多数垃圾邮件过滤器使用贝叶斯算法，它们使用用户输入的类标记数据来比较新数据并对其进行适当分类。7.3.6聚类算法聚类算法的重点是发现元素之间的共性并对它们进行相应的分组，常用的聚类算法是k-means聚类算法。在k-means中，分析人员选择簇数（以变量k表示），并根据物理距离将元素分组为适当的聚类。7.3.7神经网络算法人工神经网络算法基于生物神经网络的结构，深度学习采用神经网络模型并对其进行更新。它们是大、且极其复杂的神经网络，使用少量的标记数据和更多的未标记数据。神经网络和深度学习有许多输入，它们经过几个隐藏层后才产生一个或多个输出。这些连接形成一个特定的循环，模仿人脑处理信息和建立逻辑连接的方式。此外，随着算法的运行，隐藏层往往变得更小、更细微。一旦选定了算法，还有一个非常重要的步骤，就是可视化和交流结果。虽然与算法编程的细节相比，这看起来比较简单，但是，如果没有人能够理解，那么惊人的洞察力又有什么用呢？第4节7.4机器学习的基本结构在学习系统的基本结构中，环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。在具体的应用中，环境、知识库和执行部分决定了工作内容，确定了学习部分所需要解决的问题。7.4机器学习的基本结构（1）环境向系统提供的信息。更具体地说是信息的质量，这是影响学习系统设计的最重要的因素。知识库里存放的是指导执行部分动作的一般原则，但环境向学习系统提供的信息却是各种各样的。如果信息的质量比较高，与一般原则的差别比较小，则学习部分比较容易处理。如果向学习系统提供的是杂乱无章的指导执行具体动作的具体信息，则学习系统需要在获得足够数据之后，删除不必要的细节，进行总结推广，形成指导动作的一般原则，放入知识库，这样学习部分的任务就比较繁重，设计起来也较为困难。7.4机器学习的基本结构因为学习系统获得的信息往往是不完全的，所以学习系统所进行的推理并不完全是可靠的，它总结出来的规则可能正确，也可能不正确。这要通过执行效果加以检验。正确的规则能使系统的效能提高，应予保留；不正确的规则应予修改或从数据库中删除。7.4机器学习的基本结构（2）知识库。这是影响学习系统设计的第二个因素。知识的表示有多种形式，比如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等等。这些表示方式各有其特点，在选择表示方式时要兼顾以下4个方面：①表达能力强。②易于推理。③容易修改知识库。④知识表示易于扩展。7.4机器学习的基本结构学习系统不能在没有任何知识的情况下凭空获取知识，每一个学习系统都要求具有某些知识理解环境提供的信息，分析比较，做出假设，检验并修改这些假设。因此，更确切地说，学习系统是对现有知识的扩展和改进。（3）执行部分。是整个学习系统的核心，因为执行部分的动作就是学习部分力求改进的动作。同执行部分有关的问题有3个：复杂性、反馈和透明性。1基于学习策略的分类2基于所获取知识的表示形式分类3按应用领域分类4综合分类第5节7.5机器学习的分类机器学习按学习策略、所获取知识的表示形式和应用领域可以有不同的分类。7.5.1基于学习策略的分类学习策略是指学习过程中系统所采用的推理策略。一个学习系统总是由学习和环境两部分组成。由环境（如书本或教师）提供信息，学习部分则实现信息转换，用能够理解的形式记忆下来，并从中获取有用的信息。在学习过程中，学生（学习部分）使用的推理越少，他对教师（环境）的依赖就越大，教师的负担也就越重。学习策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下六种基本类型：7.5.1基于学习策略的分类（1）机械学习。学习者无需任何推理或其它的知识转换，直接吸取环境所提供的信息，如塞缪尔的跳棋程序，纽厄尔和西蒙的LT系统。这类学习系统主要考虑的是如何索引存贮的知识并加以利用。系统的学习方法是直接通过事先编好、构造好的程序来学习，学习者不作任何工作或者是通过直接接收既定的事实和数据进行学习，对输入信息不作任何的推理。7.5.1基于学习策略的分类（2）示教学习。学生从环境（教师或其它信息源如教科书等）获取信息，把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机地结合为一体。所以要求学生有一定程度的推理能力，但环境仍要做大量的工作。教师以某种形式提出和组织知识，以使学生拥有的知识可以不断地增加。这种学习方法和人类社会的学校教学方式相似，学习的任务就是建立一个系统，使它能接受教导和建议，并有效地存贮和应用学到的知识。不少专家系统在建立知识库时使用这种方法去实现知识获取。示教学习的一个典型应用例是FOO程序。7.5.1基于学习策略的分类（3）演绎学习。学生所用的推理形式为演绎推理。推理从公理出发，经过逻辑变换推导出结论。这种推理是“保真”变换和特化的过程，使学生在推理过程中可以获取有用的知识。这种学习方法包含宏操作学习、知识编辑和组块技术。演绎推理的逆过程是归纳推理。（4）类比学习。利用二个不同领域（源域、目标域）中的知识相似性，可以通过类比，从源域的知识（包括相似的特征和其它性质）推导出目标域的相应知识，从而实现学习。类比学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。7.5.1基于学习策略的分类类比学习需要比上述三种学习方式更多的推理。它一般要求先从知识源（源域）中检索出可用的知识，再将其转换成新的形式，用到新的状况（目标域）中去。类比学习在人类科学技术发展史上起着重要作用，许多科学发现就是通过类比得到的。例如著名的卢瑟福类比就是通过将原子结构（目标域）同太阳系（源域）作类比，揭示了原子结构的奥秘。7.5.1基于学习策略的分类（5）基于解释的学习。学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什么该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。基于解释的学习已被广泛应用于知识库求精和改善系统的性能，这样的著名系统有迪乔恩的GENESIS，米切尔的LEXII和LEAP以及明顿等的PRODIGY。7.5.1基于学习策略的分类（6）归纳学习。是由教师或环境提供某概念的一些实例或反例，让学生通过归纳推理得出该概念的一般描述。这种学习的推理工作量远多于示教学习和演绎学习，因为环境并不提供一般性概念描述（如公理）。从某种程度上说，归纳学习的推理量也比类比学习大，因为没有一个类似的概念可以作为“源概念”加以取用。归纳学习是最基本的，发展也较为成熟的学习方法，在人工智能领域中已经得到广泛的研究和应用。7.5.2基于所获取知识的表示形式分类学习系统获取的知识可能有：行为规则、物理对象的描述、问题求解策略、各种分类及其它用于任务实现的知识类型。对于学习中获取的知识，主要有以下一些表示形式：（1）代数表达式参数。学习的目标是调节一个固定函数形式的代数表达式参数或系数来达到一个理想的性能。（2）决策树。用决策树来划分物体的类属，树中每一内部节点对应一个物体属性，而每一边对应于这些属性的可选值，树的叶节点则对应于物体的每个基本分类。7.5.2基于所获取知识的表示形式分类（3）形式文法。在识别一个特定语言的学习中，通过对该语言的一系列表达式进行归纳，形成该语言的形式文法。（4）产生式规则。表示为条件-动作对，已被极为广泛地使用。学习系统中的学习行为主要是：生成、泛化、特化或合成产生式规则。（5）形式逻辑表达式。基本成分是命题、谓词、变量、约束变量范围的语句以及嵌入的逻辑表达式。（6）图和网络。有的系统采用图匹配和图转换方案来有效地比较和索引知识。7.5.2基于所获取知识的表示形式分类（7）框架和模式。每个框架包含一组槽，用于描述事物（概念和个体）的各个方面。（8）计算机程序和其它的过程编码。获取这种形式的知识，目的在于取得一种能实现特定过程的能力，而不是为了推断该过程的内部结构。（9）神经网络。这主要用在联接学习中。学习所获取的知识，最后归纳为一个神经网络。（10）多种表示形式的组合。有时一个学习系统中获取的知识需要综合应用上述几种知识表示形式。7.5.2基于所获取知识的表示形式分类根据表示的精细程度，可将知识表示形式分为两大类：泛化程度高的粗粒度符号表示、泛化程度低的精粒度亚符号表示。像决策树、形式文法、产生式规则、形式逻辑表达式、框架和模式等属于符号表示类；而代数表达式参数、图和网络、神经网络等则属亚符号表示类。7.5.3按应用领域分类机器学习最主要的应用领域有专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。7.5.3按应用领域分类从机器学习的执行部分所反映的任务类型上看，大部分的应用研究领域基本上集中于以下两个范畴：（1）分类任务：要求系统依据已知的分类知识对输入的未知模式（该模式的描述）作分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。（2）问题求解：要求对于给定的目标状态寻找一个将当前状态转换为目标状态的动作序列；机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识（如搜索控制知识，启发式知识等）。7.5.4综合分类综合考虑各种学习方法出现的历史渊源、知识表示、推理策略、结果评估的相似性、研究人员交流的相对集中性以及应用领域等诸因素。将机器学习方法区分为以下六类：（1）经验性归纳学习。采用一些数据密集的经验方法（如版本空间法、ID3法，定律发现方法）对例子进行归纳学习。其例子和学习结果一般都采用属性、谓词、关系等符号表示。它相当于基于学习策略分类中的归纳学习，但扣除联接学习、遗传算法、加强学习的部分。7.5.4综合分类（2）分析学习。是从一个或少数几个实例出发，运用领域知识进行分析。其主要特征为：推理策略主要是演绎，而非归纳；使用过去的问题求解经验（实例）指导新的问题求解，或产生能更有效地运用领域知识的搜索控制规则。分析学习的目标是改善系统的性能，而不是新的概念描述。分析学习包括应用解释学习、演绎学习、多级结构组块以及宏操作学习等技术。7.5.4综合分类（3）类比学习。相当于基于学习策略分类中的类比学习。在这一类型的学习中比较引人注目的研究是通过与过去经历的具体事例作类比来学习，称为基于范例的学习，或简称范例学习。7.5.4综合分类（4）遗传算法。模拟生物繁殖的突变、交换和达尔文的自然选择（在每一生态环境中适者生存）。它把问题可能的解编码为一个向量，称为个体，向量的每一个元素称为基因，并利用目标函数（相应于自然选择标准）对群体（个体的集合）中的每一个个体进行评价，根据评价值（适应度）对个体进行选择、交换、变异等遗传操作，从而得到新的群体。遗传算法适用于非常复杂和困难的环境，比如，带有大量噪声和无关数据、事物不断更新、问题目标不能明显和精确地定义，以及通过很长的执行过程才能确定当前行为的价值等。同神经网络一样，遗传算法的研究已经发展为人工智能的一个独立分支。7.5.4综合分类（5）联接学习。典型的联接模型实现为人工神