机器学习人工智能原理与应用

机器学习就是计算机自动获得学问，它是学问工程的三个分支（运用学问、表实学问、获得学问）之一。这一章将介绍机器学习的基本问题，包括：为什么探讨机器学习、什么是机器学习、机器学习的发展历史、学习的一个模型、机器学习的分类和机器学习的探讨目标。6.1概述

1.学习的概念学习是人类具有的一种重要智能行为，但原委什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。依据人工智能大师西蒙的观点，学习就是系统在不断重复的工作中对本身实力的增加或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。西蒙对学习给出的定义本身，就说明白学习的重要作用。6.1.1什么是机器学习2、机器学习什么叫做机器学习(machinelearning)？至今，还没有统一的“机器学习”定义，而且也很难给出一个公认的和精确的定义。为了便于进行探讨和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是探讨如何运用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门探讨机器获得新学问和新技能，并识别现有学问的学问。这里所说的“机器”，指的就是计算机；现在是电子计算机，以后还可能是中子计算机、光子计算机或神经计算机等等。6.1专家系统概述6.1.1什么是机器学习1、机器学习速度惊人；2、机器学习可以把学习不断地持续下去，避开大量的重复学习，使学问积累达到新的高度；3、机器学习有利于学问的传播。6.1专家系统概述6.1.2探讨机器学习的意义自从50年头起先探讨机器学习以来，在不同时期的探讨途径和目标也不同。可以划分三个阶段。其探讨内容分别为：神经模型和决策理论；符号概念获得；学问加强和论域专用学习；连接学习的探讨。各阶段的区分主要在于学习系统中先验学问的数量和系统中表实与修改学问的方法。6.1专家系统概述6.1.3机器学习的发展史6.1专家系统概述6.1.3机器学习的发展史1、神经模型和决策理论

神经模型途径是要发展初始学问很少的通用学习系统。这类系统通常称为神经网或自组织系统。系统包括一个由互连的元件组成的网络。这些元件类似于神经元，它们实现简洁的逻辑功能，通常是阈值逻辑功能。这种系统的学习过程是逐步修改元件间的连接强度，一般是连续变更赋给这些连接的权值。系统的初始学问是选定输入元件、网络结构和初始连接强度。选定的输入元件表实对象的选定的属性。网络结构可能是随意的，或是设计者支配的，或是二者的混合。（后续）

6.1专家系统概述6.1.3机器学习的发展史（承上）这类学习系统包括Perceptron,Pandemonium和运用鉴别功能的学习系统。近期的例子是各种自适应限制系统。这一领域的探讨导致了在模式识别中的决策理论方法。这类探讨有进化学习和遗传学算法。这一领域的最新成果是连接机。

这一类系统的主要特点是初始学问的层次低，且运用连续可变的参数进行学习。这类学习有数值化的特征，这与后两类学习不同。后两类学习更强调产生和处理困难的符号结构。

6.1专家系统概述6.1.3机器学习的发展史2、符号概念获得（SCA）

这类学习过程是通过分析一些概念的正例和反例构造出这些概念的符号表实。表实的形式一般是逻辑表达式、决策树、产生式规则或语义网络。某些系统已经好用于不同的领域。例如ARCH（Winston,1975）,AQVAL(Michalski,1975)和ID3（Quinlan,1979）。

6.1专家系统概述6.1.3机器学习的发展史3、学问加强和论域专用学习（KDL）

系统包括预先确定的概念、学问结构、论域约束、启发式规则和论域有关的变换。系统在起先并不具有全部的属性或概念，在学习过程中系统应得到一些新的属性或概念。这个过程称为构造性的归纳。KDL和SCA之间的主要区分在于供应应系统的背景学问的数量和种类，也在于系统产生的学问结构的丰度。这类学习系统一般是为特地的领域开发的，不能干脆用于其它领域。这类系统的学习策略不仅有实例学习，而且有类比学习、视察和发觉学习。这类系统的例子有Meta-DENDRAL和AM。

6.1专家系统概述6.1.3机器学习的发展史（承上）很多系统体现出上述途径的组合。SCA和KDL途径的一种组合就是基于可交换学问模块的系统。这种系统把通用学习机理和定义与运用论域专用学问的功能组合起来。当要系统解决一个问题时，老师通过系统的学问表实功能给它供应论域专用学问。由于把通用推理功能从论域专用学问中分出来，所以一个学习系统可以用于很多不同论域，同时还可利用论域专用学问。这类系统有INDUCE它由实例学习对象的结构描述。Winston的类比学习程序。LEX获得和改进问题求解的启发式。EURISKO发觉新的启发式。

6.1专家系统概述6.1.3机器学习的发展史4、连接学习的探讨这一阶段始于20世纪80年头中期，是一种以非线性大规模并行处理为主流的神经网络探讨，该探讨目前仍在接着进行之中。6.1专家系统概述6.1.4机器学习的主要策略对机器学习的分类可以由下列几方面进行：学习策略、学问表实和应用领域。学习策略是学习中运用的推理方法。下面将按学习策略分类，以便系统介绍不同的方法。

学习系统总是把环境供应的信息变换成新的形式，以便存贮和运用。这种变换的性质确定了学习策略的类型。几种基本策略是：机械学习（记忆学习））、传授学习、演绎学习、类比学习和归纳学习。归纳学习又分为实例学习、视察与发觉学习。这些策略是按变换困难性递增的次序排列的。变换越困难，学习者的工作越多，施教者的工作越少。人类的学习往往同时运用多种策略。这里划分不同的策略，不仅是为了介绍不同的方法，而且是便于设计学习系统。虽然现有的学习系统还只运用单一的策略，多种策略系统也将受到重视。

6.1专家系统概述1、机械学习（记忆学习在机械学习（记忆学习)中基本没有变换。由施教者供应的信息或多或少被学习系统记忆和运用。这时环境供应的信息与执行环节运用的信息有相同的水平，同样的形式。事实上每台计算机都可以看作是机械学习（记忆学习),因为它们都存贮用户送入的程序。一个例子是Samuel的西洋象棋程序（1956，1967），它记忆每个棋局以便提高下棋水平。

6.1.4机器学习的主要策略6.1专家系统概述6.1.4机器学习的主要策略2、传授学习（指引学习）

在传授学习中，学习环节进行的变换只是对施教者供应的信息进行选择和改造，这主要是在语法层的变换。这时环境供应的信息过于抽象，它的水平高于执行环节所用信息的水平。学习环节把较高水平的学问变换为较低水平的学问。这种变换称为好用化。好用化主要有下列步骤：由传授的信息推出结论，作出假设以补充一些微小环节和确定何时须要进一步传授。好用化过程类似于编译系统把高级语言程序变换成机器码程序。第一个例子是McCarthy(1958)的系统。最近的系统有TEIRESLAS（Davis,1976）和FOO（Mostow,1979和1981）。

6.1专家系统概述6.1.4机器学习的主要策略3、演绎学习

在演绎学习中，学习系统由给定的学问进行演绎的保真推理，并存储有用的结论。这种策略近几年才作为一种独立的学习策略。（Michalski,1983）演绎学习包括学问改造、学问编译、产生宏操作、保持等价的操作和它保真变换。

6.1专家系统概述6.1.4机器学习的主要策略4、归纳学习

在归纳学习中，变换过程是对输入信息的一般化和选择最合理的预期结果，这就是归纳推理。归纳学习可以分为以下实例学习、视察与发觉学习。（具体介绍请参阅下页）

6.1专家系统概述6.1.4机器学习的主要策略（1）实例学习

实例学习又称为概念获得，它的任务是确定概念的一般描述，这个描述应说明全部给定的正例并解除全部给定的反例。这些正反例是由信息源供应的，信息源可能是已经知道概念的施教者，也可能是学生做试验而系统从中得到反馈的环境。后者可称为试验学习，包括由做学习和由问题求解学习。刺激反应式学习也是一种实例学习。

新对实例学习的探讨集中在两个方面：例子一类型的一般化，部分一整体的一般化。在例子一类型的一般化中，供应应系统某一类对象的独立的实例，系统的目标是归纳出这些类的一般描述。实例学习的多数探讨集中在这一方面。对象可能是结构化的部件、几何形态、疾病描述、故事、问题的解、限制算子等。在部分一整体的一般化中，任务是假设整个对象（情景，状况，过程）的描述，但只给定了对象的局部。例如，只给定一个房间的几张局部的照片，要重构房间的整个视图。又如，只看到一个序列或过程的一部分，要确定描述该序列或过程的规则。

6.1专家系统概述6.1.4机器学习的主要策略（2）视察与发觉学习

视察与发觉学习又称为描述的一般化。这类学习没有实教者的学习帮助，它要产生说明全部或大多数视察的规律和规则。这类学习包括概念聚类、构造分类、使方程符合数据、发觉说明视察的定律和形成理论；遗传学算法（Holland,1986）和阅历预料算法（Zagoruiko,1976）可以看作这种策略的变种。

实例学习是由正反例学习，这些正反例是由施教者分类的。因此实例学习是有实教的学习。视察与发觉学习是由未经分类的视察学习，或由系统自身的功能去发觉。这是无实教的学习。

6.1专家系统概述6.1.4机器学习的主要策略5、类比学习

类比学习是演绎学习与归纳学习的组合。它匹配不同论域的描述，确定公共的子结构，以此作为类比映射的基础。找寻公共子结构是归纳推理，而实现类比映射是演绎推理。由提示学习可以看作一种类比学习（Schank,1982）。类比学习是由系统已有的某一领域学问得到另一领域中类似的学问。

6.2机器学习系统的基本模型一般把学习看作是建立理论，形成假设和进行归纳推理。理论能从本质上更深刻地描述和说明客观现象，因此要建立理论。为了说明一些特殊现象，往往要发觉各种可能的假说。有时要从特殊的实例推导出一般的规律，即进行归纳推理。学习过程总是与环境和学问库有关，因此可以用下图所实的模型描述。6.2机器学习系统的基本模型模型中包含学习系统的四个基本组成环节。环境和学问库是以某种学问表实形式表达的信息的集合，分别代表外界信息来源和系统具有的学问。学习环节和执行环节代表两个过程。学习环节处理环境供应的信息，以便改善学问库中的显式学问。执行环节利用学问库中的学问来完成某种任务，并把执行中获得的信息回送给学习环节。下面探讨系统中各环节。

6.2机器学习系统的基本模型6.2.1环境环境可以是系统的工作对象，也可以包括工作对象和外界条件。例如在医疗系统中，环境就是病人新的症状、检验的数据和病历；在模式识别中，环境就是待识别的图形或景物；在限制系统中，环境就是受控的设备或生产流程。就环境供应应系统的信息来说，信息的水平和质量对学习系统有很大影响。

信息的水平是指信息的一般性程度，也就是适用范围的广泛性。这里的一般性程度是相对执行环节的要求而言。高水平信息比较抽象，适用于更广泛的问题。低水平信息比较具体，只适用于个别的问题。环境供应的信息水平和执行环节所需的信息水平之间往往有差距，学习环节的任务就是解决水平差距问题。（接下页）6.2机器学习系统的基本模型6.2.1环境（接上页）假如环境供应较抽象的高水平信息，学习环节就要补充遗漏的微小环节，以便执行环节能用于具体状况。假如环境供应较具体的低水平信息，即在特殊状况执行任务的实例，学习环境就要由此归纳出规则，以便用于完成更广的任务。

信息的质量是指：正确性、适当的选择和合理的组织。信息质量对学习难度有明显的影响。例如，若施教者向系统供应精确的实教例子，而且供应例子的次序也有利于学习，则简洁进行归纳。若实教例子中有干扰，或实例的次序不合理，则难以归纳。

6.2机器学习系统的基本模型6.2.3学问库影响学习系统设计的其次个因素是学问库的形式和内容。

学问库的形式就是学问表实的形式。常用的学问表实方法有：特征向量、谓词演算、产生式规则、过程、LISP函数、数字多项式、语义网络和框架。选择学问表实方法要考虑下列准则：可表达性、推理难度、可修改性和可扩充性。下面以特征向量和谓词演算方法为例说明这些准则。

可表达性方面特征向量适于描述缺乏内在结构的事物，它以一个固定的特征集合来描述事物。谓词演算则适于描述结构化的事物。（后续）

6.2.2学习环节（放到后面同执行环节一同讲解）6.2机器学习系统的基本模型6.2.3学问库（承上）推理难度方面一种常用的推理是比较两个描述是否等效。明显判定两个特征向量等效较简洁，判定两个谓词表达式等效的代价就较大。

可修改性方面特征向量和谓词演算这类显式的表实都简洁修改。过程表实等隐式的方法就难以修改，可扩充性是指学习系统通过增加词典条目和表实结构来扩大表实实力，以便学习更困难的学问。一个例子是AM（Lenat,1983），它可依据老概念定义新概念。

学问库的内容中，初始学问是很重要的。它总要利用初始学问去理解环境供应的信息，以便形成和改进假设。学习系统实质上是对旧学问库的扩充和完善。

6.2机器学习系统的基本模型

6.2.2学习环节与6.2.4执行环节学习环节的目的就是改善执行环节的行为。执行环节的困难性、反馈和透亮度都对学习环节有影响。

困难的任务须要更多的学问。二分分类是最简洁的任务，只需一条规则。某个玩朴克的程序有约20条规则。在由实例学习中，可以按任务困难性分成三类。一类是基于单一概念或规则的分类或预料。一类是包含多个概念的任务。一类是多步执行的任务。

执行环节给学习环节的反馈也很重要。学习系统都要用某种方法去评价学习环节举荐的假设。一种方法是用独立的学问库作这种评价。例如AM程序用一些启发式规则评价学到的新概念的重要性。另一种方法是以环境作为客观的执行标准，系统判定执行环节是否按预期标准工作，由此反馈信息评价当时的假设。

若执行环节有较好的透亮度，学习环节就简洁追踪执行环节的行为。6.3机械学习（记忆学习）记忆学习(RoteLearning)又称为机械学习或死记硬背学习。这种学习干脆记忆环境供应的新学问，并干脆运用它们，对它们不作任何变换。

对于记忆学习有两种极端的观点。一种观点认为，存储对任何智能程序都是必要的、基本的，它不是独立的学习过程，不必要特地探讨。另一种观点认为，存储是一个困难问题，对任何认知系统都是必要的，因此要具体探讨并模型化。一种折衷的观点认为，一般学习系统不会只是记忆学习，但记忆学习是任何学习系统的一部分。任何学习系统都要存储和运用它获得的学问，因此要建立记忆学习过程，以便存放和读取学问库中的学问。

6.3机械学习（记忆学习）6.3.1机械学习（记忆学习）的过程Lenat(1979)提出一种独特的观点，他把记忆学习看作最低层次的数据处理。他划分的数据处理层次如图7.1所实。假如一个计算结果有普遍意义，就存储起来。这就把计算任务简化为存取任务。记忆是简化数据处理，以空间换取时间的手段。图7.1数据处理的层次

6.3机械学习（记忆学习）6.3.2机械学习（记忆学习）系统主要考虑的问题机械学习（记忆学习）（记忆学习）的设计要考虑三个问题：存储结构、稳定性和记忆与计算的权衡。

1.存储结构

只有读取所用时间少于重新计算所用时间时，机械学习（记忆学习）（记忆学习）才有好用价值。为了快速读取存储的内容，就要合理组织存储结构。在数据结构和数据库等领域已经详尽探讨了排序、检索和杂凑方法等有关问题。

2.环境稳定性

运用机械学习（记忆学习）（记忆学习）时，总是认为保存的信息以后照旧有效。假如环境变更快，保存的信息就会失效而不能再运用。例如记忆的50年头汽车修理费用不能用来估计80年头汽车修理费用。解决方法是随时监视环境的变更，不断更新保存的信息。

6.3机械学习（记忆学习）6.3.2机械学习（记忆学习）系统主要考虑的问题3.记忆与计算的权衡

为了确定是利用存储的信息还是重新计算，要比较二者的代价。例如在数学用表中有三角函数表，可干脆查表不必计算。因为计算比查表困难。但在数学用表中不列出两数乘积表，因计算并不困难。可用两种方法选择是记忆还是计算。一种是代价效益分析法。它在首次得到一个信息时，确定是否有必要保存它。这时要考虑该信息以后运用的概率、存储空间和计算代价。另一种是有选择的放弃。保存的内容在读取时加上时间标记，这就是最终运用的时间。保存一项新内容时，要删除一项旧内容，这是未运用的时间最长的旧内容。

6.4传授式学习传授学习(LearningbyBeingTold或LearningbyInstruction)又称为指引学习。这时，环境供应的信息较抽象，水平较高，学习环节把这些信息变换成执行环节运用的较低水平的信息。

1.要求

这是恳求专家提出建议。有时对专家的要求是简洁的，即请专家供应一般的建议。有时要求是困难的，即请专家识别学问库的欠缺，并提出修改方法。有些系统是被动的，它消极等待专家提出建议。有些系统是主动的，它把专家留意力引向特定的问题。

2.说明

这是把专家建议转成内部表实，是学问表实问题。内部表实应包含建议的全部信息。假如用自然语言提出建议，说明过程应包括自然语言理解。

6.4传授式学习3.好用化

这是传授学习的信息变换过程，它把抽象的建议转成具体的学问。好用化过程类似于自动程序设计。前者由建议得到好用的规则，后者由程序说明得到程序。二者也存在差别。后者要求得到完全正确的程序，强调程序的正确性。前者往往运用弱方法，不保证完全正确。好用化过程有时作摸爽性的假设和近似，只能要求其合理性。得到的假设还要经过检验和修改。

4.归并

这是把新学问加入学问库。这有可能造成旧学问的错误运用。一个问题是新旧学问适用范围的重迭。另一个问题是它们结论的冲突。假如新旧规则的条件部分重迭，就会在该运用旧规则时错误运用了新规则。可以修改规则条件以防止重迭，也可以用元规则对规则排序。为了解决结论的冲突。可以修改规则，也可以用元规则选用合理的规则，解除不合理的。

6.4传授式学习5.评价

好用化得到的新学问往往是假设，要经过验证和修改。假如评价中发觉了问题，要进行故障分析和学问库修改。

上述五步中，好用化是过程的核心。正是在这一步实现信息水平的变换。Mostow(1981)按用途、论域和精度对好用化方法进行了分类，还给出好用化的13个例子。有的例子要经过约100次变换，有的只要8次变换。

传授学习的例子有Mostow的FOO和Davis的TEIRESLAS。TEIRESLAS通过和用户对话，把用户的一般性看法或指实具体化，或帮助用户修改学问库。该程序用产生式规则来选择合适的投资市场。6.5类比学习类比学习(LearningbyAnalogy)是获得新概念或新技巧的方法，它把类似这些新概念或新技巧的已知学问转换为适于新状况的形式。类比学习的第一步是从记忆中找到类似的概念或技巧，其次步是把它们转换为新形式以便用于新状况。例如人类的一种学习方式是先由老师教学生解例题(先例)，再给学生留习题。学生找寻在例题和习题间的对应关系，利用解决例题的学问去解决习题中的问题。学生经过一般化归纳推出原理，以便以后运用。这种类比学习方式是人类常用的。

6.5类比学习6.5.1学习新概念利用类比学习方法学习新概念或新技巧时，它要把类似这些新概念或新技巧的已知学问转化为适于新状况的形式。6.5类比学习6.5.2学习问题的求解方法问题求解基本过程：

1.比较新状态与目标状态。

2.选择可以减小这个差异的操作。

3.假如前提满足就运用这个操作，否则保存新状态，并用中间结局分析解决子问题，以便实现未满足的前提。

4.在解决子问题后，再取出保存的状态，接着处理原问题。转换类比学习主要有两步：回忆过程和变换过程。回忆过程用于找出新旧问题间的差别，包括：

1.新问题与旧问题的初始状态之间的差异。

2.新问题与旧问题的目标状态之间的差异。

3.新问题与旧问题的路径约束之间的差异。

4.满足新问题的操作前提在全部前提中的比例，称为候选解的可用性。

6.6归纳学习6.6.1实例学习实例学习是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境(老师)供应的是一组例子(正例和反例)，这些例子事实上是一组特殊的学问，每一个例子表达了仅适用于该例子的学问，实例学习就是要从这些特殊学问中归纳出适用于更大范围的一般性学问，它将覆盖全部的正例并解除全部反例。例如，假如我们用一批动物作为实例，并且告知学习系统哪一个动物是“马”，哪一个动物不是，当实例足够多时，学习系统就能一般出关于“马”的概念模型，使自己能识别马，并且能把马与其它动物区分开来，这一学习过程就是实例学习。6.6归纳学习6.6.1实例学习实例学习的两个空间模型6.6归纳学习6.6.2视察与发觉学习1、概念聚类

概念聚类就是一种视察学习；人类视察四周的事物，对比各种物体的特性，把它们划分成动物、植物和非生物，并给出每一类的定义。这种把视察的事物划分成几类并建立相应概念的过程就是概念聚类。

传统的聚类分析方法是基于对象相像性的数值测度。这种测度没有考虑到综合特征或描述类型的概念。因此得到的分类缺乏概念描述，并且难以说明。为解决这个问题，产生了概念聚类方法。6.6归纳学习6.6.2视察与发觉学习2、发觉学习发觉学习是由系统的初始学问和视察的数据学习数学、物理和化学等方面的概念和规律。它也运用归纳推理，但是在学习过程中除了初始学问外施教者不进行指导，所以它也是无实教的归纳学习。一类发觉系统是数学发觉系统，典型的系统是AM。本文将介绍这个系统。另一类发觉系统是发觉物理化学规律的系统。有些这种系统主要由视察的数据学习，这些视察可以看作正例。所以它们也可以作为实例学习。其次类系统的例子有：发觉定量规律的系统BACON.6，发觉定性规律的系统GLAUBER，确定化学反应用物质成分的系统STAHL和形成化学反应结构模型的系统DALTON。

6.7基于说明的学习基于说明学习（Explanation-BasedLeaning,简称EBL）起源于阅历学习的探讨。50年头未，对神经元的模拟中独创了用一种符号来标记另一些符号的存储结构模型，这是早期的存储块（chunks）概念。在象棋大师的头脑中就保存着在各种状况下对弈阅历的存储块。80年头初，Newell和Rosenbloom认为，通过获得任务环境中关于模型问题的学问，可以改进系统的性能，chunks可以作为对人类行为进行模拟的模型基础。通过视察问题求解过程，获得阅历chunks，用其代替各个子目标中的困难过程，可以明显提高系统求解的速度。由此奠定了阅历学习的基础。

6.7基于说明的学习6.7.1基于说明学习的工作原理Mitchell等人把基于说明的学习过程定义为两个步骤：

（1）通过求解一个例子来产生说明结构；

（2）对该说明结构进行一般化，获得一般的限制规则。其具体过程如下：

（1）产生说明。用户输入实例后，系统首先进行问题求解。如由目标引导反向推理，从领域学问库中找寻有关规则，使其后件与目标匹配。找到这样的规则后，就把目标作为后件，该规则作为前件，并记录这一因果关系。然后以规则的前件作为子目标，进一步分解推理。如此反复，沿着因果链，直到求解结束。一旦得到解，便证明白该例的目标可满足，并获得了证明的因果说明结构。

（后续）6.7基于说明的学习6.7.1基于说明学习的工作原理（承上）构造说明结构通常有两种方式：一是将问题求解的每一步推理所用的算子汇合，构成动作序列作为说明结构；另一种是自顶向下的遍历证明树结构。前者比较一般，略去了关于实例的某些事实描述；后者比较细致，每个事实都出现在证明树中。说明的构造可以在问题求解的同时进行，也可在问题求解结束后，沿着解路径进行。这两种方式形成了边解边学（Learningwhiledoing）和解完再学（Learningbysolving）两种方法。

（2）对得到的说明结构以及事务进行一般。在这一步，通常实行的方法是将常量转换为变量，即把例子中