机器学习的意义

1、 Chapter 7Chapter 7 Machine Learning (机器学习机器学习)机器学习的意义学习的定义（四种观点）Simon的学习模型信息/知识的级别(level) （传统）机器学习的方法（传统）机器学习的方法1一. 机器学习的意义 机器学习就是计算机自动获取知识，是知识工程三分支（表示知识、使用知识、获取知识）之一。 机器学习2二. 学习的定义（四种观点） 1. 获取知识的过程 2. 掌握技能的过程 3. 系统改善自身性能的过程 4. 建立理论、形成假设、发现事物规律、进行归纳推理的过程 机器学习 3三. Simon的学习模型圆圈代表信息/知识的集合 环境 外界提供的信息/知

2、识 知识库系统具有的知识方框代表环节 学习环节由环境提供的信息生成知识库中的知识 执行环节利用知识库的知识完成某种任务，并把执行中 获得的信息反馈给学习环节，进而改进知识库。机器学习 环境学习环节知识库执行环节4四. 信息/知识的级别(level) 和 机器学习的类型 LE 环境提供的信息/知识的级别 LK 知识库中提供的信息/知识的级别 （高抽象、概括、一般 低具体、详细、个别） 1） 记忆学习 LE = LK 2） 传授学习 LE LK 3） 归纳学习 LE LK （还有演绎学习、类比学习 LE = LK ） 机器学习实例学习（有示教）观察与发现学习（无示教）51）记忆学习（Rote Le

3、arning） LE = LK记忆学习就是存储知识 存储环境提供的或经计算和推导得到的知识。再需要时，可以直接检索知识库得到这些知识，而不必次计算和推导。 知识（联想）对 ),.),.,(),.),.,(111/1mnmnYYXXYYXX，（记忆组合对推理计算6记忆学习（Rote Learning）例1 估算汽车修理费输入信息：车型、车龄、故障 估算：修理费 先查知识库；如未查到，才所有保险公司提供的复杂公式进行估算，并将 知识（联想）对 输入信息，估算结果 存入知识库，供以后使用。 7记忆学习（Rote Learning）例2 Samuel下棋程序记忆棋局最佳走步：ABCD ，再遇到棋局A时

4、不必再费时搜索。8 讨论 记忆学习适合于稳定的信息环境 记忆与计算的权衡 对于计算/推理十分简单的情况则不必记忆 知识库知识更新 1）清除过时信息（例：50年代的修理费） 2）吐故纳新（容量满时删去“年龄”最大的记录） 每记入一个新纪录时，已有记录的年龄都加1 被选用的记录年龄减半92）传授学习（Learning by Being Told） LE LK 在这种学习方式下，由外部环境向系统提供一般性的指示或建议，系统把它们具体地转化为 细节知识，并加入知识库中。10传授学习的过程（5步）1)要求（请求专家提出建议） 被动式：被动等待专家提供建议 主动式：主动吸引专家注意力，请求专家建议指导2)

5、解释 把建议转成内部表示形式3)具体化 将内部表示形式转化为执行环节可用的规则。 这是由抽象到具体，由级别高到级别低的过程。4)加入知识库 将新规则并入知识库。 注意：为防出现矛盾、冗余、环路等问题，要进行一致性检查。5)评价 执行环节在使用中检验新规则（有假设成分）是否正确。如不正确，反馈给学习环节，自动删除或报告给专家；由专家确定故障原因，提出新建议。11两类传授学习 全自动的机器学习 1)5)步全由机器实现 半自动的机器学习 专家完成其中几步123）归纳学习 LE LK3-1) 实例学习（Learning from Example） （有示教） 通过从环境中取得若干与某概念有关的例子，经

6、归纳推理归纳推理得出一般性概念。 在这种学习方法中，外部环境提供给系统一些特殊的实例，这些实例事先被划分为正例和反例。例1：学习“狗”的概念 给出正例、反例，程序总结出什么是狗例2：学习下棋 给出一些具体棋局及正/误走法，程序归纳出下棋的一般规律13实例学习的两个空间模型验证过程解释过程示例空间规则空间(选择例子)(解释例子)14归纳推理归纳推理的实现方法(1)化常量常量为变量变量学习“同花”(FLUSH)的概念，提供两个正例 正例1：SUIT(C1,Clubs)SUIT(C2,Clubs)SUIT(C3,Clubs)SUIT(C4,Clubs)SUIT(C5,Clubs) FLUSH(C1,

7、C2,C3,C4,C5) 正例2：SUIT(C1,Spades)SUIT(C2, Spades)SUIT(C3, Spades)SUIT(C4, Spades)SUIT(C5, Spades)FLUSH(C1,C2,C3,C4,C5)归纳出规则1 ：SUIT(C1,X)SUIT(C2,X)SUIT(C3,X)SUIT(C4,X)SUIT(C5,X) FLUSH(C1,C2,C3,C4,C5)15归纳推理归纳推理的实现方法(2)去掉条件也可以归纳出规则1 ：SUIT(C1,X)SUIT(C2,X)SUIT(C3,X)SUIT(C4,X)SUIT(C5,X) FLUSH(C1,C2,C3,C4,C

8、5)正例3 SUIT(C1,X)RANK(C1,3)SUIT(C2,X)RANK(C2,5)SUIT(C3,X)RANK(C3,7)SUIT(C4,X)RANK(C4,10)SUIT(C5,X)RANK(C5,K)FLUSH(C1,C2,C3,C4,C5)正例4SUIT(C1,X)RANK(C1,1)SUIT(C2,X)RANK(C2,2)SUIT(C3,X)RANK(C3,6)SUIT(C4,X)RANK(C4,9)SUIT(C5,X)RANK(C5,J)FLUSH(C1,C2,C3,C4,C5)16归纳推理归纳推理的实现方法(3)增加选择正例5：RANK(C1,J)FACE(C1)正例6：

9、 RANK(C1,K)FACE(C1)归纳出：规则2 RANK(C1,J) RANK(C1,Q) RANK(C1,K) FACE(C1)方法(3)增加选择（增加析取项）是范围扩大方法(2)去掉条件（去掉合取项）也是范围扩大方法(1)常量化为变量也是范围扩大 17归纳推理归纳推理的实现方法(4)曲线(面)拟合正例7 (0 ,2 ,7)为曲面上的点正例8 (6,-1,10)为曲面上的点正例9 (-1,-5,-16)为曲面上的点归纳出 Z2X+3Y+1方法(4)由点到面也是范围扩大18归纳推理的归纳推理的 中间步骤中间步骤 可能出错（不保真）可能出错（不保真）例如正例5：RANK(C1,J)FACE(C1)正例6： RANK(C1,K)FACE(C1)如果用方法 (1)化常量为变量， 归纳出的规则2 RANK(C1,X) FACE(C1) 就是错误的因为在示例空间中找到反例 rank(C1,3) FACE(C1) ，所以删除规则2，改用方法 (3)增加选择，归纳出正确的规则2 RANK(C1,J) RANK(C1,Q)