第四章 机器学习

人工智能概述华东理工大学自动化系刘漫丹第四章机器学习本章内容4.1机器学习的研究意义及发展历史4.2机器学习的主要策略与基本结构4.3

常用的学习方法4.4神经网络学习定义学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。机器学习（MachineLearning）是研究如何使用机器来模拟人类学习活动的一门学科，即机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。4.1机器学习的研究意义及发展历史发展历史热烈时期：50年代中叶到60年代中叶，无知识学习；冷静时期：60年代中叶至70年代中叶，单一概念学习；复兴时期：70年代中叶至80年代中叶，多概念学习，自动获取知识；最新阶段：1986年，《MachineLearning》创刊。4.1机器学习的研究意义及发展历史本章内容4.1机器学习的研究意义及发展历史4.2机器学习的主要策略与基本结构4.3

常用的学习方法4.4神经网络学习主要策略学习与推理学习中所用推理越多，系统的能力就越强；主要策略：机械学习、传授学习、类比学习、示例学习、基于解释的学习、强化学习、神经学习等。4.2机器学习的主要策略与基本结构基本结构环境：提供信息；学习：修改知识库；知识库：存放规则；

表达能力强、易于推理、容易修改知识库、知识表示易于扩展。执行（核心）：完成任务并把获得的信息反馈给学习部分。4.2机器学习的主要策略与基本结构本章内容4.1机器学习的研究意义及发展历史4.2机器学习的主要策略与基本结构4.3

常用的学习方法4.4神经网络学习机械学习最简单的机器学习方法把新的知识存储起来，供需要时检索调用，而不需要计算和推理机械学习是最基本的学习过程，任何学习系统都必须记住它们获取的知识。例：受损汽车修理费用的汽车保险程序把计算问题化简成存取问题，例：解一元二次方程。4.3常用的学习方法机械学习的主要问题存储组织信息：采用适当的存储方式，使检索速度尽可能地快；环境的稳定性与存储信息的适用性：要求在某一时刻存储的信息必须适用于后来的情况；存储与计算之间的权衡：如果检索一个数据比重新计算一个数据所花的时间还要多，那么机械学习就失去了意义。4.3常用的学习方法基于事例的学习首先，应用相容启发法，把某个预先观察过的事物的特性赋给另一个从未见过的新事物；其次，学会如何迅速地找到特征空间内的最近邻物体。4.3常用的学习方法基于事例的学习例：已知每块积木的颜色、宽度和高度，假定有一块新的积木，其宽度和高度为1×4cm，要求猜测其颜色。4.3常用的学习方法基于概念的学习类型定义——分类程序4.3常用的学习方法归纳学习归纳：从个别到一般，从部分到整体的一类推论行为。重要特征：由于在进行归纳时，多数情况下不可能考察全部有关的事例，所以归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真。4.3常用的学习方法归纳学习几种归纳推理：枚举归纳张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。王六是足球运动员，他的体格健壮。当事例足够多时，就可归纳出如下一个一般性知识：凡是足球运动员，他的体格一定健壮。4.3常用的学习方法归纳学习几种归纳推理：联想归纳

a具有属性Pl，b也具有属性Pl

a具有属性P2，b也具有属性P2

……

a具有属性Pn，b也具有属性Pn

并且还发现a具有属性Pn+1，则当n足够大时，可归纳出：

b也具有属性Pn+14.3常用的学习方法归纳学习几种归纳推理：类比归纳设A，B分别是两类事物的集合：

A={a1,a2,…}；B={b1,b2,…}，ai与bi总是成对地出现，且当ai有属性P时，bi就有属性Q，即P(ai)→Q(bi)

则当A与B中有新元素出现(a'

和b')，若已知a'

有属性P，就可得出b'有属性Q，即P(a')→Q(b')4.3常用的学习方法归纳学习几种归纳推理：逆推理归纳

(a)若H为真时，则H→E必为真或以置信度cf1成立。

(b)观察到E成立或以置信度cf2成立。

(c)则H以某种置信度(cf)成立。

例如，"若月季花得了黑斑病，就会在植株下部的叶片上出现圆形不整齐的黑斑"，现在发现月季花植株下部的叶片上有黑斑，就会以某种置信度断定该月季花得了黑斑病，并采取相应措施进行根治。4.3常用的学习方法归纳学习几种归纳推理：消除归纳若干假设——某些假设被否定——最后剩下来未被否定的假设例：高烧病人，怀疑患了肠炎、肺炎等与发烧有关的疾病，经化验等进一步诊断后，原先的怀疑就会被逐个排除，最后剩下未被排除的那个假设就可作为病人所患疾病的结论。4.3常用的学习方法本章内容4.1机器学习的研究意义及发展历史4.2机器学习的主要策略与基本结构4.3

常用的学习方法4.4神经网络学习定义人工神经网络（ArtificialNeuralNetwork，简称ANN）是由大量简单的处理单元组成的非线性、自适应、自组织系统，它是在现代神经科学研究成果的基础上，试图通过模拟人类神经系统对信息进行加工、记忆和处理的方式，设计出的一种具有人脑风格的信息处理系统。4.4神经网络学习历史发展4.4神经网络学习WarrenMcCullochandWalterPittsMarvinMinksyandSeymourPapert,theauthorsof"Perceptrons"JohnH.

Hopfield层次划分神经元层次模型：主要研究单个神经元的动态特性和自适应特性，探索神经元对输入信息有选择的响应和某些基本存储功能的机理；4.4神经网络学习层次划分神经元层次模型：主要研究单个神经元的动态特性和自适应特性，探索神经元对输入信息有选择的响应和某些基本存储功能的机理；

McCulloch-Pitts输出函数定义为：4.4神经网络学习InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ层次划分组合式模型：它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务，如模式识别、机器人控制等；网络层次模型：它是由许许多多相同神经元相互连接成的网络，从整体上研究网络的集体特性；4.4神经网络学习4.4神经网络学习x1y1输出层隐藏层输入层x2y2ymxn…………层次划分神经系统层次模型：一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质，如自动识别、概念形成、全局稳定控制等；智能型模型：最抽象的层次，以语言形式模拟人脑信息处理的运行、过程、算法和策略。试图模拟如感知、思维、问题求解等基本过程且与人工智能其它技术紧密相关。4.4神经网络学习神经网络的分类按照网络的性能分连续型网络离散型网络确定性网络随机性网络4.4神经网络学习神经网络的分类按照网络的结构分反馈网络前向网络4.4神经网络学习y1y2ym…x1x2xn………………神经网络的分类按照学习方式分监督学习（有教师学习），训练样本集非监督学习（无教师学习），学习系统按照环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某种固有特征。4.4神经网络学习神经网络的分类按照学习方式分再励学习（强化学习），介于上述两种情况之间，外部环境对系统输出结果只给出评价而不是给出正确答案，学习系统通过强化那些受奖励的动作来改善自身性能。4.4神经网络学习神经网络的工作过程学习期——各计算单元状态不变，各连线上的权值可通过学习来修改；工作期——各连接权值固定，计算单元状态变化，以达到某种稳定状态。4.4神经网络学习BP神经网络BP网络（Back-PropagationNetwork）是一单向传播的多层前向网络。由两部分组成：信息的正向传递与误差的反向传播。是一种监督式的学习算法。4.4神经网络学习BP神经网络学习的目的是用网络的实际输出与目标矢量之间的误差来修改其权值，使两者尽可能接近。即：使网络输出层的误差平方和达到最小。4.4神经网络学习BP神经网络通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼近目标的。每一次权值和偏差的变化都与网络误差的影响成正比，并以反向传播的方式传递到每一层的。4.4神经网络学习BP神经网络4.4神经网络学习BP神经网络的设计网络的层数

理论上已经证明：具有偏差和至少一个s型隐含层加上一个线性输出层的网络，能够逼近任何有理函数。增加层数主要可以更进一步地降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。4.4神经网络学习BP神经网络的设计隐含层的神经元数初始权值的选取学习速率

大的学习速率可能导致系统的不稳定，但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而