《人工智能原理及应用》第6章 机器学习

人工智能原理及应用第6章机器学习

AI&itsApplications机器学习

机器学习就是计算机自动获取知识，它是知识工程的3个分支（知识获取、知识表示、知识使用）之一，机器学习是人工智能应用的一个重要领域，也是人工智能的核心研究课题之一。它是解决机器的知识拥有量从而使机器具有智能的根本途径。

第6章主要内容

6.1

机器学习概述

6.2

机械学习

6.3

归纳学习

6.4

解释学习

6.5类比学习

6.6决策树学习

6.7神经网络学习

6.1

机器学习概述6.1.1机器学习的概念6.1.2研究机器学习的意义6.1.3机器学习的发展过程6.1.4机器学习的主要策略

6.1

机器学习概述6.1.1机器学习的概念1．学习的概念学习是系统改善其性能的过程学习就是知识获取学习是对客观经验表示的构造或修改学习是事物规律的发现过程

6.1

机器学习概述6.1.1机器学习的概念2．机器学习的概念 关于机器学习的研究主要集中在：认知模拟：要通过对人类学习机理的研究和模拟，从根本上解决机器学习方面存在的种种问题。

理论性分析：要从理论上探索各种可能的学习方法，并建立起独立于具体应用领域的学习算法。

面向任务的研究：要根据特定任务的要求，建立相应的学习系统。6.1

机器学习概述6.1.2研究机器学习的意义

机器学习速度快便于知识积累学习结果易于传播

6.1

机器学习概述6.1.3机器学习的发展过程1．神经元模型和决策理论的研究2．符号概念获取研究3．知识增强和论域专用学习研究4．连接学习研究

6.1

机器学习概述6.1.4机器学习的主要策略（1）机械学习——外界输入知识的表示方式与系统内部表示方式完全一致，不需要任何处理和变换。

（2）传授学习——外界输入知识的表达方式与系统内部表达方式不完全一致，系统在接受外部知识时，需要一点推理、翻译和转化工作。（3）演绎学习——学习系统由给定的知识进行演绎的保真推理，并存储有用的结论。

（4）归纳学习——应用归纳推理进行学习的一类学习方法。

（5）类比学习——在遇到新的问题时，可以学习以前解决过的类似问题的解决办法，来解决当前的问题。

6.2机械学习6.2.1机械学习的过程6.2.2机械学习系统要考虑的问题

6.2机械学习

机械学习（RoteLearning）又称为记忆学习或死记硬背学习。这种学习方式直接记忆或存储环境提供的新知识，并在以后通过对知识库的检索来直接使用这些知识，而不再需要进行任何的计算和推导。

6.2机械学习6.2.1机械学习的过程机械学习的过程为：执行机构每解决一个问题，系统就记住这个问题和它的解。可以把执行机构抽象地看成某一函数F，该函数的输入是(x1,x2,…,xn)，经推导计算后输出为(y1,y2,…,ym)，如果经过评价得知该计算是正确的，则就把联想对[(x1,x2,…,xn),(y1,y2,…,ym)]存入知识库中，在以后需要计算F(x1,x2,…,xn)时，系统的执行机构就直接从知识库中把(y1,y2,…,ym)检索出来，而不需要再重复进行计算。

6.2机械学习6.2.2机械学习系统要考虑的问题（1）存储结构——只有当对知识库的检索所用时间少于重新计算所用时间时，这种机械学习才有实用价值。

（2）环境的稳定性和存储信息的适用性——使用记忆学习时，总是认为保存的知识或信息以后仍然有效。如果环境变化快，保存的知识或信息就会失效而不能再使用。

（3）存储与计算的权衡——在解决一个新的问题时，是利用知识库中巳存储的信息还是进行重新计算，则要权衡比较二者的代价。

6.3归纳学习6.3.1示例学习6.3.2观察与发现学习

6.3归纳学习归纳学习（InductiveLearning）是指以归纳推理为基础的学习，它是机器学习中研究得较多的一种学习类型，其任务是要从关于某个概念的一系列已知的正例和反例中归纳出一个一般的概念描述。根据学习过程有无导师指导，归纳学习可分为示例学习和观察与发现学习。

6.3归纳学习6.3.1示例学习示例学习（LearningfromExamples）也称为实例学习，它是一种从具体示例中导出一般性知识的归纳学习方法。这种学习方法给学习者提供某一概念的一组正例和反例，学习者从这些例子中归纳出一个总的概念描述，并使这个描述适合于所有的正例，排除所有的反例。

6.3归纳学习6.3.1示例学习1．示例学习的类型（1）按例子的来源分类①例子来源于教师的示例学习②例子来源于学习者本身的示例学习③例子来源于学习者以外的外部环境的示例学习（2）按可用例子的类型分类①仅利用正例的示例学习

②利用正例和反例的示例学习6.3归纳学习6.3.1示例学习2．示例学习的模型

（1）示例空间——是我们向系统提供的示教例子的集合。

（2）解释过程——从搜索到的示例中抽象出所需的信息，并对这些信息进行综合、归纳，形成一般性的知识。（3）规则空间——事物所具有的各种规律的集合。（4）验证过程——要从示例空间中选择新的示例，对刚刚归纳出的规则做进一步的验证和修改。6.3归纳学习6.3.1示例学习

2．示例学习的模型

（5）两空间模型的学习过程——首先应该为例子空间提供足够多的示教例子；然后，由解释过程对示例空间的例子进行解释，并抽象出一般性知识，放入规则空间；此后，由验证过程利用示例空间的示例对这个知识的正确性进行验证，如果发现该知识不正确，则需要再到示例空间中获取示例，并对刚形成的知识进行修正；重复上述循环。

6.3归纳学习6.3.1示例学习

3．示例学习的解释方法

（1）把常量化为变量示例1：示例2：规则1：6.3归纳学习6.3.1示例学习

3．示例学习的解释方法

（2）去掉条件——把示例中的某些无关的子条件舍去。

示例3：为了学习同花的概念，得到上述规则1，除了需要把常量变为变量外，还需要把与花色无关的“点数”子条件舍去。6.3归纳学习6.3.1示例学习

3．示例学习的解释方法

（3）增加选择——在析取条件中增加一个新的析取项。前件析取法：通过对示例的前件的析取来形成知识的。

示例4：示例5：示例6：规则2：6.3归纳学习6.3.1示例学习

3．示例学习的解释方法

（3）增加选择内部析取法：使用集合与集合的成员关系来形成知识的。

示例7：示例8：示例9：规则3：6.3归纳学习6.3.1示例学习3．示例学习的解释方法

（4）曲线拟合——对数值问题的归纳可采用曲线拟合法。

示例10：(0,2,7)示例11：(6,-1,10)示例12：(-1,-5,-16)用最小二乘法进行曲线拟合，x，y，z之间关系的规则可表示如下：规则4：z=2x+3y+16.3归纳学习6.3.2观察与发现学习观察与发现学习（LearningfromObservationandDiscovery）是一种无教师指导的归纳学习。它分为观察学习和发现学习两种。观察学习用于对事例进行概念聚类，形成概念描述；发现学习则用于发现规律，产生定律或规则。6.3归纳学习6.3.2观察与发现学习1．概念聚类

把观察的事物按一定的方式和准则进行分组，使不同的组代表不同的概念，并对每一个组进行特征概括，得到相应概念的语义符号描述的过程就是概念聚类。例如： 喜鹊、麻雀、布谷鸟、乌鸦、鸡、鸭、鹅、啄木鸟、……

通过观察，我们可根据它们是否家养分为如下两类： 鸟＝{喜鹊、麻雀、布谷鸟、乌鸦、啄木鸟、……}

家禽＝{鸡、鸭、鹅、……}6.3归纳学习6.3.2观察与发现学习2．发现学习

发现学习是指由系统的初始知识、观察事例或经验数据中归纳出规律成规则，这是最困难且最富创造性的一种学习。它使用归纳推理，在学习过程中除了初始知识外，教师不进行任何指导，所以它也是无教师指导的归纳学习。

它可分为经验发现与知识发现两种，前者指从经验数据中发现规律和定律，后者指从已观察的事例中发现新的知识。

6.4解释学习6.4.1解释学习的基本原理6.4.2解释学习过程和算法6.4.3解释学习举例6.4解释学习基于解释的学习（Explanation-basedLearning）简称为解释学习，是20世纪80年代中期开始兴起的一种机器学习方法。解释学习根据任务所在领域知识和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。在获取新的知识过程中，通过对属性、表征现象和内在关系等进行解释而学习到新的知识。6.4解释学习6.4.1解释学习的基本原理解释学习也是一种实例学习方法。它与实例学习方法不同之处在于：除实例以外，学习系统还要具有所涉及领域的知识，并且能够根据这些知识对实例进行分析，从而构成解释，产生规则。6.4解释学习6.4.2解释学习过程和算法解释学习一船包括下列3个步骤：（1）利用基于解释的方法对训练实例进行分析与解释，以说明它是目标概念的一个实例。（2）对实例的结构进行概括性解释，建立该训练实例的一个解释结构，以满足对所学概念的定义；解释结构的各个叶节点应符合可操作性准则，且使这种解释比最初的例子适用于更大的一类例子。（3）从解释结构中识别出训练实例的特性，并从中得到更大一类例子的概括性描述，获取一般控制知识。

6.4解释学习6.4.2解释学习过程和算法基于解释的学习一个统一的算法EBG：给定：

（1）目标概念（2）训练实例（3）领域知识（4）操作准则求解：

（1）知识库（2）新规则6.4解释学习6.4.2解释学习过程和算法EBG算法可分为解释和概括两步：（1）解释——即根据领域知识建立一个解释，以证明训练实例如何满足目标概念定义。（2）概括——即对前一步的证明树进行处理，对目标概念进行回归，包括用变量代替常量以及必要的新项合成等工作，从而得到所期望的概念描述。

6.4解释学习6.4.3解释学习举例例6-1通过解释学习获得一个物体可以安全地放置到另一物体上的概念。巳知：目标概念为一对物体(x,y)，使SAFE-TO-STACK(x,y)，有

6.4解释学习6.4.3解释学习举例

训练例子是描述两物体的下列事实：

ON(a,b)ISA(a,brick)ISA(b,endtable)VOLUMN(a,1)DENSITY(a,1)WEIGHT(brick,5)TIMES(1,1,1)LESS(1,5)6.4解释学习6.4.3解释学习举例把一个物体放置到另一个物体上的安全性准则：LIGHTER(x,y)→SAFT-TO-STACK(x,y)WEIGHT(p1,w1)∧WEIGHT(p2,w2)∧LESS(w1,w2)→LIGHTER(p1,p2)VOLUMN(p,V)∧DENSITY(p,D)∧TIMES(V,D,w)→WEIGHT(p,w)ISA(p,endtable)∧WEIGHT(B,s)→WEIGHT(p,s)把证明树中常量换为变量得到一般性规则：VOLUMN(x,V)∧DENSITY(x,D)∧TIMES(V,D,w1)∧ISA(y,endtable)∧WEIGHT(B,w2)∧LESS(w1,w2)→SAFT-TO-STACK(x,y)6.5类比学习6.5.1类比学习的概念6.5.2类比学习的表示6.5.3类比学习的求解6.5类比学习类比学习（LearningbyAnalogy）是人类重要的认知方法，也是经验决策过程中常用的推理方式，它是一种允许知识在具有相似性质的领域中进行转换的学习策略。对于未知的或者所知甚少的领域中的问题，俏借助于已知的熟悉领域来加以解决。类比学习就是寻找和利用事物间的可类比的关系，从已有的知识推导出未知的知识。6.5类比学习6.5.1类比学习的概念类比学习是一种很有效的推理方法，利用它可以清晰地表达截然不同的对象间的相似性，同时，借助这种相似性进行推理后人们可以领会或表达出某些概念的深刻内涵。人类学习过程往往也借助于类比推理来进行。6.5类比学习6.5.2类比学习的表示假设对象的知识是框架集来表示的、则类比学习可描述为把一个称为源框架的槽值传递给另一个称为目标框架的槽中，传递过程分为两步：（1）利用源框架产生若干候选槽，并将这些槽值送到目标框架中去；（2）利用目标框架中现有的信息来筛选上一步提取出来的相似性。6.5类比学习6.5.2类比学习的表示例6-2在“比尔像部消防车”这个例子中，考虑比尔与消防车之间的相似关系。比尔 是一个(ISA) 人 性别 男 活动级 音量 进取心 中等进取心 是一个(ISA) 个人品质6.5类比学习6.5.2类比学习的表示消防车 是一个(ISA) 车辆 性别 红 活动级 快 音量 级高 燃料效率 中等 梯高 异或（长、短）6.5类比学习6.5.2类比学习的表示消防车是源框架，比尔是目标框架。我们的目的是通过类比用源框架的信息来扩充目标框架的内容。为此，先推荐一组槽可以传递槽值，这要用到如下的几条启发式规则：（1）选择那些用极值填写的槽。（2）选择那些已知为重要的槽。（3）选择那些与源框架性质相似且不具有的槽。（4）选择那些与源框架性质相似巳不具有这种槽值的槽。（5）使用源框架上的一切槽。6.5类比学习6.5.2类比学习的表示在类比学习相继使用这些规则，直到找到一组相似性为止，并进行相应的传递。（1）用规则（1），活动级槽和音量级槽填有极值可以首先入选。（2）用规则（2），因本例无确认重要的槽，所以无候选者。（3）用规则（3），将选择梯高，因为该槽不会出现在其他类型的车辆中。（4）用规则（4），颜色槽可选，因为其他车辆的颜色不是红色的。（5）若使用最后一条规则，则消防车的所有槽都入选。6.5类比学习6.5.3类比学习的求解在从源框架选择的槽建立起一组可能的传送框架之后，必须用目标框架的知识加以筛选，使用这种知识的启发式规则如下：（1）选择那些在目标框架中尚未填入的槽。（2）选样那些出现在目标框架“典型”示例的槽。（3）若第（2）步无可选者，则选择那些与目标框架有紧密关系的槽。（4）若仍无可选者，则选择那些与目标框架类似的槽。（5）若再无可选者，则选择那些与目标框架有紧密关系的槽类似的槽。6.6决策树学习6.6.1ID3算法6.6.2实例计算6.6决策树学习ID3（Interative

Dichotomicversion3）算法是J.R.Quinlan于1983年提出的一种在国际上有很大影响的示例学习方法，它的前身是Hunt、Marin和Stone于1966年提出的概念学习系统（ConceptLearningSystem，CLS）。ID3算法对属性的选择给出一种启发式搜索方法，通过计算实例集的熵来选择平均信息量最小的属性来划分实例集，扩展生成决策树。6.6决策树学习6.6.1ID3算法ID3算法的工作过程为：首先找出最有判别力的属性（或特征），把例子集中的数据划分成多个子集，对每个子集再选择最有判别力的属性（或特征）进行划分，一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵判定树或称决策树，可以用它来对新的样例进行分类。6.6决策树学习6.6.1ID3算法一棵判定树可以看做一个对目标数据进行分类或划分的策略，可以描述如下：（1）判定树由一个根节点，若于个叶节点和若干非叶节点构成；（2）根节点对应于学习任务；（3）每个叶节点都包含一个分类名，即包含一个概念；（4）每个非叶节点都包含一个属性测试，对该属性可能取的每一个值，都用一个分支指针指向另一个节点，作为该非叶节点的子节点。6.6决策树学习6.6.1ID3算法ID3算法在CLS算法的基础上引入了启发函数来生成决策树。具体的算法如下：（1）初始化：输入初始学习实例，组成初始学习实例集合T；输入分类属性，组成初始属性表AttrList=(A1,A2,…,Ai,…An)；输入各属性的值Value(A1),Value(A2),…,Value(Ai),…,Value(An)，组成各属性的值域表；（2）若所有的叶节点都是终叶节点，即算法成功终止；否则，转步骤（3）。（3）若当前属性表，则算法失败终止；否则，转步骤（4）。6.6决策树学习6.6.1ID3算法（4）从当前属性表中选择一个属性Ai，使得用Ai划分非终叶节点实例集Tk的平均信息量I(Tk,Ai)最小，并用属性Ai标记该划分的非终叶节点。①若属性Ai的值域表Value(Ai)有s个值，则将非终叶节点实例集Tk中的ek个实例划分为s个子集：Tk1(i),Tk2(i),…,Tkr(i)

,…,Tks(i)

。同一个子集节点中的实例属性Ai有相同的属性值。②计算每个子集的熵：③计算用属性Ai划分Tk的平均信息量：6.6决策树学习6.6.1ID3算法④比较当前属性表中的不同属性划分Tk的平均信息量，取使 的属性Ai来实际划分实例集Tk，并用Ai的属性值标记与子集节点的连接弧。⑤若一个子集中的所有实例的分类结果均为Cj，则该子集节点是称为终叶节点，且用分类结果Cj标记该节；若一个子集为空集，则该子集节点也称为终叶节点，且予以别除，并删除相应的连接弧。（5）删除当前属性表中已用的实际划分实例集Tk的属性Ai，转步骤（2）。6.6决策树学习6.6.2实例计算例6-3根据人员的外貌特征属性进行分类，3个分类特征属性分别是身高、头发颜色、眼睛颜色；分类结果是P和N。 特征属性的值域分别是： 初始属性表为6.6决策树学习6.6.2实例计算现有8个实例组成学习实例集T，如表6-1所示。（1）应用ID3算法生成人员分类决策树。（2）由决策树得出产生式规则集。序号身高发色眼色类别序号身高发色眼色类别1矮亚麻色蓝色P5高黑色蓝色N2高亚麻色黑色N6高亚麻色蓝色P3高棕色蓝色P7高黑色黑色N4矮黑色蓝色N8矮亚麻色黑色N6.6决策树学习6.6.1ID3算法【解】（1）由表6-1给出的学习实例集可得出初始实例集T：（2）由决策树得出产生式规则集：

6.7神经网络学习6.7.1神经网络学习的概念6.7.2感知器学习6.7.3BP网络学习6.7.4Hopfield网络学习

6.7神经网络学习神经网络学习也称为联结学习，它是一种基于人工神经网络的学习方法。本节在神经计算的基础上重点讨论神经网络学习问题，包括感知器学习、BP网络学习和Hopfield网络学习。关于神经网络的概念请参考本书的计算智能部分的内容。6.7神经网络学习6.7.1神经网络学习的概念神经网络能够通过学习，改变其内部状态，使输入—输出呈现出某种规律性。神经网络学习一般是利用一组称为样本的数据，作为神经网络的输入（和输出），神经网络按照一定的训练规则（又称学习规则或学习算法）自动调节神经元之间的连接强度或拓扑结构，当网络的实际输出满足期望的要求，或者趋于稳定时，则认为学习成功。6.7神经网络学习6.7.1神经网络学习的概念1．学习方法分类 从不同角度考虑，神经网络的学习方法有不同的分类。外部影响内部变化算法性质输入要求有导师学习强化学习无导师学习权值修正拓扑变化权值与拓扑修正确定性学习随机性学习基于相似性学习（例子）学习2.基于命令学习6.7神经网络学习6.7.1神经网络学习的概念2．神经网络学习规则（1）Hebb学习规则Hebb规则可以描述为：如果神经网络中某一神经元与另一直接与其相连的神经元同时牌兴奋状态，那么这两个神经元之间的连接强度应该加强。6.7神经网络学习6.7.1神经网络学习的概念（1）Hebb学习规则Hebb规则可用一算法表达式表示为： 式中，Wij(t+1)表示修正一次后的某一权值；η是一个正常量，决定每次权值修正量，又称为学习因子；Xi(t)Yi(t)分别表示t时刻第i、第j个神经元的状态。6.7神经网络学习6.7.1神经网络学习的概念（2）误差修正规则误差修正规则是一种有导师的学习过程，其基本思想是利用神经网络的期望输出与实际输出之间的偏差作为联结权偏调整的参考，并最终减少这种偏差。6.7神经网络学习6.7.1神经网络学习的概念（2）误差修正规则最基本的误差修正规则规定：联结权值的变化与神经元希望输出和实际输出之差成正比。该规则的联结权值的计算公式为式中，Wij(t)表示时刻t的权值；Wij(t+1)表示对时刻t的权值修正一次后所得到的新的权值；η为学习因子；dj(t)、yj(t)分别表示第j个神经元的期望输出与实际输出；xi(t)为第i个神经元的输入。6.7神经网络学习6.7.1神经网络学习的概念（3）竞争学习规则竞争学习是指网络中某一组神经元相互竞争对外界刺激模式响应的权力，在竞争中获胜的神经元，其联结权值会向着对这一刺激模式竞争更为有利的方向发展。相对来说，竞争获胜的神经元抑制了竞争失败神经元对刺激模式的响应。6.7神经网络学习6.7.1神经网络学习的概念（3）竞争学习规则竞争学习的最简单形式是任一时刻都只允许有一个神经元被激活，其学习过程可描述为：

①将一个输入模式送给输入层LA。

②将LA层神经元的激活值送到下一层LB。

③LB层神经元对LA层送来的刺激模式进行竞争。

④最后，LB层中输出值最大的神经元被激活，其他神经元不被激活，被激活的神经元就是竞争获胜者。6.7神经网络学习6.7.1神经网络学习的概念（4）随机学习规则随机学习的基本思想是结合随机过程、概率和能量（函数）等概念来调整网络的变量，从而使网络的目标函数达到最大（或最小）。其网络变化通常遵循以下规则：

①如果网络变量的变化能使能量函数有更低的值，那么就接受这种变化。

②如果网络变量变化后能量函数没有更低的值，那么就按某一预先选取的概率分布接受这一变化。

6.7神经网络学习6.7.2感知器学习1．单层感知器学习算法单层感知器学习实际上是一种基于纠错学习规则，采用迭代的思想对联结权值和阈值进行不断调整，直到满足结束条件为止的学习算法。6.7神经网络学习6.7.2感知器学习1．单层感知器学习算法单层感知器学习实际上是一种基于纠错学习规则，采用迭代的思想对联结权值和阈值进行不断调整，直到满足结束条件为止的学习算法。6.7神经网络学习6.7.2感知器学习1．单层感知器学习算法单层感知器学习算法可描述如下：（1）设t=0，初始化联结权值和阈值。即给wi(0)(i=1,2,…,n)及θ(0)分别赋予一个较小的非零随机数，作为它们的初始值。其中，wi(0)是第0次迭代时输入向量中第i个输入的联结权值，θ(0)是第0次迭代时输出结点的阂值。（2）提供新的样本输入和期望输出。（3）计算网络的实际输出6.7神经网络学习6.7.2感知器学习（4）若y(t)=1，不需要调整联结权值，转（6）。否则，需要调整联结权值，执行下一步。（5）调整联结权值 式中，0<η≤1，是一个增益因子，用于控制修改速度，其值不能太大，也不能太小。如果η的值太大，会影响wi(t)的收敛性；如果太小，又会使wi(t)的收敛速度太慢。（6）判断是否满足结束条件，若满足，算法结束；否则，将t值加1，转（2）重新执行。这里的结束条件一般是指wi(t)对一切样本均稳定不变。6.7神经网络学习6.7.2感知器学习2．单层感知器学习的例子例6-1用单层感知器实现逻辑“与”运算。【解】根据“与”运算的逻辑关系，可将问题转换为： 输入向量：X1=(0,0,1,1) X2=(0,1,0,1)

输出向量：Y=(0,0,0,1)6.7神经网络学习6.7.2感知器学习对初始联结权值和阈值取值如下：并取增益因子：网络的实际输出：

6.7神经网络学习6.7.2感知器学习算法的学习过程如下：（1）设感知器的两个输入为x1(0)=0和x2(0)=0，其期望输出为d(0)=0，实际输出为：实际输出与期望输出相同，不需要调节权值。6.7神经网络学习6.7.2感知器学习（2）再取下一组输入为x1(0)=0和x2(0)=1，其期望输出为d(0)=0，实际输出为：实际输出与期望输出不同，需要调节权值，其调整如下：6.7神经网络学习6.7.2感知器学习（3）再取下一组输入为x1(1)=0和x2(1)=1，其期望输出为d(1)=0，实际输出为：实际输出与期望输出相同，不需要调节权值。6.7神经网络学习6.7.2感知器学习（4）再取下一组输入为x1(1)=1和x2(1)=1，其期望输出为d(1)=1，实际输出为：实际输出与期望输出不同，需要调节权值，其调整如下：6.7神经网络学习6.7.2感知器学习（5）再取下一组输入为x1(2)=0和x2(2)=0，其期望输出为d(2)=0，实际输出为：实际输出与期望输出相同，不需要调节权值。6.7神经网络学习6.7.2感知器学习（6）再取下一组输入为x1(2)=0和x2(2)=1，其期望输出为d(2)=0，实际输出为：实际输出与期望输出不同，需要调节权值，其调整如下：6.7神经网络学习6.7.2感知器学习（7）此时，可检验如下： 对输入(0,0)有： 对输入(0,1)有： 对输入(1,0)有： 对输入(1,1)有：实际输出与期望输出相同，阈值和联结权值已满足结束条件，算法可以结束。6.7神经网络学习6.7.2感知器学习3．多层感知器学习问题多层感知器是通过在单层感知器的输人、输出层之间加人一层或多层处理单元所构成的。多层感知器可以很好地解决线性不可分问题。但由于多层感知器的隐层神经元的期望输出不易准确给出，因此单层感知器的学习算法很难直接用于多层感知器的学习。6.7神经网络学习6.7.3BP网络学习

BP（Back-Propagation）网络即误差反向传播网络是最广泛的一种神经网络模型。（1）BP网络的拓扑结构为分层前向网络。（2）神经元的特性函数为S型函数，一般取为（3）输入为连续信号量（实数）。（4）学习方式为导师学习。（5）学习算法为推广的δ学习规则，称为误差反向传播算法，简称BP学习算法。6.7神经网络学习6.7.3BP网络学习

1．BP网络学习算法（1）初始化网络权值、阈值及有关参数（如学习因子η等）。（2）计算总误差

如果总误差E能满足要求，则网络学习成功，算法结束。否则，转到（3）。6.7神经网络学习6.7.3BP网络学习

（3）对样本集中各个样本依次重复以下过程，然后转第（2）步。 首先，取一样本数据输入网络，然后按如下公式向前计算各层节点（记为j）的输出： 其次，从输出层节点到输入层节点以反向顺序，对各连接权值按下面的公式进行修正：6.7神经网络学习6.7.3BP网络学习

可以看出，网络学习的目的