工智能及专家系统敖志刚第11章基于神经网络的专家系统PPT文档

1、第第11章章 基于神经网络的专家系统基于神经网络的专家系统 敖志刚敖志刚 编制编制 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 111 神经网络的概念与模型神经网络的概念与模型 1111 生物神经元生物神经元 1112 人工神经网络人工神经网络 112 神经网络模型和算法神经网络模型和算法 1121 感知器的学习结构与算法感知器的学习结构与算法 1122 b-p模型模型 1123 hopfield模型模型 1124 典型的人工神经网络模型典型的人工神经网络模型 113 神经网络专家系统神经网络专家系统 1131 基于神经网络的知识表示与推理基于神经网络的知识表示与推理 1132

2、 基于神经网络的故障诊断专家系统基于神经网络的故障诊断专家系统 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 111 神经网络的概念与模型神经网络的概念与模型 神经网络神经网络(nn)是指由大量神经元互连而成的网络，是指由大量神经元互连而成的网络，包括包括生物生物nn与与人工神经网络人工神经网络(ann)两个方面。两个方面。 所谓所谓生物生物nn是指由中枢神经系统是指由中枢神经系统(脑和脊髓脑和脊髓)及周及周围神经系统围神经系统(感觉神经、运动神经、交感神经、副感觉神经、运动神经、交感神经、副交感神经等交感神经等)所构成的错综复杂的所构成的错综复杂的nn，其中最重，其中最重要的是

3、脑神经系统。要的是脑神经系统。 ann是指运用大量的简单处理单元是指运用大量的简单处理单元(神经元神经元)，由人，由人工方式建立起来的，经广泛并行互连所构成的人工方式建立起来的，经广泛并行互连所构成的人工网络。它的组织能够模拟生物设计系统的真实工网络。它的组织能够模拟生物设计系统的真实世界物体的交互作用，能够模拟人脑神经系统的世界物体的交互作用，能够模拟人脑神经系统的结构和功能。一般可采用结构和功能。一般可采用vlsi、光器件、分子器、光器件、分子器件构造人工神经元。件构造人工神经元。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1111 生物神经元生物神经元 细胞核细胞核神经

4、末稍神经末稍轴突轴突细胞体细胞体树突树突突触突触细胞质细胞质细胞膜细胞膜来自其他细胞轴突的神经末稍来自其他细胞轴突的神经末稍图图11-1 生物神经元的结构生物神经元的结构阈值函数阈值函数器器 轴突轴突细胞体细胞体树突树突突触结合突触结合其他神经元其他神经元的神经末稍的神经末稍图图11-2 11-2 生物神经元的等效方框模式生物神经元的等效方框模式第第11章章 基于神经网络的专家系统基于神经网络的专家系统 神经元的一些重要特性神经元的一些重要特性 动态极化：动态极化：每一神经元的信息都是以预定方向每一神经元的信息都是以预定方向流动的。流动的。 时空整合处理功能。时空整合处理功能。 神经元具有两种

5、常规工作状态：神经元具有两种常规工作状态：即兴奋状态与即兴奋状态与抑制状态。抑制状态。 结构的可塑性。结构的可塑性。 脉冲与电位转换：脉冲与电位转换：突触界面具有脉冲突触界面具有脉冲/电位信电位信号转换功能。号转换功能。 响应不应期：响应不应期：细胞在相邻的二次冲动之间对激细胞在相邻的二次冲动之间对激励不响应、不能传递神经冲动。励不响应、不能传递神经冲动。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1112 人工神经网络人工神经网络 1. 神经网络研究的发展历史神经网络研究的发展历史 1890年，美国生物学家年，美国生物学家w.james出版了出版了生理学生理学一书。一书。

6、1943年年mcculloch和和pitts提出提出m-p模型。模型。 1949年年donala u.hebb提出突触联系强度可变的假设。提出突触联系强度可变的假设。 1957年年frank rosenblatt定义了一个定义了一个nn结构，称为感知器结构，称为感知器(perceptron)。 1960年威德罗和霍夫率先把年威德罗和霍夫率先把nn用于自动控制研究。用于自动控制研究。 70年代年代, 日本日本fukusima的的neocognitron； 芬兰芬兰kohonen的自组织的自组织nn；stephen crossberg的共振自适应理论的共振自适应理论art网络等。网络等。 1982

7、年年john j. hopfield提出了全连接网络，离散的提出了全连接网络，离散的nn模型，并证明了模型，并证明了网络可达到稳定的离散和连续两种情况。网络可达到稳定的离散和连续两种情况。 1986年美国的一个平行计算研究小组提出了前向反馈年美国的一个平行计算研究小组提出了前向反馈nn的的back propagation（bp）学习算法。）学习算法。 1987年在美国召开了第一届世界年在美国召开了第一届世界nn大会大会1000人参加。人参加。 88年日本国际贸易工业省提出以年日本国际贸易工业省提出以nn为核心的为核心的nn计算机的研究计划。计算机的研究计划。第第11章章 基于神经网络的专家系统

8、基于神经网络的专家系统 2. 人工神经网络的属性人工神经网络的属性 非线性：非线性：人工神经元处于激活或抑制两种状态，人工神经元处于激活或抑制两种状态，在数学上表现为一种非线性。在数学上表现为一种非线性。 非局域性：非局域性：一个系统的整体行为主要通过单个一个系统的整体行为主要通过单个神经元和单元之间的大量连接模拟大脑的非局域神经元和单元之间的大量连接模拟大脑的非局域性。性。 非定常性：非定常性：nn是在不停地变化以适应外界环境是在不停地变化以适应外界环境的变化，可以通过样本提示来模拟环境变换。的变化，可以通过样本提示来模拟环境变换。 非凸性：非凸性：非凸性是指某个特定的状态函数有多非凸性是指

9、某个特定的状态函数有多个极值，故系统具有多个较稳定的平衡态，这将个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。导致系统演化的多样性。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 3. 人工神经网络的主要特点人工神经网络的主要特点 能较好地模拟人的形象思维、人脑神经系统结构和功能较好地模拟人的形象思维、人脑神经系统结构和功能，对信息进行并行分布处理。能，对信息进行并行分布处理。 具有大规模并行协同处理能力。具有大规模并行协同处理能力。组合简单的、数量巨组合简单的、数量巨大的神经元进行并行、协同的工作和集体计算。大的神经元进行并行、协同的工作和集体计算。 具有较强

10、的容错能力和联想能力。具有较强的容错能力和联想能力。当少量神经元或它当少量神经元或它们的连接发生故障时，对网络功能的影响是很微小的，这们的连接发生故障时，对网络功能的影响是很微小的，这使得网络在整体上具有较强的鲁棒性使得网络在整体上具有较强的鲁棒性(硬件的容错性硬件的容错性)。 具有较强的学习能力。具有较强的学习能力。 适应性集成。适应性集成。nn能够适应在线运行，并能同时进行定能够适应在线运行，并能同时进行定量和定性操作。量和定性操作。 硬件实现。硬件实现。nn不仅能够通过软件而且可借助软件实现不仅能够通过软件而且可借助软件实现并行处理。并行处理。第第11章章 基于神经网络的专家系统基于神经

11、网络的专家系统 人工智能与神经网络之间的对比人工智能与神经网络之间的对比 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 神经网络计算机和数字电子计算机的主要区别神经网络计算机和数字电子计算机的主要区别 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 4ann的优缺点的优缺点优点包括：优点包括：信息处理是并行性的；信息处理是并行性的；知识的存储是分布的；知识的存储是分布的；具有联想、模糊推理、自适应或自学习的能力，可以通过训练，自具有联想、模糊推理、自适应或自学习的能力，可以通过训练，自动总结规律；动总结规律；局部错误对整体不会带来严重的影响，能够处理不完善的问题；局部

12、错误对整体不会带来严重的影响，能够处理不完善的问题；能够很好地完成多变量模式识别；能够很好地完成多变量模式识别；能从部分样本中学到的知识推广到全体祥本；能从部分样本中学到的知识推广到全体祥本； 能通过采用直接的能通过采用直接的(有时是不精确的有时是不精确的)数值数据进行训练，并能自动数值数据进行训练，并能自动地确定原因地确定原因-结果关系。结果关系。存在许多问题：存在许多问题：如训练时间长，需大量训练数据，不能保证最佳结果，如训练时间长，需大量训练数据，不能保证最佳结果，不能保证完全可靠，容易陷入局部极小，不具备增量学习能力，联想不能保证完全可靠，容易陷入局部极小，不具备增量学习能力，联想存储

13、网络容量小，所存储的信息相互干扰和退化，不适合于高精度计存储网络容量小，所存储的信息相互干扰和退化，不适合于高精度计算，没有很完善的学习方法，经验参数太多。在实际应用中，也存在算，没有很完善的学习方法，经验参数太多。在实际应用中，也存在许多问题，如难以设计通用的神经元网络芯片，大量的、动态的神经许多问题，如难以设计通用的神经元网络芯片，大量的、动态的神经元互联实现困难等。元互联实现困难等。第第11章章 基于神经网络的专家系统基于神经网络的专家系统 5. 人工神经网络的分类人工神经网络的分类 按网络的拓扑结构划分：按网络的拓扑结构划分：ann可分为单纯的阶可分为单纯的阶层网络、具有反馈的阶层网络

14、、层内互联的阶层层网络、具有反馈的阶层网络、层内互联的阶层网络、相互连接型网络。网络、相互连接型网络。 按网络的学习方法划分：按网络的学习方法划分：可分为有师学习网络、可分为有师学习网络、无师学习网络和强化学习网络。无师学习网络和强化学习网络。 有师学习算法能够根据期望的和实际的网络输有师学习算法能够根据期望的和实际的网络输出之间的差来调整神经元间连接的强度或权。无出之间的差来调整神经元间连接的强度或权。无师学习算法不需要知道期望输出。师学习算法不需要知道期望输出。 按网络的性能划分：按网络的性能划分：可以分为连续型与离散型可以分为连续型与离散型网络；或分为确定型与随机型网络。网络；或分为确定

15、型与随机型网络。 按连接突触的性质划分，按连接突触的性质划分，可分为一阶线性关联可分为一阶线性关联网络与高阶非线性关联网络。网络与高阶非线性关联网络。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 6. nn的学习规则的学习规则 第一类称为相关学习规则。第一类称为相关学习规则。这种规则只根这种规则只根据连接间的激活水平改变权系数。据连接间的激活水平改变权系数。 第二类称为纠错学习规则。第二类称为纠错学习规则。这种规则根据这种规则根据输出节点的外部反馈改变权系数。例如输出节点的外部反馈改变权系数。例如bp算法，用于统计性算法的模拟退火算法也算法，用于统计性算法的模拟退火算法也属于这

16、种学习规则。属于这种学习规则。第三类称为无教师学习规则。第三类称为无教师学习规则。它是一种对它是一种对输入测检进行自适应的学习规则。输入测检进行自适应的学习规则。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 7. 人工神经网络的研究与应用人工神经网络的研究与应用 生物原型研究生物原型研究：从生理学、心理学、解剖学、脑科学、：从生理学、心理学、解剖学、脑科学、病理学等生物科学方面，从定性与定量、静态与动态、微病理学等生物科学方面，从定性与定量、静态与动态、微观与宏观等各种观察角度，研究观与宏观等各种观察角度，研究nn、神经细胞、神经系、神经细胞、神经系统的生物原型的微观和宏观结构

17、及功能机理，探明脑中物统的生物原型的微观和宏观结构及功能机理，探明脑中物理平面向认知平面映射的原理。理平面向认知平面映射的原理。 ann模型的研究：模型的研究：包括包括nn的概念模型、理论模型、知的概念模型、理论模型、知识模型、物理化学模型、数学模型、算法模型、联想记忆识模型、物理化学模型、数学模型、算法模型、联想记忆模型等。模型等。 nn基本理论的研究。基本理论的研究。非线性特性；特征分析：包非线性特性；特征分析：包括网络的拓扑结构、网络容量、计算能力、算法分析；括网络的拓扑结构、网络容量、计算能力、算法分析；基本性能：包括稳定性、收敛性、容错性、鲁棒性、动力基本性能：包括稳定性、收敛性、容

18、错性、鲁棒性、动力学复杂性；学复杂性； 认知科学的研究：探索包括感知、思考、认知科学的研究：探索包括感知、思考、记忆和语言等的脑信息处理模型以及联想存储、思维机制、记忆和语言等的脑信息处理模型以及联想存储、思维机制、模糊输入、随机输入、不全信息输入和动态连接机制等方模糊输入、随机输入、不全信息输入和动态连接机制等方法。法。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 7. 人工神经网络的研究与应用人工神经网络的研究与应用 nn的软件模拟和硬件实现。的软件模拟和硬件实现。 寻找使用软硬件方法实现寻找使用软硬件方法实现nn计算机及其计算机及其仿真系统的途径。仿真系统的途径。 ann

19、在智能信息处理方面的应用。在智能信息处理方面的应用。 认认知与人工智能；知与人工智能； 优化与控制；优化与控制； 信号处信号处理；理； 传感器信息处理。传感器信息处理。 ann在军事领域的应用。在军事领域的应用。包括无人驾驶包括无人驾驶飞机、车辆，航天器姿态控制、导弹的智飞机、车辆，航天器姿态控制、导弹的智能引导、卫星图片的识别、脸谱和指纹识能引导、卫星图片的识别、脸谱和指纹识别等。别等。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 8. 人工神经元的功能表示和结构人工神经元的功能表示和结构 人工神经元的功能表示类似生物神经元，人工神经元的功能表示类似生物神经元，其功能可用图其

20、功能可用图11-3来表示。来表示。 w1w2wn阈值函数器输出s1s2sn输入状态求和器权输入图11-3 人工神经元功能方框图xi第第11章章 基于神经网络的专家系统基于神经网络的专家系统 8. 人工神经元的功能表示和结构人工神经元的功能表示和结构 根据生物神经元的功能和结构，提出了一个将神根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即经元看作二进制阈值元件的简单模型，即mp模型，模型，如图如图11-4所示。所示。 ui第i个神经元的内部状态；x1xn表示从u1 un来的输出信号；wji表示从uj到ui传递信号的权；si 外部输入信号；xi输出信号；qi阈值；

21、qi xix1x2x3xnsiui图11-4 mp神经元模型 xi =f ( wjixj + siqi) 1 u0 0 u0sgn(u ) =nij第第11章章 基于神经网络的专家系统基于神经网络的专家系统 9. 人工神经元网络的互连结构人工神经元网络的互连结构 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 112 神经网络模型和算法神经网络模型和算法 121 感知器的学习结构与算法感知器的学习结构与算法 1. 感知器的学习结构感知器的学习结构 感知器的学习是感知器的学习是nn最典型的学习。一个有最典型的学习。一个有教师的学习系统可以用图教师的学习系统可以用图11-6表示。表示。

22、 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 121 感知器的学习结构与算法感知器的学习结构与算法 学习机构可用图学习机构可用图11-7所示的结构表示。在图所示的结构表示。在图中，中，xl，x2，xn是输入样本信号，是输入样本信号，w1，w2，wn是权系数。是权系数。u=wixi=w1x1+w2x2+wnxn第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 感知器的学习算法感知器的学习算法 感知器是具有单层计算单元的感知器是具有单层计算单元的nn，由线性，由线性元件及阈值元件组成，如图元件及阈值元件组成，如图11-8所示。所示。 感知器的数学模型感知器的数学模型

23、niiiufxwfy1)()( 1 u0 0 u0 f(u ) = 1 a类类 -1 b类类 y =x2x1a类b类边界w1x1+w2x2-=0图11-9 感知器的分类ab第第11章章 基于神经网络的专家系统基于神经网络的专家系统 感知器学习算法的步骤感知器学习算法的步骤 对权系数对权系数w置初值。记为置初值。记为wl(0)，w2(0)，wn(0)，同时有，同时有wn+1(0)-。 输入一样本输入一样本x(x1，x2，xn+1)以及它的期望以及它的期望输出输出d。 计算实际输出值：计算实际输出值： 。 根据实际输出求误差：根据实际输出求误差：ed-y(t)。 用误差用误差e去修改权系数。去修改

24、权系数。wi(t+1)=wi(t)+exi, 当当实际输出和期望值实际输出和期望值d相同时有相同时有wi(t+1)=wi(t)。 转到第点，一直执行到一切样本均稳定为止。转到第点，一直执行到一切样本均稳定为止。 11)(t)(niiixwfy第第11章章 基于神经网络的专家系统基于神经网络的专家系统 示例示例 x1：0 0 1 1 x2：0 1 0 1 则则x1 v x2：0 1 1 1 以以x1 v x21为为a类，类， 以以x1 v x2=0为为b类，类， 则有方程组：则有方程组： w10+w20-0 有有 0 w10+w21-0 w2 w11+w20-0 w1 w11+w21-0 w1

25、+ w2 令令 w1=1,w2=2，则有，则有1。取。取=0.5，则有，则有 x1+x2-0.5=0,分类情况如图分类情况如图11-10所示。所示。图图11-10 11-10 逻辑函数逻辑函数 x x1 1 v xv x2 2 的分类的分类x x2 2x x1 1x x1 1+x+x2 2=0.5=0.5(1,0)(1,0)(0.5,0)(0.5,0)(0,0)(0,0)(0,0.5)(0,0.5)(0,1)(0,1)(1,1)(1,1)第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1122 b-p模型模型 1. b-p(back-progagation)模型概念模型概念 b-p

26、模型是一种用于前向多层模型是一种用于前向多层nn的误差反传学习算法，用的误差反传学习算法，用于多层网络，网络中不仅有输入层节点及输出层节点，而于多层网络，网络中不仅有输入层节点及输出层节点，而且还有一层至多层隐层节点，如图且还有一层至多层隐层节点，如图11-11所示。所示。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1. b-p(back-progagation)模型概念模型概念 输入：输入：net=x1w1+x2w2+xnwn 输出：输出： y和和f(net)的曲线如图的曲线如图11-12所示。所示。 )1 ()1 (111)(11)(2yyeenetfenetfynetn

27、etnetf f(net)(net)y y0 00.50.51 10.250.250 0y y 1 1(0,0.5)(0,0.5) n en et t(0,0)(0,0)图图11-12 y11-12 y和和f f(net)(net)函数的曲线函数的曲线第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 学习算法学习算法 学习本质：学习本质：对各连接权值的动态调整。对各连接权值的动态调整。 学习规则：学习规则：权值调整规则。权值调整规则。 学习的类型：学习的类型：有导师学习。有导师学习。 核心思想：核心思想：将输出误差以某种形式通过隐层向输入层逐层反将输出误差以某种形式通过隐层向输

28、入层逐层反传传将误差分摊给各层的所有单元将误差分摊给各层的所有单元各层单元的误差信号各层单元的误差信号修正各单元权值。修正各单元权值。 学习的过程：学习的过程：nn在外界输入样本的刺激下不断改变网络的在外界输入样本的刺激下不断改变网络的连接权值连接权值,以使网络的输出不断地接近期望的输出。其过程为信以使网络的输出不断地接近期望的输出。其过程为信号的正向传播号的正向传播误差的反向传播。误差的反向传播。 正向传播：正向传播：输入样本输入样本输入层输入层各隐层各隐层输出层。输出层。 判断是否转入反向传播：判断是否转入反向传播：若输出层的实际输出与期望输出不若输出层的实际输出与期望输出不符，则。符，则

29、。 误差反传：误差反传：误差在各层表示误差在各层表示修正各层单元的权值。修正各层单元的权值。 网络输出的误差减少到可接受的程度。网络输出的误差减少到可接受的程度。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 学习算法学习算法 变量定义变量定义 设设 输入层与中间层的连接权值为输入层与中间层的连接权值为wih； 隐含层与输出层的连接权值为隐含层与输出层的连接权值为who； 隐含层各神经元的阈值为隐含层各神经元的阈值为bh； 输出层各神经元的阈值为输出层各神经元的阈值为bo； 样本数据个数为样本数据个数为:k=1,2,m； 激活函数为激活函数为f()； 误差函数为误差函数为

30、。qoookyokde12)()(21第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 学习算法学习算法 向量表示向量表示 输入向量为输入向量为x=(x1,x2,xn)； 隐含层输入向量为隐含层输入向量为hi=(hi1,hi2,hip)； 隐含层输出向量隐含层输出向量ho=(ho1,ho2,hop)； 输出层输入向量为输出层输入向量为yi=(yi1,yi2,yiq)； 输出层输出向量输出层输出向量yo=(yo1,yo2,yoq)； 期望输出向量为期望输出向量为d0=(d1,d2,dq)。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 学习算法学习算法 学习算

31、法的步骤：学习算法的步骤： 第一步，第一步，网络初始化。给各连接权值分别赋一个区间网络初始化。给各连接权值分别赋一个区间(-1，1)内的随机数，设定误差函数内的随机数，设定误差函数e，给定计算精度值，给定计算精度值和最大和最大学习次数学习次数m。 第二步第二步,随机选取第随机选取第k个输入样本及对应期望输出，个输入样本及对应期望输出，x(k)=(x1(k),x2(k),xn(k)，d0(k)=(d1(k),d2(k),dq(k)。 第三步，第三步，计算隐含层各神经元的输入和输出。计算隐含层各神经元的输入和输出。 q,1,2,o(k)(yi(k)b(k)h(k)yip,1,2,h(k)(hi(k

32、)b(k)(k)hioooh1hohhh1hfoyowfohxwphoniiih第第11章章 基于神经网络的专家系统基于神经网络的专家系统 学习算法的步骤学习算法的步骤 第四步第四步，用期望输出和实际输出，用期望输出和实际输出,计算误差函数对计算误差函数对输出层各神经元的偏导数输出层各神经元的偏导数o(k)。 )()()()()()()()()(21()()(q1o112kkyifkyokdkyokyokdyikyokdyiekhowbkhowwyiwyiyieweooooqoooooqoooophhhoohphhohoohoooho第第11章章 基于神经网络的专家系统基于神经网络的专家系统

33、学习算法的步骤学习算法的步骤 第五步，第五步，利用隐含层到输出层的连接权值、输出层的利用隐含层到输出层的连接权值、输出层的o(k)和隐含层的输出计算误差函数对隐含层各神经元的偏导数和隐含层的输出计算误差函数对隐含层各神经元的偏导数h(k)。 )()(h ()()(h)(ho)()()()(h)(ho)(ho)(ho()(21()(h)(ho)(ho)()(21()(h)()(hhhh111121211kkifpwkkikpwkyifkyokdkikkbkwfkdkikkkyokdkiekxwbkxwwiwiiewehqohoohhhooqooohhhqophohhoohhhqooohniiih

34、hiniihihhihhhih第第11章章 基于神经网络的专家系统基于神经网络的专家系统 学习算法的步骤学习算法的步骤 第六步，第六步，用输出层各神经元的用输出层各神经元的0(k)和隐含层各神和隐含层各神经元的输出来修正连接权值经元的输出来修正连接权值w0h(k)。 第七步，第七步，利用隐含层各神经元的利用隐含层各神经元的h(k)和输入层各神和输入层各神经元的输入修正连接权。经元的输入修正连接权。 phonhonhophohohokhokwwkhokwekw1h11h)()()()()(niihihihkxkwekw1)()()(niihnihnihkxkww11)()(第第11章章 基于神经

35、网络的专家系统基于神经网络的专家系统 学习算法的步骤学习算法的步骤 第八步，第八步，计算全局误差计算全局误差 第九步，第九步，判断网络误差是否满足要求。当判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。三步，进入下一轮学习。 mkqoookykdme112)()(21第第11章章 基于神经网络的专家系统基于神经网络的专家系统 bp算法直观解释算法直观解释 图11-13 直观表达情

36、况一0, 0hohowwe此时ehowhowe0,0hohowwe此时图11-14 直观表达情况二第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1123 hopfield模型模型 1982年，年，jhopfield提出了提出了hopfield网络模型，网络模型，它它可用作联想记忆、分类和优化计算的互连网络。可用作联想记忆、分类和优化计算的互连网络。这是一种带有反馈连接的循环这是一种带有反馈连接的循环nn，由于其输出端，由于其输出端有反馈到其输入端，当有输入之后，可以求取出有反馈到其输入端，当有输入之后，可以求取出hopfield的输出，这个输出反馈到输入从而产生新的输出，这个输出

37、反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果的输出，这个反馈过程一直进行下去。如果hopfield网络是一个能收敛的稳定网络，则这个反网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态，那么旦到达了稳定平衡状态，那么hopfield网络就会输网络就会输出一个稳定的恒值。出一个稳定的恒值。 hopfield网络有网络有离散型和连续型离散型和连续型两种。两种。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1. 离散离散hopfield网络网络 在离散在离散hopfield网络中，

38、所采用的神经元是网络中，所采用的神经元是二值神经元，所输出的离散值二值神经元，所输出的离散值1和和0分别表分别表示神经元处于激活和抑制状态。示神经元处于激活和抑制状态。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1. 离散离散hopfield网络网络 对于二值神经元，它的计算公式为对于二值神经元，它的计算公式为 ， 这里这里xi为外部输入，并且有：当为外部输入，并且有：当uii时，时，yi=1；当；当ui0，当，当nn从从t0开始，有初始状态开始，有初始状态y(0)；经过有限时刻；经过有限时刻t，有，有y(t+t)=y(t)，则称网络，则称网络是稳定的。是稳定的。nxtywj

39、jniiij, 2 , 1j)(f(1)(ty1j其中，第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 连续连续hopfield网络网络 连续连续hopfield网络网络的每一个神经元的输入和输出关系为连的每一个神经元的输入和输出关系为连续可微单调上升函数，和其它神经元之间有连接权的关系。续可微单调上升函数，和其它神经元之间有连接权的关系。状态变量直接影响输入变量，使系统变成一个随时间变化状态变量直接影响输入变量，使系统变成一个随时间变化的动态系统。的动态系统。 连续连续hopfield网络稳定条件都要求网络稳定条件都要求wij=wji。这种拓扑结构。这种拓扑结构和生物的神经

40、系统中大量存在的神经反馈回路是相一致的。和生物的神经系统中大量存在的神经反馈回路是相一致的。两种网络不同的地方在于其函数两种网络不同的地方在于其函数g不是阶跃函数，而是不是阶跃函数，而是s形形的连续函数。一般取的连续函数。一般取 g(u)=1/(1+e-u) 连续连续hopfield网络中各神经元是处于同步方式工作的。神网络中各神经元是处于同步方式工作的。神经元经元j，其内部膜电位状态用，其内部膜电位状态用uj表示细胞膜输入电容为表示细胞膜输入电容为cj，细胞膜的传递电阻为细胞膜的传递电阻为rj，输出电压为，输出电压为vj，外部输入电流用，外部输入电流用ij表示，则该网络可用图表示，则该网络可

41、用图11-16所示的电路表示。所示的电路表示。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 连续连续hopfield网络网络 设有设有n个神经元互联，个神经元互联，vj(t) 和和uj(t)分别为输出和输入电位。分别为输出和输入电位。njtugtvirtutvwdujjjnijjjiijj,2,1)()()()(dtc1j第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 连续连续hopfield网络网络 根据图根据图11-16，定义系统的能量函数，定义系统的能量函数e(t)为：为： 其中：其中：g-1(v)是是vj(t)gj(uj(t)的反函数。的反函数。

42、 njtvjnjjjnjnijiijjdvvgritvtvtvwte1)(01111)(1)()()(21)(第第11章章 基于神经网络的专家系统基于神经网络的专家系统 2. 连续连续hopfield网络网络 定理：如果连续定理：如果连续hopfield网络中神经元传递函数是网络中神经元传递函数是单调增长的连续并有界函数，并且单调增长的连续并有界函数，并且wijwji，则沿，则沿系统的运动轨迹有系统的运动轨迹有de(t)/dt0，当且仅当，当且仅当dvj(t)/dt=0时，有时，有de(t)/dt=0, j=1,2,n。 这个定理说明这个定理说明hopfield网络系统随着时间的增长，网络系统

43、随着时间的增长，网络的各个神经元的状态变化所造成的系统状态网络的各个神经元的状态变化所造成的系统状态轨迹在状态空间中总是向能量减小方向变化，网轨迹在状态空间中总是向能量减小方向变化，网络稳定点就是能量的极小点。因此保证了，该网络稳定点就是能量的极小点。因此保证了，该网络是可以达到求解最优点（极值点）。络是可以达到求解最优点（极值点）。第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1124 典型的人工神经网络模型典型的人工神经网络模型 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 11.2.4 典型的人工神经网络模型典型的人工神经网络模型第第11章章 基于神经网络的专

44、家系统基于神经网络的专家系统 113 神经网络专家系统神经网络专家系统 把神经网络与传统的把神经网络与传统的es有机地集成起来，协同工有机地集成起来，协同工作，达到取长补短的目的。这两者在集成时有三作，达到取长补短的目的。这两者在集成时有三种模式。种模式。 神经网络神经网络(nn)支持支持es。比如对比如对es提供的知识和提供的知识和样例，通过样例，通过nn自动获取知识；运用自动获取知识；运用nn的并行推的并行推理技术以提高推理效率。理技术以提高推理效率。 es支持支持nn。以以nn的有关技术为核心，建立相的有关技术为核心，建立相应领域的应领域的es，采用，采用es的相关技术完成解释等方面的相

45、关技术完成解释等方面的工作。的工作。 协同式的协同式的nn与与es。针对每个子问题的特点，选针对每个子问题的特点，选择用择用nn和和es加以实现，在加以实现，在nn和和es之间建立一种耦之间建立一种耦合联系。合联系。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1131 基于神经网络的知识表示与推理基于神经网络的知识表示与推理 1、基于、基于nn的知识表示的知识表示 nn中的知识表示是一种隐式的表示方法。中的知识表示是一种隐式的表示方法。nn的知的知识表示是把某一问题领域的若干知识彼此关联地表识表示是把某一问题领域的若干知识彼此关联地表示在一个示在一个nn中。中。 一个一个nn

46、可以用一个加权有向图表示。加权有向图可以用一个加权有向图表示。加权有向图中的节点连接关系和权值分布可以用一个矩阵来表中的节点连接关系和权值分布可以用一个矩阵来表示，这个矩阵称为邻接权矩阵。一个有示，这个矩阵称为邻接权矩阵。一个有m个节点的个节点的nn的邻接权矩阵的邻接权矩阵w=wijmn的定义为：的定义为： ，若节点，若节点i有至节点有至节点j的邻接且权值为的邻接且权值为wij ，若节点，若节点i无至节点无至节点j的邻接的邻接 0ijijww第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1、基于、基于nn的知识表示的知识表示如对图如对图11-17所示的异或逻辑所示的异或逻辑( )

47、的的nn来说，其邻接矩阵为：来说，其邻接矩阵为： 1221xxxxy图图11-17中神经元内的数据表示减去阈值中神经元内的数据表示减去阈值(如如-3=-1.0)。 第第11章章 基于神经网络的专家系统基于神经网络的专家系统 1、基于、基于nn的知识表示的知识表示 如果用产生式规则描述，则该网络代表下如果用产生式规则描述，则该网络代表下述述4条规则：条规则： if x1=0 and x2=0 then y=0 if x1=0 and x2=1 then y=1 if x1=1 and x2=0 then y=1 if x1=1 and x2=1 then y=0第第11章章 基于神经网络的专家系

48、统基于神经网络的专家系统 2. 神经网络的知识自动获取神经网络的知识自动获取 nn是通过实例学习来实现知识自动获取的。是通过实例学习来实现知识自动获取的。使在具有同使在具有同样输入的条件下样输入的条件下nn能够获得与领域专家给出的解答尽可能够获得与领域专家给出的解答尽可能相同的输出。解答的精度可用它与专家解答之间的方差能相同的输出。解答的精度可用它与专家解答之间的方差一类准则来度量。在进行知识获取时，要求领域专家提供一类准则来度量。在进行知识获取时，要求领域专家提供学习实例及其相应的期望解，经过网络自适应学习算法不学习实例及其相应的期望解，经过网络自适应学习算法不断修改网络的权值分布，一旦网络

49、稳定后，就把领域专家断修改网络的权值分布，一旦网络稳定后，就把领域专家求解该问题的知识和经验求解该问题的知识和经验(通过提供的学习实例来表示通过提供的学习实例来表示)分分布到网络的互连结构及权值分布上，从而得到推理所需要布到网络的互连结构及权值分布上，从而得到推理所需要的知识库。的知识库。 nn专家系统的简单结构如图专家系统的简单结构如图11-18所示。所示。图图11-18 11-18 神经网络专家系统的简单结构神经网络专家系统的简单结构知识获取知识获取解释器解释器知识库知识库推理机推理机专家专家用户用户第第11章章 基于神经网络的专家系统基于神经网络的专家系统 3.神经网络的知识推理与解释神

50、经网络的知识推理与解释 nn专家系统专家系统是经过网络计算，把用户提供的原始证据作为网是经过网络计算，把用户提供的原始证据作为网络输入，通过网络计算最终得出。络输入，通过网络计算最终得出。nn的推理是一种正向的非的推理是一种正向的非线性数值计算过程。线性数值计算过程。它的推理过程包括如下几个步骤：它的推理过程包括如下几个步骤： 把已知证据作为输入赋给网络输入层的各个节点。把已知证据作为输入赋给网络输入层的各个节点。 利用特征函数分别计算网络中各层的输出，计算时，前面利用特征函数分别计算网络中各层的输出，计算时，前面层次的输出将作为直接后继层各节点的输入，逐层进行计算，层次的输出将作为直接后继层

51、各节点的输入，逐层进行计算，直至计算出输出层的输出值。直至计算出输出层的输出值。 用阈值函数对输出层的输出进行判定，从而得到输出结果。用阈值函数对输出层的输出进行判定，从而得到输出结果。 nn的推理是一种并行推理机制。的推理是一种并行推理机制。 由于由于nn各输出节点的输出是数值的，因此，需要一个解释器各输出节点的输出是数值的，因此，需要一个解释器对输出模式进行解释。对输出模式进行解释。 要实现神经网络要实现神经网络es的解释机能，需利用神经网络中的各个数的解释机能，需利用神经网络中的各个数据，如输入数据，输出数据及隐含层神经元输出数据。经过据，如输入数据，输出数据及隐含层神经元输出数据。经过

52、训练形成各项权值，得出解释规则，完成解释任务。训练形成各项权值，得出解释规则，完成解释任务。第第11章章 基于神经网络的专家系统基于神经网络的专家系统 3.组合神经网络专家系统组合神经网络专家系统 由于一个由于一个nn es可以用一个加权有向图表示，因此，可以用一个加权有向图表示，因此，可以方便地把同一个知识领域的几个独立的可以方便地把同一个知识领域的几个独立的nn es组合成一个规模更大的组合成一个规模更大的nn es，只要知道这几个，只要知道这几个nn之间有哪些节点有连接关系，可根据专家知识来判之间有哪些节点有连接关系，可根据专家知识来判断两个节点之间是否有模糊的因果关系，可以通过断两个节点之间是否有模糊的因果关系，可以通过学习来获得连接权值。学习来获得连接权值。 对于基于规则的几个对于基于规则的几个es组合成一个更大的组合成一个更大的es，由于，由于规则的冗余程度和不一致性都较大，各自的规则越规则的冗余程度和不一致性都较大，各自的规则越多，组合的知识库