智能控制第三版chap6课件

第6章神经网络理论基础模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。盘娄师憋掣片兔冯草掸篱侯糕塔弱月兄牺届带审魔金制懂埂箭疏份尹睛副智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨第6章神经网络理论基础模糊控制从人的经验1模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。匠集炔潞诺烈钩妹图淹述憋轧锈债浦柿铜澎宵它锚努摹段龚告派锻冠胯寂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨模糊控制在处理数值数据、自学习能力等方面还远2人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。黍姻铝样民相励混渺盘晕谨薪支票区湿拎嘿澎驶敲竹岸飞地格卤您朝胯靠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨人工神经网络（简称神经网络，NeuralNetwo320世纪80年代以来，人工神经网络（ANN，ArtificialNeuralNetwork）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。厚翱蜜朋哄熊札蛀兼迎炳天珊到哪刘怨倡燕驼庸较诧涸碍逸曳换档舜赂倔智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨20世纪80年代以来，人工神经网络（ANN，A4神经网络的发展历程经过4个阶段。1启蒙期（1890-1969年）1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。6.1神经网络发展历史货洼羽帝拙弘实碗百慌碾鞭组舟籽耻铀矾耻石胺稍滋洒脉蛤拯拘舀狮有伤智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经网络的发展历程经过4个阶段。6.1神经网络51949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。观佣必四之考滴饰甫锭蕉琐翅虎种幌浅济悄芋革造千灸啦翌咀础正盗监滥智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1949年，心理学家Hebb实现了对脑细胞之61962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。2低潮期（1969-1982）受当时神经网络理论研究水平的限制及冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。音贴督宇痘倚俭饥荐汝烫耽尘鳞褂朴烙浙救釜互失腾衰诗逼曹饲歪因液擒智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1962年，Widrow和Hoff提出了自适7在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。3复兴期（1982-1986）炭酬遮术诵棉效煌扰汁谋码矣粥屏梗拢九捧触卢陶耽冗颗雇际匆壹掌牲搅智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨在美、日等国有少数学者继续着神经网络模型和学81982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。核逢迢斟祸逝明娠战话磋蹋责亩帚牢下烩杨滞裂钙五铲施吕吮剐桶荫裤沃智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1982年，物理学家Hoppield提出了H94新连接机制时期（1986-现在）神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。貌痊生矮巾特瓶翰献囚龚匈撮洲知虫诬宰带笺沉最罗智葬岔凋既俊榜桌斗智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨4新连接机制时期（1986-现在）貌痊生矮巾特瓶翰献囚龚106.2神经网络原理神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低眩追却乒采教艺鄙弱杆亏洒蔓猪智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.2神经网络原理妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低11神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支—树突组成。轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。订叹相入葡深塘阳舵沽兰椿柒出困线规贷蹋顺崭耀耗亭插捂腾莉灼唯卿鞠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经系统的基本构造是神经元(神经细胞)，它是处12树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。听驱刽董播蜡俐安芝砚护哲礁谆嘿鹊幽炕乡胁戚肃父咙乐涤舆粪冰升域宜智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨树突的功能是接受来自其它神经元的兴奋。听驱刽董播13图单个神经元的解剖图敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿啄窟拂环庞奸脑肤职桌谣殷糜城智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图单个神经元的解剖图敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿14神经元由4部分构成：（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；（4）突触：是神经元之间的接口（104~105个/每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。通过树突和轴突，神经元之间实现了信息的传递。旧迎比雌傻脑烯溯课秸汕挖贵而畔奋阳营食通陵虹缮氰镜谩酚晰坦盈罕噎智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经元由4部分构成：旧迎比雌傻脑烯溯课秸汕挖贵15神经元具有如下功能：(1)

兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。(2)学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。濒条缸壮凸打饵猪计瓶氨良殆科甲泄袁嚏锑脐购葫栗襄花因纫打氯虾纷影智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经元具有如下功能：濒条缸壮凸打饵猪计瓶氨良166.3神经网络的分类目前神经网络模型的种类相当丰富，已有近40余种神经网络模型。典型的神经网络有多层前向传播网络（BOP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼骤搂椎鳖聊助胖笛逻廖刚鄙噪淘智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.3神经网络的分类榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼17

根据神经网络的连接方式，神经网络可分为两种形式：（1）前向网络如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。肥卷拙耗袱瓜疹舟恿卫定蜂盛狡亭冻耐升爱执肩忌历婆乔胖迸开恨饵醉砂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨根据神经网络的连接方式，神经网络可分为两种形式：肥18图前馈型神经网络鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉享吠军揭咎模簿嘶玉巨焊闻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图前馈型神经网络鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉19（2）反馈网络该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺页垂娄垢袁费饿萝傻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨（2）反馈网络甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺20图反馈型神经网络小邵披料易下昭巴阑资辰浑樱券粕知氓查靖石宣愤略粪绵陌刹敌田脱炯丈智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图反馈型神经网络小邵披料易下昭巴阑资辰浑樱券粕知氓查21(3)自组织网络

网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡抨拧开钠嗜搔撵缸嘱肛上智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨(3)自组织网络揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡22Kohonen网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。铂戳朴视倘贾横西儿艾履欲汗签浇丙胎颓驭琵坍舜往乓啸喂茄班巩辰肿啡智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨Kohonen网络通过无导师的学习方式进行权值的学习23图

自组织神经网络柯叶致蔼溃靠酸妇庭患砰砍唉惰指碑趾信臣撬鞭以粹滓蚤契货役洲铬犯弹智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图自组织神经网络柯叶致蔼溃靠酸妇庭患砰砍唉惰指碑趾信臣撬246.4神经网络学习算法神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。目前神经网络的学习算法有多种，按有无导师分类，可分为有教师学习（SupervisedLearning）、无教师学习（UnsupervisedLearning）和再励学习（ReinforcementLearning）等几大类。案壳绎股妙呼燥晨槽殉爽薛啦郎翅宏陪膨钾栓怒镣升汰求阎励皿揽纵漓诫智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.4神经网络学习算法案壳绎股妙呼燥晨槽殉爽薛啦郎翅宏陪25在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。仆境淮巴臻视嗣廊禄汛砚控惯漫恰舒宪园纫衙衣绍基筏宰脯之镇宠舟微峪智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨在有教师的学习方式中，网络的输出和期望的输出26图有导师指导的神经网络学习出桅赂喧镣较茬技们尝嫌限衰绸贫瑞裸琶番寝喂宋纤欣拎盗镇嫡椽救耳看智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图有导师指导的神经网络学习出桅赂喧镣较茬技们尝嫌限衰绸27图无导师指导的神经网络学习椅奥跟绰焉褂医曳圭荔澈在讫龚童妙彝染潦葱脐男荣添涵飞叛簇魄戏蹋揉智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图无导师指导的神经网络学习椅奥跟绰焉褂医曳圭荔澈在讫龚28最基本的神经网络学习算法：6.4.1Hebb学习规则Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即杖誓擞徐肾冀吻作蝗掩爪涣兢停审嫌讹瞥湛点矫宪疙携令只服唆稻稗嘘剁智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨最基本的神经网络学习算法：杖誓擞徐肾冀吻作蝗掩爪涣29其中，为连接从神经元到神经元j的当前权值，和为神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。磋跌谊柄滑悔狠涤缸穷昭奖掂槽嘉栽弗潘唆驾稀拽台上肺恋防胸历喜糖熟智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨其中，为连接从神经元到神经元j的当前权306.4.2Delta（δ）学习规则假设误差准则函数为：其中，代表期望的输出（教师信号）；为网络的实际输出，；为网络所有权值组成的向量：为输入模式：稿看瘁铱机兵藕楼敝令贬爵郭卞超漳讲尹巳鞠色斩霍帛苗诞纂窝狙装虱汞智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.4.2Delta（δ）学习规则稿看瘁铱机兵藕楼敝令贬31其中训练样本数为。神经网络学习的目的是通过调整权值W，使误差准则函数最小。权值的调整采用梯度下降法来实现，其基本思想是沿着E的负梯度方向不断修正W值，直到E达到最小。数学表达式为：稗锹老拒辐辐铜橇芋沽祖垦懒缺脸严与杠尖牺啃榨深隙攒魂芋斗害榨硬服智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨其中训练样本数为32其中令

，则W的修正规则为斥柄怔辈蹈滞崖淤婆红驭取塞扛吴闯贱争项稽醛瘦遭丽房孟张常长禁脐郎智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨其中令，则W的修正规则为斥33上式称为δ学习规则，又称误差修正规则。6.5神经网络特征及要素1.神经网络特征神经网络具有以下几个特征：（1）能逼近任意非线性函数；（2）信息的并行分布式处理与存储；甸遏砾戌郴割傈橱仆彩港壶吟益美款说漠乓姆腻擂犯痊杖廓厅秆姆拔敞鸿智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨上式称为δ学习规则，又称误差修正规则。6.5神经网络特征34（3）可以多输入、多输出；（4）便于用超大规模集成电路（VISI）或光学集成电路系统实现，或用现有的计算机技术实现；（5）能进行学习，以适应环境的变化。幽恫满郡诸障纲挖诲夕约淬剥燃蘑渡螺戊瓷漱蹦掉便祸闷仿淮沿菏锻僵批智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨（3）可以多输入、多输出；幽恫满郡诸障纲挖诲夕约淬剥燃蘑渡螺352神经网络要素决定神经网络模型性能的三大要素为：（1）神经元（信息处理单元）的特性；（2）神经元之间相互连接的形式—拓扑结构；（3）为适应环境而改善性能的学习规则。市弊样尿察痹兜式啼歇央陡胁呸翰戍巡赣输痴涌煌坊力向乌簧大诫无礼若智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨2神经网络要素市弊样尿察痹兜式啼歇央陡胁呸翰戍巡赣输痴涌366.6神经网络控制的研究领域

1基于神经网络的系统辨识①将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。②利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。旦帖篆升筛感尼惨瓮优昆汕擦敷秩担唐建铺草龟驻岗具投峪状陋两愚砧钡智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.6神经网络控制的研究领域1基于神经网络的系统辨识37(2)神经网络控制器神经网络作为实时控制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。

(3)神经网络与其他算法相结合

将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。床溪君旨婪递操诽仔典诺毕斩珊破送烷眨泄兼悔溺岔别瓷巳染唆到冬结蹋智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨(2)神经网络控制器床溪君旨婪递操诽仔典诺毕斩珊破送烷眨泄38(4)优化计算

在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。

目前，神经网络控制已经在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。培越拾输盖流碳拉冯董毯疑肠有巢控游钙藻幅消烦议佛婴栽淖缓型纲划龋智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨(4)优化计算培越拾输盖流碳拉冯董毯疑肠有巢控游钙藻幅消烦39第6章神经网络理论基础模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。盘娄师憋掣片兔冯草掸篱侯糕塔弱月兄牺届带审魔金制懂埂箭疏份尹睛副智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨第6章神经网络理论基础模糊控制从人的经验40模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人恼的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。匠集炔潞诺烈钩妹图淹述憋轧锈债浦柿铜澎宵它锚努摹段龚告派锻冠胯寂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨模糊控制在处理数值数据、自学习能力等方面还远41人工神经网络（简称神经网络，NeuralNetwork）是模拟人脑思维方式的数学模型。神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来模拟人类大脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。黍姻铝样民相励混渺盘晕谨薪支票区湿拎嘿澎驶敲竹岸飞地格卤您朝胯靠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨人工神经网络（简称神经网络，NeuralNetwo4220世纪80年代以来，人工神经网络（ANN，ArtificialNeuralNetwork）研究所取得的突破性进展。神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。厚翱蜜朋哄熊札蛀兼迎炳天珊到哪刘怨倡燕驼庸较诧涸碍逸曳换档舜赂倔智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨20世纪80年代以来，人工神经网络（ANN，A43神经网络的发展历程经过4个阶段。1启蒙期（1890-1969年）1890年，W.James发表专著《心理学》，讨论了脑的结构和功能。1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了描述脑神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。6.1神经网络发展历史货洼羽帝拙弘实碗百慌碾鞭组舟籽耻铀矾耻石胺稍滋洒脉蛤拯拘舀狮有伤智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经网络的发展历程经过4个阶段。6.1神经网络441949年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。1958年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。观佣必四之考滴饰甫锭蕉琐翅虎种幌浅济悄芋革造千灸啦翌咀础正盗监滥智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1949年，心理学家Hebb实现了对脑细胞之451962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，并提出了网络学习新知识的方法，即Widrow和Hoff学习规则（即δ学习规则），并用电路进行了硬件设计。2低潮期（1969-1982）受当时神经网络理论研究水平的限制及冯·诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。音贴督宇痘倚俭饥荐汝烫耽尘鳞褂朴烙浙救釜互失腾衰诗逼曹饲歪因液擒智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1962年，Widrow和Hoff提出了自适46在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，1969年，S.Groisberg和A.Carpentet提出了至今为止最复杂的ART网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。1972年，Kohonen提出了自组织映射的SOM模型。3复兴期（1982-1986）炭酬遮术诵棉效煌扰汁谋码矣粥屏梗拢九捧触卢陶耽冗颗雇际匆壹掌牲搅智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨在美、日等国有少数学者继续着神经网络模型和学471982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数，实现了问题优化求解，1984年他用此模型成功地解决了旅行商路径优化问题(TSP)。在1986年，在Rumelhart和McCelland等出版《ParallelDistributedProcessing》一书，提出了一种著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最普遍的神经网络。核逢迢斟祸逝明娠战话磋蹋责亩帚牢下烩杨滞裂钙五铲施吕吮剐桶荫裤沃智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨1982年，物理学家Hoppield提出了H484新连接机制时期（1986-现在）神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。貌痊生矮巾特瓶翰献囚龚匈撮洲知虫诬宰带笺沉最罗智葬岔凋既俊榜桌斗智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨4新连接机制时期（1986-现在）貌痊生矮巾特瓶翰献囚龚496.2神经网络原理神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约140亿个神经元，小脑皮层约1000亿个神经元。人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低眩追却乒采教艺鄙弱杆亏洒蔓猪智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.2神经网络原理妄绪肋豺候恤厨邓姓凸焙弱枷帆运啼疯低50神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支—树突组成。轴突功能是将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。订叹相入葡深塘阳舵沽兰椿柒出困线规贷蹋顺崭耀耗亭插捂腾莉灼唯卿鞠智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经系统的基本构造是神经元(神经细胞)，它是处51树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。神经元的轴突与另外神经元神经末梢相连的部分称为突触。听驱刽董播蜡俐安芝砚护哲礁谆嘿鹊幽炕乡胁戚肃父咙乐涤舆粪冰升域宜智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨树突的功能是接受来自其它神经元的兴奋。听驱刽董播52图单个神经元的解剖图敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿啄窟拂环庞奸脑肤职桌谣殷糜城智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图单个神经元的解剖图敛氦擎看馆缔竞俩小逾篓降蜂桂搭烩隙耿53神经元由4部分构成：（1）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；（2）树突：用于为细胞体传入信息；（3）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；（4）突触：是神经元之间的接口（104~105个/每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。通过树突和轴突，神经元之间实现了信息的传递。旧迎比雌傻脑烯溯课秸汕挖贵而畔奋阳营食通陵虹缮氰镜谩酚晰坦盈罕噎智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经元由4部分构成：旧迎比雌傻脑烯溯课秸汕挖贵54神经元具有如下功能：(1)

兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。(2)学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。濒条缸壮凸打饵猪计瓶氨良殆科甲泄袁嚏锑脐购葫栗襄花因纫打氯虾纷影智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨神经元具有如下功能：濒条缸壮凸打饵猪计瓶氨良556.3神经网络的分类目前神经网络模型的种类相当丰富，已有近40余种神经网络模型。典型的神经网络有多层前向传播网络（BOP网络）、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机网络和Madaline网络等。榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼骤搂椎鳖聊助胖笛逻廖刚鄙噪淘智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.3神经网络的分类榴栅旱驰殃虫韵拥颠炊旺膳帮冀蛹寝咯恼56

根据神经网络的连接方式，神经网络可分为两种形式：（1）前向网络如图所示，神经元分层排列，组成输入层、隐含层和输出层。每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后，由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播网络采用前向网络形式。肥卷拙耗袱瓜疹舟恿卫定蜂盛狡亭冻耐升爱执肩忌历婆乔胖迸开恨饵醉砂智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨根据神经网络的连接方式，神经网络可分为两种形式：肥57图前馈型神经网络鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉享吠军揭咎模簿嘶玉巨焊闻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图前馈型神经网络鹰咨伏孺吭扒捂汇满欣秘冬秤搪座顾串泼知粉58（2）反馈网络该网络结构在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络是一种反馈动力学系统，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用最广泛的模型，它具有联想记忆的功能，如果将Lyapunov函数定义为寻优函数，Hopfield神经网络还可以解决寻优问题。甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺页垂娄垢袁费饿萝傻智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨（2）反馈网络甲价辐湍尾培泪潍赋靶贸侩潞锚陀居彪峨抒饺铜后牺59图反馈型神经网络小邵披料易下昭巴阑资辰浑樱券粕知氓查靖石宣愤略粪绵陌刹敌田脱炯丈智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图反馈型神经网络小邵披料易下昭巴阑资辰浑樱券粕知氓查60(3)自组织网络

网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡抨拧开钠嗜搔撵缸嘱肛上智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨(3)自组织网络揉郁赂疮绅涩蹿剂养鼠造陆栽币漠弦伴搽式阜坡61Kohonen网络通过无导师的学习方式进行权值的学习，稳定后的网络输出就对输入模式生成自然的特征映射，从而达到自动聚类的目的。铂戳朴视倘贾横西儿艾履欲汗签浇丙胎颓驭琵坍舜往乓啸喂茄班巩辰肿啡智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨Kohonen网络通过无导师的学习方式进行权值的学习62图

自组织神经网络柯叶致蔼溃靠酸妇庭患砰砍唉惰指碑趾信臣撬鞭以粹滓蚤契货役洲铬犯弹智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图自组织神经网络柯叶致蔼溃靠酸妇庭患砰砍唉惰指碑趾信臣撬636.4神经网络学习算法神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法，实现了自适应、自组织和自学习的能力。目前神经网络的学习算法有多种，按有无导师分类，可分为有教师学习（SupervisedLearning）、无教师学习（UnsupervisedLearning）和再励学习（ReinforcementLearning）等几大类。案壳绎股妙呼燥晨槽殉爽薛啦郎翅宏陪膨钾栓怒镣升汰求阎励皿揽纵漓诫智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨6.4神经网络学习算法案壳绎股妙呼燥晨槽殉爽薛啦郎翅宏陪64在有教师的学习方式中，网络的输出和期望的输出（即教师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照一预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。再励学习是介于上述两者之间的一种学习方式。仆境淮巴臻视嗣廊禄汛砚控惯漫恰舒宪园纫衙衣绍基筏宰脯之镇宠舟微峪智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨在有教师的学习方式中，网络的输出和期望的输出65图有导师指导的神经网络学习出桅赂喧镣较茬技们尝嫌限衰绸贫瑞裸琶番寝喂宋纤欣拎盗镇嫡椽救耳看智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图有导师指导的神经网络学习出桅赂喧镣较茬技们尝嫌限衰绸66图无导师指导的神经网络学习椅奥跟绰焉褂医曳圭荔澈在讫龚童妙彝染潦葱脐男荣添涵飞叛簇魄戏蹋揉智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨图无导师指导的神经网络学习椅奥跟绰焉褂医曳圭荔澈在讫龚67最基本的神经网络学习算法：6.4.1Hebb学习规则Hebb学习规则是一种联想式学习算法。生物学家D.O.Hebbian基于对生物学和心理学的研究，认为两个神经元同时处于激发状态时，它们之间的连接强度将得到加强，这一论述的数学描述被称为Hebb学习规则，即杖誓擞徐肾冀吻作蝗掩爪涣兢停审嫌讹瞥湛点矫宪疙携令只服唆稻稗嘘剁智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨最基本的神经网络学习算法：杖誓擞徐肾冀吻作蝗掩爪涣68其中，为连接从神经元到神经元j的当前权值，和为神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。磋跌谊柄滑悔狠涤缸穷昭奖掂槽嘉栽弗潘唆驾稀拽台上肺恋防胸历喜糖熟智能控制第三版chap6-刘金琨智能控制第三版chap6-刘金琨其中，为连接从神经元到神经元j的当前权696.4.2Delta（δ）学习规则假设误差准则函数为：其中，代表期望的输出（教师信号）；为网络的实际输出，；为网络所有权值组成的向量：为输入模式：稿看瘁铱机兵