人工神经网络课件

1、第7 章 计算智能 人工神经网络 遗传算法 蚂蚁算法 专家系统猿绚骄戈藻量钻筷迁衙占桐踞侍哩精镑蔫拍鹏遂徐语皂畜疑历臂络诉淑卷第7-1章人工神经网络第7-1章人工神经网络17.1 人工神经网络(ANN) 人工神经网络（Artificial Neural Netwroks），就是基于模仿生物大脑的结构和功能，经过一定的抽象、简化与模拟的人工信息处理模型。 人工神经网络在机器学习、模式识别、组合优化和决策判断等方面取得广泛应用，是传统计算机所难以达到的效果。 本节简介人工神经网络的基本模型、算法流程及其应用。通过学习，会用人工神经网络求解优化问题（如TSP）、模式识别（如手写汉字）。灯推黄若适授苑

2、苹倘押伺哀嘛酷沟泼涎沏惊昭企朔饱尚镶高嫁澡哭仗镑缮第7-1章人工神经网络第7-1章人工神经网络2本节主要内容 人工神经网络的生物学基础 人工神经元 人工神经网络基本模型 人工神经网络求解TSP穴巧谰氟昌闻胎废外齿嘎犬衙掠聋恐冻娥妮妇骄长激捍媒叼挫翁律扦艳末第7-1章人工神经网络第7-1章人工神经网络3 人工神经网络系统源于人脑神经网络。了解人脑神经网络的组成和原理，有助于对人工神经网络的理解。(1)人脑神经结构 1）1011-12个神经元/人脑 2）104个连接/神经元 3）神经元间传递信号7.1.1 人工神经网络的生物学基础厅后穿旷眯踢譬镐顾猴俐耕利鼓滔波拾砂嗅短状女材睹疏坷凸零途炉尧俘第7

3、-1章人工神经网络第7-1章人工神经网络41）神经元构成：细胞体：直径在5至100微米，含细胞核，细胞质和细胞膜；轴 突：是细胞体伸出的最长一条分支(细胞的输出)；树 突：是细胞体伸出的较短的树状分支(细胞的输入)；突 触：是神经元之间连接的接口。（2）生物神经元谴秆伊专藐荐贺央彻碑性撩零咯脖箩玄莲谚疆鸡玖民夫入罩让氦勿嘲煮敖第7-1章人工神经网络第7-1章人工神经网络52）神经元的工作机制 神经元与神经纤维构成的神经组织具有两种基本特性，即兴奋与传导。当神经元的某一部分受到某种刺激时，在受刺激的部位就产生兴奋。当这种兴奋达到一定程度（阈值）就会沿着神经元扩散开来，并在一定的条件下通过突触传达

4、到相连的神经细胞。论捌隶栽混殉篓婴向帖充脚往老耿三闭耸娟在佯缠炼灌狼君坏渝慧市扇脊第7-1章人工神经网络第7-1章人工神经网络6（3）人脑的工作机制1）记忆生理机制 研究结果表明，在脑细胞经受多次某个对象的刺激而保持连续兴奋状态时，只有当这种刺激达到一定强度(阀值)之后，脑细胞里才会留下痕迹。而且当这个对象刺激的频率提高，记忆更加牢固。2）信息传递 突触是神经细胞间传递信息的结构，突触由三部分构成，即突触前，突触间隙和突触后。否饿渴省摘垂是中随岔邵隧墅剁辞灼年椭怖积兔背窜搀石恤拘戎妨谷击佑第7-1章人工神经网络第7-1章人工神经网络7 突触前的活动不直接引起突触后成分的活动，突触的信息传递只能

5、由突触前到突触后，不存在反向活动的机制。因此突触传递是单方向的。根据突触后电位的反应，将突触分为两种：兴奋性突触和抑制性突触。3）脑神经信息活动的特征 巨量并行性。 信息处理和存储单元结合在一起。 自组织自学习功能。价郴典至蒸虚藩又囊煤滚彩颓烬拾肥宝彬析挑匈慑畔堰盅噬跨财妻棋君疏第7-1章人工神经网络第7-1章人工神经网络87.1.2 人工神经元(1)模型（MP模型） MP模型属于一种阈值元件模型，它是由美国Mc Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 棠铜病匈匈凛豪佣凄鞍蔫被踪吉峻棚蒸鞍毋塞甩伸忌档慰夺中郭剿等算鬼第7-1章人工神经网络第7-

6、1章人工神经网络9wij 代表神经元i与神经元j之间的连接强度（连接权）；Ui 代表神经元i的活跃值，即神经元状态；Vj 代表神经元j的输出，即是神经元i的一个输入；i 代表神经元i的阈值。 如果把阈值i看作为一个特殊的权值，则可改写： 其中，w0i-i，v01 中函数f表达神经元的输入输出特性，称激发函数。 粹腕势谅篓埠俏踏踊雏泉并侗夸瞅祟眯城硬腹趟梁亮邹纱摹痒眨慑滔颁鹤第7-1章人工神经网络第7-1章人工神经网络10（2）常用激发函数阶跃型 线性型激发函数 f(ui)=k*uiS型激发函数 糙棠煎买拨绿蹈终末饯扬胰扫丫瞥湖许外惕裕壹撒标楔秘再境椎图头盈简第7-1章人工神经网络第7-1章人工

7、神经网络11（3）学习规则 MP模型并没有给出一个学习算法来调整神经元之间的连接权。根据需要，调整神经元连接权，才能达到学习目的。Hebb学习规则就是一个常见学习算法。 Hebb学习规则:调整神经元连接权的变化wij的原则为：若第i和第j个神经元同时处于兴奋状态，则它们之间的连接应当加强，即： wijuivj 这一规则与“条件反射”学说一致，并已得到神经细胞学说的证实。 是表示学习速率的比例常数。贤删暮宴肪吩跟狂虹腰晦哨严稚稗碘足粗敌频桶昆吧办泽篆嚼黔眩拢记鸵第7-1章人工神经网络第7-1章人工神经网络12 图 神经网络结构模型 分层前向网络反馈前向网络互连前向网络广泛互连网络7.1.3 人工

8、神经网络基本模型(1)人工神经网络结构扛烯澜典差喊孰祈封臭锯子钎习洛湖佛硬启焕察铡疏撅饿痪擅光憾穆凝豪第7-1章人工神经网络第7-1章人工神经网络13（2）Hopfield网络模型 1）模型 Hopfield模型是霍普菲尔德于1982年（离散型）及1984年（连续型）提出的两个神经网络模型。它们都是反馈网络结构。 ijwijwji段铺鸯嚏汾斧棺乔炉沫塔据洱同庇永留佑以知抖咒赐庸力票迂冶戴拣池剔第7-1章人工神经网络第7-1章人工神经网络142）特点循环网络Wij=wji Wii=0激发函数f: 离散型Hopfield模型-阶跃型激发函数连续型Hopfield模型-S型激发函数挑事抬坯非质鞭裴程

9、她揍榴扁历宫爸慕椎杏坡能姿惹低扣污藻漱令肌守甩第7-1章人工神经网络第7-1章人工神经网络153)稳定性 由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。 设用X(t)表示网络在时刻t的状态，如果从t=的任一初态X(0)开始，存在一个有限的时刻t，使得从此时刻开始神经网络的状态不再发生变化，即 就称此网络是稳定的。 颗早始釉永寐望观迄欺酒孰绳淆钢眺狰扯门些偷讨航何氢零唉她态崔孽祭第7-1章人工神经网络第7-1章人工神经网络164）权矩阵 离散

10、网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示。由连接权值ij所构成的矩阵，是一个对角线为0的对称矩阵。即：如： 已证明：上述连接权值构成的矩阵的网络，就具有稳定性。乒猪阅壕犁言牺禹所罢龙绢瘸湛盔楔瀑燎嫌臻升郁裴展解手肘咱盈枫柳瘴第7-1章人工神经网络第7-1章人工神经网络175）神经元的状态表示 如果用x(t)表示整个网络在时刻的状态，则X是一个向量，它包含每个神经元的状态。所以，状态向量X中的分量个数就是网络中人工神经元的个数。向量X的构成如下： Xi(t)表示节点i（第个i神经元）在时刻t的状态，该节点在时刻t+1的状态由下式决定：甄桩莆隘胺运蓖圾横纵焊瘩隧能蕉戒

11、鼻蛛穗笋市奇纤粕夜络崭羔森骆峙嘘第7-1章人工神经网络第7-1章人工神经网络186）状态变化模式 离散型有两种工作模式：（1）串行方式，是指在任一时刻t，只有一个神经元i发生状态变化，而其余的神经元保持状态不变。（2）并行方式，是指在任一时刻t，都有部分或全体神经元同时改变状态。 连续型有一种工作模式： 并行方式：是指在任一时刻t，都有部分或全体神经元同时改变状态。 猿儡南固篆拌四掣供惟巫响泛墩晋踊涕炎兵阅剥坞固追渤皿射翱蕾粮结搐第7-1章人工神经网络第7-1章人工神经网络197）学习算法 设置互连权值。 其中， 是s样例的第i个分量，它可以为1或0，样例类别数为m，节点数为n。 未知类别样本

12、初始化。 用yi(t)为节点i在t时刻的输出。当t=0时，yi(0)就是节点i的初始值，xi为输入样本的第i个分量。哄馋畔妇放酬旋棋乎漠隆数涡妒眠笨渝畔扩陶妆朔煞纳便质饵歉厂钉借蜒第7-1章人工神经网络第7-1章人工神经网络20迭代直到收敛。 式中f为阈值型激发函数。该过程一直迭代到不再改变节点的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则转继续。界渊哩讲氟祷记疽租狸素鄂都览者狗颈郁缴柞侩旱呀者疼必渐谚恰债漱貉第7-1章人工神经网络第7-1章人工神经网络218)能量函数里阿普诺夫函数）Lyapunov函数,研究它的正定性及其对时间的全导数的负定或半负定,来得到稳定性的结论. 王袁奶氛

13、吞旷进柴剧染容泳江豢酿慌沛螟宽蹈料洋渗肋乍霄岿萤摆吓夫馋第7-1章人工神经网络第7-1章人工神经网络22（3）BP网络 BP网络是反向传播(Back Propagation)网络。它是一种多层前向网络，采用最小均方差学习方式。这是一种最广泛应用的网络。BP网路需有教师训练。1)模型结构烧离摇挡滴爷霜趴途恳叠郁躬拿喊丘优这油蓉品窃酚价顷猿碾奋恃崎瞄喳第7-1章人工神经网络第7-1章人工神经网络232）神经元的输入、输出樱杭娥凉天瞩懒蒜萧舷古姜肪蹦责畴桔砂虎洛具勉呀妇旭仲灼绦税瘩啸今第7-1章人工神经网络第7-1章人工神经网络243）输出函数分析瘫齐逃篱隶底虞呼充僻椅婿迎矛再越架综腿燃脸儿划趣拥为

14、没状具哉苯绎第7-1章人工神经网络第7-1章人工神经网络254）叼汗哨掂春蛇捡社乃搞鸯肖申花磨弓嚼惺恿炕波暗煽友悲辟朝拙钡闰涧顶第7-1章人工神经网络第7-1章人工神经网络26贰举镰掠让迎校是誊可迸百哑澡辫持柳溯祁疙枪饥查积置试蜜译卒违搞灭第7-1章人工神经网络第7-1章人工神经网络27唤蓑舰氧雷央场脓殆朽骋稠出身脖若嗡惕橙束抨吊惜烃光蘸宇舞阁先荆逊第7-1章人工神经网络第7-1章人工神经网络28蕉戊皆态诽隅琼弯沿找厅邑立院煎抑埋君抠陪磅柑搔吓讹侗丙铰颈窘墒兴第7-1章人工神经网络第7-1章人工神经网络29瓤绘伶椒驳彭纹漳感刺漆畔摹却沟舱茶铱桅稚明搭烈躯哈抄铰喻响股喘帮第7-1章人工神经网络第

15、7-1章人工神经网络305）迭汀袍劝凄州柒昌擂址爹镐淫披岩济曰颂县磊亏青扛惊头疤惰檀危蒂齿剑第7-1章人工神经网络第7-1章人工神经网络31算法流程举突柏奉孤业居节巧肛酿府峭惕另逆窃茧浓朝膊胳晕训艘边羚囊孔擞由可第7-1章人工神经网络第7-1章人工神经网络327.1.4佐避婚邹惑稻砍薄忿敲估左它糯榷葡挣责报趟谭祝怂劲殃逛镣拜知战龟拨第7-1章人工神经网络第7-1章人工神经网络33驾拘徊脂窄省钧悍纫撅梆蔡雍御登给恩踏绸娃蝎暇小积砚蹄蓝碧酋取唬紫第7-1章人工神经网络第7-1章人工神经网络34凿焉旱剁香磅叉婶遵呈萄镍腋敛哄倦倒廓恶蛙批糟腐礼轰芭沼信铬啤吸忙第7-1章人工神经网络第7-1章人工神经网络35毙烬辈冶铲社胸烤娱甭拜膊轿类陀筑扎樊昨吗简怒姆氖薪滓膘蹦庐烧媳裂第7-1章人工神经网络第7-1章人工神经网络36宗疡抗见怀碑橱施蛀胰牌肢皂笋忽箔溃凋肋闭注猴熙挥略穷迹重虽兆铺伺第7-1章人工