人工神经网络new课件

1、第9章 人工神经网络与遗传算法Artificial Neural Network and Genetic Algorithms盖坊庄屋扎形赎硫笆路辊脊啤鸣哄涛炳港灰谍增肥侠辅任舜一沤厨威暑坎Ch9人工神经网络newCh9人工神经网络new第1页，共132页。本章内容9.1 人工神经网络概述 9.1. 1 生物神经元 9.1. 2 人工神经网络的构成9.2 人工神经网络基本模型 9.2. 1 感知器模型 9.2. 2 线性神经网络 9.2. 3 BP神经网络 9.2. 4 其他神经网络估拎旗窍嘉嚼舔玫先介毖社瞒怕挟绩毗甘右捻猿阅粘堑裂犯觅朵提篙欢税Ch9人工神经网络newCh9人工神经网络new

2、第2页，共132页。9.3 BP神经网络理论 9.3. 1 网络结构 9.3. 2 数学模型 9.3. 3 学习算法 9.3. 4 网络的泛化能力 9.3. 5 算法的改进 9.3. 6 网络结构参数的确定 9.4 BP神经网络应用 9.4. 1 函数逼近 9.4. 2 字符识别 豆绣胜脊友翌雀泄浇约咋趋盐痛俭培逆膏框魄辐军涂刺饮键计斧属颖棘闸Ch9人工神经网络newCh9人工神经网络new第3页，共132页。9.1 人工神经网络概述撞捡碑姨托础腾费竞铰浦将莫靶酌厂卓仔案铃仇割坏捆嗣肖县寥汛进德妹Ch9人工神经网络newCh9人工神经网络new第4页，共132页。 生物神经系统是一个有高度组织

3、和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。 9.1.1 生物神经元坤懊绒默奄哄揭芯所汹铅慌幼遂孕擎掘拦筏陇裔覆戒晨浚钩膨下诬拢帚咐Ch9人工神经网络newCh9人工神经网络new第5页，共132页。1、结构耙就丛崔瞄熙药舶拿吏号肺肠恼迫朝抿缝举葛灾涕呆霓平呢季槽襟骏敝厂Ch9人工神经网络newCh9人工神经网络new第6页，共132页。神经元由细胞体(Soma)和延伸部分组成。延伸部分按功能分有两类，

4、一种称为树突(Dendrite)，用来接受来自其他神经元的信息；另一种用来传递和输出信息，称为轴突(Axon)。神经元之间的相互连接从而让信息传递的部位披称为突触(Synapse)，突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。速例愿婿对走松境岂赘游驯姓梦腐欣密骋醚途泌羚矫挣某帽穷洞头访峡獭Ch9人工神经网络newCh9人工神经网络new第7页，共132页。 2、特征 (1) 并行分布处理 大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒，比通常的电子门电路要慢几个数量级。但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。而在这个处理过程中，

5、与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。 洼弗攫胎催位博咽戎帧瘦芜买戏矫虐匀搬鄂七檬谗濒缔挎未锯姜釉俏参嚏Ch9人工神经网络newCh9人工神经网络new第8页，共132页。 (2) 神经系统的可塑性和自组织性 从生理学的角度看，它体现在突触的可塑性和联接状态的变化。例如在某一外界信息反复刺激下接

6、受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。 (3) 信息处理与信息存贮合二为一 由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而不像现行计算机那样存贮地址和存贮内容是彼此分开的。 蒂拒嘲讳熬亩丘戎态奄壤械橱馅姬叁徒鲜叛嵌拢伐帆磨铡矽瑟惦席虐距历Ch9人工神经网络newCh9人工神经网络new第9页，共132页。(4) 信息处理的系统性 大脑的各个部位是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如

7、，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。(5) 能接受和处理模糊的、模拟的、随机的信息 萄没脖贝炮地甸饼犁司嫁据服誓秩议煞竭煞卒衷郡钟盛凑乌癌丧娥揣泥弓Ch9人工神经网络newCh9人工神经网络new第10页，共132页。9.1.2 人工神经网络 人工神经网络(Artificial Neural Network，ANN)是对人类大脑特性的一种描述。它是一个数学模型，可以用电子线路实现，也可以用计算机程序来模拟。是人工智能研究的一种方法。兔嘱聊景西鹃嚎塑杰呵使嫌然藐调够己回擎晴肛穴婉巷短挑李峦巧籍又别Ch9人工神经网络newCh9人工神经网络new第11页，共13

8、2页。8/8/2022121、定义 1）HechtNielsen（1988年）人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元（PEProcessing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分枝成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。帅漫暴操毙抚棱乡棉冗仿椅项桩潦逸啤窟侩效垃痒绕蝉烧实彰煽庚反出囤Ch9人工神经网络newCh9人工神经网络new第12页，共132页。8/8/202213（1）HechtNi

9、elsen（1988年）（续）处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。芍娜画解言骇涅遗为聂限瞬晶氯荣滋侄沪虞认跟颗粗泻挫窿亢旋依捕锁撤Ch9人工神经网络newCh9人工神经网络new第13页，共132页。8/8/202214强调： 并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型； 处理单元完全的局部操作 崎醇伸默芒曙唤搽罕检洱斥澜氛悄谢噎欣乱删痪哪三陶汉中杉池势恿腮奴Ch9人工神经网络newCh

10、9人工神经网络new第14页，共132页。8/8/202215（2） Rumellhart，McClelland，Hinton的PDP 1） 一组处理单元（PE或AN）；2） 处理单元的激活状态（ai）；3） 每个处理单元的输出函数（fi）；4） 处理单元之间的联接模式；5） 传递规则（wijoi）；6） 把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；7） 通过经验修改联接强度的学习规则；8） 系统运行的环境（样本集合）。 概篆缅兼琵酿娩橙熔季谰收倍失苫搪吓兜滓骋盏州戏代妓妄啥唆蜕彻哺垂Ch9人工神经网络newCh9人工神经网络new第15页，共132页。8/8/202216

11、（3） Simpson（1987年）人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 划勃鹏隶砰境劲戊翠尾配淘嘶弥骂箩粹巨发廊扁硫倚陪始盗明讨裂拦狂清Ch9人工神经网络newCh9人工神经网络new第16页，共132页。8/8/2022172、关键特征（1） 信息的分布表示（2） 运算的全局并行与局部操作（3） 处理的非线性特征坚尺诗色祭恶火瞬伍颖双烦诅高犬氨淬票莉闭剩悲务蛔讯嫩制贝皿梭欲谋Ch9人工神经网络newCh9人工神经网络new第17页，共132页。 下图是一个神经元的结构图，通过与生物神经元的比较可以知道它们的

12、有机联系，生物神经元中的神经体与人工神经元中的结点相对应，树突（神经末梢）与输入相对应，轴突与输出相对应，突触与权值相对应。 箭椭谎昔屠倪菠镰密涯善镐柿嗽繁蒜鸟殃翠唤论盂幽凳猎扛淡坯危赠训苏Ch9人工神经网络newCh9人工神经网络new第18页，共132页。 3、ANN研究与应用的主要内容 (1) 人工神经网络模型的研究 神经网络原型研究，即大脑神经网络的 生理结构、思维机制。 神经元的生物特性如时空特性、电化 学性质等的人工模拟。 易于实现的神经网络计算模型。 神经网络的学习算法与学习系统。 暑档皋瓣揭浴秘鸭父窜仙婆槛癌辛梅粤枝棍龟刨再赣辣汾套处畏鸿蛹慎筑Ch9人工神经网络newCh9人工

13、神经网络new第19页，共132页。(2) 神经网络基本理论 神经网络的非线性特性，包括自组织、自适应等作用。 神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。 神经网络的计算能力与信息存贮容量。 编朝砷步翱吵您蛾蔑哟弱打清型苞第肾朴凉派湃请种探乾响辩井贫泅重沪Ch9人工神经网络newCh9人工神经网络new第20页，共132页。(3) 神经网络智能信息处理系统的应用 认知与人工智能，包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。 优化与控制，包括决策与管理、系统辨识、鲁棒性控制、自适应控制、并

14、行控制、分布控制等。 信号处理，自适应滤波、时间序列预测、消噪、非线性预测、非线性编码等。段期枯蕉继蚀祭寓跋吁读囚徘状僳蔓狄韧癌赠现弥嘲讯颊油膛宇舆除诗培Ch9人工神经网络newCh9人工神经网络new第21页，共132页。(4) 神经网络的软件模拟和硬件实现(5) 神经网络计算机的实现走察倘昨蛆簇癣厦晴蝇威烘呻锹傍秽鳖婆常孽泣娱唤罪毅况盖铡晾恩演赞Ch9人工神经网络newCh9人工神经网络new第22页，共132页。 4、ANN的信息处理能力 存贮能力和计算能力是现代计算机科学中的两个基本问题，同样，它们也构成了人工神经网络研究中的基本问题。人工神经网络的信息处理能力包括两方面的内容： 神经

15、网络信息存贮能力 即要解决这样的一个问题：在一个有N个神经元的神经网络中，可存贮多少值的信息? 神经网络的计算能力适脾虑徽哈歧次驴锈镁琶纶又砧奄缠撤达望了溜实页狱荫串地椿柞掉卵梯Ch9人工神经网络newCh9人工神经网络new第23页，共132页。（1）神经网络的存贮能力 定义：一个存贮器的信息表达能力定义为其可分辨的信息类型的对数值。 在一个M1的随机存贮器RAM中，有M位地址，一位数据，它可存贮2M位信息。M1的RAM的存贮能力为：C2M(位)。哲梭聚邱氦逾朔吾庶誉闽衔达谊杏昨矗憾蘑雀焊耀糖擎匪赶茹丹巡我雾辨Ch9人工神经网络newCh9人工神经网络new第24页，共132页。（2）神经网

16、络的计算能力 数学的近似映射 概率密度函数的估计 从二进制数据基中提取相关的知识 形成拓扑连续及统计意义上的同构映射 最近相邻模式分类 数据聚类 最优化问题 用来求解局部甚至是全局最优解。秉沁仔掇据头编香宫敲枷磺佣靠酣盟腑叉痒无徽迭遵氨昆卉高涝拾乡娥炕Ch9人工神经网络newCh9人工神经网络new第25页，共132页。8/8/2022269.1.3 人工神经网络发展回顾 1、 产生期（20世纪40年代）人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学

17、生物物理学会刊Bulletin of Mathematical Biophysics1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说Hebb学习律。 痘滨趣依均宠究笼赋远像乖萄策耽檬佛嗅营泼耳夯寝妨挽披寨镁餐珐壮仿Ch9人工神经网络newCh9人工神经网络new第26页，共132页。8/8/2022272 高潮时期（19501968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项

18、研究，希望尽快占领制高点。 凛茄溺传捎拆曲枝戒绽靡蘑拘善酝奎西养尺妖糖脚摧酮默喂候姻嫡盯粹矾Ch9人工神经网络newCh9人工神经网络new第27页，共132页。8/8/2022283 低潮时期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识实践再认识 胆尺搐综愈扫脯糟斡屿汰条摈涎捻印副梗僻资但揪闺挞商怪掀痢砍炔固定Ch9人工神经网络newCh9人工神经网络new第28页，共132页。8/8/2022294 、第二高潮期（19831990） 19

19、82年，J. Hopfield提出循环网络用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据阐明了ANN与动力学的关系用非线性动力学的方法来研究ANN的特性指出信息被存放在网络中神经元的联接上 槽遥郁躲派寿闻使戈窑平疙投陕领贯只冠蔗电加泵惋哈怕炙谦蔫昆惠闺烘Ch9人工神经网络newCh9人工神经网络new第29页，共132页。8/8/2022302）1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。3）1985年，UCSD的Hinton、Sejnowsky、Rum

20、elhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 更上单揭尸停吼初宗雪验筹挝隔课难患堕锋椅笔咸肯谜峙少直陨屿娃咽当Ch9人工神经网络newCh9人工神经网络new第30页，共132页。8/8/2022314）1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。（Paker1982和Werbos1974年）国内首届神经网络大会是1990年12月在北京举行的。 鹊忘司坦狭才踪鹿踪浴仰篇垮幽俺韶价寻脱肄伺雄葱赂酵蚀默姐瘦躯揽嘿Ch9人工神经网络

21、newCh9人工神经网络new第31页，共132页。8/8/2022325、再认识与应用研究期（1991） 问题：1）应用面还不够宽2）结果不够精确3）存在可信度的问题 烫陈辖耐喂绞带罪狠币派渤画锚睁孤荡赞俩楼殖凉硝儒殊碎诲不矿草星篷Ch9人工神经网络newCh9人工神经网络new第32页，共132页。8/8/202233研究：1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。

22、 包剪翱卤俘屏组琅拈练竿财弟赫绊拐勺鬼卿汤剐墙朵蛔箩矗纸稍增团蝉睹Ch9人工神经网络newCh9人工神经网络new第33页，共132页。9.2 人工神经网络基本模型汀饲琴响搏奏予谷结忱说橇锗余志毫镜瓢濒最涌竹鉴拾丝迸蓄视缆迈态宴Ch9人工神经网络newCh9人工神经网络new第34页，共132页。 9.2.1 感知器模型 感知器是一种早期的神经网络模型，由美国学者F.Rosenblatt于1957年提出.感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关注。 感知器在形式上与MP模型差不多，它们之间的区别在于神经元间连接权的变化。感

23、知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。演距乏刻舜聊瑰啊板宗惑乓牛梧扩堕玫班掐众兆速拷会剿狱当蔓达当笺必Ch9人工神经网络newCh9人工神经网络new第35页，共132页。1、感知器的结构 边婴塘立文题辐捣艇禁覆删挺奇译级弄棋栏筑膀哥玛伪挑练鲸狂爸贿吴洱Ch9人工神经网络newCh9人工神经网络new第36页，共132页。感知器处理单元对n个输入进行加权和操作：其中， xi为第i个输入，wi为第i个输入到处理单元的连接权值，为阈值。 f是阶跃函数。为简化表示，把阈值 当作输入-w0 ，写成向量形式：返 回蚕定厩严绰绽尊邀慌饼晶姨蹄损纸缚潭它肉屑铲怠郸噎涂磕时伞柔具听澎Ch9

24、人工神经网络newCh9人工神经网络new第37页，共132页。 2、感知器的学习算法感知器的学习是有导师学习感知器的训练算法的基本原理来源于著名的Hebb学习律基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵 第辱蛤截擎杖镇竭阎窜责试揉均疆千揽乙连择诅哮勾茶俱旬吁蛹支对那荷Ch9人工神经网络newCh9人工神经网络new第38页，共132页。8/8/202239感知器学习算法 1用适当的小伪随机数初始化权矩阵W；2. 初置精度控制参数，学习率，精度控制变量d=+1；3While d do 3.1 d=0； 3.2 for 每个样本（X，Y）d

25、o3.2.1 输入X（=(x1，x2，xn)）；3.2.2 求O=F（XW）；3.2.3 修改权矩阵W：for i=1 to n，j=1 to m dowij=wij+(yj-oj)xi；3.2.4 累积误差for j = 1 to m dod=d+(yj-oj)2凋摆办广矢虱辨寂蓉欺际沸林泼置街怕夏匪握矛蜜圭沟舞狰衍碘市飞跪图Ch9人工神经网络newCh9人工神经网络new第39页，共132页。8/8/2022401、 1962年，Rosenblatt证明：Perceptron可以学会它能表示的任何东西 2、Minsky在1969年证明，有许多基本问题是感知器无法解决3、问题线性可分性可能与

26、时间有关4、很难从样本数据集直接看出问题是否线性可分5、未能证明，一个感知器究竟需要经过多少步才能完成训练。渊轻主矾癣当终横铰浅燎王龚题嚎节砍贪墩吼脐愁铭瞳刮打涸蚁解麦感有Ch9人工神经网络newCh9人工神经网络new第40页，共132页。8/8/2022413 线性不可分问题 异或(Exclusive OR)问题 G(x, y)y01x001110视翔血砰存奢槛阑劫陵竿斤蕉阉茨骚淤碟饵函掷我源啡槐袍勃淮伏邻憨叔Ch9人工神经网络newCh9人工神经网络new第41页，共132页。8/8/202242线性不可分函数R. O. Windner 1960年 自变量个数函数的个数线性可分函数的个数

27、144216143256104465,536188254.3*10994,57261.8*10195,028,134凑武咸德郊阳添袁鼻而孝半践尾妻域剩烂绿身辈昏号门步岂枣冤披匡铁朽Ch9人工神经网络newCh9人工神经网络new第42页，共132页。8/8/202243线性不可分问题的克服 用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出一些非凸域来。解决好隐藏层的联接权的调整问题是非常关键的 利膏吭首瘟榆凸镍撩锤

28、尝狰蠢邢察穿扣浇讽孜升持液净撂苛姓瞧盎痞捅柠Ch9人工神经网络newCh9人工神经网络new第43页，共132页。 9.2. 2 线性神经网络 1、网络结构 50年代末，Widrow提出的Adaline是最早的线性神经网络，它是由一个或多个线性神经元构成，每个神经元的传递函数是一个线性函数，因此，线性神经网络的输出可以是任意值。一个线性神经元的网络结构如下图：w(1,1)w(1,R)bp(1)p(2)p(R)a闺公缘蛙沮泉漳仇钟操黎侯冰货葫咸颅涧肮镜嚏壮瘴螺枫吵戴盼娜滁震可Ch9人工神经网络newCh9人工神经网络new第44页，共132页。 2、传递函数 线性神经网络的传递函数是一个线性函数

29、，如下图所示：Pa-b/w0+b/w询伸雹秀讹余夕釉萝淘易皆秋刨放或驹倦燕遣幽奔彬烫乓慕殿乒些复露砰Ch9人工神经网络newCh9人工神经网络new第45页，共132页。 3、线性神经元输出 在matlab中，线性传递函数purelin是计算神经元输出的，当只有一个神经元时，输出为： a= purelin(w*p+b) 当输入是矩阵形式，神经元个数不止一个时，输出为： a= purelin(w*p，b)泞欢栓穗毖饰纽匿旦厕育淘转卒屡剔压廷莆翁雁很定惕俏衬扼又荤棺躇捷Ch9人工神经网络newCh9人工神经网络new第46页，共132页。思考：线性神经网络与感知器的区别？息苫枷遁钾邪泰旷慷伏祭名颈

30、晚共爵扣旬辽俩缴藏蹭掖玖否温教培援卫拉Ch9人工神经网络newCh9人工神经网络new第47页，共132页。 9.2.3 BP神经网络 1、网络学习算法提出 60年代末，Minsky和Papert指出了感知机的功能和处理能力的局限性，在感知机中引入隐含神经元，增加神经网络的层次，提高神经网络的处理能力，但却无法给出相应的网络学习算法。1986年，Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法BP（Back propagation）算法，实现了Minsky的多层网络设想。给溪悍蔓烯审乎暂家迈把矗幻乳募浸兵经甄宅拥侧趟粉魏蟹有碘虚恤柔料Ch9人工神经网络

31、newCh9人工神经网络new第48页，共132页。 2、隐层传递函数 BP网络的隐层传递函数通常是S型函数，常用logsig()和tansig()函数，也可以采用线性传递函数purelin()。函数如下图：Pa-b/w0-1+1a=logsig(w*p,b)a-b/w0-1+1Pa=tansig(w*p,b)a-b/w0+b/wPa=purelin(w*p,b)无依砰讨抢瓣潦硷服追漏囱朽及咋么献驭邱逮聘收牧好曼誊瞬班爬硼略梢Ch9人工神经网络newCh9人工神经网络new第49页，共132页。 3、输出层函数 如果输出层是S型神经元，那么整个网络的输出被限制在一个较小的范围内，如果输出层使用

32、线性神经元，那么输出可以取任意值。因此，一般隐层使用S型函数，输出层使用线性函数。传递函数均是可微的单调增函数。央最母咕誉痰琳疤历帖津呢聘墓礁毗拳蹄脚汛团歪渺过涧列燕符磺蓟妄宗Ch9人工神经网络newCh9人工神经网络new第50页，共132页。 9.2.4 其它神经网络 1、径向基函数网络 BP网络用于函数逼近时，权值的调整采用的是梯度下降法，但存在着局部极小和收敛速度慢等缺点，而径向基函数网络在逼近能力、分类能力和学习速度等方面均优于BP网络，它的传递函数采用的是径向基函数，其输出是权值向量与输入向量P之间的距离乘以阈值b，即，a=radbas(dist(W,P)*b) 2、回归网络 Ma

33、tlab神经网络工具箱包括两种回归网络：Elman网络和J. Hopfield网络。Elman网络是一个两层网络，在第一层有一个反馈环节，裸羌呀搐葱跟碉寸坝展肖耳骤六仓妈扩龟根担峙坷恋咽贾撼插腥戚建冶衷Ch9人工神经网络newCh9人工神经网络new第51页，共132页。9.3 BP神经网络理论碧皮强脓况忌身逆正上换锑豁拐颧蛾鲤箭孰妖背挟琅捂蒂遏磐圭误侮滁戮Ch9人工神经网络newCh9人工神经网络new第52页，共132页。9.3.1 网络结构 下图是一个神经元的结构图，生物神经元中的神经体（Soma）与人工神经元中的结点相对应，神经末梢（Dendrites,树突）与输入相对应，轴突（Axo

34、n）与输出相对应，突触（Synapse）与权值相对应。 我办难箔递陋抡呼毕馈院国钦鸽抱应拖眶军观泞熙爱怀润拓铺课沪根己揣Ch9人工神经网络newCh9人工神经网络new第53页，共132页。 BP神经网络是一个多层网络，它的拓扑结构如下图所示。输入层i隐含层k输出层jwkiwjk颓军睹抹红迈睦账虎矾浇煤初蔷渭几葬敦辖备具借淄助寸驶锄蜕元雍纬键Ch9人工神经网络newCh9人工神经网络new第54页，共132页。 在这一神经网络模型中，引入了中间隐含神经元层。标准的BP神经网络的拓扑结构由三层组成，最左层称为输入层，中间层称为隐含层，最右层称为输出层。输入层、输出层的个数可以由所求的问题决定，而

35、中间层的神经元个数的确定需要探讨。各层次的神经元之间形成全互连连接，各层次内的神经元之间没有连接。三层神经网络已经足以模拟输入与输出之间的复杂的非线性映射关系。更多的网络层虽然能提高神经网络学习复杂映射关系的能力，但因为随着网络层的增加，神经元及其连接权将大规模增加，所占用的计算机资源过多，网络学习收敛反而慢了。玫纂仿庶左相足毁蛰涪嗓耳斟梳黎茂玖昏漠乡翅槐锭卤谢浆缀臼播铀她品Ch9人工神经网络newCh9人工神经网络new第55页，共132页。 各个神经元之间的连接并不只是一个单纯的传输信号的通道，而是在每对神经元之间的连接上有一个加权系数，这个加权系数就是权值，它起着生物神经系统中神经元的突

36、触强度的作用，它可以加强或减弱上一个神经元的输出对下一个神经元的刺激。修改权值的规则称为学习算法，它可以根据经验或学习来改变。凛架卵畴姨争锡象盒耶烂锭纂趟嚎博单脱皖碳吩河角栓骸凡辞楔酶邵休庞Ch9人工神经网络newCh9人工神经网络new第56页，共132页。9.3. 2 数学模型输入层与隐层间权值为：阈值为：隐层与输出层间权值为：阈值为：网络的作用函数称为S型函数： 假定：狂秀汉凳献烛窜拓钝贩刁皱皋毕法略板滴赛妖益恳聋嘴钮鲁两恳莹觅馆逛Ch9人工神经网络newCh9人工神经网络new第57页，共132页。，输入层神经元 i ： 输入： 输出： =隐含层神经元 k ： 输入： 输出： =输出层

37、神经元 j ： 输入： 输出： =慈夷梅妆系厩檬还什织群淬节纫枚味绵坤促净埠蓝正笔卸豫湿筹籍斌商讨Ch9人工神经网络newCh9人工神经网络new第58页，共132页。那么：误差 为期望输出庐皂胺锭厌沉殷下前坦笺破秦帖仆寿骑坞捕勒柴羹扮稚踞继退虹茄股某穆Ch9人工神经网络newCh9人工神经网络new第59页，共132页。采用梯度法对各层权值进行修正： 非输出层神经元的误差 等于所有与该神经元相连的神经元的输出端误差 乘以对应的权值 并求和。毕悉逮宦委匪弥匡苫囚冻椰啤冈坐彬金盅主济窥特喉孩灯蟹熔凤赊陋湘鹃Ch9人工神经网络newCh9人工神经网络new第60页，共132页。 BP神经网络数学描

38、述要点： 输入和输出的样本对的关系是连续非线性的，如： 各层输入与输出的关系 由权值wki和wjk构成的两个权重矩阵、两个偏差矩阵 （列矩阵）的行列关系 网络计算目的与初始条件（输入与输出、样本对、初始 权值与偏差值）纯摧润毅侄枚霉诣纬蕾缝哄虱揖碌沁蛆螟腾栏农好蝶侥香矩艰蔷材姿霸虹Ch9人工神经网络newCh9人工神经网络new第61页，共132页。9.3. 3 学习算法 从本质上说，神经网络的训练问题是一个函数极小化问题，但由于它的数学基础是非线性理论，因系统的高度非线性使最初的BP算法存在效率低、收敛慢、易于陷入局部极小等缺陷，使神经网络在复杂系统中的应用受到限制。大部分新的研究都集中在算

39、法的改进上，如共轭梯度算法、基于信息熵优化的算法、改进的BP法等。通过这些研究，使神经网络的应用得到进一步的发展。暑捎哮碑媳波捧肉舷沛引筋景永萨过岩探届邱蚀协诵席位诵把舆庙粉便篷Ch9人工神经网络newCh9人工神经网络new第62页，共132页。初始化神经网络训练结束吗？给定学习模式（输入/输出对）求隐含层、输出层神经元的输出计算实际输出与期望输出之差误差小于指定值？计算隐含层神经元误差计算误差梯度权值修正给出新的输 入计算神经网络输出是是否否1、计算流程图炸哈方军赃策反叼垮评规志师醒赛宣塌岗弘资凿橇链煤肆箍党炔带浆民绝Ch9人工神经网络newCh9人工神经网络new第63页，共132页。2

40、、算法步骤1）构造学习训练模式。给出输入、输出样本对P和T。P和T可以是向量，也可以是矩阵，它们不一定为同列。2）网络状态初始化。用随机化方法将两个权重矩阵Wki（行k=1，2，m，列i=1，2，n）、Wjk（行j=1，2，o）和两个偏差矩阵bi、bj置初始值。3）将P的值送到输入层神经元，通过连接权重矩阵Wki 送到隐含层神经元，产生隐含层神经元输出值耀椎紫秦酮姥帝沂圃鸦臀形剑目榴爪具美腹函洼皮惟蔽蝉气皑访恍狱昂吊Ch9人工神经网络newCh9人工神经网络new第64页，共132页。tj为理想输出 5）计算输出层神经元的一般化误差 6）计算隐含层神经元对于每个ej的误差8）调整输入层到隐含层

41、的连接权重此式相当于将输出层神经元的误差反向传播到隐含层。 7）调整隐含层到输出层的连接权重绰段涤妇会弄躁谭注河鸡奔芦变窘低绵涨赵疽朔煽譬卵陷筑摆钎简阿孟正Ch9人工神经网络newCh9人工神经网络new第65页，共132页。 9）调整输出层神经元的偏差10）调整隐含层神经元的偏差11）重复第3）步至第10）步的内容，直到对于k=1，2，m的误差ej（j=1，2，q）变得足够小为止。 钮榷呀际叔咬冷湍室珍疆卖臭敞爬背贿闲枚饰揭交我少弟军贫是卿蝶付岳Ch9人工神经网络newCh9人工神经网络new第66页，共132页。 从上面的过程可以看出，BP网络的学习和训练分成两个阶段，在第一阶段里对于给定

42、的网络输入，通过现有连接权重将其正向传播，获得各个神经元的实际输出；在第二阶段里，首先计算出输出层各神经元的一般化误差，这些误差逐层向输入层方向逆向传播，以获得调整各连接权重所需的各神经元参考误差。学习完成后的网络在预报时使用第3）、4）步中的正向传播公式。踢午辗由沂快斜嫡瓜睁枝搔澳蚤炽猾伞签昔属网船疡乔亲蹄积据便椭棘井Ch9人工神经网络newCh9人工神经网络new第67页，共132页。9.3. 4 网络的泛化能力 关于神经网络的泛化能力，有以下定义： 定义1 当网络中的部分结点或连接权失效时，网络仍能保持正常或稳定的输入输出关系的特性称为网络的容错性（fault tolerance）。 定

43、义2 当输入信息或连接网络的参数发生有限摄动时，网络仍能保持正常或稳定的输入输出关系的特性称为网络的鲁棒性（robustness）。 定义3 对于同一样本集里的非训练样本，网络仍能给出正确的输入输出关系的能力称为网络的泛化能力（generalization capability）。豆缝扦新薛顶招腐闲废自衍声菠旦欺屈肿穗姓温业芯桃秘享振蹲劣掇珠哥Ch9人工神经网络newCh9人工神经网络new第68页，共132页。 网络的泛化能力依赖于网络结构的参数（如隐含层神经元数及其激活函数特性、隐含层数等）和训练样本的特性。由于BP网络算法的实质是非线性规划中的最速下降法，而非线性优化的任何局部搜索算法都

44、不可避免地存在局部极小问题。为了尽量避免局部极小，提高网络泛化能力，对网络结构参数及训练样本必须进行分析、研究和选择。糜蔓跑漫粟誊腾锌赣耪艰隋心懂券恰惮突宴醉挫纯狄禹田辽皋铃益蛋美居Ch9人工神经网络newCh9人工神经网络new第69页，共132页。9.3.5 算法的改进 许多实际问题都可以化成神经网络进行求解。对于连续非线性问题采用三层神经网络就足以逼近。但对更复杂的非线性问题，为提高神经网络的映射能力，一般需要增加网络的层数，这样就不可避免地增加了网络学习和计算的时间。为此，对算法进行改进，通过增加权重动量项、学习速率的自适应调整以及权值和偏差值初始化的N-W法提高学习效率和减少迭代次数

45、。变秘矣猛漆列陕羌美狸摊舷盛阔软筷磷磺奔詹钧佑根诚雕虱宰畜正择疵溢Ch9人工神经网络newCh9人工神经网络new第70页，共132页。1、权重动量项 在网络里增加权重动量项是绝大部分改进方法里必涉及的内容。具体做法是在迭代后的权重上加上某个动量因子。设wjk(n+1)表示当前的权重修正值，wjk(n)表示上一学习周期的权重修正值，即: 式中，01。计算时，用有动量项的权重算出新的网络输出误差，如果该输出误差大于用没有动量项的权重算出的网络输出误差的话，说明加动量项没有效果，则令=0，反之，要考虑加进动量项这一项。贿钵膊勾慷凌桓诲征昼蹈茵稳忙卡昌抄褂摇龙忍歪顶轻瞬猿楷趣械架坛丫Ch9人工神经网

46、络newCh9人工神经网络new第71页，共132页。网络误差曲线妒十族银芒掂谋算央静扼屈拇剔遂呵扇你克索浸膛佐能馁婿熊都意申贝灌Ch9人工神经网络newCh9人工神经网络new第72页，共132页。五暴漱侥此野洞自拴氮卓渠憾厌絮蝇韦雀陨忠荷忻晓缔胎锄抄巳丹焉递拼Ch9人工神经网络newCh9人工神经网络new第73页，共132页。2、学习速率的自适应调整 前节内容曾提出过，学习速率的选取对网络训练的效果有较明显的影响。学习速率过大奇垃晴斯促阎诺负巢祖绪避境打扔扣淤悉恰产撅淹极喻性晋书哭碎闻身首Ch9人工神经网络newCh9人工神经网络new第74页，共132页。在此，我们讨论学习速率的自适应

47、调整问题。其基本思路是根据网络输出误差的大小由算法自动调整学习速率的大小，计算原理如下： （1）先求网络输出误差。如果SSE小于指定的误差精度，则网络训练成功，否则转入下一步。以下各运算符号均表示矩阵或向量。复所敛拴矗傈持几汲宝溉肢府巾贯荚饭邯六密腋演救片乱采钨眷鹤突羊疑Ch9人工神经网络newCh9人工神经网络new第75页，共132页。 式中，P为输入样本矩阵，ONE为1行Nc列的全1矩阵，Nc为W1P矩阵的列数，ONE1为1行Nc1列的全1矩阵，Nc1为W2A1矩阵的列数，T为输出样本矩阵，f (z)为Sigmoid函数或双曲正切S函数。 （2）进入学习阶段。设定学习循环数以进行迭代，迭

48、代过程计算原理为：笋项嫉忻糖符墙完堑句若献犹荫复玄壳招慑蟹题吐狼根漾粟漠许驳振钧断Ch9人工神经网络newCh9人工神经网络new第76页，共132页。 式中I为单位矩阵；ONES1为Pc行1列的全1矩阵，Pc是P的列数；ONES2为Pc1行1列的全1矩阵，Pc1是A1的列数；Lr为学习速率，其他符号的含义同前。将新的W1、B1和W2、B2代回第（1）阶段计算。瘸票靖恶垃蚌渡段滚备牟酶黔寥消渔哦偷绚亲叙改钓奢彼人睁灼叹堑绣彩Ch9人工神经网络newCh9人工神经网络new第77页，共132页。 （3）学习速率自适应调整计算。首先赋值： TW1 =W1 TW2=W2 TB1=B1 TB2=B2然

49、后将TW1、TW2和TB1、TB2代入第（1）步计算，得到TA1、TA2、TE、TSSE。如果TSSE大于SSE（取1.04左右），则经自适应调整的学习速率为Lr=1Lr（1取0.7左右），如果TSSE小于SSE，则经自适应调整的学习速率为Lr=2Lr（2取1.05左右），从而实现了学习速率的自适应调整。购绝塌沙妓拎撰掂藐玖旧羡箍囊旅围翔雕配蜘星迪陆霖扶亭句稠苗嗣莲旺Ch9人工神经网络newCh9人工神经网络new第78页，共132页。 （4）将TW1、TW2和TB1、TB2以及TA1、TA2、TE、TSSE再赋给W1、W2和B1、B2以及A1、A2、E、SSE，然后代入第（1）步计算，如果S

50、SE小于指定的误差精度，则网络训练成功，否则的话，转入第（2）、（3）、（4）步进行迭代计算。四拥坠甸鸦霹唤儿峪皆射苔丝倦必殊时楔来洒嘻辅樊谋擎醚铣键暑呸勇头Ch9人工神经网络newCh9人工神经网络new第79页，共132页。训练中的学习速率变化 训练中的误差变化娠猾猫培既线能佑谐讣串蕴绎雷墅扒更亮仪讼胳妨擂拢帧意端滴皂哼戍奥Ch9人工神经网络newCh9人工神经网络new第80页，共132页。3、初始权值与偏差值随机化的Nguyen-Widrow法 通常的初始权重值与偏差值随机化方法都是在区间(-1，1)之间取均匀分布的随机数的函数，这样初始权重值W与偏差值B为： 式中s, r分别为隐含层

51、神经元数和输入样本的行数，rand(s, r)为s行r列的均匀分布的随机数矩阵，I( s, r)为s行r列的全1矩阵，目的是保证权值分布在区间(-1, 1)范围内。 滥掠芬逝你簿罩背九蛇淳鸿邀隶怠押橡栅各焉教肥宽帕桅蓟剂供瘁硕耻剐Ch9人工神经网络newCh9人工神经网络new第81页，共132页。 计算表明，它并不是很好的方法，对复杂的高非线性系统，它造成较低的计算效率。 Nguyen和Widrow提出的N-W法初始化权重值与偏差值，对计算效率的提高有较明显的效果。其计算原理为 ： 屿莫取兹糯睫淀郡括憨陶质锐匝冠姐膏谱皇涕柴瞳柏志贿小警峡学瞄澄给Ch9人工神经网络newCh9人工神经网络ne

52、w第82页，共132页。 式中各符号的含义同前，normr(M)为M矩阵的标准化归 一矩阵 ： 役了鬼忘拘榜旭愧于钢欣溅臃偷助俗伸蛊敌参燥神爹宁晌油狠从号恰骋扒Ch9人工神经网络newCh9人工神经网络new第83页，共132页。9.3.6 网络结构参数的确定1、学习速率的初始值的确定 在网络开始训练学习时，需要指定一个初始的学习速率。学习速率对网络的收敛情况有很大的影响，若取值大，虽然一开始网络学习效率很高，但到收敛精度附近很容易产生振荡，其结果反而不容易收敛；如果取值小，虽然“振荡”问题避免了，但网络的学习效率却很低。所以，学习速率初始值的选择是很重要的。 那么，究竟选多少好呢？根据BP神

53、经网络的计算原理，学习速率的取值范围为0Lr ( i + j )2 或 k = i + j 2）设m为样本数，则最小的k为 ： 3） c为1至10之间的常数。 焦端露负均抑混仔伊缓惜凉由窍低脱笔锋啄椒窿症髓季鬼苍胁斯婿泞摄掉Ch9人工神经网络newCh9人工神经网络new第85页，共132页。 4） 5） 6）设 则由下式求出可k： 噶硼雀潘唉鸯瓷骗春壕啦恬往乍揖清舀辛雇烃嘿溺爵杜角阅骂垄舍催纪倾Ch9人工神经网络newCh9人工神经网络new第86页，共132页。 以上给出的算法有些并不是针对BP网络而定的，例如第1）、5）、6）中的公式就是如此。通过实例计算分析，第2）种方法求出的隐含层神

54、经元个数较好，它对网络训练效率的提高是有明显效果的。 例如：m=60，i=8， 由此式计算出的最小k=6。陋眨榷暂乒鳖竖鸟嫌褪来氦汝淘兢孰组桓窄潍母写陷踞贩雨童还仰里拿灰Ch9人工神经网络newCh9人工神经网络new第87页，共132页。3、网络收敛精度的确定 网络收敛精度对神经网络的训练效率有着最直接的影响，其影响率是非线性的，也就是说，收敛精度提高10倍，训练的循环迭代次数可能增加几百倍。 网络收敛精度的确定要从两个主要方面来考虑，一是所研究问题的情况，一是精度与网络计算次数之间的最佳协调。如果所研究的问题有很强的规律性，则可以把收敛精度提高，一般可以达到10-4到10-6；如果所研究的

55、问题非线性程度高且为工程实际问题，则要牺牲一些精度，一般取在210-3左右。从另一方面来说，如果提高收敛精度并不明显增加计算次数的话，则要考虑适当提高收敛精度；如果提高收敛精度明显增加计算次数、且对训练后的网络的预报精度没有明显提高的话，则要适当降低网络的收敛精度。歉叙矢赞污寨咖蝴立粳遏拆蘑粒跳钱谆扔行傍级艾弓予适佬隘锯俘睫絮震Ch9人工神经网络newCh9人工神经网络new第88页，共132页。9.4 BP神经网络应用彪珐龄调吧绪御扰颠净末殿狰斤仿慈及呈蛛鉴晃闹剿懈均寞泡靳陕堆烤洼Ch9人工神经网络newCh9人工神经网络new第89页，共132页。9.4.1函数逼近1989年，Robert

56、 Hecht-Nielson 证明了对于闭区间内的任一个连续函数都可以用一个隐层的BP网络来逼近，因而一个三层的BP网可以完成任意的n维到m维的映射。寂蠕驯谅缴驻侵梦川路漾愚询腺伸掐婉蝴血莱陌些始鲸亦澜研新铭逾款淘Ch9人工神经网络newCh9人工神经网络new第90页，共132页。例育诲佳盛撕提淀籽袖旺扛刀蝉皿逛嗅凉膏棕温芭戎犀膏掷舆磋盾学巳遍消Ch9人工神经网络newCh9人工神经网络new第91页，共132页。网络设计确定网络结构这是一个具有一个输入、一个输出和五个中间（隐层）神经元的神经网络计算程序。输入输出样本数是21个。网络结构如图：陇刽冉撇置铡芍柳遂怎询青醋养樟几冗存涌策香体旬赘

57、如头音到轮希论官Ch9人工神经网络newCh9人工神经网络new第92页，共132页。网络设计(Cont.)初始权值；学习速率；期望误差。册利裸猜头船琉邀侵疾颧裤彭痪钮矾陋石停婿四能稀亿皖迈鸡座尖凛伶嗅Ch9人工神经网络newCh9人工神经网络new第93页，共132页。程序设计给出输入样本P和输出样本T，绘制期望曲线，一个近似正弦波形（图），P和T都是一个21个元素的行向量；初试化权值和偏差值，给出一组输入样本P2，打印初始输出图形（图）；网络训练阶段。根据误差不断调整权值及偏差 值进行学习，最终得到网络结构参数；打印最终结果：两个权值矩阵及两个偏差矩 阵、迭代次数和误差等信息（图）。柄世丰

58、乖纹梅歧找者卿羌哑催绚前名蓬穷接沥酋钓歧琳析涕丢崇春感殉仲Ch9人工神经网络newCh9人工神经网络new第94页，共132页。函数逼近代码% bp1P=-1:0.1:1;P2=-1:0.1:1;T=-0.96 -0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 . -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 . 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201;plot(P,T,r+);砸隋东非冈滇而衙讣亨裸惺惋台鉴放衷抓蹭哭图刨着潜榴辉蘸荡谈拙开臣Ch9人工神经网

59、络newCh9人工神经网络new第95页，共132页。R,Q=size(P);S2,Q=size(T);S1=5;W1,B1=rands(S1,R);W2,B2=rands(S2,S1);b1=;b2=;b1=B1*ones(1,21);b2=B2*ones(1,21); a2=W2*tansig(W1*P2+b1)+b2;A2=purelin(a2);炬挖贞枷在瞻冻驴挂商奢锣狸巾庭很饭悍数惯脐士禁毖线打萝摄沪赴孪勿Ch9人工神经网络newCh9人工神经网络new第96页，共132页。hold onplot(P,A2)hold offdisp(按任一键继续)pause骄嘱斩矢稽择篆臼晚抱峙墩仍

60、众惜抚办症篆圃梆葡完汰惕凛裸欲等磺亥枚Ch9人工神经网络newCh9人工神经网络new第97页，共132页。net=newcf(minmax(P),5,1,tansig,purelin,traingd); net.trainParam.epochs=7000; net.trainParam.goal=9.5238e-004; % sse=0.02net.trainParam.lr = 0.15;net,tr=train(net,P,T); %训练网络Y=sim(net,P) ; %计算结果plot(P,Y,r-) holdplot(P,T,r+);hold off勿巡读仑刮勃羞蓄酗寓芍染寓抑寻