版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、人工神经网络 (Artificial Neural Netwroks -ANN) -HZAU 数模基地,引 言,利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究ANN目的: (1)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。 (2)探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律,ANN的研究内容,1)理论研究:ANN模型及其学习算法,试图从数学上描述ANN的动力学过程,建立相应的ANN模型,在该模型的基础上,对于给定的学习样本,找出一种能以较快的速度和较高的精度调整神经元间互连权值,使系统达到稳定状态,满足学习要求
2、的算法。 (2)实现技术的研究:探讨利用电子、光学、生物等技术实现神经计算机的途径。 (3)应用的研究:探讨如何应用ANN解决实际问题,如模式识别、故障检测、智能机器人等,研究ANN方法,1)生理结构的模拟: 用仿生学观点,探索人脑的生理结构,把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络(Artificial Neural Netwroks,简称ANN)方法。 (2)宏观功能的模拟: 从人的思维活动和智能行为的心理学特性出发,利用计算机系统来对人脑智能进行宏观功能的模拟,即符号处理方法,ANN研究的目的和意义,1)通过揭示物理平面与认知平面之间的映射,了解它们相互联系和相互作用的
3、机理,从而揭示思维的本质,探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算机,即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络,将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果,神经网络研究的发展,1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型,即MP模型。1958年,F.Rosenblatt等研制出了感知机(Perceptron)。 (2)低潮(70-80年代初): (3)第二次热潮 1982年,美国物理学家J.J.Hopfield提出Hopfield模型,它是一
4、个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开,国际ANN联合会成立,创办了多种ANN国际刊物。1990年12月,北京召开首届学术会议,人工神经网络研究的局限性,1)ANN研究受到脑科学研究成果的限制。 (2)ANN缺少一个完整、成熟的理论体系。 (3)ANN研究带有浓厚的策略和经验色彩。 (4)ANN与传统技术的接口不成熟,人工神经网络概述,什么是人工神经网络? T.Koholen的定义:“人工神经网络是由 具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界
5、物体所作出的交互反应。,二、神经元与神经网络,大脑可视作为1000多亿神经元组成的神经网络,图3 神经元的解剖图,神经元的信息传递和处理是一种电化学活动树突由于电化学作用接受外界的刺激;通过胞体内的活动体现为轴突电位,当轴突电位达到一定的值则形成神经脉冲或动作电位;再通过轴突末梢传递给其它的神经元从控制论的观点来看;这一过程可以看作一个多输入单输出非线性系统的动态过程,神经网络研究的两个方面 从生理上、解剖学上进行研究 从工程技术上、算法上进行研究,脑神经信息活动的特征,1)巨量并行性。 (2)信息处理和存储单元结合在一起。 (3)自组织自学习功能,神经网络基本模型,神经元的数学模型,图4神经
6、元的数学模型,其中x(x1,xm)T 输入向量,y为输出,wi是权系数;输入与输出具有如下关系,为阈值,f(X)是激发函数;它可以是线性函数,也可以是非线性函数,例如,若记,取激发函数为符号函数,则,S型激发函数,或,注:若将阈值看作是一个权系数,-1是一个固定的输入,另有m-1个正常的输入,则(1)式也可表示为,1,参数识别:假设函数形式已知,则可以从已有的输入输出数据确定出权系数及阈值,2、神经网络的数学模型,众多神经元之间组合形成神经网络,例如下图的含有中间层(隐层)的B-P网络,基本BP网络的拓扑结构,b1,bi,a1,c1,cq,cj,ah,bp,an,Wp1,Wiq,Wpj,W1q
7、,W1j,Wij,V11,W11,Wpq,Wi1,Vh1,Vhi,V1i,Vn1,Vni,V1p,Vhp,Vnp,输出层LC,隐含层LB,输入层LA,W,V,ANN类型与功能,一般而言, ANN与经典计算方法相比并非优越, 只有当常规方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤其对问题的机理不甚了解或不能用数学模型表示的系统,如故障诊断、特征提取和预测等问题,ANN往往是最有利的工具。另一方面, ANN对处理大量原始数据而不能用规则或公式描述的问题, 表现出极大的灵活性和自适应性,人工神经网络(Artificial Neuron Nets=ANN,例,1981年生物学家格若根(W
8、Grogan)和维什(WWirth)发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长,数据如下,翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,问:如果抓到三只新的蚊子,它们的
9、触角长和翼长分别为(l.24,1.80); (l.28,1.84);(1.40,2.04)问它们应分别属于哪一个种类,解法一,把翼长作纵坐标,触角长作横坐标;那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类;用黑点“”表示;9个蚊子属 Af类;用小圆圈“。”表示 得到的结果见图1,图1飞蠓的触角长和翼长,思路:作一直线将两类飞蠓分开,例如;取A(1.44,2.10)和 B(1.10,1.16),过A B两点作一条直线: y 1.47x - 0.017 其中X表示触角长;y表示翼长,分类规则:设一个蚊子的数据为(x, y) 如果y1.47x - 0.017,则判断蚊子
10、属Apf类; 如果y1.47x - 0.017;则判断蚊子属Af类,分类结果:(1.24,1.80),(1.28,1.84)属于Af类;(1.40,2.04)属于 Apf类,图2 分类直线图,缺陷:根据什么原则确定分类直线,若取A=(1.46,2.10), B=(1.1,1.6)不变,则分类直线变为 y=1.39x+0.071,分类结果变为: (1.24,1.80), (1.40,2.04) 属于Apf类; (1.28,1.84)属于Af类,哪一分类直线才是正确的呢,因此如何来确定这个判别直线是一个值得研究的问题一般地讲,应该充分利用已知的数据信息来确定判别直线,再如,如下的情形已经不能用分类
11、直线的办法,新思路:将问题看作一个系统,飞蠓的数据作为输入,飞蠓的类型作为输出,研究输入与输出的关系,基本BP网络的拓扑结构,b1,bi,a1,c1,cq,cj,ah,bp,an,Wp1,Wiq,Wpj,W1q,W1j,Wij,V11,W11,Wpq,Wi1,Vh1,Vhi,V1i,Vn1,Vni,V1p,Vhp,Vnp,输出层LC,隐含层LB,输入层LA,W,V,四、反向传播算法(B-P算法,Back propagation algorithm,1简单网络的B-P算法,算法的目的:根据实际的输入与输出数据,计算模型的参数(权系数,图6 简单网络,假设有P个训练样本,即有P个输入输出对 (Ip
12、, Tp),p=1,P, 其中,输入向量为,目标输出向量为(实际上的,网络输出向量为 (理论上的,记wij为从输入向量的第j (j=1,m) 个分量到输出向量的第i (i=1,n)个分量的权重。通常理论值与实际值有一误差,网络学习则是指不断地把与比较,并根据极小原则修改参数wij,使误差平方和达最小,记,Delta学习规则,4,3,表示递推一次的修改量,则有,称为学习的速率,ipm= -1 , wim= (第i个神经元的阈值) (5,注:由(1) 式,第i个神经元的输出可表示为,特别当f是线性函数时,6,图7 多层前馈网络,2多层前馈网络,l)输入层不计在层数之内,它有N0个神经元设网络 共有
13、L层;输出层为第L层;第 k层有Nk个神经元,假设,wk(i,j) 表示从第k-1层第j个元到第k层第i个元的权重,表第k层第i个元的输出,3)设层与层间的神经元都有信息交换(否则,可设它们之间的权重为零);但同一层的神经元之间无信息传输,4) 设信息传输的方向是从输入层到输出层方向;因此称为前向网络没有反向传播信息,5) 表示输入的第j个分量,假设,在上述假定下网络的输入输出关系可以表示为,7,其中表示第k层第i个元的阈值,定理2 对于具有多个隐层的前馈神经网络;设激发函数为S 函数;且指标函数取,8,9,则每个训练循环中按梯度下降时;其权重迭代公式为,10,表示第-1层第个元对第层第个元输
14、入的第次迭代时的权重,其中,11,12,BP算法,Step1,选定学习的数据,p=1,P, 随机确定初始权矩阵W(0,Step2,用(10)式反向修正,直到用完所有学习数据,用学习数据计算网络输出,Step3,五应用之例:蚊子的分类,已知的两类蚊子的数据如表1,翼长 触角长 类别 1.78 1.14 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,目标值 0.9 0.9 0.9 0.1 0.9 0.9 0.9 0.1,翼长 触角长 类别 1.6
15、4 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,目标t 0.1 0.1 0.1 0.1 0.1 0.1 0.1,输入数据有15个,即 , p=1,15; j=1, 2; 对应15个输出。 建模:(输入层,中间层,输出层,每层的元素应取多少个?) 建立神经网络,规定目标为: 当t(1)=0.9 时表示属于Apf类,t(2)=0.1表示属于Af类。 设两个权重系数矩阵为,分析如下,为第一层的输出,同时作为第二层的输入,其中, 为阈值, 为激励函数,阈值作为固定输入神经元相
16、应的权系数,则有,取激励函数为,同样,取,1)随机给出两个权矩阵的初值;例如用MATLAB软件时可以用以下语句,令p=0,具体算法如下,rand(2,3,rand(1,3,2) 根据输入数据利用公式算出网络的输出,取,3)计算,4)取,或其他正数,可调整大小,j=1,2,3,i=1,2,3,j=1,2,3,6) p=p+1,转(2,注:仅计算一圈(p=1,2,15)是不够的,直到当各权重变化很小时停止,本例中,共计算了147圈,迭代了2205次。 最后结果是,即网络模型的解为,BP网络建模特点: 非线性映照能力:神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非
17、线性。 并行分布处理方式:在神经网络中信息是分布储存和并行处理的,这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力:神经网络在训练时,能从输入、输出的数据中提取出规律性的知识,记忆于网络的权值中,并具有泛化能力,即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力:神经网络可以同时处理定量信息和定性信息,因此它可以利用传统的工程技术(数值运算)和人工智能技术(符号处理)。 多变量系统:神经网络的输入和输出变量的数目是任意的,对单变量系统与多变量系统提供了一种通用的描述方式,不必考虑各子系统间的解耦问题,神经网络的应用,人工神经网络以其具有自学习、自组织、
18、较好的容错性和优良的非线性逼近能力,受到众多领域学者的关注。在实际应用中,80%90%的人工神经网络模型是采用误差反传算法或其变化形式的网络模型(简称BP网络),目前主要应用于函数逼近、模式识别、分类和数据压缩或数据挖掘,基本BP网络的拓扑结构,b1,bi,a1,c1,cq,cj,ah,bp,an,Wp1,Wiq,Wpj,W1q,W1j,Wij,V11,W11,Wpq,Wi1,Vh1,Vhi,V1i,Vn1,Vni,V1p,Vhp,Vnp,输出层LC,隐含层LB,输入层LA,W,V,1.样本数据 1.1 收集和整理分组 采用BP神经网络方法建模的首要和前提条件是有足够多典型性好和精度高的样本。
19、而且,为监控训练(学习)过程使之不发生“过拟合”和评价建立的网络模型的性能和泛化能力,必须将收集到的数据随机分成训练样本、检验样本(10%以上)和测试样本(10%以上)3部分。此外,数据分组时还应尽可能考虑样本模式间的平衡,2.神经网络拓扑结构的确定 2.1 隐层数 一般认为,增加隐层数可以降低网络误差Hornik等早已证明:若输入层和输出层采用线性转换函数,隐层采用Sigmoid转换函数,则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然,这是一个存在性结论。在设计BP网络时可参考这一点,应优先考虑3层BP网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要
20、比增加隐层数更容易实现,在确定隐层节点数时必须满足下列条件: 隐层节点数必须小于N-1输入层的节点数(变量数)必须小于N-1。 (2) 训练样本数必须多于网络模型的连接权数,一般为210倍,否则,样本必须分成几部分并采用“轮流训练”的方法才可能得到可靠的神经网络模型,2.2 隐层节点数,学习率和冲量系数 大的学习率可能使网络权值每一次的修正量过大,甚至会导致权值在修正过程中超出某个误差的极小值呈不规则跳跃而不收敛;但过小的学习率导致学习时间过长,不过能保证收敛于某个极小值。所以,一般倾向选取较小的学习率以保证学习过程的收敛性(稳定性),通常在0.010.8之间。 增加冲量项的目的是为了避免网络
21、训练陷于较浅的局部极小点。理论上其值大小应与权值修正量的大小有关,但实际应用中一般取常量。通常在01之间,而且一般比学习率要大,4 网络的初始连接权值 由于Sigmoid转换函数的特性,一般要求初始权值分布在-0.50.5之间比较有效,MATLAB神经网络工具箱的应用 在网络训练过程中使用的是Matlab 7.0 for Windows软件,对于BP神经元网络的训练可以使用Neural Networks Toolbox for Matlab。美国的Mathwork公司推出的MATLAB软件包既是一种非常实用有效的科研编程软件环境,又是一种进行科学和工程计算的交互式程序。MATLAB本身带有神经
22、网络工具箱,可以大大方便权值训练,减少训练程序工作量,有效的提高工作效率,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR,S1 S2.SN1,TF1 TF2.TFN1,BTF,BLF,PF) 说明 net为创建的新BP神经网络;PR为网络输入取向量取值范围的矩阵;S1 S2SNl表示网络隐含层和输出层神经元的个数;TFl TF2TFN1表示网络隐含层和输出层的传输函数,默认为tansig;
23、BTF表示网络的训练函数,默认为trainlm;BLF表示网络的权值学习函数,默认为learngdm;PF表示性能数,默认为mse,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-,+)映射到(-1,1)。它是可导函数,适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-,+)映射到(0,1)。它是可导函数,适用于BP训练的神经元,BP神经网络学习算法的MATLAB实现,例2-3,下表为某药品的销售情况,现构建一个如下的三层BP神经网络对药品的销售进行预测:输入层有三个结点,隐含层结点数为5,隐含层的激活函数为tansig;输出层结点数为1个,输出层的激活函数为logsig,并利用此网络对药品的销售量进行预测,预测方法采用滚动预测方式,即用前三个月的销售量来预测第四个月的销售量,如用1、2、3月的销售量为输入预测第4个月的销售量,用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止,BP神经网络学习算法的MATLAB实现,以每三个
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 前台的辞职报告模板合集七篇
- 迎新年晚会意义策划
- 2023一年级数学上册 八 认识钟表(小明的一天)教学实录 北师大版
- 2024-2025学年新教材高中化学 第五章 化工生产中的重要非金属元素 1.3 硫酸根离子检验、硫和含硫化合物的相互转化教学实录 新人教版必修2
- 2024秋八年级道德与法治上册 第一单元 成长的空间 第一课 相亲相爱一家人(他们这样做的原因)教学思路 人民版
- 2024年某城市地铁线路建设及运营管理长期租赁合同
- 实际正常和标准成本法ActualNormalandStandardCosting
- 广州市来穗人员服务管理局来穗人员积分制服务管理信息系统
- 2022天宫课堂第三课观后感10篇范文
- 2023二年级数学下册 7 万以内数的认识第8课时 近似数教学实录 新人教版
- 急性失血性休克液体复苏专家共识
- GB/T 3917.1-2009纺织品织物撕破性能第1部分:冲击摆锤法撕破强力的测定
- GB/T 35694-2017光伏发电站安全规程
- GB/T 19418-2003钢的弧焊接头缺陷质量分级指南
- 高中语文文言文断句课件
- 义务教育历史课程标准(2022年版)【重新整理版】
- 2023届新高考二卷语文点对点攻关训练专题:文学类文本阅读
- 2023-计算机考研408真题及答案
- 福建省宁德市各县区乡镇行政村村庄村名明细及行政区划代码
- 垃圾焚烧锅炉系统安装方案
- 应急物资台账新参考模板范本
评论
0/150
提交评论