神经网络最终版课件

1、人工神经网络基础知识1.人工神经网络概述什么是人工神经网络 (Artificial NeuralNetwroks-ANN)？ 生物神经网络( natural neural network, NNN): 由中枢神经系统（脑和脊髓）及周围神经系统（感觉神经、运动神经等）所构成的错综复杂的神经网络，其中最重要的是脑神经系统。人工神经网络(artificial neural networks, ANN): 模拟人脑神经系统的结构和功能，运用大量简单处理单元经广泛连接而组成的人工网络系统。T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系

2、统对真实世界物体所作出的交互反应。”1.1 研究ANN目的1.2 ANN的研究内容1.3 研究ANN方法1.4 神经网络的发展概况1.5 神经网络的特点1. 人工神经网络概述 利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。1.1 研究ANN目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 1.2 ANN的研究内容（1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以

3、较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 1.3 研究ANN方法（1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。（2）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。 探索时期:（

4、开始于20世纪40年代） 1943年，麦克劳（W. S. McCullocn）和匹茨（W. A. Pitts）首次提出一个神经网络模型MP模型。 1949年，赫布（D. O. Hebb）提出改变神经元连接强度的 Hebb学习规则。1.4 神经网络的发展概况 1958年，罗森布拉特（F. Rosenblatt）提出感知器模型（perceptron）。 1959年，威德罗(B. Widrow)等提出自适应线性元件（adaline）网络，通过训练后可用于抵消通信中的回波和噪声。 1960年， 他和 M. Hoff 提出LMS （Least Mean Square 最小方差）算法的学习规则。 第一次热

5、潮时期：(20世纪50年代末 20世纪60年代初)1.5 人工神经网络的特点(1) 固有的并行结构和并行处理人工神经网络与人类的大脑类似，不但结构上是并行的，其处理顺序也是并行的和同时的。在同一层内的处理单元都是同时工作的，即神经网络的计算功能分布在多个处理单元上，而传统的计算机通常只有一个处理单元，其处理顺序是串行的。目前的神经网络功能常常用一般计算机的串行工作方式来模拟，所以显得很慢，真正意义上的神经网络将会大大提高处理速度，实现快速处理。 (2) 知识的分布存储在神经网络中，知识不是存储在特定的存储单元，而是分布在整个系统中，要存储多个知识就需要很多连接。在计算机中，只要给定一个地址就可

6、以得到一个或一组数据，在神经网络中，要获得存储的知识则采用“联想”的办法，这类似于人类和动物的记忆。当一个神经网络输入一个激励时，它要在已存储的知识中寻找与该输入匹配最好的知识存储为其解。人类根据联想善于正确识别图形，人工神经网络也具有这种能力。 （3） 容错性人类大脑具有很强的容错能力，这正是由于大脑中知识是存储在很多处理单元和它们的连接上的。每天大脑的一些细胞都可能会自动死亡，但这并没有影响人们的记忆和思考能力。人工神经网络可以从不完善的数据和图形进行学习和做出决定由于知识存在整个系统中，而不是在一个存储单元内，因此一定比例的结点不参与运算，对整个系统的性能不会产生重大影响。神经网络中承受

7、硬件损坏的能力比一般计算机要强得多。（输入）（输出） 神经冲动神经元的信息传递和处理是一种电化学活动，树突由于电化学作用接受外界的刺激(输入)；通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其他神经元(输出) 。从控制论的观点来看，这一过程可以看作一个多输入单输出非线性系统的动态过程。生物神经网络基本模型神经元的 工作状态： 兴奋状态：细胞膜电位 动作电位的阈值 神经冲动 抑制状态：细胞膜电位 0，此时who0情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少

8、。e0who3.3 BP算法的实现（1） 隐层数及隐层神经元数的确定：目前尚无理论指导。（2）初始权值的设置：一般以一个均值为0的随机分布设置网络的初始权值。 （3）训练数据预处理：线性的特征比例变换，将所有的特征变换到0，1或者-1，1区间内，使得在每个训练集上，每个特征的均值为0，并且具有相同的方差。（4）后处理过程：当应用神经网络进行分类操作时，通常将输出值编码成所谓的名义变量，具体的值对应类别标号。 （1）. BP算法的设计 3.3 BP算法的实现 初始化：对所有连接权和阈值赋以随机任意小值； 从 N 组输入输出样本中取一组样本： x=x1, x2, xp1T, d=d1, d2,dp

9、mT, 把输入信息x=x1, x2, xp1T输入到BP网络中 正向传播：计算各层节点的输出： 计算网络的实际输出与期望输出的误差： （2）. BP算法的计算机实现流程 反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各个连接权值。 让t+1t，取出另一组样本重复（2）（5），直到 N 组输入输出样本的误差达到要求时为止。 BP学习算法程序框图（3）BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 生成网络：newff 学习规则： learngd，learngdm 训练算法：traingd，traingdm，traingd

10、a，traingdx，trainlm 变换函数：tansig，purelin，logsig 训练网络：train 仿真网络：sim 画图：plotes，plotep，ploterr，barerr newff 该函数用于创建一个BP网络。调用格式为： net=newff net=newff(PR,S1 S2.SN1,TF1 TF2.TFN1, BTF,BLF,PF) 其中,net=newff;用于在对话框中创建一个BP网络。 net为创建的新BP神经网络； PR为网络输入向量取值范围的矩阵； S1 S2SNl表示网络隐含层和输出层神经元的个数； TFl TF2TFN1表示网络隐含层和输出层的传输

11、函数，默认为tansig； BTF表示网络的训练函数，默认为trainlm； BLF表示网络的权值学习函数，默认为learngdm； PF表示性能数，默认为mse。 例：基于BP神经网络逼近函数 要求设计一个BP网络逼近以下函数： 其中，分别令k=1，2，4进行仿真，通过调节参数（如隐藏层节点个数等）得出信号的频率与隐层节点之间，隐层节点与函数逼近能力之间的关系。步骤1：假设频率参数k=1，绘制要逼近的非线性函数的曲线。k=1;p=-1:.05:8;t=1+sin(k*pi/4*p);plot（p，t，-)；title(要逼近的非线性函数);xlabel(时间);ylabel(非线性函数);应

12、用newff()函数建立BP网络结构。隐层神经元数目n可以改变，暂设为n=3，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig函数和purelin函数，网络训练的算法采用LM算法trainlm。n=3;net = newff(minmax(p),n,1,tansig purelin,trainlm);%对于初始网络，可以应用sim（）函数观察网络输出。y1=sim(net,p);figure;plot(p,t,-,p,y1,:)title(未训练网络的输出结果);xlabel(时间);ylabel(仿真输出-原函数-);步骤2：网络的建立其中 “ ” 代表要逼近的非线性函数

13、曲线；“” 代表未经训练的函数曲线；步骤3：网络训练应用train（）函数对网络进行训练之前，需要预先设置网络训练参数。将训练时间设置为50，训练精度设置为0.01，其余参数使用缺省值。 net.trainParam.epochs=50; %网络训练时间设置为50net.trainParam.goal=0.01; %网络训练精度设置为0.01net=train(net,p,t); %开始训练网络训练后得到的误差变化过程 步骤4： 网络测试对于训练好的网络进行仿真： y2=sim(net,p); figure; plot(p,t,-,p,y1,:,p,y2, -) title(训练后网络的输出结

14、果); xlabel(时间); ylabel(仿真输出);其中 “ ” 代表要逼近的非线性函数曲线；“” 代表未经训练的函数曲线；“” 代表经过训练的函数曲线；不同频率下的逼近效果（1）频率参数设为k=2，当隐层神经元数目分别取n=3、n=6时 当n=3时训练后网络的输出结果 当n=6时训练后网络的输出结果（2）频率参数设为k=4，当隐层神经元数目分别取n=6、n=8时 当n=6时训练后网络的输出结果 当n=8时训练后网络的输出结果结论 通过上述仿真结果可知，当 k=1，n=3时；k=2，n=6时； k=4，n=8时，BP神经网络分别对函数取得了较好的逼近效果。由此可见，n取不同的值对函数逼近

15、的效果有很大的影响。改变BP网络隐层神经元的数目，可以改变BP神经网络对于函数的逼近效果。隐层神经元数目越多，则BP网络逼近非线性函数的能力越强。RBF神经网络 径向基函数(Radial Basis Function，RBF)网络是由Moody J和Darken C于20世纪80年代末提出的一种神经网络结构，是一种有监督的神经网络。它是借鉴生物机制中的局部凋节及交叉接受区域知识的基础上提出的一种采用局部接受域来执行函数映射的人工神经网络。 RBF网络最基本的构成包括3层，其中每一层都有着完全不同的作用。1. RBF 神经网络概念1.1 RBF 神经网络概况：Neuron：神经元输入输出X1x1

16、1x12x13x14y1X2x21x22x23x24y2X3x31x32x33x34y3X4x41x42x43x44y4.Xnxn1xn2xn3xn4yn 1.1.1神经网络基础：1.1.1 RBF 神经网络基础：Neuron：神经元分类回归1.1.1 RBF 神经网络基础： RBF 神经网络的本质：把输入数据从一个空间转换到另一个空间。1.1.2 RBF 神经网络的例子 径向基函数有多种形式，如：二次型、逆二次型或Gauss型等。若采用高斯函数作为径向基函数，则神经元的输出为：1.2 RBF 神经网络的正式定义Gaussian RBF(GRBF)1.2.1 RBF 神经网络的分类： 一、 E

17、eact 有几组数据，就有几个 ，适合数据比较少的网络 二、Approximate 如果数据多，需要先对数据进行归类 神经网络的应用 （1）自动控制领域。神经网络方法已经覆盖了控制理论中的绝大多数问题，主要有系统建模与辨识、PID 参数整定、极点配置、内模控制、优化设计、预测控制、最优控制、自适应控制、滤波与预测容错控制、模糊控制和学习控制等。 （2）处理组合优化问题。最典型的例子是成功地解决了TSP问题，即旅行推销员问题。另外还有最大匹配问题、装箱问题和作业调度等。2.神经网络的应用神经网络PID控制(neural network PID control) 经典增量式数字PID 的控制算法为

18、： NN 是一个三层BP 网络, 有M个输入节点、N 个隐含节点、3个输出节点。输入节点对应所选的系统运行状态量, 输出节点分别对应PID 控制器的3个可调参数kp , ki , kd 。 （3）模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 （4）机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断、智能自适应移动机器人的导航。 （5）信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 （6）卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳。 （7）经济。能对商品价格、股票价格和企业的可信度等进行短期预测。 （8）化工领域。能对制药、生物化学和化学工程等进行分析。如：进行蛋白质结构分析、谱分析和化学反应分析等。 （9）图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 （10）传感器信号