神经网络初步与BP算法-有监督和BP神经网络课件

1、基于神经元网络的智能控制人工神经网络 的研究方法及应用引 言利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究ANN(Artificial Neural Network)目的：（1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。(方法)（2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 （实体）研究ANN方法（1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。（2）宏观功能的模拟

2、： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。ANN的研究内容（1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。（2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。（3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 脑神经信息活动的特征(1)巨量并行性。(2)信息处理和存储单元结合在一起。(3)自

3、组织自学习功能。 ANN研究的目的和意义(1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。(2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。(3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 神经网络基本模型 ANN类型与功能人工神经网络研究的局限性（1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。（3）ANN研究带有浓厚的策略和经验色彩。（4）ANN与传统技术的接口不成熟。 人工神经网络原理神经元网络的特点：1）非线性

4、2）分布处理3）学习并行和自适应4）数据融合5）适用于多变量系统6）便于硬件实现ai1ai2a inbi1bi2bimwiy1y2y nu1ukum1vix iy i神经元网络的一般模型框架1）加法器2）线性动态系统（SISO）3）静态非线性系统式中 aij 和bik 为权系数，i,j =1,2,n, k= 1,2,m. n 个加法器可以写成向量形式： N维列向量 N维列向量（单元输出）NN维矩阵NM维矩阵 M维列向量（外部输入） M维常向量 线性动态系统典型的有：静态非线性系统 典型的有：g(x)g(x)g(x)xxx阈值函数阈值函数Sigmoid函数拉普拉斯(Laplace,Pierre-

5、Simon，marquisde，17491827)法国著名数学家和天文学家，拉普拉斯是天体力学的主要奠基人，是天体演化学的创立者之一，是分析概率论的创始人，是应用数学的先躯。拉普拉斯用数学方法证明了行星的轨道大小只有周期性变化，这就是著名拉普拉斯的定理。他发表的天文学、数学和物理学的论文有270多篇，专著合计有4006多页。其中最有代表性的专著有天体力学、宇宙体系论和概率分析理论。1796年，他发表宇宙体系论。因研究太阳系稳定性的动力学问题被誉为法国的牛顿和天体力学之父。拉普拉斯拉普拉斯生于法国诺曼底的博蒙，父亲是一个农场主，他从青年时期就显示出卓越的数学才能，18岁时离家赴巴黎，决定从事数学

6、工作。于是带着一封推荐信去找当时法国著名学者达朗贝尔，但被后者拒绝接见。拉普拉斯就寄去一篇力学方面的论文给达朗贝尔。这篇论文出色至极，以至达朗贝尔忽然高兴得要当他的教父，并使拉普拉斯被推荐到军事学校教书。 成就同拉瓦锡在一起工作了一个时期，他们测定了许多物质的比热 1780年，他们两人证明了将一种化合物分解为其组成元素所需的热量就等于这些元素形成该化合物时所放出的热量。这可以看作是热化学的开端，而且，它也是继布拉克关于潜热的研究工作之后向能量守恒定律迈进的又一个里程碑， 成就17841785年，他求得天体对其外任一质点的引力分量可以用一个势函数来表示，这个势函数满足一个偏微分方程，即著名的拉普

7、拉斯方程。1785年他被选为科学院院士。 1786年证明行星轨道的偏心率和倾角总保持很小和恒定，能自动调整，即摄动效应是守恒和周期性的，即不会积累也不会消解。1787年发现月球的加速度同地球轨道的偏心率有关，从理论上解决了太阳系动态中观测到的最后一个反常问题。 成就1796年他的著作宇宙体系论问世，书中提出了对后来有重大影响的关于行星起源的星云假说。他长期从事大行星运动理论和月球运动理论方面的研究，在总结前人研究的基础上取得大量重要成果，他的这些成果集中在17991825年出版的5卷16册巨著天体力学之内。在这部著作中第一次提出天体力学这一名词，是经典天体力学的代表作。 其它1，拉普拉斯曾任拿

8、破仑的老师，所以和拿破仑结下不解之缘。2，拉普拉斯在数学上是个大师，在政治上是个小人物，墙头草，总是效忠于得势的一边，被人看不起，拿破仑曾讥笑他把无穷小量的精神带到内阁里。 （双极型）Sigmoidu1uiiu1uiiy iy iAdline(自适应线性网）单层感知器(Perceptron)不同的部件可以组成不同的网络Kuiy jyi离散Hopfield网y1y2y3y4u1u2u3u4yjyiuixi连续的Hopfield网按学习的方法神经元网络可分成二类： 1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络2）无监督学习网络

9、 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机4.3有监督的神经网络感知器和BP网络小脑模型连接控制器(CMAC)网络增强学习网络组合网络感知器和BP网络感知器网络（神经网络基本原理）感知器是前馈(正向传输)网络,所有节点都是线性的. x1x2xnb1b2bm权向量W感知器特点自动学习和对模式进行分类单层网络无法解决线性不可分问题，例如异或问题多层网络可以解决异或问题输入与输出的关系：1、权矩阵可以按下式求解：学习规则：代表输入与输出的差别。是学习因子这学习规则即是著名的 学习规则。随着学习迭代次数k的增加， 保证网络的收敛。 2、实际使用中

10、，采用迭代方法求解对网络的训练就是求解权值的过程（为什么不直接两边乘以X的逆？）代表理想输出其中：WK+1为什么不直接求解？1,样本大时难解2，样本集合不固定（例如，趋近性质曲线）单层感知器例子感知器的数学模型： X是一维数是阀值。 其中：f.是阶跃函数，并且有 感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下： 即是，当感知器的输出为1时，输入样本称为A类；输出为-1时，输入样本称为B类。从上可知感知器的分类边界是： 在输入样本只有两个分量X1，X2时，则有分类边界条件： 即 W1X1+W2X2=0或直线感知器的分类例子感知器的学习算法 目的：在于找寻恰当

11、的权系数 w(w1w2，Wn)，使系统对一个特 定的样本x(xt，x2，xn)能产生期望输出值d。当x分类为A类时，期望值d1；X为B类 时，d=-1。为了方便说明感知器学习算法，把阀值并入权系数w中，同时，样本x也相应增加一 个分量xn+1。故令： Wn+1=，Xn+1=1则感知器的输出可表示为： 感知器学习算法步骤 1对权系数w置初值对权系数w(W1W2，Wn，Wn+1)的各个分量置一个较小的非零随机值，但Wn+1。并记为Wl(0)，W2(0)，Wn(0)，同时有Wn+1(0)-。这里Wi(t)为t时刻作用在第i个输入上的权系数，i1，2，n。Wn+1(t)为t时刻时的阀值。 2输入一样本X(X1，X2，Xn+1)以及它的期望输出d。 期望输出值d在样本的类属不同时取值不同。如果x是A类，则取d1,如果x是B类，则取-1。期望输出d也即是教师信号。3计算实际输出值Y4根据实际输出求误差e edY(t) (1-21)5用误差e去修改权系数 i=1,2,n,n+1 (1-22)其中，称为权重变化率，01正常时：