人工神经网络

1、人工神经网络artificial neural network第 一 章 节diyizhangjie文字介绍文字介绍1.1 人工神经网络1.1.人工神经网络（人工神经网络（Artificial Neural Network)Artificial Neural Network)，常常，常常简称为简称为ANNANN，是以计算机网络系统模拟生物神经网络的智，是以计算机网络系统模拟生物神经网络的智能计算系统，是对人脑或自然神经网络的若干基本特性能计算系统，是对人脑或自然神经网络的若干基本特性的抽象和模拟。的抽象和模拟。1.2 背景需知人工神经网络是一种应用于大脑神经突触联接的结构进行信息处理的数学模型

2、。在工程与学术界也常直接简称为神经网络或类神经网络。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。1.3 人工神经网络的特点信息的分布表示1运算的全局并行和局部操作2处理的非线性31.4 基本特征( (1)1)结构特征结构特征并行处理、分步式存储与容错性并行处理、分步式存储与容错性(2)(2)

3、能力特征能力特征自学习、自组织与自适应性自学习、自组织与自适应性 自适应性是指一个系统能改变自身的性能以适应环境自适应性是指一个系统能改变自身的性能以适应环境变化的能力。变化的能力。 神经网络的自学习是指当外界环境发生变化时，经过神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产数，使得对于结定输入能产 生期望的输出，训练是神经网络生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两个词混用。学刁的途径，因此经常将学习与训练两个词混用。 神经系统能在外部刺激

4、下按一定规则调整神经元之间神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织自组织( (或称重构或称重构) )。1.5 人工神经网络的优点(1)可以充分逼近任意复杂的非线性关系(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元(3)采用并行分布处理方法，使得快速进行大量运算成为可能(4)可学习和自适应不知道或不确定的系统(5)能够同时处理定量、定性知识。人工神经网络的主要方向1.6 人工神经网络的主要方向 1. 1.理论研究理论研究1)1)利用神经生理与认知科学研究人利用神经生

5、理与认知科学研究人类思维以及智能机理。类思维以及智能机理。 2)2)利用神经基础理论的研究成果，利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究更加优越的神经网络模型，深入研究网络算法和性能，网络算法和性能， 如：稳定性、收敛如：稳定性、收敛性、容错性等；开发新的网络数理理性、容错性等；开发新的网络数理理论，如：神经网络动力学、非线性神论，如：神经网络动力学、非线性神经场等。经场等。 2. 2.应用研究应用研究1)1)神经网络的软件模拟和硬件实现神经网络的软件模拟和硬件实现的研究。的研究。 2)2)神经网络在各个领域中

6、应用的研神经网络在各个领域中应用的研究。这些领域主要包括究。这些领域主要包括： 模式识别、模式识别、信号处理、知识工程、专家系统、优信号处理、知识工程、专家系统、优化组合、机器人控制等。化组合、机器人控制等。第章函数模型函数模型2PART ONEMP模型模型 MP 神经元模型是人工神经元模型的基础，神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型也是神经网络理论的基础。在神经元模型中，作用函数除了单位阶跃函数之外，还中，作用函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不有其它形式。不同的作用函数，可构成不同的神经元模型。同的神经元模型。MP模型模型称为作

7、用函数或激发函数称为作用函数或激发函数ijnjjiiuwx1 求和操作求和操作 作用函数作用函数1( )()niijijijyf xfw u f(x)是作用函数是作用函数(Activation Function)，也称激发，也称激发函数。函数。MP神经元模型中的作用函数为单位阶跃函神经元模型中的作用函数为单位阶跃函数：数： 其表达式为其表达式为：0,00,1)(xxxf可知当神经元可知当神经元i i的输入信号加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1”1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0”0”，是，是“抑制抑制”状态。状态。 激发函数的基本作用激发函

8、数的基本作用 控制输入对输出的激活作用控制输入对输出的激活作用对输入、输出进行函数转换对输入、输出进行函数转换将可能无限域的输入变换成指定的有限范围内的输出将可能无限域的输入变换成指定的有限范围内的输出 例、实现逻辑函数例、实现逻辑函数“与门与门”（AND gate）运算。）运算。1 真，真，0假假1、对称型、对称型Sigmoid函数函数xxeexf11)(0,11)(xxeexf或或2、非对称型、非对称型Sigmoid函数函数xexf11)(或或0,11)(xexf3、对称型阶跃函数函数、对称型阶跃函数函数0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元采用阶跃作用函数的神经元，称为阈值逻辑单元。4、线性函数、线性函数 （1 1）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 xxfy)(（2 2）饱和线性作用函数）饱和线性作用函数 110010)(xxxxxfy（3 3）对称饱和线性作用函数）对称饱和线性作用函数 111111)(xxxxxfy 5、高斯函数、高斯函数