第六章 人工神经网络

计算智能（搜索、推理、专家系统等）以知识为基础，通过符号推理，进行问题求解，通常把这些称为符号智能；1992年，美国学者James首次提出计算智能（ComputationalIntelligence，CI）概念；计算智能是基于数值计算实现智能处理计算智能所包含的领域

人工神经网络（ArtificialNeuralNetwork,ANN）

进化计算（EvolutionComputing,EC）

模糊系统（FuzzySystem,FS）6.1人工神经网络概述6.2感知机6.3BP网络6.4人工神经的网络应用第六章人工神经网络（ArtificialNeuralNetwroks）6.1人工神经网络概述生物神经元简介人工神经网络概念人工神经元模型神经网络的拓扑结构神经学习方式人工神经网络特点神经网络的基本功能神经网络模型人脑的奥秘人类的大脑大约有1400亿个神经细胞，亦称为神经元。平均每个神经元与其他大量神经元相互连接，形成复杂的生物神经网络。经验直觉综合判断回忆联想生物神经元（Neuron）神经末梢突触轴突树突细胞核细胞体由细胞体(Soma)、轴突(Axon)和树突(Dendrite)三个部分组成

生物神经元工作机理神经元的信息传递和处理是一种电化学活动，树突由于电化学作用接受外界的刺激；

一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位)累加求和的过程，称为整合。当神经元的时空整合产生的膜电位超过阈值电位时，神经元处于兴奋状态，产生兴奋性电脉冲，并经轴突输出；否则，无电脉冲产生，处于抑制状态。神经元间的连接强度是可以接受外界刺激而改变的，这构成了学习机能的基础。大脑体操:脑子越用越灵光、下棋、打牌、阅读人工神经网络概念人工神经网络(ArtificialNeuralNetwork:ANN)是抽象、简化与模拟大脑生物结构的计算模型；另一个定义：“人工神经网络是由有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。”ANN的三大要素:神经元，网络拓扑结构,学习算法人工神经元对生物神经元的抽象与模拟xny∑θx1x2w1w2wn输入连接权值,与该神经元的连接强度神经元输出f:激励函数阈值y=f(A)=f（∑wixi-θ）连接权与神经元状态神经元uj和ui之间连接权为wijwij>0，称为正连接，表示神经元uj对ui有激活作用

wij<0，称为负连接，表示神经元uj对ui有抑制作用

神经元状态：激活状态，激励函数输出为1

抑制状态，激励函数输出为0(1)从各输入端接收输入信号xi。(2)根据各连接权值wi,求出所有输入的加权和A：

A＝ni=1wi

xi

－

(3)利用某一激励函数f进行变换，得到输出y：y=f(A)＝f(ni=1wi

xi

－)神经元的工作过程常用神经元激励函数：阈值型函数

f（A）=MP神经元模型常用神经元激励函数：分段线性型函数式中，K、Ak均表示常量。

常用神经元激励函数：S型函数S型特性函数反映了神经元的非线性输出特性。神经网络的拓扑结构多个神经元按某种的拓扑结构连接构成了神经网络;总体上分为前向网络和反馈网络；前向网络（前馈网络），只存在从上一层每个神经元到下一层的所有神经元的联结方式；反馈网络：允许一个神经元的输出可以被反馈至同层或前层的神经元；前向网络……x1X2X3xny1Y2ym权值wij输出层输入层单层前馈网络结构x1X2Xny1Ym隐含层输出层输入层多层前馈网络结构………权值权值

网络由若干层神经元组成，包括输入层、中间层（又称隐层，可有一层或多层）和输出层，各层顺序连接；

信息流动方向：按照从输入层进，经过中间层，从输出层出的方向流动。

研究表明三层前向神经网络不仅能以任意精度逼近任意函数，还能以任意精度逼近其各阶导数。反馈网络反馈前向网络：输出层到输入层具有反馈连接；互连前向网络：同层神经元之间有相互连接；广泛互连网络：网络中任意两个神经元之间都可以有联结；神经学习神经网络性质取决于两个因素：网络的拓扑结构；另一个是网络的权值。网络学习一般是利用一组称为样本的数据，作为网络的输入，按照一定的训练规则(又称学习规则或学习算法)自动调节神经元之间的连接强度或拓扑结构；调整网络连接权值（权值修正学派）调整网络连接结构（结构修正学派）学习方式：有导师的监督学习和无导师的非监督学习学习规则：Hebb学习；误差修正学习；竞争型学习；随机性学习学习结束：当网络的实际输出满足期望的要求，或者趋于稳定时，则认为学习成功。网络学习方式分类：有导师的监督学习——存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。无导师的非监督学习——不存在一个期望的网络输出，没有直接的误差信息，需要建立一个间接的评价函数，以对网络的某种行为进行评价。Hebb学习（HebbianLearning）如果神经网络中某一神经元同另一直接与它连接的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度将得到加强：

wij(t+1)=wij(t)+η[xi(t)yj(t)]t时刻第i个神经元输出t时刻第j个神经元输出学习因子ijwijyjxit时刻的权值t+1时刻的权值误差修正学习是有导师的监督学习，基本思想是减少神经网络的期望输出与实际输出之间的偏差。最基本的误差修正规则：连接权值的变化与神经元希望输出和实际输出之差成正比，即

wij(t+1)=wij(t)+η[dj(t)-yj(t)]xi(t)期望输出实际输出ijwijyjxi学习因子η（艾塔）:学习率，决定权变化的快慢。人工神经网络特点信息的分布存储：即使局部损坏，通过联想可恢复。并行分布式处理：速度快。自适应,自组织,自学习：根据环境自动改变网络联结权值及结构。从训练样本中自动获得知识：具有学习能力特别是针对复杂环境。克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷能力特征：结构特征：神经网络的基本功能联想记忆功能非线性映射功能分类与识别功能优化计算功能联想记忆功能非线性映射功能输入流失概率（0.87)输出男293000元/月神州行130元/月…………根据客户信息，预测客户流失可能性分类与识别功能优化计算功能神经网络模型神经网络模型是一个神经网络的综合描述，包括网络的拓扑结构、输入输出信号类型（连续或离散）、神经元激活函数、学习方式、学习算法等。常见神经网路模型：感知机（Perceptron）误差反向传播网络(BP)Hopfield网络自组织映射(SOM)波尔茨曼机(BM)…

…6.2感知机（Perceptron）

感知机，看作一个多输入单输出的神经计算模型;

分为单层感知机和多层感知机。拓扑结构：前向网络激励函数：阈值型函数学习规则：Hebb学习取w1＝w2＝1，θ＝1.5，实现逻辑“与”运算。

y=f(w1*x1+w2*x2-θ)Y=f(x1+x2-1.5)感知机使用举例：与运算x1x2w1w2θ∑y(0,0)(1,1)(0,1)(1,0)图与运算问题图示x1x2XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)异或问题是一个非线性可分问题，需要用多层感知器来解决。x2x1x11y=x1

XORx2x1X2x121-1111-1输入层隐层输出层权值权值“异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)异或问题的解决(1,1)输出层神经元所确定的直线方程为它相当于对隐层神经元x11和x12的输出作“逻辑与”运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形。

隐层神经元x11所确定的直线方程为:隐层神经元x12所确定的直线方程为：

6.3误差反向传播网络(BP网络)BP(BackPropagation)网络即误差反向传播网络是应用最广泛的一种神经网络模型；

拓扑结构：分层前向网络；激励函数：Sigmoid型(S型)函数；

学习规则：有导师监督学习，误差修正学习；

学习算法：误差反向传播算法，简称BP算法理论研究表明：BP网络可以在任意的精度上逼近任意的连续函数。

二级BP网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………WVBP算法思想BP算法学习过程由正向传播和误差反向传播组成。正向传播：输入信息从输入层经隐单元层逐层处理后，传至输出层。每一层神经元的状态只影响下一层神经元的状态。误差反向传播：如果在输出层得不到期望输出，那么就转为反