智能计算导论神经网络专家讲座

ArtificialNeuralNetworks，简记作ANN是对人类大脑系统一阶特征一个描述。简单地讲，它是一个数学模型，能够用电子线路来实现，也能够用计算机程序来模拟，是人工智能研究一个方法。

人工神经网络智能计算导论神经网络专家讲座第1页人工神经系统（ANS）神经网络（NN）自适应网（AdaptiveNetworks）联接主义（Connectionism）神经计算机（Neurocomputer）人工神经网络别名智能计算导论神经网络专家讲座第2页人工神经网络历史萌芽期（20世纪40年代）人工神经网络研究最早能够追溯到人类开始研究自己智能时期。1943年，心理学家McCulloch和数学家Pitts建立了著名阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《BulletinofMethematicalBiophysics》1949年，心理学家D.O.Hebb提出神经元之间突触联络是可变假说——Hebb学习律。智能计算导论神经网络专家讲座第3页人工神经网络历史第一高潮期（1950~1968）以MarvinMinsky，FrankRosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。可用电子线路模拟。人们乐观地认为几乎已经找到了智能关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。智能计算导论神经网络专家讲座第4页人工神经网络历史反思期（1969~1982）M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年

“异或”运算不可表示

二十世纪70年代和80年代早期研究结果

认识规律：认识——实践——再认识智能计算导论神经网络专家讲座第5页人工神经网络历史第二高潮期（1983~1990）

1982年，J.Hopfield提出循环网络建立ANN稳定性判别依据说明了ANN与动力学关系用非线性动力学方法来研究ANN特征指出信息被存放在网络中神经元联接上智能计算导论神经网络专家讲座第6页人工神经网络历史第二高潮期（1983~1990）1984年，

J.Hopfield设计研制了以后被人们称为Hopfield网电路。很好地处理了著名TSP问题，找到了最正确解近似解，引发了较大轰动。1985年，圣地牙哥加州大学Hinton、Rumelhart等人所在并行分布处理（PDP）小组研究者在Hopfield网络中引入了随机机制，提出所谓Boltzmann机。智能计算导论神经网络专家讲座第7页人工神经网络历史第二高潮期（1983~1990）1986年，并行分布处理小组Rumelhart等研究者重新独立地提出多层网络学习算法—BP算法，很好地处理了多层网络学习问题。1988年，RBF神经网络90年代早期，vapnik提出SVM国内首届神经网络大会是1990年12月在北京举行智能计算导论神经网络专家讲座第8页人工神经网络历史再认识与应用研究期（1991~）存在应用面还不够宽、结果不够准确等问题改进现有模型、算法，以提升网络训练速度和运行准确度。算法集成希望在理论上寻找新突破，建立新专用/通用模型和算法深入对生物神经系统进行研究，不停地丰富对人脑认识。智能计算导论神经网络专家讲座第9页生物神经系统

智能计算导论神经网络专家讲座第10页生物神经系统智能计算导论神经网络专家讲座第11页生物神经系统智能计算导论神经网络专家讲座第12页生物神经系统智能计算导论神经网络专家讲座第13页生物神经元生物神经元组成：神经细胞被称为生物神经元。神经元主要由三个部分组成：细胞体、轴突。细胞体：由细胞核、细胞质与细胞膜等组成。它是神经元新陈代谢中心，同时还用于接收并处理对其它神经元传递过来信息。轴突：由细胞体向外伸出最长一条分智能计算导论神经网络专家讲座第14页

枝，每个神经元一个，其作用相当于神经元输出电缆，它经过尾部分出许多神经末梢以及梢端突触向其它神经元输出神经冲动。树突：这是由细胞体向外伸出除轴突外其它分枝，长度普通均较短，但分枝很多。它相当于神经元输人端，用于接收从四面八方传来神经冲动。突触：是神经元之间相互连接接口部分生物神经元智能计算导论神经网络专家讲座第15页

即一个神经元神经末梢与另一个冲经元树突相接触交界面，位于神经元神经末梢尾端。轴突及突触与其它许多神经元建立联络。树突接收来自不一样神经元信息。神经元之间这种复杂联络就形成了对应神经网络。生物神经元智能计算导论神经网络专家讲座第16页生物神经元智能计算导论神经网络专家讲座第17页神经元是组成神经网络最基本单元（构件）。人工神经元模型应该含有生物神经元基本特征。

人工神经元模型智能计算导论神经网络专家讲座第18页人工神经元模型智能计算导论神经网络专家讲座第19页人工神经元基本组成人工神经元模拟生物神经元一阶特征输入：X=（x1，x2，…，xn）联接权：W=（w1，w2，…，wn）T网络输入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…智能计算导论神经网络专家讲座第20页激活函数——执行对该神经元所取得网络输入变换，也能够称为激励函数、活化函数，传递函数等：

O=f(net)

激活函数(传递函数)智能计算导论神经网络专家讲座第21页单输入人工神经元神经元输出传输函数偏置(值)输入权值净输入智能计算导论神经网络专家讲座第22页传输函数(硬极限传输函数)

HardLimitTransferFunctionβ、γ、θ均为非负实数，θ为阈值。(ThresholdFunction)二值形式：β=1,γ=0;双极形式：β=γ=1智能计算导论神经网络专家讲座第23页传输函数(线性传输函数)

LinearTransferFunctionf（n）=k×n+c智能计算导论神经网络专家讲座第24页传输函数(对数-S型函数)

Log-SigmoidTransferFunction智能计算导论神经网络专家讲座第25页逻辑斯特函数（LogisticFunction）

f(n)=1/(1+exp(-d×n))

函数饱和值为0和1压缩函数（SquashingFunction）

f(n)=g+h/(1+exp(-d×n))

g，h，d为常数，函数饱和值为g和g+hS形函数有很好增益控制

传输函数(对数-S型函数)

Log-SigmoidTransferFunction智能计算导论神经网络专家讲座第26页传输函数总结名称输入/输出关系图标Matlab函数硬极限函数Hardlim对称极限函数Hardlims线性函数Pureline饱和线性函数Satlin智能计算导论神经网络专家讲座第27页传输函数总结对称饱和线性函数Satlins对数S型函数Logsig双曲正切S型函数Tansig正线性函数Poslin竞争函数Compet智能计算导论神经网络专家讲座第28页多输入神经元简化符号智能计算导论神经网络专家讲座第29页传输函数作用实例n=WP+b=1.5P=[1,2]TW=[1,1]b=-1.5f(n)a智能计算导论神经网络专家讲座第30页传输函数作用实例na=Hardlim(1.5)

fa=Hardlims(1.5)a=Pureline

(1.5)a=Satlins

(1.5)a=Logsig

(1.5)智能计算导论神经网络专家讲座第31页网络结构—神经元层输入S个神经元层智能计算导论神经网络专家讲座第32页神经元层简化模型b=p=a=智能计算导论神经网络专家讲座第33页输入第1层第2层第3层多层神经网络（3层）a1=f1(W1p+b1)a2=f2(W2p+b2)a3=f3(W3p+b3)p智能计算导论神经网络专家讲座第34页多层神经网络（3层）简化表示输入第1层第2层第3层输出层隐含层a3=f3(W3f2(W2f1(W1p+b1)+b2)+b3)智能计算导论神经网络专家讲座第35页多层神经网络讨论多层网络功效强于单层网络网络结构确实定：输入个数输出个数隐含神经元数传输(节点)函数网络层数：2－3层神经网络权值智能计算导论神经网络专家讲座第36页延时模块(Delays)递归网络－结构块积分模块(Integrators)a(t)=u(t-1)智能计算导论神经网络专家讲座第37页递归网络（RecurrentNetwork）初始条件递归层a(t+1)=satlins(Wa(t)+b)…智能计算导论神经网络专家讲座第38页递归神经网络简单讨论反馈作用时间性前向网络特点是将神经元分层，每层神经元之间没有信息交流，一层一层同时计算；反馈神经网络则将整个网络视为整体，神经元之间相互作用，计算也是整体。智能计算导论神经网络专家讲座第39页一个说明性实例智能计算导论神经网络专家讲座第40页一个说明性实例苹果=[红色,圆球]＝[－1，1]橘子=[黄色,扁球]＝[1，0.5]10y=kx+by=-0.25x+0.75y=kx+b外形颜色橘子苹果-1<x’<1,0.5<y<1智能计算导论神经网络专家讲座第41页一个说明性实例W＝[－1，1]p＝[－1，1]p＝[1，0.5]n=Wp+b2+b>0-0.5+b<0-2<b<0.5智能计算导论神经网络专家讲座第42页一个说明性实例Wk1=-1k2=1判定边界总是和权值矩阵正交智能计算导论神经网络专家讲座第43页人工神经网络最含有吸引力特点是它学习能力。1962年，Rosenblatt给出了人工神经网络著名学习定理：人工神经网络能够学会它能够表示任何东西。人工神经网络表示能力大大地限制了它学习能力。人工神经网络学习过程就是对它训练过程学习规则就是修改神经网络权值(包含偏置值)方法和过程(也称这种过程是训练算法)人工神经网络学习智能计算导论神经网络专家讲座第44页有导师学习(SupervisedLearning)与有导师训练(SupervisedTraining)相对应。输入向量与其对应输出向量组成一个“训练对”。有导师学习训练算法主要步骤包含：

1）

从样本集合中取一个样本（Ai，Bi）；

2）

计算出网络实际输出O；

3）

求D=Bi-O；

4）

依据D调整权矩阵W；

5）对每个样本重复上述过程，直到对整个样本集来说，误差不超出要求范围。

学习方法—有导师学习智能计算导论神经网络专家讲座第45页无导师学习(UnsupervisedLearning)与无导师训练(UnsupervisedTraining)相对应

仅仅依据网络输入调整神经网络权值(包含偏置值)，无目标输出完成聚类，将输入模式分类抽取样本集合中蕴含统计特征，并以神经元之间联接权形式存于网络中。学习方法—无导师学习智能计算导论神经网络专家讲座第46页与有导师学习类似

无确定目标输出，对应一个级别，而该级别对应网络性能测度比较适合控制等工程应用系统外部环境对系统输出结果给出评价，学习系统经过强化受奖动作来改进本身性能。（再例学习）学习方法—增强学习智能计算导论神经网络专家讲座第47页思索题1.有一单层神经网络，含有6个输入和两个输出。输出被限定为0到1之间连续值。叙述网络结构，说明：需要多少神经元；权值