神经网络控制1-模型

Part2ArtificialNeuralNetwork

第二部分人工神经网络之一－－神经网络基础2023/9/221一、神经网络概论神经网络种类生物神经网络（BiologicalNeuralNetworks）人工神经网络（ArtificialNeuralNetworks)2023/9/2221.1生物神经元网络1.1.1生物神经元1.1.2人脑神经网络2023/9/2231.1.1生物神经元。

人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体神经元功能：刺激、兴奋、传导、效应形状图神经元类型原则突触传递信息特点2023/9/224形状图2023/9/2252023/9/226类型单极——无脊椎动物双极——视网膜神经元neuron多极——脊椎、锥体、小脑蒲根2023/9/227原则神经元间信息传递的理论基础原则1动态极化原则（即信号沿确定方向流动）树突轴突突触其他神经元原则2

连接的专一性原则神经元之间元细胞质的连续神经元不构成随机网络每一神经元与一些神经元形成特殊的精确的联系

2023/9/228突触传递信息特点1时延性: （0.3~1ms）2综合性： 时间与空间的累加3类型： 兴奋与抑制4脉冲与电位转换:（D/A功能）5速度： 1~150m/s6不应期（死区）： 3~5ms7不可逆性（单向）8可塑性: 强度可变,有学习功能脉冲

2023/9/2291.1.2人脑神经网络脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等）神经元群

其区域性结构：遗传

其功能：后天对环境的适应于学习得来（自组织特性Self-Organization）

子功能模块的并行关系a)连接形式

b)大脑处理信息的特点C)生物学研究成果

2023/9/2210连接形式辐射式：一到多聚合式：多到一链锁式：空间上加强与扩大作用环式：反馈作用（可正可负）2023/9/2211辐射式：一到多2023/9/2212聚合式：多到一2023/9/2213链锁式：空间上加强与扩大作用2023/9/2214环式：反馈作用（可正可负)2023/9/2215大脑处理信息的特点分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上(weights）;并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;信息处理与存储合一：每个元兼有二者功能;可塑性与自组织性：可塑性是学习记忆的基础;鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。2023/9/22161.2人工神经网络研究大脑的目的：

a）揭示功能造福人类

b）构造ANN用于工程及其他领域（生物神经网络的模型化：ANN）BNN modeling ANNANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。2023/9/2217神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。2023/9/22181.2.1人工神经元模型

BNN信息传递过程为MISO系统, 信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。各通道都对电位产生影响（空间总合效应）。

2023/9/2219

单个神经元特性

神经元的膜电位与时间关系如下spike2023/9/2220BNN脉冲，ANN模拟电压ANN等效模拟电压近似BNN脉冲密度，仅有空间累加无时间累加（可认为时间累加已隐含于等效模拟电压之中）ANN中未考虑时延、不应期及疲劳等可建立更为精确的模型，但一般NN研究无此必要（方法论）2023/9/2221神经元模型（1）神经元是人工神经网络的基本处理单元，它一般是一个多输入/单输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bias），有时也称为阈值或门限值。2023/9/2222神经元模型（2）。2023/9/2223神经元模型数学描述2023/9/2224抽象可得数学表达式：

数值（weights)b

阈值（threshold）

作用函数（activatedtransferfunction）

2023/9/2225作用函数的基本作用1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。

2023/9/2226

几种常用的作用函数1、阀值型（硬限制型)

2、线性型3、S型函数（Sigmoid）4、辐射基函数2023/9/22271、阀值型（硬限制型）

2023/9/22282023/9/22292、线性型

a)全线性

2023/9/2230b)正线性2023/9/2231S型函数（Sigmoid）

a)对数正切

y=1/(e-n+1)2023/9/2232b)双曲正切y=tanh(n)2023/9/22334.辐射基函数

a)高斯函数2023/9/2234b)三角波函数2023/9/2235人工神经网络的构成基本模型连接的几种基本形式前向网络（feed-forwardNetworks）回归网络（recurrentNetworks）互联网络（全互连与局部互连）也可是以上几种形式的组合2023/9/2236神经网络基本模型

2023/9/2237前向网络结构图2023/9/2238前向网络特点

1.神经元分层排列，可又多层2.层间无连接3.方向由入到出感知网络（perceptron即为此）应用最为广泛

2023/9/2239回归网络全反馈结构图2023/9/2240InnerRNN结构图2023/9/2241回归网络特点Output与Input相连（全反馈）特点：1.内部前向2.输出反馈到输入例：Fukushima网络Innerrecurrent

特点：层间元互相连接2023/9/2242互联网络结构图2023/9/2243互联网络特点每个元都与其它元相连

例：HopfieldBoltzmann机2023/9/22441.2.3人工神经网络的学习

ANN研究中的核心问题

Howtodeterminetheweights(加权系数)学习规则简介

2023/9/2245关于学习问题学习：实例学习举一反三的能力机器学习:从数据中归纳出规律,进行预测或者对其性质作出判断神经网络—启发式学习支持向量机---统计学习理论2023/9/2246学习规则1）直接设计计算

e.g.Hopfield作优化计算2）学习得到,即通过训练(training)2023/9/2247常用学习规则a)Hebb学习

D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)δ学习规则误差校正规则梯度方法（BP即为其中一种）

2023/9/2248c)相近学习规则使

ARTSOFM自组织竞争用此规则2023/9/2249ANN与BNN比较

数学观点

ANN与BNN的比较2023/9/2250数学观点

ANN使一个以处理单元（PE：processelement）为节点，用加权有向弧连接而成的有向图。（1）每个节点有一个状态变量;（2）节点i到节点j有一个连接权值;（3）每个节点有一个阈值；（4）每个节点定义一个变换函数。PE是对