王永骥人工神经网络原理、应用

1、人工神经网络原理、应用及发展趋势王永骥华中科技大学控制系7/20/20221研究生论坛讲座纲要1. 人工神经网络原理2. 人工神经网络优势3. 人工神经网络的应用4. 人工神经网络研究趋势5. 结束语7/20/20222研究生论坛讲座1. 人工神经网络原理人之所以有智能，是因为大脑中存在一个1000亿个神经元构成的生物神经网络;生物神经网络十分复杂，具有高度智能;人们力图抓住主要特点，构成人工神经网络，形成具有一定智能能力的信息处理工具。7/20/20223研究生论坛讲座1.1 神经系统 的复杂性7/20/20224研究生论坛讲座7/20/20225研究生论坛讲座7/20/20226研究生论坛

2、讲座7/20/20227研究生论坛讲座7/20/20228研究生论坛讲座7/20/20229研究生论坛讲座7/20/202210研究生论坛讲座What are (artificial) neural networks? It is a network with interactions, in attempt to mimicking the brain UNITs: artificial neuron (linear or nonlinear input-output unit), small numbers, a few hundreds INTERACTIONs: simply by w

3、eights, how strong a neuron affects others STRUCTUREs: could be feedforward, feedback or recurrent It is still far too naive, and the development of the field relies on all of us7/20/202211研究生论坛讲座 1.1.2 生物神经元人的大脑由1012个神经元构成，神经元互相连接成神经网络神经元组成：细胞体为主体1873年, 意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效应 形状图

4、 突触传递信息特点7/20/202212研究生论坛讲座神经元示意图7/20/202213研究生论坛讲座突触传递信息特点(1) 时延性 :（0.31ms）(2) 综合性 ：时间与空间的累加(3) 类型：兴奋与抑制(4) 脉冲与电位转换: （D/A功能）(5) 速度：1150m/s(6) 不应期（死区）：35ms(7) 不可逆性（单向）(8) 可塑性 : 强度可变 ,有学习功能 脉冲 7/20/202214研究生论坛讲座 1.1.3 人脑神经网络脑神经系统主要组成部分大脑皮层由许多功能区组成（运动、听觉、视觉等） 神经元群 其区域性结构：遗传 其功能：后天对环境的适应于学习得来 （自组织特性Sel

5、f-Organization） 子功能模块的并行关系 a) 大脑处理信息的特点 b) 生物学研究成果 7/20/202215研究生论坛讲座 a) 大脑处理信息的特点 分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上(weights）;并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;信息处理与存储合一：每个元兼有二者功能;可塑性与自组织性：可塑性是学习记忆的基础;鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。7/20/202216研究生论坛讲座b) BNN研究成果H-H方程 英 A.L

6、.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g. 自激振荡 chaos. 多重稳定性等7/20/202217研究生论坛讲座HH方程式中，I为膜电流，V为膜电位相对于静息膜电位Er的变化，VK, VNa, Vl分别为钾离子、钠离子和氯离子与其他离子形成的相对电位。CM为单位面积的膜电容，gk,gNa,gl 分别为钾离子、钠离子通道和漏电流通道的电导。7/20/202218研究生论坛讲座1.2 人工神经网络研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域（生物神经网络的模型化：A

7、NN） BNN modeling ANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。 7/20/202219研究生论坛讲座神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。7/20/202220研究生论坛讲座人工神经网络内容1.2.1 人工神经元模型 （Artificial Neuron model）1.2.2 人工神经网络的构成 （structure of ANN）1.2.3 人工神经网络的学习 （lea

8、rning or training of ANN）7/20/202221研究生论坛讲座1.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统, 信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。 各通道都对电位产生影响（空间总合效应）。 7/20/202222研究生论坛讲座神经元模型（1）神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也

9、称为阀值或门限值。7/20/202223研究生论坛讲座神经元模型（2） 。 7/20/202224研究生论坛讲座抽象可得数学表达式： wi 数值（weights) b 阀值（threshold） f(s) 用函数（activated transfer function） 7/20/202225研究生论坛讲座几种常用的作用函数 (1)、阀值型（硬限制型) (2)、线性型 (3)、S型函数（Sigmoid） (4)、辐射基函数7/20/202226研究生论坛讲座(1)、阀值型（硬限制型） 生物学背景：神经细胞的兴奋与抑制；单极性7/20/202227研究生论坛讲座生物学背景：神经细胞的兴奋与抑制：

10、双极性7/20/202228研究生论坛讲座(2)、线性型a) 全线性 生物学背景：神经细胞的比例作用（全方位）7/20/202229研究生论坛讲座b) 正线性生物学背景：神经细胞的线性比例作用（单方向）7/20/202230研究生论坛讲座(3)、S型函数（Sigmoid）a) 对数正切 y=1/(e-n+1)生物学背景：神经细胞的非线性比例作用（单向）7/20/202231研究生论坛讲座b)双曲正切 y=tanh(n)生物学背景：神经细胞的非线性比例作用（全方位）7/20/202232研究生论坛讲座（4）辐射基函数a) 高斯函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用7/20/202

11、233研究生论坛讲座b)三角波函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似7/20/202234研究生论坛讲座1.2.2 人工神经网络的构成基本模型连接的几种基本形式前向网络（feed-forward Networks）回归网络（recurrent Networks）互联网络（全互连与局部互连）也可是以上几种形式的组合7/20/202235研究生论坛讲座人工神经网络种类1). 前馈型 感知器、线性网络（ADALINE), BP网络 RBF 网络， 2). 反馈型 Hopfield 网络3). 竞争型 ART ， SOFM等7/20/202236研究生论坛讲座前向网络结构图7

12、/20/202237研究生论坛讲座前向网络特点 1). 神经元分层排列，可又多层 2). 层间无连接 3). 方向由入到出 感知网络（perceptron即为此） 应用最为广泛 7/20/202238研究生论坛讲座回归网络全反馈结构图7/20/202239研究生论坛讲座Inner RNN结构图7/20/202240研究生论坛讲座回归网络特点Output 与 Input相连（全反馈） 特点：1. 内部前向 2. 输出反馈到输入 例： Fukushima网络Inner recurrent 特点：层间元互相连接7/20/202241研究生论坛讲座互联网络结构图 7/20/202242研究生论坛讲座互

13、联网络特点每个元都与其它元相连 例： Hopfield Boltzmann机 7/20/202243研究生论坛讲座1.2.3人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数)学习规则简介 7/20/202244研究生论坛讲座关于学习问题学习：实例学习 举一反三的能力机器学习: 从数据中归纳出规律,进行预测或者对其性质作出判断神经网络启发式学习支持向量机-统计学习理论7/20/202245研究生论坛讲座学习规则1）直接设计计算 e.g. Hopfield 作优化计算2）学习得到,即通过训练(training)7/20/202246研究

14、生论坛讲座常用学习规则a) Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种） 7/20/202247研究生论坛讲座c) 相近学习规则 使 ART SOFM 自组织竞争用此规则7/20/202248研究生论坛讲座BP网络模型BP网络模型如图2.4所示: .输入层隐含层输出层图2.4 多层前向神经网络结构.7/20/202249研究生论坛讲座Matlab形式Nnd11nf.m 描述输出与加权系数的关系nndemos（chap11 demo1）network function7/20/202250研究生论坛讲座BP学习算

15、法（加权值的修改方法7/20/202251研究生论坛讲座BP网络训练的几种模式批处理模式(batch mode)训练过程以所有样本为一个epoch。训练时计算出所有样本的整体误差后，加权系数才调整。matlab 函数 trainb，非直接调用，用net.trainFcn说明即，每一次输入样本j时，计算该样本j对应的误差ej和相应的权值修正量 dwj，但不进行权值修改，而是等到全部样本输入完毕后，计算所有样本累计对应的权值修正量, dw(k)=dwj 进行一次权值修正。 本方法适用于离线计算。7/20/202252研究生论坛讲座模式学习模式(pattern mode) 训练过程输入一个样本，计算

16、学习误差，调整加权系数。matlab 函数 trainc，trains, trainr非直接调用，用net.trainFcn 说明即。每一次计算得到的dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正的加权值计算网络输出。模式学习适用于在线（自适应）修正权值。7/20/202253研究生论坛讲座BP算法的改进 BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。 （1）带动量因子算法； （2）自适应学习速率； （3）高阶学习算法； （4）改变性能指标函数 7/20/202254研究生论坛讲座7/20/2022神经网络原理与应用55RBF网络的Matlab 形式

17、7/20/202255研究生论坛讲座RBF网络的学习中心和宽度：随机选择或优化学习输出权矩阵：反向传播或者最小二乘方法学习7/20/202256研究生论坛讲座2. 人工神经网络优势任何精度逼近任意连接非线性函数（NL系统的统一描述） 对复杂不确定问题具有自适应、学习能力并行机制，解决实时计算问题，具有冗余性容错能力信息融合（Fusion），多媒体技术神经计算：用于优化、矩阵求逆，解方程等计算易于VLSI、光学IC、计算机虚拟实现NN7/20/202257研究生论坛讲座统一的建模方法由于非线性系统的多样性和复杂性，传统方法常常无能为力神经网络提供了一种统一建模的方法，无论是静态或动态非线性系统7

18、/20/202258研究生论坛讲座自适应、学习能力 传统方法 对线性系统方法成熟、有效 神经网络 线性、非线性均有效7/20/202259研究生论坛讲座并行机制传统的并行计算机制与神经网络不同神经网络每一单元均为具有计算能力的单元可用于解决实时计算问题，具有冗余性容错能力7/20/202260研究生论坛讲座神经计算用于优化、矩阵求逆，解方程等计算7/20/202261研究生论坛讲座神经计算机实现易于VLSI、光学IC、计算机虚拟实现NN神经芯片相当于FPGA，可实现算法级的通用编程7/20/202262研究生论坛讲座3. 人工神经网络的应用应用十分广泛 模式识别与分类 自动控制 信号处理与滤波

19、 系统优化各类系统：工程、金融、经济、社会7/20/202263研究生论坛讲座模式识别与分类手写数字识别汉字识别分类7/20/202264研究生论坛讲座英文字母识别7/20/202265研究生论坛讲座肌电信号实时辨识7/20/202266研究生论坛讲座肌电信号实时辨识选择节点上的小波包分解原始 EMG信号小波包变换的参数计算小波包的节点能量原始特征向量特征投影降维后的特征向量使用ANN进行模式分类辨识结果7/20/202267研究生论坛讲座肌电信号实时辨识肌电信号实时辨识 虚拟现实显示视频演示7/20/202268研究生论坛讲座优化计算将Hopfield网络应用于求解组合优化问题，就是把目标函

20、数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。如果联接权矩阵W和输入I，把优化问题中的目标函数、约束条件与Hopfield的能量函数联系起来，电路达到的平衡点就是能量函数的极小点，也是优化中满足约束条件下的目标函数的极小点，达就可以利用人工神经网络来完成优化问题。 例：TSP 问题7/20/202269研究生论坛讲座HNN 优化10城市TSP7/20/202270研究生论坛讲座NN在AC上的应用 1）系统辨识 2）系统控制 3）优化计算 4）故障诊断及容错控制7/20/202271研究生论坛讲座1）系统辨识系统辨识 NN系统辨

21、识的统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可用于在线控制 问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择 7/20/202272研究生论坛讲座倒立摆系统NN辨识 NNARX模型检验结果 7/20/202273研究生论坛讲座2）系统控制控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题： NL系统的自适应控制 线性 - NL 无模型直接自适应（single Neuron 控制器）7/20/202274研究生论坛讲座应用举例1）神经网络温度控制2）神经网络智能同期控制3） 7/20/202275研究生论坛讲座神经网络PID温度控制

22、用于控制封闭式电热炉，设定值为500时7/20/202276研究生论坛讲座7/20/202277研究生论坛讲座实时仿真试验7/20/202278研究生论坛讲座3）优化计算神经网络求解代数方程神经网络在预测控制在线求矩阵逆神经网络在LQR问题中解ARE7/20/202279研究生论坛讲座4）故障诊断及容错控制神经网络用于故障诊断 1) 基于模型（BP） 2) 基于自组织网络（SOM）神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器7/20/202280研究生论坛讲座应用中存在的主要问题ANN结构确定需一定经验，存在过拟合和欠拟合现象ANN 学习系统为迭代算法，为一非线性优化问题，

23、收敛性分析较困难ANN系统本质为非线性系统，其动态系统分析与设计存在一定困难目前缺少相应的ANN硬件,实现有一定困难。7/20/202281研究生论坛讲座神经网络工具箱1）MATLAB NN toolbox 通用工具箱，有多种模型2）nnsysyid 3）nnctrl 适用于非线性系统建模和控制7/20/202282研究生论坛讲座4. 人工神经网络研究趋势简要回顾发展历程1）用于控制系统时,常常利用稳定性原理设计学习算法;2） 第3代神经网络脉冲神经网络(SNN)，用于处理生物信息有特有优势;7/20/202283研究生论坛讲座ANN的发展史20世纪40年代：兴起与萧条 1943年 M-P m

24、odel 心理学家W.S.McCulloch和 数学家W.Pitts提出： 形式神经元的数学描述与构造方法 与阀值神经元model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设： 学习过程发生在突触上 Hebb规则：7/20/202284研究生论坛讲座20世纪50年代 , 第一次高潮 1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮7/20/202285研究生论坛讲座20世纪60年代,低潮1969年

25、 Minsky和Papert编写的Perceptron 出版，使NN的研究进入低潮 Problems：single lager P.仅可解线性问题， NL XOR无法求解； 求解XOR 应该是MLP， 但MLP是否有意义，理论上不能得到有力证明 当时现状：数字计算机发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未停止。 7/20/202286研究生论坛讲座1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller） 1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory）

26、 Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学7/20/202287研究生论坛讲座20世纪80年代 第二次高潮Reasons: 1）AI理论、 Neumann计算机功能受挫（智能、视觉处理等） 2）ANN有新成果、脑科学、神经科学 、 VLSI、光电技术的发展 7/20/202288研究生论坛讲座J.J.Hopfield 1982年 Hopfield网络模型：网络能量、网络稳定性判据 1984年 HNN用电子

27、线路 实现 HNN用途：联想记忆、优化计算机的新途径1984年 Hilton 引入模拟退火法，提出Boltzmann机网络1986年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）7/20/202289研究生论坛讲座1987年 Nielson提出了对向传播（Counter Propagation）神经网络1988年 L.O.Chua提出细胞神经网络（CNN）模型，1988 Broomhead and Lowe提出 RBF网络1990 Vapnik 支持向量机SVM自1958年来已有近40种NN model7/

28、20/202290研究生论坛讲座History spiking neural networks (Feng, Cogs) Vapnik (1990) -support vector machineBroomhead & Lowe (1988) -Radial basis functions (RBF) Linsker (1988) - Informax principleRumelhart, Hinton - Back-propagation & Williams (1986)Kohonen(1982) - Self-organizing mapsHopfield(1982) - Hopfie

29、ld NetworksMinsky & Papert(1969) - Perceptrons Rosenblatt(1960) - PerceptronMinsky(1954) - Neural Networks (PhD Thesis)Hebb(1949) -The organization of behaviourMcCulloch & Pitts (1943) -neural networks and artificial intelligence were born7/20/202291研究生论坛讲座NN研究学术机构 1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会议 1991年 中国神经网络学会7/20/202292研究生论坛讲座AC需求处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求7/20/202293研究生论