人工神经网络概述

1、人工神经网络概述第1页，共25页，2022年，5月20日，11点6分，星期日第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例第2页，共25页，2022年，5月20日，11点6分，星期日一、人工神经网络的提出AI研究的两大学派：符号主义用计算机从外特性上模仿人脑宏观的功能连接主义在微观内部结构上模仿人脑的神经第3页，共25页，2022年，5月20日，11点6分，星期日一、人工神经网络的提出符号主义认为： 智能活动的基本元素是符号； 智能活动的过程是符号处理的过程。连接主义认为： 智能活动的基本元素是神经元； 智能活动的过程是大量的相联结的神经

2、元的并行作用的过程。第4页，共25页，2022年，5月20日，11点6分，星期日二、人工神经网络的历史早期阶段（1960s）1943 McCulloch和Pitts 提出神经元的数学模型（MP模型）1949 Hebb 提出权重加强的学习机理1957 Rosenblatt 感知机（perceptron）有认知学习功能1969 Mingsky 专著“perceptron” 证明线性（单层）感知 机不能解决XOR问题，ANN进入低潮第5页，共25页，2022年，5月20日，11点6分，星期日二、人工神经网络的历史过渡期（1970s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模

3、型Boston Univ的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一 ANN的数学理论Fuknshima 神经认知网络理论芬兰的Kohonen 自组织联想记忆第6页，共25页，2022年，5月20日，11点6分，星期日二、人工神经网络的历史高潮（1980）1982 加州理工 Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6 ICNN（International Conference on NN）召开1987 加州理工 Abnmostafa，Psaitis 2D联想存储输入残缺图案也可识别19

4、88 AT&T Bell lab 120*120元件的ANN1989 三菱 光学ANN芯片，32个神经元识别26个字母1989 日立 5“硅片集成576个神经元1990 Bell Lab 黄庭钰 数字光学处理器1990 IBM AS400 提供ANN仿真开发环境1992 SGI 将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用第7页，共25页，2022年，5月20日，11点6分，星期日第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例第8页，共25页，2022年，5月20日，11点6分，星期日一、生物神经网的构成树突（De

5、ndrite）胞体(Soma) 轴突（Axon）突触（Synapse）第9页，共25页，2022年，5月20日，11点6分，星期日二、MP模型x2 w2xn wnx1 w1Fy第10页，共25页，2022年，5月20日，11点6分，星期日二、MP模型线性函数 y=kx+cxyoc第11页，共25页，2022年，5月20日，11点6分，星期日二、MP模型阈值函数 第12页，共25页，2022年，5月20日，11点6分，星期日二、MP模型S形函数（Sigmoid Function） yx0第13页，共25页，2022年，5月20日，11点6分，星期日二、MP模型考虑偏置与阈值，神经元模型 x2 w

6、2xn wnx1 w1Fys第14页，共25页，2022年，5月20日，11点6分，星期日三、ANN连接模型前馈型网络 x1z1输出层隐藏层输入层x2z2zmxnWw第15页，共25页，2022年，5月20日，11点6分，星期日三、ANN连接模型前馈型网络 输入/输出：二值（0,1）或连续值权值：可正可负权值矩阵：学习的过程不断修改权值的过程第16页，共25页，2022年，5月20日，11点6分，星期日三、ANN连接模型反馈型网络 x1z1输出层隐藏层输入层x2z2zmxnWw第17页，共25页，2022年，5月20日，11点6分，星期日三、ANN连接模型反馈型网络层间反馈非线性动力系统层内反

7、馈横向抑制、竞争Hopfield网是单层节点全互连的反馈网第18页，共25页，2022年，5月20日，11点6分，星期日第8章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例第19页，共25页，2022年，5月20日，11点6分，星期日8.3 ANN的学习算法ANN的学习算法可分为有导师学习无导师学习 自学习、自组织第20页，共25页，2022年，5月20日，11点6分，星期日一、Hebb学习规则两个细胞同时兴奋，则它们之间连接（权）应加强。属于无导师学习第21页，共25页，2022年，5月20日，11点6分，星期日二、反向传播算法 (Back-

8、Propagation, B-P算法) （有导师学习）用于前馈网络从训练范例集中取一训练时，输入网络正向传播求输出计算输出与应有输出之误差反向传播，逐层修正权值，使误差减小重复以上步骤，直至整个训练集误差最小。第22页，共25页，2022年，5月20日，11点6分，星期日总结 ANN的学习算法第23页，共25页，2022年，5月20日，11点6分，星期日第七章 人工神经网络8.1 人工神经网络概述8.2 神经元模型8.3 ANN的学习算法8.4 应用举例第24页，共25页，2022年，5月20日，11点6分，星期日8.4 应用举例XOR 1=0.5 -1 1 -1 1 1 x1=0，x2=0时，