人工神经网络概述课件

第8章人工神经网络（ArtificialNeuralNetwork，ANN）第8章人工神经网络（ArtificialNeural1第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述2一、人工神经网络的提出AI研究的两大学派：符号主义——用计算机从外特性上模仿人脑宏观的功能连接主义——在微观内部结构上模仿人脑的神经一、人工神经网络的提出3一、人工神经网络的提出符号主义认为：智能活动的基本元素是符号；智能活动的过程是符号处理的过程。连接主义认为：智能活动的基本元素是神经元；智能活动的过程是大量的相联结的神经元的并行作用的过程。一、人工神经网络的提出4二、人工神经网络的历史早期阶段（～1960’s）1943McCulloch和Pitts提出神经元的数学模型（MP模型）1949Hebb提出权重加强的学习机理1957Rosenblatt感知机（perceptron）有认知学习功能1969Mingsky专著“perceptron”证明线性（单层）感知机不能解决XOR问题，ANN进入低潮二、人工神经网络的历史5二、人工神经网络的历史过渡期（1970’s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型BostonUniv的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一ANN的数学理论Fuknshima神经认知网络理论芬兰的Kohonen自组织联想记忆二、人工神经网络的历史6二、人工神经网络的历史高潮（1980～）1982加州理工Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6ICNN（InternationalConferenceonNN）召开1987加州理工Abn－mostafa，Psaitis2D联想存储输入残缺图案也可识别1988AT&TBelllab120*120元件的ANN1989三菱光学ANN芯片，32个神经元识别26个字母1989日立5“硅片集成576个神经元1990BellLab黄庭钰数字光学处理器1990IBMAS400提供ANN仿真开发环境1992SGI将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用二、人工神经网络的历史高潮（1980～）7第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述8一、生物神经网的构成树突（Dendrite）胞体(Soma)

轴突（Axon）突触（Synapse）一、生物神经网的构成树突（Dendrite）胞体(Soma)9二、MP模型x2w2

xnwn…x1w1Fy二、MP模型x2w2xnwn…x1w10二、MP模型线性函数

y=kx+cxyoc二、MP模型xyoc11二、MP模型阈值函数

θ二、MP模型θ12二、MP模型S形函数（SigmoidFunction）

yx0二、MP模型yx013二、MP模型考虑偏置与阈值，神经元模型x2w2

xnwn…x1w1Fys二、MP模型x2w2xnwn…x1w1Fys14三、ANN连接模型前馈型网络x1z1输出层隐藏层输入层x2z2zmxn…………W’w三、ANN连接模型x1z1输出层隐藏层输入层x2z2zmxn15三、ANN连接模型前馈型网络输入/输出：二值（0,1）或连续值权值：可正可负权值矩阵：学习的过程——不断修改权值的过程三、ANN连接模型16三、ANN连接模型反馈型网络

x1z1输出层隐藏层输入层x2z2zmxn…………W’w三、ANN连接模型x1z1输出层隐藏层输入层x2z2zmxn17三、ANN连接模型反馈型网络层间反馈——非线性动力系统层内反馈——横向抑制、竞争Hopfield网是单层节点全互连的反馈网……三、ANN连接模型……18第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述198.3ANN的学习算法ANN的学习算法可分为有导师学习无导师学习自学习、自组织8.3ANN的学习算法ANN的学习算法可分为20一、Hebb学习规则两个细胞同时兴奋，则它们之间连接（权）应加强。属于无导师学习一、Hebb学习规则21二、反向传播算法

(Back-Propagation,B-P算法)

（有导师学习）用于前馈网络从训练范例集中取一训练时，输入网络正向传播求输出计算输出与应有输出之误差反向传播，逐层修正权值，使误差减小重复以上步骤，直至整个训练集误差最小。二、反向传播算法

(Back-Propagation,B22总结ANN的学习算法总结ANN的学习算法23第七章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第七章人工神经网络8.1人工神经网络概述248.4应用举例XOR

1θ=0.5

-11-1

1

1x1=0，x2=0时，y1＝0，y2＝0，y＝0x1=1，x2=0时，y1＝1，y2＝0，y＝1x1=0，x2=1时，y1＝0，y2＝1，y＝1x1=1，x2=1时，y1＝0，y2＝0，y＝0x1x2y1y2y=XOR(x1,x2)8.4应用举例XORx1x2y1y2y=XOR25第8章人工神经网络（ArtificialNeuralNetwork，ANN）第8章人工神经网络（ArtificialNeural26第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述27一、人工神经网络的提出AI研究的两大学派：符号主义——用计算机从外特性上模仿人脑宏观的功能连接主义——在微观内部结构上模仿人脑的神经一、人工神经网络的提出28一、人工神经网络的提出符号主义认为：智能活动的基本元素是符号；智能活动的过程是符号处理的过程。连接主义认为：智能活动的基本元素是神经元；智能活动的过程是大量的相联结的神经元的并行作用的过程。一、人工神经网络的提出29二、人工神经网络的历史早期阶段（～1960’s）1943McCulloch和Pitts提出神经元的数学模型（MP模型）1949Hebb提出权重加强的学习机理1957Rosenblatt感知机（perceptron）有认知学习功能1969Mingsky专著“perceptron”证明线性（单层）感知机不能解决XOR问题，ANN进入低潮二、人工神经网络的历史30二、人工神经网络的历史过渡期（1970’s）低潮中，许多学者深入研究ANN理论、模型。MIT的Marr提出视觉模型BostonUniv的Grossbery全面研究ANN理论，提出ART1，ART2，ART3自适应谐振理论模型。甘利俊一ANN的数学理论Fuknshima神经认知网络理论芬兰的Kohonen自组织联想记忆二、人工神经网络的历史31二、人工神经网络的历史高潮（1980～）1982加州理工Hopfield提出结点全互联ANN模型（Hop模型），用单层ANN解决了TSP问题1987.6ICNN（InternationalConferenceonNN）召开1987加州理工Abn－mostafa，Psaitis2D联想存储输入残缺图案也可识别1988AT&TBelllab120*120元件的ANN1989三菱光学ANN芯片，32个神经元识别26个字母1989日立5“硅片集成576个神经元1990BellLab黄庭钰数字光学处理器1990IBMAS400提供ANN仿真开发环境1992SGI将ANN用于航天飞机控制臂ANN已在专家系统、智能控制等领域广泛应用二、人工神经网络的历史高潮（1980～）32第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述33一、生物神经网的构成树突（Dendrite）胞体(Soma)

轴突（Axon）突触（Synapse）一、生物神经网的构成树突（Dendrite）胞体(Soma)34二、MP模型x2w2

xnwn…x1w1Fy二、MP模型x2w2xnwn…x1w35二、MP模型线性函数

y=kx+cxyoc二、MP模型xyoc36二、MP模型阈值函数

θ二、MP模型θ37二、MP模型S形函数（SigmoidFunction）

yx0二、MP模型yx038二、MP模型考虑偏置与阈值，神经元模型x2w2

xnwn…x1w1Fys二、MP模型x2w2xnwn…x1w1Fys39三、ANN连接模型前馈型网络x1z1输出层隐藏层输入层x2z2zmxn…………W’w三、ANN连接模型x1z1输出层隐藏层输入层x2z2zmxn40三、ANN连接模型前馈型网络输入/输出：二值（0,1）或连续值权值：可正可负权值矩阵：学习的过程——不断修改权值的过程三、ANN连接模型41三、ANN连接模型反馈型网络

x1z1输出层隐藏层输入层x2z2zmxn…………W’w三、ANN连接模型x1z1输出层隐藏层输入层x2z2zmxn42三、ANN连接模型反馈型网络层间反馈——非线性动力系统层内反馈——横向抑制、竞争Hopfield网是单层节点全互连的反馈网……三、ANN连接模型……43第8章人工神经网络8.1人工神经网络概述8.2神经元模型8.3ANN的学习算法8.4应用举例第8章人工神经网络8.1人工神经网络概述448.3ANN的学习算法ANN的学习算法可分为有导师学习无导师学习自学习、自组织8.3ANN的学习算法ANN的学习算法可分为45一、Hebb学习规则两个细胞同时兴奋，则它们之间连接（权）应加强。属于无导师学习一、Hebb学习规则46二、反向传播算法

(Back-Propagation,B-P算法)

（有导师学习）用于前馈网络从训练范例集中取一训练时，输入网络正向传播求输出计算输出与应有输出之误差反向传播，逐层修正权值，使误差减小重复以上步骤，直至整个训练集误差最小。二、反向传播算法

(B