人工神经网络实用教程人工神经网络

人工神经网络实用教程人工神经网络第1页，课件共36页，创作于2023年2月7/29/20231

主讲：蒋世忠

信息工程图像处理教研室

Blog1:/jiangkeke

Blog2:/blog/blog.php?uid=7

7/29/20232第2页，课件共36页，创作于2023年2月教材书名：《神经网络实用教程》出版社：机械工业出版社出版日期：2008年2月作者：张良均曹晶蒋世忠7/29/20233第3页，课件共36页，创作于2023年2月7/29/20234第4页，课件共36页，创作于2023年2月课件、实验及学习支持网站1、智能中国网：

2、神经网络在线：

/7/29/20235第5页，课件共36页，创作于2023年2月课件、实验及学习支持网站神经网络学习网站智能中国网论坛我的教学博客我的专业博客MATLAB中文论坛神经网络参考书籍：神经网络入门教程/blog/article.php?type=blog&itemid=237/29/20236第6页，课件共36页，创作于2023年2月课程目的和基本要求熟悉人工神经网络的基本理论，应用人工神经网络解决实际应用中的问题。介绍人工神经网络及其基本网络模型了解人工神经网络的有关研究思想，从中学习先行者们的问题求解方法。通过仿真实验进一步体会有关模型的用法和性能，能将其应用到读者各自的领域。掌握混合编程方法，能应用此方法编写实际问题的解决方案。7/29/20237第7页，课件共36页，创作于2023年2月第1章人工神经网络第8页，课件共36页，创作于2023年2月7/29/20238第1章人工神经网络1.1神经网络的基本概念1.2神经网络的特点及应用7/29/20239第9页，课件共36页，创作于2023年2月

1.1.1生物神经元的结构与功能特点

生物神经元在结构上由四部分组成:细胞体(Cellbody)树突(Dendrite)轴突(Axon)突触(Synapse)用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿个神经突触以及它们的连接体7/29/202310第10页，课件共36页，创作于2023年2月7/29/202311第11页，课件共36页，创作于2023年2月神经纤维传导演示神经纤维上的传导突触间的传导7/29/202312第12页，课件共36页，创作于2023年2月1.1.1生物神经元的结构与功能特点人脑与计算机信息处理比较：记忆与联想能力学习与认知能力信息加工能力信息综合能力信息处理速度

7/29/202313第13页，课件共36页，创作于2023年2月1.1.2人工神经元模型人工神经元是人工神经网络操作的基本信息处理单位,是神经网络设计的基础。人工神经元模型可以看成是由三种基本元素组成：(1)一组连接连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制。(2)一个加法器用于求输入信号对神经元的相应突触加权之和。(3)一个激活函数用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。

7/29/202314第14页，课件共36页，创作于2023年2月1.1.2人工神经元模型x1x2xmwi1wmkwi2...∑...

f()bk输入信号连接权求和uk输出激活函数阈值k7/29/202315第15页，课件共36页，创作于2023年2月1.1.2人工神经元模型一个神经元可以用以下公式表示：7/29/202316第16页，课件共36页，创作于2023年2月1.1.2人工神经元模型激活函数主要的三种形式：阶梯函数f(u)u17/29/202317第17页，课件共36页，创作于2023年2月1.1.2人工神经元模型分段线性函数f(u)u1-17/29/202318第18页，课件共36页，创作于2023年2月1.1.2人工神经元模型非线性函数单极S型函数双极S型函数7/29/202319第19页，课件共36页，创作于2023年2月1.1.3神经网络的结构及工作方式人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式根据神经元的不同连接方式，可将神经网络分为两大类：分层网络相互连接型网络7/29/202320第20页，课件共36页，创作于2023年2月1.1.3神经网络的结构及工作方式分层网络单纯的前向网络7/29/202321第21页，课件共36页，创作于2023年2月1.1.3神经网络的结构及工作方式分层网络具有反馈的前向网络7/29/202322第22页，课件共36页，创作于2023年2月1.1.3神经网络的结构及工作方式分层网络层内互联的前向网络7/29/202323第23页，课件共36页，创作于2023年2月1.1.3神经网络的结构及工作方式相互连接型网络7/29/202324第24页，课件共36页，创作于2023年2月1.1.4神经网络的学习学习方式有导师学习（有监督学习）无导师学习（无监督学习）再励学习7/29/202325第25页，课件共36页，创作于2023年2月1.1.4神经网络的学习学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。算法分类Hebb学习算法学习算法随机学习算法竞争学习算法7/29/202326第26页，课件共36页，创作于2023年2月1.1.4神经网络的学习Hebb学习算法由DonaldO.Hebb提出。如果两个神经元同时兴奋，则它们之间的突触连接加强。如果神经元是神经元的上层结点，用分别表示两神经元的激活值(输出)，表示两个神经元之间的连接权，则Hebb学习规则可以表示为:

式中表示学习速率Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形7/29/202327第27页，课件共36页，创作于2023年2月1.1.4神经网络的学习学习算法误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习权值调整公式：调整目标是使下述公式所表达的误差为最小7/29/202328第28页，课件共36页，创作于2023年2月1.1.4神经网络的学习随机学习算法误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。经典随机学习算法模拟退化算法遗传算法。7/29/202329第29页，课件共36页，创作于2023年2月1.1.4神经网络的学习竞争学习算法竞争学习属于无导师算法神经元通过互相竞争来做出不同的响应竞争获胜的神经元按规则修正权值经典竞争学习神经网络自组织特征映射网络(Self-OrganizationMap，SOM)自适应共振网络(AdaptiveResonaceTheory，ART)

7/29/202330第30页，课件共36页，创作于2023年2月1.2神经网络的特点及其应用神经网络的特点不确定、模糊及数学建模困难并行分布式处理非线性处理具有自学习功能神经网络可采用硬件实现7/29/202331第31页，课件共36页，创作于2023年2月1.2神经网络的特点及其应用神经网络的应用领域语音识别语音识别娃娃图像识别与理解人脸检测7/29/202332第32页，课件共36页，创作于2023年2月1.2神经网络的特点及其应用神经网络的应用领域机器人智能故障检测医学应用医学图像处理7/29/202333第33页，课件共36页，创作于2023年2月神经网络的应用领域国防军事应用航天