人工神经网络实用教程人工神经网络

1、人工神经网络实用教程人工神经网络第1页，共36页，2022年，5月20日，11点5分，星期日 主讲：蒋世忠 信息工程图像处理教研室第2页，共36页，2022年，5月20日，11点5分，星期日8/30/20222教材书名：神经网络实用教程出版社：机械工业出版社出版日期：2008年2月作者：张良均 曹晶 蒋世忠第3页，共36页，2022年，5月20日，11点5分，星期日8/30/20223第4页，共36页，2022年，5月20日，11点5分，星期日8/30/20224课件、实验及学习支持网站1、智能中国网： 2、神经网络在线： 第5页，共36页，2022年，5月20日，11点5分，星期日8/30/

2、20225课件、实验及学习支持网站神经网络学习网站智能中国网论坛我的教学博客我的专业博客MATLAB中文论坛神经网络参考书籍：神经网络入门教程第6页，共36页，2022年，5月20日，11点5分，星期日8/30/20226课程目的和基本要求熟悉人工神经网络的基本理论，应用人工神经网络解决实际应用中的问题。介绍人工神经网络及其基本网络模型了解人工神经网络的有关研究思想，从中学习先行者们的问题求解方法。通过仿真实验进一步体会有关模型的用法和性能，能将其应用到读者各自的领域。掌握混合编程方法，能应用此方法编写实际问题的解决方案。第7页，共36页，2022年，5月20日，11点5分，星期日8/30/2

3、0227第1章人工神经网络第8页，共36页，2022年，5月20日，11点5分，星期日第1章人工神经网络1.1神经网络的基本概念1.2神经网络的特点及应用第9页，共36页，2022年，5月20日，11点5分，星期日8/30/20229 生物神经元的结构与功能特点 生物神经元在结构上由四部分组成:细胞体(Cell body) 树突(Dendrite)轴突(Axon)突触(Synapse) 用来完成神经元间信息的接收、传递和处理。人类大脑皮层约有100亿个神经元，60亿个神经突触以及它们的连接体第10页，共36页，2022年，5月20日，11点5分，星期日8/30/202210第11页，共36页，

4、2022年，5月20日，11点5分，星期日8/30/202211神经纤维传导演示神经纤维上的传导突触间的传导第12页，共36页，2022年，5月20日，11点5分，星期日8/30/202212生物神经元的结构与功能特点人脑与计算机信息处理比较：记忆与联想能力学习与认知能力信息加工能力信息综合能力信息处理速度 第13页，共36页，2022年，5月20日，11点5分，星期日8/30/202213人工神经元模型人工神经元是人工神经网络操作的基本信息处理单位,是神经网络设计的基础。人工神经元模型可以看成是由三种基本元素组成：(1)一组连接 连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值

5、为正表示激活，权值为负表示抑制。(2)一个加法器 用于求输入信号对神经元的相应突触加权之和。(3)一个激活函数 用来限制神经元输出振幅。激活函数也称为压制函数，因为它将输入信号压制(限制)到允许范围之内的一定值。 另外，可以给一个神经元模型加一个外部偏置，其作用是增加或降低激活函数的网络输入。 第14页，共36页，2022年，5月20日，11点5分，星期日8/30/2022141.1.2人工神经元模型x1x2xmwi1wmkwi2. f()bk输入信号连接权求和uk输出激活函数阈值k第15页，共36页，2022年，5月20日，11点5分，星期日8/30/2022151.1.2人工神经元模型一个

6、神经元可以用以下公式表示：第16页，共36页，2022年，5月20日，11点5分，星期日8/30/2022161.1.2人工神经元模型激活函数主要的三种形式：阶梯函数f(u)u1第17页，共36页，2022年，5月20日，11点5分，星期日8/30/2022171.1.2人工神经元模型分段线性函数f(u)u1-1第18页，共36页，2022年，5月20日，11点5分，星期日8/30/2022181.1.2人工神经元模型非线性函数单极S型函数双极S型函数第19页，共36页，2022年，5月20日，11点5分，星期日8/30/202219神经网络的结构及工作方式人工神经网络是一个由许多简单的并行工

7、作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式根据神经元的不同连接方式，可将神经网络分为两大类：分层网络相互连接型网络 第20页，共36页，2022年，5月20日，11点5分，星期日8/30/202220神经网络的结构及工作方式分层网络单纯的前向网络第21页，共36页，2022年，5月20日，11点5分，星期日8/30/202221神经网络的结构及工作方式分层网络具有反馈的前向网络 第22页，共36页，2022年，5月20日，11点5分，星期日8/30/202222神经网络的结构及工作方式分层网络层内互联的前向网络第23页，共36页，2022年，5月20日，11点

8、5分，星期日8/30/202223神经网络的结构及工作方式相互连接型网络 第24页，共36页，2022年，5月20日，11点5分，星期日8/30/2022241.1.4 神经网络的学习学习方式有导师学习（有监督学习）无导师学习（无监督学习）再励学习第25页，共36页，2022年，5月20日，11点5分，星期日8/30/2022251.1.4 神经网络的学习学习算法：学习算法是指针对学习问题的明确规则，不同的学习算法对神经元的权值调整的表达式是不同的。算法分类Hebb学习算法 学习算法随机学习算法竞争学习算法第26页，共36页，2022年，5月20日，11点5分，星期日8/30/2022261.

9、1.4 神经网络的学习Hebb学习算法由Donald O. Hebb提出。如果两个神经元同时兴奋，则它们之间的突触连接加强。如果神经元 是神经元 的上层结点，用 分别表示两神经元的激活值(输出)， 表示两个神经元之间的连接权，则Hebb学习规则可以表示为: 式中 表示学习速率Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形第27页，共36页，2022年，5月20日，11点5分，星期日8/30/2022271.1.4 神经网络的学习 学习算法误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习 权值调整公式：调

10、整目标是使下述公式所表达的误差为最小第28页，共36页，2022年，5月20日，11点5分，星期日8/30/2022281.1.4 神经网络的学习随机学习算法误差学习算法通常采用梯度下降法，因此存在局部最小问题，随机学习算法通过引入不稳定因子来处理这种情况。经典随机学习算法模拟退化算法遗传算法。 第29页，共36页，2022年，5月20日，11点5分，星期日8/30/2022291.1.4 神经网络的学习竞争学习算法竞争学习属于无导师算法 神经元通过互相竞争来做出不同的响应竞争获胜的神经元按规则修正权值经典竞争学习神经网络自组织特征映射网络(Self-Organization Map，SOM)

11、自适应共振网络(Adaptive Resonace Theory，ART) 第30页，共36页，2022年，5月20日，11点5分，星期日8/30/2022301.2 神经网络的特点及其应用神经网络的特点 不确定、模糊及数学建模困难并行分布式处理 非线性处理 具有自学习功能 神经网络可采用硬件实现 第31页，共36页，2022年，5月20日，11点5分，星期日8/30/2022311.2 神经网络的特点及其应用神经网络的应用领域 语音识别语音识别娃娃图像识别与理解人脸检测第32页，共36页，2022年，5月20日，11点5分，星期日8/30/2022321.2 神经网络的特点及其应用神经网络的应用领域机器人智能故障检测医学应用医学图像处理第33页，共36页，2022年，5月20日，11点5分，星期日8/30/202233神经网络的应用领域国防军事应用航天器姿态控制导弹的智能引导 第34页，共36