第四章 神经网络的基本理论

1、1 第四章第四章 神经网络的基本理论神经网络的基本理论 2 模糊控制模糊控制从从人的经验出发，解决了智能控制中人类语言的描述和人的经验出发，解决了智能控制中人类语言的描述和 推理问题，推理问题，尤其是一些不确定性语言的描述和推理问题，从而在尤其是一些不确定性语言的描述和推理问题，从而在 机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。 模糊控制在处理数值数据、自学习能力等方面还远没有达到人模糊控制在处理数值数据、自学习能力等方面还远没有达到人 脑的境界。人工神经网络从另一个角度出发，即脑的境界。人工神经网络从另一个角度出发，即从人

2、脑的生理学从人脑的生理学 和心理学着手和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分，通过人工模拟人脑的工作机理来实现机器的部分 智能行为。智能行为。 引言引言 3 什么是人工神经网络？什么是人工神经网络？ v 人工神经网络的提出人工神经网络的提出 n 人工神经网络是对人类大脑系统若干基本特性的一种描述。人工神经网络是对人类大脑系统若干基本特性的一种描述。 简单简单 地讲，地讲， 它是一个数学模型，它是一个数学模型， 可以用电子线路来实现，可以用电子线路来实现， 也可以用计也可以用计 算机程序来模拟，是人工智能研究的一种方法。算机程序来模拟，是人工智能研究的一种方法。 n 人工智能最

3、初是在人工智能最初是在1956年被引入的。年被引入的。 它研究怎样让计算机模仿人它研究怎样让计算机模仿人 脑从事推理、设计、思考、学习等思维活动，脑从事推理、设计、思考、学习等思维活动， 以解决和处理较复以解决和处理较复 杂的问题。杂的问题。 简单地来说，人工智能就是研究如何让计算机模仿人简单地来说，人工智能就是研究如何让计算机模仿人 脑进行工作。脑进行工作。 n 研究人工智能的目的归纳为两个方面研究人工智能的目的归纳为两个方面 n 增加人类探索世界、推动社会前进的能力增加人类探索世界、推动社会前进的能力 n 进一步认识自己进一步认识自己 n 人工智能的不同学派人工智能的不同学派 n 符号主义

4、符号主义 n 连接主义连接主义 n 行为主义行为主义 4 什么是人工神经网络？什么是人工神经网络？ v 符号主义符号主义 NewellNewell和和SimonSimon假说假说 ：一个物理系统表现智能行为的充要条件是它有一：一个物理系统表现智能行为的充要条件是它有一 个物理符号系统个物理符号系统 人们希望通过抽象，人们希望通过抽象， 用一系列物理符号及其相应的组成规则，用一系列物理符号及其相应的组成规则， 来表达一来表达一 个物理系统的存在和运行。个物理系统的存在和运行。 困难困难 抽象抽象舍弃一些特性，同时保留一些特性舍弃一些特性，同时保留一些特性 形式化处理形式化处理用物理符号及相应规则

5、表达物理系统的存在和运行。用物理符号及相应规则表达物理系统的存在和运行。 一方面会导致面目全非，另一方面可能会因为过于复杂等问题，使得一方面会导致面目全非，另一方面可能会因为过于复杂等问题，使得 系统难以具有良好的结构。系统难以具有良好的结构。 局限局限 对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难对全局性判断、模糊信息处理、多粒度的视觉信息处理等是非常困难 的。的。 5 什么是人工神经网络？什么是人工神经网络？ v 连接主义连接主义 核心核心智能的本质是联接机制。智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自神经网络是一个由大量简单的

6、处理单元组成的高度复杂的大规模非线性自 适应系统适应系统 ANNANN力求从四个方面去模拟人脑的智能行为力求从四个方面去模拟人脑的智能行为 物理结构物理结构 计算模拟计算模拟 存储与操作存储与操作 训练训练 6 什么是人工神经网络？什么是人工神经网络？ v 行为主义行为主义 认为人工智能源于控制论认为人工智能源于控制论 维纳维纳(Wiener)(Wiener)和麦克洛克和麦克洛克(McCulloch)(McCulloch)等人提出的控制论和自组织系统等人提出的控制论和自组织系统 以及钱学森等人提出的工程控制论和生物控制论，影响了许多领域以及钱学森等人提出的工程控制论和生物控制论，影响了许多领域

7、 控制论把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联控制论把神经系统的工作原理与信息理论、控制理论、逻辑以及计算机联 系起来。早期的研究工作重点是模拟人在控制过程中的智能行为和作用，系起来。早期的研究工作重点是模拟人在控制过程中的智能行为和作用， 如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究，并如对自寻优、自适应、自镇定、自组织和自学习等控制论系统的研究，并 进行进行“控制论动物控制论动物”的研制的研制 到到2020世纪世纪60706070年代，上述这些控制论系统的研究取得一定进展，播下智年代，上述这些控制论系统的研究取得一定进展，播下智 能控制和智能机器人的种子

8、，并在能控制和智能机器人的种子，并在2020世纪世纪8080年代诞生了智能控制和智能年代诞生了智能控制和智能 机器人系统。行为主义是机器人系统。行为主义是2020世纪末才以人工智能新学派的面孔出现的，世纪末才以人工智能新学派的面孔出现的， 引起许多人的兴趣。这一学派的代表作者首推布鲁克斯引起许多人的兴趣。这一学派的代表作者首推布鲁克斯(Brooks)(Brooks)的六足行的六足行 走机器人，它被看作是新一代的走机器人，它被看作是新一代的“控制论动物控制论动物”，是一个基于感知，是一个基于感知- -动作动作 模式模拟昆虫行为的控制系统。模式模拟昆虫行为的控制系统。 7 什么是人工神经网络？什么

9、是人工神经网络？ v 人工神经网络的定义人工神经网络的定义 HechtNielsenHechtNielsen（19881988年）年） 人工神经网络是一个人工神经网络是一个并行、分布处理结构并行、分布处理结构，它由处理单元及其，它由处理单元及其 称为联接的无向讯号通道互连而成。这些处理单元（称为联接的无向讯号通道互连而成。这些处理单元（PE Processing Element）具有）具有局部内存局部内存，并可以完成，并可以完成局部操作局部操作。 每个处理单元有一个单一的输出联接，这个输出可以根据需要每个处理单元有一个单一的输出联接，这个输出可以根据需要 被分枝成希望个数的许多被分枝成希望个数

10、的许多并行联接并行联接，且这些并行联接都输出相，且这些并行联接都输出相 同的信号，即相应处理单元的信号，信号的大小不因分支的多同的信号，即相应处理单元的信号，信号的大小不因分支的多 少而变化。处理单元的输出信号可以是少而变化。处理单元的输出信号可以是任何需要的数学模型任何需要的数学模型， 每个处理单元中进行的每个处理单元中进行的操作必须是完全局部的操作必须是完全局部的。也就是说，它。也就是说，它 必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的 当前值和存储在处理单元局部内存中的值。当前值和存储在处理单元局部内存中的值。 8 什么是人

11、工神经网络？什么是人工神经网络？ v 人工神经网络的定义人工神经网络的定义 强调点强调点 并行、分布处理结构；并行、分布处理结构； 一个处理单元的输出可以被任意分枝，且大小不变；一个处理单元的输出可以被任意分枝，且大小不变； 输出信号可以是任意的数学模型；输出信号可以是任意的数学模型； 处理单元完全的局部操作处理单元完全的局部操作。 9 什么是人工神经网络？什么是人工神经网络？ v 人工神经网络的定义人工神经网络的定义 SimpsonSimpson（19871987年）年） 美国国防高级研究计划局美国国防高级研究计划局 简单描述简单描述 人工神经网络是一个人工神经网络是一个非线性非线性的的有向

12、有向图，图中含有可以通过图，图中含有可以通过改变权改变权 大小来存放模式的加权边，并且可以从不完整的或未知的输入找大小来存放模式的加权边，并且可以从不完整的或未知的输入找 到模式。到模式。 人工神经网络是一个由许多简单的并行工作的处理单元组成的系人工神经网络是一个由许多简单的并行工作的处理单元组成的系 统，其功能取决于统，其功能取决于网络的结构网络的结构、连接强度连接强度以及以及各单元的处理方式各单元的处理方式。 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。 10 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工

13、神经网络的特征人工神经网络的特征 结构特征结构特征-并行处理、分布式存储、容错性。并行处理、分布式存储、容错性。 能力特征能力特征-自学习、自组织、自适应自学习、自组织、自适应 神经网络是由大量简单处理元件连接组成的高度并行的非线性系统，具有神经网络是由大量简单处理元件连接组成的高度并行的非线性系统，具有 大规模并行处理特征。虽然每个处理单元的功能十分简单，但大量简单处大规模并行处理特征。虽然每个处理单元的功能十分简单，但大量简单处 理单元的并行活动使网络呈现出丰富的功能。结构上的并行性使神经网络理单元的并行活动使网络呈现出丰富的功能。结构上的并行性使神经网络 的信息存储必然采取分布式方式，即

14、信息不是存储在网络的某个局部，而的信息存储必然采取分布式方式，即信息不是存储在网络的某个局部，而 是分布在网络所有的连接权中。这两个特点使神经网络表现出良好的容错是分布在网络所有的连接权中。这两个特点使神经网络表现出良好的容错 性。当部分神经元损坏时不对系统整体性能造成影响。当输出模糊、残缺性。当部分神经元损坏时不对系统整体性能造成影响。当输出模糊、残缺 或变形时，神经网络通过联想恢复完整的记忆。或变形时，神经网络通过联想恢复完整的记忆。 自适应性包含自学习与自组织两层含义：自学习是指当外界环境发生变化自适应性包含自学习与自组织两层含义：自学习是指当外界环境发生变化 时，经过一段时间的训练或感

15、知，神经能过自动调整网络参数，使得对于时，经过一段时间的训练或感知，神经能过自动调整网络参数，使得对于 给定输入能产生期望的输出。给定输入能产生期望的输出。 自组织是指神经系统能在外部刺激下按一定自组织是指神经系统能在外部刺激下按一定 规则调整神经元之间的突触连接，逐渐建立起神经网络规则调整神经元之间的突触连接，逐渐建立起神经网络。 11 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工神经网络的功能人工神经网络的功能 联想记忆联想记忆 由于神经网络具有分布存储信息和并行处理信息的特点，因此它由于神经网络具有分布存储信息和并行处理信息的特点，因此它 具有对外界刺激信息和输入模式进行联

16、想记忆的能力。这种能力具有对外界刺激信息和输入模式进行联想记忆的能力。这种能力 通过神经元之间的协同结构以及信息处理的集体行为而实现。通过神经元之间的协同结构以及信息处理的集体行为而实现。 12 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工神经网络的功能人工神经网络的功能 非线性映射非线性映射 输输入入样样本本 神神经经网网络络 输输出出样样本本 自自动动提提取取 非非线线性性映映射射规规则则 设计合理的神经网络通过对系统输入输出样本对进行自动学习，设计合理的神经网络通过对系统输入输出样本对进行自动学习， 能够以任意精度逼近任意复杂的非线性映射。能够以任意精度逼近任意复杂的非线性

17、映射。 13 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工神经网络功能人工神经网络功能 分类与识别分类与识别 传传统统分分类类能能力力 ANN 分分类类能能力力 对输入样本的分类是在样本空间找出符合分类要求的分割区域，对输入样本的分类是在样本空间找出符合分类要求的分割区域， 每个区域内的样本属于一类。每个区域内的样本属于一类。 14 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工神经网络功能人工神经网络功能 优化计算优化计算 优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组 合确定的目标函数达到最小。

18、可以把待求解问题的可变参数设计为合确定的目标函数达到最小。可以把待求解问题的可变参数设计为 网络的状态，将目标函数设计为网络的能量函数，从而稳定状态就网络的状态，将目标函数设计为网络的能量函数，从而稳定状态就 是问题的最优解。是问题的最优解。 15 人工神经网络的特征与功能人工神经网络的特征与功能 v 人工神经网络功能人工神经网络功能 知识处理知识处理 问问题题解解答答 知知识识分分布布式式表表示示 由由同同一一 知知识识获获取取、知知识识库库 神神经经网网 平平行行推推理理 络络实实现现 输输入入数数据据 变变量量变变换换 求求解解的的问问题题 神神经经网网络络专专家家系系统统的的构构成成

19、神经网络从对象的输入输出神经网络从对象的输入输出 信息中抽取规律而获得关于信息中抽取规律而获得关于 对象的知识，并将知识分布对象的知识，并将知识分布 在网络的连接中予以存储。在网络的连接中予以存储。 神经网络的知识抽取能力使神经网络的知识抽取能力使 其能够在没有任何先验知识其能够在没有任何先验知识 的情况下自动从输入数据中的情况下自动从输入数据中 提取特征，发现规律，并通提取特征，发现规律，并通 过自组织过程将自身构建成过自组织过程将自身构建成 适合于表达所发现的规律适合于表达所发现的规律。 16 人工神经网络的发展历史人工神经网络的发展历史 v 启蒙期启蒙期 19431943年，心理学家年，

20、心理学家McCullochMcCulloch和数学家和数学家PittsPitts建立起了著名的阈值加权和模型，简建立起了著名的阈值加权和模型，简 称为称为M-PM-P模型。发表于数学生物物理学会刊模型。发表于数学生物物理学会刊Bulletin of Mathematical Bulletin of Mathematical BiophysicsBiophysics，开创了神经科学理论研究的新时代。，开创了神经科学理论研究的新时代。 19491949年，心理学家年，心理学家D. O. HebbD. O. Hebb提出神经元之间突触联系是可变的假说提出神经元之间突触联系是可变的假说HebbHebb

21、学学 习律。习律。 v 第一次高潮第一次高潮 1958 1958 年年 Rosenblatt Rosenblatt 在原有在原有 MP MP 模型的基础上增加了学习机制模型的基础上增加了学习机制 。他提出的感知器。他提出的感知器 模型，首次把神经网络理论付诸工程实现模型，首次把神经网络理论付诸工程实现 。Rosenblatt Rosenblatt 证明了两层感知器能够对证明了两层感知器能够对 输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。 Rosenblatt Rosenblatt 的神经网络模型包含

22、了一些现代神经计算机的基本原理，从而形成神的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神 经网络方法和技术的重大突破。神经网络的研究迎来了第一次高潮期。经网络方法和技术的重大突破。神经网络的研究迎来了第一次高潮期。 1960 1960 年年 Widrow Widrow 和和 Hoff Hoff 提出了提出了 ADALINE ADALINE 网络模型网络模型 。这是一种连续取值的自适。这是一种连续取值的自适 应线性神经元网络模型，应线性神经元网络模型， 可以用于自适应系统。可以用于自适应系统。 提出提出Widow- HoffWidow- Hoff训练算法，根训练算法，根 据输出误差

23、来调权值，使得网络输出与期望输出之间的平方差最小。据输出误差来调权值，使得网络输出与期望输出之间的平方差最小。 17 人工神经网络的发展历史人工神经网络的发展历史 v 低潮期低潮期 Minsky Minsky 和和 Papert Papert 对以感知器为代表的网络系统的功能及局限性从数学对以感知器为代表的网络系统的功能及局限性从数学 上做了深入研究，于上做了深入研究，于 1969 1969 年发表了轰动一时年发表了轰动一时 Perceptrons Perceptrons 一书，一书， 指出简单的单层感知器的功能是有限的，指出简单的单层感知器的功能是有限的， 它无法解决线性不可分的两类它无法解

24、决线性不可分的两类 样本的分类问题，样本的分类问题， 如简单的单层感知器不可能实现如简单的单层感知器不可能实现“异或异或” ” 的逻辑关系的逻辑关系 等等 1972 1972 年，有两位学者分别在欧洲和美洲异地发表了类似的神经网络开发年，有两位学者分别在欧洲和美洲异地发表了类似的神经网络开发 结果。一位是芬兰的结果。一位是芬兰的 KohonenKohonen教授，教授， 提出了自组织映射提出了自组织映射 SOMSOM理论；另理论；另 一位是美国的神经生理学家和心理学家一位是美国的神经生理学家和心理学家 Anderson Anderson 提出了一个类似的神提出了一个类似的神 经网络，经网络，

25、称为称为“交互存储器交互存储器”。 1976 1976 年，年， 美国美国 Grossberg Grossberg 教授提出了著名的自适应共振理论教授提出了著名的自适应共振理论ART ART （Adaptive Resonance TheoryAdaptive Resonance Theory），）， 其学习过程具有自组织和自稳定的其学习过程具有自组织和自稳定的 特征。特征。 日本的福岛邦彦（日本的福岛邦彦（ Kunihiko Fukushima Kunihiko Fukushima ）于）于19801980年提出年提出“新认知机新认知机” ” （NeocognitronNeocognitro

26、n）。）。“新认知机新认知机” ” 是视觉模式识别机制模型，是视觉模式识别机制模型， 它与生它与生 物视觉理论相结合物视觉理论相结合 ，目的在于综合出一种神经网络使它像人类一样具有，目的在于综合出一种神经网络使它像人类一样具有 进行模式识别能力。进行模式识别能力。 18 人工神经网络的发展历史人工神经网络的发展历史 v 第二次高潮第二次高潮 19821982年，年，J. HopfieldJ. Hopfield提出提出HopfieldHopfield神经网络，并将神经网络，并将LyapunovLyapunov函数作为函数作为 网络性能判定的能量函数，阐明了人工神经网络与动力学的关系，用非线网络性

27、能判定的能量函数，阐明了人工神经网络与动力学的关系，用非线 性动力学的方法来研究人工神经网络的特性，建立了人工神经网络稳定性性动力学的方法来研究人工神经网络的特性，建立了人工神经网络稳定性 的判别依据。的判别依据。 19841984年，年， J. HopfieldJ. Hopfield设计研制了后来被人们称为设计研制了后来被人们称为HopfieldHopfield网的电路。较网的电路。较 好地解决了著名的好地解决了著名的TSPTSP问题，找到了最佳解的近似解，引起了较大的轰动。问题，找到了最佳解的近似解，引起了较大的轰动。 Hinton Hinton 与与SejnowskiSejnowski等

28、合作提出了大规模并行网络学习机，等合作提出了大规模并行网络学习机， 并明确提出并明确提出 隐单元的概念，隐单元的概念， 这种学习机后来被称为这种学习机后来被称为BoltzmannBoltzmann机。其学习过各采用机。其学习过各采用 模拟退火算法，有效地解决了模拟退火算法，有效地解决了HopfieldHopfield网络存在的能量局部极小问题。网络存在的能量局部极小问题。 1986 1986 年，年， 由由 Rumelhart Rumelhart 和和 McCelland McCelland 主编的有主编的有 16 16 位作者参加撰写的位作者参加撰写的 并行分布式处理并行分布式处理 出版，该

29、书中，他们建立了并行分布处理理论，出版，该书中，他们建立了并行分布处理理论， 主主 要致力于认知的微观研究，要致力于认知的微观研究， 同时对具有非线性连续转移函数的多层前馈同时对具有非线性连续转移函数的多层前馈 网络的误差反向传播算法即网络的误差反向传播算法即 BP BP 算法进行了详尽的分析，算法进行了详尽的分析， 解决了长期以来解决了长期以来 没有权值调整有效算法的难题。没有权值调整有效算法的难题。 19 人工神经网络的发展历史人工神经网络的发展历史 v 新时期新时期 19871987年年6 6月首届国际神经网络学术会议在美国圣地亚哥召开，成立了国际月首届国际神经网络学术会议在美国圣地亚哥

30、召开，成立了国际 神经网络学会，并于神经网络学会，并于19881988年召开了年会。年召开了年会。 会后不久，第一份神经网络杂志会后不久，第一份神经网络杂志Neural NetworkNeural Network创办，创办，19901990年年IEEEIEEE 创办创办IEEE Transactions on Neural NetworkIEEE Transactions on Neural Network 细胞神经网络（细胞神经网络（ CNN CNN ） 模型模型 、双向联想存储模型（、双向联想存储模型（ BAM BAM ）、混沌神）、混沌神 经元模型经元模型 20 人工神经网络的发展历史人

31、工神经网络的发展历史 v 国内发展概况国内发展概况 19801980年涂序彦教授等在出版的年涂序彦教授等在出版的生物控制论生物控制论中将中将“神经系统控制论神经系统控制论” 单独设为一章，系统地介绍了神经元和神经网络的结构、功能和模型。单独设为一章，系统地介绍了神经元和神经网络的结构、功能和模型。 生物物理学家汪云九提出了视觉神经元的广义生物物理学家汪云九提出了视觉神经元的广义 Gabor Gabor 函数模型以及有关函数模型以及有关 立体视觉、立体视觉、 纹理检测、纹理检测、 运动方向检测、超视觉度现象等的计算模型。运动方向检测、超视觉度现象等的计算模型。 我国学者吴佑寿我国学者吴佑寿 廖晓

32、昕廖晓昕戴先中、曹进德戴先中、曹进德 黄德双等对神经网络进行黄德双等对神经网络进行 了大量的研究。了大量的研究。 19901990年由国内年由国内8 8个学会，在北京召开了个学会，在北京召开了“中国神经网络首届学术会议中国神经网络首届学术会议”。 19921992年由国际神经网络学会和年由国际神经网络学会和IEEEIEEE神经网络委员会主办的国际性学术会神经网络委员会主办的国际性学术会 议在北京召开议在北京召开 21 人工神经网络的应用人工神经网络的应用 v 信息处理领域信息处理领域 信号处理信号处理 自适应滤波、时间序列预测、谱估计、非线性预测自适应滤波、时间序列预测、谱估计、非线性预测 模

33、式识别模式识别 手写识别、语音识别手写识别、语音识别 数据压缩数据压缩 对数据提取模式特征，只将特征存储，然后再恢复原始模式对数据提取模式特征，只将特征存储，然后再恢复原始模式 v 自动化领域自动化领域 系统辨识系统辨识 建立被控对象的模型建立被控对象的模型 神经控制器神经控制器 作为控制器对复杂系统进行控制作为控制器对复杂系统进行控制 智能检测智能检测 干扰量的处理、传感器输入输出特性的补偿、量程自动校正干扰量的处理、传感器输入输出特性的补偿、量程自动校正 v 工程领域工程领域 汽车工程汽车工程 学习优秀驾驶员的换档经验、刹车系统实现平稳刹车学习优秀驾驶员的换档经验、刹车系统实现平稳刹车 军

34、事工程军事工程 红外搜索与跟踪飞行器、水下目标识别红外搜索与跟踪飞行器、水下目标识别 化学工程化学工程 判定化学反应的生成物、某些化合物与生物活性的对应关系判定化学反应的生成物、某些化合物与生物活性的对应关系 水利工程水利工程 水力发电过程辨识、河川径流预测、水质分类水力发电过程辨识、河川径流预测、水质分类 22 人工神经网络的应用人工神经网络的应用 v 经济领域经济领域 微观经济领域微观经济领域 企业成本预测模型、销售额预测企业成本预测模型、销售额预测 宏观经济领域宏观经济领域 国民经济参数的测算、通货膨胀率预测国民经济参数的测算、通货膨胀率预测 证券市场证券市场 盈利水平的未来走向预测盈利

35、水平的未来走向预测 金融领域金融领域 贷款申请人的信用等级评价、破产风险分析贷款申请人的信用等级评价、破产风险分析 社会经济发展评价和辅助决策社会经济发展评价和辅助决策 产业竞争力评价、可持续发展评产业竞争力评价、可持续发展评 价价 v 医学领域医学领域 检测数据分析检测数据分析 脑电棘波检测癫痫病脑电棘波检测癫痫病 生物活性研究生物活性研究 建立分子结构特征和致癌活性之间的定量关系建立分子结构特征和致癌活性之间的定量关系 医学专家系统医学专家系统 知识表示、获取和并行推理知识表示、获取和并行推理 23 人工神经网络的应用人工神经网络的应用 v 应用实例应用实例1 1 美国海湾沿岸炼油厂利用神

36、经网络增加产品回收率美国海湾沿岸炼油厂利用神经网络增加产品回收率 BP-AmocoBP-Amoco公司得克萨斯城炼油厂原油蒸馏装置加工能力大于公司得克萨斯城炼油厂原油蒸馏装置加工能力大于20002000万吨万吨 / /年，原油经预热，并分割成五股物流：塔顶物流（去蒸汽回收）、石脑年，原油经预热，并分割成五股物流：塔顶物流（去蒸汽回收）、石脑 油、煤油、柴油（主要产品）和塔底物流。装置采用在线分析仪控制迟油、煤油、柴油（主要产品）和塔底物流。装置采用在线分析仪控制迟 后时间长达后时间长达30min30min以上，为此竭力寻求减少物流数据应答时间的办法。以上，为此竭力寻求减少物流数据应答时间的办法

37、。 19961996年起，炼厂使用了年起，炼厂使用了GenSymGenSym公司公司G2G2诊断支持诊断支持(GDA)(GDA)软件和采用软件和采用 GenSymGenSym公司公司Neur-On-LineNeur-On-Line建立的三个神经网络模型，以控制蒸馏过程，建立的三个神经网络模型，以控制蒸馏过程， 神经网络模型的开发可在分析仪不可靠时或价格过于昂贵时用以推断过神经网络模型的开发可在分析仪不可靠时或价格过于昂贵时用以推断过 程物流数据。程物流数据。Neur-On-LineNeur-On-Line模型可提供质量数据的瞬时估算值，它可表模型可提供质量数据的瞬时估算值，它可表 达为馏分的沸

38、点温度。该值然后可用于闭环控制。该先进控制系统用于达为馏分的沸点温度。该值然后可用于闭环控制。该先进控制系统用于 闭环控制的投用率大于闭环控制的投用率大于9595，估算回收产品的节约金额超过，估算回收产品的节约金额超过$50$50万万/ /年。年。 24 人工神经网络的应用人工神经网络的应用 v 应用实例应用实例2 2 赛门铁克公司宣布将赛门铁克公司宣布将IBM的专利技术的专利技术 - 神经网络启动监测技术集成到神经网络启动监测技术集成到 NortonAntiVirus产品之中。这一神经网络技术利用人工智能监测启动产品之中。这一神经网络技术利用人工智能监测启动 性病毒，补充了赛门铁克创新的性病

39、毒，补充了赛门铁克创新的Bloodhound启发式技术，该技术通过启发式技术，该技术通过 专家系统确认类似病毒行为，以达到监测启动病毒的目的。专家系统确认类似病毒行为，以达到监测启动病毒的目的。 IBM的神经的神经 网络启动监测技术通过模仿人的神经细胞来区分被病毒感染和未感染的网络启动监测技术通过模仿人的神经细胞来区分被病毒感染和未感染的 电脑启动记录，因而该技术提供了更全面的安全保护。神经网络接受许电脑启动记录，因而该技术提供了更全面的安全保护。神经网络接受许 多病毒和非病毒的样本，因而学会了辨认病毒。多病毒和非病毒的样本，因而学会了辨认病毒。 25 生物神经元生物神经元 v 生物神经元结构

40、生物神经元结构 神经元是大脑处理信息的基本单元神经元是大脑处理信息的基本单元 人脑大约由人脑大约由101011 11个神经元组成，神经元互相连接成神经网络 个神经元组成，神经元互相连接成神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神 经细胞，其形状很像一棵枯树的枝干经细胞，其形状很像一棵枯树的枝干 主要由细胞体（主要由细胞体（ Cell bodyCell body ）、树突（）、树突（ DendriteDendrite ）、轴突（）、轴突（ AxonAxon ）和）和 突触（突触（SynapseSyna

41、pse，又称神经键）组成，又称神经键）组成 26 生物神经元生物神经元 v 细胞体：由细胞核、细胞质和细胞膜等组成。细胞体：由细胞核、细胞质和细胞膜等组成。 v 树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经树突：胞体上短而多分枝的突起。相当于神经元的输入端，接收传入的神经 冲动。冲动。 v 轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经轴突：胞体上最长枝的突起，也称神经纤维。端部有很多神经末稍传出神经 冲动。相当于神经元的输出端。冲动。相当于神经元的输出端。 v 突触：神经元间的连接接口，每个神经元约有突触：神经元间的连接接口，每个神经元约有1 1万万

42、1010万个突触。神经元通过万个突触。神经元通过 其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由其轴突的神经末稍，经突触与另一神经元的树突联接，实现信息的传递。由 于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为于突触的信息传递特性是可变的，形成了神经元间联接的柔性，称为结构的结构的 可塑性可塑性。 v 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋，细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，能产生兴奋， 此时，细胞膜内外有电位差，称膜电位。电位膜内为正，膜外为负。此时，细胞膜内外有电位差，称膜电位。电位膜内为正，膜外为负。 27

43、生物神经元生物神经元 n 突触的信息处理突触的信息处理 n 生物神经元传递信息的过程为多输入、单输出；生物神经元传递信息的过程为多输入、单输出； n 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近；神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近； n 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后 者产生负突触后电位；者产生负突触后电位； n 当神经元脉冲信号在轴突的末端触及突触前膜时，突触前膜将向突触间隙当神经元脉冲信号在轴突的末端触及突触前膜时，突触前膜将向突触间隙 释放神经传

44、递的化学物质（递质），经突触间隙的液体扩散释放神经传递的化学物质（递质），经突触间隙的液体扩散 ，在突触后，在突触后 膜与受体相结合。据此改变后膜的离子通透性，从而使后膜电位发生变化。膜与受体相结合。据此改变后膜的离子通透性，从而使后膜电位发生变化。 例如，当前膜释放的兴奋性递质使突触后膜的电位超过了某个阈值，后一例如，当前膜释放的兴奋性递质使突触后膜的电位超过了某个阈值，后一 个神经元有神经脉冲输出，从而将前一个神经元的信息传递给了后一个神个神经元有神经脉冲输出，从而将前一个神经元的信息传递给了后一个神 经元。经元。 28 生物神经元生物神经元 n 信息传递功能与特点信息传递功能与特点 n

45、具有时空整合能力具有时空整合能力 n 同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起 的膜电位变化的代数和。的膜电位变化的代数和。 n 各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段 时间内的累积。时间内的累积。 n 不可逆性不可逆性脉冲只从突触前传到突触后，不逆向传递脉冲只从突触前传到突触后，不逆向传递 n 神经纤维传导的速度神经纤维传导的速度脉冲沿神经纤维传递的速度，在脉冲沿神经纤维传递的速度，在1150m1150ms s之之 间间 n 信息传

46、递时延和不应期信息传递时延和不应期一般为一般为0.30.3lmslms n 可塑性可塑性突触传递信息的强度是可变的，即具有学习功能突触传递信息的强度是可变的，即具有学习功能 n 存在学习、遗忘或疲劳（饱和）效应存在学习、遗忘或疲劳（饱和）效应对应突触传递作用增强、减弱和对应突触传递作用增强、减弱和 饱和饱和 29 生物神经元生物神经元 n 生物神经网络生物神经网络 n 由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。 它是一种更为灵巧、复杂的生物信息处理系统。它是一种更为灵巧、复杂的生物信息处理系统。 n 生物神经

47、网络的功能不是单个神经元信息处理功能的简单叠加。生物神经网络的功能不是单个神经元信息处理功能的简单叠加。 n 神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网 络在宏观呈现出千变万化的复杂的信息处理能力。络在宏观呈现出千变万化的复杂的信息处理能力。 30 轴突功能是将本神经元的输出信号轴突功能是将本神经元的输出信号(兴奋兴奋)传递给别的神经元，传递给别的神经元， 其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。 生物神经元生物神经元 树突的功能是接受来自其

48、它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。 神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输 出。出。 神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经元的轴突与另外神经元神经末梢相连的部分称为突触。 31 细胞体 突 触 轴突 树 突 图12.2 生物神经元功能模型 输 入 输 出 信息处理 电脉冲 形成 传输 生物神经元生物神经元 32 神经网络简介神经网络简介 v神经网络是什么？神经网络是什么？ 神经网络是神经网络是一个高度非线性动力学系神经网络是神经网络是一个高度非线性动力学系 统。基础在于生物神经元。

49、统。基础在于生物神经元。 1 x 2 x n x 1 2 n u () y 33 人工神经网络是在结构和功能上对生物神经网络的某人工神经网络是在结构和功能上对生物神经网络的某 种程度的模拟和逼近。种程度的模拟和逼近。 v 直观理解直观理解 神经网络是一个并行和分布式的信息处理网络结神经网络是一个并行和分布式的信息处理网络结 构构 它一般由大量神经元组成它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其每个神经元只有一个输出，可以连接到很多其 他的神经元他的神经元 每个神经元输入有多个连接通道，每个连接通每个神经元输入有多个连接通道，每个连接通 道对应于一个连接权系数道对应于一个连

50、接权系数 神经网络简介神经网络简介 34 人工神经元模型人工神经元模型 v 神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应 首先模拟生物神经元首先模拟生物神经元 人工神经元（节点）人工神经元（节点） v 从三个方面进行模拟从三个方面进行模拟: : 节点本身的信息处理能力（数学模型）节点本身的信息处理能力（数学模型） 节点与节点之间连接（拓扑结构）节点与节点之间连接（拓扑结构） 相互连接的强度（通过学习来调整）相互连接的强度（通过学习来调整） 决定人工神经网络整决定人工神经网络整 体性能的三大要素体性能的三大要素 35 人

51、工神经元模型人工神经元模型 v 人工神经元的建模人工神经元的建模 模型的六点假设模型的六点假设 每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元； 神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型； 神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性； 神经元输入与输出间有固定的时滞神经元输入与输出间有固定的时滞, , 主要取决于突触延搁；主要取决于突触延搁； 忽略时间整合作用和不应期；忽略时间整合作用和不应期； 神经元本身是非时变的，即其突触时延和突触强度均为常数。神经元本身是非时变的，即其突触时

52、延和突触强度均为常数。 1943年心理学家年心理学家McCulloch数学家数学家W. Pitts在分析总结神经元基本特在分析总结神经元基本特 性的基础上提出性的基础上提出M-P模型，经过不断改进形成广泛应用的神经元模型。模型，经过不断改进形成广泛应用的神经元模型。 36 人工神经元模型人工神经元模型 v M-PM-P模型图解模型图解 37 人工神经元模型人工神经元模型 v M-PM-P模型图解模型图解 正如生物神经元有许多激励输入一样，人工神经元也应该有许多的正如生物神经元有许多激励输入一样，人工神经元也应该有许多的 输入信号，图中每个输入的大小用确定数值输入信号，图中每个输入的大小用确定数

53、值xi表示，它们同时输入神表示，它们同时输入神 经元经元j，神经元的单输出用，神经元的单输出用oj表示。表示。 38 人工神经元模型人工神经元模型 v M-PM-P模型图解模型图解 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使生物神经元具有不同的突触性质和突触强度，其对输入的影响是使 有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入 更为重要。图更为重要。图(b)中对神经元的每一个输入都有一个加权系数中对神经元的每一个输入都有一个加权系数wij，称，称 为权值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则为

54、权值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则 代表了突触的不同连接强度。代表了突触的不同连接强度。 39 人工神经元模型人工神经元模型 v M-PM-P模型图解模型图解 作为作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定的基本处理单元，必须对全部输入信号进行整合，以确定 各类输入的作用总效果，图各类输入的作用总效果，图(c)表示组合输人信号的表示组合输人信号的“总和值总和值”，相，相 应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平， 即只有当其输入总和超过阈值时即只有当其输入总和超过阈值时, 神经元才

55、被激活而发放脉冲神经元才被激活而发放脉冲, 否则否则 神经元不会产生输出信号。神经元不会产生输出信号。 40 人工神经元模型人工神经元模型 v M-PM-P模型图解模型图解 人工神经元的输出也同生物神经元一样仅有一个，如用人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元表示神经元 输出，则输出与输入之间的对应关系可用图输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数中的某种非线性函数 来表示，这种函数一般都是非线性的。来表示，这种函数一般都是非线性的。 41 人工神经元模型人工神经元模型 v 人工神经元数学模型人工神经元数学模型 n i jiijj txwfo 1

56、)( j 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触连接系数或权重值；的突触连接系数或权重值； f ( )神经元激活函数（活化函数、转移函数）。神经元激活函数（活化函数、转移函数）。 )( i sf j 42 人工神经元模型人工神经元模型 v 人工神经元数学模型人工神经元数学模型 如果把阈值如果把阈值j看作为一个特殊的权值，则可改写为看作为一个特殊的权值，则可改写为: n i jiijj txws 1 )( )()(XW T jjj fsfo 设设 1 0 i w j x 0 XWWX T jj T n i iijj xws 0 )( i sf j 43 人工神经元

57、模型人工神经元模型 v 人工神经元数学模型人工神经元数学模型 激活函数激活函数 线性函数线性函数 x o o f (x) = x f (x) = x 神经元的各种不同模型的主要区别在于采用了不同的激活函数，从神经元的各种不同模型的主要区别在于采用了不同的激活函数，从 而使神经元具有不同的信息处理特性。激活函数反映了神经元输出而使神经元具有不同的信息处理特性。激活函数反映了神经元输出 与其激活状态之间的关系。与其激活状态之间的关系。 44 人工神经元模型人工神经元模型 v 人工神经元数学模型人工神经元数学模型 激活函数激活函数 饱和线性函数饱和线性函数 1 if x1/k f (x) = k*x

58、 if |x|1/k -1if x-1/k 1 -1 1/k -1/k x o 45 人工神经元模型人工神经元模型 v 人工神经元数学模型人工神经元数学模型 激活函数激活函数 阈值函数阈值函数 if xkif xk f (x) = f (x) = - - if xkif x3维空间上的线性可分集合，一维空间上的线性可分集合，一 定可找到一超平面，将输入模式分为两类。定可找到一超平面，将输入模式分为两类。 由由n输入输入/单输出的单层感知器实现。单输出的单层感知器实现。 0 w 1 0 u y 1 w 3 w 2 w 3 2 1 u u u 2 u 1 u 0 w 72 感知器感知器 v 线性不

59、可分集合线性不可分集合 二维平面上的两类模式二维平面上的两类模式异或（异或（XOR）问题）问题，见表。，见表。 二维平面中不存在一条直线，将输入模式分为两类，此输入模式称二维平面中不存在一条直线，将输入模式分为两类，此输入模式称线性不线性不 可分集合可分集合，见图。，见图。可见可见：单层感知器不能解决：单层感知器不能解决异或问题异或问题。 73 感知器感知器 v 线性不可分集合线性不可分集合 在输入和输出层间加在输入和输出层间加一一 或或多层隐单元多层隐单元，构成构成多层感知器（多层前馈神经网络）多层感知器（多层前馈神经网络） 加一层隐节点（单元）为三层网络，可加一层隐节点（单元）为三层网络，

60、可 解决异或（解决异或（XOR ）问题）问题 ，见图。，见图。 由输入),( 21 uuu得到两个隐节点、一个输出层节点的输出： 1212 1 111 1 1 uwuwfz 2222 1 121 1 2 uwuwfz 22 2 11 2 zwzwfy 0,0 0, 1 f 得到 1212 1 111 1 1212 1 111 1 1 ,0 , 1 uwuw uwuw z ， 2222 1 121 1 2222 1 121 1 2 ,0 , 1 uwuw uwuw z 22 2 11 2 22 2 11 2 ,0 , 1 zwzw zwzw y 74 设网络有如下一组权值和阈值，可得各节点的输出