人工神经网络与仿真实例课件

合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 一 主要内容 人工神经网络简介人工神经网络发展历史人工神经网络模型人工神经网络的分类及学习规则人工神经网络的信息处理能力人工神经网络的应用人工智能与人工神经网络 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1 1人工神经网络简介 智能智能就是智慧和能力 是个体有目的的行为 合理的思维以及有效的适应环境的综合性能力 经过数万年的演化 大自然中的各种生物均具有智能 作为万物之灵的人 不仅具有智能 而且还能够智慧地制造各种工具来延伸和拓展自身的能力 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 沙蚁 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 人类不能感受到红外线 但响尾蛇的红外探测器可以探测到几米外的老鼠 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 智能 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 人工智能 通过对人类智力活动奥秘的探索与记忆思维机理的研究 来开发人类智力活动的潜能 探讨用各种机器模拟人类智能的途径 使人类的智能得以物化与延伸 产生了一门学科 即所谓的人工智能 人工智能 ArtificialIntelligence AI 在20世纪90年代 人工智能的符号主义 连接主义和行为主义三种方法并存 连接主义 人工神经网络 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 计算智能 近年来 借鉴仿生学思想 基于生物体系的生物进化 细胞免疫 神经细胞网络等某些机制 用数学语言抽象描述的计算方法 来模仿生物体系和人类的智能机制 产生了所谓的计算智能计算智能 ComputationalIntelligence CI 软计算 SoftComputing SC 人工神经网络 模糊集理论 FuzzySet FS 进化计算 EvolutionaryComputation EC 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 有关智能的研究基础上出现了诸如 智能设计 智能制造 智能检测 智能监控 智能控制 智能交通等等应用智能的研究方向 智能无处不在 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images Ibelievethatunderstandingintelligenceinvolvesunderstandinghowknowledgeisacquired represented andstored howintelligentbehaviorisgeneratedandlearned howmotives andemotions andprioritiesaredevelopedandused howsensorysignalsaretransformedintosymbols howsymbolsaremanipulatedtoperformlogic toreasonaboutthepast andplanforthefuture andhowthemechanismsofintelligenceproducethephenomenaofillusion belief hope fear anddreams andyesevenkindnessandlove Tounderstandthesefunctionsatafundamentallevel Ibelieve wouldbeascientificachievementonthescaleofnuclearphysics relativity andmoleculargenetics JamesAlbus ResponsetoHenryHexmoor fromURL http tommy jsc nasa gov er er6 mrl papers symposium albus txtFebruary13 1995 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 我认为 理解智能包括 知识如何获取 表达和存储 智能行为如何产生和学习 动机 情感和优先权如何发展和运用 传感器信号如何转换成各种符号 怎样利用各种符号执行逻辑运算 对过去进行推理及对未来进行规划 智能机制如何产生幻觉 信念 希望 畏惧 梦幻甚至善良和爱情等现象 我相信 对上述内容有一个根本的理解将会成为与拥有原子物理 相对论和分子遗传学等级相当的科学成就 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 智能信息处理 人类在不断地进步 社会在不断地发展 这一方面受人的好奇心驱动 人具有探索自然规律 了解未知世界 探索自身奥妙的内动力 另一方面人具有生存和提高生活质量的需求 受这两方面原动力的驱动 人类不断地研究新的方法和技术 不断地研制各种工具 仪器和机器 来延伸 拓展和增强自身的各种能力 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 智能信息处理 人类所处的客观环境 所面对的客观世界是变化的 发展的 是浩瀚无垠的 人类的知识虽然在不断丰富 不断更新 但是相对客观环境 客观世界 始终是不完全的 不可靠的 不精确的 不一致的和不确定的 人类正是用这不精确的 不完美的知识 不断地 逐步地了解了客观世界 提高了生活质量 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 智能信息处理 人工智能 人工神经网络 进化计算 模糊系统理论等等都是人类在对客观世界 人类自身现有认识的基础上所产生的新的方法和理论 是人类进一步探索自然规律 了解未知世界 探索自身奥妙 提高生活质量的各种工具 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 智能信息处理 智能信息处理就是将不完全的 不可靠的 不精确的 不一致的和不确定的知识和信息逐步 逐步变得完全 可靠 精确 一致和确定的过程和方法 就是利用对不精确性 不确定性的容忍来达到问题的可处理性和鲁棒性 智能信息处理的对象及方法均具有多样性 复杂性和综合性的特点 智能信息处理涉及到信息科学的多个领域 是现代信号处理 人工神经网络 模糊系统理论 进化计算 包括人工智能等等理论和方法的综合应用 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 人工神经网络 亦称为神经网络 NeuralNetworks NN 是由大量处理单元 神经元Neurons 广泛互连而成的网络 是对人脑的抽象 简化和模拟 反映人脑的基本特性 人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为 模拟人脑信息处理的功能 它是根植于神经科学 数学 统计学 物理学 计算机科学及工程等学科的一种技术 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 是由简单的处理单元所组成的大量并行分布的处理机 这种处理机具有存储和应用经验知识的自然特性 它与人脑的相似之处概括为两个方面 一是通过学习过程利用神经网络从外部环境中获取知识 二是内部神经元 突触权值 用来存储获取的知识信息 人工神经网络 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络与电子计算机 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 图灵 英国数学家 1912年6月23日出生于伦敦Westminster区 1931年进入剑桥大学King sCollege攻读数学 毕业学位考试第一 获Wrangler荣誉称号 学位论文 TheCentralLimitTheoremofProbability 获 SmithPrize 毕业后到美国普林斯顿大学攻读博士学位 1936年发表了著名论文 OnComputableNumberswithanApplicationtotheEntscheidungsProblem 该文回答了 计算机 到底是怎样的 如何进行计算和工作 提出了计算模型 图灵机 TuringMachine AlanMathisonTuring 1912 1954 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1938年获博士学位 博士论文 SystemsofLogicBasedonOrdinals 1939年在英国外交部科研机构工作 二战期间用继电器做成 Bombe 协助军方破解德国的著名密码系统Enigma 战后被受勋 OfficerOrderoftheBritishEmpire 战后到英国国家物理实验室 NationalPhysicalLab NPL 设计和建造电子计算机 AutomaticComputingEngine ACE 1948年离开NPL 到曼彻斯特大学新成立的RoyalSocietyComputingLab 1948年6月开发出被称为世界上第一台存储程序式计算机MarkI 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1950年10月发表论文 ComputingMachineryandIntelligence 认为计算机可以具有智能 并提出了一种用于判定机器是否具有智能的试验方法 即图灵试验 TuringTest 1951年当选英国皇家学会院士 1952年图灵被法院指控行为 极端不当 1954年6月7日 图灵服食浸过氰化物溶液的苹果 自杀 享年42岁 Thinkingiscomputing 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1966年美国计算机协会设立计算机界的第一奖项 图灵奖 被称为 计算机界的诺贝尔奖 ACM AssociationforComputingMachineryIEEEComputerSociety 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images JohnvonNeumann 1903 1957 20世纪最杰出的数学家之一 于1945年提出了 程序内存式 计算机的设计思想 这一卓越的思想为电子计算机的逻辑结构设计奠定了基础 已成为计算机设计的基本原则 由于他在计算机逻辑结构设计上的伟大贡献 他被誉为 计算机之父 诺伊曼于1903年出生于匈牙利的布达佩斯 他是一个数字神童 11岁时已显示出数学天赋 12岁的诺伊曼就对集合论 泛函分析等深奥的数学领域了如指掌 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 青年时期 诺伊曼师从于著名数学家希尔伯特 在获得数学博士之后 不满30岁成为美国普林斯顿大学的第一批终身教授 诺伊曼不仅是个数学天才 在其他领域也大有建树 他精通七种语言 在化学方面也有相当的造诣 更为难得的是 他并不仅仅局限于纯数学上的研究 而是把数学应用到其他学科中去 对经典力学 量子力学和流体力学的数学基础进行过深入的研究 并获得重大成果 诺伊曼具备了坚实的数理基础 和广博的知识 为他后来从事计算机逻辑设计提供了坚强的后盾 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1944年诺伊曼参加原子弹的研制工作 该工作涉及到极为困难的计算 他所在的洛 斯阿拉莫斯实验室为此聘用了一百多名女计算员 利用台式计算机从早到晚计算 还是远远不能满足需要 无穷无尽的数字和逻辑指令如同沙漠一样把人的智慧和精力吸尽 被计算机所困扰的诺伊曼在一次极为偶然的机会中知道了ENIAC计算机的研制计划 从此他投身到计算机研制这一宏伟的事业中 建立了一生中最大的丰功伟绩 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1944年夏的一天 正在火车站候车的诺伊曼巧遇戈尔斯坦 并同他进行了短暂的交谈 戈尔斯坦是美国弹道实验室的军方负责人 他正参与ENIAC计算机的研制工作 在交谈在 戈尔斯坦告诉了诺伊曼有关ENIAC的研制情况 具有远见卓识的诺伊曼为这一研制计划所吸引 他意识到了这项工作的深远意义 几天之后 诺伊曼专程来到莫尔学院 参观了尚未竣工的这台庞大的机器 并以其敏锐的眼光 一下子抓住了计算机的灵魂 逻辑结构问题 令ENIAC的研制们敬佩不已 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 因实际工作中对计算的需要以及把数学应用到其他科学问题的强烈愿望 使诺伊曼迅速决定投身到计算机研制者的行列 对业已功成名就的诺伊曼来说 这样做需要极大的勇气 因为这是一个成败未卜的新征途 一旦失败 会影响他已取得的名誉和地位 诺伊曼却以对新事物前途的洞察力 毅然决然地向此征途迈出了第一步 于1944年8月加入莫尔计算机研制小组 为计算机研制翻开了辉煌的一页 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 诺伊曼以其非凡的分析 综合能力及雄厚的数理基础 集众人之长 提出了一系列优秀的设计思想 在他和莫尔小组其他成员的共同努力下 只经历了短短的十个月 人类在数千年中积累起来的科学技术文明 终于结出了最激动人心的智慧之花 一个全新的存储程序通用电子计算机方案 EDVAC方案 诞生了 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 诺伊曼以 关于EDVAC的报告草案 为题 起草了长达101页的总结报告 报告广泛而具体地介绍了制造电子计算机和程序设计的新思想 报告明确规定 EDVAC计算机由计算器 逻辑控制装置 存储器 输入和输出五大部分组成 并阐述了这五大部分的职能和相互关系 这份报告是计算机发展史上一个划时代的文献 它向世界宣告 电子计算机的时代开始了 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1954年6月 诺伊曼到美国普林斯顿高级研究所工作 出任IAS计算机研制小组的主任职位 在那时 他提出了更加完善的设计报告 电子计算装置逻辑结构初探 报告中 诺伊曼对EDVAC中的两大设计思想作了进一步的论证 为计算机的设计树立了一座里程碑 设计思想之一是二进制 他根据电子元件双稳工作的特点 建议在电子计算机中采用二进制 报告提到了二进制的优点 并预言 二进制的采用将大简化机器的逻辑线路 实践证明了诺伊曼预言的正确性 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 程序内存是诺伊曼的另一杰作 通过对ENIAC的考察 诺伊曼敏锐地抓住了它的最大弱点 没有真正的存储器 ENIAC只在20个暂存器 它的程序是外插型的 指令存储在计算机的其它电路中 计算的高速与程序的手工存在着很大的矛盾 针对这个问题 诺伊曼提出了程序内存的思想 把运算程序存在机器的存储器中 这样 就不必每个问题都重新编程 从而大大加快了运算进程 这一思想标志着自动运算的实现 标志着电子计算机的成熟 已成为电子计算机设计的基本原则 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images vonNeumann与神经网络 1949年 VonNeumann在Illinois大学四次讲座的第二次讲座中 阐述了McCulloch Pitts正式的神经网络理论特点 1955年 他应邀去Yale大学进行Silliman讲座 直至1956年 他死于1957年 他未完成的Silliman讲座的手稿于1958年作为一本书被出版 书名为 TheComputerandtheBrain 此书由于涉及了VonNeumann生前所做的工作和他注意到的人脑与计算机的巨大差异 此外 1956年VonNeumann用约简的思想解决了一个在神经网络中特别令人关注的问题 这就是如何用认为是不可靠的神经元来设计一个可靠的网络问题 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络也经常被称为神经计算机 但它与现代数字计算机迥然不同 神经网络的信息存储与处理 计算 是合二为一的 即信息的存储体现在神经元互连的分布上 传统的计算机存储与计算是独立的 因而在存储与计算之间存在着瓶颈 神经网络以大规模模拟计算为主 数字计算机是以串行离散符号处理为主 神经网络具有很强的鲁棒性和容错性 善于联想 概括 类比和推广 任何局部的损伤不会影响整体结果 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 不同之处主要表现为 续 神经网络具有很强的自学习能力 能为新的输入产生合理的输出 可在学习过程之中不断完善自己 具有创新特点 神经网络是一大规模自适应非线性动力系统 具有集体运算的能力 这与本质上是线性系统的现代数字计算机迥然不同 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 人工神经网络是近年来的热点研究领域 涉及到电子科学与技术 信息与通信工程 计算机科学与技术 电气工程 控制科学与技术等诸多学科 其应用领域包括 建模 时间序列分析 模式识别和控制等 并在不断的拓展 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1 2人工神经网络发展历史 该项研究始于二十世纪四十年代 但它的发展经历了一条曲折的道路 至今经历了兴起 萧条和兴盛三个时期 1 2 1兴起阶段1943年 精神病学家和神经解剖学家McCulloch与数学家Pitts在数学生物物理学会刊 BulletinofMathematicalBiophysics 上发表文章 总结了生物神经元的一些基本生理特征 提出了形式神经元的数学描述与结构 即MP模型 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images McCulloch和Pitts描述了一个逻辑微积分的神经网络 这个网络由神经生理学和数学逻辑学习组成 他们定义的神经元的正规模型认为遵循着 全或无 法则 McCulloch和Pitts表明 原则上 拥有了数量众多的简单单元和适当的神经元联接且运行同步的情况下 所构建的网络能计算任何可计算的函数 MP的提出兴起了的NN研究 同时产生了人工智能 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1948年 Wiener所著的著名的 Cybernetics 一书出版 Wiener提出了控制 通信和统计信号处理的重要概念 在学科之间抓住了统计方法的物理意义 NorbertWiener 控制论之父 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1949年 生理学家D O Hebb出版了 TheOrganizationofBehavior 一书 该书第一次鲜明提出了改变神经元连接强度的Hebb规则 特别是 Hebb提出脑中互连信息随着感官学习任务的不同而不断变化 这种变化产生了神经集合 他认为学习过程是在突触 Synapse 上发生的 突触的联系强度随其前后神经元的活动而变化 根据这一假设提出的学习规则为神经网络的学习算法奠定了基础 使神经网络的研究进入了一个重要的发展阶段 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1952年 Ashby所著的 DesignforaBrain TheOriginofAdaptiveBehavior 一书出版 书中论述了自适应行为不是天生的 而是学习的结果这一基本概念 而且通过对动物行为 系统 的学习会有更好的改变 本书还强调了类似机器的生物动态和相关的稳定性概念 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images MarvinLeeMinsky 1927 人工智能之父 和框架理论 frametheory 的创立者 1969年获ACM图灵奖 1989年获MIT授予的Killian奖 1990年获日本政府所设立的 日本奖 1995年获IEEE计算机先驱奖 现在MITMediaLab任职 minsky media mit edu 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 Minsky 1946年入哈佛大学主修物理后改为数学 1950年入普林斯顿大学攻读博士学位 1951年提出了关于思维如何萌发并形成的一些基本理论 并建造了一台名为Snarc的学习机 Snarc是世界上第一个神经网络模拟器 由40个Agents组成 其目的是学习如何穿过迷宫 1954年 Minsky在Princeton大学完成了博士论文 TheoryofNeural AnalogReinforcementSystemsandItsApplicationtotheBrain ModelProblem 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 Minsky 1961年 Minsky写了一篇关于早期AI的优秀论文 题为 StepsTowardArtificialIntelligence 论文的后半部包含了当今神经网络的大部分内容 1967年 Minsky的 Computation FiniteandInfiniteMachines 一书出版 扩展了McCulloch和Pitts1943年的成果 并将其归入自动机和计算理论中 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1954年 通信理论的先驱和全息照相术的发明者Gabor提出了非线性自适应滤波思想 他希望与合作者一起发明一种机器 通过将一个随机过程的样本输入机器中 连同目标函数 实现机器学习 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1957年 Rosenblatt提出感知机 Perceptron 1958年Rosenblatt基于对感知器的研究 提出了解决模式识别问题的新的监督学习方法 并证明了所谓的感知器收敛定理 首次把神经网络的研究付诸工程实践 这是一种学习和自组织的心理学模型 它基本上符合神经生理学的知识 模型的学习环境是有噪声的 网络构造中存在随机连接 这是符合动物学习的自然环境 这种类型的机器显然有可能应用于模式识别 PatternRecognition 联想记忆 AssociativeMemory 等方面 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1960年 Widrow和Hoff引入了最小均方差 LeastMean Square LMS 算法 并用它系统阐明了自适应线性元件 AdaptiveLinearElement 感知器和自适应线性元件之间的差异在于训练过程 最早出现的包含多适应元件的可训练分层神经网络是多学习机结构 这种结构由Widrow和他的学生提出 1962 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 1965年 Nilsson所著的 LearningMachines 一书出版 至今这本书仍然是关于超平面中线性模型的一本佳作 1967年 Amari用推测梯度方式进行自适应模式分类 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴起阶段 在感知器盛行的六十年代 人们对神经网络的研究过于乐观 认为只要将这种NN互连成一个网络 就可以解决人脑思维的模拟问题 因此 当时有上百家实验室纷纷投入这项研究 美国军方也投入了巨额资金 当时NN在声纳信号识别等领域的应用取得了一定的成绩 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1969年 Minsky和Papert 1969 所著的 Perceptron 一书出版 该书从数学角度证明了关于单层感知器的计算具有根本的局限性 指出感知机的处理能力有限 甚至连XOR这样的问题也不能解决 并在多层感知器的总结章中 论述了单层感知器的所有局限性在多层感知器中是不可能被全部克服的 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 加以当时AI的以功能模拟为目标的另一分支 出现了转机 产生了以知识信息处理为基础的知识工程 KnowledgeEngineering 给AI从实验室走向实用带来了希望 同时 微电子技术的进步 以及传统的VonNeumann型数字计算机发展 使整个学术界陶醉于数字计算机的成功之中 从而使NN的研究进入了萧条时期 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 根据Cowan 1990 的观点 有三个原因导致了神经网络研究的十多年滞后 原因之一是技术上的 没有个人计算机和工作空间站进行实验 如Gabor发展了他的非线性学习滤波器 而却花费了额外的六年时间建造了含有类推装置的滤波器 原因之二一半是心理上的 即Minsky和Papert对感知器的悲观结论 一半是资金上的 即没有代理商资助 原因之三是神经网络和晶格旋转之间的类推还未成熟 直到1975年才由Sherrington和Kirkpartrick创建出旋转镜片模型 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 这些因素导致了七十年代对神经网络的研究陷入了低谷 此时许多研究人员放弃了除心理学和神经学之外的其他领域 难能可贵的是 在此期间 仍有不少学者在极端艰难的条件下 保持对神经网络的信奉 致力于这一研究 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 1972年TeuvoKohonen和JamesAnderson各自独立发展了用于记忆的新的神经网络 Amari独立提出了一个神经元的加性模型 并将其应用于研究随机联接类似于神经元元件的动态行为之中 Wilson和Cowan从含有兴奋和抑制神经元空间局部化模型的动态行为中获取非线性微分方程组 1973年vonderMalsburg完成了计算机模拟 第一次演示了自组织 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 1975年Sherrington和Kirkpatrick发明了自旋玻璃网模型 1975年描述了神经元激活或不激活的概率模型 并发展了短期记忆理论 1976年Willshaw和vonderMalsburg发表了第一篇受人脑拓扑次序映射启发 构筑自组织映射的论文 1977年Anderson Silverstein Ritz和Jones提出了黑箱脑状态 Brain State in a Box BSB 模型 其中包括含有非线性动力的一个简单联想网络 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 1980年Grossberg在早期对竞争学习研究的基础上 创立了自组织新理论 被称为自适应性谐振理论 AdaptiveResonanceTheory ART 理论主要包括自下而上的认知层和自上而下的生成层 若输入模式与学习反馈模式相匹配 则产生称为 自适应性谐振 的动力状态 即神经网络的扩大与延长 其前向 后向投影原理已经被其他学者应用于不同方面 使其得到了发展 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 萧条阶段 80年代 神经网络有了迅猛发展 功能日渐强大的个人计算机和工作站开始被广泛的应用 此时也产生了神经网络研究的新观念 两个新观念 第一个是利用统计机制解释循环网络的运行过程 这种机制可用于一个联想记忆 此观念是由物理学家JohnHopfield在他的核心论文中提出的 第二个核心发展是用于训练多层感知器的反向传播算法 此算法同时被几个学者所发现该算法是对60年代Minsky和Papert的一个有力的回答 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 70年代后期 研究视 听觉的人工智能专家首先遇到挫折 计算机一般不能从现实世界的实例与现象中获取并总结出知识 也就是说计算机不具备学习能力 人们于是开始意识到了VonNeumann体系结构的局限性 转而研究数据流机和并行计算机体系结构 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 70年代后期 日本第五代计算机计划远未达到预想水平 使人们觉得有必要弄清人们习以为常的认知功能是如何进行的 这些认知功能包括视听觉感知 学习记忆 运行控制等 从而使人们认识到必须开拓新的思路 探索新的实现途径 与人脑的生理组织更为接近的NN模型自然成为理想的候选模型 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 70年代后期 在人类智能行为研究方面 神经生理学家 心理学家和计算机科学家相互结合 认为人脑是一个功能十分强大 结构异常复杂的信息系统 但其基本仍是神经元及其之间的连接 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 70年代后期 NN的研究依靠众多学科的共同发展 是众学科的综合产物 而当时众学科都有了相应的发展 如普里高津 Prigogine 提出了非平稳系统的自组织理论 获诺贝尔奖 哈肯 Haken 研究了大量单元集团运动而产生的宏观效果 提出了 协同学 非线性系统 混沌 态的提出及其研究等等 这些都是研究如何通过单元之间的相互连接作用建立复杂系统 类似于生物系统的自组织行为 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 70年代后期 脑科学与神经科学的研究成果 迅速反映到神经网络的改进上 例如视觉研究中发现的侧抑制原理 感受野的概念 听觉通道上神经元的自组织排列等 生物的NN研究成果对ANN的研究起了重要的推动作用 所有这些方面重新引起了人们对ANN的研究兴趣 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 学术界公认 标志NN研究高潮的又一次到来是美国加州理工学院生物物理学家J Hopfield教授于1982年和1984年发表在美国科学院院刊上的两篇文章以及1986年Rumelhart与McClelland的两册书 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1982年Hopfield用能量函数的思想形成了一种新的计算的方法 该计算方法由含有对称突触联接的反馈网络执行 而且他还将该反馈网络同用于统计物理的Ising模型相类推 这种类推为大量的物理学理论和许多的物理学家进入神经网络领域铺平了道路 Hopfield阐明了NN与动力学的关系 并用非线性动力学的方法来研究这种NN的特性 建立了NN稳定性判据 并指出信息存储在网络中NN之间的连接上 形成了Hopfield网络 这是NN研究的突破性进展 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1982年Kohonen的关于自组织图的论文发表 其中用到了一个一维或二维的晶体结构 这种模型已成为衡量在此领域中有价值创新的基准 1983年 Kirkpatrick Gelatt和Vecchi提出了模拟退火 SimulatedAnnealing SA 的新方法 该方法以统计理论为基础 用于解决组合最优问题 1983年 Barto Sutton和Anderson发表了关于强化学习 ReinforcementLearning RL 的论文 论文将强化学习应用于实际 验证了其应用的具有可行性 对强化学习的发展及应用产生了重要的影响 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1984年 Hopfield设计与研制了他所提出的神经网络模型的电路 指出神经元可以用运算放大器来实现 所有神经元的连接可用电子线路来模拟 同时他也进行了神经网络应用研究 成功的解决了旅行商 TSP 计算难题 优化问题 令人震惊 使神经网络的研究步入了兴盛时期 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1984年 Braitenberg出版了 Vehicles ExperimentsinSyntheticPsychology 一书 此书中引用面向对象技术和自组织原理 通过对假定的基本机制合成 而不是自顶向下的分析 使得对复杂过程的理解达到最好效果 Braitenberg通过对各种具有简单内部结构的机器的描述证明了这一条重要法则 Braiterberg直接和间接的研究动物大脑超过20年 在这方面的研究启发其发现机器特性及其行为 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1985年 Ackley Hinton和Sejnowski以模拟退火思想为基础 对Hopfield模型引入了随机机制 提出了Boltzmann机 第一次成功实现了多层神经网络的功能 打破了人们心理上的局限 证明了Minsky和Papert 1969 的推测根据是不正确的 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1986年 Rumelhart Hinton和Williams发展了反向传播算法 Back Propagationalgorithm BP 同年 Rumelhert和McClelland编写的名为 ParallelDistributedProcessing ExplorationsintheMicrostructuresofCognition 一册两本出版 此书的出版对BP的应用产生了重要影响 BP已成为大多数多层感知器训练所采用的流行学习算法 该算法解决了多层NN的学习问题 证明了多层神经网络的计算能力并不象Minsky等人所预料的那样弱 相反他可以完成许多学习任务 解决许多实际问题 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1988年 Linsker在感知器网络上提出了一种新的自组织理论 该理论用于保持输入行为模式的最大信息 并受突触联接和活动范围的限制 在Shanno信息论的基础上 形成了最大互信息理论 Linsker的论文重新点燃了基于神经网络的信息应用理论的光芒 尤其对Bell和Sejnowski提出的盲源分离问题 BlindSourceSeparationProblem 的信息应用理论产生了影响 同时激起许多学者去探索用其他信息理论模型去解决各自广泛领域中的问题 该种方法称为盲反卷积 BlindDeconvolution 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1988年 Broomhead和Lowe用径向基函数 RadialBasisFunctions RBF 提出了分层反馈网络设计的方法 Broomhead和Lowe的论文将神经网络的设计与数值分析的重要领域和线性适应滤波挂钩 产生了大量的研究成果 为多层感知器的研究提供又一方法和途径 1990年 Poggio和Girosi应用Tikhonov规则理论进一步丰富了径向基理论 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 1989年 Mead的 AnalogVLSIandNeuralSystem 一书出版 这本书将生物神经和集成电路结合在一起 给出了硅视网膜和硅耳蜗 此后 神经网络领域的研究重新有了发展 在20世纪的最后十年中 产生了大量关于神经网络的论文 并许多领域应用了神经网络技术 新的理论和实践工作层出不穷 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 兴盛阶段 九十年代初期 Vapnik和合作者们发明了一类计算功能强大的有导师学习网络 用于解决模式识别 回归及密度估测问题 这种网络被称为支持向量机 SupportVectorMachines SVM 以有限样本学习理论的结论为基础 支持向量机的新特征在于Vapnik Chervonenkis VC 维特征蕴含在向量机的设计中 VC维数为衡量神经网络样本学习能力提供了一种有效的量度 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络的研究热潮 1987年6月 在美国加州举行了第一届NN国际会议 有一千多名学者参加 并成立了国际NN学会 以后每年召开两次国际联合NN大会 IJCNN 其他国际学术会议也都列有NN主题 较有影响的国际学术刊物有 IEEETransactiononNeuralNetwork 和 NeuralNetwork 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络的研究热潮 美国IBM AT T 贝尔实验室 神经计算机公司 各高校 美国政府制定了 神经 信息 行为科学 NIBS 计划 投资5 5亿美元作为第六代计算机的基础研究 美国科学基金会 NSF 海军研究局 ONR 和空军科学研究部 AFOSR 三家投资一千万美元 美国国防部DARPA认为NN 看来是解决机器智能的唯一希望 这是一项比原子弹工程更重要的技术 投资四亿美元 主要研究目标 目标识别与跟踪 连续语音识别 声纳信号辨别 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络的研究热潮 日本的富士通 日本电气 日立 三菱 东芝急起直追 1988年日本提出了所谓的人类尖端科学计划 HumanFrontierScienceProgram 即第六代计算机研究计划 法国提出了 尤里卡 计划 德国的 欧洲防御 苏联的 高技术发展 等等 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经网络的研究热潮 我国于1989年在北京召开了一个非正式的NN会议 1990年12月在北京召开了中国NN大会 1991年在南京成立了中国NN学会 由国内十五个一级学会共同发起 携手探智能 联盟攻大关 863高技术研究计划 自然科学基金 国防科技预研基金也都列入了NN研究内容 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1 3人工神经网络模型 生物神经元模型人工神经网络的模型 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1 3 1生物神经元模型 在人类大脑皮层中大约有100亿个神经元 60万亿个神经突触以及它们的联接体 单个神经元处理一个事件需要10 3秒 而在硅芯片中处理一事件只需10 9秒 但人脑是一个非常高效的结构 大脑中每秒钟每个动作的能量约为10 16焦耳 而当今性能最好的计算机进行相应的操作需要10 6焦耳 神经元是基本的信息处理单元 生物神经元主要由树突 轴突和突触组成 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 树突是由细胞体向外伸出的 有不规则的表面和许多较短的分支 树突相当于信号的输入端 用于接受神经冲动 轴突由细胞体向外伸出的最长的一条分支 即神经纤维 相当于信号的输出电缆 其端部的许多神经末梢为信号输出端子 用于传出神经冲动 神经元之间通过轴突 输出 和树突 输入 相互联结 其接口称为突触 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 每个细胞约有103 104个突触 神经突触是调整神经元之间相互作用的基本结构和功能单元 最通常的一种神经突触是化学神经突触 它将得到的电信号转化成化学信号 再将化学信号转化成电信号输出 这相当于双接口设备 它能加强兴奋或抑制作用 但两者不能同时发生 细胞膜内外有电位差 约为20 100mv 称为膜电位 膜外为正 膜内为负 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经元具有的重要功能 可塑性 可塑性反映在新突触的产生和现有神经突触的调整上 可塑性使神经网络能够适应周围的环境 时空整合功能 时间整合功能表现在不同时间 同一突触上 空间整合功能表现在同一时间 不同突触上 兴奋与抑制状态 当传入冲动的时空整合结果 使细胞膜电位升高 超过被称为动作电位的阈值 约为40mv 细胞进入兴奋状态 产生神经冲动 由轴突输出 同样 当膜电位低于阈值时 无神经冲动输出 细胞进入抑制状态 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 神经元具有的重要功能 续 脉冲与电位转换 沿神经纤维传递的电脉冲为等幅 恒宽 编码 60 100mv 的离散脉冲信号 而细胞电位变化为连续信号 在突触接口处进行 数 模 转换 神经元中的轴突非常长和窄 具有电阻高 电压大的特性 因此轴突可以建模成阻容传播电路 突触的延时和不应期 在相邻的二次冲动之间需要一个时间间隔 在此期间对激励不响应 不能传递神经冲动 学习 遗忘和疲劳 突触的传递作用有学习 遗忘和疲劳过程 合肥工业大学计算机与信息学院图像信息处理研究室Tel 2901393Email images 1 3 2人工神经网络的模型 人工神经网络是由大量处理单元广泛互连而成的网络 是人脑的抽象 简化 模拟 反映人脑的基本特性 一般来说 作为神经元模型应具备三个要素 1 具有一组突触或联接 常用wij表示神经元i