神经网络(第1章-绪论)

人工神经网络参考书目《人工神经网络理论、设计与应用》，第2版，韩力群，化学工业出版社.《面向MATLAB工具箱的神经网络理论与应用》，第3版，丛爽，中国科学技术大学出版社.2023/2/12SZU第一章绪论人脑与电脑人工神经网络发展简史神经网络的基本特征与功能神经网络的应用领域2023/2/13SZU1.1人脑与电脑人脑强大or电脑强大？2023/2/14SZU1997年5月11日，早晨4时50分(北京时间)，一台名为“深蓝”的超级电脑将棋盘上的一个兵走到C4位置时，人类有史以来最伟大的国际象棋名家卡斯帕罗夫不得不沮丧地承认自己输了。世纪末的一场人机大战终于以计算机的微弱优势取胜。这场比赛是继去年卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深蓝”的第二次较量。比赛于5月3日--11日在纽约的公平大厦举行。整个比赛引起了全世界传媒的巨大关注。比赛吸引人们注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前充满信心，发誓要为捍卫人类之优于机器的尊严而战。然而，最后的结果却是他所捍卫的人类尊严在一台冷漠的“蓝色巨人”面前被无情地击溃了。虽然人类的骄傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己也是人类所研制出来的一台计算机而已，但人类所创造的工具击溃了人类，并且是在人类引以为骄傲的智慧领域，这在一定程度上带来了恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。“深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。是一台RS6000SP2超级并行处理计算机，计算能力惊人，平均每秒可计算棋局变化2OO万步。1.1人脑与电脑人脑强大or电脑强大？2023/2/15SZU1.1人脑与电脑钱学森先生认为：人脑的思维有逻辑思维、形象思维和灵感思维三种基本方式。迄今为止，计算机在解决与形象思维和灵感思维相关的问题时，显得无能为力。如人脸识别、骑自行车、打篮球等涉及联想或经验的问题，人脑可以从中体会那些只可意会不可言传的直觉和经验，可以根据情况灵活掌握处理问题的规则，从而轻而易举地完成此类任务，而计算机在这方面显得十分笨拙。2023/2/16SZU1.1人脑与电脑人脑与电脑信息处理能力的比较记忆与联想能力学习与认知能力信息加工能力信息综合能力信息处理速度2023/2/17SZU1.1人脑与电脑人脑与电脑信息处理能力的比较记忆与联想能力2023/2/18SZU

1.1人脑与电脑人脑与电脑信息处理能力的比较学习与认知能力2023/2/19SZU人脑具有从实践中不断抽取知识、总结经验的能力。人脑对经验作出反应从而改变行为的能力就是学习与认知能力。计算机所完成的所有工作都是严格按照事先编制的程序进行的，因此它的功能和结果都是确定不变的，执行同一程序所得到的永远是同一个结果。它不可能在不断重复的过程中总结或积累任何经验，因此不会主动提高自己解决问题的能力。1.1人脑与电脑人脑与电脑信息处理能力的比较信息加工能力2023/2/110SZU人脑具有复杂的回忆、联想和想象等非逻辑加工功能，因而人的认识可以逾越现实条件下逻辑所无法越过的认识屏障，产生诸如直觉判断或灵感一类的思维活动。计算机没有非逻辑加工功能，因而不能逾越有限条件下逻辑的认识屏障。计算机的逻辑加工能力也仅限于二值逻辑，缺乏辩证逻辑能力。1.1人脑与电脑人脑与电脑信息处理能力的比较信息综合能力2023/2/111SZU人脑善于对客观世界千变万化的信息和知识进行归纳、类比和概括，综合起来解决问题。人脑的这种综合判断过程往往是一种对信息的逻辑加工和非逻辑加工相结合的过程。它不仅遵循确定性的逻辑思维原则，而且可以经验地、模糊地甚至是直觉地作出一个判断。大脑所具有的这种综合判断能力是人脑创造力的基础。计算机的信息综合能力取决于它所执行的程序，由于不存在能完全描述人的经验和直觉地数学模型，因此计算机难以达到人脑所具有的融会贯通的信息综合能力。1.1人脑与电脑人脑与电脑信息处理能力的比较信息处理速度2023/2/112SZU人脑的信息处理是建立在大规模并行处理基础上的，这种并行处理所能够实现的高度复杂的信息处理能力远非传统的以空间复杂性代替时间复杂性的多处理机并行处理系统所能达到的。神经细胞间信息的传递速度只能达到毫秒级，而现代计算机中电子元件的计算速度是纳秒级。似乎计算机的处理速度远高于人脑，事实上在数值处理等只需要串行算法就能解决的应用方面确实如此。然而在处理文字、图像、声音等类信息的能力与速度却远不如人脑。1.1人脑与电脑人脑与电脑信息处理机制的比较系统结构信号形式信息存储信息处理机制2023/2/113SZU1.1人脑与电脑人脑与电脑信息处理机制比较系统结构2023/2/114SZU人脑在漫长的进化过程中形成了规模宏大、结构精细的群体结构，即神经网络。脑科学研究结果表明，人脑的神经网络是由数百亿神经元的相互连接组合而成。每个神经元相当于一个超微型信息处理与存储机构，大量神经隐患广泛连接后形成的神经网络可以进行各种极其复杂的思维活动。计算机是一种由各种二值逻辑门电路构成的按串行方式工作的逻辑机器，由运算器、控制器、存储器和输入输出设备组成，其信息处理是建立在冯诺依曼体系基础上，基于程序存取进行工作的。1.1人脑与电脑人脑与电脑信息处理机制比较信号形式2023/2/115SZU人脑中的信号形式具有模拟量和离散脉冲两种形式。模拟量信号具有模糊性特点，有利于信息的整合和非逻辑加工，这类信息处理方式难以用现有的数学方法进行充分描述，因而很难用计算机进行模拟。计算机中信息的表达采用离散的二进制数和二值逻辑形式。然而客观世界存在的事物关系并非都可以分解为二值逻辑的关系，还存在着各种模糊逻辑关系和非逻辑关系。计算机对这类信息的处理是难以胜任的。1.1人脑与电脑人脑与电脑信息处理机制比较信息存储2023/2/116SZU人脑的信息不是集中存储于一个特定的区域，而是分散地存储于整个系统中。此外，人脑中存储的信息不是相互孤立的，而是联想式的。人脑这种分布式、联想式的信息存储方式使人类非常擅长于从失真和缺省的模式中恢复出正确的模式。计算机的信息是集中存储在存储器中，且存储单元之间相互孤立。1.1人脑与电脑人脑与电脑信息处理机制比较信息处理机制2023/2/117SZU人脑采用了信息存储与信息处理一体化的群体协同并行处理方式，信息的处理受原有存储信息的影响，处理后的信息又留记在神经元中称为记忆。这种信息处理-存储的构建模式是广泛分布在大量神经元上同时进行的，因此呈现出来的整体信息处理能力不仅能快速完成各种极复杂的信息识别和处理任务，而且能产生高度复杂而奇妙的效果。计算机采用的是有限集中的串行信息处理机制，即所有信息处理都集中在一个或几个CPU中进行。CPU通过总线同内外存储器进行顺序“个别对话”，存取指令或数据，因而时间利用率较低。1.1人脑与电脑人工神经网络（ANN-ArtificialNeuralNetworks）人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。为叙述方便，人工神经网络通常简称为神经网络。2023/2/118SZU1.2人工神经网络发展简史启蒙时期（1890-1969）低潮时期（1969-1982）复兴时期（1982-1986）新时期（1987-…）2023/2/119SZU1.2人工神经网络发展简史启蒙时期（1890-1969）2023/2/120SZU1.2人工神经网络发展简史2023/2/121SZU1.2人工神经网络发展简史2023/2/122SZU1.2人工神经网络发展简史2023/2/123SZU1.2人工神经网络发展简史2023/2/124SZU1.2人工神经网络发展简史低潮时期（1969-1982）2023/2/125SZU1.2人工神经网络发展简史2023/2/126SZU1.2人工神经网络发展简史2023/2/127SZU1.2人工神经网络发展简史复兴时期（1982-1986）2023/2/128SZU1.2人工神经网络发展简史2023/2/129SZU1.2人工神经网络发展简史2023/2/130SZU1.2人工神经网络发展简史新时期（1987-…）2023/2/131SZU1.2人工神经网络发展简史2023/2/132SZU1.3神经网络的基本特征与功能神经网络的基本特征结构特征：并行处理、分布式存储与容错性能力特征：自学习、自组织与自适应性2023/2/133SZU1.3神经网络的基本特征与功能神经网络的基本功能联想记忆非线性映射分类与识别优化计算知识处理2023/2/134SZU1.4神经网络的应用领域信息处理领域信号处理、模式识别、数据压缩自动化领域系统辨识、神经控制器、智能检测工程领域汽车工程、军事工程、化学工程、水利工程经济领域医学领域2023/2/135SZU1.4神经网络的应用领域2023/2/136SZU1.4神经网络的应用领域2023/2/137SZU1.4神经网络的应用领域2023/2/138SZU1.4神经网络的应用领域2023/2/139SZU1.4神经网络的应用领域2023/2/140SZU1.4神经网络的应用领域2023/2/141SZU第一章小结什么是人