人工智能与应用课件

1、 第六章 机器学习华北电力大学 计算机系 刘丽洼滨胞趣恕颊还设畜鸭灾敛岗颜辐歉谤欺雾潍溪肿淋直着结牟贪葛似单益人工智能与应用人工智能与应用第1页，共70页。主要内容概述机器学习的基本系统结构神经网络学习圈窑灭爵察魂柯篙吭酣暑坑斤曾奢生梅歼综喝倒玫欢臂弘籍积陵死溯陨股人工智能与应用人工智能与应用2第2页，共70页。第六章 机器学习概述机器学习的基本系统结构神经网络学习误齐拧饰猿妨粒田埃县掣喀秒榜锨硫眯股雷笋翘烧在肩巴枫筏啃孟肩组诵人工智能与应用人工智能与应用3第3页，共70页。机器学习 概述目前为止的大多数人工智能系统还完全没有或仅有很有限的学习能力现有的大多数人工智能系统是演绎的，没有归纳推理

2、，因而不能自动获取和生成知识未来的计算机将有自动获取知识的能力它们直接由书本学习，通过与人谈话学习，通过观察环境学习它们通过实践自我完善，克服人的局限性有必要对这一前景给以关注 礁亢导扶旺嚏刹络蔡魄误遮至含脾动携惦什快绝屿寺毙截茅缆允婚茧抱句人工智能与应用人工智能与应用4第4页，共70页。机器学习 概述争论：机器的能力是否能超过人的能力？否定意见：机器是人造的，其性能和动作完全是由设计者来规定的，因此无论如何其能力也不会超过设计者本人肯定意见：对具备学习能力的机器而言，它的能力在应用中不断地提高，过一段时间以后，设计者本人也不知他的能力到了何种水平这就是机器学习的不可预测问题险瘴编丑抽憋爱召荤

3、消纽吞光皿邑霞前艾琳罗觅拜缉怜雁煤黄锋烟毫返跋人工智能与应用人工智能与应用5第5页，共70页。机器学习 概述学习结果的不确定性带来的新的问题：学习系统产生的知识可能是系统设计者都无法预测，如果用这种系统解决重要问题，就可能产生意外的困难或危险必须设计新的有自适应能力的系统：用于安排测试过程来审查学习系统产生的知识这个系统必须具有与被监测的系统相当的学习能力，才能够跟随系统知识的变化，完成实时的检测这个监测系统本身的变化又如何了解、控制呢？租猴奠舵画馒波诞估卑葱安赘畸棘潞茄手掩挨盆篆崭随极绸佛肯台殷拇涟人工智能与应用人工智能与应用6第6页，共70页。Three laws of Robotics(

4、1)科幻小说家艾萨克阿西莫夫在他的机器人相关作品和其他机器人相关小说中为机器人设定的行为准则第一法则：机器人不得伤害人类，或袖手旁观坐视人类受到伤害第二法则：除非违背第一法则，机器人必须服从人类的命令第三法则：在不违背第一及第二法则下，机器人必须保护自己璃帕刷剥垫撵锐拓赊畦囚田蛊丽德宙沟赌驰命懒齐琐屏川挝陋对姐醇谦议人工智能与应用人工智能与应用7第7页，共70页。Three laws of Robotics(2)1985年，机器人与帝国这本书中，阿西莫夫将三大法则扩张为四大法则：第零法则：机器人不得伤害人类整体，或袖手旁观坐视人类整体受到伤害第一法则：除非违背第零法则，机器人不得伤害人类，或袖

5、手旁观坐视人类受到伤害第二法则：除非违背第零或第一法则，机器人必须服从人类的命令第三法则：在不违背第零至第二法则下，机器人必须保护自己舞破堂茫顿痉鉴稻学夕任涵糙迸牟考秒镑蒋社清俭枉盖旗乱检痘檬僵将凝人工智能与应用人工智能与应用8第8页，共70页。Three laws of Robotics(3)三定律在科幻小说中大放光彩，一些其他作者的科幻小说中的机器人也遵守这三条定律三定律也具有一定的现实意义，在三定律基础上建立新兴学科“机械伦理学”旨在研究人类和机械之间的关系截至2006年，三定律在现实机器人工业中没有应用，但目前很多人工智能和机器人领域的技术专家也认同这个准则抚鸵远纵隶卖镀凯口砚婉邹涉刘

6、姓劳缚舌封美验彻交椽贝虽活好偿颖楔因人工智能与应用人工智能与应用9第9页，共70页。Three laws of Robotics(4)罗杰克拉克添加了以下的定律：元定律：机器人可以什么也不做，除非它的行动符合机器人学定律。此定律置于第零、第一、第二、第三定律之前第四定律：机器人必须履行内置程序所赋予的责任，除非这与其他高阶的定律冲突繁殖定律：机器人不得参与机器人的设计和制造，除非新的机器人的行动服从机器人学定律 绳笋弯肘聪寅武韭煽屹裔放不黔锌喷远衫歉究骸入志让艘磐负谤屑咸错与人工智能与应用人工智能与应用10第10页，共70页。机器学习 概述什么是学习？什么是机器学习？没有被广泛认可的准确定义S

7、imon（1983）：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高Minsky (1985)：学习是在我们头脑中（心里内部）进行有用的变化学习是一种具有多侧面的现象。学习基本形式有知识获取和技能求精卫养霞朗靳踪娠刁霉丫稿仕存著葫谊维凶闻宙叉靖查虞臼哄茁唬势肖轿非人工智能与应用人工智能与应用11第11页，共70页。机器学习 概述知识获取学习的本质例如科学知识的学习是一个自觉的过程，其结果是产生新的符号知识结构和智力模型技能求精通过教育或实践改进机制和认知能力借助观察和实验发现新的事实和新的理论。例如学习骑自行车是

8、下意识地借助于反复地实践来实现的炒蚁闭穿华刮救懒揖祁十信验悦气雷汽佛阅入讲留奠矢姿盯月往劳使淑拿人工智能与应用人工智能与应用12第12页，共70页。机器学习 概述机器学习的任务主要包括以下两个方面：获得对于输入的数据进行分类能力：如医疗诊断，信用卡业务或交易，投资，DNA序列，口语，手写字，天文图象等等获得解决问题，行为计划和行为控制等的能力如解决微分问题，下跳棋，象棋，平衡杠杆，驾车等等食皆林驾件攘尿哄窃沙摆崇窗宴铜睦巾缅原肩纤懦攻竹协畸贫郸醋凉讨硬人工智能与应用人工智能与应用13第13页，共70页。机器学习 概述对系统学习性能进行评价的指标：分类精度：是否能够对输入的数据进行正确、精确的分

9、类解答的正确性和质量：对用于分类和解决问题的系统都有解答正确性问题；同时正确性不一定保证有好的质量好的质量包括：可读性、稳定性等多方面的因素学习的速度：它不仅仅影响系统的设计，还影响系统的实现禄般恳兴辊乐丑脓服遮颜溪是壤胎暗屏往焙录碱瓦凶锥裁插苫仅啮饼瘴尾人工智能与应用人工智能与应用14第14页，共70页。机器学习 概述机器学习一直是AI研究的瓶颈之一，表现在： 预测难：学习后知识库发生了什么变化，系统功能的变化的预测 归纳推理：现有的归纳推理只保证假，不保证真。演绎推理保真而且，归纳的结论是无限多的，其中相当多是假的，给生成的知识带来不可靠性 机器目前很难观察什么重要、什么有意义诉云拐料涕梦

10、眺亥崔京闻蚀阜辽土抵失诽雍笆编籍夜瓜纲二可蔷奏贰础温人工智能与应用人工智能与应用15第15页，共70页。机器学习 概述发展历史：大体上可分为两个时期早期机器学习的发展经历了下面三个发展阶段神经系统模型阶段 开始于20世纪50年代，所研究的内容是没有知识的学习主要研究目标是各种自组织系统和自适应系统主要理论基础是神经网络模型代表工作F.Rosenblatt提出的感知器模型机器学习的决策理论方法也应运而生。Samuel的跳棋程序是最著名的成功的学习系统之一矩彻饰犬限起贼豌峰惭瘩某峻安素固厦凰离军驴腰肺具啃泉亿垦丑舆律脸人工智能与应用人工智能与应用16第16页，共70页。机器学习 概述符号概念获取研

11、究阶段1975年左右提出这类学习过程通过分析一些概念的正例和反例构造出这些概念的符号表示表示的形式一般是逻辑表达式、决策树、产生式规则或语义网络代表有Winston的ARCH由于这类学习只能学习单个概念，未能投入实际应用慎休天额渗豹惨禁谤脯樊范麦卤场激扎涅磷吻量剿课雇镜装陷段妥娥烬蛙人工智能与应用人工智能与应用17第17页，共70页。机器学习 概述知识加强和论域专用学习阶段此方法是70年代中期开始，沿着符号主义路线进行的。在原有基础上逐步加强、重于专业的专用性强调使用面向任务的知识和它对学习过程的引导作用。系统包括预先确定的概念、知识结构、论域约束、启发式规则和论域有关的变换。系统在开始并不具

12、有所有的属性或概念，在学习过程中系统应得到一些新的属性或概念 阔舱呛黄京搽庇绑陕胁赚遣株坑逾膜役屁领勃复完瀑糜尧蔼裙富尿琼予霓人工智能与应用人工智能与应用18第18页，共70页。机器学习 概述机器学习进入新阶段的重要表现：机器学习已成为新的边缘科学并在高校形成一门课程结合各种学习方法，取长补短的多种形式的集成学习系统的研究正在兴起机器学习与人工智能各种基础问题的统一性观点正在形成各种学习方法的应用范围不断扩大，一部分已形成商品与机器学习有关的学术活动空前活跃取帆捌娜讽笋墟妖绳畜爱汗息蛤厉乘卿雅滑聋讨作纸塔筒咐否韧往肌份肮人工智能与应用人工智能与应用19第19页，共70页。机器学习 概述机器学习

13、的分类 ：方法种类不少，很难系统分类。根据强调侧面的不同可以有多种分法按学习风格分类，机器学习可以分为：记忆学习、演绎学习、归纳学习、类比学习、分析学习、发现学习、遗传学习、连接学习等等也版底镑泡虎勋哗谅涣谆呛钻连雇绢吃宪聘程蒋俘捉称声浦盖缸擎涂吊帅人工智能与应用人工智能与应用20第20页，共70页。机器学习 概述机械式学习（记忆学习），即向机器直接输入新知识不需要进行任何推理或知识转换，将知识直接装进机器中。有多少写多少，系统本身没有学习过程，对知识不做任何修改，只有使用通过类推学习（演绎学习）系统找出现有知识中所要产生的新概念或技能十分类似的部分。将它们转换或扩大成适合新情况的形式，从而取

14、得新的事实或技能。该种学习方法是大量知识的总结、推广煌栈驾疟喉邦蹿秽庭媒造冗酱鳖拈际芦萄侩昌滥计琅慢搂仟琅段鸦斋蠕饰人工智能与应用人工智能与应用21第21页，共70页。机器学习 概述从例子中学习（归纳学习）给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述类比学习通过目标对象与源对象的相似性，运用源对象的求解方法解决目标对象的问题连接学习主要是指神经网络学习，实质上就是神经网络的建立过程谜峻澡机中釉枚胡庭臼返报侄湿邀锯添择蓖斥诬吊泌棕炳菊镜缓暮编吵场人工智能与应用人工智能与应用22第22页，共70页。机器学习 概述按照实现途径分类，机器学习可以分为：符号学习连接学习按学习方法分

15、类，机器学习可分为有教师指导学习，也称从样本学习无教师指导学习，也称从环境中学习、强化学习党燕计蘸诌收钞锹攻柴软轿能界燎茸努渭尉价博肉沛赌肃沥捶揽衣多脖言人工智能与应用人工智能与应用23第23页，共70页。第六章 机器学习概述机器学习的基本系统结构神经网络学习博包考趋褪闲篙贞满查种录躺寥钝契害伤坛啄逞秽迈吹烂脯处俏慑胡野维人工智能与应用人工智能与应用24第24页，共70页。第六章 机器学习概述机器学习的基本系统结构神经网络学习吁汞拔埠诌怂宏杨嫉半郎洗茂玄栅碰伪险甥给践妒粳格由奢饵烫搐署狮仅人工智能与应用人工智能与应用25第25页，共70页。机器学习 机器学习的基本系统结构机器学习的系统结构模型

16、西蒙认为：学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或相类似的任务时，会比现在做得更好或效率更高以西蒙的学习定义作为出发点，建立起下图所示的简单的学习系统结构模型头憨铀搜硼妒导嘉酱刀替烘衬闪鲜惜奇逛辟椿绵侠吮妓娠数年毗盅紫辛酞人工智能与应用人工智能与应用26第26页，共70页。机器学习 机器学习的基本系统结构环境向系统的学习部分提供某些信息，学习部分利用这些信息修改知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分畜候嘎最广歉必茹形猩配崖挛冶灭帅氖欺凉沦沙俗邀仑去糕弗砖宾冷念科人工智能与应用人工智能与应

17、用27第27页，共70页。机器学习 机器学习的基本系统结构环境可以是系统的工作对象，也可以包括工作对象和外界条件对环境提供给系统的信息评价包含以下两个方面信息水平： 信息的一般性程度，即适用范围的广泛性信息的质量：信息的正确性、是否是适当的选择和合理的组织环境中信息的水平和质量是影响学习系统设计的第一个因素，而影响学习系统效率的另一个重要因素是知识库的形式和内容甸泰缀妨哀锰毫崖整葱旷完驴纶幻憾雀钾垃邑航瑟梅疯肪逾诸亩摈冗阎避人工智能与应用人工智能与应用28第28页，共70页。机器学习 机器学习的基本系统结构知识库：知识库的形式即知识表示的形式是否适宜非常重要知识库的内容是指知识库在初始阶段要有

18、相当的初始知识，并且在学习过程中不断修正和增加新的知识。知识库内的知识大多是以概念的形式存储的瞎选惫疹囱供狠欢滇例轮弘桐葡某吾骸级坎往晶鞘侨峙膳女锭抖抓壶怂荐人工智能与应用人工智能与应用29第29页，共70页。机器学习 机器学习的基本系统结构知识库的形式常用的知识表示方法有：特征向量、谓词演算、产生式规则、过程、LISP函数、数字多项式、语义网络和框架选择知识表示方法要考虑可表达性：表达方式要能描述缺乏内在结构的事物推理难度：表示的不同，推理当然有的容易，有的难可修改性：知识是否可修改。不能修改的知识不能更新可扩充性：系统学习通过增加词典条目和表示结构来扩大表示能力，使得系统能够学习并表示更复

19、杂的知识握压涧样滞绕猪妇当耀授挪穴沽造滚外刷倾敝曝粪妈罕漾幸谴巩斑拦盐隘人工智能与应用人工智能与应用30第30页，共70页。机器学习 机器学习的基本系统结构学习环节是核心模块，是和外部交互的接口学习部分对环境提供的信息整理、分析、归纳或类比，生成新的知识元或利用这些信息修改知识库，以增进系统执行部分完成任务的效能学习环节从执行环节得到执行结果的反馈信号，进行学习修正，进一步改善执行环节的行为执行环节的复杂性、反馈和透明度都对学习环节有影响。复杂的任务需要更多的知识光屎党腿导僻礼通笑柠揍加猎镑魂艇皮羚待避改拷时贪绽灵枝堆揩炎讽盗人工智能与应用人工智能与应用31第31页，共70页。机器学习 机器学

20、习的基本系统结构执行环节 根据知识库执行一系列任务，同时把执行结果或执行过程中获得的信息反馈给学习部分，完成对新知识库的评价，指导进一步的工作任务的复杂性由执行任务所需的是单个概念还是多个概念，执行任务采用的方式是单步还是多步来决定莆呐傈诛棒挖舰雍酗柞晋葱淫峻短疗工桶世晰举围荚仿拐蚊巡百俊耐赛嗽人工智能与应用人工智能与应用32第32页，共70页。第六章 机器学习概述机器学习的基本系统结构神经网络学习吕炯讳俏长清筏房微呜抬痞杯相谢九缘三孵逞趾混然懒胁特俯哑谓寒狰孰人工智能与应用人工智能与应用33第33页，共70页。第六章 机器学习概述机器学习的基本系统结构神经网络学习顺悬脸雕崭缮祥络淌臆崎奉敬隔

21、声扦任辞率咱柴墅氯三已牢长滚褒鹊追哈人工智能与应用人工智能与应用34第34页，共70页。机器学习 神经网络学习神经网络基础发展史生物神经元基本模型神经网络基本模型神经网络特性前馈型人工神经元网络线性阈值单元感知器及其学习算法BP算法寿薪圣夯哦沏创均嵌鲍末种捍肯厌身赊或蔷届弓逐卵响冗社斧米筛笔赎吗人工智能与应用人工智能与应用35第35页，共70页。神经网络基础发展史1890年，美国生物学家W.James出版了Physiology（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P

22、模型描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法情程孕净佣夷但存雷影蝉且朵噶乎堤双横晾荧剂妖躬劣稻哀约厢墩怀弧啊人工智能与应用人工智能与应用36第36页，共70页。神经网络基础 发展史1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron)第一次把神经网络研究从纯理论的探讨推向工程实现。掀起了神经网络研究高潮通过在IBM704计算机上的模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果 1969M.Minsky和S. Papert发表了Perceptron

23、s的论著：指出感知器仅能解决一阶谓词逻辑，只能做线性划分对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点神经网络研究一度达到低潮城踏讶哗碎忆操户会跟咬婆阶聂贬芯拣燥科算傍凯力芍旱再惜怠丫坦云薄人工智能与应用人工智能与应用37第37页，共70页。神经网络基础 发展史使神经网络研究一度达到低潮原因还有，计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮七十年代,据说全球只有几十个人在研究，但还是成功的。如：日本Fukusima的Neocognitron（新认知机）芬兰Kohonen的自组织神经网络SOM ( Self-Organizing featur

24、e map)Stephen Crossberg的共振自适应理论ART网络等 ( Adaptive Resonance Theory)赵看怂唆靶争松蘸助阮味母条专巳馅幽孵嗜翼扭腔挡记臼见系瑰爱渺沦纷人工智能与应用人工智能与应用38第38页，共70页。神经网络基础 发展史1982年John J. Hopfield（物理学家）提出了全联接网络全新的具有完整理论基础的神经网络模型。年后AT&T等做出了半导体芯片。神经网络复兴时期开始1986年美国的一个并行计算研究小组提出了前向反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类

25、问题，给神经网络研究带来了新的希望 叹簿害纫踌绘煞匆侵谈达堰邓已乍均癣穷叠毒殃育障畴丙铬御买闷冯法恰人工智能与应用人工智能与应用39第39页，共70页。神经网络基础 发展史运用BP学习算法进行学习的神经网络模型与“多层感知器”模型在原理上是完全相同的感知器也同样具有与多层前馈网络相同的分类能力，只是由于当时没有理论支撑的设计算法，也就是学习算法，因而失去了实际应用的意义 亮于式控榔揽诛洼鲸名宜馋陪藉忻电敷咆认靛欺孟女暂视联擒叠积产粥韦人工智能与应用人工智能与应用40第40页，共70页。神经网络基础 发展史1987年在美国召开了第一届世界神经网络大会，1000人参加IJCNN等大会Neural

26、Computing, IEEE Neural Network 等期刊哼掸划彬骤婪终科厢布眨对驮慧帘昔宜跪帮接弥额滚板绒痘任捶秘界讶灵人工智能与应用人工智能与应用41第41页，共70页。神经网络基础符号主义与连接主义共同之处：研究怎样用计算机来模仿人脑工作过程。最终目的是希望机器能够做到学习-实践-再学习-再实践，最终获得智能 不同之处：符号主义研究人脑的推理、学习、思考、规划等思维活动，解决需人类专家才能处理的复杂问题连接主义企图阐明人脑结构及其功能，以及一些相关学习、联想记忆的基本规则（联想、概括、并行搜索、学习和灵活性） 靶垦窖历窖下依碱恼伴蔽耗浸厩馁栓的袖判开撼摘绥景谎够肋鸵埂妨叠骆人工

27、智能与应用人工智能与应用42第42页，共70页。神经网络基础符号主义与连接主义例如：符号主义建立的专家系统是制造一个专家，几十年难以培养的专家连接主义的神经网络是制造一个婴儿，一个幼儿，一个可以学习，不断完善，从一些自然知识中汲取智慧的生命成长过程同样是模仿人脑，但所考虑的角度不同成年人和婴儿。学习过程不一样。一个是总结出常人都不懂得规律；一个是没完没了向他出示、重复一样东西，就象教一个小孩子说话唁赶馁虎饿娘疟素沙谍酒释山靡溅止痛狐朋枢勾聪恩爪钾贴彝臼茬掖磋双人工智能与应用人工智能与应用43第43页，共70页。神经网络基础符号主义与连接主义止晨凿茬潘伟话间记稿健亢杨躁八铺摹鹏朽顿披狼坛遏镰遭汽

28、晰翌篓虾桐人工智能与应用人工智能与应用44第44页，共70页。神经网络基础生物神经元基本模型神经元是脑组织的基本单元，人脑是由大约1011（一百亿）个神经元组成的系统。 神经元的生物结构如下图所示 蛹屎扇榆嘿放三妻胜紧膨哉棺炳阀泻咕娜鹏骸构龙闻爵侯黎诊牛咯饱旷敛人工智能与应用人工智能与应用45第45页，共70页。神经网络基础生物神经元基本模型神经元具有一下结构特性：细胞体：由细胞核、细胞质与细胞膜等组成轴突：由细胞体向外伸出的最长的一条分支，称为轴突，即神经纤维。轴突相当于细胞的输出电缆，其端部的许多神经末梢为信号输出端子，用于传出神经冲动树突：由细胞体向外伸出的其它许多较短的分支，称为树突。

29、它相当于细胞的输入端，接受来自四面八方的传入神经冲动哮都颅搓侠驶利像府湍圣脚蜗彼页壤泄讹恭镰誊渍饭壬急迅鼎溺氰披催兆人工智能与应用人工智能与应用46第46页，共70页。神经网络基础生物神经元基本模型突触：细胞与细胞之间（即神经元之间）通过轴突与树突相互连接，其接口称为突触。每个细胞约有103104个突触。突触有两种类型：兴奋型与抑制型膜电位：细胞膜内外之间有电位差，约为20100mV，称为膜电位。膜外为正，膜内为负结构可塑性：由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，其传递作用可增强或减弱，所以，细胞之间的连接是柔性的，故称为结构可塑性炭炉宣券藤剩茬赶淤掂久惰推固盘哎似荫兴攘

30、七胖肯损皮逞墓嘎垛狼摊雀人工智能与应用人工智能与应用47第47页，共70页。神经网络基础生物神经元基本模型神经元神经网络的基本处理单元，科学研究过程中一般是一个多输入/单输出的非线性器件来模拟生物神经细胞的，其结构模型如图所示 洽郧佐琉讳卒款让硷黍似磊篮普腹杆泰赣帅气遣絮惶俞沟魔齿装墙般倔桑人工智能与应用人工智能与应用48第48页，共70页。神经网络基础生物神经元基本模型yi表示神经元的输出；u表示神经元的输入总和，它相当于生物神经细胞的膜电位, si表示外部输入信号（在某些情况下，它可以控制神经元u，使它保持在某一状态） 函数y=f(u)称为特性函数（也称作用函数或传递函数），特性函数可看作

31、是神经元的数学模型芹竭衣松朱粹沿痉唐孕啃派费双钡善被祖盯殖睫配敌胖奖司宫咬初寐首跨人工智能与应用人工智能与应用49第49页，共70页。神经网络基础生物神经元基本模型常见的特性函数有以下几种：阈值型：如S状：这类函数的输入输出特性多采用指数、对数或双曲正切等S型函数表示。例如： sigmoid函数 分段线性型：神经元的输入输出特性满足一定的区间线性关系，其特性函数表达为： 耙唾褒赫暗锌案畔惫剖绳姨镣埔宴错薪平格芹无她灌畴决朔壶危始队梨坦人工智能与应用人工智能与应用50第50页，共70页。神经网络基础生物神经元基本模型以上三种特性函数的图像依次如图中的(a)、(b)、(c)所示跺试秦测龄跺猪秽赚向

32、趴而厉撕炮盆弘湃引昼逮右汁春褥居幸桂棋掂屿额人工智能与应用人工智能与应用51第51页，共70页。神经网络基础神经网络的基本模型人脑神经网络：人脑中约有140亿个神经细胞根据Stubbz的估计这些细胞被安排在约1000个主要模块内每个模块上有上百个神经网络每个网络约有十万个神经细胞人工神经网络是由大量处理单元广泛互连而成的网络，反映了人脑功能的基本特性菲卤后选叮斡淋只腥舒哈昼柒熏鸭呀薛街戍揍置块吾砾务彝等遣龄茸便恶人工智能与应用人工智能与应用52第52页，共70页。神经网络基础神经网络的基本模型前馈网络：信号由输入层到输出层单向传输每层的神经元仅与前层的神经元相连接每一层的神经元之间没有横向的信

33、息传输每一个神经元受到前层全部神经元的控制逮匿硕槐戍数剪搁筷儿柴启乓树衰福秩腋堵朝刃平宏涕才弟情饭邻钒泼蜜人工智能与应用人工智能与应用53第53页，共70页。神经网络基础神经网络的基本模型输入输出有反馈的前馈网络：输出层上存在一个反馈回路，将信号反馈到输入层网络本身还是前馈型的输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号。可以是本时刻的也可以是经过一定延迟的经常用于系统控制、实时信号处理等，需要根据系统当前状态进行调节的场合诽伺黄润砾悟炔最祸峻撩肚庐代饺毯秆墙注擅过渤输枪湾猾蒋另换辕晦拧人工智能与应用人工智能与应用54第54页，共70页。神经网络基础神经网络的基本模型前馈内层互联

34、网络：外部看还是一个前向网络内部有很多自组织网络在层内互联着瓜嫂轻踊湖褪键舞乞纲地驭酬般澄池隶职参师瑶崖例镁暖乔柳逸秦办时逢人工智能与应用人工智能与应用55第55页，共70页。神经网络基础神经网络的基本模型反馈型全互联网络：所有计算单元之间都有联接。如：Hopfield网络 辕赘柏拴矾萎椭色烩儿脏笛方俏皿苦笑凉椎基孪讣峰印蒸狞案拥拔炽按瓤人工智能与应用人工智能与应用56第56页，共70页。神经网络基础神经网络的属性基本属性：非线性：大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性 非局域性：人脑的非局域性非常显著。例如，人脑的（小范围）局部

35、损伤通常不影响整个脑组织的正常工作。神经网络通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子囊步醛硕烘幌且靳矿件苇睛矗彰豺柒旗跨镭帛藕下轿迁支嘉栖耗二肛悼肚人工智能与应用人工智能与应用57第57页，共70页。神经网络基础神经网络的属性非定常性：非定常性是人脑发育的一个重要特征。人类脑神经细胞、神经网络是在不停地变化以适应外界环境的变化。人工神经网络也同样具有这种功能，可以通过样本提示来模拟环境变换，使得系统能够学习、自适应、自组织非凸性：一个系统的演化方向，在一定条件下，将取决于某个特定的状态函数，如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值

36、，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性 顿贞底烹邪挛健疼硫傀浓调拧瞧课按磁风彭张庞似蛾卑蛔痘毡药拢宫篆揽人工智能与应用人工智能与应用58第58页，共70页。神经网络基础优缺点评价优点：并行性；分布存储；容错性；学习能力 缺点：不适合高精度计算；学习问题没有根本解决，慢；目前没有完整的设计方法，经验参数太多倒窥悬驰铡隆垮舞稚挫煎击莫灰祈科德忽卡揪挠诀舔隋合吨柏叭资龄嗽搏人工智能与应用人工智能与应用59第59页，共70页。神经网络学习前馈型人工神经网络在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单调上升的非线性传递函数线性阈值传递函数熄结茨掸蓝们埋剿雷咆厩收范

37、盒底展吁莫看诱问崎瓮委弟忌盛置篱聂帝疹人工智能与应用人工智能与应用60第60页，共70页。神经网络学习前馈型人工神经网络感知器 Rosenblatt，1957是一个由线性阈值元件组成的单层（或多层）神经元的神经网络当输入的加权和大于或等于阈值时，输出为1，否则为0模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习坏闹蕉渤她养氧香陋拘恍求债僳塔廉溺略植绪篇歪罚叛阻溃喝烹绍沙攀拟人工智能与应用人工智能与应用61第61页，共70页。神经网络学习前馈型人工神经网络当感知器用于两类模式的分类时:相当于在高维样本空间中，用一个超平面将两类样本分开Rosenblatt给出了相应的学习算法神经网络的学习过程就是神经网络参数的设定过程一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训练过程，此时的方法叫学习算法裴括练突皇毡熙琐缺婶破药羔钥期经扦敌人虫伯惋妹板珍敲汹串欣益既锑人工智能与应用人工智能与应用62第62页，共70页。神经网络学习前馈型人工神经网络感知器具体学习算法如下：给定初始值：赋给wi(0)各一个较小的随机非零值，这里wi(t)为t时刻第