人工智能入门 课件 刘峡壁1.绪论、2.人工神经网络与机器学习

人工智能入门γνωθισεαυτόν(认识你自己)AI:Introduction2AI:Introduction2大纲什么是人工智能(AI)?

什么是思考？人工机器能否以及是否应该达到自我思考的程度？人工智能发展简史人工智能实现途径AI:Introduction3PartⅠ:什么是人工智能？AI:Introduction4

“使真正的机器表现得像科幻电影中的那些机器一样”--RussellBeale请仔细观看视频，思考什么是人工智能？人工智能是通过智能机器延伸、增强人类改造自然和治理社会能力的新兴技术。AI:Introduction5“有多少专家，就会有多少种关于智能的说法.”

--R.J.Sternberg什么是人工智能？？AI:Introduction6

什么是人工智能？Perception行为能力问题求解能力推理能力学习能力社交能力创造力感知能力AI:Introduction7AI:Introduction7什么是人工智能？？理解并创造智能实体多学科交叉计算机科学，哲学

，心理学，语言学，神经学，……包含多个子领域认知科学，自然语言处理，机器学习，模式识别，计算机视觉，数据挖掘，……AI:Introduction8AI:Introduction8如何衡量机器是否具有智能？两种观点强调外在表现(弱人工智能)机器是否具有智能的行为?图灵测试强调内在机制(强人工智能)机器是否真正在思考?J.R.Searle

的中文屋思想实验AI:Introduction9AI:Introduction9图灵测试机器如何表现出智能？图灵(1950)《计算机器与智能》具有可操作性的机器智能测试:模拟试验为了通过图灵测试，需要突破人工智能中的许多重要问题，如知识表示，推理，自然语言理解，机器学习等AI:Introduction10AI:Introduction10中文屋实验一个不懂中文的人呆在一间密闭的屋子里，他有一本记录中文处理规则的书。屋外的测试者从门缝塞给他中文纸条。

他在书中查找处理这些中文语句的规则。

根据规则将一些中文字符抄在纸条上作为对相应语句的回答。

呆在屋内的人显然不理解他所处理的中文。

所以，赛尔勒提出(1980):

-不存在具有理解能力的计算机程序

-赋予非生物机器以智能是语无伦次AI:Introduction11AI:Introduction11人工智能的目标远期目标揭示人类智能的根本机理，用智能机器去模拟、延伸、扩展人类智能，实现脑力劳动的自动化近期目标制造智能机器,尤其是具有智能的计算机程序.提供辅助性的智能工具以帮助人们解决一些具体问题AI:Introduction12“智能”正在变得越来越流行：AI:Introduction13AI:Introduction13人工智能与计算机科学部分类似于数学与物理的关系

计算机科学关注信息处理的一般理论,并为实现人工智能提供计算工具,但是这些不是人工智能关注的重点.人工智能对于计算机科学的发展具有重大影响.

AI:Introduction14PartⅡ:人工智能发展简史AI:Introduction15AI:Introduction15人工智能孕育期哲学

逻辑,推理方法,思维机器,学习的基础,语言,理性数学

形式逻辑符号化,计算理论,可判定性,可处理性,概率经济效用,决策论神经科学

思维活动的物质性心理学

感知,控制,实验技术计算机科学

构造更快的计算机控制论

制造能够随着时间的推移最优化其目标的系统语言学

知识表示，语法AI:Introduction16AI:Introduction16人工智能发展期1943 麦克洛奇和皮兹：大脑的布尔电路模型1950 图灵的“计算机器与智能”1956达特茅斯会议：正式采用名称“人工智能”1952-69 迅速发展，过于乐观1950s 早期的人工智能程序，包括塞缪尔的西洋跳棋程序，Newell 和Simon的定理证明程序，Gelernter的几何引擎1965鲁宾逊归结演绎推理1966-73 出现了计算复杂性问题，神经网络的研究处于停滞等

1969-79 专家系统的早期开发1980- 人工智能走向实际应用1986- 神经网络再次流行1987- 人工智能变成一门科学1995- 智能体概念的出现AI:Introduction17AI:Introduction17人工智能现状深蓝在1997年打败了世界棋王卡斯帕洛夫证明了十几年来未能解决的一个数学猜想（Robbins猜想）横跨美国的汽车无人驾驶（从匹茨堡到圣地亚哥的路途中，98%的路程为自动驾驶）1991年海湾战争期间,美国军方运用人工智能规划程序实现后勤保障，涉及50000辆车辆以及人员NASA通过自动规划程序控制宇航器的飞行PROVERB程序能比大多数人类更好地解决字谜游戏AI:Introduction18AI:Introduction18真实的故事DavidCohn：“虽然计算机已经能够打败世界上最好的棋手，我们却仍然不能使其像4岁小孩一样去思考。”

AaronSlomon：“我们现在才刚刚开始明白怎样用机器处理信息，智能是什么，以及我们人类是什么。”

何不马上开始人工智能探险之旅呢？AI:Introduction19AI:Introduction19PartⅢ:人工智能的实现途径AI:Introduction20AI:Introduction20机器学习

“婴儿机器”符号智能神经网络行为智能进化计算

”人造生命”群智能人工智能的实现途径AI:Introduction21AI:Introduction21机器学习Q.制造一个“婴儿机器”，它通过读书学习、从经验中学习等手段逐步增长智力，这个想法如何？人们早在20世纪40年代就提出了这个设想，最终它将会得到实现。

但是就目前而言，人们对人类学习机理、方法以及如何实现等问题的认识还处于非常初级的阶段，就连“婴儿是如何从经验中进行学习”的问题都知之甚少，更遑论其他。--JohnMcCarthyAI:Introduction22AI:Introduction22符号智能纽维尔和西蒙的“物理符号系统假说”机器对符号信息的处理就足以产生人工智能.人类智能的基础是对符号信息的处理.目前，“物理符号系统假说”是否成立仍然是一个有争议的问题.自上而下的人工智能实现策略AI:Introduction23AI:Introduction23问题求解

专家系统

知识工程搜索,表示,推理GPS,深蓝,DENDRAL,CYC,……问题框架问题(CYC,Go,……)用大量的计算来代替理解符号智能AI:Introduction24AI:Introduction24神经网络人类大脑的工作机制与机器有很大的不同大脑如何工作？

自下而上的人工智能实现策略生物神经网络AI:Introduction25AI:Introduction25发展简史

M-P神经元模型

感知器

霍普菲尔德网络模型,B-P学习方法(Rumelhart&McClelland)

应用

识别,视觉,商业,医学,…….主要问题

-拓扑结构-学习方法神经网络AI:Introduction26AI:Introduction26行为智能布鲁克斯(1991)<<没有表示的智能>>

机器虫:艾伦(Allen),赫伯特(Herbert),成吉思(Genghis)-智能的基本构造单元是一些非常简单的行为，更为复杂的行为是通过这些简单行为的相互作用产生的。-首先应制造具有昆虫一类低等生物智能水平的系统。

AI:Introduction27现场式人工智能

-构造不能与外界友好交互的无实体智能系统(traditional)-构造在真实环境中活动的智能系统(Nouvelle).

行为智能AI:Introduction28AI:Introduction28进化计算生物进化

-产生大量能够适应不同环境的各种生物物种.

模拟进化

-在计算机上模拟生物进化过程,可以让计算机通过进化的方式找到问题的解答。

AI:Introduction29AI:Introduction29遗传算法

像DNA中的分子串一样，用符号串编码问题的解决方案。通过符号串的突变和重组找到好的解。

进化策略

用解的原始形式表示个体,主要用突变和选择作为搜索算子，其中突变通常通过对问题的解向量进行正态随机扰动实现；选择则是按适应度排序方式进行.进化规划

与进化策略很难区分。主要区别是仅利用重组实现解的改变。它将每个个体看做一个物种，而不是同一物种中的不同个体，因此每个父代个体产生一个子代个体。进化计算AI:Introduction30AI:Introduction30群智能智能经常被认为是单个个体的行为。是因为我们有智慧所以组成社会呢？还是因为我们存在于社会中所以有智慧呢？-智能可以在社交活动中呈现出来.突现行为

–

一个群体所表现出来的在其个体身上看不到的行为.群智能-模拟生物间的社会交往-由一组简单智能体呈现出来的集体智慧AI:Introduction31群智能AI:Introduction32观察鸟群和鱼群能够以和谐的方式一起运动，但其中没有指挥员(领导)-是什么决定了没有领导的群体的行为？蚁群能够快速找到从它们的巢穴到食物源的最短路径-同时还能处理许多复杂问题，如:维持城堡，修建巢穴，清理巢穴，进行重物的搬运，等等-单个蚂蚁实际上是在进行盲目地、无记忆地随机行走！无中央控制的分布式系统不仅有助于模拟，而且有助于解决优化问题。AI:Introduction33AI:Introduction33群智能计算工具多智能体系统多个相互作用的智能体组成的系统.应用于电脑游戏,网络,交通,物流,等等。蚁群优化算法1991(Dorigo)主要用于组合优化问题粒子群优化算法1995(Kennedy&Eberhart)更通用的优化技术人工神经网络与机器学习AI:ANN35大纲什么是人工神经网络(ANN)?

多层感知器(MLP)-误差反向传播算法(B-P)机器学习的意义-学习策略监督学习1、人工神经网络01AI:ANN37PartⅠ:什么是ANN?AI:ANN38一个让汽车学习自动驾驶的神经网络T.M.Mitchell,MachineLearning,2006隐藏单元的权值AI:ANN39汽车自动驾驶的视频AI:ANN401.1人工神经网络将相互独立的单元之间连接起来形成一种图的结构，这样的图可能是有环的也可能是无环的，可能是有向图也可能是无向图.

自底向上AI

受生物神经系统的启发，从结构上模拟仿真AI功能AI:ANN41生物神经系统

时间和空间上的累积

兴奋和抑制图片来源：http://kvhs.nbed.nb.ca/gallant/biology/neuron_structure.jpgAI:ANN42人工神经系统

M-P神经元θx1x2xnyω1ω2ωn输入输出阈值McClloch与Pitts，《神经活动中固有的思想逻辑运算》,1943f:激活函数g:整合函数AI:ANN43整合函数加权求和

径向距离AI:ANN44激活函数

阈值型线性饱和线性S型函数双曲正切函数高斯函数AI:ANN451.2人工神经网络拓扑结构前馈型神经网络-没有环-静态结构

反馈型神经网络结构-有环-动态结构(非线性动力系统)AI:ANN46前馈网络的一般结构反馈网络的一般结构AI:ANN471.3人工神经网络的学习方法神经网络根据所处环境对它的刺激自适应的调整其网络结构中的自由参数.学习模型

渐进式vs.批处理两类

监督型vs.非监督型AI:ANN48重要的神经网络模型模型结构学习方法模型结构学习方法多层感知器前馈型网络结构误差修正玻尔兹曼机单层，反馈型网络结构随机性径向基函数网络多层，前馈型网络结构误差修正自适应共振理论两层，反馈型网络结构竞争型学习霍普菲尔德网络单层，反馈型网络结构外积Kohonen自组织特征映射网单层软竞争学习AI:ANN49PartⅡ:多层感知器(MLP)AI:ANN502.1B-P神经网络结构

一种多层感知机,其中的激活函数采用S型函数.AI:ANN51B-P学习算法学习方法

-输入数据被前向输入到隐含层,然后再输入到输出层

-误差信息被反向传播，从输出层到隐含层再到输入层Rumelhart&Meclelland,Nature,1986AI:ANN52B-P学习步骤Step1.在训练集中选择一种模式并将其输入到网络中Step2.计算输入序列中输入层，隐含层，输出层神经元的激活情况.Step3.通过比较实际输出与期望输出，计算输出神经元的误差.Step4.用计算出来的误差更新网络中的所有权重，从而使全局误差度量变小.Step5.重复上述Step1-Step5直到全局误差小于一个给定的阈值.AI:ANN53B-P求导全局误差度量理想输出实际输出平方误差目标是最小化平方误差,即达到最小均方误差(MSE)2、机器学习02AI:MachineLearning55PartⅠ:机器学习的意义

AI:MachineLearning56机器学习什么？学习是系统中的变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。

西蒙机器学习研究如何使计算机程序自动根据经验提升其性能。应用领域涵盖从大量数据中发现一般规则的数据挖掘程序到自动学习用户兴趣的信息过滤系统等。TomM.MitchellAI:MachineLearning57定义学习的任务基于经验，根据性能准则，提升完成相应任务的性能任务:下跳棋性能:对于任意对手，取胜的概率

经验:以自己为对手，进行的练习任务:识别手写字性能:被正确分类的字所占的比例经验:经过人工标注的手写字的数据库任务:视觉传感器自动驾驶性能:出错前行驶的平均距离经验:人类驾驶的时候记录下来的一系列图像和控制命令ExamplesAI:MachineLearning58为什么要进行机器学习？在环境事先未知时，学习至关重要(可用于开发能够自动适应环境的系统). 比如，当设计者缺少关于环境的全部信息时学习是一个很有用的系统构建方法(可用于构建人工方式很难实现或者很昂贵的系统).比如,将系统暴露在真实的环境中自我提升而不是直接构建该系统。AI:MachineLearning59为什么要进行机器学习？（续）从庞大的数据库里发掘新信息(数据挖掘)。商场购物数据分析(如：尿布和啤酒)医学文本挖掘(如：偏头痛和钙)对于机器学习的研究可以帮助我们理解人类以及其他生物的学习方式。AI:MachineLearning60学习系统的评价实验在不同的基准数据集上，采用交叉验证试验来比较各种不同的方法。收集评价系统性能的数据，如测试准确率、训练时间、测试时间等。分析方法在统计显著性上的不同。理论从数学上分析算法，为以下几点提供理论支持：计算复杂性拟合训练数据的能力样本复杂性(得到一个准确的函数所需要的训练数据的个数)AI:MachineLearning61S.J.RusselllandP.Norvig,“artificialintelligence:amodernapproach”.具有学习能力的智能系统的架构AI:MachineLearning62学习机构学习机构的设计需要考虑：学习性能组件中的什么部分可利用什么反馈方式来学习这些部分怎样表示性能组件？反馈类型: 监督学习:每一个输入数据都有对应的期望输出非监督学习:没有输入数据的期望输出强化学习:通过奖惩学习AI:MachineLearning63学习策略机械式学习

基于存储的学习指导式学习

将外部指导者提供的知识形式转化为可供执行机构直接使用的知识形式类比学习

利用不同领域知识的相似性AI:MachineLearning64学习策略（续）解释学习

演绎和归纳相结合归纳学习

1.人工神经网络

2.统计学习

3.决策树

4.聚类

监督非监督AI:MachineLearning65机械式学习学习==存储？存储问题的解，当遇到相同的问题时进行检索。存储和计算的权衡AI:MachineLearning66PartⅡ:监督学习AI:MachineLearning672.1什么是监督学习？最简单的形式:根据输入数据学习一个函数f

是目标函数

一个数据是一个(x,f(x))对

问题:给定一个训练数据集，找到一个函数h，以使

h≈fAI:MachineLearning68监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning69监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning70监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)