人工智能入门 课件 2.人工神经网络与机器学习

人工神经网络与机器学习AI:ANN2大纲什么是人工神经网络(ANN)?

多层感知器(MLP)-误差反向传播算法(B-P)机器学习的意义-学习策略监督学习1、人工神经网络01AI:ANN4PartⅠ:什么是ANN?AI:ANN5一个让汽车学习自动驾驶的神经网络T.M.Mitchell,MachineLearning,2006隐藏单元的权值AI:ANN6汽车自动驾驶的视频AI:ANN71.1人工神经网络将相互独立的单元之间连接起来形成一种图的结构，这样的图可能是有环的也可能是无环的，可能是有向图也可能是无向图.

自底向上AI

受生物神经系统的启发，从结构上模拟仿真AI功能AI:ANN8生物神经系统

时间和空间上的累积

兴奋和抑制图片来源：http://kvhs.nbed.nb.ca/gallant/biology/neuron_structure.jpgAI:ANN9人工神经系统

M-P神经元θx1x2xnyω1ω2ωn输入输出阈值McClloch与Pitts，《神经活动中固有的思想逻辑运算》,1943f:激活函数g:整合函数AI:ANN10整合函数加权求和

径向距离AI:ANN11激活函数

阈值型线性饱和线性S型函数双曲正切函数高斯函数AI:ANN121.2人工神经网络拓扑结构前馈型神经网络-没有环-静态结构

反馈型神经网络结构-有环-动态结构(非线性动力系统)AI:ANN13前馈网络的一般结构反馈网络的一般结构AI:ANN141.3人工神经网络的学习方法神经网络根据所处环境对它的刺激自适应的调整其网络结构中的自由参数.学习模型

渐进式vs.批处理两类

监督型vs.非监督型AI:ANN15重要的神经网络模型模型结构学习方法模型结构学习方法多层感知器前馈型网络结构误差修正玻尔兹曼机单层，反馈型网络结构随机性径向基函数网络多层，前馈型网络结构误差修正自适应共振理论两层，反馈型网络结构竞争型学习霍普菲尔德网络单层，反馈型网络结构外积Kohonen自组织特征映射网单层软竞争学习AI:ANN16PartⅡ:多层感知器(MLP)AI:ANN172.1B-P神经网络结构

一种多层感知机,其中的激活函数采用S型函数.AI:ANN18B-P学习算法学习方法

-输入数据被前向输入到隐含层,然后再输入到输出层

-误差信息被反向传播，从输出层到隐含层再到输入层Rumelhart&Meclelland,Nature,1986AI:ANN19B-P学习步骤Step1.在训练集中选择一种模式并将其输入到网络中Step2.计算输入序列中输入层，隐含层，输出层神经元的激活情况.Step3.通过比较实际输出与期望输出，计算输出神经元的误差.Step4.用计算出来的误差更新网络中的所有权重，从而使全局误差度量变小.Step5.重复上述Step1-Step5直到全局误差小于一个给定的阈值.AI:ANN20B-P求导全局误差度量理想输出实际输出平方误差目标是最小化平方误差,即达到最小均方误差(MSE)2、机器学习02AI:MachineLearning22PartⅠ:机器学习的意义

AI:MachineLearning23机器学习什么？学习是系统中的变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。

西蒙机器学习研究如何使计算机程序自动根据经验提升其性能。应用领域涵盖从大量数据中发现一般规则的数据挖掘程序到自动学习用户兴趣的信息过滤系统等。TomM.MitchellAI:MachineLearning24定义学习的任务基于经验，根据性能准则，提升完成相应任务的性能任务:下跳棋性能:对于任意对手，取胜的概率

经验:以自己为对手，进行的练习任务:识别手写字性能:被正确分类的字所占的比例经验:经过人工标注的手写字的数据库任务:视觉传感器自动驾驶性能:出错前行驶的平均距离经验:人类驾驶的时候记录下来的一系列图像和控制命令ExamplesAI:MachineLearning25为什么要进行机器学习？在环境事先未知时，学习至关重要(可用于开发能够自动适应环境的系统). 比如，当设计者缺少关于环境的全部信息时学习是一个很有用的系统构建方法(可用于构建人工方式很难实现或者很昂贵的系统).比如,将系统暴露在真实的环境中自我提升而不是直接构建该系统。AI:MachineLearning26为什么要进行机器学习？（续）从庞大的数据库里发掘新信息(数据挖掘)。商场购物数据分析(如：尿布和啤酒)医学文本挖掘(如：偏头痛和钙)对于机器学习的研究可以帮助我们理解人类以及其他生物的学习方式。AI:MachineLearning27学习系统的评价实验在不同的基准数据集上，采用交叉验证试验来比较各种不同的方法。收集评价系统性能的数据，如测试准确率、训练时间、测试时间等。分析方法在统计显著性上的不同。理论从数学上分析算法，为以下几点提供理论支持：计算复杂性拟合训练数据的能力样本复杂性(得到一个准确的函数所需要的训练数据的个数)AI:MachineLearning28S.J.RusselllandP.Norvig,“artificialintelligence:amodernapproach”.具有学习能力的智能系统的架构AI:MachineLearning29学习机构学习机构的设计需要考虑：学习性能组件中的什么部分可利用什么反馈方式来学习这些部分怎样表示性能组件？反馈类型: 监督学习:每一个输入数据都有对应的期望输出非监督学习:没有输入数据的期望输出强化学习:通过奖惩学习AI:MachineLearning30学习策略机械式学习

基于存储的学习指导式学习

将外部指导者提供的知识形式转化为可供执行机构直接使用的知识形式类比学习

利用不同领域知识的相似性AI:MachineLearning31学习策略（续）解释学习

演绎和归纳相结合归纳学习

1.人工神经网络

2.统计学习

3.决策树

4.聚类

监督非监督AI:MachineLearning32机械式学习学习==存储？存储问题的解，当遇到相同的问题时进行检索。存储和计算的权衡AI:MachineLearning33PartⅡ:监督学习AI:MachineLearning342.1什么是监督学习？最简单的形式:根据输入数据学习一个函数f

是目标函数

一个数据是一个(x,f(x))对

问题:给定一个训练数据集，找到一个函数h，以使

h≈fAI:MachineLearning35监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning36监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning37监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning38监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning39监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:AI:MachineLearning40监督学习方法构造

h，使h在训练数据集上与f

吻合(如果对于所有的数据，h都与f吻合，则h与f是一致的。)如：

曲线拟合:奥坎木剃刀:优先选择符合数据的最简单模型AI:MachineLearning41PartⅢ:非监督学习：聚类AI:MachineLearning424.1什么是聚类？典型的非监督学习只给出输入数据，不给出期待的输出根据数据之间的相似性，将数据分成几个簇的过程。发现数据组并鉴别出数据中令人感兴趣的数据分布AI:MachineLearning434.2划分聚类方法根据给定的标准，把数据集划分成k个子集（簇）。在所有可能的划分中搜索最优的划分。

盲目搜索

启发式搜索

AI:MachineLearning44总结学习是一个系统通过经验来提高性能的过程。有学习能力的智能系统的四个要素：

评价机构,环境机构,执行机构,学习机构AI:MachineLearning