机器学习课件

机器学习课件5、1、2 机器学习得发展史机器学习得发展分为4个时期第一阶段就是在50年代中叶到60年代中叶,属于热烈时期。第二阶段在60年代中叶至70年代中叶,被称为机器学习得冷静时期。第三阶段从70年代中叶至80年代中叶,称为复兴时期。机器学习得最新阶段始于1986年。2机器学习进入新阶段得表现机器学习已成为新得边缘学科并在高校形成课程。综合各种学习方法机器学习与人工智能问题得统一性观点正在形成。各种学习方法得应用范围不断扩大。数据挖掘与知识发现得研究已形成热潮。与机器学习有关得学术活动空前活跃。

35、2机器学习得主要策略与基本结构

5、2、1机器学习得主要策略按照学习中使用推理得多少,机器学习所采用得策略大体上可分为4种———机械学习、通过传授学习、类比学习与通过事例学习。机械学习传授学习策略类比学习系统通过事例学习策略45、2、2机器学习系统得基本结构

1、学习系统得基本结构

环境学习知识库执行学习系统的基本结构52、影响学习系统设计得要素影响学习系统设计得最重要因素就是环境向系统提供得信息,或者更具体地说就是信息得质量。知识库就是影响学习系统设计得第二个因素。知识得表示有特征向量、一阶逻辑语句、产生式规则、语义网络与框架等多种形式。65、3、1机械学习1、机械学习模式机械学习就是最简单得学习方法。机械学习就就是记忆,即把新得知识存储起来,供需要时检索调用,而不需要计算与推理。它就是一种最基本得学习过程。5、3常见得几种学习方法7存储计算推导归纳算法与理论机械记忆搜索规则数据化简级别图

Lenat,Hayes-Roth,与Klahr等人于1979年关于机械学习提出一种有趣得观点82、机械学习得主要问题存储组织信息:要采用适当得存储方式,使检索速度尽可能地快。环境得稳定性与存储信息得适用性问题:机械学习系统必须保证所保存得信息适应于外界环境变化得需要。存储与计算之间得权衡:对于机械学习来说很重要得一点就是它不能降低系统得效率。7、3机械学习910大家应该也有点累了,稍作休息大家有疑问得,可以询问与交流5、3、2解释学习解释学习过程与算法

1986年米切尔(Mitchell)等人为基于解释得学习提出了一个统一得算法EBG:训练例子操作准则知识库新规则目标概念11EBG求解问题得形式可描述于下:给定:(1)目标概念描述TC;(2)训练实例TE;(3)领域知识DT;(4)操作准则OC。求解:训练实例得一般化概括,使之满足:(1)目标概念得充分概括描述TC;(2)操作准则OC。125、3、3基于事例得学习当无法建立好得模型时,通过记录事例进行学习就是一种可取得方法。这时,在信息被应用之前,不对它进行任何处理。采用基于事例得学习方法时,首先,任何时候都可以应用相容启发(consistencyheuristic)方法,把某个预先观察过得事物得特性赋给另一个从未见过得新事物。其次,学会如何应用K-维树迅速地找到特征空间内得最近邻物体。

13最近邻物体得寻求(1)快速串行过程以对数次数求得最近邻物体

(2)并行硬件更快求得最近邻物体

14定义:决策树就是一种表示,就是一种语义树。树上,(a)每个节点与一个可能回答集合有关。(b)每个非终叶节点与某个测试有关,该测试把它得可能回答集合分解为对应于不同测试结果得一些子集。(c)每个分支把一个具体得测试结果子集传给另一个节点。定义:

k-维树就是一种表示,它就是一种决策树,树上,(a)可能回答集合由点组成,其中有个点可能就是给定点得最近邻点。(b)每个测试规定一个坐标、一个阈值与一个围绕该阈值得不合点得中性区。(c)每个测试根据每个点处在阈值得哪一边而把点得集合分为两组。155、3、4基于概念得学习

归纳学习(inductivelearning)就是研究最广得一种符号学习(symboliclearning)方法,它表示从例子设想出假设得过程。在进行归纳学习时,学习者从所提供得事实或观察到得假设进行归纳推理,获得某个概念。归纳推理就是个从部分到全体,从特殊到一般得推理过程。从应用角度瞧,归纳学习可分为概念学习、概念聚集与启发学习3种。

16概念学习(conceptlearning)研究遵循两条不同得路线,即有两种不同得观点。一种就是基于工程方法得概念学习,它从可能得学习机理出发(不管这些机理就是否存在于生命组织内),试图试验并确定概念学习得工程方法。另一种就是基于认知建模得概念学习,极力开发出人类概念学习得计算理论。本节仅讨论概念学习问题,而且只从工程角度来研究基于概念得学习。概念学习得首要任务在于构造类型定义。在本节中,我们首先讨论类型定义,包括统计定义法与结构定义法,然后研究分类程序。175、3、5基于类比得学习类比(analogy)就是一种很有用得与有效得推理方法,它能够清晰简洁地描述对象间得相似性;同时,它也把某些测试相似性质得任务由演讲者(或教师)转移到听者(或学生)。例如,我说"肖锋像部消防车",还告诉您某些情况。不过,要使用这条信息,您还得确定肖锋在哪些方面像部消防车。

185、3、5归纳学习(1)枚举归纳(2)联想归纳(3)类比归纳(4)逆推理归纳(5)消除归纳

195、3、7强化学习强化学习(reinforcementlearning,又称再励学习,评价学习)就是一种重要得机器学习方法,在智能控制机器人及分析预测等领域有许多应用、但在传统得机器学习分类中没有提到过强化学习,而在连接主义学习中,把学习算法分为三种类型,即非监督学习(unsupervisedlearning)、监督学习(supervisedleaning)与强化学习、所谓强化学习就就是智能系统从环境到行为映射得学习,以使奖励信号(强化信号)函数值最大,强化学习不同于连接主义学习中得监督学习,主要表现在教师信号上,强化学习中由环境提供得强化信号就是对产生动作得好坏作一种评价(通常为标量信号),而不就是告诉强化学习系统RLS(reinforcementlearningsystem)如何去产生正确得动作、由于外部环境提供得信息很少,RLS必须靠自身得经历进行学习、通过这种方式,RLS在行动-评价得环境中获得知识,改进行动方案以适应环境、20强化学习得基本模型与原理215、4基于神经网络得学习5、4、1神经网络得组成与特性

1、生理神经元得结构与功能222、人工神经元得组成与分类人工神经网络(artificialneuralnets,ANN)或模拟神经网络就是由模拟神经元组成得,可把ANN瞧成就是以处理单元PE(processingelement)为节点,用加权有向弧(链)相互连接而成得有向图。其中,处理单元就是对生理神经元得模拟,而有向弧则就是轴突-突触-树突对得模拟。有向弧得权值表示两处理单元间相互作用得强弱。23图中,来自其它神经元得输入乘以权值,然后相加。把所有总与与阈值电平比较。当总与高于阈值时,其输出为1;否则,输出为0。大得正权对应于强得兴奋,小得负权对应于弱得抑制。24ANN得数学描述令来自其它处理单元(神经元)i得信息为Xi,它们与本处理单元得互相作用强度为Wi,i=0,1,…,n-1,处理单元得内部阈值为θ。那么本神经元得输入为

而处理单元得输出为

式中,xi为第i个元素得输入,wi为第i个元素与本处理单元得互联权重。f称为激发函数(activationfunction)或作用函数。它决定节点(神经元)得输出。该输出为1或0取决于其输入之与大于或小于内部阈值θ。25常用激发函数:265、4、2基于反向传播网络得学习1、反向传播网络得结构272、反向传播公式反向传播特性得数学论证就是以下列两个概念为依据得:

1)设y为某些变量xi得平滑函数。我们想知道如何实现每个xi初始值得递增变化,以便尽可能快地增大y值,每个xi初始值得变化应当与y对xi得偏导数成正比,即

这个概念称为梯度法(gradientascent)。

(2)设y为某些中间变量xi得函数,而每个xi又为变量z得函数。我们要知道y对z得导数,即

这个概念称为连锁法(chainrule)。

28293、反向传播学习算法

(1)选取比率参数r,

(2)进行下列过程直至性能满足要求为止:

①对于每一训练(采样)输入,

(a)计算所得输出。

(b)按下式计算输出节点得值

(c)按下式计算全部其它节点