第5讲-机器学习-PPT幻灯片

主要内容5.1机器学习的研究意义与发展史5.2机器学习的主要策略与基本结构5.3几种常用的学习方法15.1机器学习的研究意义与发展史机器能否象人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，可以在不断的对奕中改善自己的棋艺。起先，程序下不过设计者；后来，设计者下不过程序；再后来，程序还战胜了美国一个洲的冠军。下棋程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。5.1.1机器学习的定义和研究意义(1)

25.1机器学习的研究意义与发展史机器的能力是否能超过人呢？很多人认为：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。但是，对具备学习能力的机器来说，其能力可在应用中不断地提高，过一段时间之后，甚至设计者本人也不知它的能力达到了何种水平。5.1.1机器学习的定义和研究意义(2)

35.2机器学习的主要策略与基本结构学习是一项复杂的智能活动，学习过程与推理过程是紧密相连的。机器学习采用的策略大体分为四种：

1）机械学习；2）通过传授学习；

3）类比学习；4）通过事例学习等。此外，还有强化学习、基于神经元网络的学习、遗传算法、蚁群算法等高级的智能学习。学习中使用的推理越多，表明系统的学习能力越强。5.2.1机器学习的主要策略65.2机器学习的主要策略与基本结构西蒙的学习模型图5.1学习系统的基本结构5.2.2机器学习系统的基本结构（1）环境，知识库和执行部分决定了具体的工作内容最重要因素是：环境向系统所提供的信息质量优劣；知识库存放指导执行部分动作的一般原则。执行部分是整个学习系统的核心。75.2机器学习的主要策略与基本结构按照实现途径来分，可分为符号学习、连接学习、遗传算法学习等。

1.符号学习：采用符号表达的机制，使用相关的知识表示方法及学习策略来实施机器学习。根据机器学习使用的策略、表示方法及应用领域的不同，符号学习具体可分为：记忆学习、示教学习、演绎学习、类比学习、示例学习、发现学习、解释学习等类型。5.2.3机器学习分类85.2机器学习的主要策略与基本结构

2.连接学习连接学习即基于神经元网络的机器学习。神经计算连接的模型是一种非符号的、并行的、分布式的处理机制。比较有名的神经网络模型和学习算法有：感知机、Hopfield模型和反向传播BP网络算法等。5.2.3机器学习分类95.2机器学习的主要策略与基本结构

3.遗传算法学习遗传算法模拟了生物的遗传机制和生物进化的自然选择：适者生存，优胜劣汰。遗传算法适用于非常复杂的环境，诸如带有大量噪音和无关数据的不断更新的事物，不能明显和精确定义的目标，以及通过很长执行过程才能确定当前行为的价值等。5.2.3机器学习分类105.3几种常用的学习方法

1.机械记忆学习模式：机械学习是最简单的机器学习方法——记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。机械学习是最基本的学习过程，因为任何学习系统都必须记住它们获取的知识。对于其它学习系统，需要对各种建议和训练例子等信息进行加工处理后，才能存储起来。5.3.1机械学习11当系统的执行部分解决好问题之后，系统就记住该问题及其解把学习系统的执行部分抽象地看成某个函数，如自变量输入值(X1,X2,…,Xn)之后，计算并输出函数值(Y1,Y2,…,Yp)。机械学习在存储器中简单地记忆存储对((X1,X2,…,Xn),(Y1,Y2,…,Yp))。其学习模式如下：5.3.1机械学习1.机械记忆学习模式：12

2.机械学习模式的图示：例如，考虑一个确定受损汽车修理费用的汽车保险程序。在机械学习中只须记忆计算的输入输出，忽略计算过程，从而可把计算问题化简成存取问题，如图示5.3几种常用的学习方法5.3.1机械学习135.3几种常用的学习方法机械学习需要注意3个重要问题

(a)存储组织信息采用适当的存储方式，使检索速度尽可能地快。数据存储方式，如索引、排序、杂凑等等。

(b)环境的稳定性与存储信息的适用性问题在急剧变化的环境下机械学习策略是不适用的。某一时刻存储的信息必须适用于后来的情况。

(c)存储与计算之间的权衡机械学习不能降低系统的效率。比方说，如果检索一个数据比重新计算一个数据所花的时间还要多，那么机械学习就失去了意义。5.3.1机械学习145.3几种常用的学习方法

3.

机械学习应用举例例如，某大学开发的建筑工程预算软件系统中采用的就是机械学习策略，成功解决了工程预算中较难处理的图集问题。建筑工程预算的工作量大，要求高。如，一份3000m2的民用建筑，一个技术人员手工编制预算需要15天至20天，加上工料分析，费用计算等等，需要近一个月时间，而且容易出错，影响预算的质量，造成资金、人员和材料的浪费与损失。5.3.1机械学习155.3几种常用的学习方法存在困难原因：设计图纸上的数据与初始输入数据之间存在着很大的差距，只有形成计算机可接受的初始输入，才能开始计算。设计图纸中出现的大量的门窗及预制件型号。工程技术人员需要不断查阅有关资料，决定这些预制件所需工时及材料。5.3.1机械学习165.3几种常用的学习方法一般来说，在建筑工程图纸上，并不画出具体的窗子和门，只标明窗子和门的型号。预算时，只要数出各种窗子和门分别有多少个，然后根据标准图集查出每种窗子和门各需多少原材料及人工，即可求出建造门窗所需总的建筑材料及费用。学习方法是：当程序运行中遇见未曾装入的门窗型号或预制构型号时，不是停下来待装入后重新计算，而是向用户提出询问。根据用户提供的数据，按照标准构件计算所需材料及人工成本，并保存起来。以后再遇见同种型号的标准构件，建筑工程系统只要通过检索就能得出最终预算结果，从而方便了用户，缩短了运行时间。

5.3.1机械学习17教师向学生提供先例，让学生练习，并期望学生在练习后能够发现一般原理。让机器设法找出先例与练习间的因果关系，并应用先例去处理练习，把工作上升为原理，然后把这些原理存储起来供需要时检索调用。例：一个关于Greed(贪婪)的学习方法。

这是一个关于一位软弱贵族与一位贪婪（Greed）女人的练习。该贵族与该女人结了婚。解释一下为什么这位贵族很可能想当国王。5.3几种常用的学习方法5.3.2基于解释的学习基本原理：18贪婪女人wants王后贪婪女人19邓肯is国王麦克佩斯is贵族已知一些事实如下：麦克佩斯夫人is贪婪女人201.归纳学习系统的模型可形式化地描述为使用训练实例，从而导出一般规则的搜索问题。全体可能的实例构成实例空间，全体可能的一般规则构成规则空间，归纳的过程就是完成实例空间与规则空间之间协调的搜索比较过程。归纳学习的“双空间”模型可表示为下图的形式。5.3几种常用的学习方法5.3.3归纳学习实例空间规则空间解释过程

实验规则

21

2.归纳学习的一般模式:

⑴

一组从观测得出的陈述事实E，即获得关于对象的情况及过程等的知识表示；

⑵

一个试探性的归纳断言（可能不成立而为空）；

⑶

背景知识，包括有关领域知识、对于上述E的约束条件、假定、可供参考的归纳断言以及表征该断言期望性质的参考准则等。求：归纳断言(假说)H，使重言地蕴涵或弱蕴涵事实集E，并满足背景知识。5.3几种常用的学习方法5.3.3归纳学习223.归纳学习方法包括两类：

（1）示例学习(Learningfromexamples)，也称实例学习通过环境取得的若干实例中，包括从相关的正例和反例中归纳出一般性概念或规则的方法。（2）发现学习观察取自于有关环境的大量数据、实例以及经验数据的了解与分析；发现即经过搜索而归纳出规则。这是一种没有教师指导的归纳学习，其学习形式包括概念聚类、结构分类、数据拟合、发现自然定律以至建立系统行为的理论。5.3几种常用的学习方法5.3.3归纳学习231.示例概念学习针对产生概念的正例集合与反例集合，由归纳推理，得出覆盖所有正例并排除所有反例的概念描述，并可用规则形式或决策树的方法来表示这种概念的描述。例如，要让示例学习系统学到关于虎的概念，可以先提供给程序以各种动物，概括出虎的概念模型和类型定义。利用这个类型定义，就可作为动物世界中识别虎的分类准则。这种构造类型定义的学习，又称为概念学习。5.3几种常用的学习方法5.3.4示例归纳学习242.示例归纳学习举例示例学习不仅可以学习概念,也可获得规则，可以看作是实例空间和规则空间相互作用的过程。例如，给出肺炎与肺结核两种病的一些病例,构成实例空间。每个病例都含有五种症状:发烧(无、低、高),咳嗽(轻度、中度、剧烈),X光所见阴影(点状、索条状、片状、空洞),血沉(正常、快),听诊(正常、干鸣音、水泡音)。5.3几种常用的学习方法5.3.4示例归纳学习252.示例归纳学习举例：肺炎和肺结核的部分病例集见下表。表5-2肺病实例集

5.3.4示例归纳学习

症状病例号

发烧咳嗽X光所见血沉听诊肺结核12345无高低无低轻微剧烈轻微轻微中度索条状空洞索条状点状片状正常快正常快快正常干鸣音正常干鸣音正常肺炎12345高中度低高中度剧烈剧烈轻微中度轻微片状片状点状片状片状正常正常正常正常正常水泡音水泡音干鸣音水泡音水泡音262.示例归纳学习举例：通过上述示例学习得到如下诊断规则：⑴血沉=正常∧(听诊=干鸣音∨水泡音)→诊断=肺炎⑵血沉=快→诊断=肺结核于是从病例中归纳，产生了诊断规则。即实现了实例空间到规则空间的作用过程。8.3几种常用的学习方法8.3.4示例归纳学习27新的研究领域-流形学习28流形学习问题29几种流形学习算法局部线性嵌入(LLE).S.T.RoweisandL.K.Saul.Nonlineardimensionalityreductionbylocallylinearembedding.Science,vol.290,pp.2323--2326,2000.

等距映射(Isomap).J.B.Tenenbaum,V.deSilva,andJ.C.Langford.Aglobalgeometricframeworkfornonlineardimensionalityreduction.Science,vol.290,pp.2319--2323,2000.

拉普拉斯特征映射(LaplacianEigenmap).M.Belkin,P.Niyogi,LaplacianEigenmapsforDimensionalityReductionandDataRepresentation.NeuralComputation,

Vol.15,Issue6,pp.1373–1396,

2003.

30LLE算法示意图31测地距离估计32相关研究33周志华

1973年11月生。分别于1996年6月、1998年6月和2000年12月于南京大学计算机科学与技术系获学士、硕士和博士学位。2001年1月起留校任教。2002年3月破格晋升副教授，2003年11月被聘任为教授，2004年4月获博士生导师资格。2003年获国家杰出青年科学基金，2006年入选教育部长江学者特聘教授。现任人工智能教研室主任、机器学习与数据挖掘(LAMDA)研究组负责人。目前主要从事人工智能、机器学习、数据挖掘、信息检索、模式识别、演化计算、神经计算等领域的研究工作。曾主持过多项科研课题的研究工作，在重要国际学术期