第四章机器学习之关于学习和机器学习.ppt

1、第四章关于机器学习、4.1学习和机器学习，学习学习的定义是什么：通过与环境的对话，学习知识(专家系统研究者)，如婴儿走路、跑步等身体技能，学生学习外语、数学等。 在重复的工作中，改善系统的性能(Simon )，如运动员不断练习，提高自己的击中概率或加快速度。 机器学习的定义是，如果学习的主题是机器的话，这种学习就称为“机器学习”。 也就是研究使用计算机模拟人类学习活动的方法的学科。 机器学习研究的目标：人类学习过程的认知模型人类学习机制的研究。 通用学习算法通过研究人的学习过程，寻找适合一般应用的通用学习算法。 建立面向任务的专业学习体系解决专业实际问题。 2、机器学习的研究历史中存在符号逻辑

2、方法和神经网络两大流派。 神经网络方法是通过模仿神经系统结构调整神经耦合权重的方法来实现机器学习。 所谓符号逻辑方法，是以谓语逻辑和规则等符号表现的知识学习为目的。 第一阶段从20世纪50年代中期到60年代末，机器学习的第一个工作是从1957年罗森布拉特提倡的感知器开始，其基本思想是，系统由一系列的组件互连构成的网络，这些组件与神经元相似。 到1969年，明斯基和佩特里奥茨指出，两层探测器有很大的限制，神经网络的研究进入了低潮。 第二阶段从20世纪70年代到80年代，本阶段的研究根据符号表示建立人的学习模式，模拟人的概念学习过程。 有代表性的工作有温斯顿的拱形结构学习系统、米切尔的变形空间法等

3、。变形空间、变形空间(Version Space )方法以整个规则空间为初始的假设规则集合h。 根据训练例的信息，泛化或特化集合h，阶段性缩小集合h。 最后使h收敛于只包含要求的规则。 由于被搜索的空间h逐渐缩小，因此称为变形空间。变形空间、变形空间方法的初始g集合是最上面的点(最一般的概念)、初始s集合是最下面的直线上的点(训练修正示例)、初始h集合是整个规则空间。 在搜索过程中，g集分阶段向下移动(特化)，s集分阶段向上移动(泛化)，h分阶段缩小。 最后h收敛于只包含一个要求的概念。 变形空间的缺点，(1)抗干扰性差(2)不能学习提取概念，这一阶段后期的代表性工作：昆兰的决策树学习法ID3

4、，及其发展C4.5。 从夏皮罗的事例的逻辑程序归纳合成系统MIS。 在这个时期，机器学习的研究者意识到应用知识指导学习的重要性，开始将布坎纳、费尔根鲍姆的元代道尔、莉娜的AM等领域知识纳入学习系统。 后期昆兰的决策树学习法ID3，以及其发展C4.5。 从夏皮罗的事例的逻辑程序归纳合成系统MIS。 在这个时期，机器学习的研究者意识到应用知识指导学习的重要性，开始将布坎纳、费尔根鲍姆的元代道尔、莉娜的AM等领域知识纳入学习系统。 Meta-DENDRAL专家系统在对化学家确定有机物分子结构时的思考过程进行了详细研究后，对质谱材料进行了分析，建立了确定物质分子结构的DENDRAL系统。 该系统像化学

5、家一样，从分子式和质谱导出分子结构的基础上，开发元德拉尔系统，不仅将事先已知的规则应用于经验材料，还可以由观察到的材料构成新的规则。 Meta-DENDRAL系统发现了化学家以前不认识的一些化合物的质谱破坏规律。 这是自动构成理论的一个例子，非常接近人的真正创造活动。数学发现系统AM，发现学习是系统的初期知识和观察的数据，学习数学、物理和化学等方面的概念和规则。 也可以使用归纳推论，但是由于在学习过程中初期知识以外的教育者不进行指导，所以也是没有指导的归纳学习。 一个发现系统是数学发现系统，典型的系统是AM。 AM(Lenat，1976 )不是学习执行任务的概念，而是学习数学的概念。 用改进的

6、假设方法探索数学的概念空间。 AM开始运作时，知识库中有115个有限集合论的基本概念。 AM在运行时，收集概念的例子，创造新的概念，推测概念之间的联系。 在一些CPU时间运行中，发现了约200个新概念，其中约一半是有意义的。 例如自然数的概念。 另一个概念是自然数具有唯一的素数因子分解。 第三阶段是从20世纪80年代以后到现在，神经网络研究新兴起来，同时符号学习也转向了具有专业知识的增长型学习，因此出现了两种方法共同发展的局面。 这个阶段的代表性的工作是PAC可学习理论和其派生的修正算学习理论等。 PAC使得能够学习理论，并且假定x是实例空间，概念是x的子集。 实例若为概念则为正例，否则为负例

7、。 学习模式是概念类的有效可学习习性。 Valiant学习理论只是对目标概念的良好近似要求极高的概率。 学习者能够生成的概念描述与作为学习算法的输入关残奥词的目标概念稍有偏差。 另外，允许学习者失败的概率，这也是输入残奥仪表。 两个概念的差异用实例空间x中的分布概率d来评价： diffD(c1， c2)=D(x )，根据协议，只有在一个概念类c是可学习的并且有一个算法a的情况下，才能够利用协议来将机器学习分成根据学习的特定目的(其代表所有目标概念的c*C和所有分布d )的各种特定目的的学习有教师的学习，另外，3 .可以分为机器学习的分类标准，根据推论策略，机器学习又称机器学习，又称记忆学习，是

8、最简单的学习策略。 传授学习，又称指导学习。 演绎学习是指根据系统所给出的知识进行推论。 归纳学习是指使用归纳推理的方法进行学习。 类推学习是指应用以前解决类似问题的方法来解决目前面临的问题。 在机器学习的过程中，每当执行机构解决问题，系统就会记住这个问题及其解决方法。 以致动器为函数f，其输入为(x1，x2，xn )，其解为(y1，y2，ym )，联想对象为： (x1，x2，xn )，()的例如，考虑汽车修理成本估计系统的设定修正。 输入的信息包括制造商、发货日期、车型、汽车损坏的地方、损坏程度等，是有关要修理的汽车的说明。输出是该汽车的修理成本。 为了进行报价，系统必须在知识库中找到同一厂

9、家、同一发货日期、同一车型、同一损坏程度的汽车，并将相应的数据作为修理成本输出给用户。 如果找不到，必须重新估计，同时入库，以便将来检索和使用。 机器学习系统要考虑的问题是，只有在记忆结构基于知识的检索时间比重新修正运算所需的时间少时，机器学习才有实用价值。 为了快速访问基于知识的内容，需要合理地组织存储结构。 环境稳定性和保存信息的适用性如果环境发生快速变化，保存的知识和信息将无效或无法再利用。随时监视环境的变化，不断更新知识库中保存的信息和知识。 存储和校正的权衡利用还是重新校正存储在知识库中的信息权衡比较两者的成本。 传授式学习在使用传授式学习系统时，外部环境给系统提供的一般指示和建议，其表现方式与系统内部表现方式不完全一致，系统对外部知识进行一些推论、翻