人工智能cha课件

1、人工智能人工智能cha1 1第五章 知 识 学 习 内容提要：u知识学习概念、原理及分类 u神经网络学习 u神经网络模型 u知识发现与Agent技术人工智能人工智能cha2 2 Hopfield神经网络1982年和1984年，美国加州理工学院物理学家霍普菲尔德(J.J.Hopfield)在神经网络建模及应用方面取得了开创性研究成果，先后提出了离散型Hopfield神经网络和连续型Hopfield神经网络，引入“计算能量函数”的概念，给出了网络稳定性判据，尤其是给出了Hopfield神经网络的电子电路实现，为神经计算机的研究奠定了基础，同时开拓了神经网络用于联想记忆和优化计算的新途径，从而有力地

2、推动了神经网络的研究。这两种模型是目前最重要的神经优化计算模型之一。人工智能人工智能cha3 3 Hopfield神经网络Hopfield神经网络无论是是离散型，还是连续型，都是反馈网络结构。下图给出了一个简单的反馈神经网络图。人工智能人工智能cha4 4 离散型Hopfield神经网络离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用1和0来表示，由连接权值ij所构成的矩阵是一个对角线为0的对称矩阵。离散型Hopfield神经网络的结构：人工智能人工智能cha5 5 离散型Hopfield神经网络n网络的稳定性：网络的稳定性：由于在反馈网络中，网络的输出要反复地作为输入再送入网络

3、中，这就使得网络具有了动态性，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。所谓一个网络是稳定的是指从某一时刻开始，网络的状态不再改变。 v连接权值构成的矩阵是非负对角元的对称矩连接权值构成的矩阵是非负对角元的对称矩阵，该网络就具有串行稳定性；阵，该网络就具有串行稳定性；v若该矩阵为非负矩阵，则该网络就具有并行若该矩阵为非负矩阵，则该网络就具有并行稳定性。稳定性。 人工智能人工智能cha6 6 连续型Hopfield网络1984年，Hopfield又提出了连续时间的神经网络，在这种神经网络中，各节点可在0到1的区间内取任一实数值。连续型Hopfield网络神经元电路模型:人工智能人

4、工智能cha7 7 连续型Hopfield网络n连续型连续型HopfieldHopfield网络的特征网络的特征: :v神经元的传输特性具有神经元的传输特性具有S S特性；特性；v细胞具有时空整体作用；细胞具有时空整体作用；v神经元之间存在的兴奋和抑制性联结通过反馈来实神经元之间存在的兴奋和抑制性联结通过反馈来实 现；现；v既有代表产生动作电位的神经元，又有代表按渐进既有代表产生动作电位的神经元，又有代表按渐进方式工作的神经元的能力方式工作的神经元的能力，准确地保留了生物神经网准确地保留了生物神经网络的动态和非线性特征，有助于理解大量神经元之间络的动态和非线性特征，有助于理解大量神经元之间的协

5、同作用是如何产生巨大的计算能力的。的协同作用是如何产生巨大的计算能力的。v通过能量函数，使得通过能量函数，使得HopfieldHopfield具有自动求极小值的具有自动求极小值的计算功能。计算功能。人工智能人工智能cha8 8 5.4 知识发现与Agent技术知识发现的过程 知识发现的方法知识发现中的数据挖掘技术 Agent技术人工智能人工智能cha9 9 5.4.1 知识发现的过程n简史：简史：l知识发现是1989年8月在美国底特律举行的第11届国际人工智能联合会议上提出来的。l1991、1993和1994年又举行了KDD专题讨论会。从1995年以来，每年举办一次KDD国际会议。l1997年

6、，国际专业杂志Knowledge Discovery and Data Mining问世。l随着互联网的发展，网上已设立了不少研究KDD的网站、论坛和新闻报导。在这些研究的基础上，产生了一些KDD产品和应用系统，并引起企业界的关注。人工智能人工智能cha10105.4.1 知识发现的过程n定义定义: : 从大量数据集中辨识出有效的、新颖的、潜在有从大量数据集中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高级处理过程。用的、并可被理解的模式的高级处理过程。n知识发现过程：知识发现过程：数数据据选选择择目目标标数数据据数数据据预预处处理理原原始始数数据据预预处处理理后后数数据据数数据据变变

7、换换变变换换后后数数据据数数据据挖挖掘掘提提取取信信息息知知识识评评价价有有用用知知识识人工智能人工智能cha1111 5.4.2 知识发现的方法n统计方法：统计方法：n机器学习方法机器学习方法n神经计算方法神经计算方法n可视化方法可视化方法人工智能人工智能cha1212 1.统计方法从事物数量上的外在表现去推断该事物的可能规律性：从事物数量上的外在表现去推断该事物的可能规律性：v传统方法：主要研究渐近理论，即当样本趋向于无穷传统方法：主要研究渐近理论，即当样本趋向于无穷多时的统计性质。主要考虑测试预想的假设是否与数据模多时的统计性质。主要考虑测试预想的假设是否与数据模型拟合，它依赖于显式的基

8、本概率模型。处理过程分三个型拟合，它依赖于显式的基本概率模型。处理过程分三个阶段：阶段：l搜集数据：采样、实验设计。搜集数据：采样、实验设计。l分析数据：建模、知识发现、可视化。分析数据：建模、知识发现、可视化。l进行推理：预测、分类。进行推理：预测、分类。常用方法有回归分析、判别分析、聚类分析及探索性常用方法有回归分析、判别分析、聚类分析及探索性分。分。人工智能人工智能cha1313 1.统计方法v模糊集：表示和处理不确定性数据的重要方法，它不模糊集：表示和处理不确定性数据的重要方法，它不仅可以处理不完全数据、含噪或不精确数据，而且在仅可以处理不完全数据、含噪或不精确数据，而且在开发数据的不

9、确定性模型方面十分有效，性能比传统开发数据的不确定性模型方面十分有效，性能比传统方法更灵巧、更平滑。方法更灵巧、更平滑。v支持向量机：建立在钟支持向量机：建立在钟聲聲挚习理结构风险最小化原则挚习理结构风险最小化原则之上的，其主要思想是针对两类分类问题，在高维空之上的，其主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的间中寻找一个超平面作为两类的分割，以保证最小的分类错误率。分类错误率。SVMSVM的一个重要优点是可以处理线性不可的一个重要优点是可以处理线性不可分的情况。分的情况。v粗糙集粗糙集 ：由波拉克由波拉克(Pawlak)(Pawlak)在在198219

10、82年提出，用于处理年提出，用于处理含糊性和不确定性问题。与模糊集一样，它常与规则含糊性和不确定性问题。与模糊集一样，它常与规则归纳、分类和聚类方法结合起来使用，很少单独使用。归纳、分类和聚类方法结合起来使用，很少单独使用。人工智能人工智能cha1414 2.机器学习方法v规则归纳：规则反映数据项中某些属性或数据集中某些规则归纳：规则反映数据项中某些属性或数据集中某些数据项之间的统计相关性。数据项之间的统计相关性。 v决策树：决策树的每一个非终端叶结点表示所考虑数据决策树：决策树的每一个非终端叶结点表示所考虑数据项的测试或决策。一个确定分枝的选择取决于测试的结项的测试或决策。一个确定分枝的选择

11、取决于测试的结果。为了对数据集分类，从根结点开始，根据判定自顶果。为了对数据集分类，从根结点开始，根据判定自顶向下，趋向终端叶结点。当到达终端叶结点时，决策树向下，趋向终端叶结点。当到达终端叶结点时，决策树生成。生成。v范例推理范例推理：直接使用过去的经验或解法来求解给定问题。直接使用过去的经验或解法来求解给定问题。v科学发现：在实验环境下发现科学定律。科学发现：在实验环境下发现科学定律。v遗传算法：在问题求解过程中，通过最好解的选择和彼遗传算法：在问题求解过程中，通过最好解的选择和彼此组合，使期望解的集合越来越好。在数据挖掘中，遗此组合，使期望解的集合越来越好。在数据挖掘中，遗传算法用来形成

12、变量间依赖关系的假设。传算法用来形成变量间依赖关系的假设。人工智能人工智能cha1515v神经网络的并行分布式信息处理与学习能力，可以作为神经网络的并行分布式信息处理与学习能力，可以作为知识发现的手段。常用的神经计算模型有多层感知机、知识发现的手段。常用的神经计算模型有多层感知机、BPBP网络模型和网络模型和HopfieldHopfield网络等。网络等。 3.神经计算方法 4. 4.可视化方法可视化方法v可视化可视化( Visualization)( Visualization)就是把数据、信息和知识转化就是把数据、信息和知识转化为可视表示的过程。快速图形处理器和高分辨率彩色显为可视表示的过

13、程。快速图形处理器和高分辨率彩色显示器的发展更提高了人们对信息可视化的兴趣和信心。示器的发展更提高了人们对信息可视化的兴趣和信心。使用有效的可使用有效的可视视化界面，可以快速、高效地与大量数据化界面，可以快速、高效地与大量数据打交道，以发现其中隐藏的特征、关系、模式和趋打交道，以发现其中隐藏的特征、关系、模式和趋势等。势等。人工智能人工智能cha1616 5.4.3 知识发现中的数据挖掘技术n数据挖掘及其研究内容数据挖掘及其研究内容 n数据挖掘分类数据挖掘分类 n数据挖掘的模型与算法数据挖掘的模型与算法 n数据挖掘工具数据挖掘工具 人工智能人工智能cha1717 1、数据挖掘及其研究内容n定义

14、定义: :从技术上：从大量的、不完全的、有噪声的、模糊的、随从技术上：从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含的、事先不知道的、但机的实际应用数据中，提取隐含的、事先不知道的、但又是潜在有用的信息和知识。又是潜在有用的信息和知识。 从商业上：数据挖掘是一种新的商业信息处理技术，其主从商业上：数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和模型化处理，从中提取辅助决策的关键性数换、分析和模型化处理，从中提取辅助决策的关键性数据。据。人工智能人工智能cha18182、数据挖

15、掘分类v根据挖掘对象，数据库分为根据挖掘对象，数据库分为: : 关系数据库、面向对象数据库、空间数据库、时态数据库、关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库，文本数据源、多媒体数据库、异质数据库、遗产数据库，以及万维网。以及万维网。v根据挖掘任务，知识发现任务分为：根据挖掘任务，知识发现任务分为： 分类或预测模型知识发现、数据总结、数据聚类、关联规分类或预测模型知识发现、数据总结、数据聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等。和趋势发现等。v根据挖掘方

16、法分：根据挖掘方法分：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法、机器学习方法、神经网络方法和数据库方法。 v根据系统应用分：根据系统应用分：金融、电信、商业预测等。金融、电信、商业预测等。人工智能人工智能cha1919 3、数据挖掘模型与算法v人工神经网络人工神经网络 v决策树决策树 v回归分析回归分析 v遗传算法遗传算法 v邻近算法邻近算法v模糊逻辑模糊逻辑 v规则推理规则推理人工智能人工智能cha2020（1 1）人工神经网络）人工神经网络 人工神经网络是一种仿照生物神经网络结构而建立的非线形预测模型，是数据挖掘中比较常用的模型与算法。使用人工神经网络时需要注意的几点事项

17、： 神经网络很难解释，目前还没有能对神经网络做出显而易见解释的方法学。神经网络会学习过度，在训练神经网络时一定要恰当的使用一些能严格衡量神经网络的方法，如测试集方法和交叉验证法等。除非问题非常简单，训练一个神经网络可能需要相当长的时间才能完成。建立神经网络需要做的数据准备工作量很大。 3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2121（2 2）决策树）决策树决策树是一种展示类似“在什么条件下会得到什么值”这类规则的方法。比如，在贷款申请中，要对申请的风险大小做出判断，下图（图10.1）是为了解决这个问题而建立的一棵决策树 。3、数据挖掘模型与算法数据挖掘模型与算法人工智能人

18、工智能cha2222 数据挖掘中决策树是一种经常要用到的技术，可以用于对数据进行分析，同样也可以用来对某些事情进行预测。 建立决策树的过程，即树的生长过程是不断的把数据进行分组的过程，每次分组对应一个问题，也对应着一个节点。每次分组都要求所分得的组之间的“差异”最大。各种决策树算法之间的主要区别就是对这个“差异”衡量方式的区别。 决策树的优点是需要的计算资源较少，而且可以很容易的处理包含很多预测变量的情况。决策树擅长处理非数值型数据。 3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2323（3）回归分析 回归分析是通过具有已知值的变量来预测其他变量的值。最简单的情况是采用最小二

19、乘法线性回归技术。但大多数现实世界中的问题是不能用简单的线性回归技术来预测的，如商品的销售量、股票价格、产品合格率等,很难找到简单有效的方法来预测，因为要描述这些事件的变化所需的变量往往以上百计，且这些变量本身又都是非线性的。为此人们又发明了许多新的手段来试图解决这个问题，如逻辑回归、多项数回归、对数回归、泊松回归等 。3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2424（4 4）遗传算法）遗传算法GA(Genetic Algorithm)GA(Genetic Algorithm)本质上是一种不依赖具体问题的直接搜索方法。是一种基于进化理论，并采用自然选择、遗传交叉（或结合）

20、及遗传变异等设计方法的优化技术。 在执行遗传算法之前，给出一群“染色体”(以二进制编码串的形式表示)，也即是假设解。然后，把这些假设解置于问题的“环境”中，并按适者生存的原则，从中选择出较适应环境的“染色体”进行复制，再通过交叉、变异过程产生更适应环境的新一代“染色体”群。这样，一代一代地进化，最后就会收敛到最适应环境的一个“染色体”上，它就是问题的最优解。 3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2525遗传算法在模式识别、神经网络、图像处理、机器学习、工业优化控制、自适应控制、生物科学、社会科学等方面都得到应用。尽管如此，遗传算法还存在许多不足之处，还有大量的问题需要

21、研究：l在变量多、取值范围大或无给定范围时，收敛速度下降；l可找到最优解附近，但却无法精确确定最优解的位置；l遗传算法的参数选择尚未有定量方法；l对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。 3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2626（5 5）邻近算法）邻近算法 邻近算法是一种将数据集合中每一个记录进行分类的方法。这种分类方式是通过查询已知类似的例子的情况，来判断新例子与已知例子是否属于同一类。尽管邻近算法存在许多变种，但其一般思路是: 首先存储全部（或选择部分

22、）训练例子,再对测试例子，通过相似性函数计算它与所存储的训练例子的距离以决定类别的归属。 KNN就是一种邻近学习算法，它通过选择与测试例子最近的K个训练例子来实现。其中测试例子的类别通常是这K个例子中出现最多的类别。3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2727（6 6）模糊逻辑）模糊逻辑 模糊逻辑使用0.00.1间的一个数值来表示某一数据在一定程度上属于某一类 。一般情况下，在基于规则的系统中使用模糊逻辑时，要考虑以下问题：如何将连续的属性值转换成模糊值，也就是说，如何将连续的属性值映射到离散的分类上。如果有多个模糊逻辑规则时，如何选择可启用的规则。 （7 7）规则推

23、理）规则推理 规则推理是从统计意义上对数据中的“如果-那么”规则进行寻找和推导。它主要用于从数据库中挖掘所有的关联规则，是规则性知识发现的最有效方法。 3、数据挖掘模型与算法数据挖掘模型与算法人工智能人工智能cha2828 4、数据挖掘工具(1)金融业金融业 (2)保险业保险业 (3)制造业制造业 (4)市场和零售业市场和零售业 (5)医疗业医疗业 (6)司法司法 (7)工程与科学工程与科学人工智能人工智能cha2929 5.4.4 Agent技术Agent技术的形成与发展Agent理论与技术研究最早源于分布式人工智能(DAI, Distributed Artificial Intelligence)，并可追溯到1977年Hewitt提出的并发Actor模型， Actor模型可能是最早出现的智能Agent。20世纪90年代之前，有关分布式人工智能的研究热点主要集中在解决支持分布式协同工作的“宏”问题 。如智能Agent间的交互作用和通信、任务的分解和分配、协调和合作、协商解决冲突等，目的是探索由多个协作的智能Agent构建分布式问题求解系统的方法和技术。 进入20世纪90年代，人们对智能Agent的行为理论、体系结构和相互间通信语言进行深入研究，开展了一些旨在发挥个体能力的多类型智能Agent的工作。人工智能人工智能cha3030nAgent的定义：的定义：“弱定义”，从