人工智能原理及MATLAB实现 教案全套 许国根 第1-7章 概述、机器学习- 图像处理与识别技术

《人工智能算法》课程教案教学目的、要求：1.掌握人工智能的定义，了解人工智能的发展史2.掌握人工智能的技术特征3.了解计算模拟、研究与应用领域4.掌握人工智能的知识获取教学重点及难点：重点：人工智能的技术特征难点：人工智能的知识获取教学基本内容教学过程设计§1概述§1.1人工智能的定义与发展由于不同科学或学科背景的学者对人工智能有不同的理解，所以提出了许多不同的观点。1978年帕特里克·温斯顿（P.Winston）：“人工智能是研究使计算机更灵活有用，了解使智能的实现成为可能的原理。因此，人工智能研究结果不仅是使计算机模拟智能，而且是了解如何帮助人们变得更有智能”。1981年巴尔（A.Barr）和爱德华·费根鲍姆（E.Feihenbum）：“人工智能是计算机科学的一个分支，它关心的是设计智能计算机系统，该系统具有通常与人的行为相联系的智能特征，如了解语言、学习、推理、问题求解等。”1983年伊莱恩·里奇（ElaineRich）：“人工智能是研究怎样让计算机模拟人脑从事推理、规划、设计、思考、学习等思维活动，解决至今认为需要由专家才能处理的复杂问题。”1987年迈克尔·杰纳西雷斯（M.Genesereth）和约翰·尼尔森（J.Nilsson）：“人工智能是研究智能行为的科学，它的最终目的是建立关于自然智能实体行为的理论和指导创建具有智能行为的人工制品。这样一来，人工智能有两个分支，一个为科学人工智能，另一个为工程人工智能。”近年来，许多人工智能和智能系统研究者认为：人工智能（学科）是智能科学中涉及研究、设计及应用智能机器和智能系统的一个分支，而智能科学是一门与计算机科学并行的学科。知识表示、知识利用和知识获取是人工智能的三个基本问题。§1.2人工智能的技术特征人工智能作为一门科学，具有其独特的技术特征，主要表现以下几个方面。利用搜索、利用知识、利用抽象、利用推理、利用学习、遵循有限合理性原则。§1.3人类智能的计算机模拟计算机对人脑的模拟是先从数值计算开始。然而人类最主要的智力活动并不是在数值计算，而是在逻辑推理。由于逻辑推理与人类智能都是物理符号系统，所以可以编写计算机程序去模拟人的许多智能功能，如下棋、证明定理、翻译语言等。§1.4人工智能的研究与应用领域人工智能在自然语言处理、自动定理证明、智能检索、机器学习、专家系统、计算智能、人工智能方法、模式识别、视觉系统等领域都有广泛的研究与应用。§1.5人工智能之知识获取机器获取知识的方法和途径可分为三类。人工移植。人工移植是依靠人工智能系统的设计师、知识工程师、程序员、专家或用户，通过系统设计、程序编制及人机交互或辅助工具，将人的知识移植到机器的知识库中，使机器获取知识。机器学习。机器学习就是人工智能系统在运行过程中，机器通过学习，获取知识，进行知识积累，对知识库进行增删、修改、扩充与更新。机器感知。所谓机器感知是人工智能系统在调试或运行过程中，通过机器视觉、机器听觉、机器触觉等途径，直接感知外部世界，输入自然信息，获取感性和理性知识。3min引入：通过对现实生活人工智能应用实例引入。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚技术特征10min强调：引导学生思考模拟的原理，触类旁通。分析：技术特征与应用领域的关系。注意过渡：动画演示：课堂互动：对先修的基础知识进行提问、回顾、引导。20min举例分析：分析要点：。对人工智能知识获取的原则进行分析。让学生进行总结：深刻理解人工智能作业、讨论题、思考题：机器学习结合你的研究领域有何种应用？教学反思： 《人工智能算法》课程教案教学目的、要求：1.了解机器学习的概述2.掌握机器学习的主要策略和基本结构3.了解机器学习算法4.掌握贝叶斯网络算法教学重点及难点：重点：机器学习的主要策略和基本结构难点：机器学习算法的原理教学基本内容教学过程设计§2机器学习§2.1机器学习概述学习是人类具有的一种重要智能行为。通过学习人类不断取得科学与工程上的突破，同时也不断提高自身的智力水平。人类一直试图让机器具有智能，也就是人工智能。当机器具备了学习能力（机器学习），能自动获取知识时就完全与人类似。§2.2人工智能的技术特征不同的分类标准对机器学习方法有不同的分类。（1）按任务类型机器学习模型可以分为回归模型、分类模型和结构化学习模型。（2）按方法的角度分机器学习可以分为线性模型和非线性模型。（3）按学习理论分机器学习模型可以分为有监督学习、半监督学习、无监督学习、迁移学习和强化学习。§2.3机器学习的主要策略与基本结构§2.3.1机器学习的主要策略学习是一项复杂的智能活动，学习过程与推理过程紧密相连。根据学习中使用推理的多少，机器学习的策略可以分为机械学习、示教学习、类比学习和示例学习。学习中所用的推理越多，系统的能力就越强。§2.3.2机器学习的基本结构影响学习系统设计的最主要因素是环境向系统提供的信息的质量。知识库是影响学习系统设计的第二个因素。知识的表达有多种形式，例如特征向量、一阶逻辑语句、产生式规则、语义网络和框架等。这些表示方式各有特点，在选择表示方式时要兼顾以下四个方面：（1）表达能力强，即表达方式能很容易表达有关的知识。（2）易于推理，即表达方式能使推理较为容易。（3）容易修改知识库。（4）知识易于扩展。§2.4机器学习算法机器学习是一些算法的总称，这些算法企图从大量历史数据中挖掘出其中隐含的规律，并用于预测或分类。更具体的说，机器学习可以看作是寻找一个函数，输入是样本数据，输出是期望的结果，只是这个函数过于复杂，以至于没有明确的数学表达式。机器学习的目标是使寻找到的函数能不仅在训练样本上表现很好，而且也能很好地适用于新样本，即很好的泛化能力。机器学习的基本步骤如下：①选择一个适合的模型。②判断一个函数的好坏。③找到最好的函数。④检验。§2.4.1决策树算法决策树利用特殊的树形的决策模型来进行辅助决策，是模式识别中进行分类的一种有效的方法。利用树分形器可以把一个复杂的多类问题转化为若干个简单分类问题来解决。决策树是一种单分类器的分类技术，也是机器学习中的一种经典算法。一棵决策树的内部结点是属性或者属性的集合，而叶结点就是学习划分的类别或结论，内部结点的属性称为测试属性或分裂属性。决策树基本算法ID3算法C4.5算法CART算法决策树的评价标准对于一个决策树算法，可以用以下一些性能或指标进行评价。正确性、过学习、有效性、交叉有效性、余一有效性、复杂度。§2.4.2贝叶斯网络算法贝叶斯理论是一种研究不确定性的推理方法。不确定性常用贝叶斯概率表示，它是一种主观概率。通常的经典概率代表事件的物理特性，是不随人的意识变化的客观存在，而贝叶斯概率则是人的认识，是个人主观的估计，随个人的主观认识的变化而变化。如在投掷硬币的实验中，贝叶斯概率是指个人相信硬币会正面向上的程度。使用p(X=x|A)或者p(x|A)表示给定知识A下的情形下对事件X=x的相信程度，即贝叶斯概率，它同时也是X的分布或分布密度。常用三种不同的方式来构造贝叶斯网络。（1）由邻域专家确定贝叶斯网络的变量（有时也称为影响因子），然后通过专家的知识来确定贝叶斯网络的结构，并指定它的分布参数。（2）由领域专家确定贝叶斯网络的特点，通过大量的训练数据，来学习贝叶斯网络的结构与参数。机器学习的不断发展，使得这种方法更加普及。（3）由领域专家确定贝叶斯网络的特点，通过专家的知识来指定网络的结构，再通过机器学习的方法从数据中学习网络的参数。§2.4.3支持向量机算法与神经网络相比，SVM有坚实的统计学基础，它具有以下的优点：（1）以结构风险最小原理为基础，减少推广错误的上界，具有很好的推广性能，解决了神经网络的过拟合问题。（2）问题的求解等价于线性约束的凸二次规划问题，具有全局最优解，解决了神经网络的局部极小问题。（3）把原问题映射到高维空间，通过在高维空间构造线性分类函数来实现原问题的划分，引入核函数，解决了维数灾难问题。§2.4.4K近邻分类算法近邻法是在数据挖掘中使用最早的技术之一。其基本思想是为了预测一个记录中的预测值，或在历史数据库中寻找有相似预测值的记录，可以使用未分类记录中最接近的记录值作为预测值，也即相互之间接近的对象会有相似的预测值。§2.4.5模糊聚类算法模糊聚类预测模型就是用模糊数学的方法对样本进行分类，用聚类分析来实现预测。其基本思想是：把由待预测量和影响待预测量的环境因素的历史值所构成的样本按一定的方法进行分类，形成各类的环境因素特征和待预测量变化模式，这样在待预测时段的环境状态为已知点时，通过该环境与各历史环境特征的比较，判断出待预测量的环境与哪个历史类最为接近，进而找出受环境影响的待预测量也与该历史类所对应的预测变量同变化模式，从而达到预测的目的。§2.4.6随机森林算法随机森林的构建过程主要分为三步，即生成森林、决策分类和算法的产生。§2.4.7集成学习集成学习模型是机器学习的一种经典算法，属于监督学习的一种模式。主要形式是通过将几个弱学习器串行结合形成强学习器而进行使用，能够很好的平衡模型的偏差和方差，学习训练效果好，应用的领域也比较广泛，因此这类模型在这几年里得到迅速发展。§2.4.8期望最大化（EM）算法期望最大化算法是1977年提出的，它是一类通过迭代计算进行极大似然估计的优化算法，算法的每次迭代都包含一个期望步骤（ExpectationStep）和一个最大化步骤（MaximizationStep）。该算法的目的是解决不完全数据的极大似然估计问题。不完全数据是指含有隐变量的数据和缺失数据。当要对含有隐变量的数据或缺失数据进行极大似然估计时，传统的极大似然估计方法已经不能发挥作用，而使用EM算法可以很好的解决该问题。3min引入：通过对科研领域的机器学习的实际应用引入。内容设计思路：对课堂内容进行分析，引导学生了解机器学习结构之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚机器学习的基本步骤10min强调：引导学生思考机器学习的原理，触类旁通。分析：重点分析决策树算法的原理。注意过渡：动画演示：20min举例分析：分析：重点分析贝叶斯网络算法的原理。分析要点：贝叶斯算法的数学逻辑。让学生进行总结：深刻理解人工智能分析：简要分析K近邻分类算法的原理。分析：简要分析模糊聚类算法的原理。分析：简要分析随机森林算法的原理。分析：简要分析集成学习的原理。分析：简要分析期望最大化（EM）算法的原理。作业、讨论题、思考题：1.利用C4.5算法对matlab中的意大利酒数据库数据wine_dataset进行分析。2.对μ、σ分别为[00;24;-23],[0.80.1;0.41.3;2.41.3]所产生的随机高斯分布数进行EM算法分析。教学反思：《人工智能算法》课程教案教学目的、要求：1.掌握人工神经网络的基本原理2.掌握人工神经网络的结构形式3.了解神经网络模型的分类4.了解人工神经网络学习算法，掌握典型的人工神经网络5.掌握人工神经网络的matlab实战的基本技巧与方法教学重点及难点：重点：人工神经网络的基本原理与结构形式难点：人工神经网络的matlab实战的基本技巧与方法教学基本内容教学过程设计§3人工神经网络§3.1人工神经网络的基本原理ANN是在人类对其大脑神经网络认识理解的基础上，人工构造的能够实现某种功能的网络系统，它对人脑进行了简化、抽象和模拟，是大脑生物结构的数学模型。ANN由大量功能简单而具有自适应能力的信息处理单元即人工神经元按照大规模并行的方式，通过的拓扑结构连接而成。在人工神经元系统中，其输出是通过传递函数f来完成的。传递函数的作用是控制输入对输出的激活作用，把可能的无限域变换到给定范围的输出，对输入、输出进行函数转换，以模拟生物神经元线性或非线性转移特性。f函数形式多样，它反映了神经元的线性特征，这些特征一般可分为3种类型：简单的映射关系、动态系统方程和概率统计模型。人工神经网络具有一系列不同于其他计算方法的性质和特点：（1）神经网络将信息分布贮存在大量的神经元中，且具有内在的知识索引功能，也即具有将大量信息存贮起来并具有以一种更为简便的方式对其访问的能力。（2）人工神经网络能模拟人类的学习过程，并且有很强的容错能力。（3）人工神经网络是一种非线性的处理单元。人工神经网络涉及许多数学知识。限于篇幅，在此仅介绍最基本的数学基础知识：(1)向量的内积与外积：设向量V＝(v1,v2,…,vn)和矩阵W＝(w1,w2,…,wn)。向量可用两种方法来相乘，一种是称为点乘，又称内积，另一种为外积。（2）矩阵运算与层次结构网络：设给定一个向量V和一个矩阵W，则它们的乘积为一向量：W·V=U这种运算又称为映射，即V被W映射成U：U=WV；若用W-1表示W的逆矩阵，则类似地有映射：V=W－1U。§3.2人工神经网络的结构形式人工神经网络是由一组基本处理单元通过不同的连接模式所构成。人工神经元输出信号之间通过互相连接形成网络，互相连接方式称为连接模式。目前人工神经网络模型已有上百种，均是从生物神经元抽象出的最基本生物学事实而衍生出来。基本处理单元是对生物神经元的近似仿真，因而称为人工神经元，它的主要功能是信号的输入、处理和输出。§3.3神经网络模型分类（1）按学习方式分类按学习方式分为有导师学习（有监督训练）、强化学习和无导师（无监督训练）3类网络模型。（2）按网络的活动方式分类按网络的活动方式即按网络的学习技术，可分为确定性活动方式和随机性活动方式。（3）按神经网络的建立原理分类按神经网络的建立原理，可分为数学模型和认知模型。（4）按网络的信息处理能力分类按网络的信息处理能力可分为模型识别、模式分类、组合优化问题求解、数据聚簇与组合、数学映射逼近和联想记忆等。§3.4人工神经网络学习算法人工神经网络的学习算法有很多，其中较有代表性的是学习，误差修正型学习、随机学习、竞争型学习、基于记忆的学习以及结构修正学习。§3.5典型的人工神经网络（1）单层前向网络：最简单的人工神经网络，其网络中的神经元只有一层。最典型的单层前向网络是感知机。（2）多层前向网络及BP学习算法：为了解决非线性可分的问题，可以采用多层网络，即在输入层和输出层之间加上隐层。这种由输入层、隐层和输出层组成的网络就是多层前向神经网络。BP网络就是一种单向的多层前向神经网络。（3）径向基函数神经网络（RBF）：RBF网络是20世纪80年代提出的一种人工神经网络结构，是具有单隐层的前向网络。它不仅可以用来函数逼近，也可以进行预测。（4）自组织竞争人工神经网络：在生物神经系统中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。（5）对向传播神经网络（CPN）：对向传播（CounterPropagation，CPN）网络是将自组织竞争网络与Grossberg基本竞争型网络相结合，发挥各自的特长的一种新型特征映射网络。（6）反馈型神经网络（Hopfield）：Hopfield网络由相同的神经网络元构成的单层，并且具有学习功能的自联想网络，可以完成制约优化和联想记忆等功能，是目前人们研究最多的模型之一。§3.6人工神经网络的matlab实战人工神经网络在故障诊断、特征的提取和预测、非线性系统的自适应控制、不能用规则或公式描述的大量原始数据的处理等方面具有比经典计算方法优越的性能、且有极大的灵活性和自适应性。在实际应用中，面对一个实际问题，如要用人工神经网络求解，首先应根据问题的特点，确定网络模型，再通过网络仿真分析，分析确定网络是否适合实际问题的特点。3min引入：类比人类对其大脑神经网络的认识理解，引入人工神经网络的基本原理。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚基本原理和结构形式。10min强调：引导学生思考模拟的原理，触类旁通。分析：神经网络模型分类方式的异同。注意过渡：动画演示：课堂互动：对先修的基础知识进行提问、回顾、引导。20min举例分析：分析要点：对典型的人工神经网络进行分析讲解其来源与适用范围。、让学生进行总结：深刻理解人工神经网络学习算法。实例分析：让学生进行人工神经网络的matlab实战操作，根据实际问题的特点，确定网络模型，再通过人工神经网络算法仿真分析。作业、讨论题、思考题：如何分析确定人工神经网络是否适合实际问题的特点，并根据不同问题特点采用不同的算法？教学反思：《人工智能算法》课程教案教学目的、要求：1.掌握深度学习的定义，了解深度学习的起源2.掌握深度学习的方法3.了解深度学习模拟、研究与应用领域4.掌握深度学习的模型教学重点及难点：重点：深度学习的技术特征难点：深度学习的知识获取教学基本内容教学过程设计§4.1深度学习概述深度学习作为一种实现人工智能的强大技术，已经在图像视频处理、机器翻译、数据挖掘、自然语言处理等多个领域得到了大量的成功应用，产生了令人眼花缭乱的效果，诞生了一些很优秀的机器学习技术和神经网络方法，使机器能模仿视听和思考等人类活动，解决很多复杂的模式识别问题，使得人工智能迈进了盛况空前、影响深远的新时代。深度学习是机器学习中一种基于对数据进行表征学习的方法，是一种能够模拟出人脑的神经结构的机器学习方法。它的概念起源于人工神经网络，本质上是指一类对具有深层结构的神经网络进行有效训练的结构和方法，其深度含义就是指不包括输入层的神经网络结构的层数。如图4.1所示的含多个隐含层的多层感知器就是一种深度学习结构。在人工神经网络结构中，从一个输入产生一个输出所涉及的计算可以通过一个流向图来表示。流向图中每一个节点表示一个基本的计算及一个计算的值，计算的结果被应用到这个节点的子节点的值，输入节点没有父节点，输出节点没有子节点。这种流向图的一个特别属性是深度，即一个输入至一个输出最长路径的长度。只有超过一定深度的神经网络才是深度学习。§4.2深度学习模型深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括CNN、DBN、RNN、RNTN、自动编码器、GAN等。§4.3深度学习的学习与训练深度学习的学习即深度学习神经网络的训练,一般可采用前向传播或反向传播算法。但实验结果表明，对深度结构神经网络采用随机初始化的方法，由于采用基于梯度的优化易使训练结果陷入局部极值，而找不到全局最优值，并且随着网络结构层次的加深，更难以得到好的泛化性能，使得深度结构神经网络在随机初始化后得到的学习结果甚至不如只有一个或两个隐层的浅结构神经网络得到的学习结果好。2006年后通过研究发现，用无监督学习算法对深度结构神经网络进行逐层预训练，能够得到较好的学习结果。无监督预训练不仅初始化网络得到好的初始参数值，而且可以提取关于输入分布的有用信息，有助于网络找到更好的全局最优解。§4.4深度学习框架为了在解决各种实际问题中有效地利用深度学习模型，现已有很多开发平台和工具可以选择。比较常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等。§4.5深度学习的应用与挑战深度学习是一种从数据中提取表示的好方法，能够用于分类、回归和信息检索等特定问题中，已广泛应用于图像分类及识别、人脸识别、视频分类、行为识别、手写体字符识别、图像检索、人体运动行为识别等问题。深度学习虽然已取得了很大的成就，但也存在一些问题及挑战。1.深度学习目前存在的问题（1）理论问题。深度学习的学习训练的计算复杂度较大，较难估计需要多大参数规模和深度的神经网络模型去解决相应的问题；在对构建好的网络进行训练时，需要多少训练样本才能足以使网络满足拟合状态等问题；另外，网络模型训练所需要消耗的计算资源很难预估，对网络的优化技术仍有待提高。而且由于深度学习模型的代价函数都是非凸的，这也造成理论研究方面的困难。（2）建模问题。在解决深层学习理论和计算困难的同时，如何构建新的分层网络模型，既能够像传统深层模型一样能够有效的抽取数据的潜在特征，又能够像支持向量机一样便于进行理论分析，另外，如何针对不同的应用问题构建合适的深层模型同样是一个很有挑战性的问题。现在用于图像和语言的深度模型都拥有相似卷积和降采样的功能模块，研究人员在声学模型方面也在进行相应的探索，能不能找到一个统一的深度模型适用于图像，语音和自然语言的处理仍需要探索。（3）工程应用问题。在深度学习的工程应用问题上，如何利用现有的大规模并行处理计算平台进行大规模样本数据训练是各个进行深度学习研发公司首要解决的难题。由于像Hadoop这样的传统大数据处理平台的延迟过高，不适用于深度学习的频繁迭代训练过程。现在最多采用的深度网络训练技术是随机梯度下降算法。这种算法不适于在多台计算机间并行运算，即使采用GPU加速技术对深度神经网络模型进行训练也是需要花费漫长的时间。随着互联网行业的高速发展，特别是数据挖掘的需要，往往面对的是海量需要处理的数据。由于深度学习网络训练速度缓慢无法满足互联网应用的需求。3min引入：通过图像视频处理对深度学习应用实例引入。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚技术特征10min强调：引导学生思考深度学习的原理，触类旁通。分析：方法与应用领域的关系。注意过渡：动画演示：课堂互动：对先修的基础知识进行提问、回顾、引导。20min举例分析：分析要点：。对深度学习目前存在的问题进行分析。让学生进行总结：深刻理解深度学习作业、讨论题、思考题：深度学习结合你的研究领域有何种应用？教学反思：《人工智能算法》课程教案教学目的、要求：1.掌握进化算法、搜索算法、群智能算法、混合优化算法的基本概念和原理2.熟悉模糊计算基础知识3.理解算法的分析步骤、应用场景和优势4.能够实现简单的算法并进行实验验证教学重点及难点：重点：算法的原理难点：简单算法的实现和应用教学基本内容教学过程设计§5计算智能§5.1进化算法进化算法是一种模拟自然选择和遗传学机制的优化算法，用于解决复杂的搜索和优化问题，其应用广泛。进化算法包括遗传算法、遗传规划、进化策略和进行规划等，在此只介绍遗传算法和进化策略。遗传算法（GeneticAlgorithms，GA）：基本思想是基于达尔文（Darwin）的进化论和孟德尔（Mendel）的遗传学说；工作对象是字符串。对于整个遗传算法影响最大的是编码和适应度函数的设计。编码是应用遗传算法时要解决的首要关键问题。编码的方法也影响到遗传算子的计算方法。常用的编码方法有以下4种：（1）二进制编码。它是遗传算法编码中最常用的方法。（2）符号编码。（3）浮点数编码，也称为真值编码方法。适用于精度要求较高的遗传算法，以便于在较大空间进行遗传搜索。（4）格雷编码。为了体现个体的适应能力，引入了对问题中的每一个个体都能进行量度的函数，即适应度函数。适应度函数求取的是极大值，并且具有非负性。常见的几种变换方法：（1）线性变换：f(Z)=aZ+b（2）幂变换：f(Z)=Za（3）指数变换：f(Z)=exp(－βZ)对于有约束条件的极值，其适应度可用罚函数方法处理。遗传算子就是遗传算法中进化的规则。基本遗传算法的遗传算子主要有选择算子、交叉算子和变异算子。遗传算法的具体步骤：①对问题进行编码；②定义适应度函数后，生成初始化群体；③对于得到的群体进行选择复制，交叉，变异操作，生成下一代种群；④判断算法是否满足停止准则。若不满足，则从步骤③起重复；⑤算法结束，获得最优解。遗传算法中需要选择的参数主要有串长l、群体大小n、交叉概率pc以及变异概率pm等。与其他方法相比，遗传算法具有编码性、多解性和全局优化性、自适应性、不确定性、隐含并行性、智能性的优点。进化策略（EvolutionStrategies，ES）：20世纪60年代，德国柏林大学的因戈·雷切伯格（I.Rechenberg）和施韦费尔（H.P.Schwefel）等在进行风洞试验时，研究发展形成了进化策略方法。进化策略以其简单、通用、鲁棒性和适应性而闻名，是专门为求解参数优化问题而设计的，而且在进化策略算法中引入了自适应机制。算法的基本流程。算法的构成要素：染色体构造：（X,σ）=（（x1,x2,…,xL），（σ1,σ2,…,σL））算子：①重组算子。重组是将参与重组的父代染色体上的基因进行交换，形成下一代的染色体的过程。目前常见的有离散重组、中间重组、混杂重组等；②变异算子：③选择算子。在进化策略中，选择过程是确定性的。在不同的进行策略中，选择机制也有所不同。§5.2模糊计算1965年，美国控制论专家拉特飞·扎德（L.A.Zadeh）把模糊性和数学统一起来，提出了模糊集合理论与模糊逻辑，它采用精确的方法、公式和模型来度量和处理模糊、信息不完整或不太正确的现象与规律。模糊集是一种边界不分明的集合。隶属函数的表示方法：模糊系统中常用的隶属度函数有11种，例如高斯形、钟形等隶属度函数。模糊集运算：交集（逻辑与）、合集（逻辑或）/逻辑非（余）、模糊集的基。设A∈F(U)，对任意λ∈[0，1]，集合称为集合A的λ截集，λ称为阈值或置信水平。截集的概述描述了模糊集合与普通集合之间的转换关系。模糊度是模糊集合的度量，有以下几种计算方式：距离模糊度。设A0.5是A的λ＝0.5截集，有熵模糊度。如果令，则熵模糊度的定义为贴近度。用距离刻画模糊集的模糊度效果不是很理想，可以用贴近度来衡量两个模糊集之间的相近程度，贴近度越大，则表明这两者越接近。聚类分析就是将相似相像的事物归为一类。模糊聚类分析是利用模糊等价关系来实现的。基于模糊等价关系的聚类分析可分为三步：（1）建立模糊相似矩阵第一步是求样本集中任意两个样本Xi与Xj之间的相似系数rij，进而构造模糊相似矩阵R=(rij)n×n。①数量积法②相关系数法还包括绝对值减数法、算术平均法等。（2）改造模糊相似关系为模糊等价关系（3）聚类对求得的模糊等价矩阵求λ－截集Rλ，再将Rλ中为1的元素对应行和列的对象归并为一类，由Rλ的分类由细变粗，形成一个动态的分类图。§5.3搜索算法搜索过程有三大要素：搜索对象、搜索的扩展规则和搜索的目标测试。通过搜索求解问题的基本思想：（1）将问题中的已知条件看成状态空间中的初始状态；将问题中要求达到的目标看成状态空间中的目标状态；将问题中其他可能发生的情况看成状态空间中的任一状态。（2）设法在状态空间寻找一条路径，由初始状态出发，能够沿着这条路径达到目标状态。典型的搜索方法有：随机搜索算法（例如模拟退火算法）、演化搜索算法（例如人工免疫算法）、记忆型搜索算法（例如禁忌搜索算法、和声搜索算法）。§5.4群智能算法群智能（SwarmIntelligence，SI）的概念最早由贝尼（Beni）、哈克伍德（Hackwood）和王（Wang）等人在分子自动机系统中提出，指的是“无智能的主体通过合作表现出宏观智能行为的特性”。1999年，埃里克·博纳博（EricBonabeau）、马尔科·多里戈（MarcoDorigo）和盖伊·特络拉兹（GuyTheraulaz）在《SwarmIntelligenceFromNaturetoArtificialSystems》中对群智能进行了详细的论述和分析。群智能算法是一类基于群体行为原理的优化算法，其灵感来源于自然界中的群体行为，如蚁群觅食、鸟群迁徙等。这类算法通过模拟群体中个体的行为和相互作用，寻找满足某种优化目标的解。在构建一个群智能算法中，应满足五条基本原则：邻近原则、品质原则、多样性原则、稳定性原则、适应性原则。群体智能是用随机分布在搜索优化空间的点来模拟自然界中的个体，用个体的进化过程作为随机搜索最优解的过程，用求解问题的目标函数来判断个体对于环境的适应能力，根据适应能力而优胜劣汰，将整个群体逐步向最优解靠近。与传统的优化方法相比，群体智能算法具有简单的迭代式寻优、环境自适应性和系统自调节性、有指导的随机并行式全局搜索、系统通用性和鲁棒性强、智能性、易于与其他算法相结合的特点。一些典型的群智能算法：1.蚁群算法（AntColonyOptimization，ACO）：是一种基于种群寻优的启发式搜索算法。该算法受到自然界中真实蚁群通过个体间的信息传递、搜索从蚊穴到食物间的最短距离的集体寻优特征的启发，来解决一些离散系统中优化的困难问题。目前，该算法已被应用于求解旅行商问题、指派问题以及调度问题等，取得了较好的结果。作为一种随机优化方法，蚂蚁算法不需要任何先验知识，最初只是随机地选择搜索路径，随着对解空间的了解，搜索更加具有规律性，并逐渐得到全局最优解。各种形式的蚁群算法中，蚂蚁数量m、信息启发式因子α、期望值启发式因子β和信息素挥发因子ρ都是影响算法性能的重要参数。粒子群算法（ParticleSwarmOptimiztion，PSO）：是一种有效的全局寻优算法，最初由美国学者肯尼迪（Kennedy）和埃伯哈特（Eberhart）于1951年提出。它是基于群体智能理论的优化算法，通过群体中粒子间的合作与竞争产生的群体智能指导优化搜索。由于每代种群中的解具有“自我”学习提高和向“他人”学习的双重优点，从而能在较少的迭代次数内找到最优解。目前该方法已广泛应用于函数优化、数据挖掘、神经网络训练等领域。肯尼迪等通过观察鸟群觅食提出了两种粒子群算法模式即全局模式（globalversionPSO）和局部模式（localversionPSO）。3.人工鱼群算法（ArtificialFishSchoolAlgorithm，AFSA）：是由李晓磊博士于2002年首次提出。通过研究鱼群的行为，李晓磊总结并提取了适用于鱼群算法几种典型行为－鱼的觅食行为、聚群行为和追尾行为，并用之于寻优过程，进而形成了鱼群优化算法。4.人工蜂群算法（ArtificialBeeColonyAlgorithm，ABC）：是由卡拉伯卡（Karaboga）于2005年提出的基于蜜蜂群体的觅食行为的一种新的启发式仿生算法，它建立在蜜蜂群体生活习性模型基础上，模拟了蜂群依各自分工不同协作采蜜、交换蜜源信息以找到最优蜜源这一群体行为。ABC算法具有良好的优化能力，可以用来解决数值优化问题，在其他方面如生产调度、路径规划等方面也取得了良好的应用效果。ABC算法将全局搜索和局部搜索的方法相结合，从而使得蜜蜂在食物源的开采和探索这两方面取得了很好的平衡。ABC算法的寻优过程由四个选择过程构成：①局部选择过程；②全局选择过程；③贪婪选择过程；④随机选择过程。§5.5混合优化算法如今，算法混合（组合）的思想已发展成为提高算法优化性能的一个重要且有效的途径，其出发点就是使各种单一算法相互取长补短，产生更好的优化效率。该策略的关键问题是问题分解与综合的处理、子算法和领域函数的选择、进程层次上算法转换接口的处理、优化过程中的数据处理。目前混合算法的结构类型主要可归结为串行、镶嵌、并行及混合结构。串行结构是一种最简单的结构，它的混合算法就是吸收不同算法的优点，用一种算法的搜索结果作为另一种算法的起点依次来对问题进行优化。设计串行结构的混合算法需要解决的问题主要是确定各种算法的转换时机。镶嵌结构表示为一种算法作为另一种算法的一个优化操作或用操作搜索性能的评价器。设计镶嵌结构的混合算法需要解决的问题主要是子算法与嵌入点的选择。并行结构包括同步式并行，异步式并行和网络结构。问题分解与综合以及进程间的通信问题是设计并行结构的混合算法需解决的主要问题。§5.6计算智能的matlab实战算法例题讲解3min引入：通过生物界自然选择、变异和杂交等自然进化方式实例引入。内容设计思路：通过具体案例展示算法的应用，进行实验和分析，引导学生了解内容之间的区别与联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚算法原理强调：引导学生思考算法的应用场景，触类旁通。分析：注意过渡：动画演示：课堂互动：对先修的基础知识进行提问、回顾、引导。举例分析：算法具体实例分析要点：对算法的实现步骤进行分析。让学生进行总结：深刻理解相应算法让学生针对三种典型搜索方法分组进行汇报展示：深刻理解搜索方法45min实践作业作业、讨论题、思考题：这些算法结合你的研究领域有何种应用？教学反思：《人工智能算法》课程教案教学目的、要求：1..掌握数据挖掘的概念和数据挖掘的过程2.了解数据挖掘算法，掌握前三种经典算法3..掌握关联分析技术和粗糙集技术，了解可视化技术的分类、聚类方法4..掌握数据挖掘的分类、预测、聚类三方面的应用，重点是预测应用5.了解数据挖掘的应用领域，并能利用matlab实现简单的数据挖掘教学重点及难点：重点：数据挖掘的过程和应用难点：数据挖掘的算法和两种分析技术教学基本内容教学过程设计§6数据挖掘§6.1数据挖掘概述大数据在给人们带来方便的同时也带来了一大堆问题：信息冗余；信息真伪难辨，给信息的正确应用带来困难。。为了满足人们数据分析工具的需求，20世纪80年代后期高级数据分析—基于数据库的知识发现（KnowledgeDiscoveryinDatabase，KDD）及相应的数据挖掘（DataMining，DM）理论和技术应运而生。数据挖掘定义（分两个层面）技术层面：探查和分析大量数据以发现有意义的模式和规则的过程。商业层面：一种商业信息处理技术，其主要特点是对大量业务数据进行抽取、转换、分析和建模处理，从中抽取辅助商业决策的关键性数据。数据挖掘的分类、过程与任务分类标准：1.根据数据库类型分类2.根据数据挖掘对象分类3.根据数据挖掘任务分类4.根据数据挖掘技术分类5.根据数据挖掘方法分类数据挖掘的过程：数据准备→数据挖掘→结果表达和解释数据挖掘任务：概念描述；关联分析；时间序列分析；分类分析；聚类分析；离群点检测；预测数据挖掘建模：成功运用数据挖掘，对数据挖掘技术层次的理解至关重要，尤如何将数据变成有用信息的过程就是对这个数据挖掘过程进行建模。一般过程：业务理解→数据理解→数据准备→建模→评估→部署§6.2数据挖掘算法统计分析方法：假设检验：假设检验中有二类重要问题，第一个是根据样本的信息判断总体分布是否具有指定的特征；第二个是在估计某未知参数β时，除了求出它的点估计外，还希望在一定的置信水平上估计出一个范围，即β的置信区间。1.随机误差的判断（1）χ2检验。（2）F检验。2.系统误差的检验（1）平均值与给定值比较。（2）两个平均值的比较。（3）成对数据的比较。回归分析：1.一元线性回归分析2.多元线性回归分析3.非线性回归分析二项逻辑（logistic）回归当被解释变量为0/1二值品质型变量时，称为二项逻辑回归。二项逻辑回归虽然不能直接采有用一般线性多元回归模型拟合，但仍然可以充分利用线性回归模型建立的理论和思路来拟合。方差分析；因子分析§6.3数据挖掘相关技术§6.3.1关联分析主要研究数据中不同领域之间的关系，找出满足给定支持度和可信度阈值的多个域之间的依赖关系。即相关性、关联关系，因果关系。关联规则模式属于描述型模式，发现关联规则的算法属于无监督学习的方法。关联规则的主要概念关联规则的种类（1）基于规则中处理的变量的类型，关联规则可以分为布尔型和数值型。（2）基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则。（3）基于规则中到的数据的维数，关联规则可以分为单维的和多维的。关联规则的价值衡量：1.系统客观层面2.用户主观层面（1）数据挖掘。（2）指定挖掘的维和层次。（3）规则约束。Apriori关联规则算法（了解）时序关联规则算法多值属性关联规则算法§6.3.2粗糙集技术在现实世界中，并不能简单地用好坏、真假等确切的概念表示许多含糊现象，特别是在于集合的边界上，也即存在一些个体，既不能说它属于某个子集，也不能说它不属于该子集。20世纪80年代提出了粗糙集（RoughSet）理论。粗糙集用上、下近似两个集合来逼近任意一个集合，该集合的边界区域被定义为上近似集和下近似集的差，边界区域就是那些无法归属的个体。上、下二近似集合可以通过等价关系给出确定的描述，边界域的元素数目可以被计算出来。粗糙集理论的基本概念：1.知识表达系统和决策表2.等价关系3.等价划分4.上近似集和下近似集5.粗糙集6.粗糙集的非确定性的精确度αA(Y)和粗糙度ρA(Y)分类规则的形成：（1）当Y∩X≠，则有：des(Y)→des(X)des(Y)和des(X)分别是等价集Y和等价集X中的特征描述：①当Y∩X＝Y，即Y全部被X包含，此时建立的规则是确定的，规则的置信水平cf为1；②当Y∩X≠Y，即Y全部不被X包含，此时建立的规则是不确定的，规则的置信水平为（2）当Y∩X＝，Y和X不能建立规则。知识的约简：1.决策表的一致性2.属性约简3.分辨矩阵与分辨函数§6.3.3可视化技术可视化技术也称数据可视化，它旨在凭借计算机的强大信息处理能力以及计算机图形学基本算法及可视化算法将计算机进行的大规模科学（工程）计算结果及其产生的数字数据转换成静态或动态图像的过程，并允许人们通过交互手段控制数据的抽取和画面显示。多维数据可视化；基于像素的高维数据的可视化§6.4数据挖掘应用分类：通常认为，当被预测的值是连续值时，称为预测；而当被预测的值是离散值时，称为分类。数据分类可以分为两个步骤。第一步是建立模型，用于描述给定的数据集合。第二步对建立的模型进行评估后，使用模型对数据对象进行分类。§6.4.2预测1.回归分析2.时间序列预测模型3.马尔可夫链4.灰色系统方法§6.4.3聚类1.聚类分析中的数据类型2.聚类的特征与聚类间的距离3.划分方法4.层次方法5.基于密度的方法6.基于网格的方法7.基于模型的聚类方法8.基于目标函数的方法9.孤立点分析10.聚类有效性§6.5数据挖掘应用领域金融中的应用零售业方面的应用电信业中的应用管理中的应用科研中的应用制造业中的应用故障诊断与监测中的应用医疗领域中的应用§6.6数据挖掘的matlab实战某厂生产的一种电器的销售量y与竞争对手的价格x1和本厂的价格x2有关。表6.1是该商品在10个城市的销售记录。试根据这些数据建立y与x1和x2的关系式，并对得到的模型和系数进行检验。等多个实战例子。3min引入：通过对现实生活遇到的信息应用困难进行实例引入。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚技术思想10min强调：引导学生思考算法的原理，触类旁通。分析：算法的底层逻辑和分析过程。注意过渡：动画演示：课堂互动：对已有的基础知识进行提问、回顾、引导。20min举例分析：分析要点：。对人工智能知识获取的原则进行分析。让学生进行总结：深刻理解数据挖掘算法内容设计思路：介绍关联分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲关联技术思想15min强调：引导学生思考算法的原理，触类旁通。分析：算法的底层逻辑和分析过程。注意过渡：动画演示：课堂互动：对已有的基础知识进行提问、回顾、引导。20min举例分析：分析要点：对关联分析和粗糙集技术进行分析。让学生进行总结：深刻理解两种分析方法的思想目的：让学生拓展视野，结合本专业畅想新的研究领域和改进方向内容：结合matlab实战，锻炼学生数学思维的同时，让学生对本门课程的理解更加深刻作业、讨论题、思考题：将例题6.2用matlab实现，并作介绍教学反思：《