人工智能导论课件第7章第1节

人工智能导论Introductiontoartificialintelligence人工智能导论Introductiontoartifici第7章机器学习第7章机器学习【导读案例】Netflix的电影推荐引擎讨论：【导读案例】Netflix的电影推荐引擎讨论：1什么是机器学习2机器学习的学习类型3机器学习的算法4机器学习的基本结构5机器学习的分类与应用1什么是机器学习2机器学习的学习类型3机器学习的算法4机器学1机器学习的发展2机器学习的定义第1节1机器学习的发展2机器学习的定义第1节7.1什么机器学习苹果手机提供了一个智能语音助手Siri，而亚马逊公司的子公司Alexa是一家专门发布网站世界排名的网站，其目的是让互联网网友们在分享虚拟资源的同时，更多地参与互联网资源的组织。那么，日常生活中，你是否已经在使用像Siri或Alexa这样的个人助理客户端呢？你是否依赖垃圾邮件过滤器来保持你的电子邮件收件箱的清洁呢？你是否订阅了类似Netflix的服务并依赖它惊人的准确推荐来寻找你喜欢的新电影或书刊呢？如果你对这些问题回答说“是”，那么，事实上，你已经在很好地利用机器学习了！7.1什么机器学习苹果手机提供了一个智能语音助手Siri7.1什么机器学习机器学习是人工智能的一个分支，它所涉及的范围非常大——语言处理、图像识别、规划等等，但它实际上是一个相当简单的概念。为了更好地理解它，我们来研究一下关于机器学习的what，who，when，

where，how以及why（什么、谁、何时、何地、如

何以及为什么）。

图7-2什么是机器学习7.1什么机器学习机器学习是人工智能的一个分支，它所涉及7.1.1机器学习的发展机器学习最早的发展可以追溯到英国数学家贝叶斯（1701年~1761年）在1763年发表的贝叶斯定理，这是关于随机事件A和B的条件概率（或边缘概率）的一则数学定理，是机器学习的基本思想。其中，P(A|B)是在B发生的情况下A发生的可能性，即寻求根据以前的信息寻找最可能发生的事件。机器学习的发展过程大体上可分为4个时期（参见图7-3）。7.1.1机器学习的发展机器学习最早的发展可以追溯到英国7.1.1机器学习的发展图7-3机器学习的发展7.1.1机器学习的发展7.1.1机器学习的发展第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。7.1.1机器学习的发展第一阶段是在20世纪50年代中叶7.1.1机器学习的发展机器学习的最新阶段始于1986年，进入新阶段的重要表现在下列诸方面：（1）机器学习成为新的边缘学科并在高校成为一门课程，它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。（2）结合各种学习方法取长补短的多种形式的集成学习系统研究正在兴起。特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。7.1.1机器学习的发展机器学习的最新阶段始于1986年7.1.1机器学习的发展（3）机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。（4）各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用；连接学习在声图文识别中占优势；分析学习已用于设计综合型专家系统；遗传算法与强化学习在工程控制中有较好的应用前景；与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。7.1.1机器学习的发展（3）机器学习与人工智能各种基础7.1.1机器学习的发展（5）与机器学习有关的学术活动空前活跃。国际上除每年举行的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。7.1.1机器学习的发展（5）与机器学习有关的学术活动空7.1.1机器学习的发展在1950年图灵发明图灵测试之后，1952年亚瑟·塞缪尔创建了第一个真正的机器学习程序——简单的下棋游戏程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。接着是唐纳德·米奇在1963年推出的强化学习的tic-tac-toe（井字棋）程序。在接下来的几十年里，机器学习的进步遵循了同样的模式——一项技术突破导致了更新的、更复杂的计算机，通常是通过与专业的人类玩家玩战略游戏来测试的。7.1.1机器学习的发展在1950年图灵发明图灵测试之后7.1.1机器学习的发展机器学习在1997年达到巅峰，当时，IBM深蓝国际象棋电脑在一场国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫。近年来，谷歌开发了专注于中国棋类游戏围棋（Go）的AlphaGo（阿尔法狗），该游戏被普遍认为是世界上最难的游戏。尽管围棋被认为过于复杂，以至于一台电脑无法掌握，但在2016年，AlphaGo终于获得了胜利，在一场五局

比赛中击败了李世石。7.1.1机器学习的发展机器学习在1997年达到巅峰，当7.1.1机器学习的发展机器学习最大的突破是深度学习（2006年）。深度学习的目的是模仿人脑的思维过程，经常被用于图像和语音识别。深度学习的出现导致了我们今天使用的（可能是理所当然的）许多技术。试想，你有没有把一张照片上传到你的微信或者脸书账户，只是为了暗示给照片中的人贴上标签？微信或者脸书正在使用神经网络来识别照片中的面孔。7.1.1机器学习的发展机器学习最大的突破是深度学习（27.1.2机器学习的定义学习是人类具有的一种重要的智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。比如，兰利（1996）的定义是：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。汤姆·米切尔的机器学习（1997）对信息论中的一些概念有详细的解释，其中定义机器学习时提到：“机器学习是对能通过经验自动改进的计算机算法的研究”。Alpaydin（2004）提出自己对机器学习的定义：“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准”。7.1.2机器学习的定义学习是人类具有的一种重要的智能行7.1.2机器学习的定义为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，电子计算机，中子计算机、光子计算机或神经计算机等等。7.1.2机器学习的定义为了便于进行讨论和估计学科的进展7.1.2机器学习的定义机器能否像人类一样能具有学习能力呢？机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。由汤姆·米切尔给出的被广泛引用的机器学习的定义给出了最佳解释。下面是其中的内容：“计算机程序可以在给定某种类别的任务T和性能度量P下学习经验E，如果其在任务T中的性能恰好可以用P度量，则随着经验E而提高。”7.1.2机器学习的定义机器能否像人类一样能具有学习能力7.1.2机器学习的定义让我们用简单的例子来分解下这个描述。示例1：机器学习和根据人的身高估算体重。假设你想创建一个能够根据人的身高估算体重的系统（也许你出自某些理由对这件事情感兴趣）。那么你可以使用

机器学习去找出任何可能的错误和数

据捕获中的错误，首先你需要收集一

些数据。图7-5根据人的身高估算体重7.1.2机器学习的定义让我们用简单的例子来分解下这个描7.1.2机器学习的定义图7-5中的每一个点对应一个数据，我们可以画出一条简单的斜线来预测基于身高的体重。这些斜线能帮助我们作出预测，尽管这些斜线表现得很棒，但是我们需要理解它是怎么表现的，我们希望去减少预测和实际之间的误差，这也是衡量其性能的方法。深远一点地说，我们收集更多的数据（经验），模型就会变得更好。我们也可以通过添加更多变量（例如性别）和添加不同的预测斜线来完善我们的模型。7.1.2机器学习的定义图7-5中的每一个点对应一个数据7.1.2机器学习的定义示例2：飓风预测系统。我们找一个复杂一点的例子。假如你要构建一个飓风预测系统，假设你手里有所有以前发生过的飓风的数据和这次

飓风产生前三个月的天气信息。图7-6预测飓风7.1.2机器学习的定义示例2：飓风预测系统。7.1.2机器学习的定义如果要手动构建一个飓风预测系统，我们应该怎么做？首先是要清洗所有的数据，找到数据里面的模式进而查找产生飓风的条件。我们既可以将模型条件数据（例如气温高于40度，湿度在80-100等）输入到我们的系统里面生成输出，也可以让我们的系统自己通过这些条件数据产生合适的输出。可以把所有以前的数据输入到系统里面来预测未来是否会有飓风。基于系统条件的取值，评估系统性能（正确预测飓风的次数）。可以将系统预测结果作为反馈继续多次迭代以上步骤。7.1.2机器学习的定义如果要手动构建一个飓风预测系统，7.1.2机器学习的定义根据前边的解释来定义我们的预测系统：任务是确定可能产生飓风的气象条件。性能P是在系统所有给定的条件下有多少次正确预测飓风，经验E是系统的迭代次数。7.1.2机器学习的定义根据前边的解释来定义我们的预测系人工智能导论Introductiontoartificialintelligence人工智能导论Introductiontoartifici人工智能导论Introductiontoartificialintelligence人工智能导论Introductiontoartifici第7章机器学习第7章机器学习【导读案例】Netflix的电影推荐引擎讨论：【导读案例】Netflix的电影推荐引擎讨论：1什么是机器学习2机器学习的学习类型3机器学习的算法4机器学习的基本结构5机器学习的分类与应用1什么是机器学习2机器学习的学习类型3机器学习的算法4机器学1机器学习的发展2机器学习的定义第1节1机器学习的发展2机器学习的定义第1节7.1什么机器学习苹果手机提供了一个智能语音助手Siri，而亚马逊公司的子公司Alexa是一家专门发布网站世界排名的网站，其目的是让互联网网友们在分享虚拟资源的同时，更多地参与互联网资源的组织。那么，日常生活中，你是否已经在使用像Siri或Alexa这样的个人助理客户端呢？你是否依赖垃圾邮件过滤器来保持你的电子邮件收件箱的清洁呢？你是否订阅了类似Netflix的服务并依赖它惊人的准确推荐来寻找你喜欢的新电影或书刊呢？如果你对这些问题回答说“是”，那么，事实上，你已经在很好地利用机器学习了！7.1什么机器学习苹果手机提供了一个智能语音助手Siri7.1什么机器学习机器学习是人工智能的一个分支，它所涉及的范围非常大——语言处理、图像识别、规划等等，但它实际上是一个相当简单的概念。为了更好地理解它，我们来研究一下关于机器学习的what，who，when，

where，how以及why（什么、谁、何时、何地、如

何以及为什么）。

图7-2什么是机器学习7.1什么机器学习机器学习是人工智能的一个分支，它所涉及7.1.1机器学习的发展机器学习最早的发展可以追溯到英国数学家贝叶斯（1701年~1761年）在1763年发表的贝叶斯定理，这是关于随机事件A和B的条件概率（或边缘概率）的一则数学定理，是机器学习的基本思想。其中，P(A|B)是在B发生的情况下A发生的可能性，即寻求根据以前的信息寻找最可能发生的事件。机器学习的发展过程大体上可分为4个时期（参见图7-3）。7.1.1机器学习的发展机器学习最早的发展可以追溯到英国7.1.1机器学习的发展图7-3机器学习的发展7.1.1机器学习的发展7.1.1机器学习的发展第一阶段是在20世纪50年代中叶到60年代中叶，属于热烈时期。第二阶段是在20世纪60年代中叶至70年代中叶，被称为机器学习的冷静时期。第三阶段是从20世纪70年代中叶至80年代中叶，称为复兴时期。7.1.1机器学习的发展第一阶段是在20世纪50年代中叶7.1.1机器学习的发展机器学习的最新阶段始于1986年，进入新阶段的重要表现在下列诸方面：（1）机器学习成为新的边缘学科并在高校成为一门课程，它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。（2）结合各种学习方法取长补短的多种形式的集成学习系统研究正在兴起。特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。7.1.1机器学习的发展机器学习的最新阶段始于1986年7.1.1机器学习的发展（3）机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。（4）各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用；连接学习在声图文识别中占优势；分析学习已用于设计综合型专家系统；遗传算法与强化学习在工程控制中有较好的应用前景；与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。7.1.1机器学习的发展（3）机器学习与人工智能各种基础7.1.1机器学习的发展（5）与机器学习有关的学术活动空前活跃。国际上除每年举行的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。7.1.1机器学习的发展（5）与机器学习有关的学术活动空7.1.1机器学习的发展在1950年图灵发明图灵测试之后，1952年亚瑟·塞缪尔创建了第一个真正的机器学习程序——简单的下棋游戏程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。接着是唐纳德·米奇在1963年推出的强化学习的tic-tac-toe（井字棋）程序。在接下来的几十年里，机器学习的进步遵循了同样的模式——一项技术突破导致了更新的、更复杂的计算机，通常是通过与专业的人类玩家玩战略游戏来测试的。7.1.1机器学习的发展在1950年图灵发明图灵测试之后7.1.1机器学习的发展机器学习在1997年达到巅峰，当时，IBM深蓝国际象棋电脑在一场国际象棋比赛中击败了世界冠军加里·卡斯帕罗夫。近年来，谷歌开发了专注于中国棋类游戏围棋（Go）的AlphaGo（阿尔法狗），该游戏被普遍认为是世界上最难的游戏。尽管围棋被认为过于复杂，以至于一台电脑无法掌握，但在2016年，AlphaGo终于获得了胜利，在一场五局

比赛中击败了李世石。7.1.1机器学习的发展机器学习在1997年达到巅峰，当7.1.1机器学习的发展机器学习最大的突破是深度学习（2006年）。深度学习的目的是模仿人脑的思维过程，经常被用于图像和语音识别。深度学习的出现导致了我们今天使用的（可能是理所当然的）许多技术。试想，你有没有把一张照片上传到你的微信或者脸书账户，只是为了暗示给照片中的人贴上标签？微信或者脸书正在使用神经网络来识别照片中的面孔。7.1.1机器学习的发展机器学习最大的突破是深度学习（27.1.2机器学习的定义学习是人类具有的一种重要的智能行为，但究竟什么是学习，长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其不同的看法。比如，兰利（1996）的定义是：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。汤姆·米切尔的机器学习（1997）对信息论中的一些概念有详细的解释，其中定义机器学习时提到：“机器学习是对能通过经验自动改进的计算机算法的研究”。Alpaydin（2004）提出自己对机器学习的定义：“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准”。7.1.2机器学习的定义学习是人类具有的一种重要的智能行7.1.2机器学习的定义为了便于进行讨论和估计学科的进展，有必要对机器学习给出定义，即使这种定义是不完全的和不充分的。顾名思义，机器学习是研究如何使用机器来模拟人类学习活动的一门学科。稍为严格的提法是：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，电子计算机，中子计算机、光子计算机或神经计算机等等。7.1.2机器学习的定义为了便于进行讨论和估计学科的进展7.1.2机器学习的定义机器能否像人类一样能具有学习能力呢？机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。由汤姆·米切尔给出的被广泛引用的机器学习的定义给出了最佳解释。下面是其中的内容：“计算机程序可以在给定某种类别的任务T和性能度量P下学习经验E，如果其在任务T中的性能恰好可以用P度量，则随着经验E而提高。”7.1.2机器学习的定义机器能否像人类一样能具有学习能力7.1.2机器学习的定义让我们用简单的例子来分解下这个描述。示例1：机器学习和根据人的身高估算体重。假设你想创建一个能够根据人的身高估算体重的系统（也许你出自某些理由对这件事情感兴趣）。那么你可以使用

机器学习去找出任何可能的错误和数

据捕获中的错误，首先你需要收集一

些数据。