人工智能概论（第2版） 课件汇 刘阳 第6-9章 自然语言处理 -人工智能与自然智能

第六章自然语言处理——让人工智能与世界沟通常见的自然语言处理2011年，乔布斯在iPhone4S中推出Siri（苹果智能语音助手）2018年2月8日，小度机器人亮相网络春晚，和主持人高博秒对飞花令我们身边的自然语言处理？自然语言处理机器人在实现人机交互功能时，主要通过语音识别、自然语言处理、机器学习来实现，其中最核心的技术就是自然语言处理，那么，什么是自然语言处理呢？目录什么是自然语言处理自然语言处理的发展史自然语言处理的过程和方法自然语言处理平台和开发库什么是自然语言处理PART01什么是自然语言处理多种人类语言、计算机程序语言自然语言处理（NaturalLanguageProcessing，NLP）可以分为自然语言和处理两部分来理解在整个人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。针对计算机的应用而言，据统计，用于数学计算的仅占10%，用于过程控制的不到5%，其余85%左右计算机都是在进行语言文字的信息处理。什么是自然语言处理处理包含理解、转化、生成等过程。自然语言处理，是指用计算机对自然语言的形、音、义等信息进行处理，即对自然语言的字、词、句、篇章的输入、识别、分析、理解、生成以及输入的加工和操作。自然语言处理的任务就是帮助计算机接受、处理、理解以及运用人类语言，从而使机器更加高效的与人类进行交流。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。什么是自然语言处理自然语言处理机制涉及两个流程，分别是自然语言理解和自然语言生成。自然语言理解是指计算机能够理解自然语言文本的意义，自然语言生成则是指机器能够以自然语言文本的形式把它的意图表达出来。自然语言处理的应用自然语言处理（NLP）可以被应用于很多领域，主要包括以下几个主要方向：1.机器翻译：将一种语言翻译成另一种语言；将声音和文字之间相互转换。2.情感分析：判断沟通对象的情绪状态。3.智能问答：通过提问获取信息，并回答相应的问题。4.观点抽取：归纳、总结文本摘要，形成观点。5.文本分类：采集文本信息，进行主题分析，从而进行自动分类。自然语言处理的应用百度大脑基于深度学习技术和百度大数据，针对带有主观描述的中文文本，自动判断该文本的情感极性类别并给出相应的置信度自然语言处理的应用评论观点抽取，产品观点挖掘，客服智能问答自然语言处理的发展史PART02神经网络的结构单元自然语言处理（NLP）的发展大致经历了四个阶段：萌芽期、快速发展期、低谷期以及复苏繁荣期。萌芽期（1956年以前）1956年以前，一方面，人类积累了大量的数学、语言学和物理学知识。这些知识不仅是计算机诞生的必要条件，同时也是自然语言处理的理论基础。另一方面，艾伦·图灵在1936年首次提出了“图灵机”的概念。“图灵机”作为计算机的理论基础，促进了1946年电子计算机的诞生。而电子计算机的诞生又为机器翻译和随后的自然语言处理提供了物质基础。萌芽期（1956年以前）

早期的自然语言处理具有鲜明的经验主义色彩。1913年马尔可夫提出了马尔可夫随机过程。“手工查频”，通过统计《欧根、奥涅金》长诗中元音与辅音出现频度，来判断字母的出现概率；1948年香农把离散马尔可夫概率模型应用于语言的自动机，同时采用手工方法统计英语字母的频率。1956年乔姆斯基借鉴香农的工作，建立了自然语言的有限状态模型，用“代数”和“集合”将语言转化为符号序列，建立了语法的数学模型，为自然语言和形式语言找到了一种统一的数学描述理论。快速发展期(1957年-1970年)自然语言处理在这一时期很快融入了人工智能的研究领域中。由于有基于规则和基于概率这两种不同方法的存在，自然语言处理的研究在这一时期分为了两大阵营。一个是基于规则方法的符号派(symbolic)，另一个是采用概率方法的随机派(stochastic)。低谷期(1971年-1993年)随着研究的深入，自然语言处理的应用难度让许多人对自然语言处理的研究丧失了信心。从70年代开始，自然语言处理的研究进入了低谷时期。复苏繁荣期(1994年至今)90年代中期以后，计算机的速度和存储量大幅增加以及网络技术的发展使得自然语言处理的社会需求更加迫切，自然语言处理的应用面也更加宽广，自然语言处理不再局限于机器翻译、语音控制等早期研究领域了。基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展，各种处理技术开始融合，自然语言处理的研究再次繁荣。深度学习在机器翻译、问答系统等多个自然语言处理任务中均取得了不错的成果。自然语言处理的过程和方法PART03自然语言处理的过程自然语言理解层次关系图衡量计算机对人类自然语言的理解程度第一，问答：机器人能正确回答输入文本中的有关问题；第二，文摘生成：机器有能力生成输入文本的摘要；第三，释义：机器能用不同的词语和句型来复述其输入的文本，对文本进行解释；第四，翻译：机器具有把一种语言翻译成另一种语言的能力。语音识别“RadioRex”玩具狗500赫兹的弹簧弹起语言识别的过程语言识别的过程——案例要把一句语音“我是机器人”转换成对应的文字，其对应的转换流程如下：1.语音信号采集：通过话筒等语音设备把语音“我是机器人”输入计算机。2.特征提取：提取出语音中相应的特征向量[123...n]。3.声学模型：把特征向量[123...n]输入训练好的声学模型，得到音素->woshijiqiren。4.字典：通过字典查询音素对应的可能文字。窝：wo；我：wo；

是：shi；

机：ji；级：ji；

器：qi；

人：ren；忍：ren。5.语言模型：根据训练好的语言模型，确定最大词组合概率。我：0.0786，

是：0.0546，我是：0.0898，机器：0.0967，机器人：0.6785。6.输出文字：我是机器人。词法分析语言是以词为基本意义的单位，而词又是由词素构成的，即词素是构成词的最小的有意义的单位。。在英语中，单词本身就是“词”的表达。汉语中，词是以字为基本单位的，但是一篇文章的语义表达却仍然是是以词来划分的。词法分析通过算法自动识别出句子的词，在词间加入边界标识符，分隔出各个词汇。中文分词与词性标注、命名实体识别共同构成了词法分析的主要内容，以此来定位基本语言元素，消除歧义，支撑自然语言的准确理解。可以说词法分析是理解自然语言中最小的语法单位——单词的基础。词法分析包括两方面的任务，第一个是要能正确地把一串连续的字符切分成一个一个的词；第二个是要能正确的判断每一个词的词性，以便于后续的句法分析的实现。词法分析平台腾讯文智开放平台来体验词法分析的效果。登录网址是：/index.cgi网页版进行体验句法分析句法分析是自然语言处理的核心技术，是对语言进行深层次理解的基石。它分析句子的句法结构（主谓宾结构）和词汇间的依存关系（并列，从属等），从而提取句子主干，获取核心词。通过句法分析，可以为语义分析、情感倾向、知识抽取、机器翻译等自然语言处理应用场景打下坚实的基础。语义分析语义分析(SemanticAnalysis)是指运用各种机器学习方法，让机器学习与理解一段文本所表示的语义内容。一段文本通常由词、句子和段落来构成，根据分析对象的语言单位不同，语义分析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章级语义分析语用分析把话语放在语言使用者和语言使用环境（语境）对它的制约中进行分析，为的是了解语言在不同环境下的不同含义以及语言的结构在这些环境制约下的变化，从而发现其中的规律。语用分析例子例子1：比如小明约小红去看电影，小红说：“天气预报说今晚会有大暴雨。”例子2：有人到商场看见一件衣服很喜欢，就问售货员：“这件衣服多少钱?”如果售货员回答说：“打折后200元。”这是从语义的角度一般正常的回答。如果售货员又加了一句：“只剩下这一件了。”自然语言处理的平台和开源库PART04常见的自然语言平台——Boson中文语义开放平台BosonNLP/从情感倾向、实体、分类、聚类等多种维度分析海量非结构化文本，可定制数据分析模型和解决方案，针对需求提供分类、消岐、典型意见提取等定制机器学习模型的建立常见的自然语言平台——NLPIR大数据语义智能分析平台/nlpir/自然语言处理未来展望第七章大数据与云计算——人工智能的资源和平台前导物联网、云计算、大数据和人工智能海量的数据通过物联网收集，然后存储于云计算平台，最后再通过大数据分析技术，甚至更高形式的人工智能技术提取和分析得到人类需要的信息。大数据的基础是物联网和云计算，人工智能的基础是大数据。人工智能的决策依赖于大数据的分析。目录大数据大数据的应用大数据的实训案例云计算融合发展大数据PART01什么是大数据谷歌数据中心谷歌搜索引擎不但可以存储用户搜索出来的所有网站链接，还存储了人们的所有搜索行为通过对大量数据分析，谷歌还可以预测人们接下来会采取怎样的行动，这种对大量数据进行捕捉、存储和分析，并根据这些数据做出预测的能力，就是我们所说的大数据。什么是大数据用现有的一般技术难以管理的大量数据的集合。大数据的规模庞大，处理的复杂性高，采用现有的数据处理系统都难以对其驾驭。大数据的级别是PB/EB级别，1PB=1024TB、1EB=1024PB、1ZB=1024EB大数据从哪来？企业生产：工业设备、智能制造、仪表仪器等都可能产生数据人类的衣食住行：网上消费和购物、发送邮件、用手机上网聊天、发表博客、浏览网页等等社会运行：交通摄像头、监控，银行资金流水，公交运营记录，物联网中产生的等等大数据的作用？电商企业通过数据分析了解，用户通过点击站内广告最终购买产品的比率较高获得有价值的信息，以数据来驱动企业业务，为社会提供发展动力。超市的产品供应商可以利用植入购物车中的IC标签，来收集顾客的行动路线数据，通过与商品销售数据相结合，从而分析出顾客买或不买某种商品的理由。大数据的特征主要具有四个特征：数量（Volume）、种类（Varity）、速度（Velocity）和价值（Value），简称4V，即庞大的数据量、丰富的数据种类、极快的数据处理速度和巨大的商业价值四个特征。大数据的处理流程在合适工具的辅助下，从实际业务系统中采集数据，并将结果按照一定的标准进行存储，然后利用合适的数据分析技术对数据进行预处理和分析，然后将分析后的数据建立数据模型，进行人工智能识别，最后将结果进行可视化展示给终端用户。大数据的处理流程——数据采集数据采集是指从传感器、智能设备、仪器仪表、企业在线系统、互联网平台、移动互联APP、RFID射频等数据源获取数据的过程。大数据的处理流程——数据预处理现实世界采集的数据存在不完整性（遗漏）、含有噪声（错误）、数据不一致、数据质量不高等问题。而在使用数据时要求数据具有一致性、准确性、完整性等特性。因此在使用数据之前要对数据进行处理，即数据预处理。大数据的处理流程——数据存储将海量的、来自前端的数据经预处理后，快速导入到一个集中的大型分布式数据库或者分布式存储集群，利用分布式技术来对存储于其内的、集中的海量数据进行查询、分类和汇总，以此满足分析需求。大数据的处理流程——数据分析与挖掘数据分析与挖掘是整个大数据处理流程的核心，只有通过数据分析与挖掘才能获取更多智能的、有价值的信息。依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术大数据的处理流程——数据展示大数据的应用PART02大数据的实训案例PART03云计算PART04什么是云计算云计算（CloudComputing）是一种按使用量付费的新型互联网商业模式，这种模式可以为用户提供可用的、便捷的、按需的网络访问，可按需提供给用户网络计算资源。云计算是分布式计算（DistributedComputing）、并行计算（ParallelComputing）、效用计算（UtilityComputing）、网络存储（NetworkStorageTechnologies）、虚拟化（Virtualization）、负载均衡（LoadBalance）、热备份冗余（HighAvailable）等技术发展融合的产物，通过网络将大量分布式计算资源集中管理起来，实现并行计算，并通过虚拟化技术形成资源池，为用户提供计算资源按需、弹性分配，极大提高了IT资源的效能。云计算的特征按需自助服务客户可以根据业务的需求，自主向云端申请资源无处不在的网络接入通过互联网访问云资源，不受地理位置的限制，可以随时随地接入云平台与位置无关的资源池客户一般无需知道资源的确切物理位置，只需要根据自身的需求申请相应的资源。快速弹性现有资源需要调整时，只需要向服务提供商增加或者减少租赁资源按使用付费云计算商业模式IaaS（Infrastructureasaservice）基础设施即服务案例1：采用阿里云平台来申请一台服务器资源，要求2核CPU，2G的内存，40G的系统硬盘，连接此服务器的带宽是1Mbps。云计算商业模式PaaS（Platformasaservice）平台即服务案例2：在华为软件开发云平台上申请Mysql数据库服务器，其软件版本为Mysql5.7,服务器为2核CPU8G内存，最大连接数数为2500，存储空间为500G，并设置数据库密码为Qdjsj@308。云计算商业模式SaaS（SoftwareasaService）软件即服务代表性企业和产品：GoogleAPPs、淘宝、京东、Office365等。云计算部署模式融

合

发

展PART05融合发展云计算与物联网、大数据、人工智能、移动互联网融合发展第八章智能机器人——真正懂你的人前导智能机器人不知不觉中，智能机器人已经悄悄来到我们身边，各行各业都可以看到它的身影，今天就让我们来认识一下智能机器人。目录什么是智能机器人智能机器人的应用场景机器人的组成机器人的发展史智能机器人案例智能机器人与人工智能什么是智能机器人PART01什么是智能机器人一种可编程和多功能的，用来搬运材料、零件、工具的操作机；或是为了执行不同的任务而具有可改变和可编程动作的专门系统。一般由执行机构、驱动装置、检测装置、控制系统和复杂机械等组成。智能机器人是综合了机械、电子、计算机、传感器、控制技术、人工智能、仿生学等多种学科的复杂智能机械。智能机器人是具有思维、感知和行动能力，模拟人的机器系统。智能机器人的三要素决

策机器人具有能够依据各种条件、状态、约束的限制自主产生目标，规划实现目标的具体方案，步骤的能力感知要素相当于人的五官，通过非接触型传感器和接触性传感器来接收外部各种信息是机器人能够对外界作出反应性动作，完成一些基本工作的能力。感

知行

动智能机器人的应用场景PART02智能机器人的应用场景——工业机器人汽车生产工序工业机器人的应用搬运能够快速、准确地从指定位置抓取零部件并且将其搬运至指定工位，搬运过程中不会对零部件造成损坏。焊接根据不同的程序安装不同的焊枪，从而对汽车的各个部位进行焊接，焊接精度高。如图8-2焊接机器人。喷涂快速地对车身部位进行不同厚度、不同形状的喷涂。组装可以针对不同的装配工件进行不同结构的组装。检测对汽车进行部件检测，从而反馈出误差信息，具有速度快、精度高等特点，可以提高汽车的整体合格率、减小生产误差等。智能机器人的应用场景——服务机器人智能机器人的应用场景——特种机器人机器人的发展史PART03机器人的发展史记里鼓车模型僧侣机器人机器人的发展史《罗素姆万能机器人》剧照人形机器人Eric机器人的发展史英格伯格（左一）、德沃尔（左二）与第一台工业机器人丰田公司出品的阿西莫（ASIMO）机器人机器人的发展史“勇气号”探测器美女机器人GeminoidF机器人的组成PART04机器人的组成智能机器人与人工智能PART05智能机器人与人工智能智能机器人与神经网络智能机器人与智能感知人工智能与机器视觉智能机器人与自然语音处理智能机器人与大数据、云计算智能机器人案例PART05第九章人工智能与自然智能——人工智能会超越人类？前导自然智能自然智能，通常是指人的智能，即人类的知识、智力和多种才能的总和，表现为人类对客观事物进行合理分析、判断及有目的地行动和有效地处理周围环境事宜的综合能力。我们现在正在努力做的就是利用人类的自然智能来创造机器的人工智能。英国著名物理学家和宇宙学家斯蒂芬·威廉·霍金（Stephen

William

Hawking）就称：人工智能可能是人类文明的终结者人工智能是否对人类造成威胁