《人工智能应用基础》 课件-模块四 自然语言处理

BasisofArtificialIntelligenceApplication人工智能应用基础模块四自然语言处理04小芳是公司的产品设计师，非常关心用户对产品的体验。网络上充斥着大量的产品评价，凭借人力是难以顾全的，只能靠机器来识别。比如"客服还不错，东东用起来很方便，就是物流非常慢"，先肯定优点，后面转折指出问题，机器会怎么看待这条评价？是负面评价吗？一起来试一试！任务四：客户评价情感分析网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述准备一段客户评价文字在百度平台创建Nlp应用并获取鉴权信息

编写五行代码编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度Nlp接口，识别出客户对产品评价的情感倾向。效果如下所示。｝任务一请扫码完成集成环境&百度平台1.熟悉自然语言处理的概念2.了解自然语言处理的技术3.了解自然语言处理的应用4.了解知识图谱及应用5.能编程实现客户评价情感分析6.增强四个自信重点:1.自然语言处理的概念2.自然语言处理的技术与应用3.

客户评价情感分析实践难点:1.自然语言处理的概念2.客户评价情感分析应用实践知识‧技能‧素质重难点人工智能应用基础BasisofArtificialIntelligenceApplication1、自然语言处理的概念2、自然语言处理的基础技术3、自然语言处理的常见应用4、知识图谱及应用5、任务四：客户评价情感分析

自然语言处理(NaturalLanguageProcessing，NLP)是研究如何让机器理解与生成自然语言的学科，目的是实现人与计算机之间用自然语言进行有效通信，属于人工智能中的认知智能范畴。自然语言理解：人工智能皇冠上的明珠1、自然语言处理的定义4.1自然语言处理的概念自然语言人工语言人类社会约定俗成程序设计语言汉语，英语等C++，Java，Python等简洁长度和规则上都有一定的冗余含糊、歧义无二义性如果李春来到了无锡，我请他吃饭。自然语言处理的基础研究包括词法分析、句法分析、语义分析、篇章分析等，应用技术包括机器翻译、文本摘要、情感分析、文本理解、信息抽取等。在商品推荐、对话机器人、机器翻译、舆情监控，广告、金融风控等领域取得了良好的应用。2、自然语言处理技术与应用框架4.1自然语言处理的概念自然语言处理技术应用框架自动问答智能对话情感分析评价分析内容搜索知识推理机器翻译话题检测内容推荐商品理解文本理解意图理解文图转换多轮对话语言生成社媒分析应用技术智能交互翻译商品搜索广告风控翻译广告风控智能交互业务场景基础算法词法

分析分词实体识别词性标注词义消歧句法结构深层方法句法分析依存关系句法

分析词义消歧语义角色标注拼写检查语义

分析篇章结构主题模型指代消解摘要篇章

分析3、自然语言处理中的歧义模糊词法分析歧义例如：他背着母亲和姐姐悄悄的出去玩了。语法分析歧义例如：咬死了猎人的狗。语义分析歧义例如：开刀的是他父亲。指代不明歧义例如：小王回到宿舍，发现老朱和他的朋友坐在那里聊天。新词识别例如：我很喜欢吃鸡。语言行为与计划的差异例如：你能把盐递过来吗？4.1自然语言处理的概念1、自然语言处理的概念2、自然语言处理的基础技术3、自然语言处理的常见应用4、知识图谱及应用5、任务四：客户评价情感分析4.2自然语言处理的基础技术自然语言处理中的常用技术分词（WordSegmentation）将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列命名实体识别（NamedEntityRecognition）识别自然语言文本中具有特定意义的实体（人、地、机构、时间、作品等）词性标注（Part-of-SpeechTagging）为自然语言文本中的每个词汇赋予一个词性（名词、动词、形容词等）依存句法分析（DependencyParsing）又称依存句法分析（dependencysyntacticparsing），简称依存分析，作用是识别句子中词汇与词汇之间的相互依存关系。语义分析(SemanticAnalysis)

基础语言工具词法分析分词、词性标注、命名实体识别词向量表示与语言模型词语的向量化来实现文本的可计算，语义挖掘、相似度计算等应用短文本相似度高精度的短文本相似度服务，帮助快速实现推荐、检索、排序等应用解决方案集成评论观点抽取自动抽取和分析评论观点,实现舆情分析、用户理解，支持产品优化和营销决策机器翻译支持全球多种语言实时互译4.3自然语言处理的常见应用词法分析：分词、词性标注、命名实体识别2003年10月15日，杨利伟乘由长征二号F火箭运载的神舟五号飞船首次进入太空，象征着中国太空事业向前迈进一大步，起到了里程碑的作用。4.2自然语言处理的基础技术词法分析：分词切分歧义组合型歧义：中华人民共和国粗粒度的分词中华人民共和国细粒度的分词中华/人民/共和国交集型歧义：羽毛球拍卖完了羽毛球拍/卖完/了羽毛球/拍卖/完了真歧义：下雨天留客天留我不留下雨天/留客天/留我不/留下雨/天留客/天留/我不留未登录词新词热词：神马、不明觉厉、吃鸡、房奴、给力等专有名词：拜登、南苏丹、泰康人寿、亮剑、花呗专业名词：

禽流感、三聚氰胺等人名：……未登录词增长速度太快未登录词长度不定，来自普通词汇将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列4.3自然语言处理的常见应用词向量：利用大数据和深度学习模型，将语言词表中的词映射成一个长度固定的向量。所有的词向量构成一个向量空间，每一个词都是这个词向量空间中的一个点，据此实现词汇本身的向量化表示和词汇之间的相似度计算。词向量词汇语义相似度4.2自然语言处理的基础技术西瓜呆瓜草莓“西瓜”在语义上更像“呆瓜”还是“草莓”？？？√(0.018,0.4696,0.5076,-0.5987,…)向量化表示：(0.1858,0.0353,0.1479,0.2210,…)(0.2251,0.2862,0.0347,0.0413,…)向量化表示：0.1150.325相似度计算：文本语义相似度4.2自然语言处理的基础技术车头如何放置车牌前牌照怎么装如何办理北京牌照“车头如何放置车牌”跟哪句话的语义更接近？？？(0.844,-0.039,-0.789,-0.499,…)(0.355,0.238,-0.671,-0.743,…)(0.197,0.619,-0.849,-0.652,…)0.4860.762√向量化表示：向量化表示：相似度计算：1、自然语言处理的概念2、自然语言处理的基础技术3、自然语言处理的常见应用4、知识图谱及应用5、任务四：客户评价情感分析1、机器翻译机器翻译（MachineTranslation）又称为自动翻译，是指运用机器，通过特定的计算机程序将一种文本或声音形式的自然语言，翻译成另一种文本或声音形式的自然语言。4.3自然语言处理的常见应用他说：“我访问的目的是加强中国和津巴布韦之间的传统友谊，深化务实合作，把两国关系提高到更高水平，为两国人民带来更多的好处。”一种自然语言（源语言）翻译另一种自然语言（目标语言）计算机4.3自然语言处理的常见应用1、机器翻译浏览外文网站研读国外论文跨语言面对面沟通语言在线交流背诵外语单词学习作文写作学习阅读商业贸易往来会议展览沟通商贸了解国外旅游信息国外旅游打通语言障碍旅游交流在线翻译2、垃圾邮件分类垃圾邮件过滤器是抵御垃圾邮件问题的第一道防线，其工作原理是“关键词过滤”，即如果邮件中存在常见的垃圾邮件关键词，就判定为垃圾邮件。正常邮件中也可能有这些关键词，非常容易误判垃圾邮件也会进化，通过将关键词进行变形，很容易规避关键词过滤4.3自然语言处理的常见应用通过自然语言处理方法，学习大量的垃圾邮件和非垃圾邮件，收集邮件中的特征词，生成垃圾词库和非垃圾词库，然后根据这些词库的统计频数计算邮件属于垃圾邮件的概率，以此来进行判定，则能够相对准确地判断邮件是否为垃圾邮件。3、信息抽取信息抽取是把文本里包含的信息进行结构化处理，变成表格一样的组织形式。输入信息抽取系统的是各种各样文档中的原始文本，输出的是固定格式的信息点。可以从指定文本范围中提取出时间、地点、人物、事件等重要信息，帮人们节省大量时间成本，提高效率。

4.3自然语言处理的常见应用例：10月28日，AMD宣布斥资350亿美元收购FPGA芯片巨头赛灵思，这两家传了多年绯闻的芯片公司终于走到了一起。抽取结果事件：收购时间：2020年10月28日收购者：AMD被收购者：赛灵思收购金额：350亿美元信息抽取子任务抽取结果实体抽取公司名:AMD公司名:

赛灵思关系抽取赛灵思时间表达式抽取10月28日时间表达式归一化2020年10月28日4、文本情感分析文本情感分析又称意见挖掘、倾向性分析，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。互联网(如博客和论坛以及社会服务网络如大众点评)上产生了大量的用户参与的、对于诸如人物、事件、产品等有价值的评论信息。网络管理员可以通过浏览这些主观色彩的评论来了解大众舆论对于某一事件的看法企业可以分析消费者对产品的反馈信息，以便作出反馈或改进4.3自然语言处理的常见应用5、智能问答智能问答系统以一问一答形式，精确地定位网站用户所需要的提问知识，通过与网站用户进行交互，为网站用户提供个性化的信息服务。首先要正确理解用户所提出的问题，抽取其中关键的信息，然后在已有的语料库或者知识库中进行检索、匹配，将获取的答案反馈给用户。分为检索式问答、社区问答以及知识库问答三种。4.3自然语言处理的常见应用第一轮Q¹:上海明天下雨吗

第二轮Q²:这周六呢改写后本轮Q²rev:上海这周六下雨吗6、个性化推荐个性化推荐是根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的信息和商品。4.3自然语言处理的常见应用个性推荐热搜新闻词今日头条的新闻推荐知乎上的话题推荐购物平台的商品推荐直播平台的主播推荐4.3自然语言处理的常见应用麻省理工学院为无人机配备RFID技术，进行仓库货物管理麻省理工学院的研究团队为无人机在仓库中使用RFID技术进行库存查找等工作，创造了一种聪明的新方式。它允许公司使用更小，更安全的无人机在巨型建筑物中找到之前无法找到的东西。使用RFID标签更换仓库中的条形码，将帮助提升自动化并提高库存管理的准确性。与条形码不同，RFID标签不需要对准扫描，标签上包含的信息可以更广泛和更容易地更改。它们也可以很便宜，尽管有优点，但是它具有局限性，对于跟踪商品没有设定RFID标准，“标签冲突”可能会阻止读卡器同时从多个标签上拾取信号。扫描RFID标签的方式也会在大型仓库内引起尴尬的问题。固定的RFID阅读器和阅读器天线只能扫描通过设定阈值的标签，手持式读取器需要人员出去手动扫描物品。几家公司已经解决了无人机读取RFID的技术问题。配有RFID读卡器的无人机可以代替库存盘点的人物，并以更少的麻烦更快地完成工作。一个人需要梯子或电梯进入的高箱，可以通过无人机很容易地达到，无人机可以被编程为独立地导航空间，并且他们比执行大规模的重复任务的准确性和效率要比人类更好。目前市场上的RFID无人机需要庞大的读卡器才能连接到无人机的本身。这意味着它们必须足够大，以支持附加硬件的尺寸和重量，使其存在坠机风险。麻省理工学院的新解决方案，名为Rfly，允许无人机阅读RFID标签，而不用捆绑巨型读卡器。相反，无人机配备了一个微小的继电器，它像Wi-Fi中继器一样。无人机接收从远程RFID读取器发送的信号，然后转发它读取附近的标签。由于继电器很小，这意味着可以使用更小巧的无人机，可以使用塑料零件，可以适应较窄的空间，不会造成人身伤害的危险。麻省理工学院的Rfly系统本质上是对现有技术的一个聪明的补充，它不仅消除了额外的RFID读取器，而且由于它是一个更轻的解决方案，允许小型无人机与大型无人机做同样的工作。研究团队正在马萨诸塞州的零售商测试该系统。新闻摘要、文章分类等200字摘要麻省理工学院的研究团队为无人机在仓库中使用RFID技术进行库存查找等工作，创造了一种聪明的新方式。使用RFID标签更换仓库中的条形码，将帮助提升自动化并提高库存管理的准确性。几家公司已经解决了无人机读取RFID的技术问题。麻省理工学院的新解决方案，名为Rfly，允许无人机阅读RFID标签，而不用捆绑巨型读卡器。无人机接收从远程RFID读取器发送的信号，然后转发它读取附近的标签。820字报道量大，难以阅读7、语言生成1、自然语言处理的概念2、自然语言处理的基础技术3、自然语言处理的常见应用4、知识图谱及应用5、任务四：客户评价情感分析1、知识图谱的定义4.4知识图谱及应用找到最想要的信息提供最全面的摘要让搜索更有深度和广度

知识图谱（KnowledgeGraph），在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。2、知识图谱举例4.4知识图谱及应用谷歌知识图谱举例神舟十四号：发射过程，相关航天器

人物：两类人际关系3、应用：欺诈环4.4知识图谱及应用信用卡申请反欺诈图谱:

银行信用卡的申请欺诈包括个人欺诈、团伙欺诈、中介包装、伪冒资料等，是指申请者使用本人身份或他人身份或编造、伪造虚假身份进行申请信用卡、申请贷款、透支欺诈等欺诈行为。

欺诈者一般会共用合法联系人的一部分信息，如电话号码、联系地址、联系人手机号等，并通过它们的不同组合创建多个合成身份。电话地址电话1地址A电话2地址B电话3地址C3个身份信息电话地址电话1地址A电话2地址B电话3地址C9个身份信息3、应用4.4知识图谱及应用1、信用卡申请反欺诈图谱2、企业知识图谱：融合企业数据，构建企业知识图谱，用于企业风险评估、企业社交图谱查询、企业最终控制人查询、企业之间路径发现、上市企业智能问答等3、交易知识图谱：从身份证，手机号、设备指纹、IP等多重维度对持卡人的历史交易信息进行自动化关联分析，关联分析出可疑人员和可疑交易4、反洗钱知识图谱：精准追踪卡与卡之间的交易路径，从源头的账户/卡号/商户等关联至最后收款方，识别洗钱/套现路径和可疑人员5、信贷/消费贷知识图谱：对于互联网信贷、消费贷、小额现金贷等场景，进行自动化关联分析，结合规则识别图中异常信息，有效判别申请人信息真实性和可靠性6、内控知识图谱：防止中介人员通过制造或利用对方信息的不对称，在企业负责人不知情的情况下，将企业存款从银行偷偷转移1、自然语言处理的概念2、自然语言处理的基础技术3、自然语言处理的常见应用4、知识图谱及应用5、任务四：客户评价情感分析任务四：客户评价情感分析网络通信正常已安装Anaconda集成环境已安装百度SDK并注册用户1、任务描述准备一段客户评价文字在百度平台创建Nlp应用并获取鉴权信息

编写五行代码编译运行并查看结果2、环境要求3、任务设计本次任务是借助百度Nlp接口，识别出客户对产品评价的情感倾向。效果如下所示。｝任务一请扫码完成集成环境&百度平台任务四：客户评价情感分析创建Nlp应用并获取秘钥4、任务实施②③④登录

①

②开放能力

③语言与知识

④情感倾向分析

⑤立即使用领取免费资源⑥去领取

⑦自然语言处理

⑧全部

⑨0元领取创建应用⑩去创建

⑪填写应用名称（自定义）

⑫填写应用描述（自定义）

⑬立即创建获取密钥⑭