1Python人工智能技术与应用 课件 4.【课件】5-1 调研分析自然语言处理技术

《Python人工智能技术与应用》能力模块五掌握基于深度学习的自然语言处理技术应用任务一调研分析自然语言处理技术TaskImport任务导入随着互联网技术的不断成熟和普及，越来越多的消费者开始通过互联网获取汽车信息、比较汽车价格、进行汽车购买等。汽车门户网站因此应运而生，成为了消费者获取汽车信息的主要渠道之一。汽车门户网站的其中一个优势是可以通过情感分析技术，了解用户对汽车品牌、车型、服务等的情感倾向，从而为汽车厂商提供改善建议。现某新创立的汽车门户网站想寻求汽车品牌厂商合作，第一步是需要获取品牌厂商的信任，让汽车厂商了解门户网站的优势，了解门户网站上口碑分析背后的原理，你作为该汽车门户网站公司的自然语言处理实习生，需要对网站口碑分析背后的技术原理进行一个调研分析并告知潜在的汽车合作厂商。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解自然语言处理技术的定义。了解深度学习在自然语言处理技术中的应用。了解自然语言处理技术的主要应用。技能目标掌握自然语言处理技术的流程及其相关Python工具。能够列举至少3个的自然语言处理技术流程中用到的Pvthon工具。能够独立阐述自然语言处理技术的定义。新

授自然语言处理技术流程及其Python实现04CONTENTS目录自然语言处理技术的定义01深度学习在自然语言处理技术中的应用02自然语言处理技术的主要应用0301自然语言处理技术的定义语言是人类所特有的一种能力，而实现用自然语言与计算机进行通信，是人们长期以来追求的目标。自然语言处理（NaturalLanguageProcessing，NLP）就是实现人机间通过自然语言交流的一项技术。定义NLP将人类交流沟通所用的语言经过处理转化为机器所能理解的机器语言，是一种研究语言能力的模型和算法框架。

自然语言处理——机器翻译人类的语言02深度学习在自然语言处理技术中的应用卷积神经网络（CNN）广泛应用于自然语言处理的文本分类、文本生成、词嵌入、语义分析等任务，而循环神经网络（RNN）广泛应用于自然语言处理的文本分类、语言模型、机器翻译、语音识别和自动问答等任务。卷积神经网络自然语言是高度抽象的符号化系统，文本间存在数据离散、稀疏，同时还存在多义词、一词多义等问题。而深度学习方法具有强大的特征提取和学习能力，可以更好地处理高维度稀疏数据，在NLP领域诸多任务中都取得了长足发展。自然语言自然语言处理技术的主要应用03文本分析阅读理解问答系统机器翻译语言建模情感分析自然语言处理技术（NLP）领域中文分词、词性标注及命名实体自然语言处理技术的主要应用03（一）机器翻译利用计算机把一种自然源语言转变为另一种自然目标语言的过程，也称为自动翻译。

智能手机中的机器翻译自然语言处理技术的主要应用03（二）文本分类文本分类是利用计算机将文本集按照一定的分类体系或标准，进行自动分类标记的过程。对海量工单进行标签分类自然语言处理技术的主要应用03（三）自动问答

自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。华为自动客服解决用户问题自然语言处理技术的主要应用03（四）自动文摘

自动文摘是运用计算机技术，依据用户需求从源文本中提取最重要的信息内容，进行精简、提炼和总结，最后生成一个精简版本的过程。生成的文摘具有压缩性、内容完整性和可读性。自动摘取新闻示例04（一）自然语言处理技术流程自然语言处理技术流程及其Python实现获取语料0102文本预处理建模后的效果进行评价0503特征化/向量化模型训练0402（一）自然语言处理技术流程自然语言处理技术流程及其Python实现获取语料：从文本源获取文本，如文件，网页，社交媒体等。语料进行预处理：其中包括语料清理、分词、词性标注和去停用词等步骤。特征化/向量化：将分词后的字和词表示成计算机可计算的类型(向量)，这样有助于较好地表达不同词之间的相似关系模型训练：包括传统的有监督、半监督和无监督学习模型等，可根据应用需求不同进行选择。建模后的效果进行评价：常用的评测指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等。各种社交媒体来源的语料02（二）Python相关工具自然语言处理技术流程及其Python实现Jieba中文分词工具，可以将中文文本分割成单独的词汇，以便进行文本分析。Gensim

用于计算文本相似度的Python库，可以用来构建词向量，以及计算文本之间的相似度。scikit-learn用于机器学习的Python库，可以用