人工智能基础（Python实现）-课件 第7章 自然语言处理与应用

第7章自然语言处理与应用授课教师：李老师智能聊天机器人能够在任何时间回答用户的咨询，提供个性化服务前言智能搜索引擎能够理解用户的查询意图，提供精准的信息前言自动摘要和文本生成技术则为新闻、出版等行业带来了革命性的变化前言在教育领域，自然语言处理技术正在帮助教师批改作业，为学生提供个性化的学习建议前言在医疗健康领域，它则用于辅助诊断，通过分析病历文书来提高诊疗的准确性前言前言从自然语言处理的基础概念和发展历程出发，探究语言学知识对自然语言处理技术的影响01详细解析文本清洗、分词等基础任务，并展示自然语言处理技术在现实世界的广泛应用02最后展望多模态融合等前沿技术03熟练掌握文本清洗、分词、词性标注、命名实体识别和依存句法分析等基础任务的原理、方法和技术。了解语言学知识如语音、词汇、语法、语义等对自然语言处理技术的影响。清晰掌握自然语言处理的定义,了解自然语言处理从早期到现代的发展脉络。熟悉自然语言处理在语言理解、语言生成、机器翻译、内容审核、个性化推荐和智能问答等领域的具体应用场景和实现方式。030201了解自然语言处理前沿技术的发展。0405学习目标7.1自然语言处理概述基础语言学基础7.1.2自然语言中的歧义问题7.1.3自然语言处理的概念及其发展历程7.1.17.1.1自然语言处理的概念及其发展历程自然语言处理是计算机科学和人工智能领域中的一个关键研究方向，它致力于研究能实现人与计算机之间用自然语言（如英语、中文等）进行有效通信的各种理论和方法，其目标可以归纳为语言理解、语言生成和人机交互。语言理解是使计算机能够准确理解人类语言的含义，包括词汇的精确含义、句子的结构以及整个文本的上下文和意图。语言生成是让计算机能够生成自然流畅的人类语言，用于回应、解释或传达信息。人机交互是通过自然语言处理技术，实现人与计算机之间的自然、流畅交互，提升用户体验和服务效率。自然语言处理领域的研究涉及多个学科，包括计算机科学、语言学、心理学和统计学等。自然语言处理自然语言处理的发展历程4321以符号学派和随机学派为代表，主要集中在基础理论和模式识别等方面。早期探索期(1950-60年代)深度神经网络，特别是循环神经网络（RNN）和Transformer架构，带来了前所未有的模型性能。深度学习时代和大模型时代(2110年代-)理性主义时代(1970-80年代)基于逻辑的范式、基于规则的范式和随机范式得到了广泛的研究和应用。经验主义时代(1990年代-200X)基于机器学习和大量数据的方法开始占据主导地位。语言的发音和声音特性(1)语音层7.1.2语言学基础语言的句子结构、句法关系和句子的功能(3)语法层语言的意义和语义关系(4)语义层词汇的形态、词义、词法(2)词汇层语言的层级结构语音层语音层的研究对于理解语言的听觉特性、进行语音识别和语音合成等方面具有重要意义。如通过对不同音素的识别和分析，可以更好地理解语音信号中的内容，提高语音识别的准确性；根据不同的音节结构和韵律规则，生成的语音自然流畅，更符合人类听觉习惯。词汇层自然语言处理中的词法分析涉及对词汇的形态、词性等进行分析。词汇层的知识对于准确识别词的边界、确定词性以及进行词干提取等任务至关重要。例如，通过分析词的后缀可以判断其词性，为后续的语法分析和语义理解提供基础。语法层语法分析是自然语言处理的关键环节，它旨在确定句子的语法结构。语法层的知识为语法分析提供了规则和依据。通过分析句子的主谓宾等结构，可以更好地理解句子的含义。例如，在机器翻译中，准确的语法分析可以确保翻译结果的语法正确性。自然语言处理系统有时需要生成句子，语法层的规则可以指导句子的生成过程。遵循语法规则生成的句子更加通顺、自然，提高了系统的输出质量。语义层语义理解是自然语言处理的核心任务之一。语义层的知识有助于系统准确理解文本的意义。通过分析词汇的语义关系、句子的语义结构等，可以深入理解语言所表达的信息。例如，在问答系统中，准确理解问题的语义是给出正确答案的前提。在信息检索、文本分类等任务中，需要计算文本之间的语义相似度。语义层的知识可以帮助系统更准确地计算语义相似度。通过分析词汇的语义特征和句子的语义结构，可以确定文本之间的相似程度。例如，在机器翻译系统中，最后,进行语音合成(若输出是语音)。随后展开词法分析、语法分析以及语义理解,以确定源语言句子的结构与意义。首先进行语音识别(倘若输入为语音),接着,依据目标语言的语法和语义规则,生成目标语言的句子。7.1.3自然语言中的歧义问题歧义问题在自然语言处理中一直是一个具有挑战性的难题，因为它可能导致误解、错误的理解和不准确的信息传递。歧义类型语法歧义指代歧义方向性歧义修饰语歧义语音歧义句法结构歧义数量歧义词汇歧义语义歧义语境歧义解决歧义的方法1基于规则的方法综合方法基于统计的方法基于深度学习的方法3427.2自然语言处理基础任务7.2.1文本清洗7.2.2分词7.2.3词性标注7.2.4命名实体识别7.2.5依存句法分析7.2.1文本清洗文本清洗的目的就是通过一系列预处理步骤,提高文本数据的质量和一致性,使得处理后的文本更加适合后续的自然语言处理任务。在自然语言处理的实际应用中,文本清洗的效果往往直接影响整个系统的性能。例如,在情感分析任务中,如果文本中存在大量的特殊字符、无关词汇或拼写错误,那么模型可能无法准确地捕捉到文本中的情感信息,从而导致分析结果的不准确。文本清洗通常包括以下几个关键步骤去除无用字符小写化处理缩写和简写文本编码统一文本规范化去除或替换数字去除重复项拼写校正去除噪声数据1357924687.2.2分词在自然语言处理领域,分词作为基础步骤,发挥着关键作用。它将连续的文本拆分为独立的单词、短语或符号,为后续的各项处理任务如词性标注、句法分析、语义理解等奠定基础。不同的语言在分词过程中面临着各自独特的规则和挑战。英文一般以空格作为基本的单词分隔符。但英文中的缩写和连字符常常给分词带来困扰中文没有像英文那样明显的空格作为单词边界的标识,确定词语的边界往往需要综合考虑多个因素。“乒乓球拍卖完了”“乒乓球”“拍卖”“完了”“乒乓球拍”“卖完了”jieba库中文分词示例结果importjiebatext="自然语言处理是人工智能的一个分支，涉及计算机科学、人工智能和语言学等领域。"#使用jieba.lcut进行精确模式分词，结果存储在列表中word_list=jieba.lcut(text,cut_all=False)#输出分词结果print("精确模式:",word_list)精确模式:['自然语言','处理','是','人工智能','的','一个','分支','，','涉及','计算机科学','、','人工智能','和','语言学','等','领域','。']7.2.3词性标注词性标注（Part-of-SpeechTagging，POSTagging）指的是将文本中的每个单词分配一个词性标签，如名词、动词、形容词、副词等。jieba库中文分词并词性标注示例结果importjieba.possegaspsegtext="今天天气晴朗，我心情愉悦地去公园散步。"words=pseg.cut(text)forword,flaginwords:print(f"{word}（{flag}）",end=";")今天（t）;天气晴朗（nr）;，（x）;我（r）;心情（n）;愉悦（a）;地（uv）;去（v）;公园（n）;散步（n）;。（x）;7.2.4命名实体识别命名实体识别（NamedEntityRecognition，NER）的主要目的是从文本中识别出具有特定意义的实体，如人名、地名、组织机构名、时间表达式、日期、货币、百分比等。这些实体对于理解文本的含义和上下文至关重要，因为它们通常包含了文本中最关键和最有价值的信息。“李明在会议室汇报工作。”“李明”“会议室”命名实体识别的应用场景信息提取智能问答知识图谱构建机器翻译舆情分析搜索引擎优化命名实体识别的简单例子示例结果importjieba.possegaspsegdefextract_entities(text):entities=[]forword,flaginpseg.cut(text):ifflagin['nr','nrt','n','ns','t']:#使用jieba实际的词性标签entities.append(word)returnentitiestext="今天，广东金融学院—华为技术有限公司全面合作框架协议在深圳举行签约仪式。未来，双方将在人才培养、信息化建设与科研合作等方面开展深度合作。"entities=extract_entities(text)print("可能的命名实体：",entities)可能的命名实体：['今天','广东','金融','学院','全面','框架','协议','深圳','仪式','未来','双方','信息化','科研','方面','深度']7.2.5依存句法分析依存句法分析在自然语言处理的多个领域都有广泛的应用，例如在语言理解、信息抽取、机器翻译、情感分析和文本生成等方面。通过依存句法分析，可以更好地理解句子的含义，提高自然语言处理任务的准确率。依存句法分析的基本步骤step01step02step03接着,对每个词进行词性标注,即确定每个词在句子中的词性(如名词、动词、形容词等)。需要对输入的句子进行分词处理,即将句子拆分成一系列独立的词(或词素)。基于分词和词性标注的结果,进行依存句法分析,构建依存树。7.3自然语言处理常见应用01语言理解03机器翻译04内容审核05个性化推荐06智能问答-聊天机器人02语言生成7.3.1语言理解“百度人工智能能力体验中心→语言理解”页面1．词法分析进行分词、词性标注和命名实体识别等操作主要应用场景语音指令解析法律术语识别品牌舆情信息提取多轮交互式搜索新闻人物信息提取2．文本纠错针对公文写作的场景内容搜索场景将文本纠错功能嵌入对话系统中在内容写作平台中嵌入纠错模块结合自然语言处理技术，如拼写检查、语法分析、语义理解以及领域知识库等，识别文本中的多种错误类型，包括但不限于拼写错误、语法错误、标点符号错误、语义错误以及特定领域内的术语使用不当等。情感倾向分析，又称情感分析或情感评分，它用于识别和提取文本中的主观信息，并对作者或说话者的情感态度进行分类。这种分析可以帮助理解客户反馈、产品评论、社交媒体帖子等文本数据中的情绪倾向。3．情感倾向分析“这款产品非常好用，我很满意，强烈推荐给大家。”“这个产品质量太差了，根本不值得购买。”“这款产品的价格是100元。”情感分析通常涉及以下步骤特征提取情感分类模型训练文本预处理置信度评估0102030405情感倾向分析的主要应用领域社交媒体监控市场研究客户服务内容推荐政治选举情感倾向分析功能演示旨在从用户评论、产品评价、社交媒体帖子等文本中自动识别出用户表达的具体观点或评价对象。这些观点通常与某个实体（如产品、服务、个人等）的属性或特征相关联。首先，需要确定文本中用户正在评价的具体对象或实体。例如，在一条关于手机的评论中，评价对象可能是手机的“屏幕”“电池续航”或“摄像头”。其次，需要抽取用户对评价对象所持有的具体观点或情感倾向。这些观点可能是正面的（如屏幕很清晰）、负面的（如电池续航太短）或中性的（如外观一般）。最后，需要将评价对象和相应的观点关联起来，形成一个结构化的表示，以便进一步分析和应用。4．评论观点抽取评论观点抽取功能演示对话情绪识别是自然语言处理和情感分析领域的一个重要分支，它涉及对人类交流中情感层面的理解和分析，即通过分析对话中的语言、语调、语速、停顿等特征，结合机器学习算法和深度学习模型，来推断出说话者的情绪状态，如高兴、悲伤、愤怒、惊讶等。5．对话情绪识别对话情绪识别的方法主要包括基于文本的情绪识别多模态情绪识别基于语音的情绪识别对话情绪识别技术的应用客服领域市场调研和舆情监测领域社交媒体平台心理健康领域对话情绪识别功能演示地址识别技术是通过分析文本内容，能够从复杂的文本（如快递单）中精准提取出姓名、电话和地址信息等。在实际应用中，地址识别技术能够将非结构化的地址文本转化为结构化的数据，如将“张三，186****4663，广东省深圳市南山区学府路东百度国际大厦”这样的文本信息，解析为包含姓名、电话、省份、城市、区县、街道等详细信息的结构化数据。此外，地址识别技术还可以融合地图数据支持，如百度地图权威数据，以识别并生成标准规范的地址信息，进一步提高了识别的准确率。6．地址识别地址识别功能演示实体分析是通过结合上下文信息，识别文本中的实体，并将其与百科知识库中的实体对象相关联。这一过程不仅涉及对实体的识别，还包括对实体概念的分析和实体简介的生成，旨在深入理解文本中的实体信息。例如对文本“苹果公司最近发布了新款iPhone”进行实体分析，先识别出“苹果公司”和“iPhone”为实体；然后将“苹果公司”链接到知识库中的AppleInc.实体，将“iPhone”链接到相应的产品类别；再进行概念分析，确定“苹果公司”属于“科技公司”类别，“iPhone”属于“智能手机”类别；最后，为“苹果公司”提供简介，如成立年份、创始人、主要产品等；为“iPhone”提供产品系列、特点、市场表现等信息。在实际应用中，实体分析可应用于文本理解、智能问答系统、知识图谱构建等多个领域。例如，在智能问答系统中，通过实体分析可以理解用户问题中的实体，并在知识库中检索相关信息，以提供准确的答案。7．实体分析短文本相似度计算是自然语言处理领域的一项核心技能，它用于评估两个短文本之间的语义接近程度。这项技术通过将文本内容转化为数值形式的向量，进而比较这些向量之间的相似性。8．短文本相似度sklearn库计算两个短文本相似度的示例示例#导入必要的库importjiebafromsklearn.feature_extraction.textimportTfidfVectorizerfromsklearn.metrics.p人工智能rwiseimportcosine_similarity#定义两个相似的中文文本text1="自然语言处理是人工智能的一个重要分支。"text2="人工智能领域包含了自然语言处理。"#使用jieba进行中文分词，并用空格连接分词结果text1_cut="".join(jieba.cut(text1))text2_cut="".join(jieba.cut(text2))sklearn库计算两个短文本相似度的示例示例#使用TfidfVectorizer将文本转换为TF-IDF特征向量#注意：fit_transform会同时拟合和转换数据，如果后续有新文本需要转换，应使用transformvectorizer=TfidfVectorizer()tfidf_matrix=vectorizer.fit_transform([text1_cut,text2_cut])#计算两个文本的余弦相似度#注意：cosine_similarity函数的输入是两个数组，这里通过切片获取单个样本的向量cosine_sim=cosine_similarity(tfidf_matrix[:1],tfidf_matrix[1:])#输出相似度#cosine_sim是一个二维数组，因为输入是两个样本的列表。取第一个元素（即第一个样本与第二个样本的相似度）print(f"文本1和文本2的相似度为:{cosine_sim[0][0]}")sklearn库计算两个短文本相似度的示例示例text1="自然语言处理是人工智能的一个重要分支。"text2="自然语言处理确实是人工智能的一个重要分支。"运行上述代码后，得到的运行结果是“文本1和文本2的相似度为:0.380……”将text1和text2换成下面的内容，得到的相似度达到0.867……短文本相似度计算的应用电子商务社交媒体监控方面信息检索领域学术研究内容推荐客户服务与支持领域010605020304从文本中自动提取出若干关键的词或短语，这些关键词或短语能够准确反映文本的主题、话题以及涉及的实体等方面。在个性化推荐场景中，通过对用户浏览的文本进行关键词提取，可以了解用户的兴趣偏好。在话题聚合方面，对大量的文本进行关键词提取后，可以将具有相同或相似关键词的文本归为一类。电商推荐场景，当用户撰写商品评价或搜索商品时，关键词提取技术可以从这些文本中提取出关键信息。9．关键词提取文本信息提取技术能够精准理解用户输入的短语或问题，并从中提取出丰富多样的文本信息，包括但不限于实体、关系、事件论元以及事件描述等。文本信息提取的关键技术通常包括实体识别、关系抽取、事件抽取、文本分类、情感分析和观点抽取等。在媒体领域，文本信息提取技术可以快速分析大量的新闻稿件。金融领域中，该技术可以对金融新闻、公司财报等文本进行分析。提取出涉及的金融机构实体、不同金融产品之间的关系、重大金融事件的详细描述。在政务领域，文本信息提取能够处理各类政策文件、政务公告等文本。提取出相关的政府部门实体、政策实施对象之间的关系、政策所针对的事件和具体的政策描述。10．文本信息提取7.3.2语言生成文章标题生成12345文章标签智能创作新闻摘要文章分类文章标签是指通过给文章附加关键词或短语的方式，对文章进行分类和归档的一种方法。这些标签能够准确地描述文章的主题、内容或特点，不仅方便读者快速检索和筛选文章，也便于作者掌握自己创作内容的整体情况。在新闻个性化推荐、相似文章聚合、文本内容分析等应用场景中，文章标签提供了重要的技术支持。1．文章标签文章分类是指将文章按照内容类型进行自动划分，以便更好地进行文章聚类、文本内容分析等。2．文章分类通过分析文章的内容，该技术可以提取出关键信息、主题关键词和核心观点。然后，运用自然语言处理算法和语言模型，生成多个富有创意和吸引力的标题。这些标题既能够准确反映文章的主题，又具有一定的新颖性和独特性，能够在众多标题中脱颖而出。3．文章标题生成新闻摘要是通过自动提取新闻文本中的关键信息并生成简短的摘要来帮助用户快速了解新闻内容。4．新闻摘要5．智能创作文学创作视觉艺术音乐创作游戏开发机器翻译是指使用计算机程序将一种自然语言转换成另一种自然语言的过程。神经机器翻译是机器翻译的重大变革，它利用深度学习技术，尤其是Transformer模型，通过自注意力机制处理输入序列中的关联信息，有效捕捉长距离依赖关系，从而显著提升了翻译的准确性和流畅性。多模态融合技术的兴起预示着机器翻译将突破文本的界限，迈向更加广阔的应用空间。7.3.3机器翻译内容审核是指对互联网上的文本、图片、视频等媒体内容进行审查，以确保这些内容不违反法律法规、平台规则和社会道德标准。7.3.4内容审核个性化推荐是指根据用户的个性化信息，如兴趣爱好、历史行为、人口统计学信息等，为用户提供符合其特定需求的信息推荐服务。它旨在解决信息过载问题，帮助用户快速发现感兴趣的内