Python自然语言处理 课件 第12章 智能问答与对话

智能问答与对话Python自然语言处理第十三章CONTENT目录

01智能问答02智能对话系统03问答系统的主要组成04不同类型的问答系统05前景与挑战章节回顾经典的神经网络机器翻译模型机器翻译译文质量评价机器写作01智能问答智能问答了解问题寻找知识确定答案智能问答智能问答整句理解问题，而搜索引擎提取关键词智能问答基于理解给出的结果是更精确的答案智能问答给出的答案来源也多种多样，既有结构化的数据，也有非结构化的数据。02智能对话系统对话系统的基本过程对话系统的常见场景对话系统的基本过程社区问答系统阅读理解型问答系统文本问答系统对话系统的基本过程02智能对话系统对话系统的基本过程对话系统的常见场景对话系统的常见场景任务型问答型闲聊型有明确的任务目标，需要机器通过指令完成某种功能从而达到任务目标，同时还需要将请求参数化。有明确的任务目标，但不需要参数化请求。问答型对话往往具有固定的标准答案。没有具体目标，也不限定特定领域，一般而言，聊的越久越好。03问答系统的主要组成问答系统的主要组成问答系统的主要组成问题理解知识检索答案生成课程小结智能问答智能对话系统对话系统的基本过程对话系统的常见场景问答系统的主要组成智能问答与对话Python自然语言处理第十三章CONTENT目录

01智能问答02智能对话系统03问答系统的主要组成04不同类型的问答系统05前景与挑战章节回顾01OPTION02OPTION03OPTION智能问答智能对话系统对话系统的基本过程对话系统的常见场景问答系统的主要组成02不同类型的问答系统文本问答系统阅读理解型文本问答系统社区问答系统大型问答系统案例：IBM沃森问答系统文本问答系统问题理解知识检索答案生成文本问答系统01-问题理解问题理解问题内容问题分类问题拓展文本问答系统问题理解的内容分类体系平面分类层次分类Moldovan分类体系UIUC分类体系文本是信息的载体，文本通常包括“时间”、“地点”、“人物”、“起因”、“经过”、“结尾”和“情结”等要素，问题也是文本的一种，文本问答系统中，人们提出的问题大多就是查询上面这些要素信息点。文本问答系统问题理解的方法问题理解是从问题中提取关键成分的过程，该过程可使用模板匹配方法和自然语言处理技术。最直接的方法：字符串-模板匹配方法。常见的方法：自然语言处理技术。自然语言处理技术需要分析词法和句法模板匹配的优点：逻辑清晰、易于理解模板匹配的缺点：模板形式固定，对于丰富多变的语言无法做到灵活适用，除非用户也编写了对应的模板。自然语言处理技术与模板匹配相比，在处理不同问句方面，前者更为灵活，尤其现在基于AI+大数据训练出的语义模型，通常可以更为准确的分析出句子，达到与人类同样的水平。但自然语言处理技术与模板匹配技术相比，模型的解释性较差，人工干预较困难。文本问答系统问题扩展自然语言的灵活多变为问题理解增加了较大的难度。某问句可能即存在句式变化，同时还存在同义词或近义词。例如“谁是居里夫人的丈夫”和“玛丽·居里的老公叫什么”两个问句是同一个意思，这时就需要使用相关的自然语言分析工具来消除歧义，扩增原始问题。在词的级别上，可以借助同义词词典，在句的级别上可以借助句子复述技术。文本问答系统02-知识检索知识检索知识检索知识检索非结构化信息检索结构化知识检索百科类知识关系类知识文本问答系统知识检索知识检索在非结构化信息中，信息通常包含在文本中，而不是以组织成实体和属性的结构存在。对于非结构的信息，可以利用信息检索技术来挖掘与问题相关的信息，信息检索技术中最直接的方式是将问题的关键词（问题理解阶段获得）传给搜索引擎，返回与这些关键词相关的文档。再通过筛选提取步骤，生成最终的答案。非结构化信息检索文本问答系统知识检索知识检索实体属性与关系结构化的知识结构化知识检索文本问答系统知识检索知识检索百科类知识如百度百科、维基百科和百科全书等。百科类数据包含多个实体（条目），每个实体包含简介、属性、其它信息等。百科类数据的属性为结构化数据，其它部分为文本数据（非结构化）关系类知识关系类知识可以通过三元组的结构表示，包括两个事物A/B及实体关系R，三元组结构为（A，R，B）。三元组结构可以很好的解决问答领域的一些事实类问题。结构化知识检索文本问答系统知识检索知识检索本体其概念来源于哲学领域，在哲学中的定义为对世界上客观事物的系统描述，在维基中的定义为本体实际上就是对特定领域之中某套概念及其相互之间关系的形式化表达。在计算机领域本体可以看成是共享概念模型的形式化规范说明。推理指通过各种方法获取新的知识或者结论。本体与推理文本问答系统知识检索知识检索推理基于描述逻辑的推理基于知识图谱表示学习的推理基于图结构和统计规则挖掘的推理本体与推理文本问答系统知识检索知识检索问题的关键词和答案词存在联系，答案生成过程中也可参考问题和候选的相似度。非结构化信息检索知识检索到的信息，往往结构化性质较弱，为了获得更为精确的答案，就需要进行进一步的过滤筛选。通过多种方式逐步的缩小候选答案的范围，还可以使用其他方法对答案的可信度进行验证。03-答案生成课程小结文本问答系统问题理解知识检索答案生成智能问答与对话Python自然语言处理第十三章CONTENT目录

01智能问答02智能对话系统03问答系统的主要组成04不同类型的问答系统05前景与挑战章节回顾文本问答系统01OPTION02OPTION03OPTION答案生成知识检索答案生成04不同类型的问答系统文本问答系统阅读理解型文本问答系统社区问答系统大型问答系统案例：IBM沃森问答系统阅读理解型文本问答系统什么是阅读理解任务阅读理解任务的模型阅读理解任务的其他工程技巧010203阅读理解型文本问答系统01-什么是阅读理解任务给定一篇文本，机器阅读这篇文本，并对与这篇文本有关的的问题进行回答，类似中英文考试中的阅读理解题一样，这种任务就是机器阅读理解任务阅读理解型文本问答系统阅读理解任务的模型结构示例01-阅读理解任务的模型阅读理解型文本问答系统同其它机器学习算法一样，集成学习模型相比单一分类器而言往往更具泛化性。机器阅读理解竞赛的排行榜中，前几名队伍都使用了集成学习方法。在工程中使用集群学习模型往往可以获得较好的效果。深度神经网络需要的数据集较大，在工程实践中，为增大数据量，可采用机器翻译将数据集文本成翻译其它语言文本，再将翻译后的文本翻译回原语言文本，通过这种方式可实现数据扩充。01-阅读理解任务的其他工程技巧04不同类型的问答系统文本问答系统阅读理解型文本问答系统社区问答系统大型问答系统案例：IBM沃森问答系统社区问答系统社区问答系统的结构01020304相似问题检索答案过滤社区问答的应用社区问答系统01-社区问答系统的结构知识检索知识检索社区问答系统知识检索知识检索社区问答系统的结构包含问题理解和答案生成两个部分。(1)问题理解：这部分主要通过检索问答数据库中，获得与输入问题最接近的一个或多个问题，完成问题匹配，该任务属于NLP中的复述分类（ParaphraseClassification）任务。(2)答案生成：已有的“问答对“中，答案的质量是不好保证的，这种情况下，不推荐将答案直接返回给用户。这时可以采取一些过滤筛选方法，以便提供更准确的答案，常见的方法包括：挑选更准确的答案，综合多个答案，或者对长篇答案做摘要等。01-社区问答系统的结构社区问答系统知识检索知识检索问题相似性计算方法基于向量空间模型的问句相似度计算方法基于语义的问句相似度计算方法基于依存的问句相似度计算方法基于编辑距离的问句相似度计算方法基于同义词和同义词的知识来扩展关键字来识别相似的问题句02-相似问题检索社区问答系统知识检索知识检索03-答案过滤社区问答系统知识检索知识检索根据答案提供者的用户等级或专业性。一个用户参与度越高，获得好评越高，他的回答可能就越专业，这也是许多问答社区按照用户等级提供不同权限功能的主要原因。根据答案内容本身评估质量。如果一个问题有多个答案，并且多个答案之间有同样的关键词，这些关键词在较大概率上是正确答案的组成部分。除了多个答案的关键词，还可以通过答案的长度、答案的类别等信息也可以用作特征。当然，我们可以综合运用这两部分信息。03-答案过滤社区问答系统知识检索知识检索智能问答系统：通过预先构建好的大量的“问答对”，在为客户提供服务时，采用社区问答策略：将用户的输入问题传入问答系统，通过检索问答数据库，找到相似问题，并做进一步的答案过滤后返回答案。如果没有相似的问题，可以采用提示用户改变输入问题或转入人工客服处理等。目前，许多构建客户服务机器人的平台系统都使用类似的社区问答系统技术。04-社区问答的应用04不同类型的问答系统文本问答系统阅读理解型文本问答系统社区问答系统大型问答系统案例：IBM沃森问答系统大型问答系统案例：IBM沃森问答系统知识检索知识检索04-社区问答的应用大型问答系统案例：IBM沃森问答系统知识检索知识检索04-社区问答的应用05前景与挑战前景与挑战知识检索知识检索与国外研究情况相比：中文信息处理比英