信息检索与问答系统

1、信息检索与问答系统同济大学TONGJI UNIVERSITYPage 2目录目录1. 问答系统概述与简介2. 问答系统技术发展3. 基于问题答案对的问答系统4. 技术前沿Page 31. 1 研究背景 为什么要有问答系统 传统搜索引擎存在不足 1. 返回结果太对 2. 检索效果不好 据英国英里(MORi)调查公司的民意调查结果显示，只有18的用户表示总能在网上搜索到需要的信息，68的用户说他们对搜索引擎很失望，28表示还可以，其余5为不知道。 以关键字为基础的索引、匹配算法尽管简单易行，毕竟停留在语言的表层，而没有触及语义，因此效果很难进一步提高。Page 41. 2 问答系统的定义 一个能回

2、答任意自然语言形式问题的自动机。 问答系统是信息检索的一种，是在传统的基于关键词检索的基础上发展起来的精确检索 一般都认为问答系统的输入应该是自然语言形式的问题，输出应该是一个简洁的答案或者可能答案的列表，而不是一堆相关的文档。Page 51. 3 问答系统基本流程 1. 问题处理 任务：任务：解析问句，理解语义 主要技术：主要技术：词法分析、句法分析、问题分类、命名实体识别、句型识别、语义分析、语料库技术 2. 信息检索 任务：任务：获取可能包含的网页或答案 主要技术：主要技术：布尔检索模型、向量检索模型、概念检索模拟、搜索引擎技术 3. 答案处理 任务：任务：从结果中判断并找到结论返回给用

3、户 主要技术：主要技术：命名实体识别、句法分析、相似度计算、语义分析Page 62 问答系统的发展历程 基于结构化数据的问答系统 人工智能阶段-BASEBALL和LUNAR 计算语言学阶段-Unix Consultant 基于自由文本的问答系统 基于问题答案对的问答系统Page 72.1 基于结构化数据的问答系统 基于结构化数据的问答系统的主要思想是通过分析问题，把问题转化为一个查询(query)，然后在结构化数据中进行查询，返回的查询结果即为问题的答案。Page 82.2 基于自由文本的问答系统 基于自由文本(freetext based)的问答系统属于开放域问答系统，它只能回答那些答案存在

4、于这个文档集合中的问题Page 92.2.1 步骤一：问题分析 问句分类的方法主要包括模式匹配方法和机器学习方法两类。 模式匹配方法 为每一种问题类型建立一个模式集合，对于一个问句，只要与某种问题类型对应的模式相匹配，就被认为是这种类型的问题。 机器学习方法 首先定义一个问题的特征集合，然后在训练数据上得到一个分类器，就可以对新的问句进行分类了。 主要技术： K最近邻算法、决策树、朴素贝叶斯、支持向量机。 主题词提取Page 102.2.2 步骤二：信息检索 主要目的：缩小答案的范围，提高下一步答案抽取的效率和精度。 步骤： 1. 文档检索-文档检索是给定一个由问题产生的查询，通过某个检索模型

5、去得到相关的文档。 2. 段落检索-从候选文档中检索(抽取)出可能包含答案的段落。 常用的模型：布尔模型、向量空间模型、语言模型、概率模型等。 常用算法：MultiText算法、IBM的算法和SiteQ算法Page 112.2.3 步骤三：答案抽取 1. 候选答案集合的生成： 自然语言处理领域命名实体的识别已经能够达到非常好的效果，如隐马尔可夫模型HMM或者条件随机域模型CRF 2. 答案提取：（获取最佳答案） 基于表层特征的答案提取（判断相关度、出现次数等） 通过关系抽取答案（判断逻辑语义关系） 通过模式匹配抽取答案 利用统计模型抽取答案Page 122.3 基于问题答案对的问答系统 FAQ

6、和CQA的对比 FAQ：基于常问问题列表 CQA：基于社区问答 FAQ具有量大、问题质量高和组织好等优点，但是在特定领域问题数目相对较少，这个缺点制约了基于FAQ的问答系统的应用范围。 自2005年末以来，一种新的问题答案对形式的数据开始大量出现，即CQA数据，不仅问题答案对的数量大，而且在特定领域问题答案对数目也特别多，同时还在不断增加。相对FAQ问题答案对，CQA数据中的问题答案对的质量参差不齐，而且用语不规范，有很多口语和省略语。Page 132.3 基于问题答案对的问答系统Page 142.3.1 问题处理部分 除了前文用到的技术外，还涉及3个研究方向： 1. 问题的主客观分析 2.

7、问题的紧急性分析 根据特征分类，例如SVM和决策树 3. 研究query生成问题 由于CQA问题答案对数量巨大，微软研究院的Lin指出用户只提出一个查询(query)，然后通过这个查询生成其对应的问题，就可以在CQA数据中找到相应的答案返回给用户。 文中没有给出具体的解决方案，但这是一个待研究的有趣问题。Page 152.3.2 信息检索部分 基于问题答案对的问答系统已经有了问题和对应的答案，不必在文本中搜寻答案，因此在检索部分只需找到和问题类似的问题，然后返回答案或者相似问题列表即可。 研究方向： 1. 问题答案对的检索模型 2. 问题答案对的相似性Page 162.3.3 答案抽取部分 由于CQA中每个问题都有很多答案，虽然大部分问题都会有一个标记为Best Answer的答案，但是这个Best Answer未必就是最好的答案。因为形成这个Best Answer的机制有可能是投票或者系统自动标注得到的，所以非常有必要研究怎么从问题的众多答案中选择一个最好的答案，这就需要研究答案的质量。 答案质量判定： 1. 答案长度 2. 回答者回答的次数 3. 回答者的声望。 。Page 172.3.4 CQA特有性质及