基于知识的智能问答技术

11题目：基于知识的智能问答技术〔PDF〕许坤，冯岩松〔北京大学〕————————————————————作者简介：许坤，北京大学计算机科学技术研究所博士生，研究方向为基于知识库的智能问答技术，已连续三年在面向结构化知识库的知识问答评测QALD-4,5,6中获得第一名。冯岩松，北京大学计算机科学与技术研究所讲师。2021年毕业于英国爱丁堡大学，获得信息科学博士学位。主要研究方向包括自然语言处理、信息抽取、智能问答以及机器学习在自然语言处理中的应用；研究小组已连续三年在面向结构化知识库的知识问答评测QALD中获得第一名；相关工作已发表在TPAMI、ACL、EMNLP等主流期刊与会议上。作为工程负责人或课题骨干已承当多项国家自然科学基金及科技部863方案工程。分别在2021和2021年获得IBMFacultyAward。引言近年来，信息抽取技术的快速开展使得快速构建大规模结构化、半结构化知识库成为可能。一大批结构化知识库如雨后春笋般涌现出来，如GoogleKnolwedgeGraph〔Freebase〕、Yago，DBpedia、微软ProBase、搜狗知立方及百度等企业内部的知识图谱等。同时，这些大规模知识库也被应用于关联检索、个性化推荐、知识问答等任务中。相比于传统基于文本检索的问答系统，利用知识库答复自然语言问题可以为用户提供更精确、简洁的答案，因此一直受到学术界和工业界的广泛关注。目前基于知识库的问答技术可以大致分为两类。第一类基于语义解析的方法。这类方法通过学习相关语法将自然语言转问题转换成可以用来描述语义的形式化语言，如逻辑表达式等。构建这样的语义解析器需要大量的标注数据，例如，自然语言问题及其对应的语义描述形式。然而，针对Freebase这样大规模的结构化知识库，在实际中很难收集到足够多的高质量训练数据。另外，语义描述形式与知识库的结构之间的不匹配也是这类方法普遍遇到的一个问题，例如，在Freebase中并没有“爸爸〞或“妈妈〞这样的谓词关系，只有“父母〞，因此，如果想表示“A是B的母亲〞这样的关系，那么需明确表示为“<B,父母,A>〞并且“<A,性别,女性>〞。

另一类知识问答技术是传统的基于信息检索的方法。这类方法不会将自然语言问题完全转换成形式化的语义描述，而是首先利用实体链接技术从知识库中收集候选答案集合，然后构建排序模型对候选答案进行排序。因为不需要完整地解析自然语言问题的语义结构，因此，这类方法构造训练数据的过程相对简单，只需收集问题答案对即可。实验说明,基于检索的方法对语义简单的自然语言问题比拟有效，但是难以处理语义结构复杂的问题，尤其是包含多个实体和关系的自然语言问题。例如，对于自然语言问题“WhatmountainisthehighestinNorthAmerica？〞，检索类的方法由于缺乏对highest的正确解析，通常会将所有坐落在北美的山脉返回给用户。事实上，为了得到正确的答案，问答系统还需要根据山脉高度对候选答案进行排序，并选择海拔最高的山脉返回给用户。该过程通常需要人工编写解析规那么对答案进行筛选，费时费力。此外，由于自然语言描述的多样性，人们也无法事先穷举所有这样的规那么。

然而事实上，Freebase这样的结构化知识库希望存储关于真实世界的知识条目，而像维基百科页面这样的文本百科资源那么存储支持这些事实的文本描述。例如，在维基百科页面中，我们可以找到一段与候选答案有关的文本Denali(alsoknownasMountMcKinley,itsformerofficialname)isthehighestmountainpeakinNorthAmerica,withasummitelevationof20,310feet(6,190m)abovesealevel。很明显可以看出，这段文本描述可以帮助我们提升Denali或者MountMcKinley作为正确答案的置信度，并过滤掉候选集中的错误答案。正是受到这个发现的启发，我们提出同时利用结构化知识库与可信的文本百科资源，如维基百科页面，来答复知识类自然语言问题。基于多种知识资源的问答技术框架图1：针对问题whodidshaqfirstplayfor的流程图以样例问题whodidshaqfirstplayfor的处理流程为例，图1展示了融合多种知识资源的问答框架。该问答系统框架主要包含基于结构化知识库Freebase的问题求解和基于非结构化知识资源Wikipedia文本的浅层推理。基于结构化知识库的问题求解基于结构化知识资源的问题求解局部只需给出候选答案集合即可，因此既可采用基于语义解析的方法，也可以直接采用基于检索的方法来实现。这里我们采用的是基于检索的方案，主要包括实体链接，关系抽取，以及这两局部的联合消解三大局部。1)

实体链接实体链接在知识类问题解析中扮演着十分重要的角色。我们采用词性POS序列来筛选问题中的所有实体候选，以前面的问题为例，我们可以利用POS序列NN识别出实体shaq。对于识别出来的实体候选，我们使用实体链接工具S-MART获取可以潜在链接到Freebase的5个候选实体。具体而言，对给定的实体候选，S-MART首先根据字符串相似度从Freebase中获取一些候选实体，然后利用统计模型根据知识库实体与实体候选之间的共现频率计算出一个得分并排序，最终给出实体链接结果。2)

关系抽取关系抽取用于识别问句中的实体与答案〔疑问词〕之间的语义关系。我们使用多通道卷积神经网络来确定自然语言问题中实体与答案之间存在的关系。具体地讲，我们使用两个通道，一个通道捕捉句法信息，另一个通道捕捉上下文信息。每个通道的卷积层接受一个长度不固定的输入，但是返回一个固定长度的向量〔我们使用最大采样法〕。这些固定长度的向量被拼接在一起形成最后softmax分类器的输入，该分类器的输出向量维度等于关系类别的总数，每一维的值等于映射到对应知识库谓词的置信度。3)

实体和关系的联合消歧通常情况下的实体链接与实体关系抽取都是独立预测的，因而不可防止的会存在流水线框架下常见的错误传递现象。因此，我们提出了一种联合优化模型从实体链接和关系抽取的候选结果中选择一个全局最优的“实体-关系〞配置。这个挑选全局最优配置的过程本质上可以被视作一个排序问题，即，“合理〞的实体-关系配置在知识库中应更常见，应该有更高的得分。我们主要依赖从知识库中抽取的三类特征，即实体特征、关系特征和答案的特别特征。基于Wikipedia文本描述的浅层推理基于结构化知识库求解的候选答案集，我们从维基百科文本资源中收集候选答案的支持文本，并训练答案过滤器对候选答案集进行筛选，以得到更准确的答案。1)

数据预处理具体地讲，我们首先从维基百科中找出描述自然语言问题中实体的页面。我们抽取维基百科页面的内容，并利用Wikifier识别句子中的维基百科实体，再利用FreebaeAPI将这些实体映射到Freebase中的实体。最后在页面中寻找包含候选答案的句子当做支持文本。2)

答案过滤模型

我们将浅层推理的过程抽象为一个面向候选答案的二分类任务。在实验中，我们使用LibSVM来训练该二分类器。该分类器主要使用的特征是词级别配对特征，其中第一个局部来自给定的问题，而第二个局部来自维基百科中的支持文本。更形式化地，给定一个问题q=<q1,…qn>和一个作为支持文本的句子s=<s1,…,sm>，其中记q和s中的单词分别为qi和sj。对每个问题与支持文本对(q，s)，我们可以生成词级别配对特征集合{(qi，sj)}，这些词对出现的次数作为特征用来训练分类器。需要指出的是，这里仅尝试了最简单的二分类方式，主要目的是检验附加文本资源的作用；而使用线性优化、或神经网络等更精巧的融合方式可能会带来更明显的准确率提升。实验我们使用WebQuestions数据集进行相关实验。该数据集一共包含5810个自然语言问题以及答案。其中训练集包含3778个问题〔65%〕，测试集包含2032个问题〔35%〕。我们使用答案的平均F1值来评测本框架。表1给出了不同方法在WebQuestions数据集上的结果。方法平均F1(Bastetal.2021)(Berantetal.2021)(Reddyetal.2021)(Yihetal.2021)本研究工作StructuredStructured+JointStructured+UnstructuredStructured+Joint+Unstructured表1基于关系抽取问答技术在WebQuestions数据集上的结果

为了确定所提出框架中不同模块的重要性，我们详细比拟了以下几种模型变种的结果。Structured该方法只包含基于结构化知识库Freebase的问题求解。具体地讲，我们首先进行实体链接，将自然语言问题中包含的实体名词映射到Freebase中的实体，其中得分最高的实体被当做结果。然后我们进行关系抽取并从候选关系中选择与实体最匹配的关系当做最终的实体-关系配置。最后，我们使用这个实体-关系配置来预测问题的答案。Structured+Joint与上面的方法略有不同，这个方法使用联合消歧的方法去选择全局最优的实体-关系组合，并进行基于结构化知识库的问题解答。Structured+Unstructured这个方法里，我们使用流水线的实体链接和关系抽取结果进行基于结构化知识库的问题求解，进而，利用基于维基百科的浅层推理来筛选答案。Structured+Joint+Unstructured这是我们所提出的融合多种知识资源的完整的问答框架。我们首先在结构化知识库Freebase上进行问题求解，即，进行实体链接和关系抽取的联合优化，并在Freebase上获得候选答案集合；在此基础上进行基于文本的浅层推理，即，从维基百科中抽取答案支持文本，并对候选答案进行筛选，获得最终答案。从表1中的结果，我们可以发现实体链接和关系抽取的联合推理结果会优于流水线方法，整体效果提高了3%，并且比大局部语义解析的方法要好。另一方面，与〔Yihetal.2021〕利用人工编写规那么的工作相比，融合结构化知识库与文本知识资源的方法在问答准确率上整体提高了0.8%，这进一步说明了恰当的使用非结构化的文本知识资源可以在很大程度上代替人工编写规那么来辅助答复自然语言问题。本文提出的融合不同知识资源的问题解答框架具有较好的可扩展性，无论在结构化知识库求解局部，还是多种资源的融合利用方面都可进一步改良，以更大限度的发挥不同资源之间的互补作用，提高知识类问题的解答精度。参考文献HannahBast,ElmarHaussmann.MoreAccurateQuestionAnsweringonFreebase.CIKM.2021,1431-1440JonathanBerant,PercyLiang.ImitationLearningofAgenda-basedSemanticParsers[J].TransactionsoftheAssociationforComputationalLinguistics.2021,3:545–558SivaReddy,OscarTäckström,MichaelCollins,TomKwiatkowski,DipanjanDas,MarkSteedman,MirellaLapata.TransformingDependencyStructurestoLogicalFormsforSemanticParsing[J].TransactionsoftheAssociationforComputationalLinguistics.2021,4:127-140KunXu;SivaReddy;YansongFeng;SongfangHuang;DongyanZhaoQuestionAnsweringonFreebaseviaRelationExtractionandTextualEvidence.ACL2021,KunXu;YansongFeng;SongfangHuang;DongyanZhao,HybridQuestionAnsweringoverKnowledgeBaseandFreeText,COLING2021YiYang;Ming-WeiChang,S-MART:NovelTree-basedStructuredLearningAlgorithmsAppliedtoTweetEntityLinking,ACL2021

Wen-tauYih,Ming-WeiChang,XiaodongHe,JianfengGao.SemanticParsingviaStagedQueryGraphGeneration:QuestionAnsweringwithKnowledgeBase[C].ACL-IJCNLP.2021,1321-1331

论大学生写作能力写作能力是对自己所积累的信息进行选择、提取、加工、改造并将之形成为书面文字的能力。积累是写作的基础，积累越厚实，写作就越有基础，文章就能根深叶茂开奇葩。没有积累，胸无点墨，怎么也不会写出作文来的。写作能力是每个大学生必须具备的能力。从目前高校整体情况上看，大学生的写作能力较为欠缺。一、大学生应用文写作能力的定义那么，大学生的写作能力究竟是指什么呢？叶圣陶先生曾经说过，“大学毕业生不一定能写小说诗歌，但是一定要写工作和生活中实用的文章，而且非写得既通顺又扎实不可。”对于大学生的写作能力应包含什么，可能有多种理解，但从叶圣陶先生的谈话中，我认为：大学生写作能力应包括应用写作能力和文学写作能力，而前者是必须的，后者是“不一定”要具备，能具备则更好。众所周知，对于大学生来说，是要写毕业论文的，我认为写作论文的能力可以包含在应用写作能力之中。大学生写作能力的体现，也往往是在撰写毕业论文中集中体现出来的。本科毕业论文无论是对于学生个人还是对于院系和学校来说，都是十分重要的。如何提高本科毕业论文的质量和水平，就成为教育行政部门和高校都很重视的一个重要课题。如何提高大学生的写作能力的问题必须得到社会的广泛关注，并且提出对策去实施解决。二、造成大学生应用文写作困境的原因：（一）大学写作课开设结构不合理。就目前中国多数高校的学科设置来看，除了中文专业会系统开设写作的系列课程外，其他专业的学生都只开设了普及性的《大学语文》课。学生写作能力的提高是一项艰巨复杂的任务，而我们的课程设置仅把这一任务交给了大学语文教师，可大学语文教师既要在有限课时时间内普及相关经典名著知识，又要适度提高学生的鉴赏能力，且要教会学生写作规律并提高写作能力，任务之重实难完成。（二）对实用写作的普遍性不重视。“大学语文”教育已经被严重地“边缘化”。目前对中国语文的态度淡漠，而是呈现出全民学英语的大好势头。中小学如此，大学更是如此。对我们的母语中国语文，在大学反而被漠视，没有相关的课程的设置，没有系统的学习实践训练。这其实是国人的一种偏见。应用写作有它自身的规律和方法。一个人学问很大，会写小说、诗歌、戏剧等，但如果不晓得应用文写作的特点和方法，他就写不好应用文。（三）部分大学生学习态度不端正。很多非中文专业的大学生对写作的学习和训练都只是集中在《大学语文》这一门课上，大部分学生只愿意被动地接受大学语文老师所讲授的文学经典故事，而对于需要学生动手动脑去写的作文，却是尽可能应付差事，这样势必不能让大学生的写作水平有所提高。（四）教师的实践性教学不强。学生写作能力的提高是一项艰巨复杂的任务，但在教学中有不少教师过多注重理论知识，实践性教学环节却往往被忽视。理论讲了一大堆，但是实践却几乎没有，训练也少得可怜。阅读与写作都需要很强的实践操作，学习理论固然必不可少，但是阅读方法和写作技巧的掌握才是最重要的。由于以上的原因，我们的大学生的写作水平着实令人堪忧，那么如何走出这一困境，笔者提出一些建议，希望能对大学生写作水平的提高有所帮助。三、提高大学生应用写作能力的对策（一）把《应用写作》课设置为大学生的必修课。在中国的每一所大学，《应用写作》应该成为大学生的必修课。因为在这个被某些人形容为实用主义、功利主义甚嚣尘上的时代，也是个人生存竞争最激烈的时代，人们比任何时代都更需要学会写作实用性的文章，比如职场竞争中的求职信，生活中的财经文书、法律文书等，以提高个人的生存竞争能力。（二）端正大学生的学习态度。首先，要让大学生充分认识到实用写作课的重要性，这门课关乎到他人生的每一个方面，诸如就职，求爱，理财，人际交往等，是他终生都需要使用的一些基础性的知识，也是他必备的一项生存技能。其次，实用写作有它自身的规律和方法。它不是你