基于web搜索引擎的问答系统架构课件

李方涛2008.11.15问答系统介绍12/12/2022QuestionAnswering—FangtaoLi李方涛问答系统介绍12/11/2022QuestionAn问答系统介绍背景介绍问答系统的历史问答系统分类相关系统介绍自动问答系统框架及相关研究未来可能研究方向总结12/12/2022QuestionAnswering—FangtaoLi问答系统介绍背景介绍12/11/2022QuestionA10月12日英国图灵测试艾尔博特12日与12个陌生人交谈，力图让他们相信“它”是“人”，骗过3人12/12/2022GraphicModels--ShilinDING10月12日英国图灵测试12/11/2022Graphi7月1日，微软收购PowerSet微软以1亿美金收购语义搜素引擎PowerSet12/12/2022GraphicModels--ShilinDING7月1日，微软收购PowerSet12/11/2022Gra背景介绍互联网信息增长2022/12/12全球手机用户今年底将达40亿人国际电信联盟手机用户日渐增多《2007年中国互联网络信息资源数量调查报告》

中国互联网络信息中心(CNNIC)网页数量（亿）背景介绍互联网信息增长2022/12/11全球手机用户今年底背景介绍搜索引擎技术的缺陷基于关键词,无法精确表达用户需求BooksforchildrenBooksbychildren返回的不是精确知识，而是相关文档列表查找相关文档获得知识，费时费力过多冗余信息不利于手机用户获取web知识屏幕小网速慢2022/12/12背景介绍搜索引擎技术的缺陷2022/12/11背景介绍自动问答系统基于自然语言的搜索引擎输入的是以自然语言表示的句子输出的是问题的精确答案能更方便，快捷的满足用户的需求2022/12/12背景介绍自动问答系统2022/12/11问答系统的历史SomeoftheearlyAIsystemswereQAs(1960s)BASEBALL:answeredquestionsabouttheUSbaseballleagueoveraperiodofoneyear.LUNAR：W.Woods研制成功的基于知识的自然语言理解系统.LUNAR用于查询月球地质数据,协助地质学家查询分析阿波罗11号在月球采集的岩石标本的成分,回答用户的问题。该系统的数据库中有13000条化学分析规则和10000条文献论题索引.1971测试，答对90%以上的问题Thecommonfeatureofallthesesystemsisthattheyhadacoredatabaseorknowledgesystemthatwashand-writtenbyexpertsofthechosendomain12/12/2022QuestionAnswering—FangtaoLi问答系统的历史SomeoftheearlyAIsy问答系统的历史ELIEA：1968年J.Weizenbaum在美国麻省理工学院设计的基于"模式匹配"的自然语言系统中最有名的一个。ELIEA模拟一位心理治疗医生(机器)同一位患者(用户)进行交谈.用的是模式及关键字匹配和置换的方法，没有发展成一套系统的技术。例如，假设有关键字me和句型模式：(*you**me)，而且还有一个与该模式对应的置换规则：（whatmakesyouthinkI**you），那么，当输入句为“Yesterdayyouhurtme.”时，输出为“WhatmakesyouthinkIhurtyou?”。ELIZA另外一个明显的弱点是：一旦发现用户输入中的一个关键字（词），便马上寻求答案，而不继续寻找用户句子中其它的关键字（词），这样使得一些优先级别比较低的模式几乎永远不会被匹配到。12/12/2022QuestionAnswering—FangtaoLiA:

It

is

certain

I

am

a

person

B:

How

long

have

you

been

a

person?

A:

More

than

20

years

B:

Say,

do

you

have

any

psychological

problems?

A:

m...how

about

consciousness

?

B:

Are

such

questions

on

your

mind

often?

A:

yes

B:

I

understand.

A:

tell

me

how

are

you

thinking

about

the

consciousness

.问答系统的历史ELIEA：1968年J.Weizenbaum问答系统的历史1999年开始，为鼓励QA的发展，TREC设立了QA任务，揭开了近年来开放领域自动问答系统研究的序幕2008年，又引入观点问答系统（opinionQA)至今，共有50多个机构参与了QA的评测，其中包含LCC,MIT,Stanford,IBM,NUS,Microsoft,Uni.ofEdinburgh，Uni.ofSheffield,USC以及国内的中科院，复旦，哈工等高校和研究机构以及最近，社区问答系统正在越来越受关注12/12/2022QuestionAnswering—FangtaoLi问答系统的历史1999年开始，为鼓励QA的发展，TREC设问答系统分类自动问答系统（AutomaticQuestionAnswering）问题的答案存在于大量数据集中需要通过信息检索，自然语言处理等技术，获得问题的答案完全自动，不需要人的参与A;start系统社区问答系统（CommunityQuestionAnswering)基于论坛，社区等形式的问答系统问题已经被提出，并且已经有人回答YahooAnswers！天涯问答，百度知道12/12/2022QuestionAnswering—FangtaoLi问答系统分类自动问答系统（AutomaticQuesti问答系统分类自动问答系统OpendomainquestionansweringSystemYoucanaskquestionsaboutnearlyeverythingRelyongeneralontologyandworldknowledgeNeedmuchmoredatatoextractanswer ClosedDomainquestionansweringsystemDealwithquestionsunderaspecificdomain(forexample,medicine,novel)Usedomainspecificknowledge,usuallyformalizedinontologies12/12/2022GraphicModels--ShilinDING问答系统分类自动问答系统12/11/2022Graphic问答系统分类TREC的问题类型简单事实型问题一般可以用一个名词短语直接回答WhokilledAbrahamLincoln?简单列表问题WhichcitieshaveheldtheOlympicGamestwice?复杂问题Why问题，How问题,Definition问题情感问题12/12/2022GraphicModels--ShilinDING问答系统分类TREC的问题类型12/11/2022Graph相关系统介绍Start系统AskJeeves系统AnswerBus系统PowerSet系统YahooAnswers!天涯问答百度知道12/12/2022GraphicModels--ShilinDING相关系统介绍Start系统12/11/2022GraphicStart系统MIT于1993年开发第一个基于Internet的问答系统/主要分为4类问题：GeographyScienceandReferenceArtsandEntertainmentHistoryandCulture基于知识库和信息检索的混合模式12/12/2022GraphicModels--ShilinDINGStart系统MIT于1993年开发12/11/2022GAskJeeves系统比较著名的商用问答系统/不仅可以查找web，也可采用新闻，图片，视频等作为数据源12/12/2022GraphicModels--ShilinDINGAskJeeves系统比较著名的商用问答系统12/11/20AnswerBus密歇根大学开发多语种问答系统12/12/2022GraphicModels--ShilinDINGAnswerBus密歇根大学开发12/11/2022GrapPowersetbuildinganaturallanguagesearchenginethatreadsandunderstandseverysentenceontheWebCurrentlybasedonWikiarticles12/12/2022GraphicModels--ShilinDINGPowersetbuildinganaturallanYahooAnswers!12/12/2022GraphicModels--ShilinDINGYahooAnswers!12/11/2022Graphi12/12/2022GraphicModels--ShilinDING12/11/2022GraphicModels--Shi12/12/2022QuestionAnswering—FangtaoLi12/11/2022QuestionAnswering—F自动问答系统的框架2022/12/12文档集合信息检索检索结果问题分析答案选取问题答案自动问答系统的框架2022/12/11文档集合信息检索检索结问题分类问题分类的作用减少候选答案的空间过滤其他类型的答案指导答案抽取策略不同类型的问题，采取不同的处理方式简单事实型问题：可以采用模板匹配的方式Why或How复杂问题：可以采用文本摘要的方式2022/12/12问题分类问题分类的作用2022/12/11问题分类分类体系2022/12/12CoarseFineABBRAbbreviation,expressionDESCDefinition,description,manner,reasonENTYAnimal,body,color,creation,currency,disease/medicine,event,food,instrument,language,letter,other,plant,product,religion,sport,substance,symbol,technique,term,vehicle,wordHUMDescription,group,individual,titleLOCCity,country,mountain,other,stateNUMCode,count,date,distance,money,order,other,percent,period,speed,temperature,size,weightUIUC问题分类体系问题分类分类体系2022/12/11CoarseFineAB问题分类相关工作概述基于规则的方法根据问题体系，人工构造规则匹配例如，Pasca曾使用以下规则用于问题分类Who<is|was|are|were><personname(s)>?Whatisthedefinitionof<phrasetodefine>?人工构造规则，费时费力分类体系不同，需要重新构造规则2022/12/12问题分类相关工作概述基于规则的方法2022/12/11相关研究：问题分类基于机器学习的方法普通分类器Hacioglu等提出了使用单词作为特征，并把词性，短语，名词实体添加为特征，利用SVM对问题进行分类。(NAACL03)层次分类器Li提出了一种基于SNoW(SparseNetworkofWindow)的层次分类器，它首先将问题句分类到所属的粗(coarse)类别，然后再分到细(fine)类别(Coling2002)Donald提出了一种基于问题词的层次分类器，它首先根据句子中出现的问题词进行简单的分类，然后再对每个类别分别训练一个分类器(NaturalLanguageEngineering,2007)2022/12/12相关研究：问题分类基于机器学习的方法2022/12/11相关研究：问题分类基于机器学习的方法基于句法结构的树状分类器Zhang利用句法树的子树做特征，提出了基于树形核函数的SVM问题分类器。(SIGIR02)Minh等人将问题分类任务转化为对有序树的分类任务，最终利用最大熵模型和boosting模型完成对问题句子的分类。(IJCAI07)2022/12/12相关研究：问题分类基于机器学习的方法2022/12/11相关研究：信息检索基于关键词的文章检索与传统的文章检索差别不大更为精细的Index

(Hickle,TREC07;An,IR4QA08)查询扩展(Bilotti,MITMSthesis04;Riezler,ACL07)相关反馈(Harabagiu,ACL01;Negri,IR4QA04)句子检索基于相似度的句子检索MITRE：词匹配Alicante:余弦距离ISI：多种相似度匹配组合2022/12/12相关研究：信息检索基于关键词的文章检索2022/12/11相关研究：信息检索句子检索基于依存语法的句子检索(Cui,SIGIR05)将问题和备选句子用句法分析器处理，生成句法树在训练集中获得依存关系的对应概率对问题和备选句子对齐，分别在两者中提取关系路径选择备选的关系路径中与问题的关系路径最相似的作为检索结果基于翻译模型的句子检索(Murdock,IR4QA04)2022/12/12相关研究：信息检索句子检索2022/12/11相关研究：答案选取基于模板匹配的答案抽取方法基于严格模板匹配的答案抽取方法(Rav.,ACL02)基于宽松匹配的答案提取方法

(Cui,SIGIR05)模板匹配过于严格，考虑到间隔（gap）问题基于插入，删除的语言模型和HMM模型2022/12/12模板获取模板评价答案抽取相关研究：答案选取基于模板匹配的答案抽取方法2022/12/基于语言学特征的机器学习方法Ittycheriah利用最大熵模型综合各种特征对候选答案排序。所使用的特征包含问题扩展，中心词，名词实体，依存关系和匹配模板。(NAACL01)Shen使用支持向量机的三种核函数：特征向量，字符串核函数，树形核函数对候选答案分类。(ACL06)Ko等人使用概率图模型计算候选答案正确的概率。特征包含知识库（Gazetteers，WordNet），基于外部数据（Wiki，Google），编辑距离，同义词(SIGIR07)相关研究：答案选取2022/12/12基于语言学特征的机器学习方法相关研究：答案选取2022/12相关研究：答案选取基于Web搜索引擎的答案获取方法Microsoft的AskMSR系统(EMNLP02)Lin的Aranea系统(TOIS07)Zhang的QUANTA系统(KDD07)2022/12/12基于web搜索引擎的问答系统架构相关研究：答案选取基于Web搜索引擎的答案获取方法2022/未来研究方向及相关研究领域传统问答系统简单事实问题列表问题定义问题12/12/2022QuestionAnswering—FangtaoLi未来研究方向及相关研究领域传统问答系统12/11/2022Q未来研究方向及相关研究领域OpinionQuestionAnsweringRigidlists:givenaquestionsuchas:"NameUSsenatorswhosupporttaxreform.""Whichcountrieswouldliketobuildnuclearpowerplants?""Whichrockbandsdocollegestudentslike?"return:exactstringscontainingalistitemSquishylists:givenaquestionsuchas:"WhatcriticismsdoUSsenatorshaveagainstthecurrenttaxsystem?""Whydocountrieswanttohavenuclearpowerplants?""WhatdopeoplelikeaboutIkea?“return:stringscontainingananswertothequestion12/12/2022QuestionAnswering—FangtaoLi未来研究方向及相关研究领域OpinionQuestionCommunityQuestionAnsweringBasedonForumSuchasSMTHExtractQuestionAnswersfromThreadsBasedonCommunityQuestionAnalysisandManagementQuestionRetrieval12/12/2022QuestionAnswering—FangtaoLiCommunityQuestionAnsweringBaRecognizingTextualEntailment问答系统中，句子与句子的关系是一种有向的推理关系:文本=>答案WhoownsPowerset？MicrosoftboughtPowerset=>MicrosoftownsPowerset.文本推理关系的识别给(text)和一段假设(hypothesis)，判断假设在已知文本(text)的条件下是否正确2022/12/12TextualEntailmentMeaning

RepresentationRawTextSimilarityLocalLexicalSyntacticParseSemanticRepresentationMarywasKilledbyherhusband.Marywasmurdered.LumberisasubsidiaryofErnslawOneLumberownsErnslawOne.RecognizingTextualEntailment总结问答系统能够跟好地满足用户的需求问答系统的产品越来越受到大家的重视问答系统的研究越来越广泛12/12/2022QuestionAnswering—FangtaoLi总结问答系统能够跟好地满足用户的需求12/11/2022Qu李方涛2008.11.15问答系统介绍12/12/2022QuestionAnswering—FangtaoLi李方涛问答系统介绍12/11/2022QuestionAn问答系统介绍背景介绍问答系统的历史问答系统分类相关系统介绍自动问答系统框架及相关研究未来可能研究方向总结12/12/2022QuestionAnswering—FangtaoLi问答系统介绍背景介绍12/11/2022QuestionA10月12日英国图灵测试艾尔博特12日与12个陌生人交谈，力图让他们相信“它”是“人”，骗过3人12/12/2022GraphicModels--ShilinDING10月12日英国图灵测试12/11/2022Graphi7月1日，微软收购PowerSet微软以1亿美金收购语义搜素引擎PowerSet12/12/2022GraphicModels--ShilinDING7月1日，微软收购PowerSet12/11/2022Gra背景介绍互联网信息增长2022/12/12全球手机用户今年底将达40亿人国际电信联盟手机用户日渐增多《2007年中国互联网络信息资源数量调查报告》

中国互联网络信息中心(CNNIC)网页数量（亿）背景介绍互联网信息增长2022/12/11全球手机用户今年底背景介绍搜索引擎技术的缺陷基于关键词,无法精确表达用户需求BooksforchildrenBooksbychildren返回的不是精确知识，而是相关文档列表查找相关文档获得知识，费时费力过多冗余信息不利于手机用户获取web知识屏幕小网速慢2022/12/12背景介绍搜索引擎技术的缺陷2022/12/11背景介绍自动问答系统基于自然语言的搜索引擎输入的是以自然语言表示的句子输出的是问题的精确答案能更方便，快捷的满足用户的需求2022/12/12背景介绍自动问答系统2022/12/11问答系统的历史SomeoftheearlyAIsystemswereQAs(1960s)BASEBALL:answeredquestionsabouttheUSbaseballleagueoveraperiodofoneyear.LUNAR：W.Woods研制成功的基于知识的自然语言理解系统.LUNAR用于查询月球地质数据,协助地质学家查询分析阿波罗11号在月球采集的岩石标本的成分,回答用户的问题。该系统的数据库中有13000条化学分析规则和10000条文献论题索引.1971测试，答对90%以上的问题Thecommonfeatureofallthesesystemsisthattheyhadacoredatabaseorknowledgesystemthatwashand-writtenbyexpertsofthechosendomain12/12/2022QuestionAnswering—FangtaoLi问答系统的历史SomeoftheearlyAIsy问答系统的历史ELIEA：1968年J.Weizenbaum在美国麻省理工学院设计的基于"模式匹配"的自然语言系统中最有名的一个。ELIEA模拟一位心理治疗医生(机器)同一位患者(用户)进行交谈.用的是模式及关键字匹配和置换的方法，没有发展成一套系统的技术。例如，假设有关键字me和句型模式：(*you**me)，而且还有一个与该模式对应的置换规则：（whatmakesyouthinkI**you），那么，当输入句为“Yesterdayyouhurtme.”时，输出为“WhatmakesyouthinkIhurtyou?”。ELIZA另外一个明显的弱点是：一旦发现用户输入中的一个关键字（词），便马上寻求答案，而不继续寻找用户句子中其它的关键字（词），这样使得一些优先级别比较低的模式几乎永远不会被匹配到。12/12/2022QuestionAnswering—FangtaoLiA:

It

is

certain

I

am

a

person

B:

How

long

have

you

been

a

person?

A:

More

than

20

years

B:

Say,

do

you

have

any

psychological

problems?

A:

m...how

about

consciousness

?

B:

Are

such

questions

on

your

mind

often?

A:

yes

B:

I

understand.

A:

tell

me

how

are

you

thinking

about

the

consciousness

.问答系统的历史ELIEA：1968年J.Weizenbaum问答系统的历史1999年开始，为鼓励QA的发展，TREC设立了QA任务，揭开了近年来开放领域自动问答系统研究的序幕2008年，又引入观点问答系统（opinionQA)至今，共有50多个机构参与了QA的评测，其中包含LCC,MIT,Stanford,IBM,NUS,Microsoft,Uni.ofEdinburgh，Uni.ofSheffield,USC以及国内的中科院，复旦，哈工等高校和研究机构以及最近，社区问答系统正在越来越受关注12/12/2022QuestionAnswering—FangtaoLi问答系统的历史1999年开始，为鼓励QA的发展，TREC设问答系统分类自动问答系统（AutomaticQuestionAnswering）问题的答案存在于大量数据集中需要通过信息检索，自然语言处理等技术，获得问题的答案完全自动，不需要人的参与A;start系统社区问答系统（CommunityQuestionAnswering)基于论坛，社区等形式的问答系统问题已经被提出，并且已经有人回答YahooAnswers！天涯问答，百度知道12/12/2022QuestionAnswering—FangtaoLi问答系统分类自动问答系统（AutomaticQuesti问答系统分类自动问答系统OpendomainquestionansweringSystemYoucanaskquestionsaboutnearlyeverythingRelyongeneralontologyandworldknowledgeNeedmuchmoredatatoextractanswer ClosedDomainquestionansweringsystemDealwithquestionsunderaspecificdomain(forexample,medicine,novel)Usedomainspecificknowledge,usuallyformalizedinontologies12/12/2022GraphicModels--ShilinDING问答系统分类自动问答系统12/11/2022Graphic问答系统分类TREC的问题类型简单事实型问题一般可以用一个名词短语直接回答WhokilledAbrahamLincoln?简单列表问题WhichcitieshaveheldtheOlympicGamestwice?复杂问题Why问题，How问题,Definition问题情感问题12/12/2022GraphicModels--ShilinDING问答系统分类TREC的问题类型12/11/2022Graph相关系统介绍Start系统AskJeeves系统AnswerBus系统PowerSet系统YahooAnswers!天涯问答百度知道12/12/2022GraphicModels--ShilinDING相关系统介绍Start系统12/11/2022GraphicStart系统MIT于1993年开发第一个基于Internet的问答系统/主要分为4类问题：GeographyScienceandReferenceArtsandEntertainmentHistoryandCulture基于知识库和信息检索的混合模式12/12/2022GraphicModels--ShilinDINGStart系统MIT于1993年开发12/11/2022GAskJeeves系统比较著名的商用问答系统/不仅可以查找web，也可采用新闻，图片，视频等作为数据源12/12/2022GraphicModels--ShilinDINGAskJeeves系统比较著名的商用问答系统12/11/20AnswerBus密歇根大学开发多语种问答系统12/12/2022GraphicModels--ShilinDINGAnswerBus密歇根大学开发12/11/2022GrapPowersetbuildinganaturallanguagesearchenginethatreadsandunderstandseverysentenceontheWebCurrentlybasedonWikiarticles12/12/2022GraphicModels--ShilinDINGPowersetbuildinganaturallanYahooAnswers!12/12/2022GraphicModels--ShilinDINGYahooAnswers!12/11/2022Graphi12/12/2022GraphicModels--ShilinDING12/11/2022GraphicModels--Shi12/12/2022QuestionAnswering—FangtaoLi12/11/2022QuestionAnswering—F自动问答系统的框架2022/12/12文档集合信息检索检索结果问题分析答案选取问题答案自动问答系统的框架2022/12/11文档集合信息检索检索结问题分类问题分类的作用减少候选答案的空间过滤其他类型的答案指导答案抽取策略不同类型的问题，采取不同的处理方式简单事实型问题：可以采用模板匹配的方式Why或How复杂问题：可以采用文本摘要的方式2022/12/12问题分类问题分类的作用2022/12/11问题分类分类体系2022/12/12CoarseFineABBRAbbreviation,expressionDESCDefinition,description,manner,reasonENTYAnimal,body,color,creation,currency,disease/medicine,event,food,instrument,language,letter,other,plant,product,religion,sport,substance,symbol,technique,term,vehicle,wordHUMDescription,group,individual,titleLOCCity,country,mountain,other,stateNUMCode,count,date,distance,money,order,other,percent,period,speed,temperature,size,weightUIUC问题分类体系问题分类分类体系2022/12/11CoarseFineAB问题分类相关工作概述基于规则的方法根据问题体系，人工构造规则匹配例如，Pasca曾使用以下规则用于问题分类Who<is|was|are|were><personname(s)>?Whatisthedefinitionof<phrasetodefine>?人工构造规则，费时费力分类体系不同，需要重新构造规则2022/12/12问题分类相关工作概述基于规则的方法2022/12/11相关研究：问题分类基于机器学习的方法普通分类器Hacioglu等提出了使用单词作为特征，并把词性，短语，名词实体添加为特征，利用SVM对问题进行分类。(NAACL03)层次分类器Li提出了一种基于SNoW(SparseNetworkofWindow)的层次分类器，它首先将问题句分类到所属的粗(coarse)类别，然后再分到细(fine)类别(Coling2002)Donald提出了一种基于问题词的层次分类器，它首先根据句子中出现的问题词进行简单的分类，然后再对每个类别分别训练一个分类器(NaturalLanguageEngineering,2007)2022/12/12相关研究：问题分类基于机器学习的方法2022/12/11相关研究：问题分类基于机器学习的方法基于句法结构的树状分类器Zhang利用句法树的子树做特征，提出了基于树形核函数的SVM问题分类器。(SIGIR02)Minh等人将问题分类任务转化为对有序树的分类任务，最终利用最大熵模型和boosting模型完成对问题句子的分类。(IJCAI07)2022/12/12相关研究：问题分类基于机器学习的方法2022/12/11相关研究：信息检索基于关键词的文章检索与传统的文章检索差别不大更为精细的Index

(Hickle,TREC07;An,IR4QA08)查询扩展(Bilotti,MITMSthesis04;Riezler,ACL07)相关反馈(Harabagiu,ACL01;Negri,IR4QA04)句子检索基于相似度的句子检索MITRE：词匹配Alicante:余弦距离ISI：多种相似度匹配组合2022/12/12相关研究：信息检索基于关键词的文章检索2022/12/11相关研究：信息检索句子检索基于依存语法的句子检索(Cui,SIGIR05)将问题和备选句子用句法分析器处理，生成句法树在训练集中获得依存关系的对应概率对问题和备选句子对齐，分别在两者中提取关系路径选择备选的关系路径中与问题的关系路径最相似的作为检索结果基于翻译模型的句子检索(Murdock,IR4QA04)2022/12/12相关研究：信息检索句子检索2022/12/11相关研究：答案选取基于模板匹配的答案抽取方法基于严格模板匹配的答案抽取方法(Rav.,ACL02)基于宽松匹配的答案提取方法

(Cui,SIGIR05)模板匹配过于严格，考虑到间隔（gap）问题基于插入，删除的语言模型和HMM模型2022/12/12模板获取模板评价答案抽取相关研究：答案选取基于模板匹配的答案抽取方法2022/12/基于语言学特征的机器学习方法Ittycheriah利用最大熵模型综合各种特征对候选答案排序。所使用的特征包含问题扩展，中心词，名词实体，依存关系和匹配模板。(NAACL01)Shen使用支持向量机的三种核函数：特征向量，字符串核函数，树形核函数对候选答案分类。(ACL06)Ko等人使用概率图模型计算候选答案正确的概率。特征包含知识库（Gazetteers，WordNet），基于外部数据（Wiki，Google），编辑距离，同义词(SIGIR07)相关研究：答案选取2022/12/12基于语言学特征的机器学习方法