多策略智能问答 -企业计算的AI利器

乐言科技乐言科技——企业计算的AI利器目录乐言科技乐言科技乐言科技乐言科技3问答系统成为下一代搜基于知识图谱的搜索引索引擎的基擎乐言科技乐言科技4QA基础——数据乐言科技乐言科技乐言科技乐言科技6在问答对中对用户查询进行检索，返回语义最相关的FAQ对对应的答案。乐言科技乐言科技7IRQA与传统IR的对比•通常输入的是关键词•检索对象为网页(包含title,url,body)•返回的是网页列表乐言科技乐言科技8IRQA与传统IR的对比•检索对象为问答对<Q,A>•查询通常为自然语言•返回自然语言形式的答案乐言科技乐言科技9虑precision性，需要作出直接回复并做是否回复判断虑recall本质上是相关性排序与文本匹配问题乐言科技乐言科技1IRQA的技术选型乐言科技乐言科技11传统Ranking算法乐言科技乐言科技12乐言科技乐言科技13更多L2R知识参考:更多L2R知识参考:informationretrieval.”乐言科技乐言科技14标注数据准备乐言科技乐言科技15MRR=|Q|Σq∈Qrelevantirrelevant乐言科技乐言科技16AP=#{relents}AP=乐言科技乐言科技17深度匹配模型乐言科技乐言科技181句子匹配框架——基于表示的建模单词表示->句子表示->句子对之间相似度相似度函数乐言科技乐言科技19句子匹配框架——基于交互的建模词之间交互->更高层间交互->聚合乐言科技乐言科技20排序&句子匹配相关数据集乐言科技乐言科技21知识图谱的历史起源乐言科技乐言科技22知识图谱基础概念乐言科技乐言科技23给定知识库，根据用户问题从知识库中查询得到答案乐言科技乐言科技24基于知识库问答（KBQA）流程乐言科技乐言科技25KBQA实现方式简单分类乐言科技乐言科技26KBQA中的问句理解A:葡萄牙Q:克里斯蒂安罗纳尔多来自哪个国家?A:葡萄牙乐言科技乐言科技27KBQA中的多跳问题乐言科技乐言科技28在候选段落中找到能回答用户问题的精确片段乐言科技乐言科技29232311乐言科技乐言科技30开源数据集乐言科技乐言科技31评价指标answersexactly乐言科技乐言科技32SQuADLeaderboard乐言科技乐言科技33深度学习崛起974543321112311123乐言科技乐言科技34乐言科技乐言科技35乐言QA的战略乐言科技乐言科技36乐言QA：问答引擎乐言科技乐言科技37多引擎QA融合的必要性乐言科技乐言科技38乐言科技乐言科技39QA在对话系统中的位置乐言科技乐言科技40乐言科技乐言科技41乐言科技乐言科技42乐言科技乐言科技43基础相关性排序模型numbeToftimesteTmtappeaTsinthedocumentdTFt,d=totalnumbeTofteTminthedocumentdtotalnumbeTofdocumentsIDFt=log()numbeTofdocumentswithteTmt乐言科技乐言科技44检索阶段模型乐言科技乐言科技45排序、匹配阶段使用的模型乐言科技乐言科技46IRQA：面向表示的建模缺点缺乏两个句子词语之间交互缺乏建模，乐言科技乐言科技47IRQA：面向交互的建模乐言科技乐言科技48挑战和应对乐言科技乐言科技491IRQA：基于CQA数据的挖掘乐言科技乐言科技50乐言科技乐言科技511KBQA架构设计乐言科技乐言科技语义解析Match(x:{name:“一带一路基金”})-[:{name:“申购费”}]-(y)Wherey.type=VALUEReturny乐言科技乐言科技531语义解析挑战乐言科技乐言科技54基于模板匹配的语义解析.Step2模板实例化：通过匹配自然语言表达式和本体概念来实例化SP排序过程)，得到最终的SPARQL语句乐言科技乐言科技55模板生成SELECTDISTINCT?xWHERE{}ORDERBYDESC(COUNT(?y))?pPROPERTY[produced]乐言科技乐言科技56模板实例化}</ont</ontology/Fi</ontology</pr</ontology/wineP}乐言科技乐言科技57乐言KBQA：基于模板匹配的语义解析乐言科技乐言科技乐言KBQA：基于模板匹配的语义解析•查询模板匹配(打分排序)时使用的特征，•包括实体类型，关系空间，答案类型等乐言科技乐言科技KBQA：基于复述的语义解析乐言科技乐言科技KBQA：基于复述的语义解析乐言科技乐言科技2基于语义匹配的精排乐言KBQA：基于复述的语义解析2基于语义匹配的精排"光大保德信一带一路战略主题-[r:HAS_PROPERTY]-33Q:申购一带一路基金要多少钱标准问法库 ES初选1基于ES的粗排光大保德信一带一路战略主题混合型证券投资基金的赎回费光大保德信一带一路战略主题混合型证券投资基金的申购费光大保德信一带一路战略主题混合型证券投资基金的基金代码语义匹配模型语义匹配模型取Top1乐言科技乐言科技乐言KBQA：语义解析方法的融合基于模板匹基于模板匹配的语义解析优点基于子图结构匹配，准确率高缺点实体/关系识别部分的误差会导致查询模板匹配的召回率不高有一种语义解析结果为空，取非空的结果平衡查询模板匹配的准确率和召回率基于复述基于复述的语义解析优点基于问题的语义相似度，查询模板匹配召回率高缺点需要构造大量的候选实例，查询模板匹配的准确率不高乐言科技乐言科技乐言科技乐言科技64MRC架构设计乐言科技乐言科技65乐言科技乐言科技66MRCQA类型与模型划分Span(起始位置->终止位置)乐言科技乐言科技67IWithPre-trainedLanguageModelTransformerLSTMTransformerLSTMPre-trainedLM简化了整个框架乐言科技乐言科技68QA：多策略融合乐言科技乐言科技69混合策略问答样例乐言科技乐言科技70乐言科技乐言科技71QA在对话系统中的位置乐言科技乐言科技72语言理解乐言科技乐言科技73语言理解模型乐言科技乐言科技74语言理解实例乐言科技乐言科技75回复生成»将KB查询的结构化结果生成最终的»基于阅读理解的答案合成»将QA结果友好化，例如，加上“您好”、“上乐言科技乐言科技76光大保德信有几种货币性基金答案生成1实例：回复生成光大保德信有几种货币性基金答案生成您好，有五种，他们分别是：光大保德信耀钱您好，有五种，他们分别是：光大保德信耀钱光大保德信货币市场基金，等等乐言科技乐言科技77基于多轮的对话信息基于多轮的对话信息本轮对话信息本轮对话信息基于上下文的本轮用户查询基于上下文的本轮语言理解Session_Obj_1乐言科技乐言科技78乐言科技乐言科技79乐言QA：离线部分架构乐言科技1数据获取乐言科技乐言科技81模型更新乐言科技乐言科技82乐言科技乐言科技83热点问题推荐实体相关问题推荐用户反馈答案区热点问题推荐实体相关问题推荐用户反馈答案区乐言科技乐言科技84乐言科技乐言科技851反馈收集乐言科技乐言科技86请求负载均衡乐言科技乐言科技87数据存取分流乐言科技乐言科技88监控系统预警系统乐言科技89乐言科技乐言科技