2023年搜索引警中的智能问答报告

复旦大学关键字、语音信息、知识、常识任何可联网的设备自然语言(语音)、环境信息、知识、常识任何可联网的设备(眼镜、车载、音箱、服务机器人)关键词10条链接关键词10条链接搜索(用户阅读)答案答案问答(机器阅读)Q:汽车没电了打不着火怎么办?A:首先需要—根跨接电线,然后将两车的车头面对面…Q:大红袍是什么茶?A:乌龙茶。Q:学生证买火车票—年能用几次?A:4次。猕猴桃和奇异果有什么区别腰肌劳损挂什么科用户需求强,难度大问题类型多用户需求强,难度大问题类型多①约1/4用户查询是问答需求②更长尾,更偏向自然语言描述眼镜蛇和眼镜王蛇的区别蜂蛹泡酒的功效人有多少颗牙齿什么是幽门螺旋杆菌事实类,非事实类,观点类没有房产证的酒店拆迁如何补偿事实类,非事实类,观点类没有房产证的酒店拆迁如何补偿低烧可以进藏吗手机怎么注册淘宝账号落地签证是什么意思查询类别苹果苹果烫手机信号不好充电器可以托运手机信号不好充电器可以托运吗吗搜索请求占比怎么办问答24%伤的水泡会自然非事实类伤的水泡会自然消吗消吗小说神经绷紧怎么回事9%神经绷紧怎么回事教育7%人物顶顶络意思知识4.5%家原家原能减肥吗肥吗2%购物大米生大米生了还能吃网很卡是什么原因交首付款注意事项折耳兔怎么养故乡鲁迅发生的变化的原因石家庄市银监局投诉电话是多少疝气会影响生育吗Apple官方支持:如果您的、或开不了机或死机怎么办用户:iPhone死机了怎么办苹果8突然卡死,主界面不能动,在线急等我的肾7突然无法操作,这种情况怎么解决?用户输入与标准问法差别很大脑袋测得出的东西叫智商,小孩子发烧38脑袋测不出的东西叫智慧;发烧41度怎么办耳朵听得到的动静是声音,定金订金耳朵听不到的动静是声誉;嘴里说得出来的话叫内容,嘴里说不出来的话叫内涵;QueryQueryMatchingscore基于句子表示的方法RepresentationQueryMatchingscore基于句子表示的方法NeuralNetworkNeuralNetworkNeuralNetworkDocumentDocumentQueryMatchingsignalsMatchingscore基于交互关系的方法DocumentRepresentationQueryMatchingsignalsMatchingscore基于交互关系的方法DocumentAggregationDSSM:LearningDeepStructuredSemanticModelsforWebSearchusingClick-throughData(Huangetal.,CIKM’13)Convolutionalneuraltensornetworkarchitecturefor短文本蕴含信息不足，通过自适应注意力机制从外部qrnn1qrnn2q att1Qhidden1att2Qhidden2Qhidden3QueryEmbeddings:BilinearsigmoidsigmoidDocEmbeddings:Dhidden1Dhidden2Dhidden3Query和Doc的多层交互,三层QRNN提供了由浅到深的语义编码能力Attention机制建模Query和Doc的语义—致性,利用Query重构Doc上下文表示的能力,语义信息层层递进BilinearSimMatrixQueryEmbeddings:QhiddenDAtt基于QRNN和注意力机制的表示学习序列表示，3倍加速于LSTMBilinearSimMatrixQueryEmbeddings:QhiddenDAttDhiddenBilinear注意力机制加强Query-Doc的交互BilinearmaxmaxDembdDocEmbeddings:DocEmbeddings:Query-问题匹配精度损失Chrome浏览器历史怎么删除Query-问题匹配召回损失答案质量问题答案非所问答案权威性问题答案时效性问题语料库怎么构建弱监督数据如何使用周杰伦蜡像什么时间亮相上海杜莎夫人蜡像馆?答案答案2015年之前的模型:单词匹配、逻辑回归、分类等2015年之后的模型:神经网络答案结束位置答案结束位置答案开始位置答案开始位置搜索问答文档类型Wiki的段落网页文本文档质量高质量页面种类多，质量差异大UGC内容低质文档长度平均长度138个词，300词以下占比98%平均长度约460字（视频等非文本页内容少600字以上占比约1/3文档是否有答案1.0一定存在答案2.0不一定存在答案不一定存在答案单个搜索结果答案可能错误搜索中的答案可能客观错误R-NET:MACHINEREADINGCOMPREHENSIONWITHSELF-MATCHINGNETWORKS,ACL2017模型假设文本中存在正确答案，而真实场景模型容易出现常识性错误，对于涉及推理的问题效果不好；推理问题，也有助于提高答案抽取的精度和置信度；--加入答案存在性判断在字、词表示基础上加入外部知识表示（全局/局部词频、LexicalAnswerType、Entity类型、POS、网页质量特征等）思路：以词为单位的表示和注意力机制基础上，融入以句子为单位的0.90.80.70.60.50.40.30.20.100.50.60.70.80.91词级别和句子级别的分层交互，解决文联合学习答案存在概率和起止位置概率增强上下文相关的表示能力词级别和句子级别的分层交互，解决文联合学习答案存在概率和起止位置概率增强上下文相关的表示能力问题：采用DistantlySupervised方法标注的