AI导购机器人的最佳实践

1、技术创新，变革未来AI导购机器人的最佳实践目录帮帮商家版介绍对话机器人整体架构自动问答算法原理商机槽位识别原理商机引导原理未来展望58同城业务背景C端 用户B端 商家人人信赖的生活服务平台浏览帖子发帖子58同城业务背景先从生活中的一个场景开始：我们需要找一个保洁服务帮帮商家版的思考58商家使用微聊与用户沟通时会遇到哪些问题？AI对话机器人AI知识挖掘管理坐席分配管理店铺会话商家回复时间不固定，用户失联，商 机流失商家平均回复时间20分钟用户在58停留时间10分钟服务成本高，话术难标准人工难以24小时支持，尤其对中小商家而言培训坐席成本：培训标准话术，商品信息多人工客服会带有情绪商家对商品&人员

2、管理难账号多：咨询过多，多个账号信息不统一人员离职：可能造成历史客户丢失帮帮商家版沟通模式微聊微聊帮帮商家版功能丰富商家管理后台PC、H5开放平台坐席工作台店铺列表会话列表发送区智能辅助聊天详情商家管理后 台入口业务线自定义区帮帮商家版功能58同城对话机器人智能问答多轮对话商机挖掘智能辅助智能客服商家版“帮帮商家版”商家助手（本地服务）经纪人助手（房产）企业助手（招聘）车商助手（车）帮帮典型场景 黄页微聊代运营C端用户B端商家人工坐席核心目标：获取商机58对话机器人微聊商机中心电话连接，促进成单目录帮帮商家版介绍对话机器人整体架构自动问答算法原理商机槽位识别原理商机引导原理未来展望13帮帮商家

3、版对话机器人问答管理ABTest实验 平台WPAI人工智 能平台QABot接入层算法层TaskBo tChatBo t第三方服务业务逻辑开发者平台/商家管理后台数据层知识库问答库标注库IMSCFWFWMB标注系统58基础框架58对话机器人转人工等 逻辑控制核心能力自动问答 提供业务咨询能力槽位识别 商机识别，智能提效商机引导 提供商机引导能力商机识别目录帮帮商家版介绍对话机器人整体架构自动问答算法原理商机槽位识别原理商机引导原理未来展望QABot示例智能问答多轮引导QABot技术方案基于问题分类的QA基于上下文检索的QA自动问答 基于问题分类的QA解决的问题机器人能回答哪些用户提问如何回答更多

4、的问题并准确回答机器人能回答哪些用户提问标准问题扩展问法业务线知识库微聊场景问题挖掘问题id问题文本问题类型1当前房子还在吗标准问题1上面的房子还有吗扩展问法1你们这个房源还在吗扩展问法2当前房子的租金是多 少标准问题2房租怎么说扩展问法2多少一个月扩展问法如何回答更多的问题并准确回答用户Query你好问一下房子 每个月租金多少钱问答模型预测当前房子的租金 是多少知识库答案库问题id答案1房源状态?你好,房子还在的:你好,房子已租2您好，该房源的租金是租金您好，该房源的租金 是1000元QABot回复准确率 召回率QABot结合线上效果数据多次模型迭代，达到数据闭环模型迭代标准问挖掘微聊 数据

5、冷启动数 据标注离线训练 问答模型问答模型 上线部署线上效果 测评模型迭代迭代目标 线上效果评 测自动问答模型迭代FastTextDSSMDSSM+nGram前期，采用浅层网络，特征优化等BERT模型关键点 随机掩码15% 的token 通过预测掩码 的token达到 Pretrain LM 多头自注意力 残差学习 位置编码Transformer BlockBERT：预训练+微调微聊场景：无监督数据多轻量级预训练语言模型SPTMSPTM（Simple Pre-trained Model）：开源项目地址：/wuba/qa_match19年4月诞生，在18年10月底诞生的BERT基础上改动去掉NS

6、P轻量级预训练语言模型SPTM支持Bi-LSTM/Transformer两种Block使用Transformer Block时与 原生BERT的主要区别： 去除了NSP 所有encoder共享参数基于Bi-LSTM基于Transformer轻量级预训练语言模型SPTM 随机掩码15% 的token以Bi-LSTM block为例具体说明 通过预测掩码 的token达到 Pretrain LM 残差学习优点预训练 / 推理 速度快缺点表达能力略有下降单模型支撑多垂直场景模型A结果场景A场景B场景C不同垂直场景模型独立，维护困难模型A分类结果场景C业务线模型总体F1商务服务等7个业务线SPTM83

7、.76%场景A答 案模型B结果模型C结果答案答案答案场景B答 案场景C答 案同一分类结果在不同场景答案不同单模型支撑多个业务场景合并不同场景的相似问题保留不同领域的个性问题场景A场景A改进模型效果数据模型F1推理耗时FastText0.75042.10msLSTM+DSSM0.77316.44msNgram+LSTM+DSSM0.79906.44msSPTM0.812011.75ms兼顾预测效果与效率之后，最终线上选用了预训练LSTM(一层+有预训练)模型自动问答 基于上下文检索的QA有月嫂的哦，您这边预产期什么时 候呢？您好，我公司承接各类保姆/月 嫂服务。检索历史消息能够灵活回复分类模型答

8、案固定构建人工客服历史问答数据检索历史问答人工消息回复用户月嫂有吗检索模型-提高有结果率有的亲，请问家里有老人或者小孩 需要照顾吗？无回复检索历史消息能够灵活回复分类模型拒识无回复构建人工客服历史问答数据检索历史问答人工消息回复用户您好您好，在的哦白班保姆检索模型-提高问答有结果率用户消息EmbeddingAdd &NormEncoder1.Encoder 4Multi-HeadAttentionFeed ForwardAdd&NormALBert tiny获取 用户单轮表征召回相似表征（欧氏距离）多轮表征向量相似表征Faiss召回表征id736256371745123377362阈值判断阈值

9、判断 距离精排Redis客服回复Redis取回复678.多个单轮表征横向拼接检索模型-提高问答有结果率近6个月线 上消息过滤带用户信息/不恰当回复生成句向量IDCNN实体识别/ 人工审核ALBert多轮会话表征用户消息Faiss检索召回 &规则精排拼接离线数据构建线上预测流程分类模型 结果是否存在 检索结果否是回复检索结果表征向量检索模型-提高问答有结果率模型有结果率分类模型32.32%检索模型40.00%分类模型+检索模型58.53%优点：回答方式丰富，提高有结果率目录帮帮商家版介绍对话机器人整体架构自动问答算法原理商机槽位识别原理商机引导原理未来展望智能客服商家版中的人机协作C端用户AC端

10、用户B机器人 自动问答坐席分流商家知识库人工客服A人工客服B微聊机器人 智能辅助商家知识库转人工人机协作模式:机器人接待用户，机器人回答不了转人工客服机器人和人工客服各自接待一部分用户机器人全部接待，无人工客服参与人工客服需要槽位识别在呢在呢，请问你需要什么服务？咱这里蔬菜和水果都可以配送的对话机器人需要槽位识别商机电话微信地址时间槽位识别难点商机表达不连续，“我想租北京的房子，将台地 铁站附近的”微信本身没有实体范式，品牌型号如A4L2019 、 vivox5，误召回地址和时间表达丰富，我下周三的时候需要保洁 服务，最好是在早上8点钟到11点的时候来商机槽位类型商机槽位，总共构建了51个实体

11、电话商机-（手机/座机/分机）3个实体槽位微信商机-（微信，QQ号）2个实体槽位地址商机-（省/市/区县等）16个实体槽位时间商机-（具体某月上限、具体某天、具体某天下 限）30个实体槽位槽位识别结构正则+模型支持电话、微信 QQ正则模型支持电话、 地址、时间识别支持引入上下文信息槽位识别模型结构模型结构词槽:city词槽:whatDayEmbeddingIDCNN层.CRF层FF层.RepeatStackedDilation=1=2DilationDilation=1槽位识别效果总结识别效果模型采用IDCNN+CRF融合规则+模型结果线上效果如下：准确率召回率F1值96%91%93%商机如何

12、使用目录帮帮商家版介绍对话机器人整体架构自动问答算法原理商机槽位识别原理商机引导原理未来展望商机引导的核心目标服务C端用户，获取服务服务B端商家，获取商机促成交易多轮商机引导TaskBot：为用户完成特定任务的多轮对话系统本场景Task：引导用户提供指定的商机人工客服 商机引导TaskBot 商机引导背景介绍业务特点：100+类目，不同类目引导的流程有区别不同类目对完整 “商机”的定义存在差别QABot和TaskBot的配合方式将QABot（一问一答）与TaskBot（任务型多轮对话）融合，打通用 户与商家的双向连接先回复 QABot回答 (支持配置多个，随机回答)如果问题“触发” TaskB

13、ot，则TaskBot 之后会拼接QABot回复识别出电话商 机TaskBot会依次反问 配置的“商机词槽”， 直到拿到完整的商机。问题id问题文本问题类型1搬家如何收费？标准问题1搬一次家多少钱？扩展问法TaskBot技术框架TaskBot通常由NLU、DM和NLG模块组成NLU对应于已有的QABot和槽位识别模块商机引导功能主要依赖DM模块的实现对话管理对话流程控制：依次遍历有向图，如遇到回复节点则结束用户信息场景RedisMongoDB对话历史 节点id用户上下文QABot结果StartN ode开始节点有向图1有向图n回复槽位识别 结果SlotNode已填充的 槽位节点状态信息Response Node kRedis算法探索使用SlotNode存在问题：问