智能聊天机器人在汽车领域的应用课件

1、 扬帆起航智能聊天机器人在汽车领域的应用目录CONTENTS1 背景简介2 架构与流程3 语义理解4 对话管理5 答案生成6 应用实例7 总结与展望1聊 天 机 器 人 的 热 门 应 用易车-小艾京东-小咚淘宝-小蜜百度-度秘汽车之家-家家小秘Google-assistantMS-cortanaApple-Siri去哪-Qmi咪咕-灵犀天猫精灵小爱同学Amazon-echo百度地图腾讯地图1聊 天 机 器 人聊天机器人闲聊机器人基于任务的 机器人个人助理智能客服 机器人1聊 天 机 器 人 基 本 框 架语音识别ASR语音合成TTS自然语言理解NLU自然语言生成NLG对话状态跟踪DST对话策

2、略Policy知识库/问答库/服 务接口语音处理模块自然语言处理模块对话管理模块答案生成模块1汽 车 领 域 应 用 现 状热门产品汽车之家-家家小秘易车-易小车懂车帝-AI小懂汽车大师-轮胎智能问 答 主要功能智能问答闲聊智能写作主要技术语音识别与合成语义理解知识图谱问答问答对匹配阅读理解1汽 车 领 域 应 用 挑 战相同问题不同表达不同语义的相似表达同类问题的不同处理方式单轮会话依赖于知识图谱、问答库、阅读理解，实现完 整语义理解，给出答案1汽 车 领 域 应 用 挑 战多轮会话参考上下文信息，主动或被动进入下一轮 回话，直到准确回复用户宝马三系与奔驰C 级对比？宝马三系 奔驰C级 与奥

3、迪A4对比呢？ 宝马三系奥迪A4 准确的语义理解状态管理北京宝马经销商返回定位北京的宝马经销商上海呢返回上海的宝马经 销商预先构建多种多轮场景看车用车买车多少会话成功结束设置多少会话轮次较为合适测评指标1汽 车 领 域 应 用 挑 战答案生成与管理如何根据异构数据搭建答案生成系统？如何根据语义 理解结果，综合考量知识图谱、问答库、阅读理解的 结果并返回最终结果？图谱问答检索式问答阅读理解知识图谱资讯论坛问 答对汽车手 册配置保养经销商图谱构建答案仲裁数据清洗 数据整合 知识表征知识匹配 快速查询Query快速匹配文章定位 答案抽取目录CONTENTS1 背景简介2 架构与流程3 语义理解4 对

4、话管理5 答案生成6 应用实例7 总结与展望2主 要 架 构数 据 源问答口碑咨询手册论坛其他数据 存储句向量生成问 答 库基于语义距离 的相似度计算知 识 图 库图库 结构关系 生成节点生成属性构建结构化数据知 识 获 取知识对齐知 识 管 理知识消歧非结构化数据知识 体系数 据 层答案动静态查询答 案 查 询表达式slot转 SQL答案生成答 案 处 理答案过滤答 案 体 系答 案 排 序技 术 层Text-CNN算法意 图 识 别Bi-LSTM+CRF实 体 识 别字典树匹配Word2Vec构建表达式生成推 理 规 则Slot生成答案分类问 题 定 向知识定位数据 处理分词语 料 分 析

5、拼写检 查词性标 注分类句法分词法分 析析焦点提主题提 取取知识推 理引擎应 用 层语义搜索智能问答个性化推荐辅助决策语 料 处 理2整 体 流 程Query请求多轮对话句结 构解析语义特 征提取多轮依 存解析语 义 因 子 解 析 引 擎阅读理解结果返回多轮判定任务型引导型 开放型对 话 策 略是否实体识别意图识别单轮对话语 义 理 解对 话 管 理答案生成知识图谱QA问答目录CONTENTS1 背景简介2 架构与流程3 语义理解4 对话管理5 答案生成6 应用实例7 总结与展望3实 体 识 别主要挑战实体冲突l 多义词：北京-城市 or 品牌l 解决真包含问题：宝马三系2017款318Li

6、时尚型-包含宝马实体纠错l 拼写错误：宝妈三系-宝马三系l 顺序错误：三系宝马-宝马三系实体对齐l 数字、英文、汉字转换：宝马叉三-宝马X3l 简称识别:X5-宝马X5、汉腾X5、景逸X5、大迈X5、北斗星X51233实 体 识 别QueryBadcase库badcase检测冲突信息字典树匹配规则Bi-LSTM+CRF混合相似度识别结果冲突检测仲裁是是最终识别结 果否否处理结果规则匹配否是3字 典 树 匹 配处理实体读取实体库中的所有实体，并对其中的特 殊字符做处理.转化拼音将所有实体转为拼音.构建字典树以单个字母为单位，从根节点开始构建字 典树，将实体信息放入叶子节点中.对query特殊处理

7、对用户输入的句子query进行特殊处理，包含去特殊字符等.转化成拼音把用户输入query转化为拼音.与字典树匹配放入构建好的字典树进行匹配，如果从 根节点沿树边可以打到叶子节点则把叶子节点的实体信息取出来.3混 合 相 似 度 算 法StrEntityStr_pinyinStr_charEntity_pinyinEntity_charPinyin_simiChar_simiText_simi01234e11x1y1z1f1e22x2y2z2f2e33x3y3z3f3e44x4y4z4f4transformtransformcombinationcombinationcombinationSma

8、x_length = max(len(S), len(E)simi=1-Levenshtein.distance(S,E)/max_lengthLevenshtein distance编辑距离算法EMixed calculationscore3冲 突 处 理Bi-LSTM+CRF宝马三系B-cxI-cxI-cxE-cxchar embeddingBi-LSTMencoderCRF Layer怎么样B-kbcI-kbcE-kbc用户输入：宝马3系的怎么样？规则：宝马, 0, 1, 1.0, 宝马, pp宝马3系, 0, 3, 1.0, 宝马3系, cxBiLSTM+CRF：宝马3系, 0, 3,

9、 1.0, 宝马3系, cx3冲 突 处 理实 例用户输入：宝马2017款油耗怎么样？规则：宝马, 0, 1, 1.0, 宝马, pp宝马2, 0, 2, 1.0, 宝马2系, cx2017款,2, 6, 1.0,2017, nd油耗, 7, 8, 1.0, 油耗, kb冲突检测：宝马2, 0, 2, 1.0, 宝马2系, cx2017款,2, 6, 1.0, 2017, nd融合结果：宝马, 0, 1, 1.0, 宝马, pp2017款,2, 6, 1.0,2017, nd油耗, 7, 8, 1.0, 油耗, kb最终结果3意 图 识 别挑 战分布不均匀实际数据分布不均匀，top5类别占据

10、了90%的数据量油耗低-选车 油耗低吗-口碑特征不明显Query主要以短句居多，表达形式多 变，类别之间的特征区别不明显全景天窗-选车 车身ESP-百科需求不统一语义区分结果和整体答案返回结果不 一致，导致相同类别需求不同51.17%28.99%9.92%5.64% 3.89% 0.39%3意 图 识 别基 本 流 程宝马三系油耗怎么样？怎么样？怎么样？口碑口碑）query实体识别结果实体替换结果模板库结果判定意图模型库3意 图 识 别Text-CNN模型,3 , , 1 ,3语 义 因 子 模 板基本单位：节点setl 每个set包含多个槽位l 槽位既可以是实体，又可以是条件逻辑：and、o

11、rl 每个set的逻辑由一个and或者or构成 l and表示set中所有槽位都必须为真 l or表示set中有一个槽位为真即可限制条件：函数l _ ()表示包含数量l have()nohave()表示包含与否模板选择算法，能填充的数量h，Query包含的实体l 模板槽位数量n，未被填槽的数量ml 计算模板的的完成度：l 计算模板的最后期望:,其中为每个槽位的权重信息，由于m可能为0，故给m加一个偏移量b,则+ （l 选择得分最高的模板：车系车系车身配置车系车身配置口碑词单实体配置配置口碑填槽：cxcxpzcxpzkbc输入：宝马三系油耗怎么样识别：宝马三系cx 油耗pz 怎么样kbc计算(假

12、设车系槽位、车身配置槽位、口碑词槽位权重分别为0.3、 0.2、0.1,b取1)：单实体：0.3*1*3/3=0. 3配置：（0.3+0.2）*2*3/2=1.5配置口碑：（0.3+0.2+0.1）*3*3/1=5.4选择结果：配置口碑目录CONTENTS1 背景简介2 架构与流程3 语义理解4 对话管理5 答案生成6 应用实例7 总结与展望4多 轮 对 话 管 理 框 架实体+意图问句历史状态记录状态返回答案答案滤网论元滤网反问滤网语义结构滤网意图切换实体融合多轮滤网指代消解省略恢复单轮多轮反问话术是否要反问slot filling单轮实体识别单轮意图识别4多 轮 对 话 管 理滤网：定义多

13、轮的形式l 反问滤网：缺失实体，反问用户l 答案滤网：对现有答案进行进一步操作l 语义结构滤网：继承意图、实体转换l 论元滤网：对论元进行各种操作语义因子上下文信息深度学习历史语序反问滤网答案滤网语义结构滤网论元滤网模版特征分析语义分析语序解析意图是否直接返 回答案是否判断车型槽位是否严格排序多轮形式和内容4多 轮 对 话 管 理槽位是否严格排序编辑话术返回答案编辑反问话术编辑制作标签4多 轮 对 话 管 理反问滤网答案滤网语义结构滤网论元滤网4多 轮 对 话 管 理多轮长依存l 多轮沙箱：借鉴沙箱的思想，建立多轮沙箱 环境，意在捕捉用户的潜在意图l 多轮历史信息解析：对历史多轮信息进一步 做

14、语义分析多轮长依存解析多轮沙箱多轮历史语义语义因子上下文信息深度学习强化学习历史信息解析问：宝马3系和奥迪A4L哪个好 答：返回车系对比问：口碑怎么样答：返回宝马3系口碑问：另一个呢答：返回奥迪A4L的口碑意图沙箱问：想贷款买个车反问：请问您想买一辆怎么样的车呢，例 如（比较火的车推荐）问：30万以内的轿车吧，不要日本车 答：返回一堆车系提供选择问：不要国产车，最好带全景天窗的 答：进一步筛选，并返回车系提供选择问：那就要宝马3系吧答：为您推荐以下宝马三系的贷款方案（提供贷款计算器）目录CONTENTS1 背景简介2 架构与流程3 语义理解4 对话管理5 答案生成6 应用实例7 总结与展望5答

15、 案 生 成主 要 结 构知识图谱利用来自产品库、汽车资讯等数据构建知识图谱，以回答汽车 领域常规类问题意图识别结果、实体识别结果知识图谱社区问答阅读理解产品库汽车 资讯用户手 册车型车系汽车百 科配置口碑社区问 答对综合语料（资讯、百科、用户手 册问答等）图谱构建图谱构建 知识图谱 检索式问答 阅读理解检索式问答利用积累的QA对，回答不易结构化和整理的观点类、操作 类、故障类等用户问题阅读理解直接从各种非机构化综合语料（包括汽车资讯、百科、用户手 册等）中，找到问题相关的关键句，并提取答案5知 识 图 谱 构 建构建方式方式采用自上而下的方式，主要由手工构建数据类型结构化数据配置、口碑、经销

16、商、保养等 非结构化数据汽车手册、新闻资讯等实体类型车系、厂商、车型、品牌、经销商等关系类型车系品牌 车系厂商 车型车系 经销商车型.口碑版型级别口碑标签厂商品牌车系经销商报价颜色车型零部件手册知识点配置保养项目保养周 期5知 识 图 谱 构 建手 册 为 例构建步骤：按零部件分析，确定图谱构建 重点小秘query分析设计标签体系设计一套可扩展的标签体系，针 对各零部件的操作、保养、故障 等，利用标签来表示知识手册知识点解析解析知识点相关的零部件、标 签，以（部件，标签，知识点） 三元组的方式来表达知识。图谱更新将三元组更新到图谱中XX车系指示灯出现下 列情况时必须 检测系统用下部固 定儿童座

17、 椅钥匙更换车轮安全带未系 警告灯（知 识点）佩戴安全 带（知识 点）调整座椅 位置（知 识点）.边类型：操作部件：儿童座椅边 类 型 ： 更 换部 件 ： 轮 胎边类型：操作部件：安全带边类型：操作部件：座椅5知 识 图 谱 目 前 状 况知识构建情况l 车系：4000l 品牌：327l 车型：4万l 配置：670万l 经销商：3万l 保养：1.5万l 经销商-车型：230万l 发动机：3万l 轮胎：2万l 口碑：18万l 版型：6万存储规模l 实体数目：10万l 三元组数目（属性+关系）：3000万5知 识 图 谱 答 案 生 成图谱问答一般流程问句分发问题形式化语义解析图检索及推理知识图

18、谱答案评分排序答案生成针对手册知识问答问题语义解析实体：景逸X6句法分析 推荐（核心词） 关键词匹配机油景逸X6推荐使用什么机油呢推荐、机油针对手册知识问答答案评分排序评分标准：- 标签相似性- 标题相似性更换，蓄电池怎么更换蓄电池蓄电池充电和蓄电池更换0.990.87蓄电池更换候选答案蓄电池充电和蓄电池更换候选答案绅宝X25怎么更换蓄电池问句语义标签 充电，蓄电池，更换知识点标题语义标签 蓄电池，更换蓄电池更换知识点标题5检 索 式 问 答应用背景l 拥有社区论坛总结的200多万精华问答对l 补充图谱和阅读理解还不能覆盖的知识，完善整个答案体系l 根据问句语义相似度，检索相关问题答案，返回给

19、用户问句：长安逸动有必要安装发动机护板吗问题语义相似度：翼虎机油加几升合适？翼虎换机油换多少升？问题语义相似度：卡罗拉多久更换变速箱油？卡罗拉多少公里需要更换变速箱油？5检 索 式 问 答具 体 方 案模型训练问句相似度计算学习问题的语义表征x1x2x3x4Embeddingh1LSTMGRU Encodingh2h3h4softmaxX: (x1, x2,.,)EmbeddingLSTMGRU EncodingY: (y1, y2,.,)HxHy问句对：Cos5阅 读 理 解应用背景l 存在大量知识数据是更新快、时效性强或者不易通过先验知识结构化或者结构化效率极低的场景，比如：新车上市、活

20、动规则等场景。l 通过机器阅读理解的运用，可以减少人工知识点拆解工作，让机器直接对文档进行阅读，为用户提供文档解读服务，是 最自然的交互方式。新闻资讯揽胜是哪个部门的产品？答案捷豹路虎SVO依据：此款新车是捷豹路虎SVO部门（特 别车辆运营团队）的产品，其是主要负责 设计和定制高性能、豪华车型的专属团队。新款秦Pro什么时候上市？9月20日依据：新车正式上市时间为9月20日，不 过目前已经开启预售，感兴趣的网友可以 到店里了解下，接下来我们先看下展厅里 的这台秦Pro DM版本新车。5阅 读 理 解具 体 方 案问题文本词嵌入层N-BiSRUN-BiSRU上下文相关词表述交互层指针层问句解析文档检索阅读理解模型 调用输出概率排序解析实体及关 系等相关文档集文档片段定位结构化预处理特征计算编码表示答案输出目录CONTENTS1 背景简介2 架构与流程3 语义理解