深度学习与智能对话机器人

目录对话机器人的兴起爱因互动的Bot技术：DeepBot及其他对话机器人的商业实践第一页，共39页。对话机器人简史第二页，共39页。爱因互动-APP

下载量比前—年下降20%前3位

APP

占据80%时间过去2年消息平台爆发式增长70%用户倾向千文本消息而非电话2016.3

微软

Bot

Framework2016.4

Facebook

Messenger

平台2016.5Google

Assistant2016.6

苹果

Siri

SDKChatbot

在

Google

Trends

中搜索量的变化主流消息平台使用增长情况对话服务爆炸式增长第三页，共39页。爱因互动-对话产业第四页，共39页。爱因互动-第五页，共39页。爱因互动-爱因互动

EIN+为企业提供人工智能对话解决方案Conversationasa

Service第六页，共39页。爱因互动 第七页，共39页。合作示例订餐⼩小秘书槽位提取意图识别商品推荐多轮对话回复⽣生成第八页，共39页。爱因互动-第九页，共39页。多通道API第十页，共39页。高可用工程框架第十一页，共39页。DeepBot对话框架融合不同的问题，不同的框架，不同的模型第十二页，共39页。问题分析——实体识别亦称为槽位提取序列标注问题HMM/CRFLSTMBiLSTM-CRFLQSXWHPEHGGLQJ%L-511FRQFDWHQDWHGRXWSXW

ODEHOLQJӞӻ ፠૞ӳ࣠

กภ6ᅩጱ۱ᳵ222%-1%-7,-72%-5ଆ౯ᦈ第十三页，共39页。Route-Bot——领域/意图检测单轮识别模型RNN/CNN+

DNNLQSXWHPEHGGLQJ/670IXOO\

FRQQHFWHGRXWSXW＜ॠ࿈!۹Ղกॠॠ࿈ই֜Ҙ多轮识别模型：多轮对话RNN/CNN+

RNNLQSXWHPEHGGLQJVHQWHQFH

511,QWHQW

WUDFNLQJRXWSXW＜߅ࠦ!＜߅ࠦ!＜ॠ࿈!＜߅ࠦ!＜߅ࠦ!WUDQVLWLRQ

511＜߅ࠦ!

＜ॠ࿈!ᬮฎ೭᱈ހҘଆ౯ᦈ๻ จ૬ظกॠᬮฎॠษҘ第十四页，共39页。FAQ-Bot特色语义匹配问题带背景答复带参数༄ᔱ᯿ഭଧᳯ᷌ړຉ.%/.*ᳯ᷌ᒼໜ>ڜᤒ@܃ᯈ᦯／ݶԎ᦯॔ᬿݙݙݻᰁ᦯ݻᰁ7)-,')44

PDWFK4$

PDWFK%XVLQHVV/W5'11匹配模型CNN/RNN+

DNNᅷᙂݰ᩸๶҅ஞఘḘӤঅឭݷٌও ጱஞఘӧঅԧ第十五页，共39页。Task-Bot系统框架SLU->DST->DPO->

NLG,nform(or()r_op==丁，r)staurant_nam)=云海肴，subbranch=中关村店）request(phone,

name)烦请提供下手机号及姓名哦$65'67ᳯ᷌ړຉ.%/.*ᳯ᷌ᒼໜ>ڜᤒ@6/8'327761/*特色任务包含20+种实体实际项目中包含实体最多的任务第十六页，共39页。Task-BotDM:DST+DPOà

DRL/MiuLab/TC-BotEnd-to-End

Task-Completion

Neural

Dialogue

Systems第十七页，共39页。Rec-Bot帮助三方共赢第十八页，共39页。Rec-Bot系统框架：线下+

近实时+

实时第十九页，共39页。Rec-Bot各种交互数据አಁ－ԾߝI1I2I3InU1U2U3UmŏŏD1D2DkU1U2U3UmŏŏI1I2I3Inŏአಁ－ᵱ࿢－ԾߝU1U2U3UmU1U2U3Umŏŏአಁ－አಁ第二十页，共39页。Rec-Bot代表性模型Item/User-basedkNNMFFMDNN/CNN/RNN第二十一页，共39页。Rec-Bot表征用户利用表示学习获得用户相关的各种特征，再把这些表示结果用于预测用户的短期需求和长期需求第二十二页，共39页。Rec-Bot表征产品每个产品包含的服务以及价格等基本信息，可以显性刻画此产品；而用户对产品的购买等行为数据，可以隐性地刻画此产品第二十三页，共39页。Rec-Bot表征用户×产品在获得了用户与产品的表征向量，以及用户的短期与长期需求后，使用推荐模型从历史数据中学习模型目标函数借鉴Learning

to

RankPoint-wisePair-wiseList-wise第二十四页，共39页。Rec-Bot融合（Ensemble）兴起于Netflix

Prize竞赛，已成业界标配常用组合方法预测值组合：组合多个算法的预测值LinearReg,NN,GBDT,

RF特征扩充：一个算法的输出作为另一个算法的输入特征切换：不同算法间相互切换DT,

Rule-based第二十五页，共39页。爱因互动-Rec-Bot准确度之外的其他指标覆盖面（Coverage）：被推荐的物品占所有物品的比例多样性（Diversity）：覆盖用户各方面的兴趣，而不仅是一部分新颖性（Novelty）：推荐长尾（小众）部分的物品惊奇性（Serendipity）：用户不期望系统能推荐，但用户真感兴趣多目标Pareto边界：在保证其他目标在一定约束范围内，优化主要的一个目标多个目标综合为单个目标技术指标

≠

业务指标第二十六页，共39页。Rec-Bot推荐理由使用推荐服务时，用户往往没有明确需求，推荐系统需要提供能说服用户的理由通过产品提供的服务通过服务消耗可以推断用户兴趣，进而产生推荐理由通过优惠信息通过具体的节省计算第二十七页，共39页。Chitchat-Bot检索

+

生成式检索保证可靠性：允许客户添加qa对，秒级生效生成式保证100%召回：可以回答任何问题，降低知识库维护门槛特色使用coverage机制保证生成式语句不重复使用copy机制保证稀有词的产生使用MMI提升生成结果的多样性LQSXWHPEHGGLQJUQQDWWHQWLRQIXOO\FRQQHFWHGRXWSXWٷளጱᵨॠ <HRV!0.10.0۹Ղกॠॠ࿈ই֜Ҙ<JR! ٷளጱᵨॠ第二十八页，共39页。改进seq2seq注入额外的信息背景信息：主题关键词sequencetobackwardandforward

sequences第二十九页，共39页。改进seq2seq注入额外的信息对话双方的个人信息APersona-BasedNeuralConversation

Model第三十页，共39页。改进seq2seq注入额外的信息常识：知识库/图谱NeuralGenerativeQuestion

Answering第三十一页，共39页。改进seq2seq注入额外的信息上下文Building

End-To-End

Dialogue

Systems

Using

Generative

Hierarchical

Neural

Network

Models第三十二页，共39页。CUI/

GUI商业实践第三十三页，共39页。CUI/

GUI效率

信息展示的广度和深度感受

时间感与空间感对沟通的影响预期

个性化、参与感、自我学习与进化第三十四页，共39页。爱因互动-对话作为粘合剂用户CUI对话技术个性化推荐 定向广告数据挖掘 领域知识与模型第三十五页，共39页。爱因互动-对话的商用原则用户价值：通过对话高效解决问题稀缺性：成为细分领域的关键业务环节技术成熟度：选择合适的技术第三十六页，共39页。爱因互动-对话商