B站大模型×领域RAG：打造高效、智能化的用户服务体验

B站大模型×领域RAG打造高效、智能化的用户服务体验Author：Feng

FanV》

目录传统智能客服

vs．大模型智能客服msup传统智能客服

vs.

RAG⼤模型智能客服传统智能客服系统还是需要为每种任务单独设计和维护特定模型RAG⼤模型客服在单⼀框架内同时⽀持多种任务，⾼效灵活传统智能客服

vs.

RAG⼤模型智能客服B站线上智能客服拦截率：传统智能客服（基线组）

vs.

RAG⼤模型智能客服（⼤模型组）RAG⼤模型智能客服框架3.

如何做到准确安全回答？1.

领域知识库如何构建？2.

怎么⾼效检索知识？总流程：流程模块拆分：V》

目录■领域知识库的有效构建msup业务知识信息全⾯、实时冗余、⾮结构化、检索效率低领域知识库如何有效构建历史⼈⼯会话信息提炼噪⾳、⾮结构化、检索效率低FAQ信息提炼结构化、检索效率⾼⼈⼯运营FAQ：精准但覆盖有限LLM由历史⼈⼯会话抽取FAQ：覆盖全⾯领域知识库如何有效构建业务知识信息全⾯、实时冗余、⾮结构化、检索效率低历史⼈⼯会话信息提炼噪⾳、⾮结构化、检索效率低FAQ信息提炼结构化、检索效率⾼⼈⼯运营FAQ：精准但覆盖有限LLM由历史⼈⼯会话抽取FAQ：覆盖全⾯V》

目录怎样高效检索知识．msupquery改写1.

Re-writing:指代消解补全querymemory信息补全query效果：增加有效拦截如何⾼效检索知识query改写2.

Step-back:向上泛化，提出更基本概念，获取相关背景信息，补充query效果：query理解更准确•如何⾼效检索知识query改写2.

Step-back:向上泛化，提出更基本概念，获取相关背景信息，补充query效果：query理解更准确•如何⾼效检索知识query改写3.

Sub-query:分解⼦查询如何⾼效检索知识https://docs.llamaindex.ai/en/stable/examples/query_engine/sub_question_query_engine.html检索q-q

search如何⾼效检索知识重排q-a

matchV》

目录．如何准确回答安全落地msup如何准确回答安全落地ASurveyonRAGMeetsLLMs:TowardsRetrieval-AugmentedLargeLanguage

Models通⽤LLM

+

prompt⼯程：➡

零训练成本➡

幻觉较难控制：通⽤模型较常⻅现象，prompt控制有限➡

默认提供答案：不具备充分信息，模型倾向提供回答⽽⾮拒答，增加误导⻛险⾯向RAG微调LLM：➡

幻觉可有效控制且显著降低➡

跨⽂档整合能⼒增强➡

信息溯源更准确➡

拥有拒答能⼒保障可靠➡

训练成本和资源投⼊增加如何准确回答安全落地强化RAG模型：效果整体优化后内外部RAG评测集上平均提升

20%在答案准确度、答案整合度、拒答能⼒均显著改进，业务评测中满⾜落地要求。*通⽤LLM是基于B站⾃研⼤模型bilibili

index，作为强化RAG模型的基座。当前评估结果基于index前代版本，新版本已推出并具有更强性能。强化RAG模型：任务设计输⼊端：先拼接query和对应的检索结果，并引⼊思维链来构造prompt；输出端：将任务拆解为多步推理步骤，并在训练过程中显示引导模型掌握这种推理模式。如何准确回答安全落地强化RAG模型：数据准备如何准确回答安全落地根据偏好数据训练reward

model，便于模型迭代和优化，同时辅助⼈⼯质检评价模型V》

目录■长文本与R

AG

如何协同msupRAG和⻓⽂本如何协同⻓尾问题的应⽤局限知识稀疏：

相关信息的稀缺，RAG模型难以从检索组件获取充⾜的直接相关知识，拒答降低⽤户问题解决率复杂关联：

问题答案依赖于多个逻辑步骤和⼴泛的信息源⻓⽂本解决⻓尾的痛点⻓⽂本挑战扩⼤上下⽂窗⼝，更全⾯的知识覆盖，即使是弱相关的知识，将⻓尾问题转化为多种弱相关参考点，为⽤户提供丰富背景信息，也可以引导⽤户交互澄清等。带来延迟和成本V》

目录智能客服与大模型的未来展望msup多模态理解及检索增强推理集成业务系统Agent交互⼤模型智能客服的未来展望/pdf/2310.12823麦思博(msup)有限公司是一家面向技术型企业的培训咨询机构，携手2000余位中外客座导师，服务于技术团队的能力提升、软件工