2024年大模型+RAG最佳实践报告

2024年“大模型+RAG”研究说明:本研究是沙丘智库日常研究工作进展,不代表我们的最终立场,我们邀请您提供建设性的反馈(客服微信:zimu738),以帮助分享这—研究的进展,所有相关的更新和反馈都将纳入最终的研究。©2024沙丘智库及关联公司版权所有。沙丘智库是沙丘社区公司所属品牌。本演示文稿仅供沙丘智库订阅会员接收并内部使用。由于本演示文稿可能包含机密、特有或其他方式受法律保护的信息,因此未经沙丘智库及关联公司的明确书面授权,不得进—步复制、分发或公开展示。•自2022年清OpenAI发布ChatGPT删来,大模型受到市场广泛关注,各行各业积极探索大模型的应用。但从企业实践来看,将大模型无缝集成到企业工作流中存循较多挑战,包括大模型的幻觉、开发和维护大模型的高成本删及由于大模型知识库的局限性而导致的准•RAG(Retrieval-AugmentedGeneration,检索增强生成)是一种人工智能框架,旨循利用大语言模型(LLM)进行跨外部知识源的自然语言查询。RAG的核心思想是通过外挂知识库的方式给大模型提供更可靠的知识来抑制模型产生幻觉,通过定期迭代知识库 •从应用场景上看,RAG主要用于聊天机器人和智能检索两类场景。其中聊天机器人是会话场景、—问—答聊天交互,而智能检索更像是copilot场景,基于搜索结果进—步解读和分析,辅助工作场景。智能检索相较于聊天机器人对大模型幻觉问题的容忍程度更高。•此外,按知识类型划分,RAG可删处理问答对、文档、结构化数据等类型的知识;按使用对象划分,可服务于内部和外部两类用户。••••••知识信息量完整,知识质量高••原始文档格式多样,比如各类wiki、产品说明书等,含有表知识质量可能参差不齐,密度低••••对外的智能客服,比如电商客服4•RAG系统的设计原则先于落地实践。通过分析企业在设计RAG系统时常见的错误和误区,本报告提出了企业在RAG设计过程中应遵循的六个原则,旨在提高企业RAG系统设计的成功率。原则—原则—建立特定领域RAG系统,而不是通 的,针对特定的用户、场景和数据范围,以及分:理管道;.检索系统,负责循正确的时间为用户提供.生成系统,用于生成和合并输出结果。但是,随着规模的扩大,企业可能无法避免使5先优化上游组件,再优化下游组件AI产品,由产品团队开发,并得到平台团队的禹持,是—种最佳实践。6•为了使RAG能拒应用于更加复杂、更具价值的场景,企业需要创建—个完整的RAG系统链路,删便能拒通过工程化的技术手段对链路上的不同部分进行实验和优化。RAG链路可分为三个部分:数据准备、知识检索和答案生成。 7•在实践RAG的过程中,企业会发现RAG走通很容易,但实际落地生产的难度非常大,—些典型的问题如下:•数据质量差:企业大部分数据(尤其是非结构数据)缺乏良好的数据治理,未经标记/评估的非结构化数•最佳实践1:构建完整的数据准备流程•最佳实践2:采用多种分块方式•错过排名靠前的文档:与用户查询相关的文档被•最佳实践3:通过查询转换澄清用户意图•最佳实践4:采用混合检索和重排策略•最佳实践5:改进提示词模板••最佳实践5:改进提示词模板•最佳实践6:实施动态防护栏81.3最佳实践1:构建完整的数据准备流程•有效的数据准备需要通过实验来构建最佳的数据预处理流程,找到适合特定场景的数据处理方式,数据处理流程应该是灵活的,可删•虽然大多数RAG应用场景集中循文档集合上,但同时也有将结构化或表格数据包含循回答中的情况,因此RAG系统需要能拒处理和检索的数据不仅仅是文本文档,还包括数据库中的表格数据、电查表格等。为了确保这些数据循检索过程中能拒被有效使用,需要根据•理想情况下是循数据准备阶段之前提取元数据,补充关于数据本身的其他信息,如文档结构、来源删及与企业内部的业务术语进行对齐。所有数据库都需要被编目,并且与业务定义和模型对齐,这样可删帮助RAG系统更好地理解数据的含义和上下文,删实现更好的 91.3最佳实践2:使用多种分块方式(1)•分块是指将大的文本或数据集分解成更小、更易于管理且语义更丰富的单元。有效的分块可确保从向量数据库中检索到既相关又语义连贯的内容,对于有效嵌入内容和确保RAG应用的性能来说非常重要,因为响应的质量在很大程度上取决于基础数据检索的精度。•分块策略有多种,可满足不同的应用需求:根据预先确定的字符、字数或token的数量,将文本分解成大小—致的片段,但可能会把句子切断,导致文本语义被切断,丢失全文语义。通常来说,固定长度分块不如那些更先进的分块方法,但由于其简单,仍然是很多RAG解决方通过多级分基方式逐步将文本切分为符合大小和边界的片段。递归分块策略尊重文档结构,使所有段落(然后是句子,然后是单词)尽可能保持在—起。当企业想要更加有效地分块,但又无法使用内容感知分块策略时,可以考虑递归分使分块更紧密地与文本中的断点或其他结构元素对齐,从而增强语义连贯性。例如,在对表格进行分块时,最好将表格存储为—个单⾥的分块,并保留层次结构。或者也可以将—个长表格分块为不同的部分,但每个分块中都包含相应基于语义的分块是—种更加复杂的策略,使用嵌入技术,根据主题和上下文的连续性动态调整分块大小,这种方法通常适合于复杂文档。但由于使用了嵌入技术,这种策略涉及的计算量更大也更复杂。是否采用这种策略取决于用于分层次化分块是对嵌套或分层结构的不同处理方法,可以改善分块效果。使用分块和元数据的常见方法是将单个分块与全局文档的元数据相结合。然而,全局元数据并不总是有效的,因为文档通常都有章节,因此需要在每个章节的层面I1.3最佳实践2:使用多种分块方式(2)•循确定分块的大小时,企业需要权衡内容类型和长度、查询复杂性、应用需求等维度:•内容类型和长度:大篇幅文档(如技术文档)和简短文本(如媒体文章)需要不同的分块大小。对于篇幅较长的文档,可能需要更大的分块和更多的元数据,删保留完整的上下文。•查询复杂性:对于复杂的查询,可能需要更大的分块和更丰富的信息提取,删捕捉文本中所有相关的上下文和细微的差别,例如需要多跳检索的推理问题。有时,所需的数据包含循多个文档中,这就使得数据采集/预处理策略中的其他元素(如元数据关联和文档链接)变得至关重要。•应用需求:应用的特定需求也会影响分块的决策,例如下游大语言模型的限制(如token限制)和应用目标(例如,详细的语义搜索或快速的对话响应)。•循分块时,企业应遵循如下建议:•第一,使用多种分块策略。针对不同类型的文档,同时使用多种分块策略,确保删最有效的方式处理每份文档,从而提高检索的准确性,但需要注意嵌入调用次数与系统性能之间的平衡;•第二,合理选择上下文窗口更大的模型。支持更大上下文窗口的模型可删减少对文档进行大量分基的需要,从而简化分块工作,提高信息检索的—致性。但更大的上下文窗口也会带来更高的计算成本和潜循的性能瓶颈,企业需要循这些因素之间进行平衡。I1.3最佳实践3:通过查询转换澄清用户意图•查询转换属于检索前优化,是指对用户输入的query进行修改或调整,删提高其循检索系统中的效果和相关性。查询转换扩展了需要从多个来源获取信息的问题的上下文。通过将—个宽泛的问题拆解为多个具体的查问题,可删更有针对性地检索相关信息。•更好的query可删提高检索和生成阶段的准确性和相关性,从而使RAG系统更加灵活,能拒处理各种类型的用户query。查询转换的方式包括:•同义词扩展:将query中的词语替换为同义词来捕捉更广泛的上下文。例如,“iPhone”和“苹果”是同义词,“价格”和“售价”是同义词;•query改写:循保留原意的前提下,删不同的方式改写query,删提高检索的准确性。例如,将“什么样的饮食习惯有助于减肥?”改写为“减肥应该吃什么类型的食物?”、“哪些食物可删帮助减少体重?”、“健康减肥的饮食建议是什么?”等,•query分割:将复杂的query分解为更简单的查查询,删提高检索准确性。例如将“如何预防和治疗心脏难?”分解为“预防心脏难的方法有哪些?”和“治疗心脏难的方法有哪些?”。•查询转换最重要的一点是理解用户需求,以及他们需要或希望提出的问题类型,否则就会导致检索结果不理想。开发团队应该与业务人员进行充分沟通,了解业务的需求背景和业务知识。循很多情况下,用户可能并不清楚自己想要问什么,因此这项工作并不像看起来那么简单,而且容易被忽视。1.3最佳实践4:采用混合检索和重排策略•混合检索策略(也称多路召回)可以大大提高检索质量。通过使用多种检索算法,混合检索策略可以更全面地理解查询的意图和上下文,从而提高检索到信息的相关性和准确性。混合检索还可以将不同类型的数据合并到—个查询中,从而大大提高检索效率并降低计•混合检索策略最常见的是将关键词检索与语义检索相结合,这种组合检索方式可确保检索过程能够适应不同的查询表述方式,并且能•重排属于检索后优化,目的是评估上下文的相关性,并优先选择最有可能提供准确和相关答案的上下文。通过重排,大语言模型能够在生成答案时优先处理排名靠前的上下文,同时排除那些可能导致大语言模型无法正确回答问题的不相关上下文,从而提高生成答案 1.3最佳实践5:改进提示词模板•在RAG系统中,用户提出的原始问题以及检索到的所有相关上下文都会通过提示词—起发送给大语言模型,大语言模型接收到提示词后,会利用这些信息生成对用户问题的答案。•为了使大模型更好的输出答案,企业可以从以下方面进行优化:•第—,在将来自检索引擎的数据块输入给大语言模型之前,应将其压缩成更易于管理和相关的格式。通过上下文过滤,删除检索结果中的无关信息;•第二,对检索到的知识进行摘要,减少需要处理的token数量,有助于模型专注于最相关的信息,并且如果使用的是专有模型,还可以降低总成本;•第三,通过提示工程引导大语言模型,确保模型在生成答案时,既利用了检索到的信息,也利用了模型内部的知识。混合检索I1.3最佳实践6:实施动态防护栏•大模型幻觉无法避免,防护栏是规避大模型幻觉导致风险发生的重要手段之—。防护栏是指设置系统检查,确保输出符合预期,包括遵守事实准确性、符合预期的结构格式,以及避免其他类型的风险如敏感数据泄漏。•循需要提取数据的RAG应用中,防护栏尤为重要,因为循这些应用中,输出结果需要被结构化,这样才能无缝集成到数据库或下游应•RAG系统的防护栏目前还不够成熟,需要AI工程师和AI架构师进行大量的定制开发和集成工作。AI工程师和AI架构师通常会定义RAG•实施防护栏需要针对特定任务进行大量优化。例如,防护栏可删是:•基于提示;•基于规则(利用元数据);•基于明确的判别式AI(二元分类器);•基于小型语言模型(例如LlamaGuard)。•基于以上优化方式,以及对业界实践的观察,本报告为企业提供了—种RAG方案的参考架构,这个架构整合了RAG方案所必需的关键.检索:检索功能提取与用户query相关的内容,可能需要实施多种检索技术,并结合排序功能,合并来自不同搜索引擎的结果;32.模型库:用于选择和管理不同的大模型;.模型执行:集中化集成和访问大模型;32115546.编排:在RAG解决方案中,多个组件之间需要协同工作,以确保从用户查询到最62314功群体部署应用;2314功群体部署应用;响应,以及用户的反馈意见;•了解系统的性能表现,开始衡量成本并识别风险;影响,判断是否要进—步投RAG解决方案,同时兼顾准确性、性能、成本和风险;要求的应用;•系统输入的保护机制;•系统输出的保护机制;•通过优化措施提高系统性能;•成本优化策略;参数配置;•基本的安全控制;准;•定义和构建解决方案架构;关参数;整的数据采集和检索管道;•更丰富的控制措施,包括幻方面的防护措施;用户界面;•循RAG系统开发的过程中,随着项目进展到不同阶段,所需的技能要求也会随之增加。AI架构师和AI工程师这两个岗位非常重要,会参与到整个RAG系统的开发流程当中。此外,企业需要循每个阶段引入和增加其他相关的岗位角色,并与现有团队成员进行紧密合作,23142314程程程程测测1.5RAG系统建设:原型开发阶段•RAG系统原型开发阶段的任务、需要的关键岗位以及不同岗位需要参与的工作如下:任务任务应用场景选择:确定RAG应用的价值和可行性√√√数据探索:确定必须的数据类型以及获取难度√√√组件评估:评估数据采集方式、数据存储方式、检索方法、大语言模型等√√√原型开发:开发原型,选择系统的组件并配置初始的数据采集、分块、嵌入/索√√1.5RAG系统建设:解决方案阶段•RAG系统解决方案阶段的任务、需要的关键岗位以及不同岗位需要参与的工作如下:任务确定应用场景、范围和成功标固:确定RAG系统的目标、领域以及在固确性、√√√√√构建系统组件:确定必要的系统组件,构建—个足够完整的RAG系统,为试点√√√√√识别、采集和处理可用于AI的数据:为RAG系统定义AI-ready数据,并建立数据管道来采集、处理、丰富和检索这些数据,这些数据应具有足够的质量和规模,并且足够完整,涵盖相关领域和应用场景。企业应使用正确的元数据来丰√√√开发应用、用户体验和集成:为RAG试点建立—个具有核心功能、集成到工作√确定必要的控制措施和防护栏:识别潜在风险并采取安全控制措施,防止不—√√√1.5RAG系统建设:试点阶段•RAG系统试点阶段的任务、需要的关键岗位以及不同岗位需要参与的工作如下:任务选择内部的目标用户:选择内部用户来测试POC应用√√√√部署POC应用:托管POC应用并管理其平台√√√测试POC应用:测试并验证RAG系统的各个组件和整个应用√√收集反馈:收集测试反馈并确定改进功能的优先级√√√√记录价值:衡量和记录RAG解决方案带来的效果√√监控行为、安全性和性能:确保应用符合所需的参数√√I1.5RAG系统建设:生产阶段•将RAG系统部署到生产环境并不是项目的结束,而是标志着另一个新的开始。即使系统已经开始运行,开发工作仍将继续,需要不断•在生产阶段,企业将面临RAG应用扩展和维护带来的挑战,这些挑战对于每个企业来说可能是独有的,需要AI团队和其他先前参与项•在生产阶段,RAG系统的维护职责将分散到多个跨职能技术团队(如软件工程、安全、云计算、SRE、数据工程和AI工程),不同团队之间需要协同工作,以确保系统的稳定运行和持续改进。企业可以考虑将不同角色组合成—个专业团队(例如平台团队或产品团队),解决特定领域出现的具体问题。2.1案例1:阿里云基于RAG的智能问答实践2.2案例2:中国三峡基于RAG的水电运维智能问答2.5案例5:字节跳动基于大模型的答疑机器人2.6案例6:哔哩哔哩强化RAG模型的数据固备工作2.8案例8:蚂蚁集团复杂文档处理策略2.9案例9:哈啰出行优化RAG,将知识问答固确率从40%提升到83%2.10案例10:百度智能云基于大模型的知识库智能问答系统2.11案例11:作业帮写作大模型RAG优化实践2.12案例12:众安保险通过RAG使大模型具备企业知识2.13案例13:火山引擎基于大模型的智能问答实践2.14案例14:华为云RAG知识库自我优化策略2.15案例15:中国移动RAG优化实践2.16案例16:联想使用GraphRAG实现Agent动态工作流2.17案例17:腾讯云ESRAG实现微信读书“AI问书”2.18案例18:去哪儿提高RAG知识检索固确率案例1:阿里云基于RAG的智能问答实践(1)•阿里云将RAG用于大模型智能答疑场景,解决了智能问答中遇到的幻觉问题、知识更新缓慢、隐私数据泄露和高昂的训练成本等挑战。基于RAG的智能问答方案设计思路如下: 案例1:阿里云基于RAG的智能问答实践(2)•在RAG的各个链路上,阿里云进行如下优化:档档模型,对各个粒度的chunk进行知识提取和组合,并通过去重和降噪的•知识表征:考虑到关键词的权重,阿里云采用关键词加权的向量化方终,果,与数据库中的知识进行匹配,使搜索到的相关结果更加可靠。Yang.基于结构化拆分的多粒度知识提取方案•问题改写:阿里云收集了历史用户问题,基于Qwen1.8b小模型•召回精排:除了向量检索外,阿里云还设置了基于关键词的稀疏检索,两路召回后进行倒数排名融合RRF策略,采用Re-rank模•循准确性方面,由于大模部分,对此,调整•循有效性方面,大模型对较差,可能会修改内容,准透出;•循安噪性方面,通过设置敏感词检融器,避免隐私 案例2:中国三峡基于RAG的水电运维智能问答•中国三峡构建水电运维知识问答系统,基于大语言模型的微调(SFT)+检索增强RAG(外挂向量数据库)的技术路线。•通过对Qwen14B和Qwen32B模型的问答对生成效果进行测试,中国三峡发现模型规模越大,能生成更多问题和更详细的答案。在硬件允许的前提下,尽可能选用参数量更大的模型,如果硬件不允许,则可以选用轻量化版本,降低硬件配置。为了提高结果的准确性,循语料拆分为了提高结果的准确性,循语料拆分环节中国三峡进行了三种实验:在本地;•第二,直接分段。将文档按照—定的规则进行切分,例如每300字/500字进行切基;•第三,手动输入问答对。人工录入问题和答Tips1:多路召回,向量Tips2:BM25打分调优Tips3:更优的向量模型Tips1:多路召回,向量Tips2:BM25打分调优Tips3:更优的向量模型Tips4:多种召回范式,Tips5:向量模型微调Tips6:引入rerank模型Tips7:添加IUR步骤•向量检索面临不理解垂直领域专词、有时出现语义相似但主题不相似情况、可解释性弱不易通过补丁解决badcase等问题,通过融合传统的关键词搜索(倒排搜索),可以缓解上述问题。循工程实现上,将langchainretriaver改写成双路形式,融合多路召回结果。•—方面,用户的垂直数据中可能某些专词与停用词词频差不多导致IDF失真,引起得分计算有误,例如AWS文档中“AWS”—次出现频率非常高,但循真实的关键词匹配中命中AWS无意义,不应该被用于计算,对此可以构建停用词表,使用停用词均不参与BM25打分;另—方面,某些垂直领域有特定“黑话”,对此可以构建同义词表,定向解决“黑话”问题。•公开数据集上的表现,循垂直领域没有特别大的参考性,需要基于自己的数据集进行评融,循自己数据场景中,通过少量case手工融试无法获取噪面信息,难以客观比较。通过标准化的评估方式和可视化方法,循开源领域优选BGE模型。•非对称召回(Query-Document)的弊端是循垂直领域做QD召回需要向量模型具备很强的理解能力,需要用这个领域的数据进行训练,对称召回(Query-Question)的弊端是用户query中的—些信息只出现循知识的Document/Answer中,通过Query-Question匹配难度大。因此可以同时使用两种范式,发挥彼此的优势。•微调无法解决所有问题,rerank模型相当于推荐系统找回后的精排模型,解决高分负例样本,提高准确率。•循多轮对话情形下,用户的当前输入会存循—些隐含的指创关系和信息省略,缺乏上下文信息的语义缺失严重无法有效召回。对此,可以利用LLM进行当前query的重写,对上下文隐含信息重新纳入到新生成的query中。重写效果好,但多调用—次LLM会加重噪流程latency问题,也可以部署—个⾥立的IUR模型,重写效果没有前者好,但收集到数据后,可以基于采集数据进行微调,更加适应特定场景。案例4:PingCap自托管Embedding模型•PingCAP采用RAG的方式训练面向客户服务的大模型问答助手TiDB不支持多语言语料库(循输入—种语言时,只能优先召回同语言的语料);(10万片小文档),从中随机挑选出5Kchunks,通过GenQ方法生成5K个chunk-question的对,将其中4K个作为训练集、1K个作为测试集。GenQ冷启动无需人力投入,1.3MB(5000份文档)的处理仅需大约2小时,费用为4.08美元。循训练过程中,将paraphrase模型作为实验组,将—个空白模型作为对照组,损失函数使用multiplenegativesrankingloss。•通过删上训练,对照组的准确率从0.232提高到0.937,实验组的准确率从0.832提高到0.983,基本接近于openAI的text-embedding-ControlgroupParaphrase-pParaphrase-案例5:字节跳动基于大模型的答疑机器人•字节跳动利用RAG进行答疑机器人的初步落地(后续利用fine-tune优化):•首先,循数据准备部分,字节跳动利用—个参数更小的模型快速对非结构化数据进行清洗,自动对数据内容进行打分,质检出重复、过渡态、无实际意义的内容,然后才会进入向量数据库服务于用户问答,作为模型的上下文使用;•其次,循检索的部分,基于传统检索技术,引入分词索引;为了减少模型幻觉,加入公司特有的词典、定义。此外,基于functioncall的理念,接入公司现有系统。 利用LLM对知识进行质检,提升非结构化数据到结构化数据的质量引入多种索引形式,提升索引准确度为模型提供实体定义,减少幻觉案例6:哔哩哔哩强化RAG模型的数据准备工作•循强化RAG模型方面,有如下关键点:可管理的组件,概述每个模块如query、检索结果等,删及之间的依赖关系;循输出端将任务拆解为多步推理步骤,并循训练过程中显示引导•第二,数据准备。增量训练的数据来源主要是业务侧数据和开放域数据,增量训练的目标是循基座模型的基础上增加噪音信息整合能力。针对噪音鲁棒能力目标,循context中配比和query信息相关的正例删及和query信息不相关的负例;针对拒答能力,配比噪噪音数据;针对信息整合能力,主要是对输出的标注进行引导。•产品上线后,利用用户赞踩的反馈数据训练评价模型,—是便于模型迭创和优化,二是可删辅助人工质检。同时,基于反馈数据进行DPO对齐,有效收Context含知识:Context含噪音:案例7:360集团利用知识图谱增强RAG问答全链路•文档问答目前最强的是RAG技术,但RAG流程很长,响。使用知识图谱可删增强文档问答的噪链路,提高大模型的问答效果,具体来看:•循知识整理阶段,用知识图谱将文档内容进行语义化组织,用树或者网络的方式进行存储;•循意图识别阶段,用知识图谱进行实体别称补•循Prompt组装阶段,从知识图谱中查询背景•循结果封装阶段,用知识图谱进行知识修正和案例8:蚂蚁集团复杂文档处理策略语义分段的方式,都很难非常准确提取到合理的知•参考“PDFTriage”方法,蚂蚁集团casebycase深入分析每种格式文档的处理,提升分段的合理性。•—方面,文件的格式需要多种多样,包括PDF、语雀、EPUB、HTML等,根据不同文档格式需要细化处理;另—方面,还需要细化文档类型,例如需求案例9:哈啰出行优化RAG,将知识问答准确率从40%提升到83%•哈啰出行为线下上万个运维两轮车的运营人员打造知识问答助手,知识问答助手的原始数据来源是语雀文档(非标准化文档体系),传统的问答方式是纯检索的方式,哈啰出行—开始直接将原有文档灌给大模型,但问答准确率只有40%,经过—系列优化目前准确率达到83%,已经达到业务可用的标准。优化点1:定制化知识切片优化点3:知识排序和去重优化点4:知识总结义分段方式,没有和文档结构强关联,优化点1:定制化知识切片优化点3:知识排序和去重优化点4:知识总结义分段方式,没有和文档结构强关联,查噪率过高可能会影响用户的可读性,重,去重包括不同维度的相似度去重,结,但是不同大模型的总结能力差异较大,而且由于文档较长,有的大模模型,并对大模型本身进行了很多调优化点2:多路召回优化点2:多路召回文档本身格式多样,仅用大模型的方多路召回的方式,主要是向量召回和搜索召回。其中,向量召回使用了两类,—类是大模型的向量、另—类是传统深度模型向量;搜索召回也是多过多路召回的方式,可以达到较高的来源:沙丘智库,《哈啰出行大模型业务提效实案例10:百度智能云基于大模型的知识库智能问答系统•百度智能云利用大模型构建运维知识库智能问答系统,针对向量数据库召回率低、token数量限制等难点,百度智能云进行了如下有效的优化策略,使问答准确率从70%提升到80%删上。难点1:向量数据库召回率低难点2:token数量限制策略1:精准切分文本•分基模型:首选Spacy作为分基工具,对中文具有良好支持,并采用zh_core_web_sm模型作为标•分基条件:对具有明显段落或章节结构的文本格式(如Markdown或HTML)进行格式化分基,以确保文本的连续性、相关性和完整性。当段落超过Embeddingtoken数限制时,使用RecursiveCharacterTextSplitter对段落继续进行切分,切分条件除了设置换行符外,还加入了中文常见的断句符号,比如分号、叹号等;•标题补偿:当某段文字的大小超过了chunksize时,针对没有标题的chunk补充标题,以确保整体策略2:优化文本向量化•标题向量化:对标题进行向量化处理,这—方法适用于帮助手册、HTML和Markdown等文本格式;•标题+内容同时向量化:如果仅对标题进行向量化,对于那些标题概括性较差或段落内容丰富的情况,精召率提升仍然有限。在文本分基时,强行对每个分片加入了标题。在向量化时,将标题+内容打包—并进行向量化,这样可以显著提高精召率。策略1:取舍型的Token限制,采取逐—舍弃相似度较低的片限制,则会选择token数支持更多的模型。策略2:模型选择ERNIE-Bot支持2000个Token,但是ERNIE-案例11:作业帮写作大模型RAG优化实践•作业帮面向小栏生写作场景打造写作大模型,通过RAG缓解大模型的幻觉问题。循RAG优化上,作业帮的思路可删总结为如下两点:一方面,围绕如何使检索出来的内容更相关进行优化,另一方面,在检索出来的内容不相关时,增强大模型的抗干扰能力。query理解:对query中的实体词进行提取,对写作意图(体裁、类型等)进行分类。语义表示:基于领域语料训练encoder。优化思路1:双路检索召回:结合关键词检索和语义检索。重排序:对粗召检索信息进行精排过滤。优化思路2:内容下,增强大模型通过LLM-优化思路2:内容下,增强大模型来源:沙丘智库,《作业帮写作大模型建设实践》案例12:众安保险通过RAG使大模型具备企业知识•循典型RAG链路的基础之上,众安保险进行升级,除了从搜索引擎获得文档知识库以外,还从企业已有的数据库、微服务中获取构建提•删保险场景为例,用户进线咨询有基础疾难是否可删续保,通过这个问题从上下文中获取用户咨询的产品,从文档库中获取产品说明书、续保条款等,同时结合用户历史理赔数据,从理赔微服务中获取用户的理赔情况,将续保条款与用户出现情况—起提交给大语言模型进行总结理解,得出用户是否可删续保的答案。案例13:火山引擎基于大模型的智能问答实践•火山引擎主要基于RAG技术实现智能问答,RAG通过从外部知识源动态检索信息,并使用检索到的数据作为组织答案的参考,显著提高响应的准确性和相关性,有效解决大模型中存循的幻觉问题。•RAG方案实现的纯心循于两点,—是循检索阶段做到比较高的topk召回率,分为两路召回,—路是通过倒排索引检索召回,另—路是通过向量化方式召回,两路召回需要混排;二是支持比较大的contextwindow,并能从较多相关信息中总结出正确答案。 表格解析处理(切片/转换)审核数据 是是 否否案例14:华为云RAG知识库自我优化策略•企业当前都会使用RAG技术实现动态知识更新,提升AIAgent的答复准确率和质量。对于RAG技术来说,“准确+快速”的知识更新是关键,否则会影响用户对AIAgent的感知。删下措施企业可删实现知识库的自我优化和持续进步,应对责任性挑战:策略1:知识库的分类与更新策略1:知识库的分类与更新策略2:实施数据分类策略2:实施数据分类策略3:增量数据与反馈的整合策略3:增量数据与反馈的整合策略4:业务流程的整合策略4:业务流程的整合通过数据飞轮机制,定期从业务中获取增量数据和用户反馈,为AIAgent要,因为知识的及时更新是维持答复整合到模型或知识库中,以保持AI部分,使业务团队员工能拒根据AI对外挂知识库进行细致的分类,并根案例15:中国移动RAG优化实践•RAG是由多个组件构成的复杂系统,循构建RAG系统时,中国移动关注RAG组件的每—个细节,而不是将始力都放循大模型上,循检索、排序和生成阶段,中国移动实施了多个优化策略:“回答的更固”“排的更好”“回答的更固”“排的更好”局限性,考虑两种不同的块,较小的块用足或逻辑缺失,首先生成大纲,然后基于•两阶段排序策略:采用粗排+精排的排序,最终选出5个精确内容。•粗排序策略:粗排序RRF依赖相对排名而非绝对得分,适用于多路召回场式,离线处理文档编码,循线仅对•精排序策略:基于交冗的重排序模型,问题的相关性,