构建企业级+RAG+系统的创新实践-阿里云+费跃

构建企业级RAG系统阿里云/PAI人工智能平台模块化RAG架构企业级RAG能力集成检索增强生成（RetrievalAugmentedGeneration,RAG）从数据源中检索信息来辅助大语言模型（LargeLanguageModel,LLM）生成答案。•准确性•数据安全•需求具有多样性，常规RAG链路难以满足不同场景的企业级RAG系统架构模块化RAG架构高级高级RAG模块化模块化RAG图片来源:/pdf/2407.21059•白盒化：模块可以灵活添加/修改•快速构建：可通过配置文件/UIdashboard修改模块配置•代码开源：兼容LlamaIndex开源协议•模块编排：通过编排和路由匹配不同场景需求评估端到端和各模块性能格式多样性：企业级数据格式多样，需要适配不同类型文件的结构和内容内容复杂性：文档内容可能包含文块等多种复杂元素。非结构化文本：PDF或者扫描类文档解析难度高知识库中内容会过期失效结构化文件JSON结构化文件JSON编码•存储表格key-value信息非结构化文件转MarkdownPDF解析算法闭源PDF解析API•DocumentMind•LlamaParse开源PDF解析模型•EasyOcr•PDF-Extract-Kit-embedding的序列长度限制1.Markdown输入，降低解析复杂度3.特殊元素处理•减少查询和文档之间的语义差异•假设文档（HyDE）•回溯提示（STEP-BACKPrompting)•LLM•AgentPrompt路由：根据问题选择对应的prompt•不同问题场景切换prompt•多语言查询的prompt切换向量检索–Embedding模型选择•MTEB榜单•知识库的语言（中文/英文/多语言）•关键字检索：BM25，稀疏embeddingEmbedding模型微调权重和阈值比较困难。•交叉编码器，比Embedding更精准•开源模型：bge-reranker,bce-reranker,gte-reranker等LLM重排序如何选择合适的LLM•文本块顺序：lostinthemiddle•输出固定格式（JSONformat)•高质量FAQ召回多模态多模态RAG离线解析：•两种embedding：文本embedding,CLIPembedding在线查询•两路查询，text_top_k,image_top_k•多模态大模型进行文图推理应的RAGpipeline•对RAGpipeline的运行企业级RAG能力集成•企业自有身份供应商集成阿里云SSO•基于角色SSO的访问控制，只读/编辑/管理员•PrivateLink访问•在线服务/可观测数据反馈•生产环境有严格的权限管控•A/B实验LLM-LLM-as-a-Judge:量的辅助模型。•HitRate•MAP(Faithfulness)(Correctness)BladeLLM/vLLM推理加速场景1.客服+FAQ-Q1:忘记账户密码如何重置？-Q2:打印机安装指南。-Q1:上个月杭州门店的销量情况-Q2:哪个门店的会员增长数量最多场景1.多模态RAG问答-Q1:A款和B