检索增强生成 RAG

检索增强生成(RAG)汇报人：检索增强生成(RAG)帕特里克·刘易斯(PatrickLewis)是2020年创造该术语的论文的主要作者，检索增强生成(RAG)是一种通过从外部来源获取的事实来增强生成式AI模型的准确性和可靠性的技术，填补了LLM工作原理的空白，通过从外部知识库或实时数据源中检索最新的文档，能够提供基于当前最新信息的回答RAG填补了LLM的以下空白1.解决了LLM知识更新滞后的问题，使其具备实时信息处理能力。2.提高了生成内容的准确性，减少了模型生成错误或不准确信息的风险。3.增强了LLM在长文本处理和复杂任务中的表现能力。4.扩展了特定领域的知识应用，使生成结果更加专业化。5.增强了答案的可解释性，让用户可以追溯生成内容的来源。快速了解KnowAI系统系统基于LLM大语言模型的知识库问答系统采用了RAG中的Embedding方案构建知识库快速了解KnowAI系统要使用好，

需要简单的理解Embedding向量是如何工作的及其特点人类的文字、图片、视频等媒介是无法直接被计算机理解的，要想让计算机理解两段文字是否有相似性、相关性，通常需要将它们转成计算机可以理解的语言，向量是其中的一种方式。向量可以简单理解为一个数字数组，两个向量之间可以通过数学公式得出一个距离，距离越小代表两个向量的相似度越大。从而映射到文字、图片、视频等媒介上，可以用来判断两个媒介之间的相似度。向量搜索便是利用了这个原理。而由于文字是有多种类型，并且拥有成千上万种组合方式，因此在转成向量进行相似度匹配时，很难保障其精确性。在向量方案构建的知识库中，通常使用topk召回的方式，也就是查找前k个最相似的内容，丢给大模型去做更进一步的语义判断、逻辑推理和归纳总结，从而实现知识库问答。因此，在知识库问答中，向量搜索的环节是最为重要的。影响向量搜索精度的因素非常多，主要包括：向量模型的质量、数据的质量（长度，完整性，多样性）、检索器的精度（速度与精度之间的取舍）。与数据质量对应的就是检索词的质量。检索器的精度比较容易解决，向量模型的训练略复杂，因此数据和检索词质量优化成了一个重要的环节。1.专属AI客服通过导入文档或已有问答对进行训练，让AI模型能根据你的文档以交互式对话方式回答问题。KnowAI系统能力2.简单易用的可视化界面采用直观的可视化界面设计，支持多种数据导入KnowAI系统能力KnowAI系统能力3.自动数据预处理提供手动输入、直接分段、LLM自动处理和CSV等多种数据导入途径，其中“直接分段”支持通过PDF、WORD、Markdown和CSV文档内容作为上下文。自动对文本数据进行预处理、向量化和QA分割，节省手动训练时间，提升效能。4.

API集成

API接口对齐了OpenAI官方接口，可以直接接入现有的

应用KnowAI系统能力训练知识库训练流程图对话知识库对话流程图1。免登录窗口2.API导入数据和对话知识库的使用方式系统数据库性能使用PgVector的HNSW索引可以实现百万级数据的毫秒级搜索PgVector简介PgVector是PostgreSQL的一个扩展，它支持存储和搜索向量数据，常用于实现基于向量的搜索任务，比如在推荐系统、相似性检索、图像识别、自然语言处理等领域中进行高效的向量匹配。随着深度学习和向量化技术的广泛应用，PgVector帮助数据库直接处理向量数据，避免了使用外部工具的复杂性。HNSW（HierarchicalNavigableSmallWorld）简介HNSW是一种基于图的最近邻搜索算法，用于加速高维向量空间中的相似性搜索。HNSW通过创建一个分层的导航小世界图（NavigableSmallWorldGraph），使得在高维空间中能够快速查找距离最接近的邻居。它有两个核心特点：分层结构：HNSW使用分层图结构，每一层包含数据点的子集，越高层次的节点越稀疏，底层则更加密集。搜索首先在高层开始，随着逐层下降，逐渐接近最终的结果。近邻搜索优化：通过图的连接结构，使得查询只需访问部分数据点即可找到最近的邻居，避免了全局搜索带来的高成本参考配置级别CPU核心数（线程）内存（RAM）存储类型存储容量网络并发查询数（大约）每秒插入/更新操作数查询响应时间（毫秒）基础8(16)32GBSATASSD500GB1Gbps500-100050-10050-100ms中级16(32)64GBNVMeSSD1TB1Gbps1000-5000100-50020-50ms高级32(64)128GBNVMeSSD2TB10Gbps5000-10000500-100010-20ms更高级64(128)256GBNVMeSSD4TB10Gbps10000+1000+<10ms环境最低配置（单节点）推荐配置测试2c2g2c4g100w组向量4c8g50GB4c16g50GB500w组向量8c32g200GB16c64g200GBPgVector数据库硬件和qps参考gptChatgpt-qps参考接口回复性能接口性能对话性能（2-5秒）请求第三方向量+向量库搜索+内容发送给语言模型的请求知识库的使用限制1.单条数据内容最长3000个token**数据长度限制**：每条数据（例如问答对、文档片段等）在存储时不能超过3000个tokens。这是为了确保系统在处理和检索数据时能够保持高效性和准确性。**向量化与搜索**：在知识库中，将每条数据进行向量化处理，并存储为索引。限制数据长度有助于生成更高质量的向量表示，从而提高后续的语义搜索效果。知识库的使用限制2.对话问题最长输入支持8192token限制8192的原因###1.**上下文信息过多，噪音增加**-**问题**：随着上下文长度增加（即token数量增加），输入的文本内容可能变得冗长，包含大量的背景信息或细节，而这些信息并不一定与当前的搜索或查询紧密相关。此时，生成的向量可能会包含不必要的内容，导致语义模糊或信息稀释，降低搜索结果的相关性。

-**解释**：当输入的文本包含很多不相关的内容时，模型在生成向量时会受到噪音影响，导致向量不再能够准确捕捉到核心信息，从而影响匹配的准确性。###2.**模型处理长文本的能力有限**-**问题**：虽然上下文长度可以达到8192个tokens，但大多数预训练的模型在处理非常长的输入时可能会遇到性能问题。模型可能无法高效地处理所有的tokens，从而导致在高维空间中表达的向量没有很好地反映语义内容。

-**解释**：通常，语言模型的注意力机制会试图在整个输入的上下文中找到最相关的部分。当上下文过长时，模型可能难以权衡所有信息的相对重要性，进而影响生成向量的质量。###3.**向量搜索中的高维空间问题**-**问题**：随着输入token的增加，生成的向量可能需要在非常高的维度中表示。在高维空间中，向量之间的距离度量变得复杂，两个看似不同的向量在某些情况下可能会距离相近（即**高维空间的“距离收缩”现象**），这会降低搜索的区分度。

-**解释**：高维空间中的向量彼此之间距离更难拉开差异，容易导致模型在相似度计算时不能很好地区分真正相关的文档和不相关的文档，影响搜索的精度。###4.**计算和存储开销增加**-**问题**：当处理超过一定长度的tokens时，生成的向量需要更多的计算资源和存储空间。虽然这不会直接影响搜索的准确性，但在某些情况下，系统资源的紧张可能导致查询速度变慢或结果的滞后，间接影响体验和准确性。

-**解释**：过多的tokens会导致处理速度变慢，这虽然不直接导致搜索不准，但可能让查询变得不高效，且随着时间推移，积累的计算误差也可能导致搜索效果的下降。###5.**注意力权重分散**-**问题**：大型语言模型通过注意力机制来权衡不同部分的文本权重。当token数量过多时，注意力机制可能无法很好地聚焦在最相关的内容上，导致生成的向量包含过多分散的信息，影响向量匹配的精度。

-**解释**：随着tokens的增加，注意力的分布变得更加分散，重要的关键信息可能被弱化，而不相关的信息则被放大，导致搜索不够精准。最佳token小于512，因为在这个范围内，GPT模型能高效地提取文本的核心语义，且计算资源消耗相对较少知识库的使用限制3.回复token限制主要看使用对话模型的回复限制知识库能干啥1.智能问答系统AI知识库可以存储大量结构化或非结构化的知识，并利用自然语言处理（NLP）技术实现智能问答系统。当用户提出问题时，AI知识库能够快速检索相关答案并生成精准的回答。这在客服、技术支持等领域尤为常见。2.信息检索与知识管理AI知识库通过语义搜索等技术，可以在大量的文档、文件和数据库中高效检索相关信息。这比传统的关键字搜索更智能，能够理解上下文，并返回更准确的结果。企业可以使用知识库来管理和组织内部知识，提升员工效率。3.自动文档生成与摘要AI知识库可以自动生成报告、文档或进行文本摘要，帮助用户快速了解大段文字的核心内容。它可以应用在新闻摘要、合同审查、研究报告等需要处理大量文本的领域。知识库能干啥4.增强学习与知识发现知识库不仅存储现有的知识，还可以通过学习新数据或文档自动更新。当用户提出复杂的问题时，AI知识库能够从现有知识中提炼出新的见解，帮助发现潜在的知识点或联系。5.专家系统通过存储和管理领域专家的知识，AI知识库可以为特定行业提供专家建议和指导。例如，医学知识库可以协助医生做出诊断建议；法律知识库可以为律师提供法律条文和案例参考。6.内容推荐与个性化服务AI知识库可以通过分析用户的行为和偏好，为用户提供个性化的内容推荐。例如在电商网站中，知识库可以根据用户的购物历史推荐相关产品；在媒体平台中，提供用户感兴趣的文章或视频。知识库能干啥7.培训与教育在培训和教育领域，AI知识库可以作为自学习工具，帮助学生和员工获取所需的知识。通过提供个性化的学习内容和实时解答，AI知识库能够有效提升学习效率。8.企业数据集成与决策支持企业可以将各类业务数据、市场数据等整合到AI知识库中，通过数据分析和处理，支持企业高层做出更具科学依据的决策。AI知识库不仅能帮助发现趋势，还能预测潜在的风险或机会。9.聊天机器人