从数据到知识：Data+Centric+范式大模型落地实践

Data-Centric范式大模型落地实践枫清科技(Fabarta)/AI负责人Data-Centric落地范式介绍如何使用如何使用Data-Centric助力大模型落地Data-Centric范式案例分享大模型大模型GPT4-01发布ChatGPT2022.112023.62023.12如何共同推进成熟阶段成熟阶段大模型落地认知与实践大模型落地认知与实践），），建设阶段应对：梳理业务场景，助力降本增效建设阶段痛点：遇到落地问题，场景选择难，落地效果差探索阶段应对：梳理企业数据，使用成熟落地工具，助力场景验证探索阶段痛点：对大模型可能有过高期望或者过低期望认知阶段对模型认知有限，跟进发展中认知阶段对模型认知有限，跟进发展中是Text2指标?开发平台统一纳管开发平台统一纳管 租算并举 租算并举统一调度Data-Centric范式Data-CentricvsModel-CentricData-Data-Centric:核心是关注数据，使用约定模型，通过处理数据提升落地效果Model-Centric:核心是关注模型，通过调整模型架构以及参数提升效果/abs/2301.04819选型：选型：大模型落地中的Data-Centricvs.Model-Centric越来越多的大型企业关注的重点选择特定模型模型架构相对固定越来越多的大型企业关注的重点选择特定模型模型架构相对固定指标体系...企业数据企业数据曾经大型企业在人工智能场景落地过程中关注的重点如何用Data-Centric范式落地 数据...n结构化数据元数据关系自动构建n非结构化数据元数据关系构建C净工具...n结构化数据元数据关系自动构建n非结构化数据元数据关系构建C净工具 n知识转换的必要前置条件n利用给类文档解析技术处理多类型文n构建助力数据融合的统一语义层...SQL过程SQL/cypherSQL过程SQL/cypherFAQ问答档解析-特定数据识知识InsightInsightArcVectorArcVector云盘云盘对象存储对象存储ArcGraph....ArcGraph..........n根据结构化数据之间的关系，构建数据血缘链路nn根据结构化数据之间的关系，构建数据血缘链路n根据非结构化数据的关系，构建数据血缘关系，包括分片、段落、文档，知识库等n基于微调大模型做实体关系抽取非结构化数据文档段落关系构建结构化非结构化数据关系构建 ! ! ! ! ! ↓多模态多模态智能引向量）智能应用文档问答和智能问数场景智能应用文档问答和智能问数场景问题改写一 SQL/SQL/Cypher生SQL/Cypher执行r------------------------------------------'r------------------------------------------' 企业数据库（关系&图数据库）!统一语义库结构化数据接入 企业数据库（关系&图数据库）!统一语义库结构化数据接入大模型服务（开源或商用）问数流程目数据源问数流程目数据源生成思考过程——生成语义DSL生成思考过程——生成语义DSL↓......统一语义层统一语义层元数据语义指标语义是语义DSL转化元数据语义指标语义是语义DSL转化SQL元数据血缘指标模型语义知识对话历史元数据血缘指标模型语义知识对话历史COT示例GOTCOT示例GOT示例转化物理SQL生成语义SQLText2转化物理SQL生成语义SQLText2SQL业务场景业务场景智能体智能体业务流程业务操作………智能问答n10+解析器解析nEmbedding，多路召回和rerank优化n元数据关系抽取智能问数n元数据管理nSchemalinking优化nCoT优化机制和动态提示词nText2SQL链路优化HybridRAGnGraphRAG+nativeRAG混合使用n特色解析器：复杂表格解析、图片和双列处理n多模态数据解析与知识化基于多模态基于多模态数据的智能体应用n统一语义层n意图识别与指标解析n血缘根因分析n趋势预测统一智能体（规划、工具、工作流、执行、记忆、节点思考过程可视化、版本管理等）统一智能体多模态智能引擎统一语义层多模态智能引擎统一语义层三方基础大模型Data-Centric落地示例基于产品和共创方法论助力场景快速落地C。阶段1场景梳理。。。阶段1场景梳理。。阶段2数据就绪。落地落地。阶段4持续优化知识通用AI应用场景全景视图FabartaAI能力支持342221721576624467346877781387FFFFFFFF产•…•…•…•…1342221721576624467346877781387FFFFFFFF产•…•…•…•…12•…5•…678•…334316386FFF334316386FFF•…122345档档问数--Text2SQL+台融合场景--场景融合通6通6根7用根7用 nn关注业务，关注RoIn需要更深入了解业务，结合业务n多