如何利用+Agent+解决企业数据分析与洞察的经验探索-数势科技+李飞

如何利用Agent解决企业索数势科技/AI技术负责人..如何设计分析与洞察Agent，以及难点和挑战艰难用数的业务人员分身乏术的数据工程师20%60%20%20%60%20%数仓建设看板建设智能建设企业在持续探索的场景。而是如何响应数据的变化，快速制定策略。异常检测算法高阶预测模型了解可执行落地的策略建议异常检测算法高阶预测模型了解可执行落地的策略建议归因算法归因算法归纳总结能力数据可视化工具归纳总结能力数据可视化工具复杂复杂SQL撰写了解数据清洗机制相关性分析相关性分析传统数据分析路径长，存在明显人力瓶颈老板任务运营任务产品任务临时需求数据+BI数据+BI数据+BI数据+BI工程开发人工绘制人工梳理人工总结数据查询数据报表异动分析数据报告门槛高商业分析，需借助研发与BI协助效率低需求响应数小时，决策不及时能力薄只能查数，分析需要人工交互性弱以数据查询与看板展示为主（大模型）（大模型）系统执行u—给出行动（秒级响应）效率高数据查询，报告分析任务秒级响应能力厚归因分析、异动分析、报告总结NLP2API：基于现有产品的语义层开放出独立的API用于扩展应用；NLP2SQL：基于SQL相对标准的数据库查询语言，完全由数据库自身来解释运行；NLP2Python：让AI自己编写代码（通常是Python）然后自动在本地或者沙箱中运行后获得分析结果1.数据逻辑封装成语义对象，减少大模型对复杂逻辑的理解和生成错误；2.分析范式封装成算子对象，扩展分析语言现有的边界。3.以“搜索+填空”代替“生成”，提升结果生成的稳定性。4.现有的平台或工具可实现组件化的复1.大模型学到了1.大模型学到了SQL的语言逻辑，但是没有学习API的逻辑，尤其是企业个性化开发的API。2.SQL灵活性较高。不依赖于定制化的分析扩既不能用输出SQL的执行结果来判断，也不能简单的把输出SQL与标准答案对比来判断/*系统指令*/GiventhefollowingSQLtables,yourjobistowritequeriesgivenauser’srequest./*数据库内表结构*/CREATETABLEOrders(OrderIDint,CustomerIDint,OrderDatedatetime,OrderTimevarchar(8),PRIMARYKEY(OrderID)/*问题*/WriteaSQLquerywhichcomputestheaveragetotalordervalueforallorderson2023-04-01.*fromOpenAI1.在高级分析和机器学习方面扩展性较高；2.Python是第一主流语言的情况下，code的生成能力相较SQL发展更快数据对象语义逻辑表达语义示例：帮我看一下上个月的GMV，按照不同城市进行排序数据对象语义：作为一个对象，在代码执行时会根据定义去查询，不需要翻译条件和表达式，减少出错的机会；逻辑表达语义：依靠SQL进行逻辑翻译，避免API开发带来的不灵活和效率低下；Agent，实现企业智能决策11.React-----反思反思迭代rrNNNNNN结果生成执行结果明细返回智能问数Service（本地部署）获取分析结果元信息和用户Query出本地所有信息不出本地获取元信息基础取数SA_Adapter标签指标便捷语义定义智能问数Service（本地部署）获取分析结果元信息和用户Query出本地所有信息不出本地获取元信息基础取数SA_Adapter标签指标便捷语义定义统一数据源管理数据库对象存储数据湖文件数仓客户侧云端数据存储查询语句返回（API入参）执行结果明细返回获取元信息解决方法一Step1:查询最新时间的月累计销Step1:查询最新时间的月累计销Step2:计算每天的累计值。语义割裂语义割裂销售额相较去年对比增加了帮我看一下最近几天的销售销售额相较去年对比增加了帮我看一下最近几天的销售额。SQLSQL仿写3.长尾和个性化时间表达歧义冲突歧义冲突帮我查看一下6月前2天的的销售额是多少时间推理判断陈述模糊时间推理判断陈述模糊槽值判断(A)槽值判断(A)1.自我优化机制：动态调整Prompt1.自我优化机制：动态调整Prompt，增强准确性和效2.通过领域分类模块，灵活应对复杂对话场景。3.支持从历史状态`H`中提取槽值，增强信息补全能力。能self-refined4.仅对必要槽值缺失的情况触发改写，避免冗余操作self-refined多层次/压缩管理多层次/压缩管理DynamicDynamic装StableStableFormat压缩Shot轨迹保留ExampleExample轨迹保留ErrorErrorcode相似改写Rephrase相似改写会话记忆知识记忆会话记忆知识记忆 rgminm∈Masrec(q,m)+βsreI(q,m)+ysimp(m)综合考虑最近性、相关性、重要性的记忆读取公式[1]点3-sigma测点3-sigma测K-Means点HyDE 建立Y和X 建立Y和XY和T的模型T=m(X)+V拟合XX)的系数11.工具----->提效。2.经验----->决策。大模型时代经常被比喻为马车到汽车的演进时代形态演进。内燃机出现后......双系统架构：提出“对话者-推理者”双系统架构，模拟人类思维模式，使智能体在对话和推理规划间有效分工，提高性能和效率，说话者专注对话，推理者负责复杂推理和规划。模块化设计：架构具有模块化特点，说话者和推理者功能明确，可独立开发和优化，便于系统维护和扩展，为智能体开发提供灵活框架。信念建模与更新：推理者在多步推理规划中显式建模和更新信念，基于信念做出决策，为智能体理解用户和环境提供更深入机制，增强决策合理性