曾禹飞：增强AI能力的Agent实践RAG与Tool Use的协同效应

增强AI能力的Agent实践曾禹飞58同城AILabAlAl应用智能对话平台智能体平台灵犀大语言模型大语言模型平台推理Al计算平台训练D总结与展望58同城平台业务背景介绍58同城生活服务平台介绍●房产、招聘、汽车、黄页四大业务找工作附近兼职租房二手房二手车本地服务家政新房家政公司平台销售售卖会员●第二曲线～产业化(交易业务)●产业化就是把整个链条所有的信息流程全部在线化、数字化，并且能够无缝地将上下游协同起来。●需要提供客户需要的所有服务，让客户在房产、<Q搜索家电维修◎热门商家，现场实测实拍，选他!四拥查看全部>北京百惠家电维修·家电维修北京诚顺君越空调维修管道疏通·家电大山子中央空调加藏清洗假日不休快速上门日服务于大山子>◎朝阳-安贞-安贞医院中央空调维修定频挂机维修空调拆卸移机空调清洗安装空调中央空调维修加氟空调不制冷你好，在吗?您好，在的，很高兴为您服务~请问您的具体位置是在哪里?酒仙桥您留下联系方式，我让师傅先给您报个价你们在哪里您好，目前商家告诉小助手，本公司详细地址是：安贞医院朝阳安贞，若未满足您的需求，麻烦联系买家咨询哦常用语发送帖子发送手机号想对他说点什么呢?构建模型领先、敏捷易用的Al平台，加速AI应用落地销售客服产品运营办公在房产、招聘、汽车、黄页各业务线广泛落地AI应用平台智能对话VR/ARAIGC数字人Agent语音对话文本对话拼接建模漫游渲染图片生成视频生成形象克隆实时互动插件知识库建设敏捷易用的Al应用平台，提供各类解决方案，助力Al应用快速落地Al基础平台图像算法语音算法NLP算法3D建模大语言模型多模态大模型Al平台是连接Al算力和AI算法模型预训练微调应用的重要桥梁，有效弥合对齐评测了两者之间的鸿沟计算引擎算力管理集群调度离线训练在线推理离在线混部应用数70+Al应用销售客服产品体验内部办公销售客服Al应用层Al平台层Al平台层灵犀大语言模型ChatLing商用大模型灵犀大语言模型ChatLing开源通用大语言模型微调AIAgent智能体概述·AlAgent是以大语言模型为大脑驱动，具有自主理解、感知、规划、记忆和使ChainofChainofGraphofMore..Reasngfom·业界各大厂商推出的AlAgent是一个一站式AI开发平台，用户无需编程，只需要通过简单配置即可快捷创建Al机器人，代表性的平台有GPTs(OpenAl)、扣子(字节)、文心智能体平台(百度)等。幻觉知识覆盖数据安全幻觉知识覆盖数据安全时效性AlAl应用生成生成创建机器人工作流ChatLing领域大模型基座升回答能力输入输入输出#12三数据库重排后片段&分段相似片段√ToolUse能力建设：工具调用，基于大输入输入多轮对话解析API参数获得结果U:北京文本数据关键词元数据拆解字符级递归字符级五险一金文档级多模态…索引h小重排DataFun.RAG检索-FLARERetrieverRetriever茗茗92Searchresults:Dxi[1]:...s₂'JoeBiden(bornNovemberts3|JoeBidenannouncedhiscandidacyfor25,2019.Retriever正确句子q2低置信度WhatuniversitydidJoeJoeBidenattended"和"whereheearActiveRetrievalAugmentedGeneration,EMNLP,2023,CarnegieRAG检索-DRAGINBelowaretheexternalBelowaretheexternalexternalknowledge:UniversityofZurich,wherehebegantoleadingphysicist.DuringhistimeattheUniversityofZurich××1ALlSRIND<θAnySRIND>θModuleQuery.Einstein1RetrievedExternalKnowX×0X0××1sLHDRAGN:DynamicRetrievalAugmentedGenACL,2024,DepartmentofComputerScienceandTechnology,TsinghuaUniversity多轮对话API元信息√ToolUse能力建设：工具调用，基U:明天我穿什么衣服?A:你在哪个城市?[需调用查询天气API,缺乏地点参数]A:明天北京晴天，气温6~19度，建议别穿太多。[调用API,查询北京天气，查询结果交给大模型组织答案]ToolUse调用方式ToolUse实现方式英伟达股价苹果股价2024年英伟达股价苹果股价当前英伟达和苹果的股价是多少?当前英伟达和苹果的股价是多少?冠军是谁?英伟达财报英伟达财报苹果财报绘制图表查询去年英伟达和查询去年英伟达和查询去年英伟达和公司cancontrolthepdesignedtointeractw Answer:iPod Answer:iPoddiscontinuedmediacenterbystep.AppleRemotewasbyiPhone,iPad,andiPod (1d)ReAct(Reason+Act)October2005byApple..originallyThought2:AppleRemotheFrontRowmediacenterprogram.IneedtosearchSeattoEarth','FrontRowMotorsports','FroAct3:Search[FrontRow(softwareAct3:Search[FrontRow(software)]Obs3:FrontRowisaRemoteorthekeyboardAct4:Finish[keyboardfunSingle-Step…请概括/p/46990010和/Anooyman/article/deta1:不能提供幻觉数据。幻觉数据：不在客户提供的内容里，属于模型自己生成的数据。2:需要用户意图，调用对应的工具(不限制调用一次),且给出工具所需的参数5-defget_from_chatgpt(GPT_MODEL,me6completion=openai,不要假设函数中需要的值，如果用户请求不明确，应该要求澄清。"}19{"role":"user","content":"20/Anooyman/article/details/135729372"}22res=get_from_chatgpt(GPT{"description":"根据user输入的link或者html网页来网获取信息","description":"user输入的网页url、link、html链接""description":"检索语句，当search_type为search时有效""content":"不要假设函数中需要的值，如果用户请求不明确，应该要求澄清。""content":"请概括https://zhuanla/Anooyman/article/details/13572{"id":"call_ytZbFgJBjZsF{"id":"call_AtT8NOfpL5pF"arguments":"{"url":"/p/46990010"arguments":"{"url":"/Anooyman/article/de"search_type":"full",}"content":"不要假设函数中需要的值，如果用户请求不明确，应该要求澄"content":"请概括https://zhuanlan.zhihu.co/Anooyman/article/details/13572关键信息。这样我才能更好地帮助你概括网页."{"arguments":"{\n\"url\":\"/p/46990}\"/Anooyman/article/details/135729372ToolUse数据构造业务指令数据：合成工具：种子指令+模版合成微调数据方式1:根据问题和工具，生成输出·Self-QA:直接根据工具，生成输入问题，以及与问题和工具相符的输出。过滤和后处理·去除输入输出完全相同、或者输入相同输出不同的数据；>每轮对话会给到1到3个工具>每个工具的参数在3个以内>每轮对话会给到1到3个工具>每个工具的参数在3个以内>每轮对话给到1到4个工具>工具的参数量分布在1到12个。调用(并行调用的数据量只有50条)测试集版本-0.14%-14.12%模型模型>每轮对话包含多个工具，需要多次并行调用单个工具才能完成任务。比如输入两个链接，总结两个链接的内容>工具参数分布在1到7之间>每轮对话包含多个工具，需要并行调用多个工具才能完成任务。比如查询英伟达公司去年的财务报表，并绘制成图表。>工具参数分布在1到7个之间-1.12%>每轮对话包含多个工具，模型根据用户的输入选择调用单个工具>工具参数分布在1到7个之间Agent方案设计相关文档相关文档检索片段1:结局1:天命人戴上金箍，继承了大圣意志…向量化智能解析文档，支持图片、表格等多种形式向量化片段2:第二个结局是在二周目中，玩家再次对战二郎神…否否索引效果优化否是是否有足够自信是是否有足够自信片段2:..请参考以上信息，回答下面的问题：黑神话悟空有几个结局?输入问题黑神话结局?改写输入问题黑神话结局?改写、拆解…黑神话悟空有几个结局?根据资料，黑神话悟空有提到2个结局的，也有说3个结局的。但较为一致的说法内置多种RAG强化模型，提供自定义工作流、溯源能力强是游戏有2个主要结局…AgentAgent插件和工具便捷使用·支持用户自定义插件·提供内置插件选项AgentAgent流程编排·提供自定义工作流，思考过程可视化·响应过程可追溯且可控支持多轮会话以及向量检索支持多轮会话以及向量检索·通过多轮对话和向量数据库实现全链路记忆管理请输入插件名称Header列表⑦+新增创建日结束直据中>直据中>无套路网约司机自提免押10000-15000元/月薪资参考回跑车政策回跑车政策租赁模式电话聊一聊申请职位无套路网约司机自提…10000-15000元/月您具备哪些驾驶优势?你们公司在哪里北京顺义佳联时代广场A座是我们的主要工作地点。您可以点击下方卡片，我们尽快与您联系进行详细沟通~常用语预约看车)想对他说点什么呢?悦黛蓝翰轩更多信息>待售住宅小型社区低容积公园配套纯熟商业街已变价通知开盘通知已变价通知开盘通知致电售楼处了解更多信息致电售楼处了解更多信息楼盘时刻楼盘时刻已开盘已开盘微聊微聊致电售楼处致电售楼处新房智能客服新房智能客服837000元/m²109-237m²悦黛蓝翰轩售价待定新房住宅小型社区低容积公园小区是多少层的?Q住宅的层高有6层；容积率是多少Q住宅的容积率是1.47;周边有什么配套?Q交通配套：1km内公交站有22个生活配套：8个学校，2个医院，详见楼盘评测内容+智能聊天—招聘职位问答B端需求信息在结构化(职位字段)和非结构化(职位JD、用户和企业聊天记录)数据中体现：用户用户9000-14000元3日前更新管饭吗?据非常低效，流程冗长，且不能实时化。年底双薪交通年底双薪交通补助非结构饭补包住包吃加班补助数据挖掘标签建设标技能要求：公司提供车直招，承诺面试到入职不收取任何费用。主要配送门店3公里内的买菜订单，系统派单，不用分拣打包，只管配送。驻店配送，只送一家店订单，不用四处抢单，不¥心找不到商家直招，承诺面试到入职不收取任何费用。主要配送门店3公里内的买菜订单，系统派单，不用分拣打包，只管配送。驻店配送，只送一家店订单，不用四处抢单，不¥心找不到商家JD文JD文本用户提供住宿提供车，还可预支工资!!!新人保底6000元1,订单多：每天保证少能送50单以上，人均能达到60单，有经验的能过百单。用户2,路途近：基本都是3公里以内订单，好送。电话录音文本漕师傅…打电话①打电话①聊一聊租房家政浏览浏览潜在客户销售场景—智能陪练：话术对练、考试、评分通话中00:50您已进入考试模式，请参考通话中00:50您已进入考试模式，请参考假设我们现在是58同城员工小李，电话中联系到了，沈阳市沈河区尚座料理餐饮店的张老板，我们该如何一步步引导张老板合作购买58招聘会员呢?你好，请问是张经理吗?小呃，是这样的，你在我们。发了五八上发了一个帖子。你们招到人了吗?小中我发的帖子有啥问题，你们这么说还不就是为了让花钱开会员。不是的，你那个帖子那个标题不是很好。小中那要怎么发帖呀?您已进入陪练模式，请参考提示语和提示流程进行作答，当前任务的客户画像是：假设我们现在是58同城员工小李，电话中联系到了，沈阳市沈河区尚座料理督饮店的张老板，我们该如何一步步引导张老板合作购买58招聘会员呢?●开场白-引出发帖存在问题你好，老板，我看你们最近在招人是最近我们有同事给您打过电话吗?小小你们怎么老打电话。实在不好意思啊经理，那我的同事有跟您说，咱们的帖子发布有有问题了吗?小小我发的帖子有啥问题，你们这么说还不就是为了让花钱开会员答案提示：咱们的标题写的比较简单，对求职者是没有什么吸引力的，本来咱们发的就是免费帖子曝光比较低，如果标题没有吸引力的话肯定更没有效果的。而且我看咱们帖子里岗位描述也不是很清晰，只是简单的说了几句话。曰提交练习◎点击【空格】可录入语音E退出询问招聘岗位O询问招聘人数O提出加微信流程提示》很遗憾，您未通过练习别灰心~继续努力，成为下一个销冠吧!1开场白-引出发帖存在问题◎10分销售场景一知识查阅曰SQL解释297(7.28%)通过自然语言对话，辅助进行数据分析刀hdp_teu_dpd_feature_db.dwd_task_yc_query_tahdp_teu_dpd_feature_db.dwd_job_supin_resume_凸SUH(o.order_total)AStotal_orCOUNT(o.order_id)AStotal_orders,ROUND(SUM(o.order_total)/cOUNT(o.order_id),2)ASaverage_order_amoMHENSUN(o.order_total)>1880eTHBNWHENSUN(o.order_total)>=5000THEENDAScustomer_valu0.order_date>'2022-01-01'ANDo.order_datetotaL_order_amountDESCSQL生成SQL解释应用四：美事智能助手消息总结消息总结享、外网链接)RAG和ToolUse协同作用·支持领域特定的知识美事超级助手我是美事超级助手，欢迎提问如何预定会议室在美事中，你可以通过以下步骤预定会议室：1.创建日程时，美事会自动帮你检测其他伙伴的时间是否有冲突，并且可以预定线下会议室。2.预定会议室时，可以查看会议室的设