全新阿里云百炼产品能力升级和最佳实践案例分享 -打造多端多模态最优效果的百炼共建大模型生态繁荣

CONTENT01多端融合，CONTENT1.全新升级：打造最优效果的多模态百炼2.终端大模型的探索及机会02开放应用架构，建设全新可精细化运营的百炼1.百炼RAG应用落地挑战与实践2.多语言多模态RAG技术研发与应用3.百炼可持续运营：大模型应用优化技术实践4.AI运营实践分享—PE及RAG的实施方法论03着眼未来，共建多元化的大模型生态1.模型+应用双轮驱动：全面开放的大模型生态04大模型落地千行百业，最佳实践案例分享1.JarvisX百炼，打造大模型智慧出行客服2.德勤携手阿里云百炼，助力行业数智化提升3.产品博士-基于阿里云百炼的首个阿里云内部案例主题一多端融合，打造最优落地效果的多模态百炼打造最优效果的多模态百炼阿里云智能集团飞天实验室资深产品专家2024/09/19CONTENT02建设大模型生产力和产品力03打造最优效果的RAG04打造最安全的百炼2024年5月9日2023年10月31日百炼2.0新百炼百炼2.0新百炼百炼1.0百炼1.0阿里云百炼-产品定位百模重器·千锤百炼通义千问系列通义万相系列析言GBI模型通义开源系列通义领域大模型基于通义大模型，百模重器·千锤百炼通义千问系列通义万相系列析言GBI模型通义开源系列通义领域大模型Qwen-Qwen-PlusQwenQwen-VLQwenQwen-Max大模型服务及应用已逐步进入“深水区”模型客户对效果需求带来对大模型平台能力，从要求生产力到产品力的转变模型企业级效果模型拥有模型建设大模型生产力和产品力阿里云百炼产品升级架构图大模型输出应用广场模型广场多端生态大模型输出应用广场模型广场效果运营中心应用开发工具模型调优LoRA/模型调优LoRA/SFT全链路模型开发工具大模型生产力：扩大多模态模型拥有多模态模型供给Qwen-PlusQwen-Max视觉理解视觉理解QwenVL-MaxQwenVL-PlusSensevoiceParaformer-v2Wanx-v1FLUX视频生成视频生成EMOCosyVoice大模型产品力：多模态适配工具链能力基于视觉理解模型一键创建多模态交互智能体模型工具QwenVLQwenVL/Wanx/FLUX/SD模型基于QwenVL-MAX模型，搭建多模态搜索工作流QwenVL视觉理解模型图文SFT微调数据在线编辑大模型产品力：效果工具的实现思路可追踪可追踪可分析可分析可干预可干预大模型产品力：效果工具实现Logtrace全链路追踪监测围绕大模型应用的全节点执行过程围绕大模型应用的全节点执行过程LogTrace全链路监测-应用执行节点级监测子节点级监测–节点执行详情大模型产品力：效果工具实现提示词工程效果综合提升Prompt作为大模型与应用效果的链接器，优化方式更趋智能化提示词基于反馈大模型产品力：应用工具实现编排效果提升工作流编排工作流编排高度自定义的SOP流程执行，显著降低编码成本智能体编排智能体编排打造最优效果的RAG痛点模型生成幻觉端到端生成满意度差大模型产品力：应用工具实现RAG的效果打磨痛点模型生成幻觉端到端生成满意度差企业知识管理复杂领域领域百炼RAG目标百炼RAG目标大模型产品力：应用工具落地RAG的最佳范式多源/异构多源/异构数据可管理大模型产品力：应用工具落地RAG的最佳范式RAG应用的自动化评估打造最安全的百炼用户里调用百炼推理和应用用户账号V用户里调用百炼推理和应用用户账号VPCAPI大模型产品力：安全工具的解决方案百炼平台网关百炼账号百炼平台只计算不留存数据百炼应用模型训练部署基础模型模型加密百炼平台网关百炼账号百炼平台只计算不留存数据百炼应用模型训练部署基础模型模型加密用户账号SLS知识库向量数据用户账号SLS知识库向量数据OSS数据处理中间数据ElasticsearchKMS加密SDDP防护链路可信链路可信操作可审大模型产品力：安全资质及多端可信部署国际首个人工智能管理体系标准ISO/IEC42001认证VPC政务云金融云VPC政务云金融云ThankYou终端大模型的探索及机会阿里云智能集团飞天实验室科学家2024/09/19从行业需求看终端模型能力通过AICore内置操作系统内核，帮助品牌商，建立自己的大模型生态，开放APP调用，为APP在手机，PC，平板等消费电子场景提供更丰富的端侧应用能力。相册图片直接搜索淘宝相似商品相册图片直接搜索淘宝相似商品微信同口碑生态应用通过摄像头直接识别物品输入法改写生态应用通过摄像头直接识别物品对输入的文本进行文风改写不可思议inconceivable帮我写一段龙年祝福的话不可思议inconceivable龙腾瑞气贺新春，福星高照吉祥年，愿你龙年事业飞跃。章福安康，万事如意！不同风格选择不同风格选择调皮礼貌调皮礼貌1-K个tokens通用大模型端云预测混合推理阿里云支持广泛端侧大模型语音模型语音模型让模型能够“对话”让模型能够“听见”让模型能够“说话”通义万相-0.3BQwen-VL-2B让模型能够“看见”代码模型代码模型文本模型文本模型模型开源时间应用场景Qwen2-0.5B2023.12Qwen2-1.5B2023.12Qwen2-3B/Qwen2-7B2023.9.25模型落地的挑战互联网检索、图像理解、由于端侧模型部署相较于传统大模型部署在部署平台、使用场景的不同，端侧大模型全技术链路KVCacheManagerTransformerLayerKVCacheManagerTransformerLayerNLayer0Weights性能对比列表Qwen2-7B以百炼为基础-全面支持主流端侧芯片平台•Counterpoint预测，2024年生成式AI智能手机出货量将达到1亿部，到2027年出货达到5.22亿部，2023-2027年CAGR为83%，届时AI手机的渗透率将达到40%•Canalys最新预测数据显示，2024年，全球AIPC出货量将达到4800万台，占个人电脑（PC）总出货量的18%；预计到2025年，AIPC出货量将超过1亿台，占PC总出货量的40%。提取通话关键信息，帮助消费者总结摘要提取通话关键信息，帮助消费者总结摘要帮助消费者记忆助消费者快速阅读端云结合的意图理解模型客户端设备端侧小模型百炼WorkflowQwen-LLMQwen-VLAPI——ASR 客户应用1.5B准确率96%Qwen-LLMQwen-VLAPI——ASR 客户应用1.5B准确率96%“驾车导航去机场，给我找下机场附近好吃的并加到途经点，我想吃烧烤”解APPAPP调用APPAPP调用取大模型语义识别意图理解后返回结构化数据结合历史喜好记录和高德导航内容安全（需云端激活）内容安全（需云端激活）安全运行端侧大模型拒答并实时跟进政策需求变化。隐私保护本地客户数据加密。百炼支持端云结合创新模型微调意图理解设备信令意图理解设备信令。芯片适配ThankYou开放应用架构，建设全新可精细化运营的百炼丁瑞雪通义实验室科学家2024/09/1902复杂文档理解03差异化需求满足04系统评估与优化幻觉问题时效性知识：2024云栖大会举办时间长尾问题长尾知识：fishierrc42019的板腰长度是多少？ATOMICREDSTERCSSKIBOOT硬度是多少？知识受限私域知识：我入职3年，今年有多少天年假？复杂文档理解复杂的数据不同于word、PDF等顺序理解文档，PPT文档通常具有二维的空间理解顺序。阅读顺序的正确理解对文档内容理解起到重要作用02.复杂表格理解佔本公司實益擁有人於受控法團之權益權益合計之百分比股東姓名/名稱复杂的表头关系、无线表格分割、表格合并、表格跨页等表格绘制方式均会对表格解析造成困难03.多模态数据理解20%80%13%9%78%传统的依赖OCR的解析方式难以将饼图、折线图、柱状图等多模态数据信息准确地传达出来复杂文档解决方案多路解析结果融合离线解析路由在线VL规则解析离线解析路由在线VL规则解析差异化需求满足多样化需求例子多知识库编排多知识库编排知识库类型：知识库类型：知识库编排需求：不同类型的提问，对于所需信息密度、信息类型不一样差异化需求解决方案知识库编排配置知识库编排配置层级片段组装层级片段组装知识库路由FAQFAQ相关性检测FAQ库业务库3业务库4FAQ库业务库3业务库4业务库1业务库2业务库2系统评估与优化开箱即用之后…Badcase怎么修复什么配置是最优的没有标注数据怎么办什么配置是最优的CoFE-RAG：RAG系统全链路自动评估框架&Benchmark PlainText-Chunking-Retrieval-Reranking-Generation GoldenChunksReferenceAnswer(b)CoFE-RAG Documents-Chunking-Retrieval-Reranking-Generation ThankYou通义实验室科学家2024/09/19PEALLQuery改写查询检索意图PE知识库输出结果文本向量多模态向量Query路由稀疏向量索引查询召回 PEALLQuery改写查询检索意图PE知识库输出结果文本向量多模态向量Query路由稀疏向量索引查询召回 LLMLLMPENaiveLLMPENaiveRAG知识库查询召回查询召回输出结果输出结果文本知识问答多模态融合跨语言理解业务特性定制…文本知识问答多模态融合跨语言理解业务特性定制…离线索引离线索引离线数据在线处理文档解析和理解PDF解析多轮对话多轮对话场景定制场景定制表格理解取公式识别ChemicalStructure•多模态•文档理解ChartText理解多模态文档理解表格理解取公式识别ChemicalStructure•多模态•文档理解ChartText理解文件格式众多文件格式众多多模态版面元素多模态版面元素版面层级结构多样版面层级结构多样多页长文档多页长文档统一多模态文档识别统一多模态文档识别多模态文档理解文档结构识别文档结构识别长文档解析长文档解析命产品能力目命产品能力文字识别准确率版面层级准确率公式准确率文档格式转换md文档解析表结构准确率大模型应用大模型应用……双塔模型双塔模型VECTORVECTORLLMLLM单塔模型RelevanceScoreLLM底座模型数据训练策略底座模型数据QwenLLMQwenLLMQwenVL大模型相关性数据合成GTE-Qwen-Embedding系列模型MTEB评测大模型相关性数据合成806040Passage6040Passage20200baselineGTE模型统一多模态表征模型 这台汽车的售价?统一多模态召回统一多模态召回VSCLIP文图召回纯图片召回召回性能VS分治策略-80%召回效率文图召回纯图片召回召回性能VS分治策略-80%召回效率LLM这台汽车的售价?充分利用多模态模型的底座能力更统一的表征模型:充分利用多模态模型的底座能力百炼大模型平台RAG算法全链路RAG应用全链路RAG应用开源模开源生态接入•GTE-Embedding•GTE-ReRank•GTE-Embedding•GTE-ReRank多语言多模态RAG应用多模态产品智多语言智能问答旅游和商品推广多模态产品智多语言智能问答Q:儿童座椅放置的卡扣在哪Q:怎么放倒第三排座椅Q:查询AAC代号为98C的指本的查询规范个位置令并使用V24.23版Q:这个鞋是什么型号?Q:儿童座椅放置的卡扣在哪Q:怎么放倒第三排座椅Q:查询AAC代号为98C的指本的查询规范个位置令并使用V24.23版Q:这个鞋是什么型号?Q:根据商品知识写一段推广展示文案•出差在外卖定的外卖无发票可以报销吗d'unesociététierce?ThankYou赵中州阿里云智能集团飞天实验室科学家2024/09/19大模型应用优化思路与选型优化方法适用场景依赖成本继续预训练/继续预训练/CPT基础模型极高基础模型极高微调SFT/PEFT多智能体上下文学习/ICL•在SFT基础上增强性能，可减少偏差、提升一致性•PEFT：作为正则化手段训练，计算成本较低•使用动态提示上下文，通过用户问题检索并注入到LLM提示•推理成本和延迟可能随着更多的token输入而增加较少的训练资源高低支持Instruction和Demo的快速扩展与反馈迭代你是一个专家，擅长下面的能力：1.文本理解与分析能力：能够准确理解文章你是一个专家，擅长下面的能力：1.文本理解与分析能力：能够准确理解文章标题和正文或摘要中的关键信息，识别其中涉及的汽车相关…##【任务描述】请判断下面汽车相关的文章属于下面哪一种类别：“产品解析”，“车商卖车”，“经典怀旧”，“质量投诉”，“销量表现”，“其他”。最终的结果请按照{{“type”:“<类别结果>”}}的json格式进行输出##【任务步骤】完成该任务需要遵循以下步骤：1.**阅读文章标题和正文**：首先仔细阅读提供的文章标题和正文内容，这是理解文章主题和目的的关键…##【注意事项】完成该任务需要注意以下几点：1.**标题与正文内容结合分析**：文章的标题往往能提供关键信息，但要结合正文内容综合判断...##【参考样例】###样例一产品营销广告一版包含故事悬念，信息缺口，冲突展示，预期反转，直接利益，内幕揭秘…等类型，请分析下列内容判断其具体类型：产品营销广告一版包含故事悬念，信息缺口，冲突展示，预期反转，直接利益，内幕揭秘…等类型，请分析下列内容判断其具体类型：【分析内容】贵与便宜的区别，谁说不是呢！贵与便宜的差别，九块九毛八，好珍惜哦，快来买吧。【模型结果】直接利益【分析内容】亲身体验一下日常茶园管理（除草）@抖音小助手谁说农民不苦？谁说梦里不累，酸甜苦辣的滋味...【模型结果】情境共鸣【分析内容】减肥圈里的小秘密，其实吃对了，零食也能助燃脂！一小包坚果（约30g）仅150大卡，小块黑巧才50大卡…这些业内人不轻易说的小技巧，你学会了吗？【模型结果】内幕揭秘ChinaJoy别眨眼~快和鹏哥一起来逛CJ吧！累了困了喝东鹏特饮，东鹏补水啦快速补充电解质，快来东鹏展台补充能量吧。【模型结果】情境共鸣【正确答案】文化连接针对该提示词，可通过下列维度提升清晰度、全面性和实用性：1.明确定义各类型特征：…2.引入评估框架：…2.增加操作性指导：…3.补充案例分析：…提示词扩展…###样例二…##【待分析内容】…###样例二…##【待分析内容】…请根据【任务描述】针对【待分析内容】进行分析，并且参考【参考样例】、给定的【任务步骤】和【注意事项】。请先一步一步详细的给出推理过程，然后给出结果。样例扩展样例1：xxx……样例2：xxx……样例3：xxx样例N：xxx提示词迭代【错误分析思考】提示词迭代明确文化元素与情境的区别，当广告主要利用特定文化背景、节日或活动吸引目标群体，增强内容的相关性和吸引力时，用于构建与特定社群的身份认同和兴趣共鸣时，优先考虑“文化连接”虽然正确识别了广告中包含的文化背景（ChinaJoy）和用户互动元素，但在最终多强调的是构建与观众日常生活相关的场景，明确文化元素与情境的区别，当广告主要利用特定文化背景、节日或活动吸引目标群体，增强内容的相关性和吸引力时，用于构建与特定社群的身份认同和兴趣共鸣时，优先考虑“文化连接”提示词结构化生成提供ICIO/CRISPE/RASCEF等!提示词结构化生成提供ICIO/CRISPE/RASCEF等!的清单，列出对小型企业影响最大的五个因素，语。例如：1.物流延迟一由于海关清关时间增!角色设定任务描述样例参考操作步骤格式说明注意事项专有知识融合能针对不同任务类型补充专业知识结合领域特定增强提示词一次性优化率关注类内与类间差异性关注常见文体与创作维度专有知识融合能针对不同任务类型补充专业知识结合领域特定增强提示词一次性优化率关注类内与类间差异性关注常见文体与创作维度事实性等维度复杂任务拆解支持针对复杂任务可自动拆解步骤提供细粒度的控制与更好的推理可控性步骤一结合上下文判断涉及的商品针对售后问题提取具体反馈复杂任务拆解支持针对复杂任务可自动拆解步骤提供细粒度的控制与更好的推理可控性步骤一结合上下文判断涉及的商品针对售后问题提取具体反馈全局均衡采样采样鲁棒性高超大数据集处理效率高反馈集全局均衡采样采样鲁棒性高超大数据集处理效率高反馈集□⚬□⚬□□⚬⚬结合当前Good/BadCase自动选择⚬⚬⚬⚬⚬⚬⚬⚬Meta-Prompt演进2–基于结果反馈的提示词自动迭代语义梯度高效优化结合语义反馈、指标反馈与mini-batch优化提升优化效率，提升优化稳定性 语义梯度高效优化结合语义反馈、指标反馈与mini-batch优化提升优化效率，提升优化稳定性 优化更新修改建议错误分析（loss）提示词xepochatc_{j}抽样推理质量判断……_基于语义梯度的优化流程层次化提示词压缩结合不同元素采用多种压缩方法层次化提示词压缩结合不同元素采用多种压缩方法保障基础效果减少推理时延与Token消耗-基于对广告内容的深入分析，对比任务描述中各类别钩子的定义，进行严谨的类别判断。-确保所选类别准确反映广告最显著、最具吸引力的内容钩子特征，无任何概念混淆或类别交叉。-在面对复杂或混合型广告时，能够果断选取最具主导性的钩子类型作为最终输出，展现出清晰的决策能力。-输入：低减脂人不知道的秘密~冰的热量低，而且老冰棍35大卡，冰加蓝莓64大卡...，减肥馋了该吃什么，大家get到了吗？核心指令分析与保留提供相似/差异化/易错案例的自动扩展能力，减少人工维护成本Timestep1CandidatesTimestep2CandidatesTimestep3Candidates难样本生成BoundaryCaseBoundaryEvolutionBoundaryEvolutionSyntheticSyntheticDataGeneration多样性样本生成增强Tree-basedSearchBDEBDEAABCABAABCAB------"ACEABC-----""AABECCEABC`CCEEABC`CCEDDEEPost-RefineLLMFeedback长沙属于哪个省长沙是湖南的相似案例相似案例1.1.问答格式遵循2.答案是对的差异化案例差异化案例1.1.问答格式有变化2.答案是对的错误案例错误案例1.提问答格式有变化1.提问答格式有变化2.答案是错误的基于离线指令与样例自动挖掘注意点与易错样例，增强实时推理效果指令提炼（离线）错例库指令提炼（离线）错例库训练集产品营销广告依据内容钩子可以分为以下几个类别：1.故事悬念训练集产品营销广告依据内容钩子可以分为以下几个类别：1.故事悬念2.信息缺口3.冲突...诉我属于哪种类型-内容理解与分析：精确解读短视频广告的内容，包括叙事结构、关键信息、冲突元素、结局设计…-精准归纳与表达：识别核心钩子类型,运用精炼的语言进行高度概括…-…-深入挖掘广告中的文化符号、传统特色及品牌历史等信息-…-关注广告中是否独家揭露秘密，引起观众好奇心-输入：减肥圈里的小秘密，其实吃对了，零食也能助燃脂！一小包坚果（约30g）仅150大卡，小块黑巧才50大卡…这些业内人不轻易说的小技巧，你学会了吗？-输出：内幕揭秘…多次迭代最佳指令精细化迭代【分析内容】低减脂人不知道的秘密告诉你一些简直人都不知道的秘密，多次迭代最佳指令精细化迭代【分析内容】低减脂人不知道的秘密告诉你一些简直人都不知道的秘密，冰的热量低，而且老冰棍35大卡，冰加蓝莓64大卡...，减肥馋了该吃什实时检索基于多样性生成相似样例合成基于多样性生成动态样例库样例扩展样例清洗i差异化样例合成动态样例库样例扩展样例清洗Top-K样例基于推理反思易错样例合成Top-K样例基于推理反思是否类别分布平衡是否是否是否样例集合样例增强（离线）样例增强（离线）自动挖掘样例与提示结合Query动态组装样例与提示相比较DSPy/TextGrad等框架在性能与效果上均有明显优势业务数据集效果对比(Qwen2-72b)（复杂指令）业务数据集效果对比(Qwen2-72b)（复杂指令）69.235.341.972.066.930.657.568.670.568.169.974.371.544.054.575.3公开数据集效果对比(GPT3.5-Turbo)92.082.080.184.777.884.991.976.779.879.8GSM8K72.981.181.1(ACC)75.881.984.3框架能力对比对比维度优化性能（耗时）分钟级别小时级别分钟级别基于样例特点优化基于结果反馈迭代优化无样例/训练数据优化原始任务描述保留程度低中高ICL自动优化ICL样例筛选ICL样例合成"Differentiation"viaText.”ArSFT优化实践：基于Meta-SFT的自动化数据合成与微调极大降低数据需求，支持对输出和延时有更高要求的场景适配特点1：数据构建成本低特点2：更遵循回复要求特点2：更遵循回复要求角色形态领域角色形态领域语言…格式…特点3：更快的推理速度语言…格式…将任务知识从大模型压缩到小模型，推理速度提升约80%样本集合短文汽车营销销售…JSON…PromptExpansion样本集合短文汽车营销销售…JSON…PromptExpansionPost-Scoring实体抽取个性化营销创作Qwen-Max60%62%71%Qwen-Max+APE78%72%73%Qwen-Turbo+SFT(LoRA)70%54%73%Qwen-Turbo+Meta-SFT(LoRA)85%73.5%75%评估器 丫模型A 模型B……评估项适配任务描述评估器 丫模型A 模型B……评估项适配任务描述…打分标准打分标准请按照1-10分的规则对模型生成的答案进行打分全不准确1-3分：…3-5分：…8-10分：最终抽取结果中主体非常准确…打分维度抽取的召回率-正确答案中的打分维度抽取的召回率-正确答案中的计算方式为召回率的定义：…。-抽取的精准率-模型最终抽取结果中的主体命中正确答案的精准率的定义：…AspectsAspectsAspectsAspects解释补充解释补充维度n：xx分...综合评价：xx分打分原因：xxx注意事项准确区分实用教学与单纯强调注意事项准确区分实用教学与单纯强调广告中详细的产品使用方法、功效介绍及应用场景展示等教…AspectsTipsAspectsTips0.78920.82470.78920.82470.87100.8738阿里云百炼：提供应用全链路可运营支撑可迭代易接入可观测可迭代易接入用户动线评测集构建 应用需求应用需求可运营能力支持Tracing任务支持任务支持…………ThankYou—PE及RAG的实施方法论吴倩阿里云智能集团飞天实验室高级运营专家2024/09/19测评标准模型结果的好坏，需要有明确的效果和目标结果的差距场景效果的衡量标尺测评数据测评数据面，客观的测试数据，帮助模型实验过程中不断修正和完善效果运营工具运营工具建设配套提效工具，从数据构建学更高效的使用大模型实施效率的提升运营方法论运营方法论行业场景下的实施sop和方法，模型应用的效果可以得到保障实施质量的关键提示词工程设计方法论PE实施概览 为交付中的主要环节，包含四大步骤：LLM生成的内容和指标结果PE策略整体方案PE策略输入输入测试数据量递进策略prompt实验动作业务数据LLM生成解析投入使用测试数据量递进策略prompt实验动作Badcase特征抽取量化优化的表现量化优化的表现PE实施的框架原则和优先级模型输入的重要性提示词用得好不好，输入内容也很重要提示词的不可复制性场景不同模型，同场景不同业务，不一定适用提示词的详实度不是写的丰富效果才好，重要的是模型能把需求理解到位0到1从哪开始优先级的区分定义清晰的先解决，再来分析和重新定义不清晰的需求从1到N的攀升从badcase出发，错误类型较多的着手，抽象和迭代到prompt中PE常用策略模型在想什么指令怎么下达模型在想什么基于提示词的基本原则-清晰且具体、给大模型思考时间等原则下，以下是项目中积累的部分最佳实践。为模型更好的理解任务需求，建议先行了解大模型的推理过程或输出依据讲“大模型话”初期了解大模型的推理过程或输出依据讲“大模型话”初期，基于需求要求大模型生成某任务所需的prompt，以得到大模型可理解持续迭代期，对结果不满时，引导大模型进行自我反思，回顾其推理过程或输出依据，了解错误背后的原因，以指导结构化表达->善用分隔符，让大模型更好地理解提示词内容关键信息强调->逻辑复杂类任务，在prompt中反复强调，增加其在大模型记忆中的权重补充专有知识->非通识场景，建议在prompt中补充相关垂类知识，增加模型学识Few-shot应用->prompt中添加示例帮助大模型从少量示例中学习和概括信息关键需求后置处理:指令遵循效果较差的需求，放在prompt靠后的位置指定任务按步骤执行：建议大模型按指令步骤完成，在prompt中明确这些步骤，不要一气呵成增加检查步骤：部分指令未被完整遵循，可在prompt尾部要求大模型在输出前逐步检查，并按步说明检查项先依据后结论：对分析判断型任务，要求大模型先输出结论的判断依据，再给出推理的结论案例分享在对话场景中，借助LLM帮助企业完成业务分析、销售线索分析、市场统计和内部员工培训等工作。业务场景：热线客服在线客服…典型case…LLM的生成表现：#质检规则-“rule”:”质检规则1","describe":"对规则的描述"。-“rule”:”质检规则2","describe":"对规则的描述"。…对较难被准确遵循的复杂规则可拆分为多条规则，有助于提升LLM的生成表现：#质检规则-“rule”:”质检规则1","describe":"对规则的描述"。-“rule”:”质检规则2","describe":"对规则的描述"。…对较难被准确遵循的复杂规则可拆分为多条规则，有助于提升“对于推销结果的判定，如果提及了【支付、办手续、签字、合同】则是“成交”，如果提及了【再看、考虑、不要、再联系、不需要、放弃、先不】则是“未成交”，其他情况识为“无法识别是否成交””•拆分后：“-规则1：成交，对话提及支付行为，如：支付宝、微信、转账支付等视为合规-规则2：未成交，客户表达态度，如：考虑、暂时、不需要、不升级、不考虑等犹豫或否定词视为合规推销结果：从【成交、未成交、未知】中三选一，参考规则1、规则2的结论，得出结果。“质检类型：坐席服务质量检查坐席服务项目确认客户极端情绪判断◆…◆◆实施路径模型尺寸选择规则梳理指标对齐上线运营效果验证数据收集PE实施一般对话包含多角色-客户&坐席，需明确待质检思考步骤中体现如：…2.从对话数据中自动识别xx的角色与话术，xx会介绍…（该角色的话术内容总结）。3.结合上下文对xx角色的每一句话术进行合规性检查，对照质检规则逐一审核。…约束输出内容&格式时，建议要求大模型先输出规则命中依据（如命中句子再输出命中结果，相较准确率表现更佳，如要求大模型按以下格式返回下：{"scores":[{"rule":"...","sentence":"命中的对话原文","match":"表示对话是否符合rule，给出true或false结果","suggestion":"没有命中的原因或话术改进建议"}...若审核项被遵循效果不稳定，可在尾部增加【检查步骤】结合大模型错误响应原因，prompt中要求大模型在输出前进行逻辑检查。如易发生过度推理质检规则时，可要求大模型执行以下动作："##在最终提交质检结果前，按步骤逐一进行逻辑检查，确保所有规则的应用合理，无明显错误或遗漏###第一步：规则遵循检查，检查命中的结果是否遵循质检规则的字面含义，若自行添加或过度解读规则条件，不能得出命中结果；..“有些词可能翻译描述错误，你需要基于语境理解原本意思，不要直接因错别字判定不合规。”RAG的实施方法论营方案方案设计业务策略人力准备运知识治理方案营方案方案设计业务策略人力准备运知识采集知识分类知识清洗知识采集知识分类知识清洗知识运营方案选型开发联调验证测试交付阵型人员准备协作机制知识迭代链路策略了解用户需求确认业务目标制定评测标准知识治理知识运营制定规范知识清洗知识采集知识运营制定规范知识清洗直接获取网站信息获取客户官网客服知识库直接获取网站信息获取客户官网客服知识库名称规范标题规范格式规范HTML文件名称规范化HTML补充缺失知识文档知识去重文档表格表格API对接……数据库对接……数据库对接……层级梳理复杂内容简化知识分类知识分类相互独立相似知识点拆分相互独立权限掌控知识答案合并非结构化知识知识内聚……半结构化知识规范统一……结构化知识覆盖全面……结构化知识覆盖全面……ThankYou着眼未来，共建多元化的大模型生态阿里云智能集团飞天实验室高级产品专家2024/09/19百花齐放的模型生态模型+应用双轮驱动，加速模型业务落地全面开放的模型生态和应用生态，资源共享，数据驱动，连接企业客户与生态供给1111通义自研三方插件通义自研2三方应用模型服务供给商业闭源2三方应用模型服务供给数据反馈优化3咨询服务通用开源3模型数据反馈优化3咨询服务44集成开发领域合作4集成开发以平台为中心，聚合四大核心生态伙伴，共创共赢插件生态模型生态应用生态支持SaaS/PaaS插件生态模型生态应用生态支持SaaS/PaaS接入方式，上架百炼应用市场，丰富服务生态模型生态：众多业内领先的模型合作方已上线百炼月之暗面月之暗面百川智能Baichuan2-Turbo、Baichuan2开Yi-Large、Yi-Medium、Yi-Large-abababab-6.5t、abab-6.5s系列模型FLUX型FLUX-Dev、FLUX-Sch型DeepSeek-v2开源系列模型开放合作，生态共赢DeepSeek-v2开源系列模型开放合作，生态共赢更多模型，正在接入中..阿里云百炼（国内版）+ModelStudio（国际版）双平台，为模型生态伙伴提供一站式出海双平台模型服务全链路大模型工具链数据中心+应用中心+模型中心，三大核心工作链全面开放三方模全链路大模型工具链数据中心+应用中心+模型中心，三大核心工作链全面开放三方模型接入，降显著降低模型交付成本，帮助企业和开发者快速落地模型效果，业内领先的安全策略和数据策略，解决模型调用的后模型生态：百炼全工具链开放，加速模型业务落地全工具链开放兼容三方模型，平台协助效果优化，与自研模型同等对待业务为先的应用生态应用生态+插件生态，端到端的服务体系，共享平台客户红利无需开发，多种场景开箱即用的原生大模型应用，基于百炼大模型平台+伙伴的场景know-how百炼一方应用百炼一方应用全妙应用面向传媒、营销、办公等多行业及场景的多模态内容创作工具集析言GBI通过自然语言交互实现NL2SQL、数据问答、分析、洞察等多维度的大模型智能分析应用通义法睿面向律师、企业法务等的法律智能助手，支持合同通义万相企业版型训练等功能在线使用万相营造设计师可依据货品素材进行AI创意生成ChatExcel借助阿里百炼的MAAS平台，帮助元空AI灵活适配海量数据分析洞察知微智鉴基于微博多年的风控经验和先进的AI技术搭建，能迅速、准确地识别出文本和图片中的潜在的风iSlideAI生成PPT联合阿里百炼击破打工人天命，解锁办公新武器更多应用请访问百炼应用广场应用生态：多种多样成熟易用的智能体插件百炼智能体和流程编排直接引用阿里云市场积攒多年的成熟API服务，助力客户打造AI原生应用智能体/编排应用插件广场&工作流应用批量引入高质量智能体插件高质量智能体插件合作共赢的服务生态解决大模型业务落地的最后一公里服务生态：携手服务千行百业与伙伴资源共享、优势互补，推动AI领域创新和应用落地咨询集成型伙伴SaaS软件企业AI原生应用创新企业咨询集成型伙伴SaaS软件企业携手咨询集成公司，为特定行业（如携手咨询集成公司，为特定行业（如力，提供专属服务。帮助SaaS软件企业，在其软件产品服务中集成大模型，提供智能化功数据洞察等。Deloitte.convertlobAsialnfo刊iJI刊Landray凌数智化办公专家ch司njiet百炼大模型产品生态合作权益促进大模型产品合作伙伴发展，我们提供包含不限于以下内容的合作权益市场推广商机合作技术赋能市场推广商机合作百炼大模型服务平台生态联盟合作策略合作流程以及合作要求合作流程合作要求•在业内具有较强的影响力，对行业产品及市场情况有深刻的理解。•公司产品有一定用户规模，且在市场侧有较强的客户推广与模式复制能力。•有成熟的研发、运营、商务团队，独立项目产研技术团队不少于•公司拥有独立产品知识产权及产品软著等相关资质文件。产品及技术能力•产品支持公共云形态对接，具备产品部署交付和集成能力。•具备软件集成和优秀的研发能力，至少5人持有阿里云大模型工程师ACA认证。数据安全要求•对数据安全敏感度高，有良好的内容安全意识和管理机制。百炼大模型服务平台生态联盟构建大模型能力生态co-sellerecosystem联合产出物产品生态类型联合产出物大模型落地实施方法论以及工具包，加速客户交付进度以及保障项目质量，实现三方共赢。•SaaS软件&AI原生应用：基于通义基础模型开发的应用上架百炼应用广场及阿里云云市场，联合售卖。•分销型伙伴，成为阿里云分销合作伙伴，提供大模型产品售卖及技术支持培训，帮助伙伴增加收入。共建场景收益共享资源互补集成认证技术培训算力支持SaaS软件企业伙伴生态：跨越大模型业务落地的最后一公里50%的产品技术+50%的解决方案=100%的业务价值用价值进程0%20%40%50%75%100%ThankYou大模型落地千行百业，最佳实践案例分享打造大模型智慧出行客服哈啰AI打造智慧出行哈啰集团自然语言处理负责人2024/09/19CONTENTCONTENT02哈啰大模型智能客服机器人03企业中大模型落地遇到的坎和解题方案克制&全面拥抱大模型，打造智慧出行海螺机器人办公｜代码｜运营交易机器人售前｜售中｜售后光子引擎文案｜图片｜视频海螺机器人办公｜代码｜运营交易机器人售前｜售中｜售后光子引擎文案｜图片｜视频接入46个大模型覆盖90%主流模型上线31个应用新模型30分钟可接入业务布局硬件即服务互联网双边交易共享单车共享助力车换电柜顺风车租电动车租车打车智能猫屋智能电池哈啰集团本地出行生活服务业务助力车顺风车租车组件调用街猫助力车顺风车租车组件调用街猫哈啰贾维斯-幻视大模型平台模型训练模型训练模型评测模型评测模型部署模型部署模型服务监控模型服务监控应用编排应用编排推理加速框架推理加速框架分布式多卡微调分布式多卡微调模型额度智能化管控机制模型额度智能化管控机制哈啰算力基础框架GPUA100哈啰算力基础框架GPUA100A10L20……框架K8Ss……阿里云百炼大模型平台应用部署通义千问-PlusQwen2-72B通义千问-Max模型广场通义千问-VLQwen2-7B……阿里云云基础设施自存储交易机器人客服机器人判责机器人人工助手交易机器人客服机器人判责机器人人工助手租车导购知识问答服务引导租车导购知识问答服务引导智能质检多轮对话两轮判责智能质检多轮对话两轮判责流程处置流程处置智能培训人机结合租车判责大模型多模态判责端到端多场景交互大模型多模态判责02哈啰大模型智能客服机器人客服业务的技术演进历程和养成之路哈啰智能客服的成长之路作业客服作业客服知识库建设知识库建设QA-Chat三端统一三端统一解决方案画布流程画布流程启发式问题启发式问题核心：多轮对话流程支持，业务流程执行提高意图识别准确率大模型客服机器人大模型客服机器人智能助手智能助手核心：AI驱动，人机结合，生产力跃迁ToSOP业务流程人机结合流程升级SOP业务流程人机结合咨询问题SOP咨询问题SOP初阶智能机器人 RAG：知识检索和排序转人工降16%+判责处置任务：判断是否要调用处置工具进行判责并执行返回结果给话术生成模型Text少样本思维链Thought缓存Text少样本思维链Thought缓存•角色定义：你是哈啰金牌客服...1.2.1.2……执行•结构化输出：输出JSON格式•思维生成：一步一步思考…锁关不上场景持卡扣费场景锁关不上场景持卡扣费场景…….…….••角色定义：你是哈啰金牌客服…1.2.1.2……执行•few-shot：创建标记模板$[[xxx_xxx]]高阶智能机器人 •角色定义：你是哈啰金牌客服...1.2.1.2……执行•结构化输出：输出JSON格式•思维生成：一步一步思考…Text少样本思维链少样本思维链Thought缓存…….…….••角色定义：你是哈啰金牌客服…1.2.1.2……执行•few-shot：创建标记模板$[[xxx_xxx]]情绪安抚：更拟人化并且能监控用户情绪进行人工高阶升级大模型客服机器人高可复用性、灵活性在AI智能助手辅助下，工单平均处理时长和在AI智能助手辅助下，工单平均处理时长和AHT大幅度下降流程阶段流程阶段模块模块大模型大模型转人工后转人工后智能摘要智能摘要前置处理前置处理会话处理会话处理话术推荐话术推荐会话处理会话处理智能托管智能托管会话处理会话处理智能质检智能质检会话处理会话处理用户状态提醒用户状态提醒结束阶段结束阶段会话结束会话结束热线语音质检；业务流程性质检总结规则OSS总结规则OSS人工坐席是否按规定sop流程回答***”人工是否有辱骂等标签***”LLM数据输入模型处理流程性质检是否按流程？是以满意度为主，针对一通会话大模型根据关优否同理安抚？流程性质检是否按流程？是以满意度为主，针对一通会话大模型根据关优否同理安抚？键点SOP知识打分自研ASR+通用文本标签识别热线语音质检热线语音质检正向链路逆向链路正向链路业务流程主流程申诉业务流程主流程申诉智能客服人工客服用户洞察处置策略用户洞察处置策略算法人工画布配置语义识别标准问老链路对话管理系统判责语义识别标准问老链路对话管理系统判责赔付退款新链路客服流程新链路语义识别标准问对话管理语义识别标准问对话管理系统判责赔付退款运营形态变化：编写流程画布到梳理业务知识流程画布AI作为某个节点AI为核心引擎，流程画布AI作为某个节点智能客服多智障知识运营配置难人工客服效率低懂用户化繁为简辅助人工提效单问题对话->上下文对话成百上千个流程节点->5-10行文本描述培训检索输入->流程点点即可03企业中大模型落地遇到的坎和解题方案大模型用在哪里C端B端服务引导服务引导多轮对话关键点解题步骤多轮对话关键点解题步骤遇到的问题遇到的问题大模型演进路线作业标注作业标注可持续化运营QWEN7B持续提升持续提升垂类小参数大模型2.低功耗运行1~2秒QWEN72b+Re-Act垂类小参数大模型2.低功耗运行1~2秒5-10秒让模型能做事多轮识别、意图识别率91%意图识别意图澄清引导猜问推荐意图澄清引导猜问推荐根据上下文猜测用户意图引导用户表述意图针对一通会话识别用户意图根据上下文猜测用户意图引导用户表述意图用户输入意图用户输入意图用户状态信息用户真实意图用户状态信息用户真实意图让模型能做事流程执行：Re-Act+SOP让Agent稳定执行SOP流程，低成本解决复杂SOP搭建问题执行准确率95%+执行准确率95%+流程处置业务判责大模模型做法官判断是否有责；业务规则；SOP调用业务工具进行退款处置COT让模型思考推理让模型结合上个输入和知识回答流程处置业务判责大模模型做法官判断是否有责；业务规则；SOP调用业务工具进行退款处置COT让模型思考推理让模型结合上个输入和知识回答2.是否调用工具!SOP流程推理判断根据用户意图和当前状态信息判断是否要调用判责模型或者按业务规范引导用户整个sop的进程是由文本来操控让模型低功耗运行低功耗运行•国产模型利用Re-Act+SOP工作模式能够有效地追平GPT-4o，但同时带来耗时问题，部分情况大于10s。百炼平台百炼平台贾维斯大模型平台L20A100A10让模型可持续化提升提出问题提出问题1、数据反馈：“作业即标注”，将AI反馈流程与作业流程融2、知识检测：“提前检测运营知识是否正确”;工具描述补全作业循环作业循环3、流程质检：“自动化检测线上流程是否准确”RAGSFT ThankYouDeloite。探索大模型助力企业数智化提升之路径演讲人：孙晓臻德勤中国咨询业务云服务全国领导合伙人2024/09/19收入复合年增长率能否超过市场预期2倍？新产品能否比现状快30%以上的速度开发并推向市场？能够获得收入复合年增长率能否超过市场预期2倍？新产品能否比现状快30%以上的速度开发并推向市场？洞察：企业智能化转型遇到的挑战很多企业即便是在向人工智能领域进行大量投资，但发展依旧未达到预期，且在基本面上遭遇了困难数据基础设施风险合规规模化的人才储备交付团队大小和规模架构师和专家资源池规模进行弹性组合成熟的数据规模化的人才储备交付团队大小和规模架构师和专家资源池规模进行弹性组合成熟的数据和云的实践数据管理数据可洞察数据源数据安全和隐私云数据工程GPUs/Hardware–高效运行AI工作负载需要什么基础设施可信人工智能可信度框架风险控制流程持续的价值实现愿景与赞助业务目标对齐运营模式已部署场景和行业专业知识库快速的技术演进人工智能的广度与深度擅长多种技术的战略联盟和技术合作伙伴需要避免过度投资的陷阱预期预期1Δ机制=f(技术关联性，时间，投资)通过为每个GenAI场景定义“增1Δ机制=f(技术关联性，时间，投资)221应明确关键因素，以确保投资产生边际产品的价值1323323指数级价值的实现应通过基础技术的场景迭代/推出和复用来实现呈上升趋势泡沫顶峰泡沫破灭稳步上升平稳期人工智能转型与数字化转型之路是否相同？人工智能转型可以看成是数字化转型的深化，但具体的转型路径具有相当的不同之处，且仍然处于高速发展和验证的过程数字化转型数字化转型顺序的预先定义的预先定义的智能化转型可变的增量的持续优化并发的顺序的预先定义的预先定义的智能化转型可变的增量的持续优化并发的反馈驱动随时调整的 SupportFunctionsBusinessCase•数字化转型通常是围绕明确的目标应用展开的，根据目标应用的实施复杂度来规划项目预算•因此数字化转型相关的范围可以按阶段预先定义，并且相应的根据实施相关的业务部门来设定预算/成本•数字化转型的业务价值通常在系统上线后即可量化评估，并且其后续的运维和运营可以相对统一管理。 Usecase/ProjectBProjectCProgramUsecase/ProjectBProjectCProgramDUsecase/ProgramAProjectBProgramDmaintenanceUsecase/ProgramAProgramDmaintenanceUsecase/Product4ProgramAmaintenanceProgramA•人工智能转型的范围更多以能力或智能化产品来定义范围，更具有产品化运营的特征，ProgramAmaintenance•人工智能转型的业务价值是在持续运营中不断优化迭代产生的，maintenance生成式AI的产品团队可以建立在纯敏捷的方法上，生成式AI的产品团队可以建立在纯敏捷的方法上，并不断迭代生成式因为将来会由业务部门使用，并进行适当的变革管理生成式AICoE可以从中立的架构模型中构建，并持续迭代品牌知识中心是生成式AI产品为最终用户创造有效信息的关键生成式AIPMO可以管理整体的建设路径和投资KFCKFC计RLHF/RLAIFS2S提供端到端的人工智能管理服务，整合了GPU硬件、人工智能软件、第三方数据和专家服务，帮助企业在人工智能领域拥有独一无二的领先能力+以COE模式提供全面的人工智能咨询服务…软件资产、加速器和人工智能工具包组合以提供支持…辅以人工智能硬件、软件基础设施和数据进行赋能领域/行业解决方案开发和实施人工智能模型人工智能平台和加速器人工智能平台和加速器人工智能实验室和孵化器人工智能实验室和孵化器数据中心数据中心快速原型和敏捷交付与客户共同实验和创新人工智能计算中心人工智能计算中心数据提供者数据提供者IaaSIaaS算力及相关基础设施支持策划第三方数据源LangChainLangChainSalesforceSAPLLAMALLAMA3AWSAWSSnowflakeSnowflakeServicenowServicenowVMwareVMware德勤和阿里云的战略合作帮助企业通过人工智能实现商业价值 德勤作为阿里云的战略咨询合作伙伴，确保客户能够获得以行业为重点的服务、知识产权创新和领先的商业条款德勤拥有超过1000名人工智能和数据专业人员德勤的方法有助于组织设想人工智能如何产生价劳动力和创造新业务德勤拥有深厚的行业专业知识，能够将人工智能专应用广场模型广场大模型输出 应用广场模型广场大模型输出多端生态效果运营中心效果运营中心应用开发工具全链路模型开发工具大模型服务基础大模型效果追踪工具效果分析工具多维看板效果干预工具效果追踪工具效果分析工具多维看板效果干预工具搜索增强插件中心搜索增强插件中心模型体验/调试数据管理模型预训练模型评测模型调优Lora/SFT模型体验/调试数据管理模型预训练模型评测模型推理服务模型训练服务模型部署模型安全服务通义领域大模型通义领域大模型三方大模型通义千问系列通义万相系列交付框架的方法论与价值实现路径将GenAI能力进行编排组合，形成复杂的AI应用场景，重塑企业流程，实现并放大转型价值 每一个AI能力代表了应用场景所需的技术功能将各种AI能力有机组•珍珠串的范围和价值取•珍珠串的范围和价值取决于端到端流程的整体价值个场景的输出是下一个的输入下一环节就会受益订单处理场景)单个珍珠（场景）的范围和价值通常被归入特定的流程步骤，该步骤取决于上游/下游步骤KPI而未来这些能力将成为未来珍珠串的“基本单元”KPI“珍珠串”：一个场景的输出作为下一个场景的输入智能化能力支撑智能化能力支撑跨平台的数据连接业务用户跨平台的数据连接业务用户一致的人工智能方法和标准 我们的观点是，“一串珍珠”场景，新一季零售目标新一季零售目标1客户需求预测1预测客户需求，快速识别流行1客户需求预测1预测客户需求，快速识别流行趋势和人们的需求，从而进行有针对性的产品采购确定客户的利益和需求，以优化采购1生产/采购产品确定客户的利益和需求，以优化采购1生产/采购产品供应链效率提高5-10%222运输优化 2内部效率提升以降低成本2运输分析师将在制定优化路线和运输计划方面发挥重要作3向供应商推荐优化的路2运输优化 2内部效率提升以降低成本2运输分析师将在制定优化路线和运输计划方面发挥重要作3营销活动营销活动设计用，以提高整体供应链效率并最大限度地降低费用对新产品创意和设计的反馈 通过有效的资源分配和减少浪费，用，以提高整体供应链效率并最大限度地降低费用对新产品创意和设计的反馈 通过有效的资源分配和减少浪费，COGS减少10-15%3通过为所有媒体渠道生成针对特定客户群体量身定制的高34个性化内容创作价值内容个性化内容创作443销售产品4品牌定制内容创作者精心策划超个性化的营销活动，以与特定受众产生共鸣。基于情境的产品发现和推荐将帮助客户进行基于情境的搜3销售产品4品牌定制内容创作者精心策划超个性化的营销活动，以与特定受众产生共鸣。基于情境的产品发现和推荐将帮助客户进行基于情境的搜索，以获得个性化的体验和产品推荐使收入增长4-6%5基于情境基于情境推荐555售后服务下文的产品搜索体验5售后服务6个性化客6个性化客户支持6666 4 4客户忠诚度与终身价值提供准