肖然-大模型时代的AI能力工程化

大模型时代的AI能力工程化©2024ThoughtworksAI进入2.0时代AI应用的成本越低，AI应用的范围越大高成本模型训练VS低成本模型微调当具备跨领域知识的基础模型出现之后，微调适应不同领域任务的AI模型的成本极低李开复在2023年3月19日发布ProjectAI2.0时谈到AI1.0和AI2.0的关键变化Source：量子位©2024Thoughtworks基础模型：OntheOpportunitiesandRisksofFoundationModels3我们正在进入一个新应用时代！You内部或外部的内部或外部的工具/模型Task1ToolaTask1ToolaTask2Task2ModelaTask3ToolbTask3ToolbTaskChainTool/ModeTaskChainTool/ModelMeshLineofVisibilityTasksLargeLanguageModelTasknModelTasknModeln↓OutputMemoryOutput4©2024ThoughtworksSource:GenerativeAIPoV-GenerativeAIinFashion4出现了许多新的应用场景出现了许多新的应用场景商业软件开发商业软件开发人工智能服务培训,问答系统人工智能服务培训,问答系统,人工智能助手,AI4Science,...人工智能服务平台、MLOps、DataloopSDLC——创新产品——人工智能服务平台、MLOps、Dataloop5©2024Thoughtworks5ExistedApplication(CMS,CRM,etc.)ExistedApplication(CMS,CRM,etc.)Vectorstore(deployment,serving,fine-tuning)Vectorstore(deployment,serving,fine-tuning)AIAgentsPublicCloudServiceAIToolsExistedBackendServicesBackendDataPlatformCompliance&BackendDataPlatformCompliance&BackendDatabases6©2024Thoughtworks6上一个AI时代企业应用的惊人事实©2024Thoughtworks的AI模型开发项目未投入生产-VentureBeat的AI模型开发项目未投入生产-VentureBeat50%的时间花在模型部署上-Algorithmia/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/AI模型的治理仍然很随机©2024Thoughtworks常见产品：Dataiku,Databricks常见产品：Dataiku,Databricks,自研机器学习平台常用产品：Databricks,Sagemaker,PaddlePaddle,ModelArts,...8AI能力工程化才刚刚开始行业内探索MLOps过程管理和LLMOps模型治理的标准，但构建全流程的A研发运营体系仍然任重道远。©2024Thoughtworks考虑到AI考虑到AI模型开发方法发生巨变的今天，需要全新思考如何解决这部分问题！●AI资产（算法/数据/算力）管理散乱小作坊式的开发，工具链碎片化数据来源分散，数据不标准，获取难一旦交付，很难重新训练和发布新模型●无法观察监控模型在生产环境的运行状态缺少基础设施支持大规模训练和推理●●AI团队&IT：模型适配只能交给AI团队●AI团队&业务：业务不知道已有AI能力●AI团队&AI团队：AI模型分享交流难参考《MLOps模型交付标准解读》、《魔塔中文开源模型社区-模型即服实现AI能力工程化，HuggingFace经验值得借鉴HuggingFace不是一个AI模型开发平台，而是AHuggingFace关注模型的应用、探索和社区3.助力模型分享交流©2024Thoughtworkshttps://thenewstack.io/how-hugging-face-positions-itself-in-the-open-llm-stack/面向未来重点抓手激活创新统一服务AI能力工程化发展路径面向未来重点抓手激活创新统一服务UnstructuredDataStructureDUnstructuredDataStructureDataSelf-serviceAIPlatformUnifiedAIModelPlatformModelasaServiceAIMarketMLOpsFinetuneFoundationModelDatasetManagementFoundationModelsConversationAIforInternalFinetuneFoundationModelDatasetManagementFoundationModelsConversationAIforInternalusecaseDataLoopConversationAIforexternalusecaseConversationAIConversationAIforexternalusecaseConversationAIasaServiceGAIasaserviceSelfServiceChatAppsSelfServiceGeneratorAppsSelfServiceChatAppsSelfServiceGeneratorAppsDigitalHumanasaServiceCommunityStandardServices:StandardServices:OCR/ASR/TTSetc.SLAMeasurementKnowledgeBaseInitial具备基本能力Defined提供标准化服务和管理Managed服务度量与全面治理Optimizing引领创新与持续优化©2024Thoughtworks能力复用GluonMeson平台能力能力复用●企业级AI●企业级AI安全监测与评估；企业级Chat提升应用效果：在GM平台下，Prompt帮助模型FT则使得模型更好地适应特定任务胶子（gluon）是负责在两个夸克之间传递强作用力的基本粒子，介子（meson）是粒子物理学中一个夸克和一个反夸克通过强作用力捆绑在一起的复合粒子。象征着我们平台是介子，通过平台的能力（胶子），将大模型和各业务场景凝聚到一起。LLMOps运维简化©2024面向AI2.0的企业级平台蓝图管理层愿景目标对齐业务价值链AI影响分析AI创新机会点识别和评估端到端智能化旅程设计优先级评估和落地演进路线价值评估度量体系2.3AI原生的应用工厂-流程管理项目与需求管理、数据流通、项目追踪、流程审批效率-数字员工效率-伴随助手创造-内容生成流程管理项目与需求管理、数据流通、项目追踪、流程审批效率-数字员工效率-伴随助手创造-内容生成数据开发数据采集、数据挖掘数据开发数据采集、数据挖掘、数据标注、数据集管理、测试验证模型AIAgentAIAgent模版集市Q&Achatbot、文档阅读理解助手、总结摘要Agent、情感分析Agent、翻译Agent、文本转语音Agent…etcKnowledge/知识模型开发算法开发、模型调优、模型微调、构建集成、模型评测安全评估在数据收集安全评估在数据收集、模型训练和模型运行阶段提供防御手段合规治理AI服务可追溯合规治理AI服务可追溯、内容审查、签名水印、日志审计与任务监控集群监控AI容器服务AI镜像管理模型与AI服务运营服务发布模型与AI服务运营服务发布、持续监控、A/B测试、资源管理、成本管理训练云集群（容器化算力）AI转型推动组织AI创新框架和管理流程具备端到端能力的AIPoD团队AI能力卓越中心AIGuardRails安全合规治理体系©2024ThoughtworkslAIAI不会淘汰你，但学会使用AI的人会2hougAI能力工程化的关键是人！数据/算法工程师软件工程师用户在日常工作中内容生成、Copilot数据/算法工程师软件工程师用户在日常工作中内容生成、Copilot●能够为日常工作创建内容或提●改善企业知识搜索和访问体验●能够使用各种轻量级人工智能●提供GPU和其他资源。●提供基础模型●提供数据集管理。●提供微调服务●评估LLM和提示●自助服务Gradio应用程序集成●能够利用提示和知识创建人工●能够添加和管理存在的数据服●能够管理人工智能服务●定义LLM护栏不像我们的产品提供基础模型管理和微调服务为创建人工智能服务提供开放标准提供适合每个人日常使用的应用程序我们的产品提供基础模型管理和微调服务为创建人工智能服务提供开放标准提供适合每个人日常使用的应用程序©2024ThoughtworksAI应用的复杂度带来了新的协同关系IntelligentAppsIntelligentAppsBuildAIplaygroundApp(eg.nl2df,sealBuildAIplaygroundApp(eg.nl2df,sealdete数据/算法工程师Fine-tuningortrainmodels(eg.Jupyter,BuildprototypeBuildprototypeofAIExperi