行业大模型标准体系及能力架构研究报告 2023

1 1 3 6 8第二章行业大模型构建路线图，指导企业建设大模 11 11 12 12 15 15 16 17 17 18 19 20 21 22 22 24 26 26 27 28 28 28 29 30 31 32 33 33 34 35 36 37 38 39 40 41 43 43 46 47 491第一章行业大模型开启产业升级的“黄金时代”2模型均利用Transformer架构搭建。近期，Google发布的通才模型34行业用户利用MaaS构建专属的行MaaS通常内置了行业大模型和工具箱，配套标准第一，MaaS可以通过基础行业大模型、定制场景大模型、模型5第二，MaaS可以提供公有云的部署流程、私有化的部署流程，6789专业人才方面，行业客户通常缺少AI领域技术人才的储备，模第二章行业大模型构建路线图，指导企业建设大模型能力（1）业务数据：明确需要处理的数据模态。不同的数据模型影（2）业务指标：将业务需求初步细化为多个子任务，明确各子（3）业务服务方式：明确行业用户需要的服务方式。服务方式算力层评估主要是确定行业大模型在实际训练和部署中需要使（1）模型训练算力评估，以通用单卡芯片为例，计算能力可达模型的推理性能，一般以每秒生成的token数衡量。若模型参数达到（1）对象存储COS（CloudObjectSt），载数据到训练机器本地，读写速度可以超过0.42GB/s，若采用COS+GooseFS存储方案，可以提供基于对象存储的多层缓存加速，当训练数据大于50GB时，行业用户可采用COS+GooseFS或CFS性能的网络支持，通常需要至少支持RDMA100G的网络。RDMA经可以实现RDMA路由在第三层以太网络中传输，可以支持高性能包括有监督的参数精调（SFT）或参数高效精调（Parameter-Efficient模型建设需要400—500万条数据，根据不同的场景可以有一定的浮用少量数据进行评估，例如300—500条。经过标注的数据，数据格式可以为json或Query格式。确定平台适配性和训练流程。通常模型训练平台具有从数据预处理、（1）模型训练平台是否包含需要的基础大模型或基础行业大模（2）数据标注平台是否可以提供数据标注作业、场景数据挖掘（3）训练和部署加速库是否具有加速组件，相应加速组件会有（5）部署兼容性，行业用户需要评估希望部署的平台与行业大（6）模型加密，行业用户需要确认是否需要针对内置的模型加目标主要为风险预警精确率、召回率、F1值等；在客服顾问场景，果行业用户的场景目标为智能客服领域，模型应选择NLP大模型。CV大模型主要用于机器视觉，CV大模型可以在图多模态大模型主要用于跨模态场景，其相较于NLP类大模型，的整体效率。模型训练平台会预置多种AI2021证集可以用于模型超参数（hyper-parameter）的调整，以及过模型训练应采用分布式并行训练技术，在训练过程中使用GPU模型并行是指在多个设备上切分模型参数到各个GPU，每个设备输2223参数高效精调（PEFT）一般针对特定的参数进行有效微调。常用的参数高效精调技术，包括模型蒸馏（distillation）、适配器训练目前在行业大模型精调中，参数高效精调（PEFT）的主流方法24保证参数高效，通过加入到更深层结构中的PrOmpt能给模型预测带许更多的每个任务容量，而它仍比原预训练语言模型会小得多。25对于NLP类型大模型而言，其评估维度可以包括功能覆盖度、确率、召回率、F1值等，必要时需要引入人工进行主观判断，以保功能。性能评估可以通过准确率、召回率、F1值、命中率、平均交262728第三章大模型标准体系先行，全面建立能力指标体系293031323334顾、文档处理、知识管理、客服等通用场景3536373839学科的支持度和对知识问答、教学辅助、学习辅导等场景的支持度，课程大纲、教学方案、个人学习计划等能力项。能力指标可从记忆、服务方式、交互形式等，服务稳定可考察教育4041全隐私和系统成熟两个能力子域展开，安全隐私性可4243第四章行业大模型应用“百花齐放”，价值不断释放4445l需要工作人员针对景区运营和历史文化材料进行大量的整理l客户提问需要精准匹配问答标题才能得到想要的预设好的回）；46在金融领域，传统的OCR深度学习模型不具备阅读理解和推理据的自动化识别流程，信息录入准确率提升50％。47图24传统建模与金融风控大模型MaaS建模效果对比3—4个关键词；指定字数的内容摘要，正文陈述新闻