2023-AI行业：华为+AI大模型开源生态及大模型平台实践

Al大模型开源生态及大模型平台实践

CONTENTS01

●生态基石：

AI

大模型开源生态发展洞察分析02

●模型底座：华为AI

大模型全景架构及应用案例03

●平台架构：大模型平台技术架构及技术分析01生态基石：Al大模型开源生态发展洞察分析ChatGPT:在GPT-3大模型的基础上，通过100

人标注1年高质量人工数据，强化学

习所训练出的大模型图像生成：stable

diffusion、DALL

·E2、紫东.太

初等业界知名的可以进行图像生成的

Al模型均是大模型2022年ChatGPTAI螺旋上升式发展、重大变革机会，从感知理解世界到生成创造世界，

A

I增长新曲线Al重点事件里程碑

1956年达特茅斯会议定义：Artificial

intelligence2007年视觉识别超过人类2020年Alpha

Fold蛋白质结构预测感知理解世界分析数据给出建议产业辅助生成创造世界合成数据创造结果新产业控制论

NLP

CV

深度学习

GAN1997年深蓝机器人战胜

国际象棋大师Stable

Diffusion*图片生成Al产业发展

“三叠浪”安防-视觉

互联网-推荐ChatGPT文本生成Al技术里程碑专家系统17%->58%Al4S增大模型方法优势劣势难度可行性增加模型参数蜡大模型根本方法；(1)模型结构需要基于先验设计；(2)结构与参数需要复杂设计过程：(3)参数提升，工程训练难空施之提升；高高增加训练数据能与模型解械；(1)增加数据是昂贵的行为；(2)数据来源无法保证多样性和均一性；中中增加训练轮数充分利用模型容量：过多训练导致模型过拟合低低增加模型参数是当前曾大模型容量的最可行方法·

提升模型参数和增加训练数据见效最佳为什么近年模型容量提升速度却在放缓?·

模型参数持续提升，当前模型性能提升逐渐趋于平缓

·

模型参数提升带来了极大的成本提升

LLM

从量变到质变

从chatGPT和更多实验中发现，语言模型规模超过一定阈值产生了超预期的能力涌现，比如语言理解能力，意图理解能

力，多轮对话记忆能力等；大规模语言模型(LLM)所涌现出来的能力超出预期，使得LLM成为技术演进方向文章重点考察了小样本提示任务中各种模型的涌现能力

更大规模是否能够促使更多涌现能力，

LLM

规模天花板在哪，将是NLP

未来的重要研究方向增

加

模

型

参

数增

加

训

练

数

据>

增减训练轮数

增大模型容量有效办法

互联网爬取海量数据GPT-3无标注数据自监督学习大规模分布式训练ChatGPT:

大算力+大数据=大模型，人工反馈强化学习增强模型效果ChatGPT2022年12月参数：1750亿

数据：45T+X敢于质疑、上下文理解、连续对话能力

承认不知道、用户意图有效捕捉……ChatGPT

是在GPT-3

的基础上，通过高质量人工数据进行强化学习所训练出的模型基于人工标注数据增量训练GPT-3代码数据100人标注1年高质量数据(2000字文稿)效果：单一模型统一所有NLP

任务，超越现有模型问题：会生成错误信息，结果不可控GPT-22019年2月

参数：15亿

数据：40

GB催熟算法架构解决了GPT-3

的问题，实现90%+的准确性

生成创造，已接近人的水平GPT-32020年6月参数：1750亿

数据：45

TB参数量提升10

0

倍数据量提升

1

0

0

0

倍RM

对生成结果(代码)准确性评价好坏(强化学习纠偏)GPT-12018年6月参数：1.17亿核心训练流程ChatGPT评价数据洲导

模型选代人工标注数据&强化学习评价模型

RM基于人工打分

数据训练ChatGPT生成结果(如代码)高素质领域专家参与数据标注和增强工作可显性化的推理范式与基于人类反馈的迭代更新GPT-3:

海量数据无监督训练，具备很强的上下文学习能力GPT-3.5:

代码微调+指令微调学习，具备可显性化的思维链和推理能力GPT+RLHF:

具备向用户偏好对齐的能力，答案更符合人类预期50+

研究人员5年探索研究巨量的通用领域无标注数据 GPT-3:

从45TB

原始文本语料筛选出570+GB

高质量数据(约3000亿单词)GPT-3.5:

训练数据包含5400万个代码库，仅Python

语言就有159GBChatGPT

模型还涉及自建/第三方客户/线上用户等来源的数据ChatGPT

成功关键：庞大算力支持+RLHF使模型更对齐人类语境+高质量数据持续训练

GPT-3->InstructGPT

至少需要10万条高质量标注数据，

ChatGPT

则需要更多庞大的算力

未

来

GPT模型注入企业内部领域知识则需要构建额外的高质量标注数据训练：

992块GPU(A10080GB)推理/路：

8块GPU

(A10040GB)训练/次：

460万美元总训练成本：

1200

万美元ChatGPT

生成文本5万条越高质量

人工标注数据检

数

评检模型

(RM

0000RM

对生成文本内容评价好坏ChatGPT

训练阶段引入RLHF

微调范式，指导模型对齐人类语境高速旋转的数据飞轮、大算力驱动模型更快的进化高质量的垂直领域人工标注数据Al治

理

与

伦理月活1亿，且

声期不集容户

数制，用于模型

练1

.5万条超高质

量人工标注数据数拇ChatGPT快速自助料错RLHF

带来的威力·

有效的回应：·

用实的回应：默认倾向长答案·

公正的回应：特别针对政治事件·

拒绝不当问题：利用RLHF,chatGPT

性能领先一众模型：如左图，

chatGPT

输出4个结果都对·

对话者更倾向于“业界先进企业一

般<100天”;其他回答对于对话者无帮助；即

，RLHF目的是提升chatGPT

输出

答案有效性；什么是RLHF?RLHF:

Reinforcement

Learning

from

Human

Feedback即，人类反馈的强化学习：增强了人对模型输出结果的调节，并且对结果进行了更具理解性的排序。为什么需要RLHF?华为2022年纳税额?策略模型

理

多

输出结果

60分全国排第二位更新模型98分全国邦第二位.672亿人民节；打分第二步：对答案优劣排序，训练奖励模型

老

师

阅

卷

：

通

过OpenAl开放的若干API

收集数据(模型对同一

问题的不同回

答),收集人类的评分并排序，以此数据训练奖勤模型，告诉机器人类的喜第一步：精心标注语言以Prompt方式微调模型学生刷题：

OpenAl

招募了40位专家，标注了5万条高质量数据，有监督

微调训练模型，通过样例学习教会机器理解人类prompt

包含的意图，并·

我也不知道，请你告诉我；·

那资产负债率多少合适?·

不能过高也不能过低?业界先进企业

一般<100天学生模考：

从数据集中采样prompt

样例，从监督模型初始化策路模型，

使用奖励模型考察策略模型的输出，类似模拟考提升策略模型的效果。第三步：通过强化学习训练出策略模型

ChatGPT

过人之处：

RLHF基于人类反馈的强化学习

Why

RLHF?

华为主要经营范围包居，无线通信设备。滴费电子产品，数字能军，光清信，新能涵汽车…chatGPT

How

RLHF?

企业运营效率多少最为合适?学为们立于1987年。

60分：95华为是一家满信公司。9分：信意评原华为土要程贯范围包况

无线活信没备，同费行

们

分

市

库四据此给出回答。华为主要经营范围有影些?a举为主要得营想围有

哪

?问题回答0分：无关信息奖励模型好

。人模型名模型架构参数量算力框架GPT-3Dense

Decoder-only175B10000

V100pytorchMegatron-530BDense

Decoder-only530B2240

A100pytorchGShard-M4MoE

Encoder-decoder600B2048

TPUv3TFGLaMMoE

Decoder-only1.2T1024

TPUv4JaxPalmDense

Decoder-only540B6144

TPUv4JaxGopherDense

Decoder-only280B4096

TPUv3Jax悟道GLMDense

Decoder-improve130B768

A100pytorch·

参

数

大

：GPT-3/ChatGPT

训练数据量45

TB

相当于170个维基百科；单次训练算力费用高达2000万美元(OpenAI

万

卡V100/A100

持续迭代3

年);·

模

型

老

：ChatGPT

模型闭源，国内存在1~2年差距；

科研团队、算法公司积极参与算法创新需要大算力支持。·

全栈技术难：ChatGPT

大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求；·

行业结合难：优质模型+专业知识投入+厂商AI技术支撑，是大模型可以产业落地的关键ChatGPT

国内商业化落地，对算力集群软硬件提出全新挑战ChatGPT

是大算力、大数据驱动的大模型，通过人工反馈强化学习增强模型效果模型训练、推理的技术挑战集群建设的挑战模型和数据解决方案ChatGPT

模型基础软件

数据硬件●

智谱AI●

垂类初创等云服务变现ChatGPT

PaaS/SaaSlaaS云服务器硬件●

OpenAI●

微软Azure●

微软：

New

Bing,对google

发起挑战●

百度：文心一言嵌入百度搜索●

360搜索等其他搜索公司●

科大讯飞：新一代智能客服●

哔哩哔哩：新一代虚拟人业务升级传统推荐式搜索

精准问答式搜索PGC-UGC

AlGCChatGPT

商业模式：云服务、传统业务升级、垂类解决方案下游：应用与分发内容生产厂商内容创作应用服务商内容分发平台1)协助用户使用模型和算法生成内

容，如图像、文本、语音等。2)将生成的丙容分发到各种渠道，如社交媒体、娱乐平台、新闻媒体等。中游：模型开发与定制算法开发训练深度学习模型二次开发定制化模型1)使用注释数据开发和训练AL

模型以生成内容：2)在垂直细分领域进行模型的二

次开发，以便适应定制化需求。上游：数据供给数据收集数据标记数据预处理收集大量原始数据并对其进行

预处理，以便提供给模型训练。Microsoft

MetaFlorence

(视觉识别)OPT-175B

(视觉识别)Turing-NLG

(对话系

M2M-100

(语言理解

统)

生成)现有产业链拆解：数据供给→模型定制→内容分发OpenAI

stablity

ai理解)、生成、

Dision

(

语

CLIP&DALL-E

言理解与图像

(图像生成)生成)IBERI

(语言理解与

生

成)Bard(聊天机器人)DeepMindIGato(多模态)|Gopher

(语言理解、1生成)AlphaCode(代码代码代码生成代码纠错

代码优化

App制作视频智能渲染视频剪辑素材匹配

特效生成音频AI编曲Al配音

有声播客

会议还原图像绘画生成Al换脸

画作修复广告制作文本邮件撰写会议纪要

文案策划

对话聊天nVIDIA

Megatron-Turing

NIG

(语言理解、

生成、推理)GatGFT

(

语生

成

)上下游各赛道百花齐放，商业模式持续探索以ChatGPT

为代表的AIGC行业，上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等，中游主要包括文字、图像、音频、视频等数字内容的处理加工方，下游主要是各类数字内容分发平台、消费方及相关服务机构等。数据供给方(业务数据联通、素材数据收集等，如第三方营销

公司、版权图库方等)相关算法/模型研究机构运营增效智能客服、简单决策等自动实时交互创

作

者

生

态生物资产、内容素材、

音视频等多模态内容底层配合工具渲染引擎、混音设备等数据分析标注自动标注工具、图像

分割算法等相关开源算法个性化市场营销广告植入、品牌虚拟形象打造、营销内容生成等数据梳理内外部数据分析及更新、数据分析及算法训练内容制作工具音频/视频编辑工具、新闻采编、游戏制作等内容设计视觉设计、文案设计、结构设计等各内容创作及分发平台基于AICG激发PGC

及UGC

活力内容终端生产厂商新闻媒体机构、金融机构等第三方内容服务机构MCN

公司、公关公司等周边售卖NFT、

个性化产品等嵌入/结合能力的业务平台/业务生态第三方

分发渠道消费品

厂

商AIGC

内容检测上游下游中游头部公司聚焦基础设施+大模型，初创集中各领域应用层模型底座：华为Al大模型全景架构及应用案例高并发分布式训推框架·

多维混合并行：自动寻优，数据、算子、pipeline、

模型自动切分，大规模并发执行·

多级存储优化：全局内存复用、稀疏特征缓存，CPU/NVMe

offload大规模集群算力稳定输出·

芯片内置200G

网卡，

NPU

规模从1

K→8K

·

千卡规模集群线性度55%→80%高阶Transformer

API分布式并行、异构计算、内存优化策略自动生成

超大样本自动切分多维混合并行

数据并行

模型并行

流水线并行

优化器并行

MoE并行

多副本井行多级存储优化

内存复用

重计算

ofoad

ap

稀疏特征缓存

NVMe

OffloadSwPU&C·

NLP

、CV、多模态、

AIGC

等12+基础大模型，

E2E

极简、开箱即用高效微调+小型化部署·

微调组件：

5%参数微调即实现全参精度调优

·

小型化组件：量化/蒸馏/剪枝/部署一站式工具链，多维混合压缩20

X压缩比，精度损失<0.5%华为大模型方案：集群全栈软硬件能力，使能大模型开发、训练、微调、部署产业化落地案例大模型部署组件模型压缩模型加密服务化部署微调框架Prompt

TuningHead配置化Prompt

模板分布式

微调多模态Prompt跨模态像

0T3

ap

语

Subie

言

DiviionMetricsUtilsTask图购任务贯供pipelineNLPBET

T5GP1大模型

使能层MindFormersAI框架昇思大模型统一服务平台CVwtsww-TDERI大模型在线微调

推理服务平台ModelsTansfomer

MHA

FN开放服务平台Tools模出转换数据标注分调切词大模型预训练模型市场昇腾硬件社区竞赛

社区活动大模型微调组件大模型开发套件预训练

检测大模型培训Data

Module预费理/下世

[mb

昇腾大模型沙盘，构筑中国大模型创新高地基因研究

药物研发鹏程.神农已发布城市治理

防灾减灾变化监测

地物分类武汉.LuoJia已发布基础大模型海河.谛听发布科研创新使能计划，推动大模型研究与创新盘古NLP已发布自然语言处理鹏程.盘古已发布鹏城-百度

·文心已发布盘古CV

城为云已发布计算机视觉素东太初.智能决策博弈智能盘古电力已发布电力盘古矿山已发布煤矿智能客服

金融大脑金融MEGA-Protein已发布流体仿真推荐搜索互联网紫东太初.多模态已发布人工智能科学计算秦岭.用语即将发布皮带异

物识别智慧城市生物医药智

能

巡检2008,4096卡11084096卡多模态100B256卡语音遥感华为云华为云中

陋

基减碎为率业界AI框架均已开始布局大模型技术，探索通用AI能力

主流AI框架开始从并行及存储优化能力探索支持大模型

-2021—

DeepSpeedMicrosoftFairScalefacebook.Mesh-Tensorflow

·

算子级模型并行

·

MoE并行GoogleTensorflowMegatron-LMnVIDIA.·

Transformer草子级模型并行·优化器并行·

PipeLine并行、

稀疏Attention、·

优化器并行、流水并行基于PyTorch

扩展的框架根据Transformer定制并行策略，

TensorFlow

也正探索框架内支持大模型技术PyTorch

based英伟达、微软等基于

PyTorch扩展开发·

Transformer

流水并行、重计算·模型NVMe

存储·算子级模型并行

(部分特性拓展到/GPU)·

算子级模型并行

(仅TPU)TensorFlow

based·

MoE支持

异构并行IDCPyTorch:33%

飞桨：26%TensorFlow:22%具思：8%其他：7%+OMDIAQ11h,2sant,n

Oslbs,MwsoransEgyiby中国开发者主类人工智经程量使用事拼名满

私PyTorch:34%

TensorFlow:30%算思：11%飞桨：11%其他：14%+样本总量531个(通盖7大领域)(教房利研常：因求实控度，中利院实教意，家级实验室，高收兴生等)样本总量350个(涵盖10大行业领域)互联网：5(143%)金融：40(114%)零售：20(5.7%)制造：40(114%)医疗：25(7.1%)能源：8(23%)物流：7(2%)交通：7(2%)教育：30(8.6%)ISV:100(28.6%)其他：30(8.6%)全球学术生态份额PapersWithCode网站2023年Q1

排名PyTorch

:60%(2168repos)界思：7%(243

repos)TensorFlow:

5%(179

repos)JAX:1

%(21repos)飞桨：0

%

(

3

repos)其他：24%(1014

repos)2023年Q1基于异思的顶会论文243+(连续全球第二)Pytorch:

起源学术界向工业级渗透，经过8年已

成为业界领导者；飞桨：

依托上层应用套件得到部分行业认可；昇思：学术生态具备一定规模，产业影响力不足；互联网：158(30%)教育/科研交通：100(19%)金融：59(11%)数字政府：48(9%】通信：59(11%)医疗：32(6%)国内深度学习框架市场份额现状国内AI框架市场份额调研TrendsFrameworkstesafenAI框架持续迭代和升级，大模型、

AI4S

、

动静统一是主流技术趋势二、

AI

for

Science,融合AI和HPC

技术生态·

融合编程，数值方法和AI方法融合高效混合编程·

融合计算，AI和HPC

负载混合、异构硬件统一加速一、超大模型，高效能训练和推理·

千亿参数、

K级~万级集群高性能、高稳定训练·

大模型及下游任务，高并发、低时延极致推理服务AI框架随AI产业迭代演进的四个阶段

AI框架的技术挑战和趋势·

生态锚点从API趋于模型和套件，简化端到端全流程·

动态图和静态图统一，兼顾开发效、执行、部署效率动静态图能力兼顾大规模分布式三、

易用性覆盖开发、训练、部署全流程201

0~20142015~2017学术科研

编程加速库性能优先静态图为主灵活性优先动态图为主DNN

在CV领域突破大规模研究与应用AI4S、大模型、GPT.2021至今20182020NLP持续突破昇思持续演进，

MindSpore

2.0全新技术升级原生支持大模型，从AI框架走向AI+HPC

融合三方框架兼容兼容各类开发接口，降低

90%迁移成本编程门槛降低API完备度大幅提升，文档及

工具进一步完善融合AI与HPC,融合计算科学计算加速库，支持250+科学计算

API自动并行，开发效率提升2倍+加速应用创新统一微分自动微分引擎，自持高阶高维

混合微分，性能加速5倍+分子模拟套件

99.99%自然界蛋白质预测范围电磁仿真套件

10x米级阵列天线仿真速度流体仿真套件20x机翼气动仿真效率端边云全场景部署统—API,

模型格式免转换，支

持7

种主流OS,

16

种硬件2020.09MindSpore

1.0

全场景AI框架动/静态图能力提升动态图执行性能提升，静态

图语法完备，编译性能提升2020.03MindSpore正式开源夯实全场景AI能力，全面提升易用性MindSpore

2.0

AI融合框架MindSpore

1.5

原生支持大模型MindSpore

1.8

全面提升易用性Now

[M]‘

异思2021.092022.04生态足迹走进国内大中城市京津冀中西部

长三角成渝人工计算中心粤港溃与高校、科研院所及企业进行全方位合作·

大模型合作·

论文基金项目合作

·

众智项目合作·

行业方案合作昇思MindSpore

行业生态5500+

服务企业金融、医疗、制造、数字政府等昇思MindSpore

技术生态400+

600+会文已发布紫东.太初、鹃程.神农等10个创新大模型昇思MindSpore

开源生态1.3w+

献

3

0

sg担为开源社区贡献代码、提交issue/合入PR昇思2020年开源至今，汇聚行业、科研及开源力量，正在繁荣发展MSG国内22座城市、

海外7个国家成立(俄罗斯、新加坡等):举办开

发者线上、线下活动；联合启智社区已举办31场校园行Gitee

AI开源项目综合排名TOP1师资培训、企业行在遍布深圳、武汉、上海等开发者遍及全球下载量480万+重点区试算力同·

新增Expander微分机制·

新增Trace的Graph

Capture机制·大算子融合·动态算子下发流水化动态图执行性能：

平均提升50%(vs

1.10版本)·静态图语法完备提升(60%->90%)·

JIT

Fallback支持使用三方库(numpy、sklearn等100+三方库)·

Cell级编译复用，大模型编译大幅提

升Jit

Fallback

:支持编译/运行时回退Python

执行Cell编译共享：干亿盘古编译性能大幅提升盘古Alpha

17581.10版本教程文档完善丰富实践案例/配套视须教程/优化API文档官网使用体验优化官网结构忧化/在线CodeLab体捡优化/搜素优化丰富社区资源丰富经验、问题案例/专项团队支撑，问题快速闭环网络动态执行性能提升Resnet10133%Resnet185%Densenet12146%inceptionV458%inceptionV360%Bert-base92%接口类别接口数量接口占比迁移工作量网络表达类141480.57%50%数据处理类1528.66%40%执行流程715.05%10%·

新增400+API接口，覆盖90%Pytroch计算和数据类API·

支持120+

Pandas

API·数据处理支持Dict类型·

函数式+面向对象融合编程新范式·API

文档全面支持中文·优化报错机制，提供系统化指导·

MindSpore

Dev

Toolkit:支持API

映射扫描，提供VSCode

智能代码补

全插件开发态：编程门槛进一步降低API完备度大幅提升

文档及工具进一步完善基础能力全面增强，易用性扎实提升动态图执行性能提升

静态图语法完备，编译性能提升API完备：接口覆盖90%

PT

API,

降低90%的迁移、学习成本，模型脚本做到一行代码迁移文档工具完善：优化API文档和官网使用体验，重点输出问题处理案例部署态：动/静态图能力进一步提升编泽时间开发&训练高模块化，开箱即用·

覆盖CV/NLP/AIGC/Rec

等热门领城，10行

代码实现模型定义、训练、微调和验证·实现典型模型开发效率月->周级别MindFormers预制预训练模型GpT

VT/MAE

BERTBLOOM

LaMA预制下游任务文本生成

问答图像分类

填词MindDiffusion预制预训练模型俗空满画

SD

TaichuGlide预制下游任务图像修复

图像拓展

图家编辑MindRec1.支

持TB级推荐模型2.

支

持Ascend

异构平台的hash

table微调算法无loraprefixlowrank-adapterbitfit精度0.5550.55120.54200.55700.5517微调参数量1(26Z)0.01670.0550.01580.0150内存

(静&动)9752M+19245M3808M+18994M5504M+4232M3800M+23267M3768M+18665M部署高性能部署·支持干亿参数单卡推理·支持百亿大模型分布式和增量推理，平均

性能30ms/tokenMindSpore

Lite多种优化特性微调低参微调，降低内存·在5%参数量上持平全参微调精度·降低30%的计算内存，有效提升吞吐量原生支持大模型，实现训练-推理全流程技术闭环MindPet多种低参微调算法LoRA

BitFit

Adapter

LowRankAdapter

PrefixTuning4

633.4

ms

43.2

msBatchSizeAscend

910

4卡8

1303.0ms

52.1

ms基于盘古sigma-38B实验1152

ms运行环境33.5

ms自

动

并

行分布式推理图优化多酒言接口增量准理

AOE

优化基于盘古alpha

实验MindSpore

SPONGE

1.0,架构全面升级，新增20+生

物计算SOTA模型，覆盖药物研发全流程，包含抗体序列

设计、蛋白质动态结构解析等超级应用，计算、实验双重

验证有效，

效率提升10X+

;MindSpore

Flow

0.1

,构建基于物理、数据和数据机理融合驱动的三种AI流体仿真技术以及端到端可微分的CFD

求解器；提供流体领域案例14个，网络模型8个；MindSpore

Elec

0.2

,构建端到端可微的时域有限差分FDTD

求解器；完成大规模阵列天线的电磁仿真，精度媲美

传统方法，

性能提升10X+

;融合计算框架，

兼容Python生态，支持Numpy

接口

200+,Pandas

接口100+;支持微分方程表达Sympy;

丰富的微分能力，支持高阶高纬微分，函数式

微分；支持稀疏计算。创新打造AI+HPC

融合架构，广泛支持科学计算联合高校/开发者构建领域套件，涵盖各领域SOTA模型/常用数据集/前后处理，各领域全流程打通，支持三大科学智能范式高效开发编

评

级

存基础能力编译优化

融合表达

融合计算循环半展开

符号计算

多语言后第

高阶微分

复数变量表达

自动并行

数值求解对接Numpy/ScipyAI4S

框架套件基础模型套件MindEarthSciAl科

学

智

能

创

新场景应用蛋白质设计水分子团绩性质预测昇腾/鲲鹏化学文献气象预报化合物设计流体仿真MindSPONGEMindElecMindFlowMindMaterial领域套件模型规格I

magenet

ik

acctopl牌比相累bs/8:ms/step性航对比(倍数)业界SOTA

Toolkit

1业界SOTA

Toolkit

2MindGVVSToolkit

1VSToolkit

2Toolklt

2

+A100MindCV+910Avgg1972.3872.377521+2.83+2.8485.6581.131.06resnt34733175.117415+0.84-0.9649.1623.982.05densenet16975675.9177.26+1.66+1.35128.473.141.76seNet3474.817536+0.555650.541.11gcogLeNet69.7872.68·2.9542523.262.33nceptionV377.2977447911+1.82+1.6796.961.751.57xception79.0579.01-0.04120.569831.23SqueezeNt158.0959.01+0.9235.6228.181.26mobilenet

v2718872.977218+0.30.7951.5129.91.72mobilenet

v3imall67.6767.6567.81+0.14+0.16125.0784.151.49hmetw3278.4580.64+2.19226.46126.491.79repvgg81783678.81+0.4583.3468.881.21comnetsmall83.6283.7183.40.220.3167272405.961.66ptv2bl78.697891+0.22609.88337.9418MindSporeYOLOMindSpore

AudioModel

Zooyolov3/v5/v7/.wavegrad/deepspeech2/tdnn训练策略数据增强10+训练策略组件loss

EMAoptimizer

schedulercutmixrand

augrepeated

aug

auto

aug基础组件数据create

datasetcreate

transformscreate

loader模型create

modelcreate

losscreate

optimizer辅助visualizeexportmetric根型规格精度精度对比相同bs/8长：ms/step性能对比(信数)业界SOTA实线MindOCR业界SOTA实裁

+A100MindoCR+910AdbnetResnet5082.3884.99+2.61468.57414.291.13crnnResnet3483.9984.45+0.4679.2476.401.04利用A+M

亲和训练策略、混合精度、数据下沉等关键技术

CV/OCR

领域关键模型精度性能领先CV基础骨干模型(训练)模型FPS看吐率性能对比(倍数)业界SOTA实践MindOCR+310pdbnet+cmn10-1217-181.2+丰富北向领域套件，降低开发门槛，加速AI场景化应用集成主流SOTA

模型、易用数据/模型接口，开箱即用resnet/mobilenet/vit/.dbnet/crnn/svtr/.OCR文字检测/识别(训练)MindSpore

NLPMindSpore

OCROCR文字检测/识别(推理)MindSpore

CV预训练

模型MSAdapterAPI(nn/ops)/数据处理兼容/微分管理等MindSpore

核心引擎前端API表达NN.Nu

mpy.SciPy.

Pandas等编译优化动/静态图、自动微分、分布式并行、图算融合、高阶被分等运行时管理整图下沉、异构并行、分布式并行调度等硬件抽象层第三方生态模型迁移开发

兼容各类开发接口，降低90%迁移成本MSAdapter

工具：<15%代码，全流程实现模型迁移联合启智社区完成70+主流PyTorch模型迁移模型平均迁移周期1人周数据处理代码一致150+数据处理API兼容模型表达代码一致

1000+模型表达API支持第三方框架兼容，实现低成本迁移Pytorch

模型库/开发套件/工具组件/..三方生态1人月◆

基于昇腾昇思的紫东太初2.0-3.8B模型，开源图像-

文本多模态部分◆

相比紫东太初1

.0,支持更细粒度的图像识别、更具知识的视觉问答、更丰富的图像描述紫东

·太初2.0首次提出全模态大模型图像语音

多通道语言

视频3D使能中科院-紫东

·太初升级2.0,从三模态演进到全模态的大模型紫东

·太初1.0全球首个三模态大模型视觉高效协同文本

语音紫东

·太初2.0:全模态大模型

基于异思社区开源：紫东太初2.0-3.8B图文Chat机器人音乐+图片

理解与生成三维场量

理解与对话法律案件拆解分析神经外科手术辅助+新媒体全媒体创新开发平台+手语手语虚拟人+医疗互联网

虚拟医生1000亿参数

2021正式发布跨模态行业应用创新干亿参数

2023发布全模态行业应用创新紫东太初2.0-3.8B相比1.0版本全面提升·更高集群线性度：512卡集群线性度高达96.5%·更强分布式计算：多维度混合全自动并行，训练性能提升38%·

更优图编译能力：

支持算子自动融合及调优，训练性能提升43%·

支持异构计算：

Ctrl-CPU支持整图下沉计算，训练性能提升

18%

昇思MinaSporeRBO

序列突变概率输入4亿蛋白质序列高通量第选算法觉词支撑新冠疫苗和药物研发提前部署通过6.3*1022

次运算实现演化模拟领先于新冠病毒进化5个月时间联合鹏城实验室发布鹏程.神农，入围戈登贝尔新冠特别奖首个面向新冠病毒RBD

区域变异的全环节模拟流程

异思：大规模集群分布式计算的极致性能Ascend鹏城云脑Ⅱ基于昇腾基础软硬件为本项目提供：4096卡/1000P算力鹏城实验室模型与算法研究高院士领队该研究入围戈登贝尔新冠特别奖联合

创新

RmingAbuadof

kSABS-CV2Vnmtststin-Alaud

Sindlutiont

PeftinRBD

区

域提取所得约束数目约束信息正确率耗时FAAST164099.5%<1

hour传统方法103099.5%>3

month抗体序列设计-A4针对病毒快速生成或改造抗体，得到高活性、高可用抗体，助力抗体研发0micron

BA5Omicron

BAQ1.1原始序列强活性弱活性A4设计序列强活性强活性动态蛋白结构解析-FAAST全自动解析取蛋白质动态结构，解析时间降至小时级，助力药物研发FAAST:<1小时·AI+

约束蛋白质结构预测模型交互迭代AI方法与传统

解析方法·

全自动解析蛋白质动态结构传统方法：>

3

个

月·传统解析方法单条数据解析需专家投入一年·

AlphaFold2仅能解析

静态结构助力昌平实验室，打造AI4S

两大创新场景应用传统抗体设计方法速度慢成本高依赖人工经验抗

体

设

计

模

型A4基于多段功能区域的联合分布生成抗体序列还可针对特定抗原的生成抗体序列新方法氨基酸平均约束数目15-20,符合实验组要求

·

单结构解析时间约1小时，

全程自动化·计算验证有效抗体数量对比传统方法15倍提升

·实验验证针对多种毒株有强活性24%的A4模型生成抗体可发展性超越原始抗体相比传统方法提升15倍实现全自动解析，性能指数级提升，实验验证精度持平验证结果：

A4

设计的抗体针对多种毒株有效FAAST超级

应用实验验证超级应用实验验证A4支撑行业用户基于昇思套件，加速金融AI业务上线开发训练1周/模型主流模型覆盖开箱即用业务迁移仅需适配数据集分布式训练周>天全栈软硬件协同优化8卡分布式训练缩短周期MindFormers多维度混合并行：数据、模型、

流水线、MOE

并行多维存储优化：内存复用、重

计算、CPU

Offload&SwapMindSpore

Audio·

主流ASR模型分布式训练

·

训练一键转推理，支持流式推理MindSpore

OCR·

主流模型支持·

训-推全流程全栈优化部署上线1天/模型保留原有服务接口

业务迁移<10行修改吞吐率提升5倍现金计数吞吐率从2>10fps

优势模型推理性能极致优化原模型

基于异思

原模型

基于异思精度

提升效率

提升95.8%基于异思某头部

银行昇思

领域

套件94.8%原模型92.1%原模型97.9%

98.7%92%

92.3%基于异思94.3%MSG

校园行启智校园行(6场)&

HPDC

高校分论

坛(10+场)、HC

高校分论坛(20+

场)、智能基座具思高校行(16场)专题Workshop社区治理类(技术/专家委员会，4+场)技术专题类(分子动力学/调试调优/开发者体验/10类大模型等，15+场)MSG

城市行城市自组织Meetup(20+

城市40+场)MindCon

极客周(6/12月各15+场)海外直播(12+场)开发者活动基础模型之夏、新版本集训营(4+场)

实战课程(4+场)、社区SIG/WG

会议(40+场)、开源实习国际开源大会PyCon

US、LFAI&Data、KubeConEU、KubeCon、ONNX

Workshop、

KubeCon

US相关赛事互联网+、绿盟杯、CCF

BDCI大赛、

信通院创新大赛、

GSoC、Kaggle、

异思Al挑战赛、异思AI新人赛国内大型峰会Valse大会、CCIG

大会、WAIC

开发

者论坛、ACM

图灵大会、1024程序员节、CCF

各类会议首届昇思峰会一起异思，突破创新边界汇聚政、产、学、研、用领军人物

共同发声，共同谱写具思价值加入昇思生态，社区全年200+场活动期待您的参与03平台架构：大模型平台技术架构及技术分析北京太罩。西安成都人工管旗计算中心翩城海南sM]

昇思鹏程.盘古

NLP

大模型鹏程.神农生物医药平台紫东.太初多模态大模型武汉.Luojia

遥感领域大模型大算力赋能大模型，大模型使能新应用，牵引生态聚合，加速产业发展各领域行业用户金融医疗互联网教育遥感制造盘古产业集群神农产业集群多模态产业集群遥感产业集群人工智能算力网络

使能大模型科研，收编大模型开发

推动大模型行业新应用落地

建立大模型产业集群“青岛上

海n大算力+大数据使能大模型赋能新应用大模型为先的新一代基础设施和工具·

有些需要大量资本，但是是新时代早期的好“工具生意”

·

更有效算力如芯片架构和算力系统·

网络和数据中心基础设施(如RDMA,RoCE

等)大规模训练，微调，推理系统·

数据系统，数据堆栈，如Embedding,

向量数据库和检索

·开发工具链：尤其是框架(比如基于Triton的)开源：模型、代码、数据集、设计等·

新一代尤其是跨学科/大模型驱动的科研发展计算系统文字符号系统叠加向量系统量子计算系统计算基板基于硅的(芯片)量子(电子、光子、离子、原子)基于碳的(生物计算)开发系统和环境：工具链、已发表的研究、开源软件、数据集、设计、信息安全、隐私、产权保护事的机会：数字化基础-大模型时代新一代基础设施和工具芯

片+模

块+操作系统：服务器、交换机、数据中心，卫呈载荷/呈座能力提供

通信网络、数据中心、数据堆栈、分布式系统、区块链能力供给

云、边球计算，Web3

(

信

任

)

、

模

型(

知

识

)数字化平台的解剖结构数字化发展基础④

Web-2移动互联同/云计算⑧

脑机接口⑨

量子⑩

生物基③

Web-

1个人电脑互联同①

个人电脑1

磁盘操作系统②

PC客户端

服务器⑥

元字由⑦

Web-3⑤

Al/边缘计算后

端设备前端体验画布文档、图片、音视频聊天(文本),代码空间、世界、人类(化身)生物/蛋白质/++感知刺激体验容器2D:查看/听取的页面枢架、文本3D:具体化的元宇宙XR-现实嵌入式

嘀机接口设备芯片+模块+操作系统PC、手机、手表、眼镜、耳机、可穿戴设备可植入设备、机器人、汽车、地点、设务(生物医学于)杀手级应用程序：垂直扩展，获取实质性的价值锚点：潜在的扩展——工具链、基础设施、硅堆栈锚点：未来的扩展——设备和设备计算系统文字符号系统

规模空前的商业机会：可能有未来第一家$10T公司的机会计算基板基于硅的(芯片)基于碳的(生岁

激烈竞争开始：OpenAI、微软、谷歌、创业公司、中国企开发系统和环境：工具链、已发表的研究、开源软件、数据集、设计、信息安全、隐私、产权保护后

端能力供给云、边缘计算。Web3(信任)、

模型(知识)网络、数据中心、数据堆栈、分布式系统、区块链能力提供

新平台：基于大模型的模型可延申能力，自然语言全交互界面

商业模式：为开发者和合作伙伴创造价值①

个人电脑/②

PC

客户端③

Web-

1④

Web-2⑤

AI1⑥元宇由⑧脑机接口磁盘操作系统服

务

器个人电脑互联网移动互联网/云计算边练计算⑦Web-3⑨

⑩量子生物基事的机会：数字化基础-大模型时代的新平台

完整：开箱即用，有足够的使用价值数字化平台的解剖结构