从AI云底座到AI原生云加速AIGC应用落地

从AI云底座到AI原生云加速AIGC应用落地李力腾讯云

副总裁LUI诞生AI与产业深度融合深度学习、NLP、CVAI原生应用设计理念与技术栈发生变化开发团队在云原生基础上，更关注AI原生AI原生正在重新定义产品设计、技术范式安全策略：模型安全、内容合规、伦理、版权等工具链：通过Pytorch等AI框架实现训练、评估、监控和应用集成基础设施：更高性能的硬件，AI加速套件GUI为主AI作为产业辅助Java、Python、Node.js安全策略：防火墙、入侵检测、权限控制工具链：通过K8S等工具实现持续集成/持续交付(CI/CD)基础设施：通用的算力、存储及网络云原生应用三大关键能力组成的全栈能力AI原生云平台，是企业的正确与共同选择。高效训推的胜任力 开发增质的支持力 广泛应用的承载力灵活接入

/

实践经验训练长稳

/

推理效率

/

算力供需数据治理

/

开发质量

/

安全防护AI原生驱动云厂商自我变革，从AI云底座到AI原生云AI云底座AI原生应用承载 反哺AI原生云公有云分布式云基础设施基础大模型行业大模型模型层开发工具AI辅助工程层产业互联网消费互联网应用层腾讯云全栈升级，携手行业伙伴提供场景化、模块化的AI原生工具链携手伙伴共建行业垂直场景方案&应用金融医疗泛互教育零售能源全栈安全防护模型训练提效

200%，加速应用开发充分利用GPU，资源利用率99%训练job训练job训练job训练jobAI框架：pyTorch

/

oneflow/

deepspeed等AI加速引擎：TACO-LLM

/

Pipefusion云原生调度星脉网络：3.2

Tbps

RDMA，提效200%CFS

turboGoosefs+

COS设备监控机器异常自研任务日志监控任务异常自研计算存储开源生态腾讯自研网络无缝集成内外AI生态训练任务异常恢复一键创建训练集群训练节点异常恢复一云多芯：提供丰富的GPU和国产芯片选择基础设施：AI原生训练与推理的超级底座智能运维OrcaTerm助手代码生成AI代码助手技术问答OrcaTerm助手工程平台：AI赋能AI开发工具，为原生应用的研发提效增质GPU开发空间HAI+CloudStudio应用模板

|

一键部署数据检索增强向量数据库千亿索引

|

RAG套件一站式精调TI平台定制模型

|

数据标注AI+工程能力基础大模型参数规模

万亿率先采用MOE架构已接入腾讯内部

600+产品医疗大模型同级SOTA（最优效果）水平，覆盖98%医学知识智能应用与模型：自研模型体系国内领跑，具备内外部丰富的AI原生实践行业大模型金融行业大模型 医学行业大模型教育行业大模型文旅行业大模型汽车行业大模型政务行业大模型……金融大模型百亿参数效果超越千亿参数模型安全防护：“打自己”凝聚安全稳固的模型全方位防护赋能安全AI应用安全AI本体安全AI内容安全Prompt安全测评模拟攻击者行为风险收敛自动化攻击样本生成自动化风险研判能力攻防演练第一轮安全演习AI基础设施安全第二轮安全演习核心数据安全第三轮安全演习安全有效性验证第四轮安全演习 未来上线前风险收敛 常态化演练数据准备模拟训练模型部署业务运营模型使用方 模型建设方AI推理AI原生云支持任意位置、任意方式构建AI原生应用客户使用应用直接使用已具备AI能力的应用API集成在开发应用时集成AI能力的APIRAG利用数据检索为AI模型提供辅助提示微调通过微调扩展已有的AI模型自训练从零开始训练自定义AI模型训练AI原生云本地专有集群

CDC专属可用区

CDZ专有云

TCE边缘可用区

TEZ任意位置、任意方式部署软件AI

Infra腾讯云智算套件HCC[CVM/CBM]高可用，超100小时连续训练高性能计算集群IHN高带宽，3.2T

RDMA网络智能高性能网络TurboFS高并发，千卡并发读写高性能文件系统Taco高加速比，提升1.5x-2.5x硬件多元设备丰富GPU和国产芯片适配 支持自研与第三方交换机一云多芯

软硬协同硬件多元设备公有云管控同源同构，向外延展中心IDCCDZTCETCS接入公有云管控专有云管控灵活部署全栈智算一云多芯软件加速框架支持专有云、分布式云多种部署形态满足客户自有GPU、自建智算中心需求经历公有云和自研混元大模型打磨沉淀应对智算木桶效应，推出算存网全栈方案适配多种GPU芯片和网络交换机支持混合部署，对硬件保持开放兼容重磅发