深度学习框架：算法集成和产业基础

深度学习框架：算法集成和产业基础国务院发展研究中心马骏马淑萍；百度在线网络技术（北京）有限公司胡晓光张军发布时间:2023-11-02【内容提要】人工智能发展离不开算法、算力、数据三要素，深度学习框架是加速算法创新和应用的基础软件，是决定产业技术水平的关键。在深度学习框架方面，我国与美国存在较大差距。美国的领先地位源自先发优势，也得益于科技巨头的大力推动，更重要的是生态体系导致的强者恒强。在大国竞争的背景下，应高度重视深度学习框架在人工智能产业发展中的关键作用，遵循产业发展规律制定长期追赶策略。【关键词】深度学习框架，人工智能，算法集成基于深度学习框架在自然语言处理、内容生成方面的能力，人工智能开始从解决单一任务向通用人工智能迈进，有望成为引领新一轮技术创新的关键技术。[1]大模型背后是新的产业结构体系，传统信息产业的基本结构体系为“芯片—操作系统—应用”，人工智能产业的基本结构体系则演变为“芯片—框架—模型—应用”。个人电脑（PC）时代美国的“Windows＋Intel”作为产业基础主导了全球产业发展，人工智能（AI）时代美国的“深度学习框架＋英伟达”可能重演历史。一、深度学习框架是人工智能产业发展的关键基础深度学习框架是围绕深度学习算法创新和应用形成的基础软件，包含算法开发、模型训练、推理部署等核心功能。基于深度学习框架，可进一步汇聚算法模型、套件工具等软件，构建服务模型开发至部署平台。国际上典型代表有TensorFlow、PyTorch，国内有PaddlePaddle、MindSpore。深度学习框架在产业生态中的关键基础作一是共享模块化工具，减少重复劳动。深度学习框架提供基础网络结构，如卷积、池化、全连接、多头注意力等，实现神经网络的反向传播计算，供开发者使用，让开发者在他人成果的基础上专注于更高层级的创新。深度学习框架不仅提供编译优化全局代码的静态开发模式，还提供调整局部代码即可获得执行结果的动态开发模式，二是提供开发部署工具，赋能产业链上下游。在开发方面，深度学习框架不仅适配各类硬件（不同类型的CPU、GPU），还可适用各类操作系统（Windows、Linux、MacOS、Android、iOS等），且支持多种编程接口（C＋、Python、Java及大量API等）。在部署方面，深度学习框架还可以提供全流程、全场景推理部署工具，支持服务器、移动端、边缘端、网页端等不同硬件场景。三是将学术创新直接转化为产品，成为科研创新商业化的桥梁。科研人员在视觉、自然语言处理等人工智能领域通过使用深度学习框架取得大量研究成果，部分成果会随论文一起发布开源。这些算法模型在开源社区快速扩散和不断演进，并转化为相关智能产品，是深度学习技术不断突破创新的重要动力。四是构建生态，实现正反馈循环。深度学习框架汇聚了科研人员、开发人员和应用部署人员，不同人群既从其中获得技术工具支持，也贡献出算法和数据。深度学习框架生态产业链上汇聚相关资源，互相支持、快速迭代，形成正反馈效应，加快产业生态创新的步伐。人工智能发展几乎离不开深度学习框架的支撑（图1），如OpenAI开发GPT系列大模型建立在PyTorch上。国内的PaddlePaddle深度学习框架创造67万个深度学习模型，如百度的文心一言大模型为20多万家企事业单位提供人工智能服二、中美深度学习框架差距较大美国是深度学习框架的起源地和领导者，形成了以TensorFlow、PyTorch为代表的多个主流框架。我国是跟随者，主要代表框架是Paddlepaddle、Mindspore，总与其他开源项目一样，生态是深度学习框架的决定性因素。性能是竞争的起点，但各个框架相互学习，在兼容性、便利性等方面逐渐趋同。生态决定了创新能力和速度，强大的生态参与者众多，网络效应强、协同效率高，带来的是贡献代码多、修订错误能力强、应用更加广泛。深度学习框架一般在GitHub上托管，GitHub统计“提交次数”“分叉数”“收藏数”“贡献者数”“项目使用数”等生态指标。美国在深度学习框架的生态指标方三、中美深度学习框架的差距来源分析美国在深度学习框架上的领先地位既反映其综合实力，也体现数字经济强者恒强的规律，我们要充分认识到创新追赶的艰巨性。西方学术界一直存在开源共享的文化，2007年蒙特利尔大学的YoshuaBengio和IanGoodfellow推出深度学习库Theano，2013年加州伯克利大学的贾扬清建立深度学习框架Caffe，对学术研究发挥重要作用。之前深度学习领域缺少完全公开全部代码、算法和各种细节的框架，导致很多研究人员多次重复实现相同的算法。早期框架的建立对于深度学习开源社区的贡献非常大，不仅打下了产业基础，也培养了大量人才。美国深度学习框架的领先都是建立在早期创新的基础上，如Theano创始人转向TensorFlow，成为主要技术骨干；PyTorch的前身是2002年发布初版的Torch，Caffe的创始人贾扬清于2016年加入Facebook，为PyTorch发展作出了贡献。而我国的深度学习框架起步较晚，如PaddlePaddle和MindSpore分别于2016年8月和2020年3月才推出。（二）得益于科技巨头的大力推动科技巨头不仅贡献大量源代码，也是重要用户，在产业生态方面具有极强号召力。美国顶级深度学习框架有四大阵营，包括Google领导的TensorFlow、Amazon参与的MXnet、Facebook倾力打造的PyTorch、Microsoft积极支持的CNTK。我国领先的深度学习框架PaddlePaddle和MindSpore，是由百度和华为两大科技企业支持。美国的四大科技巨头在实力和号召力上领先于我国同类企业，因此对深度学习框架的支持力度也更大。（三）依靠强大生态体系的正反馈效应不断巩固加强全球开发者大部分活跃在PyTorch和TensorFlow社区，社区积累的数据和算法越来越多，在使用中也越来越完善，而且用户形成了使用习惯，在工作招聘中也会占有一定优势。为进一步促进PyTorch生态的发展，2022年9月脸书公司将PyTorch移交给Linux基金会管理，为框架建立一个更加“中立”的家园，打造一个透明的社区治理机制，用户、维护者和社区开始将其视为可以永久依赖和信任的公共资源。创新生态汇聚了全球力量，以科研论文为例，根据PaperswithCode网站对Github仓库导入内容和检查代码的统计，绝大多数科研论文都是在Pytorch、Tensorflow等少数平台实现，这些平台由此积累的算法优势会越来越明显。科研生态的巨大优势帮助PyTorch获得了大量的用户，吸引更多美国顶尖高科技企业如英伟达、微软等持续为PyTorch生态做贡献，比如英伟达开源Megatron-LM以帮助PyTorch解决大模型并行训练的问题，微软开源ONNXRuntime以帮助PyTorch解决推理部署的问题。相比之下，国内的PaddlePaddle和MindSpore主要依靠核心企业贡献，生态体系的差距非四、我国需不断筑牢人工智能产业的算法基础（一）高度重视深度学习框架的关键基础作用第一，深度学习框架对人工智能企业发挥关键支撑作用。例如，PaddlePaddle的前身是百度在2013年自主研发的深度学习平台，在百度内部已经使用多年，支持百度内部各项业务。2016年8月百度开源了PaddlePaddle，在短时间内迅速成为全球开发热度（GithubPullRequest数量）增速最高的开源深度学习平台，这不仅为其他企业提供服务，也加快PaddlePaddle的发展，为百度人工智能业务提供更加强大的支撑。美国四大互联网企业都选定一个深度学习框架，作为各自企业人工智能产品服务开发的基础平台，形成深度合作关系。这些企业将框架开放，吸引社会力量参与，实际上也是帮助企业提升算法平台。第二，新形势下必须高度重视产业安全。我国的人工智能产业目前还是以利用国外深度学习框架、依托国外开源社区为主，对国外依附性强，存在较大的开源项目链断供风险。从理论上看，目前全球领先的深度学习框架，如TensorFlow、PyTorch等，均诞生于美国或由美国公司、基金会掌控，美国政府完全可以命令这些框架闭源断供。从实践上看，大国竞争的重点正是以人工智能为代表的高科技领域，美国政府已经开始利用关闭开源软件这一重量级“武器”，例如美国政府将一些中国企业列入“实体名单”，限制使用开源的安卓系统。因此，我国只有高度重视并建立坚实的人工智能产业基础，才能真正提升产业国际竞争力。（二）遵循产业发展规律制定长期追赶策略数字经济的竞争是产业生态的竞争，产业生态显著放大了先发优势与后发劣势。深度学习框架又是技术发展最快的领域，美国依靠科技和产业优势进一步实现强者恒强、赢者通吃。构建人工智能底层平台所需的技术要求高、周期长、投入大、收益慢，在美国已经形成先发优势背景下，大多数开发者包括中国开发者倾向于选择在美国平台上进行二次开发应用，进而形成全球开发者生态，产生正反馈效应。我国要突破生态系统的劣势并不容易，需要全面提高综合实力，并经历逐步积累，实现从量变到质变的过程。我们必须遵循产业发展规律从长计议。在策略上，首先要保持“紧密跟随”态势，不要掉队太远；其次争取在部分领域形成独特优势，支持国内产业发展，例如在工业应用领域，形成强大的开源生态；最后，要坚持积累、缩短差距，在生态力量积累到一定程度时，力争与美国并驾齐驱甚至实现超越。（三）建议政府部门和产业界共同商议对策思路从政策角度看，必须解决4个关键堵点：一是解决国内科研论文主要在海外深度学习框架上完成的问题。我国人工智能科研论文数量已经名列世界前茅，从科技交流角度和支持国内产业角度看，不应限制这些论文在海外平台上实现，但要鼓励这些科研论文在国内平台上实现，将论文优势转化为产业创新优势。二是解决网络对外开放的问题。要在网站访问、数据流动等方面提供便利，为全球资源汇聚创造条件。三是鼓励各种技术创新组织的创立和发展。例如，放宽对开源基金会设立的限制，鼓励社会资本参与，对于捐助的个人和企业予以减免税鼓励。四是鼓励国内深度学习框架在教育中的应用。支持企业在高校开设实践课程，鼓励青年学者利用国产学习框