人工智能大模型专题报告：方兴未艾并驱争先

人工智能大模型专题报告：方兴未艾，并驱争先报告缘起：AI趋势明确，大模型为关键环节全球AI产业发展趋势明确，波动中前行。自1956年约翰·麦卡锡首次提出“人工智能”的概念以来，全球人工智能产业逐渐进入学术研究和产业实操并进的阶段。尽管在算力性能、数据量、硬件成本等多重因素影响下，人工智能产业经历了“三起两落”的螺旋式发展，但全球人工智能发展的趋势仍然明确，通用人工智能（AGI）仍然是人工智能行业发展的主线。ChatGPT

加速推进AI产业发展，需求爆发倒逼供给创新。ChatGPT在全球范围内快速传播，在短时间内完成了对企业和用户的市场教育，需求端的爆发驱动着供给端加速创新，加快推动全球AI产业发展进程。IDC预测，2026年全球AI市场规模有望达3082.8亿美元，2023-2026年CAGR约26.7%。而AI作为下一代全球科技竞速的重要领域，我国从顶层设计到科技企业均积极参与，有望进一步带动国内AI产业发展。IDC预测，2026年，我国AI市场规模有望达264.4亿美元，2023-2026年CAGR约21.5%。政策重点支持，人工智能有望维持高景气。人工智能作为展现大国国际竞争力的重要领域，我国在顶层设计方面始终重视对人工智能产业发展的鼓励和引导，在关键技术投入、人才培养、人工智能赋能实体经济、基本伦理要求等方面均推出相关政策。政策积极支持下，我国人工智能行业有望维持高景气。9月1日，网信办发布第二批境内深度合成服务算法备案信息，百度文心大模型、抖音云雀大模型、京东言犀大模型、腾讯混元助手大模型等110款深度合成服务算法通过备案。随着国产大模型陆续向公众开放服务，有望加速产品落地进程及模型迭代飞轮，并驱动AI的商业化变现。产业结构：大模型是重要一环，AI时代的入口之争。从AI产业结构来看，大模型是连接底层算力和上层应用的重要一环，成熟的大模型能力和生态是真正实现通用人工智能和未来应用端繁荣的基础，拥有更强计算和推理能力、更高通用性的大模型企业有望把握AI时代的流量入口和话语权。竞争态势：格局明晰尚需时间，看好互联网巨头领先优势发展阶段：国内大模型百家争鸣，格局明晰尚需时间全球：中美领先发展，但行业格局或将相对独立。从全球范围来看，中美在大模型领域引领全球发展。其中，基于在算法模型研发上的领先优势，美国大模型数量居全球首位，根据中国科学技术信息研究所、科技部新一代人工智能发展研究中心联合发布的《中国人工智能大模型地图研究报告》，截至2023年5月，美国已发布100个参数规模10亿以上的大模型。中国亦积极跟进全球大模型发展趋势，自2021年以来加速产出，如2021年6月北京智源人工智能研究院发布1.75万亿参数量的悟道2.0、2021年11月阿里M6大模型参数量达10万亿等。截至2023年5月，我国已发布79个大模型，在全球范围占据先发优势。但考虑到数据安全、隐私合规以及科技监管等因素，我们认为中美的大模型市场有望形成相对独立的行业格局。海外：OpenAI

及谷歌双龙头+Meta开源追赶+垂类特色厂商的格局已较为清晰。从海外大模型格局来看，目前已经形成较为清晰的双龙头领先+Meta开源追赶+垂类繁荣的格局。同时，基于通用大模型能力已相对成熟可用，其上的应用生态已逐渐繁荣。得益于对先进算法模型的集成以及较早的产品化，OpenAI不仅展现了GPT在人机对话中的超预期表现，同时基于GPT的应用生态也已逐渐繁荣，微软数款产品（Bing、Windows操作系统、Office、浏览器、PowerPlatform等）、代码托管平台GitHub、AI营销创意公司Jasper等均已接入GPT。谷歌在人工智能领域持续投入，其提出的IeNet卷积神经网络模型、Transformer语言架构、BERT大语言模型等均对全球人工智能产业产生重要推动。但由于公司团队变动及更谨慎的产品化落地的态度，谷歌前期尚未大规模推出面向C端的AI产品。在ChatGPT快速流行的带动下，谷歌亦推出聊天机器人Bard及PaLM2，并将接入谷歌的协作与生产力工具Workspace以及与Spotify、沃尔玛、UberEats等外部应用融合。Meta通过开源方式快速追赶，7月发布最新开源大模型LLaMA2，使用2万亿tokens训练，上下文长度翻倍，实现了更强大的表现能力和更广泛的应用场景。此外，Anthropic、Cohere、HuggingFace等基于各自的垂类特色和定制化服务也在海外AI市场中扮演着重要角色。国内：大模型投入如火如荼，格局明晰仍需时间。ChatGPT获得良好用户反响并在全球范围引发关注以来，中国头部科技企业（阿里、百度、腾讯、华为、字节等）、新兴创业公司（百川智能、MiniMax等）、传统AI企业（科大讯飞、商汤科技等）以及高校研究院（复旦大学、中科院等）亦加速大模型领域投入。当前国内大模型仍处研发和迭代的早期阶段，各个大模型的性能差异及易用性仍在市场检验的过程当中，我们预计国内大模型领域竞争格局的明晰仍需一定时间。竞争要素：技术投入、核心人才和应用场景构成核心壁垒技术投入、核心人才和应用场景构成核心壁垒。我们认为，大模型是一个重资源禀赋、高进入门槛的赛道，其对算法模型的有效性、高质量的数据、算力的支撑能力均有极高要求，模型的优化迭代亦有赖于资金和人才的持续投入。此外，大模型的实际落地和行业应用能力也是市场检验的重要标准。模型架构：理论创新与工程实践有效分离，加速AI技术创新效率。2017年transformer模型的出现，以及引入的自注意力机制，推动AI在语言类问题（NLP等）上取得快速进展的同时，亦先后扩展至图像生成、音视频生成、计算机视觉等领域，并逐步成为众多AI算法的底层基础。各类算法输入数据规模、模型参数的指数级增长，以及模型scale带来更优的计算精度、问题泛化求解能力等，推动大模型快速普及，据PercyLiang、RishiBommasani、李飞飞等人在2021年论文《OntheOpportunitiesandRiskofFoundationModels》中提及，具有“表达能力、可扩展性、多模态性、记忆容量和组合性”特征的大模型将成为学术研究的核心方向，并成为AI产业的底层基础模型（foundationmodel）。ChatGPT的成功表明，算法架构+工程实践的有效结合，经过fine-tuning之后的基础模型部署于各类应用场景，将能显著改善AI技术研发效率、产业化门槛。我们判断，基础模型理论创新将逐步回归至科研机构、科技巨头等，而众多算法企业的差异化能力将进一步向工程实践领域迁移，并成为下游应用场景厂商紧密的合作伙伴。大模型训练对算力及资金均提出极高要求。我们对ChatGPT单次训练成本进行测算，假定预训练单次，且训练过程中没有出现错误时的成本。实际情形中，考虑到训练过程中出现工程类错误的可能性，实际成本会高于我们计算的理想情况成本。假设参数量为175B、训练数据500BTokens的情况下，根据《ScalingLawsforNeuralLanguageModels》（JaredKaplan,SamMcCandlish,TomHenighan等）的分析，在使用256个英伟达HGXA100服务器(包含2048个A100GPU卡）的情况下，模型FLOPsUtilization（MFU）假设为Megatron-LM的51.04%，我们推测单次训练时长约为30.7天，对应约151万GPU小时。假设训练使用成本价约为1美元/GPU小时的情况下，耗费服务器端成本约为151万美元。数据：高质量的数据，能够为模型自身的学习、迭代，以及对推理能力的训练带来正向影响。按照当前LLM的技术范式，数据集主要应用于预训练和模型调优阶段。预训练阶段需要大规模、多类别、高质量的训练数据，在模型调优阶段，垂类小数据集、提示词工程同样重要。近年来全球数据量呈现爆发式增长，据IDC统计，2019年全球产生的数据量为41ZB，过去十年的CAGR接近50%，IDC预计到2025年全球数据量或高达175ZB，2019-2025年仍将维持近30%的复合增速，其中超过80%的数据都将是处理难度较大的文本、图像、音视频等非结构化数据。从Bert开始到GPT-3再到谷歌的PALM，网络中的公开语言数据源已经在被尽可能地利用（论坛、新闻、维基百科等），但模型优化仍需更多数据，这要求模型开发商有能力接触到优质私有数据来源，从而才能在模型的数据底层取得差异性优势。场景：应用落地时检验模型能力的重要标准。一方面，通用大模型与行业场景结合，在带来生产力和效率的实质性提升后才能真正实现普及。另一方面，大模型结合行业应用落地后，更多的真实用户反馈也有望加速大模型的优化迭代，从而不断强化模型能力。格局推演：有望形成互联网巨头主导+垂类厂商共存的格局历史积累：互联网巨头具备先发优势，芯片层、模型层、应用层布局完备。互联网巨头在AI领域投入已久，百度2014年即成立人工智能实验室，阿里、腾讯、字节跳动也于2016年成立人工智能实验室，此后各家在芯片层、模型层及应用层持续探索，不断完善布局，在研发、模型、数据、应用等方面已积累显著的先发优势。算法模型：追随海外技术进展，研发突破是竞争关键。从技术路线来看，国内大模型主要追随海外进展。基于谷歌在人工智能领域更高的影响力以及BERT开源代码，前期我国企业在大模型领域的探索更多参考BERT路线。随着ChatGPT在人机对话领域的超预期表现验证了高质量数据+反馈激励（大模型预训练+小数据微调）的有效性，国内大模型技术路线也逐渐向GPT方向收敛。我们认为，尽管模型架构设计的不同对特定任务上的表现有一定影响，但国内大模型厂商在技术上基本同源，从而导致了现阶段较为相似的模型能力，而下一阶段对于GPT方向的研发突破将是竞争关键。算力：互联网厂商在算力资源上具备优势。随着模型参数和复杂度的提升，大模型对算力的需求也在加速增长。当前国内已发布的大模型中，参数规模达到千亿及以上的厂商仅为10个左右，一定程度上体现出各厂商之间算力能力的差异。我们认为，互联网厂商在算力资源上具备相对优势，主要原因系：1）互联网企业业务布局多元，用户基数庞大，海量数据高频更新，使得互联网企业自身对算力有大量需求，阿里、字节、百度、腾讯等头部互联网企业是全球芯片及服务器领域的重要客户。2）阿里云、百度云、腾讯云等为国内头部云厂商，在云计算中心、AI算力平台、超算中心等新型高性能计算基础设施上布局领先，如阿里云推出PAI灵骏智算服务，提供覆盖AI开发全流程的平台和分布式异构计算优化能力；腾讯云发布新一代HCC（High-PerformanceComputingCluster）高性能计算集群，算力性能较前代提升高达3倍。数据：优质开源中文数据集稀缺，自有数据及处理能力构成模型训练壁垒。得益于开源共创的互联网生态，海外已有大量优质、结构化的开源数据库，文本来源既包含严谨的学术写作、百科知识，也包含文学作品、新闻媒体、社交网站、流行内容等，更加丰富的语料数据能够提高模型在不同情景下的对话能力。而受制于搭建数据集较高的成本以及尚未成熟的开源生态，国内开源数据集在数据规模和语料质量上相比海外仍有较大差距，数据来源较为单一，且更新频率较低，从而导致模型的训练效果受限。因此，大模型厂商的自有数据和处理能力构成模型训练效果差异化的核心。受益于移动互联网时代积累的海量用户、应用和数据，互联网企业在自有数据上更具特色化和独占性，叠加更强大的数据处理能力，从而能够通过数据优势带来模型训练成果的差异。例如，阿里在研发M6时，构建了最大的中文多模态预训练数据集M6-Corpus，包含超过1.9TB图像和292GB文本，涵盖百科全书、网页爬虫、问答、论坛、产品说明等数据来源，并设计了完善的清洁程序以确保数据质量。百度

ERNIE

模型的训练数据集中也运用了大量百度百科、百度搜索以及百度知识图谱等生态内数据，通过更高质量的数据保障了模型的训练效果。资源投入：互联网厂商重研发投入，资金及人才实力领先。大模型的训练需要较高且可持续的研发投入，头部互联网企业兼具高资本密度和高人才密度优势。资金方面，2022年，腾讯/阿里/百度研发费用达614/567/233亿元，明显领先于行业相关公司。人才方面，根据脉脉人才库，在计算机视觉、深度学习、语音识别、自然语言处理4个人工智能重要的技术方向上，互联网大厂是人才储备最丰富的企业。持续的高研发投入以及极高的人才密度有望驱动头部互联网企业保持在AI及大模型领域的领先优势。场景：业务丰富多元，互联网厂商天然具备落地实践场景。考虑到数据隐私和安全合规，初期通用大模型在行业落地时可能会面临一定的信任问题，从而导致较高的获客成本。而头部互联网平台基于自身在电商、搜索、游戏、金融等领域丰富的业务积累，天然具备落地实践场景。在提高产品效率的同时，也有望率先形成示范效应，从而有助于外部客户和应用的拓展。格局推演：互联网巨头有望保持领先地位，中小厂商或将面临路径选择。综合上述分析，结合行业竞争要素，并参考海外当前竞争格局，我们认为，国内大模型赛道有望形成与海外相似的产业趋势，兼具技术、资金、人才和场景优势的头部互联网企业有望成为大模型领域的重要玩家，而中小厂商或将面临路径选择。一方面，中小厂商可以利用自身在垂类场景和数据层面积累的优势，成为聚焦垂类的核心特色玩家；另一方面，基于训练和用户调用带来的算力需求的激增，考虑到资源优势和经济性，中小厂商或将寻求云厂商的支持和合作。互联网大模型对比：短看技术突破，长看生态壁垒历史积累：百度、阿里技术积累深厚，大模型已实现良好性能本章节，我们对国内头部互联网企业在AI领域的发展现状、自研布局以及对外投资进行了梳理。从时间线上看，国内头部互联网企业阿里、百度、腾讯、字节均在2014-2016年间成立人工智能实验室，但此后在发展思路和框架布局上各有侧重。我们认为，阿里、百度更偏重对底层技术的投入，兼具先发优势和完备自研布局，目前推出的大模型产品已实现良好的中文对话能力。腾讯在AI领域亦积极跟进，并于2022年12月公布万亿中文NLP预训练模型混元的最新进展；同时，腾讯在大模型领域也保持了开放的投资风格，与企业共同成长。字节此前在AI领域的投入更多与自身业务相关，如音视频识别、内容创作、AR/VR等，算法能力突出，但在大模型领域的积累则相对薄弱，推出火山方舟，通过MaaS的方式积极参与行业竞争。阿里巴巴：AI自研投入已久，数据、算法及算力积累上已占据领先身位。作为国内头部科技企业，阿里在人工智能等前沿科技方向上早有投入，2014年即成立了数据科学与技术研究院，2016年成立人工智能实验室，2017年成立达摩院，后续成立AI芯片自研团队作为算力支持，并陆续发布了中文社区最大规模预训练语言模型PLUG和多模态大模型M6。同时，阿里在电商、智慧城市等业务中积极运用深度学习等智能化技术，通过技术进步提升业务效率。我们认为，基于在数据、算法和算力上的沉淀，阿里在国内人工智能和大模型竞速中已占据领先身位。对外投资：广泛布局，打造AI生态圈实现共赢。除自研投入外，阿里也在AI核心产业环节积极进行对外投资，在芯片领域投资寒武纪、深鉴科技等，机器视觉和深度学习领域投资商汤科技、旷视科技等，应用领域投资小鹏、小i机器人等。通过AI领域的广泛布局，阿里巴巴有望与相关企业形成协同效应和战略合作，进一步实现效率提升和业务拓展，通过打造AI生态圈的方式实现共赢。技术架构：IaaS+PaaS+MaaS重新定义AI架构。面向新的AI时代，阿里云重新定义了IaaS+PaaS+MaaS的三层技术体系。IaaS层，阿里云专门为AI设计了云基础设施，包括异构计算、高效高速的网络存储等。同时，在训练方面提供灵骏计算集群，在推理方面提供弹性计算ECS集群，通过更加稳定高效的基础设施为AI发展提供坚实的基础。PaaS层，阿里云基于长期的技术和软件能力积累提供了丰富的大数据及机器学习产品，从数据清洗、特征工程训练等方面助力模型训练。此外，阿里云于2022年11月推出魔搭社区，提出MaaS（modelasaservice），通过打造大模型开源社区和生态共建的方式加速模型发展及迭代。百度：深耕十年，全栈自研构筑核心壁垒。基于自身业务需求和浓厚的工程师文化，百度始终重视对AI的投入，2011年在硅谷开设办公室，并在2017年提出“AllinAI”的公司战略。从AI技术体系来看，百度是国内少数在AI领域全栈自研布局的公司之一，在芯片层、框架层、模型层和应用层均有自研投入，已形成一定的产业生态和影响力。对外投资：长期投入，加速布局大模型领域。百度长期关注人工智能赛道，坚持布局前沿科技领域，在芯片、大模型、AI+制药、应用等领域均有投资。2023年以来，随着ChatGPT引发新一轮AI产业热潮，百度亦加速在AIGC及多模态大模型领域的布局，先后投资text-to-video生成技术与社区的初创企业MorphStudio、人工智能公司西湖心辰及多模态大模型公司生数科技，有望进一步完善公司的AI生态布局并加快协同发展。芯片+框架+模型+应用全栈自研布局，强化内部反馈迭代。百度在AI领域全栈自研布局，芯片层，百度已有两代自研昆仑芯实现量产，预计第三代昆仑芯将于2024年初实现规模上市；框架层，百度飞桨经过6年开发并逐渐成熟后，成为中国首个开源开放、功能完备的端到端深度学习平台，截至2022年11月，百度飞桨已有535万开发者，服务了20万家企事业单位，创建了67万个模型；模型层，百度最早于2019年推出文心大模型并不断迭代，并于2021年发布百亿级大模型文心ERNIE3.0和千亿级大模型文心ERNIE3.0Titan；应用层，百度推出生成式AI对话产品文心一言以及面向企业客户的文心千帆大模型平台，积极通过实践场景验证大模型能力。我们认为，百度全栈自研布局的优势在于各层之间的反馈有望进一步驱动技术能力的优化，提升迭代效率。腾讯：重视AI发展，内生+外延双轮并驱。腾讯2016年成立

AILab，并在2017年提出“makeAIeverywhere”的战略愿景，2018年建立以人工智能与前沿科技为基础的两大实验室矩阵。根据腾讯RoboticsX实验室微信公众号，截至2022年底，腾讯AILab已累计在AAAI、CVPR、ACL、ICML、NeurIPS等国际顶级AI学术会议或期刊发表超780篇文章，并持续推动AI与机器人、数字内容生成、生命科学、医疗医药、游戏等行业应用的结合。对外投资方面，根据IT桔子，截至2022年底，腾讯共投资53家国