2024年人工智能全景报告

型突破学科局限、龙头企业与初创企业并行加速发展、人工智能监对未来12个月全球人工智能发展作出了前瞻性预测。赛迪智库未来产业研究中心对该报告进行了编译，期望对我国有关部门人工智能是一个涉及多学科的科学与工程领域。本报告认为，在这个日益数字化、由数据驱动的社会，人工智能将成为推动技术进步的倍增器。本报告围绕以下几方面进行讨论：研究：技术突破及其能力。产业：人工智能的商业应用领域及其商业影响。政治：人工智能的监管、经济影响以及不断演变的人工智能地缘政治。安全：确定并减轻未来高性能人工智能系统可能带来的灾难预测：未来12个月可能会发生的事。一、概述前沿实验室的表现趋于一致，但因为规划和推理已成为主要前沿领域，因此OpenAI公司在推出o1大型语言模型后仍保持领先优势。随着多模态研究深入到数学、生物学、基因组学、物理科学和神经科学领域，基础模型展现出了突破语言局限的能力。美国的制裁未能阻止中国的大型语言模型在社会各界排行榜上的飙升。英伟达（NVIDIA）仍是全球最具实力的公司，跻身市值3万亿美元企业之列。监管机构正在对生成式人工智能领域的权力集中问题展开调查。更为成熟的生成式人工智能企业已实现数十亿美元的营收，初创企业也开始在视频和音频生成等领域崭露头角。尽管这些企业的发展已开始从模型研发迈向产品落地，但有关定价和可持续性的长期问题仍未解决。在公共市场牛市的推动下，人工智能企业的市值达到9万亿美元，同时私营企业的投资也在健康增长。在全球治理停滞不前背景下，国家和地区层级的人工智能监管却在不断推进，美国和欧盟都通过了相关立法，但这些立法颇具争议。计算需求的实际情况迫使大型科技企业不得不考虑在规模扩张方面面临的现实物理限制以及它们自身的排放目标。与此同时，各国政府在能力建设方面的尝试仍然滞后。人工智能对选举、就业以及一系列其他敏感领域可能产生的影响目前还尚未显企业的关注点正在从安全向加速发展转变，之前还在警告人类即将灭绝的企业，现在却在大力提高销售额，推广消费类应用程序。世界各国政府纷纷效仿英国，构建提升人工智能安全的国家能力，成立相关机构，研究关键国家基础设施在人工智能方面存在的潜在漏洞。每一项人工智能发起的攻击都以失败告终，但让研究人员更加担忧的却是更为复杂、长期的攻击。二、研究的问世，将在扩展推理计算方面加倍发力这一年的大部分时间，各项基准测试和社会各界排行榜都显示GPT-4与“其他最优模型”之间存在巨大差距。然而，Claude3.5Sonnet、Gemini1.5和Grok2等模型几乎消除了这一差距，如今各模型的表现开始趋于一致。OpenAI团队显然很早就察觉到了推理计算的潜力，在其他实验室发表有关该技术的论文几周后，（二）尽管屡受制裁，中国的大型语言模型仍榜上有名深度求索、零一万物、智谱和阿里巴巴所研发的模型在大型模型系统机构排行榜上取得了优异名次，尤其在数学和编程方面展现出了令人瞩目的成果。例如，深度求索率先采用多头潜在注意力1等技术，降低推理过程中的内存需求，并且还研发了一种增1多头潜在注意力（Multi-headLatentAttention,M力于构建强大的中文数据集，以弥补其在常用数据存储库中相关数据相对匮乏的不足。（三）中国的开源项目赢得了全球粉丝为推动国际上的采用和评估，中国的实验室已成为热情的开源贡献者。有几款模型已在个别子领域中崭露头角，成为强有力的竞争者。例如，深度求索的Deepseek-Coder-V2已成为编程任务中最受欢迎的工具之一，具有速度、轻便、准确等优点。阿里巴巴发布Qwen-2系列芯片，其出色的视觉识别技术震撼业界，不仅在极具考验的光学字符识别（OCR）任务中展现出非凡实力，还能深度解析纷繁精妙的艺术作品。（四）人工智能亦可获得诺贝尔奖瑞典皇家科学院将诺贝尔奖授予深度学习领域的先驱者，表明人工智能作为一门学科以及加速科学发展的工具，已经发展成（五）AlphaFold3：超越蛋白质及其与其他生物分子的相互作用2增强型混合专家（MoE）是一种深度学习模型，它通过将多个专业化的子模型（即“专家”）组合起来，形成一个整体模型。每个“专家”都在其擅长的领域内做出贡献，而决定哪个“专家”参与解答特AlphaFold2的后续版，如今已能够模拟小分子药物、脱氧核糖核酸（DNA）、核糖核酸（RNA）以及抗体与蛋白质靶点的相互作用机制。（六）AlphaProteo：DeepMind公司展示了新的实验生物学DeepMind公司的神秘蛋白质设计团队终于凭借其首个模型AlphaProteo“走出幕后”。这是一个生成式模型，能够设计出亲和力提高3到300倍的亚纳摩尔级蛋白质结合剂。（七）学习设计人类基因组编辑器的语言模型之前介绍了如何使用在大量多样的天然蛋白质序列数据集上预先训练的大型语言模型（如ProGen2）来设计与天然蛋白质序列完全不同的功能蛋白质。现在，Profluent在CRISPR-Cas图谱上对ProGen2进行了微调，以生成具有新序列的功能基因组编辑器，且这些编辑器首次被证明可在体外对人类细胞的DNA进行编辑。（八）人工智能基础模型：通过功能性磁共振成像了解大脑深度学习最初受到神经科学的启发，如今正应用于对大脑本身进行建模。“大脑语言模型”（BrainLM）是一个基于6700小时人类大脑活动记录构建的基础模型，这些记录是通过功能性磁共振成像生成的，该技术可检测血氧含量的变化。该模型学会了重建被掩盖的时空大脑活动序列，且能够泛化到未见过的数据分布。可通过微调该模型来预测临床变量，例如年龄、神经质程度、创伤后应激障碍（PTSD）以及焦虑症评分等，其效果要优于图卷积模型或长短期记忆网络（LSTM）模型。（九）各科学领域的基础模型：大气领域传统的大气模拟方法，如数值天气预报，成本高昂，且无法利用各种稀缺的大气数据模态。但基础模型在这些方面的表现却很好。微软的研究人员创建了基础模型Aurora，能够针对诸多大气预报问题进行预测，比如全球空气污染和高分辨率中期天气模式等问题。它还能通过利用通用的已习得大气动力学表征来适应新任务。（十）心智的基础模型：重建看到的事物MindEye2是一种生成式模型，能够将功能性磁共振成像活动映射到丰富的对比语言-图像预训练（CLIP）空间，然后利用经过微调的StableDiffusionXL模型从该空间重建个体所看到的图像。该模型在自然场景数据集上进行训练，这是一个基于8名受试者构建的功能性磁共振成像数据集，在这些受试者观看来自COCO数据集扫描会话的数百种丰富的自然场景刺激物时（每次扫描观看时长为3秒对其大脑反应进行30至40小时的捕捉。（十一）程序搜索在数学领域获得新发现结合大型语言模型和进化算法，“趣味搜索”（FunSearch）利用大型语言模型生成和修改程序，并能通过对求解质量打分实现功能进化。趣味搜索通过搜索程序而非直接的解决方案，发现复杂对象或策略的简洁且可解释的表述形式。肖莱认为，这种形式的程序搜索是最有可能解决抽象和推理挑战的途径之一。谷歌DeepMind团队将其应用于极值组合学中的帽集问题以及在线装箱问题。在这两个案例中，趣味搜索都发现了超越人类设计方法的新颖解决方案。（十二）基础模型能否让大规模训练强化学习智能体变得更训练强化学习智能体的一大瓶颈是训练数据的短缺。诸如转换已有环境或手动构建环境这类标准方法都需要耗费大量人力，且无法实现规模化。帝国理工学院和英属哥伦比亚大学的OMNI-EPIC项目利用大型语言模型创建了理论上无穷无尽的强化学习任务和环境流，以帮助智能体基于先前学到的技能进一步发展。该系统会生成可执行的Python代码，这些代码能够为每个任务实现模拟环境和奖励函数，且会利用模型评估新任务是否足够新颖和复杂。（十三）人工智能研究领域的全球力量平衡并未改变，但学术界有所获益随着人工智能成为新竞争战场，大型科技企业开始对研发工作的更多细节秘而不宣。自本报告开始发布以来，前沿实验室首次大幅削减成果发表数量，而学术界也参与其中（见图1）。加利福尼亚大加利福尼亚大学伯克利分校牛津大学清华大学米迪亚研究麻省理工学院IBM华为谷歌腾讯阿里巴巴微软元宇宙三、产业（一）英伟达成为全球最具实力的公司，不断提出更具雄心随着用于支持对算力要求极高的生成式人工智能工作负载的硬件需求不断增长，各大实验室都需要依靠英伟达提供的硬件。其市值在6月达到3万亿美元，成为继微软和苹果之后第三家达到这一里程碑的美国公司。其第二季度财报业绩依然亮眼，地位依然坚不可摧。英伟达已经在其新款Blackwell系列图形处理器上获得了大量预订单，并且正在积极争取政府方面的订单。（二）老牌竞争对手未能缩小差距超威半导体和英特尔已经开始投资建设软件生态系统，超威半导体公司已经利用ROCm平台大力向开源各界推广。然而，他们尚未开发出能与英伟达网络解决方案产品组合相媲美的有竞争力的替代方案。超威半导体希望其49亿美元收购服务器制造商ZT系统公司（ZTSystems）的计划能改变这一局面。与此同时，英特尔的硬件销售额出现了下滑。除非出现监管干预、研究范式转变或供应受限等情况，否则英伟达的地位似乎坚不可摧。（三）购买英伟达的股票要比投资那些与英伟达竞争的初创企业好得多对自2016年以来对人工智能芯片领域竞争对手投资的60亿美元进行分析和设想，如果投资者当时按当日股价购入等值的英伟达股票，情况会怎样？答案是：若买入英伟达股票，那60亿美元如今价值将是1200亿美元（涨20倍而投入初创企业如今的价值仅310亿美元（仅涨5倍）。（四）并非所有人都认为英伟达只会越来越好有一小部分直言不讳的分析师和评论员并不信服。他们指出图形处理器稀缺状况已有所缓解，目前只有少数几家公司能从人工智能产品中获得可靠营收，而且大型科技企业的基础设施建设规模也不太可能大到足以支撑英伟达目前的估值。市场目前对这些声音置若罔闻，似乎更倾向于认同特斯拉早期投资者詹姆斯·安德森的观点，即英伟达在十年内市值可能达到“数万亿美元”。（五）但初创企业的收入在哪里？利润又在哪里？许多从事生成式人工智能的热门初创企业正在以创纪录的、通常是三位数的营收倍数进行融资。虽然这可能表明投资者对未来回报有信心，但这也设定了一个很高的门槛，因为这些企业中的很多目前还没有明确的盈利途径。然而，并非所有的企业都是如此，最大模型提供商的营收已开始增长。OpenAI有望在一年内实现营收增长两倍，但训练、推理及人员成本意味着亏损仍在持续增加。他们并非唯一一家在寻求实现良性经济运作的领军企业。（六）或许收入和利润两者都不重要：要恢复股价只需要一种氛围元宇宙公司通过放弃在元宇宙领域的大量投资，凭借“羊驼”模型大力转向开源人工智能领域，在公共市场引发了令人难以置信的氛围转变。可以说，马克·扎克伯格实际上已成为开源人工智能救世主，与OpenAI、Anthropic和谷歌DeepMind形成对抗之迟方面都有明显溢价随着模型种类日益丰富，开发者们正在根据工作需求（以及自身预算）选择合适工具。（八）模型费用持续下降服务成本曾经一度被认为高得令人望而却步，但如今强大模型的推理服务成本正在下降（见图2）。下降60下降60倍下降100倍（九）谷歌Gemini推出了一个强大的模型系列，定价极具Gemini1.5Pro和1.5Flash的价格在推出几个月后就下降了64%至86%，但性能依然强劲，例如Flash-8B比1.5Flash便宜50%，但在许多基准测试中的表现却不相上下。（十）人工智能实验室从构建模型转向设计产品像苹果、谷歌或抖音等成功的科技公司都是以产品为先，而不是简单地构建基础技术和API。随着基础模型性能趋于接近，OpenAI、Anthropic和元宇宙公司显然都在更深入地思考其“产品”应该呈现出怎样的外观和使用体验，不管是Anthropic公司“Claude”的相关成果、OpenAI的高级语音功能，还是元宇宙公司的硬件合作项目以及对口型工具。仅构建出优秀的模型是不够的。（十一）监管机构对关键的生成式人工智能参与者之间的关系进行详尽审查，导致伪收购作为一种退出策略兴起鉴于高昂的计算成本，模型构建者越来越依赖与老牌大型科技企业合作。反垄断监管机构担心这会让现有企业的地位更加不可动摇。监管行动在塑造市场方面作用有限，经济因素更具决定性。鉴于众多“其他企业”的性能趋于相近，且这些企业高昂的资本性支出需求，整合也就不足为奇了。鉴于存在监管障碍，伪收购开始兴起，即大型科技企业：聘用初创企业的创始人和大部分团队成员；该初创企业退出模型构建领域，转而专注于其企业服务业务；通过许可协议向投资者支付款项。监管机构已经发现了这一问题，大西洋两岸的监管机构都已在这方面开始详尽审查。（十二）文本转语音正在蓬勃发展文本转语音领域市场领导者ElevenLabs在今年年初达到独角兽级别，估值达11亿美元。由于各大实验室对该领域涉因此ElevenLabs得以独占鳌头。（十三）语音识别在商业领域站稳了脚跟虽然文本转语音因“效果惊艳”而备受关注，但语音识别却可能被用于实现日常任务的自动化规模处理。投资者开始看到语音识别在规模化发展方面的潜力。（十四）视频生成领域的竞争正趋于白热化Runway、Pika、Luma和OpenAI等众多参与者正在大规模扩大其数据收集和模型训练实验的规模，以期在文本到视频生成方面提高生成质量和稳定性，此外还致力于生成更长的视频片段。（十五）人工智能投资在各个地区都大幅增长在xAI和OpenAI（60亿美元融资）等通用人工智能巨额融资的推动下，美国私募市场继续保持领先地位，对人工智能企业的总投资已接近1000亿美元（见图3）。（十六）在上市公司的推动下，人工智能企业的市值达到近9万亿美元虽然私营公司的估值一直在稳步攀升，但少数几家上市公司却像Atlas一样撑起了整个市场。仅上市公司目前的价值就超过了2023年的整个市场价值（见图4）。私营公司上市公司私营公司上市公司四、政治（一）美国通过行政命令引入有限的前沿模型规则，各州则推行各自更具争议性的规则在2023年7月获得大型实验室自愿遵守相关模型发展规定的承诺之后，白宫决定将之前这些实验室自愿表示要遵守的内容变成具有强制约束力的规定，当年10月，拜登签署了一项关于前沿模型监管的行政命令。由于在更广泛的联邦人工智能监管方面达成两党共识的可能性微乎其微，各州都在推行各自的人工智能法规，其中最引人注目的是加利福尼亚州的SB1047。（二）经过最后一刻的疯狂游说，欧盟《人工智能法案》最终正式成为法律今年3月，在法国和德国开展了一场集中的影响活动以弱化某些条款之后，欧洲议会通过了《人工智能法案》。然而，关于该法案的实施问题仍未得到解释。（三）英国正缓慢朝着制定前沿模型相关立法的方向推进英国新工党政府已发出信号，表示打算摒弃其前任仅通过现有立法来监管人工智能的做法，不过这种转变较为微妙。（四）中国的人工智能监管进入执法时代中国是首个开始制定生成式人工智能监管措施的国家，从2022年起就出台了全面的（最初是相关企业自愿遵循的）指导方针。如今，中国的审查机构也开始介入。（五）日本对人工智能的态度很热衷吗？出于政治和文化等多种原因，从历史上看，日本对于风险投资和人工智能初创企业一直是一个不温不火的市场。而如今，日本政府突然热衷于在这方面分得一杯羹。（六）公共计算方面的努力与私人计算方面的努力相比相形英国、美国和欧盟都开始加大其公共计算服务的力度，为研究人员和初创企业提供补贴，使其能够使用昂贵的硬件设备。但相关举措仍处于试验性阶段。（七）不断增长的计算能耗危及大型科技企业的净零排放承诺，能源基础设施也开始不堪重负大型科技企业已签署了一系列到2030年的气候承诺，微软甚至承诺实现碳负排放。但人工智能的能耗却意味着他们目前正朝着错误的方向发展。人工智能面临的环境挑战与一个在规模化过程中常常被遗忘的阻碍因素密切相关，那就是现实世界的物理制（八）以人工智能为先的国防领域竞争对手实现了规模扩张，是例外吗？自去年的报告发布以来，已经开始有一些重大合同被授予国防领域的挑战企业，但由于中标数量仍然较少，现在就说一个新的生态系统正在形成为时尚早。（九）关于人工智能经济影响的争论更加激烈2023年，人们就不同行业在多大程度上受到人工智能的影响展开了讨论。虽然一些机构（如国际货币基金组织）仍在发布相关研究成果，但相关争论已开始转向人工智能更广泛的经济影响（十）虚假信息研究发展迅速，但有关人工智能有效性的证据依然匮乏由于今日俄罗斯电视台与西方受众直接沟通的能力受到限制，被发现通过一款名Meliorator的工具运营着一个由1000个虚假X账号组成的网络。另外也有迹象表明，与俄罗斯政府有关联的人员在以色列-哈马斯冲突期间使用虚假图片挑起争议。但几乎没有证据表明这类材料被少数人以外的更多人浏览或相信。五、安全（一）从安全主义到加速主义：一种重大的氛围转变已经发生从美国国会举行听证会以及为推动（关乎人类存亡的）人工智能安全议程而进行全球巡回宣传的时期开始，领先的前沿模型企业正在加速向消费者推广人工智能产品。（二）英国创建了世界上首家人工智能安全研究所，美国随在“布莱切利峰会”召开之际，英国宣布其前沿人工智能特别工作组将由人工智能安全研究所（AISI）取代，这是世界上首家人工智能安全研究所。美国、日本和加拿大也纷纷跟进，但工作力度有限。（三）各国政府急于填补关键国家基础设施中的漏洞除内部加深对模型能力的理解外，英国也正在成为增强防御能力方面的主要引领者。通过其高级研究与发明局（ARIA投入5900万英镑研发一种“把关系统”，旨在了解并降保健和电信等关键领域人工智能带来的风险。据报道，政府还计划设立“人工智能安全研究实验室”，旨在汇集政府各部门关于英国对手利用人工智能进行攻击方面的知识。美国能源部一直在利用其内部测试平台来评估人工智能可能对关键基础设施和能源安全构成的风险。国防部和国土安全部也一直专注于解决国家安全及民用目