2024年面向未来的前沿AI监管：前沿AI模型未来算力预测报告

VCNASVCNAS2024年3月面向未来的前沿AI监管关于作者器系统自主性的政策。他拥有伦敦大学国王学院的战争研究博济学和公共政策硕士学位，以及圣华盛顿大学的物理学学士学关于技术与国家安全计划CNAS技术与国家安全计划探讨了与新兴技术相关的政关于人工智能安全与稳定项目CNASAI安全与稳定项目是一项为期多年、多项目的工智能相关的既定和新出现的风险。这项工作的重点是预测智能故障，改善美国S.国防部的人工智能测试和评估流程Acknowledgments助于进一步向政策制定者展示他们的见解。这份报告建立在LeartHeim和JaimeSevil。作为一家致力于组织，知识和个人诚信的最高标准的研究和政策保持严格的知识独立性和对其思想，项目，出版物，活动和其他容仅反映其作者的观点。根据其使命和价值观，CNAS不参与游全遵守所有适用的联邦、州和地方法律。CNAS不会代表任何实TABLEOFCONTENTS01执行摘要03Introduction0607080912成本和对AI模型的访问对政策制定者的影响了解成本和计算增长相关工作当前最佳估计和假设第二部分：分析172123272832成本和计算预测成本增长限制硬件改进的限制增殖硬件受限演员的成本计算监管阈值35Conclusion36附录44精选参考书目技术与国家安全|2024年3月执行摘要 用于训练前沿用于训练前沿AI模型的计算机随着时间的推移而出现训练计算(FLOP)20222024202620282030203220342036203820402042计算(会计成本高低计算估计和硬件约束)(95%置信区间)2@@CNASDC通过算法改进，有效的计算随时间增长GPT-4估计计算有效计算(考虑成本和硬件限制)$1T$10B$1B$100M20222024202620282030203220342036203820402042培训费用(任意锥形成本增长预测)高-低成本估算技术与国家安全|2024年3月 Introduction 2培训当前前沿模型的成本3当前的趋势表明，未来的AI系统将比当今的技术水平强大得多。3@@CNASDC研究问题AI模型的计算量和训练成本将如何随着时间的推进近45技术与国家安全|2024年3月成本和对AI模型的访问了潜在危害最大和最有能力的大型语言模型具有两用功能。@@CNASDC,一旦模型是开源的，它就会迅速扩散。TT。反补贴趋势增加模型访问23 7技术与国家安全|2024年3月了解成本和计算增长例用更多的计算量和更多的训练数据训练更大的模型可以提高性能。@@CNASDC34计算长算法效率36改进和计算费用的增加，未来的前沿模型将使用更多的计算。算法的改进使研究人员能够更有效地使用这种计算，从而获得更好的性能。本文将增加的计算和算法改进的综合效果显示为的有效计算能力）表示。38相关工作TT9@CNASDC训练计算(FLOP)增量改进2022GPT224估计计2算02620282030203220342036203820402042有效计算202220282030203220342036203820402042202220282030203220342036203820402042@@CNASDC41算法的改进会影响模型使用计算的效率。技术与国家安全|2024年3月475558当前最佳估计和假设@@CNASDC硬件性能成本增长62算法效率64当前成本当前计算256725Assumptions技术与国家安全|2024年3月第二部分：分析技术与国家安全|2024年3月成本和计算预测II图2.1|训练前沿图2.1|训练前沿AI模型的成本随着时间的推移而上升（当前趋势的正向投影）最终培训运行的成本$10T$1T$100B$100B$10B$1B$100M20222024202620282030203220342036203820402042@@CNASDC图2.2|用于训练前沿AI模型的计算机随着时间的推移而出现（当前趋势的正向投影）训练计算(FLOP)20222024202620282030203220342036203820402042（当前趋势的正向投影）有效计算2024202620282030202220322034204220362038204020242026202820302022203220342042技术与国家安全|2024年3月（当前趋势的正向投影）202420272030203320362022年的最终培训费用美元$280M$50B$600BFinding。（当前趋势的正向投影）202420272030203320362022年的最终培训费用美元$280M$3.6B$50B$600B2022年的最终培训费用美元Finding成本增长限制大公司可能会以数十人的顺序集结每年数十亿美元的培训费用。渐缩的成本增长预测@@CNASDC(任意缩编成本增长项目)最终培训运行的成本$10T$100B$100B$10B$100M20222024202620282030203220342036203820402042(缩减成本增长预测)训练计算(FLOP)202220222024202620282030203220342036203820402042在渐缩的成本增长预测下计算 硬件改进的限制 @CNASDC技术与国家安全|2024年3@CNASDC巨大的成本和大量的计算仍然是训练计算最密集的前沿模型的入门代价。84技术与国家安全|2024年3月图4.2|前沿模型培训成本(任意缩编成本增长项目)图4.1图4.2|前沿模型培训成本(任意缩编成本增长项目)最终培训运行的成本（2022美元最终培训运行的成本（2022美元）$10T10$10T10$1T10×$1T$100B10$100B10$10B×$10B10$1B10$1B10$100M20222024202620282030203220342036203820402042图4.3|培训计算(2031年前后缩减成本预测和硬件限制图4.3|培训计算(2031年前后缩减成本预测和硬件限制)（折线成本项目和硬件限制周围2031)训练计算有效计算有效计算10101010×10101010101010101010101010×101010102022202420262028203020322034204220362038204020222024202620282030203220342042203620382040ff@@CNASDC表2.1|前沿模型培训成本和随时间的计算20242027203020332036$30BFindingTABLE2.2|前沿模型训练成本和有效计算随时间变化202420272030203320362022年的最终培训费用美元$220M$30B2022年FLOP等效有效计算growth)Finding增殖型，从而减缓了扩散。然而，随着时间的推,最终培训成本变得足够低，以至于愿意开源该模型的参与者可以负担得起。例如，第一个版本的Stable最终培训运行的成本$100B$10B元$10B $1B$1B$100M$1000万202220242026202820302032@CNASDC技术与国家安全|2024年3@CNASDC。FINDINGFINDING硬件受限演员的成本了算法效率的进步将使训练模型与曾经的前沿模型具有同等能力，仅在几年内就可以负担得起。@CNASDC$100B$10B$1B$100M$1000万最终培训运行的成本最终培训运行的成本202220242026202820302032得任何硬件改进的情况下训练前沿AI模被拒绝。@CNASDC最终培训运行的成本最终培训运行的成本$120B$100Bbenefitfromalgorithmicprogress.benefitfromalgorithmicprogress.$10B$1B$100M$100M$1000202220242026202820302032技术与国家安全|2024年3月FINDING在前沿AI模型中。即使不考虑工程挑战，使用更多的得负担不起。然而，算法效率的进步将使训练模型具有与当的能力，仅在几年内就可以负担得起。如果算法改进仍硬件限制的最可能影响将使这些参与者对任何给定级别的FINDING在前沿AI模型中。即使不考虑工程挑战，使用更多的得负担不起。然而，算法效率的进步将使训练模型具有与当的能力，仅在几年内就可以负担得起。如果算法改进仍硬件限制的最可能影响将使这些参与者对任何给定级别的 计算监管阈值 262626@CNASDC技术与国家安全|2024年3月@CNASDC图7.1|火车费用A10随着时间的推移，FLOP调节阈值模型递减最终培训运行的成本$155M$100M$100$10M$10$1M$1$100K20242025202620272028202920302031203220332034图7.2|训练容量等于A10的模型的成本2024年的FLOP模型随着时间的推移而下降最终培训运行的成本$155M$100M$10M$1$1M$100202420252026202720282029203020312032203320342024202520262027202820292030203120322033203426252626技术与国家安全|2024年3月Conclusion@@CNASDC量性技术与国家安全|2024年3月 附录A：计算增长的其他限制 硬件限制22到数据限制@@CNASDC工程挑战技术与国家安全|2024年3月观察到的增长率倍增期每年的订单(OOMs/yr)多年来达到公制10×改进来源公制训练计算(FLOP)用于训练大型模型的计算(FLOP)机器学习GPU性价比(FLOP/s/美元）大型语言模型算法效率@@CNASDC 估算计算成本 为40技术与国家安全|2024年3月成本预测的不确定性对初始起始成本的敏感性对增长率的敏感性图A.1|前沿模型训练成本随时间变化(灵敏度分析)$100M最终培训运行的成本（2022美元）$50M起始成本$90M起始成本$30M起始成本5000万美元的起始成本,高低成本增长估计(95%CI)2022202420262028203020322034203620382040204220222024@CNASDC表A.2|2022年美元培训成本的中，高和低估计（直进投影）202420272030203320369.7个月成本加倍$50B$600B7.3个月成本加倍$490M$450B$400T13.5个月成本加倍$1.7M$40B表A.3|随着时间的推移训练计算的中、高和低估计（直进投影）20242027203020332036表A.4|实现培训成本增长的中，高和低估计的培训成本里程碑的年份（直进投影)2022年培训成本$5亿美元$5B$10B$20B9.7个月成本加倍20257.3个月成本加倍2024202513.5个月成本加倍20262030表A.5|实现中，高，低估计训练计算增长的训练计算里程碑的年份（直进投影）FLOP1026中的训练计算10271028102910307.0个月计算加倍202420305.7个月计算加倍202320308.6个月计算加倍2024技术与国家安全|2024年3月 附录E：逐步成本增长预测 图A.2|前沿模型随时间变化的培训成本(缩减成本增长项目)$10T$1T$100B$10B$1B$100M最终培训运行的成本（2022美元）20222024202620282030203220342036203820402042表A.6|成本增长的各种情况下的模型培训成本和成本倍增率20242027203020332036恒定成本倍增率9.7个月$50B$600B翻番率增加+0.5月/年$90B$400B倍增率增加+1.0$2.4M$30B$80B月/年)翻番率增加+1.5$4B$30B月/年))翻番率增加+2.5$200M$800M$4B月/年))))@@CNASDC精选参考书目AI趋势-.。.Dorner,FlorianE.MeasuringProgressinDeep.Grace,Katja.AlgorithmicProgressinSixDomains.44技术与国家安全|2024年3月.何安森等。语言建模的算法进展。即将出版。.Hoffman,Jordan,etal.TrainingCompute-OptimalL.Kaplan,Jared,etal.ScalingLawsforNeuralLanguageabs/2001.08361...Sevilla,Jaime,etal.ComputeTrendsacrossThreeErasofMachineLearning.arXiv.org,March9,2022https:///abs/2202.05924.@@CNASDC美国政府政策46@@CNASDC,opeai-ceo-sam-），），davidtayar5/stats/1627690520456691712;KyleWigger“Athropic的5亿美元，4年计划承接OpeAI”thathropics-5b-4年计划采取。。 技术与国家安全|2024年3月www-files.anthropic.com/production/images/chinsights-finds-sm9aa9f81a446198ac5402aaf97a87/bcg-the-the-future-of-jobs-Hoffmann等人，TrainingCom-putresearch/publications/llama-2-open-fouresearch/publications/llama-2-open-fou@@CNASDC36.KonstantinPilz等人，“提高计算效率和AI能力的扩散”，“语言建模的月，https://docs。谷歌。com/doc-gPeXdSJgFlwIpvavc0atjHGM82Q--compte-cetric-framewo。。publication/ai-aAlgorithmicProgress.p49技术与国家安全|2024年3月xyING/核试验历史/曼哈顿项目/，xyING/核试验历史/曼哈顿项目/，google.com/drive/1O99z9b1I5O66bT78r9ScslE_nOjscrollTo=CytB-er25到2.0×1026FLOP.Epochdata/epochdb/table;