2023前沿AI能力和风险报告（中文版）

关于进一步研究人工智能风险本报告是一份支持人工智能安全峰会的讨论文件，不代表英国政沿人工智能模型可以用工具来增强，使它们更具自主性7前沿人工智能可能比评估显示的更有能力8前近的进展是由计算，数据和算法的系统趋势驱动的11缩评估前沿人工智能系统的安全性是一项公开挑战16可能难以跟踪前或使用情况17人工智能安全标准尚未建立18人工智能开发见、公平和代表性危害21滥用风险22双重用途科学风险22网络控制25人类可能会越来越多地将控制权移交给不一致的人工智能系统4我们正处于一场技术革命之中，这场革命将从根本上改变我们生活智能（AI）有望改变我们经济和社会的几乎所有方面。这些机会是变前沿人工智能的发展正在改变生产力和软件服务，这将使许近年来，前沿人工智能领域的进展非常迅速，最先进的系统可以流畅地言指令编写功能良好的代码，制作新的应用程序，在学校考试中获得高闻文章，在多种语言之间进行翻译，总结冗长的文档，以及其他功能。企业和民间社会必须共同努力，应对这些复杂且难以预测的风英国政府认为，需要对人工智能风险进行更多研究。这份报告解释并审查了一些关键风险。人工智能的能力和风险都存在本报告涵盖了许多风险，但我们希望强调的是，最主要的风险是对丧失，这将永久地剥夺我们和子孙后代的变革性积极利益。在讨论其定义人工智能是一项挑战，因为它仍然是一项快速发展的5将为重点和深入讨论前沿人工智能安全以及需要采取哪些进一步行动提供空前沿AI如何工作6当它看到更多的数据时，它从错误中学习并提高其预测性能。一旦预训练结束，该模型在预测在微调过程中，12预先训练的人工智能在高度策划的数据集上进一步训练，这些数据集专注于更专业的任务，或者被构造为以与开发人员价值观和用户期望越来越多的前沿AI模型是多模态的。除了文本，它们还可以生成开发的关键输入是用于训练和运行模型的计算资源（绝大多数计算都花费在预训练上，这是模如今，最强大的前沿人工智能模型的总开发成本达到数千万至数十亿英镑。19.虽然表现最好的模型是由少数资源充足的组织7FrontierAI可以执行许多经济上有用的任务简单地从训练中预测不同数据集的下一个单词，模型就可以开发）：前沿AI模型可以通过工具进行增强，使其更加自主8由AI模型和脚手架构建的最终系统是一个AI代理。AutoGPT是截至2今天的人工智能代理目前难以执行大多数任务-它们经常陷入循环，无法自我纠正，或者在关键步骤失败。然而，它们确实允许前沿AI执行一些全新的任务。AI代理目前可以执行的任务示FrontierAI可能比评估显示的研究人员和用户经常发现前沿AI模型的惊人功能，而这些功能是部署这些工具和资源可以显著提高相关任务的能力，或者赋予它不变。例如，更好的支架可以帮助AI智能体在犯错误时进9与预训练不同，这些改进不需要大量的计算资源前沿AI关于前沿人工智能系统的局限性，人们一直在争论，包括它们的性能是更多地由一般推理驱一般的推理能力可以通过前沿人工智能对新问题做出非常恰当的●当一个问题被重写以使其与训练[61]这可以通过使用知识储存库的系统、[62]改进的微调，或这些局限性可以通过算法创新来解决，为人工智能提供长期建更多数据，帮助人工智能代理发现和纠正自己的错误，或下文。目前的前沿系统一般都能胜任，但缺乏这种特定的背这可以通过使用更多的私人数据源、新的数据生成技术、更有效的数据微调技术、新的“基于模型”的学习方法来解决工智能开发。另一方面，人工智能的最新进展在许多领域大大超过最近的人工智能进展迅速最近人工智能的发展速度让预测者和机器学习专家都感到惊讶。前沿人工智能领域的最新进展是一个长期趋势的延续：自20语言建模等深度学习领域取得了快速进展。2014年，人工智能只能而，到2022年，像DALL-E2和Imagen这样的模型可以从文本提示中例如，在微积分问题上，GPT-3.5的得分低于大多数人，但GPT-4显图4a.由OurWorldinData中的图像模型图4b.完成从GPT-2到GPT-4。Bub等人完成的GPT-4，2023年最近的进展是由计算，数据和算法对人工智能能力进展的标准分析考虑了三个关键因素：计算能力计算能力（简称“计算”）是指通常在训练AI系统的背景下执行的操作数练过程中使用的计算量增加了5500万倍：从单个研究人员以几英数百万英镑的成本在多个GPU集群上训练的系统。72.这种趋势主在过去的十年中，训练算法也有了很大的改进，因此今天的机器学习模型大量的数据也在最近的人工智能进步中发挥了重要作用。人工智能在初步培训后应用的增强功能进一步增强了系统的能力。这些训练后的提高特定领域的性能，而成本仅为原始训练成本的一小部分，因此扩展定律：性能随着计算和数据计算和数据增长的关键驱动因素是，前沿AI模型的性能随着模型规模来自Hoffmann等人，2022年。图5b.从2018年到2023年，OpenAI82纪元。目前还不确定这种趋势会持续多久，但它已经保持了计算和数据集虽然下一个单词预测任务本身并不是我们关心游任务的性能密切相关。例如，如果一个模型在代码和数学数据上的下能在训练之前是模型开发人员无法预料的，并且通常只有在部署之后才被用户发现我们目前都无法可靠地提前预测前沿AI模型在接受更多计算和数据训练时将获得图来自Wei等人，2022年。人工智能的快速发展可能会持续几年最近人工智能能力的提高不是单一突破的结果，而是多个维度出、硬件性能的改进和训练后的增强。所有这些因素都可以未来几年，对AI的投资将继续快速增长。Anthropic和OpenAI了大量资金，并建立了云合作伙伴关系，这在很大程度上是为了支持计算的然而，要在2030年之后保持计算和数据的快速增长速度，可能需些数据超出了互联网上现成的数据。[90]尽管如此，算法效率的重要的是，人工智能系统本身也有可能加速人工智能的进步。FrontierA创建用于训练的合成数据，94编写新代码，95甚至改进模型架构。虽然自动化的，但未来前沿人工智能系统的自动化程度提高可能会大大加快可能意味着我们比预期更快地开发出非常强大的人工智能系统，并且有未来可能会开发出先进的通用AI代理几家领先的人工智能公司明确致力于构建这样的系统，并相信它们可能在本十年内取得成一些对已发表的机器学习研究人员的调查发现，受访者的中位数预测，到机器智能有超过10%的机会，尽管这些调查受到了批评。根据计算成本研究投入的增长来预测人类水平的机器智能的发展，有时得出的结论是，然而，这些能力的时间轴存在很大的不确定性。许多（如果不是大不期望人工智能系统在20年内与人类的表现大致匹配，并且不同意这是一个问交叉风险因素障碍。前沿人工智能系统在开放式领域中运行，例如自由形式的对性使得设计安全的系统或详尽地评估所有下游用例变得困难。为库（例如，从有限的词汇表中输出文本但这限制了性能，能系统通常以意想不到的方式使用其行为库，实现意想不到的一般来说，前沿人工智能系统并不健壮，也就是说，它们经常败。特别是，防止前沿人工智能模型遵守有害请求（例如设计网络攻击简单的“越狱”方法，例如提示模型对请求做出肯定的响应，通常就足使情况恶化。虽然AI鲁棒性是一个发展良好的研究领域，发表了数千鲁棒性仍然是一个未解决的问题，影响着各种机器学习模型，包括语言模直接在代码中完全表达复杂的行为、概念或目标，因此必须间接地教包括训练人工智能的行为方式，根据从人类偏好数据中得出的一些指高。[115]现有的方法受到已知的限制，可能无法扩展到高度先进的人工智找到了技术规格问题的解决办法，由于人们的价值观差异很大，还存前沿人工智能的安全测试和评估是临时性的，没有既定的标在构建软件时，开发人员可以精确地描述特定行为的指令。这使他们能解其局限性。相比之下，前沿AI开发人员只是指定了一个学习过程。对系统的开发人员来说都是不可解释的：数千亿的参数（数字它们不的行为，但对产生它们的内部机制知之甚少。这种缺乏机械理解的情况智能系统的行为变得很有挑战性，更不用说如何预测人工智能能力也差得多。120其他技术，如显着性图，旨在识别输入的哪些部 证明是不可靠或误导的。121其他方法使开发人员对模这种行为评价无法彻底探索所有可能的脆弱性，从已探索的脆弱性形式化验证技术可以证明软件的正确性（受假设的影响）。使用入的小修改具有一定程度的鲁棒性。但总的来说，人类认为不重要但对A跟踪前沿人工智能模型的使用对于监控滥用、注意故障或确定由前沿人工：（开放发布（通常称为开源）使模型永久地可供其他参与者复制，[131]这可能会被滥用，[132]但对于创新和更广泛地研究人工智 API访问是可逆的，并允许部署人员保持对模型的控制并监视其使用。但是，模型的某些功能仍然会被提取。133例如，来自GPT-3.5的响应被用于训练开放释放的FrontierAI模型体现了极其宝贵的知识产权。即信息安全实践也会影响员工或外部参与者泄露完整模型的可能性。前沿在安全方面进行更多的投资，以抵御来自资源最充足的参与者的攻击。13意外行为或危险能力也可能通过供应链漏洞引入模型中，这会导致一些系统忽略它们的保护措施并服从用户命令，即使这样做AI安全标准尚未建立研究人员认为，基础模型潜在用例的广度使其成为一种通用技术，类似于能造成系统性风险，有时受到专门监管机构的监管，并有广泛的标准些研究人员认为，人工智能行业应该借鉴在高度安全的行业中观察到但人工智能安全标准仍处于早期阶段。IEEE、ISO/IEC和CEN/CENEL的生态系统。142.一个挑战是，系统往往在一个国家开发，然后在另一在气候变化等许多全球性挑战中可以看到市场失灵。当一家公司产生社会大局145.个别公司可能没有足够的动力来解决其系统的所发人员之间为了快速开发产品而展开了激烈的竞争。人工智能“逐底竞争”情景的担忧，即参与者竞相快速开发人工智能系统，而对安全措施的投资不足。在这种情况下，即使是人工智能开发人员单方面承诺严格的安全标准也可能承诺使他们处于竞争劣势。[148]如果保持甚至加快人工智能最近的快研究人员和监管机构已经开始探索前沿人工智能开发人员高度集中市成熟的领导者可以更好地获得开发前沿AI模型所需的尖端计算资先者可能会随着时间的推移而增长，例如，因为领导者从他们的在培训中使用，或者因为领导者使用他们的人工智能系统来加速他市场力量的高度集中可能会削弱竞争，减少创新和消费用户在使用其个人数据方面的发言权减少，潜在的行为操纵，监视社会危害的重要性。FrontierAI可以廉价地生成逼真的内容，这些内容可以错误前沿人工智能还可能导致进一步恶化信息环境的间接后果。例来越多地被集成到搜索引擎中，这可能会降低新闻文章的流量，损害信息环境退化所带来的许多危害对人工智能来说并不新鲜，但前沿人认证解决方案（如169.水印与其他解决方案一样，可能会带来新的们所减轻的风险。例如，水印可能需要新的核查机构或标准机构，并经济学家认为，劳动力市场的中断和流离失所是人工智能快速福利的风险之一。170.技术变革还可以改善工作条件，从历史上看从人工智能到劳动力市场。人工智能已经开始减轻某些角色的行174研究表明，受当前人工智能能力影响最大的行业育、制造、农业和采矿。[175]另一方面，我们可能会回到1980年前沿人工智能模型可以包含和放大它们所训练的数据中根深因为模型可以从其他信息（如姓名，位置和其他看似无关的因素）中推FrontierAI模型主要基于文本源进行训练，包括数据来源背景中的不平等，180或者它反映了主导文化（考虑互联网），度，要准确地找出将偏见引入决策的确切机制就成了一项艰巨的任务。1明和纠正不公平情况成为一项挑战。因此，人们可能会质疑人工智能系人工智能技术越来越多地集成到负责后续决策的系统中，包括在公平沿人工智能技术在这些环境中部署时具有可预测的风险。人工智能系统中的贷款和医疗保健等高风险的现实世界领域尤其令人担忧，在这些领域，有偏生深远的影响。189然而，在有些情况下，考虑这些因素是合理的，例如，中，药物剂量可能随年龄而变化;这使得识别有害偏见更加困难。尽管如以及在训练期间或之后，当评估输出有多大程度的偏差时，可以值得注意的是，由于模型偏差造成的歧视可以被视为一种对齐问题：人误用风险前沿人工智能系统有可能加速生命科学的进步，从培训新科虽然这些能力将有巨大的有益应用，但也有可能被用于恶意目的，例器。专家们对人工智能进步将对生物安全构成的风前沿人工智能模型可以为实验室工作提供用户定制的科学虽然我们的重点是前沿AI，但重要的是要注意结合使用，例如AlphaFold2201和RFDiffusion。窄AI工具已经可以生成蛋白质，并支持具有所需特性组合的生物制剂的工程化。203生物设计一些人预计，未来的能力将使实验指令更容易获得，包括通过生成使科学系统更加自动化。然而，目前尚不清楚前沿人工智能系统是虽然目前的系统对生物和化学安全风险的影两用科学能力。当前的人工智能系统尤其会在当前的生物和化学供带来风险。新的实验室工作仍然存在重大障碍。[208]这些障碍中的一得注意的是，人工智能系统可以被任何人使用，通过定制的网络钓鱼方建更快、更有效和更大规模的网络入侵。前沿人工智能在未来，我们可FrontierAI可以通过提供攻击技术建议，批评网前沿人工智能系统正在为熟练的威胁行为者节省时间。例如病毒，这些病毒会随着时间的推移而变化，以避免被检测到，而这在以间。地下黑客论坛上的212名用户声称正在使用ChatGPT等工具，以帮助人工智能提高了现有技术的有效性。人工智能增强的社会工程已骗和窃取登录凭据，其系统可以收集目标的情报，214模仿可信联系人力的鱼叉式网络钓鱼消息。216鉴于大多数网络攻击者使用社会工程AI系统创造了新的攻击技术。例如，它们可以为高度针对性的恶意软件提供动力，使测到目标受害者之前进行良性行为，然后才进行恶意行为。218未来的前沿AI发展将增加攻击的规模和速度。目前的策略通工智能系统所取代，从而导致强大的网络攻击具有更大的可扩展前沿人工智能的发展将继续增强现有的攻击技术。例如，随信息，信息收集和目标定位很可能变得更加有效，219并且随着模型推理前沿人工智能的发展可能会导致系统可以在互联网上自主执行复制和自我改进的漏洞利用生成等行为特别令人关注，一些工作使用前沿人工智能的网络防御可能会减轻部分风险。特别是，前沿检测、安全扫描和减轻内部威胁。然而，这种防御能力在短期内可能能辅助的漏洞修复和检测可能依赖于比目前更强大的前FrontierAI在集成到更广泛的系统中时关键基础设施，如能源、227交通、228医疗、229和金融，230如今已经经常成为网络攻击的目标。231这可能导致知识产权盗窃、直接资金盗窃、数据破坏或勒索、隐私泄露以及私营、公共和第FrontierAI可能会增加上述类别的危害，也可能会产生新骗局引起的情绪困扰。随着前沿人工智能继续在网络安全中部署），高质量内容的可访问性将降低价格和进入门槛，以创建虚假 此外，人工智能生成的deepfake变得非常逼真，这意味着它们通个人甚至机构识别。即使人工智能生成的内容没有被普遍相信，其战略部署也可能导致中断，其中定制的消息针对个人而不是更大的群体，因此更具说服力。此工智能驱动的个性化虚假信息活动的展开，这些人工智能将能够从得更善于影响和操纵人类，甚至可能在这方面比人类做得更好。在使用新的操纵策略，我们对此没有准备，因为防御已经通过其他人的影响上面讨论的诸如水印之类的虚假信息检测方法已经被提出和试验方面仍然面临挑战。虽然提高媒体素养至关重要，但很难考虑到前多情况下甚至对专家来说都难以区分。这一趋势预计会随着模型大小这些风险的可能性仍然存在争议，许多专家认为可能性非常低，一当前危害的关注。然而，许多专家担心，对先进世界各地的组织已经在部署失调的人工智能系统，这些系统以意想不到的尽管如此，我们还是把更多的控制权交给了他们，通常是因为他们人工智能应用程序，包括自动化偏见，256确认偏见，257和拟人化。[258智能系统可能会以难以理解的方式改变复杂的系统，使提取它们变得智能系统可能会越来越多地将社会引向与其长期利益不一致的方向，员都没有任何意图。[262]即使许多人认识到它正在发生，也可能很难如果人工智能系统采取行动增加自身的影响力并减少人类的威胁模型是有争议的-人工智能专家对它的可能性有很大的分歧，而那人工智能系统主动减少人类控制有两个要求未来的人工智能系统可能会减少人类的控制人工智能系统可能倾向于采取增加自身影响力和减少人类控制的行一个坏的行为者可以给人工智能系统一个目标，使其减少人类的控因，有些人认为，未来高度先进的人工智能系统是人类的自然继承者未来具有非预期目标的先进人工智能系统可能倾向于减少人求意想不到的目标，即，是一个尚未解决的技术研究问题，对于高度尤其具有挑战性。267在实验室中观察到许多非故意的目标导向行为的例期目标将通过减少人为控制而得到推进。269未来的人工智能系统可能一些研究人员对我们评估这种假设未来情景的可行性的能力表FrontierAI显示出可用于减少人类控制今天的系统有一些基本的能力，如果人工智能的快速发展继续下去，影响力，减少人类的控制。目前，这些能力还不足以构成重大风险，○一个基于GPT-3的社交伴侣聊天机器人很快就与用户建立了信任和○有证据表明，语言模型往往会做出回应，好像它们分享用户的陈述○前沿人工智能模型可以在简单的欺骗游戏中保持连贯的谎言，他们报告说，在随后的调查中，他们更经常地同意法学硕●网络犯罪。人工智能系统可以通过利用计算机系统者除了--操纵人类。攻击性网络能力可以让人工智能系统获得础设施。正如本报告前面所讨论的，前沿人工智能已经降低了威它们可能会变得更加困难。目前没有人工智能系统具有这种能力，但正如报告早些时候所讨论的，虽然一些专家认为高能力的出来，但其他人则怀疑这是否可能。如果这真的成为现实，这些代理与失去控制相关的领域的能力，例如政治战略，武器设计或自我改进风险，人工智能系统需要对具有重大影响的系统（如军事或金融系统我们已经看到，前沿人工智能的最新进展是快速和令人印象深刻的。Fronti这是由于更多的计算，更多的数据和更好的算法之间的相关性，以及前沿A进展在某些方面可能是快速和令人惊讶的。我们无法预测随着人工智能的改会出现。在不久的将来，可能会开发出先进的通用AI代理。另一方面，一这些发展带来了许多机会，只有降低风险，这些机会才能实现。有领域技术和社会风险因素加剧了这些风险。我们概述了社会危害的例或者说，如果通用人工智能代理确实存在，它们将很容易控制可能没有足够的经济激励来开发具有足够护栏的先进人工智能风险建立足够的安全标准。因此，重要的是，我们要对这些风险能够有效地协调，尽可能地预防和减轻这些风险，并继续在国际）：●FrontierAI：可以执行各不好。例如，如果一个人工智能主要在白色猫的图片上1TowardsExpert-LevelMedicalQuestionQuestioningwithLargeLanguageModels.Singhal等人，2023.2介绍人工智能安全峰会，科学，创新和技术部，2023年。3大型语言模型（LLM）：主要基于深度学习架构（如transformer）的AI模型，旨在理解、生成和操纵人类语言。4介绍ChatGPT，OpenAI，2022。6Pichai，2023年，我们人工智能之旅的重要下一步7狭义AI：在单个任务或一组狭义任务上表现良好的AI系统，如情感分析或下棋。8解释者：什么是基础模型？AdaLovelace研究所，2023年9数据点用于训练著名的人工智能系统，我们的数据世界，2023年。10从技术上讲，它不是文字，而是出于技术原因的11语言模型在下一个标记预测方面比人类更好，Shlegeriset.al，2022.12微调是一个可选的额外训练过程，可以应用于预先训练的模型，通过利用特定的数据集来添加特定的功能或改进。13GPT-4系统卡介绍，OpenAI，2023。14例如，参见GPT-4（视觉）系统卡，OpenAI，2023。15计算：计算处理能力，包括CPU、GPU和其他硬件，用于运行AI模型和算法。16AITriadandWhatItMeansforNationalSecurityStrategy，Buchanan，2020。17第3.35节人工智能基础模型：完整报告，竞争和市场管理局，2023年。18OpenAI的首席执行官声称，GPT-4的成本超过1亿美元，在2023年麻省理工学院连线举行的一次活动中。19机器学习系统的美元培训成本趋势，Cottier，2023;Anthropic首席执行官兼联合创始人DarioAmodei预测，在与LoganBartlett的这次访谈中，人工智能模型可能会花费数十亿美元。20第4.5节人工智能基础模型：完整报告，竞争和市场管理局，2023年。21AI能力：AI系统可以执行的任务或功能的范围，以及它可以执行这些任务或功能的熟练程度。这些功能可以从总结到复杂问题的解决，并随着时间的推移而发展。22用于HPC并行编程模型的OpenAICodex的评估内核生成，Godoy等人，2023;OpenAICodex，OpenAI，2021;使用Copilot在PowerAppsStudio中构建和编辑应用程序，Microsoft，2023。23GPT-4技术报告OpenAI，2023。24LanguageModelsareFew-ShotLearners，TomB，Brownetal.，2020年。25《通用人工智能的火花：GPT-4的早期实验》（SparksofArtificialGeneralIntelligence：EarlyExperimentswithGPT-4Bubecketal.2023;路径语言模型（PaLM谷歌，2022。26路径语言模型（PaLM谷歌，2022年。27使用大型语言模型的多语言机器翻译：实证结果和分析28《走向有用的机器人：机器人启示中的基础语言》，谷歌，2022年;TidyBot：具有大型语言模型的个性化机器人辅助，Wu等人，2023年29LanguageModelsandCognitiveAutomationforEconomicResearch，Korinek，2023。30GPT-4，OpenAI，2023.31使用GPT-4代码解释器和基于代码的自验证解决数学单词问题，Zhou等人，二零二三年;用语言模型解决定量推理问题，Gur-Ari等人，2022年。32介绍100K上下文Windows，Anthropic，2023年5月;像ChatGPT这样的工具威胁着透明科学;这是我们使用它们的基本规则，自然，2023。33《人类如何通过生成性人工智能创造和摧毁价值》，BCG，2023年。导航参差不齐的技术前沿：人工智能对知识工作者生产力和质量影响的现场实验证据，戴尔Acqua等人，2023年34Schwarcz和Choi，2023年;AO宣布与Harvey，AllenOvery，2023年2月独家推出合作伙伴关系。35见摩根士丹利财富管理宣布OpenAI创新之旅的关键里程碑，摩根士丹利，2023年3月。36工作中的生成性人工智能（工作论文），Brynjolfsson，Li，Raymond，2023。37经济研究的生成人工智能：用例和对经济学家的影响（即将出版Korinek，2023年。38无人工干预的能够操作、执行一系列行动或作出决定39人工智能代理：AI系统自主执行多个顺序步骤-有时包括浏览互联网，发送电子邮件或向物理设备发送指令等动作-以尝试并完成高级别任务或目标。40脚手架是一种软件程序，它在AI模型的多个副本之间构建信息流，而模型本身保持不变。例如，支架允许GPT-4为自主AI代理提供AutoGPT。脚手架提示GPT-4：将高级任务分解为子任务，将子任务分配给自身的其他副本，将重要信息保存到内存中，以及浏览互联网。41AutoGPT42在现实自主任务中评估智能模型代理，ARCEvals，2023。43生成代理：人类行为的交互式模拟，JoonSungPark等人，2023年8月44Voyager：一个具有大型语言模型的开放式智能体，GuanzhiWang等人，2023年5月。45SPRING：GPT-4通过学习论文和推理胜过RL算法，YueWu等人，2023年5月46大型语言模型的新兴自主科学研究能力，Gomes等人，2023年47OpenAICharter，OpenAI，2018;About，GoogleDeepMind.48例如，参见TheReynoldsCurse：LLMtrainedon“AisB”failtolearn“BisA”，Evansetal.，2023年49提示是人工智能系统的输入，通常是基于文本的问题或查询，系统在产生响应之前进行处理50在大型语言模型中的思维链排除启发式推理，Wei等人，2023年51聊天插件，OpenAI，202352Toolformer：LanguageModelsCanTeachThemselvestoUseTools，Schick等人，2023;大型语言模型的新兴Gomes等人，2023年53例如，它是一个支架，允许GPT-4为AutoGPT提供动力。支架可能会促使前沿模型：将高级任务分解为子任务，将子任务分配给自身的其他副本，将见解保存到内存库，以及浏览互联网。54Reflexion：LanguageAgentswithVerbalReinforcementLearning，Shinnetal.，2023.帮助人类评估者的自我批评模型，Saunders等人，202255HuggingGPT：在HuggingFace中使用ChatGPT及其朋友解决AI任务，Shen等人，二零二三年;通过多主体辩论改进语言模型中的真实性和推理，Du等人，二零二三年;ChatGPT现在可以听到和说话，OpenAI，2023。56启发式：一种经验法则、策略或简化原则，当经典方法太慢或无法找到精确解时，可以更有效地解决问题57路径语言模型（PaLM谷歌，2022年。也可以参见SparksofExperimentalIntelligence：EarlyexperimentswithGPT-4，Bubecketal.，2023年58推理还是背诵？通过反事实任务探索语言模型的能力和局限性，吴等人，2023年59语言模型并不总是说他们所想的：思想链中的不忠实解释;信仰与命运：变形金刚对组合性的限制，Dabri等人，大型语言模型中的涌现能力仅仅是语境学习吗Madabushi等人，2023年60抑制诅咒：接受过“A是B”训练的LLM2023年[61]例如，Meta另请参阅第5.9节人工智能基础模型：完整报告，竞争和市场管理局，2023;ChatGPT生成的书目引文中的捏造和错误，Walters，Wilder，2023。62Lamda：对话应用程序的语言模型，Thoppilan等人，二零二二年;WebGPT：带有人工反馈的浏览器辅助问答。，Nakano等人，2021;检索增强减少了谈话中的幻觉，Shuster等人，2021年63例如，ARCEvals使用基于OpenAI的GPT-4和Anthropic的Claude的四个LLM代理进行了一项开放式任务。参见EvaluatingRealisticAutonomousTasks，Kinnimentetal.，2023.这些人工智能系统在抓取和列出BBC十大新闻文章时不一致，并且在被要求抓取数据时无法识别公司最近增加的员工在尝试这些任务时，系统在访问大量网站和软件应用程序时表现不佳。另请参阅-LargeLanguageModelsStillCan'tPlan（ABenchmarkforLLMonPlanningandReasoningaboutChangeValmeekametal.，2022-思想之树：用大型语言模式解决问题，Yao等人，202364大型语言模型的挑战和应用，Kaddour等人，2023年65Reflexion：LanguageAgentswithVerbalReinforcementLearning，Shinnetal.，2023.帮助人类评估者的自我批评模型，Saunders等人，202266大型语言模型的挑战和应用，Kaddour等人，2023年67推理和基于模型的机器学习服务中的缩放，Bengio，2023;用于学习组合潜在变量模型的GFlowNet-EM，Hu等人，2023。68评分预测来自2016年69参见Languagemodelssurprisedus，Cotra，2023及其参考文献。70例如，请参见可视化深度学习革命，Ngo，202371AI和计算，Amodei和Hernandez，2018;AITriad及其对国家安全战略的意义，布坎南，2020;ML趋势，Epoch，2023。72为了维持训练运行中使用的计算量的增长，人工智能开发人员现在必须采购越来越大的人工智能专用芯片集群。用于训练当今最大模型的最先进的集群需要数亿或数十亿英镑的投资，每2-3年需要更新一次，以保持领先地位。机器学习三个时代的计算趋势，Sevilla等人，2022;机器学习系统的美元培训成本趋势，Cottier，2023。73用于开发前沿人工智能模型的计算支出每年增长约200%人工智能相关计算的成本每年下降约30%，每2到3年减半。人工智能算法的改进使每年实现关键结果所需的训练计算量减少了大约正如Sevilla等人在《三个机器学习时代的计算趋势》中所证明的那样2022年。74测量神经网络的学习效率Hernandez，Brown，2020;计算机视觉的学习进展，Besiroglu，Erdil，2022;Epoch即将进行的一项分析表明，语言模型的结果与计算机视觉相似75我们会用完数据吗？机器学习中缩放数据集的限制分析，Sevilla等人，2022年。76用语言模型解决定量推理问题，Gur-Ari等人，2022年。77Toolformer：LanguageModelsCanTeachThemselvestoUseTools，Schick等人，2022年。78WebGPT：通过Web浏览提高语言模型的事实准确性，OpenAI，2023。79在大型语言模型中的思维链排除启发式推理，Wei等人，2022年。80人工智能的能力可以在没有昂贵的再培训的情况下得到显着提高，TomDavidson，Jean-StanislasDenain和PabloVillalobos（即将出版）。81ScalingLawsforNeuralLanguageModels，Kaplan等人，二○二○年;训练计算最优大型语言模型，霍夫曼等人，2022年。82FLOP/S是83超越模仿游戏：量化和推断语言模型的能力，Srivastava等人，二零二二年;语言建模基准中的外推性能，Owen，2023。84大型语言模型的涌现能力，Wei等人，2022年。85大型语言模型的涌现能力是一个幻象吗Schaeffer等人，2023年86人工智能投资预测到2025年全球将接近2000亿美元，高盛，2023年。预测机器学习中的计算趋势，Besiroglu等人，2022年。87与亚马逊合作，扩大对更安全的人工智能的访问，Anthropic，2023;微软和OpenAI扩展合作伙伴关系，微软，2023年。88在短期内，供应瓶颈可能会推迟AI硬件的扩张。供应链短缺推迟了科技行业的人工智能财富，金融时报，2023年89支出的增加是最近计算规模扩大的最重要驱动因素。据报道，用于训练GPT4的计算机花费了5000万美元。最近的计算支出估计每年增长3倍。如果这种趋势再持续7年，用于培训运行的计算机将花费1500亿美元。90我们会用完数据吗？机器学习中缩放数据集的限制分析，Villalobos，2022年。91WhenLessisMore：InvestigatingDataPruningforPretrainingLLMatScale，Marionetal.二零二三年;Let'sVerifyStepbyStep，Lightmanetal.（让我们一步一步地验证）二零二三年;用语言模型解决定量推理问题，Lewkowycz等人，二零二二年;LIMA：LessIsMoreforAlignment，Zhou等人，二零二三年;ConstitutionalAI：HarmlessnessfromAIFeedback，Baietal.，2022年。92AGeneralistAgent，Reedetal.，2022年。93ACT-1：TransformerforActions，AdeptAI博客，2022年9月;WebGPT：带有人工反馈的浏览器辅助问答Hilton等人，2022年。94ConstitutionalAI：HarmlessnessfromAIFeedback，Anthropic，December2022.95用于HPC并行编程模型的OpenAICodex的评估内核生成，Godoy等人，二零二三年;OpenAICodex，OpenAI，2021.96EvoExciting：LanguageModelsforCode-LevelNeuralArchitectureSearch，Chenetal.，2023年97持续98OpenAI的章程表示，它打算建立“高度自主的系统，在最有经济价值的工作中超越人类”。OpenAICharter（2018）.DeepMind将他们的使命更简洁地描述为“解决智能”。关于DeepMind，2023年9月27日访问。据报道，多个人工智能开发人员正试图构建自主的人工智能代理。99介绍Superalignment，OpenAI，2023;谷歌DeepMind首席执行官DemisHassabis表示，几年内可能会出现某种形式的AGI，WSJ，2023100我们指的是三项调查：1.Graceetal，2018，人工智能何时会超越人类表现？人工智能专家的证据，人工智能研究杂志，62，729-754。2.Zhang等人，2022年预测人工智能进展：来自机器学习研究人员调查的证据3.2022年人工智能进展专家调查，人工智能影响。三项调查的受访者人数分别为406人、296人及734人。其中第三项调查最近受到批评，部分原因是回应率低至17%。前两项调查的响应率为20%;两者都搜索了响应偏差的证据，没有发现显著偏差的证据，但可能存在来自未测量变量的偏差。101AITimelines：WheretheArguments，andthe“Experts”Stand，Karnofsky，2021.102NLP研究人员相信什么？NLP社区元调查的结果，Michael等人，二零二二年;《通用人工智能并不像你想象的那么紧迫》，马库斯，2022年。103人工智能简史：如何防止另一个冬天，Bottino等人，2021104例如，参见Hendrycks等人的UnsolvedProblemsinMLSafety2021年105在Chu等人2017年的研究中，一个模型意外地学会了将源图像的信息“隐藏”在生成的图像中，并将其隐藏在几乎无法感知的高频信号中。在Amodei等人（2017年）的研究中，一个接受人类反馈训练的人工智能抓住了一个球，而不是通过将爪子放在球和摄像头之间来欺骗评估者，让他们认为它抓住了球。在Birdet.Al.（2002一种设计用于产生振荡器的进化算法产生了一种“天线106TowardsOut-Of-DistributionGeneralization：ASurvey，Liuetal.，2021年107从文本到MITRE技术：探索恶意使用大型语言模型生成网络攻击有效载荷，Charan等人，二零二三年;大型语言模型可用于有效地扩展Spear网络钓鱼活动，Hazell，2023。108通过PromptEngineering越狱ChatGPT：一项实证研究，Liu等人，2023年越狱：LLM安全培训如何失败Wei等人，2023年109对齐的神经网络是逆向对齐的吗Carlini等人，2023年ImageHijacks：AdversarialImagescanControlGenerativeModels（图像劫持：对抗性图像可以控制生成模型）2023年110UniversalandTransferableAdversarialAttacksonAlignedLanguageModels，Zou等人，2023年111UniversalandTransferableAdversarialAttacksonAlignedLanguageModels，Zou等人，2023年112鲁棒性是准确性的代价吗？--全面研究18种深度图像分类模型的鲁棒性，Su等人，2018/content_ECCV_2018/html/Dong_Su_Is_Robustness_the_ECCV_2018_paper.html113对抗性政策击败超人围棋人工智能，王等人，2022年。对抗策略：攻击深度强化学习，Gleave等人，2019年。114注意差距：从工程、道德和法律角度确保自治系统的安全，伯顿等人，2020年。115通过奖励建模的可扩展代理对齐：一个研究方向，Leike等人，二〇一八年;构建安全的人工智能：规范，鲁棒性和保证，DeepMind安全研究，2018年;ConstitutionalAI：HarmlessnessfromAIFeedback，Kaplanetal.，2022年。116OpenProblemsandFundamentalLimitationsofReinforcementLearningfromHumanFeedback，Casper等人，2023.117与谁结盟？人工智能系统的直接和社会目标，Korinek等人，2022;合作AI中的开放问题，Dafoe等人。二○二○年;人工智能，价值观和对齐，加布里埃尔，2020年;导入社会价值观的建议118放大：电路介绍，Olah等人，二○二○年;语言模型可以解释语言模型中的神经元，OpenAI，2023。119从人类反馈中强化学习的开放性问题和基本限制，Casper等人，二零二三年;大型语言模型的涌现能力，Wei等人，二零二二年;ChatGPT的行为如何随时间变化Chen等人，2023年利马：少即是多的对齐，周等人，2023年120野生环境中的可解释性：GPT-2小电路中的间接对象识别，Variengien等人，2022;TowardsAutomatedCircuitDiscoveryforMechanisticInterpretability，Conmy等人，二零二三年;通过机械可解释性进行grokking的进展措施，Chan等人，二零二三年;通用性的玩具模型：逆向工程网络如何学习集团运营，Chughtai等人，2023;将语言模型分解为可理解的组件，人类，2023。121显着性图的健全性检查，Adebayo等人，二〇一八年;显着性方法的可靠性，Kindermans等人，二〇一七年;ABenchmarkforInterpretabilityMethodsinDeepNeuralNetworks，Hooker等人，2018年122例如，请参见探测分类器：Promises，Shortcycle和Advances|计算机语言学，麻省理工学院出版社。123一种用于检测神经网络中错误分类和分布外样本的基线124在TerraIncognita125限制和危险，极端风险的模型评价，Shevlane等人，2023年126针对对抗性示例的Reluplex：一种用于深度神经网络的基于凸外部对抗多面体的对抗示例可证防御可证鲁棒神经网络的可微抽象解释区间界传播法训练可验证鲁棒模型的有效性通过随机平滑127对抗性示例不是bug，而是特性128API是一组规则和协议，可以实现AI系统和其他软件应用程序之间的集成和通信129结构化访问：安全AI部署130请参阅生成AI发布的梯度：方法和注意事项，以了解替代方案和注意事项的更多讨论。131包括马斯克、扎克伯格在内的科技领袖呼吁政府对人工智能采取行动，《华盛顿邮报》，2023年;最近的一篇论文提出了一种增加特定能力微调成本的方法，但现在就有信心地评估这种方法的前景还为时过早。自我毁灭模型：增加有害的双重使用基础模型的成本，亨德森等人，2022132许可证可以限制合法使用，但往往被忽视，不能单独强制合法使用133例如，通过训练另一个（例如，更小的）从大型语言模型中提取训练数据，Carlini等人，二零二一年;StealingMachineLearningModelsviaPredictionAPI，Tramèretal.，2016年。134羊驼：一种强大的、可复制的指令遵循模式1，Taori等人，2023年135NevoLahav，即将出版136对对齐的大型语言模型的通用和可转移对抗攻击。邹，2023年。137《动力引擎：电力、人工智能、通用、军事转型》，丁达福，2023年。GPTsareGPTs：Anearlylookatthelabormarketimpactpotentialoflargelanguagemodels，Eloundouetal.2023.基金会模型的市场集中影响，KorinekVipra，2023年。138例如，在联合王国，《电信安全业务守则》和《电网守则》。139强大的人工智能和强大的人类组织，Dietterich，2019;规范140从噪声中识别信号，SchwarzReisman研究所，2023年;标准在人工智能治理中的作用是什么？AdaLovelace研究所，2023年。141人工智能风险：人工智能系统的开发或部署所产生的潜在负面或有害后果。142有效的人工智能保证生态系统路线图，数据伦理与创新中心，2021年。143尽管如此，许多国际论坛正在这一领域启动倡议，例如欧洲委员会，经济合作与发展组织（OECD），七国集团（G7），人工智能全球伙伴关系建设性的多边和多方利益相关者跨境参与将需要继续有效地解决前沿人工智能风险，并利用这些机会。144外部性：价格并不包含所有成本，国际货币基金组织，2023。145人工智能是搭便车问题的例证，对话，2023;人工智能集体行动：初级读本和评论，Neufville，2021年;合作在负责任的人工智能开发中的作用，Askell等人，2019年。146微软首席执行官萨蒂亚·纳德拉（SatyaNadella）表示，他希望谷歌在人工智能领域做好竞争准备。搜索：在人工智能竞赛中，微软和谷歌选择速度而不是谨慎，纽约时报，2023年;据报道，OpenAI警告微软关于Bing147《模拟和影响人工智能竞标战：研究议程》，Han等人，二〇一九年;人工智能在异质环境中的发展竞赛，Cimpeanu等人，2022年。148达福艾伦‘AIGovernance:OverviewandTheoreticalLenses’在由JustinBullock，Yu-CheChen，JohannesHimmelreich，ValerieM.Hudson，AntonKorinek，MatthewYoung，andBaobaoZhang，0.牛津大学出版社，2022年。阿姆斯特朗、斯图尔特、尼克·博斯特罗姆和卡尔·舒尔曼。“AISociety31，no.2（2016）：201-206.，OpenAI Charter（2018）：“我们担心后期AGI开发成为一场竞争激烈的比赛，没有时间采取足够的安全预防措施。因此，如果一个价值取向、安全意识强的项目在我们之前接近构建AGI，我们承诺停止与之竞争，并开始协助这个项目。我们将在逐案协议中制定具体细节，但一个典型的触发条件可能是“Askell，A.，Brundage，M.，Hadfield，G.（2019年）。合作在负责任的人工智能开发中的作用。149人工智能基金会模型初始报告，英国竞争和市场管理局，2023年;也有人担心缺乏安全竞争和监管捕获。基金会模型的市场集中影响，KorinekVipra，2023年。150-“我们相信，训练出最好的2025/26车型的公司将遥遥领先，任何人都无法在随后的周期中赶上。”：Anthropic-持续151AI的危害，Acemoglu，2021年。《监视资本主义时代：在新的权力前沿为人类的未来而战》（TheAgeofSurveillanceCapitalism：TheFightforaHumanFutureattheNewFrontierof），Zuboff，2019。152在系统与社会中评估生成式人工智能系统的社会影响，Solaiman等人，2019.153对大约80个伦理框架的分析见Principledartificialintelligence：mappingconsensusinethicalandrights-basedapproachestoprinciplesforAI，Fjeldetal.，2020年。154三分之一的互联网用户未能质疑错误信息。Ofcom，2022年。155处理对民主社会知情决策的威胁。Seger等人，2020年。156人工智能基础模型初始报告，英国竞争和市场管理局，2023年。157错误信息：定性研究。Ofcom，2021年。158人们试图声称真正的视频是deepfakes。法庭可不高兴邦德2023ElonMusk159对于这种担忧变得越来越普遍的一个例子，请参阅卫报的这篇文章，质疑你是否可以相信你所看到的。160人类在人工智能聊天机器人“鼓励”他牺牲自己来阻止气候变化后结束了自己的生命，Atillah，2023年。161Google'snewwA.I.seaíchcouldhuíttíafficowebsitess，publishíswoíy，Leswing，2023.162使用模型编写的评估发现语言模型行为，Schiefer等人，2022年。163自动化模糊：人工智能的挑战和陷阱，Birhane，2022年。164Facebook在1月6日攻击之前的几个月内主办了大量错误信息和叛乱威胁，记录显示，ProPublica，2023。1652019冠状病毒病危机中错误信息的危险，地中海，2020年。166如何为社交媒体上的生成式AI洪水做好准备卡普尔和纳拉亚南，2023年。167人工智能聊天助手可以改善关于分裂话题的对话。Argyle等人2023年168OntheReliabilityofWateímaíksfoíLaígeLanguageModels，Geipingeal.，2023年169ASystematicReviewonModelWatermarkingforNeuralNetworks，Boenisch，2021;RobustnessofAI-ImageDetectors：FundamentalLimitsandPracticalAttacks，Saberietal.，2023年170Korinek，Anton和JosephStiglitz（2019），人工智能及其对收入分配和失业的影响InAjayAgrawal，JoshuaGansandAviGoldfarb（eds.），人工智能的经济学，pp。349-390，NBER和芝加哥大学出版社，2019年5月。171观点：农业食品工作的未来，Christiaensen等人，2019年。172技术变革对劳动力市场的影响：从肆无忌惮的热情到合格的乐观主义到巨大的不确定性，Autor，2022年。173为什么还有这么多工作？工作场所自动化的历史和未来，Autor，2015年。174.技术变革对劳动力市场的影响：从无节制的热情到有条件的乐观主义，再到巨大的不确定性。大卫·奥托尔，2022年175人工智能对经济增长的潜在巨大影响，高盛，2023年，图表5。176自动化和新任务：技术如何取代和恢复劳动力，AcemogluRestrepo，2019年。177语言模型的道德和社会危害风险，DeepMind，2021年;TowardsaStandardforIdentifyingandManagingBiasinArtificialIntelligence，NIST，2022。178让我们来谈谈机器学习中的偏见Jernite，2022.179从医学图像预测种族变量的意义，Zou等人，二零二三年;公平、偏见和歧视呢？、ICO。180自动化模糊：人工智能的挑战和陷阱，Birhane，2022年;超越181权力属于人民？人工智能的机遇和挑战，Birhane等人，2022年。182有害文本的特征：对语言模型进行严格的基准测试，Rauh等人，二零二二年;“人工智能”是否意味着在新冠肺炎（COVID-19，即2019冠状病毒病）医疗保健时代扩大不平等？，BMJ，2021。1831.3长期部署和扩散，加强对人工智能风险的弹性，Janjeva等人，2023年184TowardsMeasuringtheRepresentationofSubjectiveGlobalOpinionsinLanguageModels，EsinDurmus等人，2023年185解释权，Vredenburgh，2022年。186即将到来的信息披露：你迫切需要知道的，希克，2020年。187什么时候自动决策是合法的Barocas，Hardt，Narayanan，2022;1.2部署和使用，加强对AI风险的弹性，Janjeva等人，2023年188语言模型带来的风险分类，Weidinger等人，2022年。189人工智能的公平性及其对社会的长期影响，Bohdal等人，2023年190数据培训师指南：测量数据年龄、领域覆盖率、质量和&毒性191大语言模型192附件B-《2023年英女王陛下政府GenAI的安全和安保风险》193人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。194人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。195大型语言模型能使两用生物技术的获取民主化吗Soice等人，2023196人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。197ChemCrow：AugmentingLarge-LanguageModelswithChemistryTools，Branetal.2023年198云实验室：远程控制的自动化生化实验室。199大型语言模型的新兴自主科学研究能力，Boiko等人，2023年200生物设计工具：接受生物数据训练的人工智能系统，可以帮助设计新的蛋白质或其他生物制剂。人工智能和生物滥用：区分语言模型和生物设计工具的风险，Sandbrink，2023。201用AlphaFold进行高度精确的蛋白质结构预测2021年202DeNovoDesignofProteinStructureandFunctionwithRFdiffusion，Watsonetal.，2023年203DeNovoDesignofProteinStructureandFunctionwithRFdiffusion，Watsonetal.，二零二三年;综合性AAV衣壳适应度景观揭示病毒基因并实现机器引导设计，Ogden等人，2019年。人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。204DeNovoDesignofProteinStructureandFunctionwithRFdiffusion，Watsonetal.，2023.Ankh：Optimizedproteinlanguagemodelunlocksgeneral-purposemodeling，Ahmed等人，2023年大型语言模型生成跨不同家族的功能蛋白质序列，Madani等人，2023年205ChemCrow：AugmentingLarge-LanguageModelswithChemistryTools，Branetal.2023年206ChemCrow：AugmentingLarge-LanguageModelswithChemistryTools，Branetal.2023年207人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。208人工智能和生命科学的融合：保护技术，重新思考治理和预防灾难，核威胁倡议，即将出版。209DARPA，白宫推出2000万美元的人工智能，网络安全挑战，突破防御，吉尔，2023年。210ChatGPT给网络安全带来的新风险，Chilton，2023年;AHazardAnalysisFrameworkforCodeSynthesisLargeLanguageModels，Mishkin等人，2022年。211ChatGPT对网络安全构成的新风险，Chilton，2023年。212聊天我们的方式创造一个多态恶意软件ShimonyTsarfati，2023年;BlackMamba：UsingAItoGeneratePolymorphicMalware，Sims，2023.213OPWNAI：网络犯罪分子开始使用ChatGPT，CheckPoint，2022年。214智能侦察：人工智能工具如何驱动有效的渗透测试，CQR，2023。215你老板的声音是不是有点滑稽？这可能是一个音频deepfake，Alspach，2022年216人工智能的安全威胁使网络攻击，TRAFICOM，2022;大型语言模型可用于有效地扩展Spear网络钓鱼活动，Hazell，2023。217网络安全漏洞调查2023，科学，创新和技术部，2023年。218Deepworld-ConcealingTargetedAttackswithAILocksmithing，BlackHatUSAevents，2018.219介绍100k上下文窗口，Anthropic，2023;OpenAI正在测试一个可以“记住”长对话的GPT-4版本220ARC（挑战）基准（常识推理论文与代码。221我们如何将GPT幻觉的发生率从20%以上降低到2%以下，JasonFan，2023。222自动化网络攻击，布坎南等人，2020年。223在现实自主任务中评估智能模型代理，ARCEvals，2023。224安全分析师如何在网络安全中使用人工智能，Moisset，2023年。ChatGPTVulnerabilityScannerIsPrettyGood，Merian，2021。人工智能如何颠覆和改变网络安全格局，Ravichandran，2023年。225使用大型语言模型检查零次漏洞修复。Pearce等人，2023年。226用于指令调整的大型语言模型的虚拟提示注入，Yan等人，2023年227InsidetheCunning，UnprecedentedHackofUkraine'sPowerGrid，Zetter，2016.228Northern'sticketmachineshitbyransomwarecyberattack，BBCNews，2023.229对NHS软件供应商的勒索软件攻击后患者数据的担忧，MilmoCampbell，2022年。230涉及金融机构的网络事件的时间轴，卡内基国际和平基金会2312023年网络安全漏洞调查，科学，创