确保人工智能时代的关键基础设施安全（中文）

作者的观点，并不一定代表美国政府的观点。政府、微软公司或作者可能隶属的任何机构、组织或实体随着人工智能能力的不断提高，关键基础设施（CI）运营商和提供商寻求在其企业中集成新的人工智能系统;然而，这些能力伴随着风险和好处。人工智能的采用可能会带来更强大的系统、业务运营的改进以及更好的工具来检测和应对网络威胁。与此同时，人工智能系统还将引入CI提供商必须应对的新网络威胁去年的人工智能行政命令指示各部门风险管理机构（SRMA）“评估并提供......评估与关键基础设施部门使用人工智能相关的潜在风险，包括部署人工智能可能使关键基础障，物理攻击和网络攻击的方式。尽管行政命令最近的方向，人工智能在关键基础设施中的使用并不新鲜。擅长预测和异常检测的人工智能工具多年来一直用于网络防御和其他商业活动。例如，提供商长期以来一直依赖由人工智能驱动的商业信息技术解决方案来检测恶意活动。发生变化的是，新的生成式人工智能技术变得更加强大，并为人工智能运营商提供了新的机会。潜在的用途包括用于客户交互的更强大的聊天机器人，增强的威胁情报合成和优先级排序，更快的代码生成流程，以及最近可以根据用户提示执行操作的AI代理。CI运营商和行业正试图驾驭这一快速变化和不确定的环境几年前，网络连接的创新为CI运营商提供了一种远程监控和操作许多系统的方法然而，这也为恶意行为者创造了新的攻击媒介。过去的经验教训可以帮助企业了解如何整障，以及恶意使用人工智能系统攻击CI部门。手段有助于缩小差距。这些计划在组织间共享它以应对事件或紧急情况，以及非正式的努力，如开发在当前的企业结构中，人工智能风险的所有权可能是模糊重大挑战。组织通常不确定如何应用美国国家标准与技术研究所最近发布的人人工智能风险方法。对这一指南进行调整并确定其优先次足的提供者和那些有具体需求（往往是定制需求）的人更容易获得这一指人工智能安全问题、缓解措施和最佳实践也至关重要，但明确什么是人工智能事件，应该报告哪些事件，报告的阈告渠道是否足够将是有价值的。为了促进跨部门的可见性●管理网络和人工智能风险的技能相似但不完全相同。人工智能系统的实施将其现有劳动力的技能，并寻求机会对员工进行交叉培训，相关的网络安全技能，以有效地解决人工智能一、导言 6背景 7 7 设 划 机会 12 障意见 内 之 的建议 21 部分 25组织 25 AIDevelopers 26作者 28 组织 界 尾注 介绍2023年10月，白宫发布了《关于安全、可靠、可信地开发和使1正在讨论州、联邦和国际层面的人工智能治理策略，但保护人工关者的首要任务。然而，考虑到监管格局的破碎和16个CI部门为了解决其中一些问题，安全与新兴技术中心（CSET）于20研讨会，汇集了来自美国联邦政府，智库，工业界，学术界和五个技术，水，能源和金融服务）的讨论围绕CI的安全问题展开，包及部署的AI系统中的潜在漏洞或故障带来的风险。研讨会的目施中人工智能现状的坦诚对话，确定人工智能采用所带来的机遇全相关的机遇和风险，并建议技术缓解措施和政策选项，以管理讨论的重点是美国的竞争情报，对全球监管格局进行了有限的部分中概述了研讨会的结论。背景部分包含CSET对人相关的问题。第三部分“观察”对讨论中的这些建议由目标受众（政府，CI部门以及部门和为了准备这次研讨会，CSET的研究人员审查了各联邦部门宫人工智能行政命令第4.3节。这些报告提供了一些CI所有者和运营商如何在其行业内使用AI的见解，但有时不清楚CI提供商正在使用或考虑使用什么类型的AI系统。例如，美国能源部（DOE）的总结报告概述了使用人工智能指导或人工智能辅助系统来支持能源基础设施控制的潜力，但它没有具体说明这些是生成人工智能还是传统模型。背景研究中评估的许多来源和用例都是如此，定行业的用例。这种模糊性降低了人工智能在CI部门采用现状的可见性本节总结了CSET为研讨会所做的初步研究，并根据联邦机构的报告，提供了研究方法美国国土安全部（DHS）最近发布了针对人工智能所有者和运营商的指导方针，将150多2虽然该报告涵盖了所有16个CI部门，但没有具体说明用例。为了确定参与研讨会的部门的人工智能用例，我们评估了美国财政部（金融服务），能源部（能源）和美国环境保护署（EPA，水）的报告。我们还检查了每个部门和机构的AI库存，但它们只包括这些组织内部的用例，而不是一般的行业。财政部和能源部的报告是根据人工智能行政命令编写相对全面，并考虑了许多人工智FinancialManagement）和I5为了确定水资源领域的更多用例，我们评估了水资源管理（水资源管理制物理系统和基础设施（如工业控制系统）中的应用。特定能检测金融行业的欺诈或预测能源行业的电力需求。这些广参考框架，并捕捉了跨行业AI用例的广度。然而，它们并在讨论CI的用例时，我们考虑了广泛的AI应用。虽然较新的技如，大型语言模型）最近已经成为许多政策制定者的系统，包括预测和识别数据中模式（而不是生成内容题，这些问题可能更难以管理，需要仔细研究。这包括解释模输出、管理不可预测的行为以及识别幻觉和虚假信息的困难。最为AI代理提供动力，使这些模型能够在现实世界中采取更直接处于萌芽阶段，但它们自动化任务的潜力--无论是日常工作流还是网.许多IT用例使用人工智能来补充现有的网络安全实践，并在各个部门之间具有共性。例如，人工智能通常用于检测IT中的恶意事件或威胁，无论是在金融公司还是水务设施。一些AIIT用例，例如扫描安全日志以发现异常，可以追溯到20世纪90年代。在过去的20年里，出现了其他一些技术，例如异常或恶意事件检测。随着最近生成式AI的出现，新的潜在用例已经浮出水面，例如减轻代码漏洞和分析威胁行为。.根据报告的用例，没有在OT中使用生成AI的明确例子。虽然传统人工智能的一些这部分是由于担心在关键OT中造成错误。然而，未来如在人类参与的情况下实时控制能源基础设施。.许多特定于行业的人工智能用例寻求提高CI的可靠性，鲁棒性和效率。然而，它们也引发了对数据隐私、网络安全、人工智能安全以及以确保负责任的人工智能部署。为这些用例实施一个通.人工智能的采用在CI部门之间存在很大差异。每个部门的组织都有不同的技术专长、资金、整合新技术的经验、监管或法律限制以及数据可用性。此外，目前还不清楚某些人工智能用例是否正在积极实施，是否在短期内考虑，或者是否在长期内可行。相关文献中强调的许多潜在人工智能用例都是理论上的，实验仅在实验室、受控或有限的环境中进行。一个例子是一个建议的智能灌溉系统原型，用于农业中的有效用水，该系统是使用从现实环境中收集的数据开7目前尚不清楚在实践中和在各组织之间实施这些应用程序的可行性。.很难评估部门内各组织使用人工智能的深度。在金融、能源和水行业有数千个组织。目前尚不清楚这些行业中有多少组织正在资料来源：CSET（见附录A）。*在我们的初步研究中检查的来源不包含任何当前，近期或未来的金融部门OT中的AI用例示例，水利部门OT或IT中的AI用例的当前或近期示例，也不包含任何未来的能源部门IT中的AI用例。正如人工智能在关键基础设施中的广泛的当前和潜在用例所证明的那样，许多研讨会参与者表示有兴趣在各自的行业中采用人工智能技术然而，许多人也担心与人工智能采用相关的广泛和未知的风险，无论是来自外部恶意行为者还是来自人工智能系统的内部部署。人工智能行业在采用人工智能方面也面临着各种障碍，即使是对他们可能立即有利的用例。本节将简要总结关于这三个主题的讨论：风险、机遇和采用障碍。风险人工智能风险是双重的，包括恶意使用人工智能系统和人工智能系统漏洞或故障。本小节将讨论这两个类别，首先是恶意使用的风险，鉴于目前美国关键基础设施上网络攻击的普遍性，一些研讨会参与者对此表示担忧。这些问题包括人工智能如何帮助恶意行为者发现新的攻击媒介，对复杂的CI网络进行侦察和映射，以及使网络攻击更难以检测或防御。人工智能驱动的工具降低了恶意行为者的进入门槛，为他们提供了一种新的（潜在的低成本）方法来合成大量信息，以进行网络和物理安全攻击。然而，仅仅增加人工智能并不一定会带来新的威胁，因为人工智能系统已有动机的网络行为者的目标。在这种情况下，对人工智能的大多数担忧都集中在其可能实现目前可能不可能的攻击或增加未来攻击的严重性。攻击者对人工智能的更具变革性的使用可能涉及寻求更好的洞察力，了解哪些系统和数据流会被破坏或破坏，以实现最大的在某些情况下，生成式AI功能目前正在增加对CI提供商的威胁言模型支持的增强型鱼叉式网络钓鱼。研究人员已经观察人工智能系统的能力，这些系统不一定会改变游戏规则，社会工程等广泛的此外，随着人工智能开发人员努力通过并与其他数字系统交互来提高生成模型的能力，可以将一络安全攻击面以及更大的系统复杂性。数据泄露是一个重大问题人工智能系统的升级还可能以新的或未知的方式增加CI运是如果人工智能系统用于OT或IT。（包含OT和IT的用例，通常与防火墙严格分离以限制妥协风险，将进一步增加攻击面对于某些行业，与会者指出，即使是绘制运营商的网络来评估人工智能系统的有用性，并随后存储或共享这些敏感信息，也可能成为有动机的威胁行为者的目标。CI运营商比其他行业的组织面临更多的限制，因此在披露有关其系统的信息时需要格外谨慎较新的人工智能产品，特别是生成式人工智能系统，也可能会意外失败，因为不可能彻底测试它们可能接收的整个输入范围。最后，人工智能系统的复杂性给测试和评估带来了挑战，特别是考虑到某些系统无法完全解释（从无法跟踪导致输入和输出之间关系的过程的意义上说）。与复杂性相关的风险由于人工智能和关键基础设施的交叉点普遍缺乏专业知识而变得更加复杂，无论是在人工智能社区内部还是在人工智能提供商方面机会尽管承认使用人工智能存在风险，但与会者普遍认为，在关键基础设施中使用人工智能人工智能技术已经在多个领域用于异常检测、运营感知和对成熟的用例，依赖于较老的、已建立的人工智能和机器学习形式（如分类系统而不是较新的生成式人工智能工具。人工智能在CI部门采用的其他机会包括问题分类或优先级排序（例如第一响应者促进网络安全或欺诈环境中的信息共享，预测，威胁狩猎，安全运营中心(SOC)运营和OT系统的预测性维护。更广泛地说情况并帮助运营商为具有特定需求的客户或利益相关者提供更有针对性的信息的潜力感兴趣。采用障碍然而，即使在考虑了风险与机会的权衡之后，一些与会者指出，人工智能运营商面临着各种障碍，这些障碍可能会阻止他们采用人工智能系统，即使它可能是完全有益的。其中一些采用障碍与对人工智能相关风险的犹豫有关例如数据隐私和网络安全攻击面的潜在扩大一些运营商特别犹豫是否在OT（可能影响物理系统）或面向客户的应用程序中采用人工智能。人工智能系统的可信度--或者说缺乏可信度--也是犹豫不决的一个原因其他障碍是由于CI运营商面临的独特例如，一些系统必须持续OT行业还必须应对额外的技术壁垒，例如普遍缺乏有用的数据或依赖无法产生可用数字输出的遗留系统。在某些情况下，当涉及到物理系统的控彻底的测试和评估也可能过于昂贵，甚至在技术上是不可能的。第三类障碍涉及合规、责任和监管要求。人工智能运营商担心户数据所带来的风险，以及需要遵守不同州或不同国家的监管要行业的跨国公司需要遵守多个司法管辖区的法律，并需要最后，几乎所有行业进入的一个重大障碍是需要具有人工智能相关技能的与会者指出，通过雇佣新员工或提高现有员工的技能来缓解劳动力短缺是在任何实际岗位上采用在整个研讨会期间，从更广泛的讨论中出现了四个共同趋势。不代表不同的部门或政府机构，在谈话中多次提出这些问题，这表明他们的突出性。这些主题包括大型和小型CI提供商之间的差异，定义AI和难，组织内对AI风险缺乏明确的所有权，以及破碎的监管和指CI在美国涵盖了许多不同的组织和任务，从全国性的银行到区域电力公司，再到可能只为几千居民服务的当地供水公司。传播和信息提供者之间的资源差距很大，大体上是大组织和小提供者之间的差距，在整个研讨会期间一再提出。这种差距可能存在于部门之间，如资源相对较好的金融服务部门和资源较少的水部门之间，也可能存在于部门内部，如主要银行和区域贷款机构之间可能继续导致人工智能的采用集中在资金最充足的组织中。因此，前面讨论的人工智能的许多潜在好处对于许多没有财政或技术援助的小型供应商来说可能是遥不可及的.人才：与充足资金问题密切相关的是，不同提供者的工作人员或有能力雇用的技术专长有限。拥有人工智能和网络安全技能的工人市场，以及这些职位的较高工资，使小型供应商业，如IT和金融，已经拥有大量的技术人员，并且与制造组织相比，已经能够很好地整合和支持新的人工智能.数据：生产或获取大量数据用于人工智能应用的能力对小型供应商来说可能是一个巨大的挑战。组织的规模和业务的规模只是问题的一个方面小型公用事业公司通常运行较旧或定制的OT系统，这些系统生成的数据有限或缺乏数字输出。使定制数据可用于AI应用程序通常成本高昂且耗时。此外，这些系统中的许多系统被配置为适合提供商的独特需求，这可能会阻止在来自部署在其他环境中的相同机器或设备的数据上训练的模型的泛化。.论坛：各部门内各组织之间的沟通和协调方法差别很大。虽然大多数部门都有值得信赖的第三方，如部门协调委员会和信息共享和分析中心（ISAC），但某些部门还有其他论坛来促进合作，共享威胁信息和制定最佳实践，所有这些都在采用人工智能等新技术方面发挥着关键作用。建立良好的合作论坛的例子包括金融服务部门的金融和银行信息基础设施委员会和网络风险研究所，以及能源部门的电力分部门协调理事会的网络互助方案。网络安全和基础设施安全局（CISA）、行业风险管理机构（SRMA）和行业本身需要识别、消除冲突，并可能扩大现有论坛，以管理新出现的人工智能风险和安全问题。这还可以包括*缺乏这些团体的投入，可能会导致人工智能标准的开发乏对优先实践的适当指导，对于较小的组织来说，实尽管存在所有这些挑战，但即使是规模较小、资源较少的组追求人工智能应用。在人工智能提供的许多潜在好处中，使用检测特别有影响力，并且在CI的背景下至关重要。较小的供应*最近成立的国土安全部人工智能安全和安保委员会可以作为另一个论坛，因为其作用和责任得到进一步界更快、更微妙、更复杂的人工智能网络攻击带来的潜在威胁作为服务提供的解决方案或为定制应用程序定制AI的解决方案将有助于降低这些障碍，并允许使用部门或组织的数据库（一旦为AI培训正确格式化）来支持IT或OT安全任务。区分与人工智能和网络安全相关的问题，以及两者之间的重叠，是各部门面临的共同挑战总的来说，这一挑战反映了人工智能安全和人工智能安全之间的潜在模糊性-这两个学科分别发展，但两者都是强大的人工智能风险管理所必需的。[10]这种模糊性产生于三种情况：风险、事故和劳动力。.风险：确定与人工智能系统相关的给定风险是属于美国国家标准与技术研究院人行这种明确的区分，然而，独立框架的存在以及平问题是人工智能风险，网络风险还是两者兼而有之。这于使用AI的应用程序的上下文，以及它如何与提供商的关键金融领域的关键功能--信用评分决策中使用人工智能的偏见和安全和安保的风险。这对于试图明确划分人工智能和网络承认的那样，“将AI风险与其他关键风险（如网络安全和隐私更综合的结果和组织效率。然而，在与研讨会与会者的讨.事件：关于什么是网络事件、人工智能事件、安全事件、道德事件或这些事何共享与非网络人工智能事件相关的信息。此外，网络和似性并不完美。例如，正如其他研究所指出的那样，一些定义人工智能相关事件的范围以及哪些子集属于现有的报告要求将是有价值的。对于现有要求未涵盖的人工智能事件，研讨会参与者广泛认关的故障、缓解措施和最佳实践相关的信息的好处。然而否应该通过具有明确报告要求的正式渠道进行，还是通过其他拟议的公共存储库等非正式渠道进行，存在分歧。明确什么是人工智能事件，应该报告哪些事件，报告的阈值以及现有的网络事件报告时候提供进一步的指导。14.劳动力：预测CI组织需要什么劳动力来利用人工智能并应对人工智能威胁带来的挑战是困难的。目前尚不清楚人工智能风险管理是否需要具备人工智能特定技能的人员、具备人工智能风险专业化或交叉培训的网络安全专家，还是一批具备人工智能和网络安全专业知识的全新人员传统网络安全最佳实践的某些方面，如身份验证和数据保护，也适用于管理人工智能风险。然而，人工智能系统的设计和实施需要独特的专业知识，许多CI提供商在其当前的网络劳动力中可能没有。至少，一个组织中的人工智能和网络安全专家需要一些交叉培训，以有效地进行合作，并使用共同的语言来应对各种人工智能和网络风险。者指出，需要将人工智能风险管理整合到许多组织的现有流程当前的企业结构中，人工智能风险的所有权可能是模糊的。如今，人工智能风险管理并不完全属于任何单一的企业领导职位，例如首席信息安全官、首席技术官、首席信息官或首席数据官。人工智能及其相关风险的各个方面通常跨越这些不同角色的职责。虽然将人工智能风险管理纳入整体企业战略的必要性是明确的，但组织内谁拥有人工智能风险却并非如此。例如，NISTAIRMF的Governn2.1指出，“与映射，测量和管理AI风险相关的角色和责任以及沟通渠道都有记录，并且对整个组织中的个人和团队都很清楚”，但有关哪些参与者应该直接负责的细节有限。一些组织正在通过任命新的首席人工智能官来应对这一挑战，而另一些组织则将其纳入首席弹性官的职责。然而，最常见的解决方案（尽管可能不太持久）是让组织在不同角色之间分担责任，或者让现有官员（通常是首席数据官）“身兼两职”虽然CI内外的组织都在努力解决如何管理人工智能带来的风险，但这些挑战在CI部门可能尤为严峻。许多CI提供商由于面临高度监管以及管理的基本服务（例如提供清洁水或保持灯亮）而具有“合规文化”。因此，法规要求和由此产生的组织策略通常以二元方式编写-组织满足或不满足给定的要求。然而，同样的方法并不适用于人工智能的背景人工智能模型的输出本质上是概率性的：一个系统会或不会产生概率为n的某种结果。这与以合规为导向的制度下的政策和要求不一致，这些政策和要求规定系统将（100%的可能性）或不会（0%的可能性）完全确定地做某事因此，人工智能风险管理需要一种“风险意识文化”，其重点是减少伤害的可能性，而不是满足要求清单。风险管理文化的这些差异可能会影响人工智能在许多CI部门的安全采用。研讨会期间普遍表达的担忧是，许多CI提供商正在努力实施AI风险管理。除了前面讨论过的资源限制之外，还有两个关键因素造成了这一问题：指导和监管的断裂。“Playbook”和“GenerativeAIProfile”草案）、CSF和隐私框了解这些框架如何协同工作，哪一套指南适用于何处，以及如何为给定的AI用例实施推荐的实践，对组织来说是一个巨大的障碍。与会者注意到与这一问题有关的两个关键挑战。o首先，每一个框架都提出了许多建议实施的做法，如果将这些建议结合起来，即使对资源充足的组织来说，这些建议的范围也与会者强调，缺乏关于如何在众多建议做法中确定优先次序的一般性指导，特别情况下，以及缺乏针对具体部门的指导，是实施建议做法指出，社区概况，如与国别服务框架一起编制的概况，是对高级别指导的有益补充。然而，这些配置文件需要时间来开发，目前还没置文件。随着人工智能的快速发展和采用的推动，值得信赖的第三方可能会在解决这一指导差距方面发挥重要作用。o其次，这些重叠框架交叉处的模糊性使得组织难以解释哪些指导适用于何处。例如，网络安全和隐私框架的核心活动都包括保护功能（分别为“保护”和“保护-P”），其中涵盖建议的保障和安全措施。然而，AIRMF没有保护功能。虽然组织可以借鉴CSF的安全实践，但网络安全的类似物-例如红队-并不总是直接转化为人工智能的背景。此外，这些措施可能无法防止AI系统特有17.这些框架相互交叉时产生的模糊性和潜在差距，使人难以拼凑出应如何协调一致地适用这些框架。因此，希望实施安全可靠的人工智能系统的CI提供商面临着一个挑战，即试图从一系列框架、技术研究报告和行业实践中消除实施指导的冲突。提炼这些信息需要时间和专门知识，许多组织，特别是资源较少的组织，如果没有援助，是负担不起的内部正在进行的努力NIST，如数据治理和管理简介，可能在这方面有所帮助，并被与会者视为高度优先事项。18.监管：对数据保护和网络安全方面支离破碎的监管环境的担忧，以及人工智能类似治理机制的可能性，构成了人工智能提供商采用人工智碍。由于缺乏对隐私或网络安全的总体联邦法规，州一级制须遵守的要求。此外，一些CI提供商在全球范围内开展业影响，特别是欧盟的GDPR和最近的人工智能法案。这调，给寻求实施人工智能系统的组织带来了合规风：（智能和关键基础设施交叉点的所有参与者的（3）CI部门的建议;以及（4）针对单个组织的建议，包跨领域建议以下建议适用于关键基础设施和人工智能生态系统中的所有利益相关者.参与信息共享。共享最佳实践、威胁信息和事件对于维护CI中使用的AI系统的安全至关重要。虽然共享人工智能安全与人工智能安全信息的具体渠道尚不清楚，但在这两个领域共享信息的需求至关重要。。SRMA应该利用现有的场所进行AI安全信息共享。能系统中的人工智能威胁和安全漏洞提供了一个自然的论坛。JCDC也可能有助于这些努力不太清楚的是共享与安全无关的人工智能安全风险信息的机制共享人工智能安全信息的渠道-例如在给定的人工智能模型中发现的错误输出，偏差或故障-可以纳入现有的ISAC或单独建立。将人工智能安全通信集成到现有的ISAC中可以减少开销，防止冗余，为管理风险提供更全面的见解，并减轻前面讨论的人工智能安全和安全之间的模糊性。另一方面，为人工智能安全创建单独的信息共享中心可以提供更有针对性的情报，帮助减少需要处理的信息量，并保持ISAC以安全为中心的使命。一个具体部门的例子*人工智能安全的单独信息共享渠道可能适合或补充人工智能安全研究所，因为它将继续发展和获得能力。安全中心（不专注于人工智能）是由MITRE运营的航空安全信息分析和共使用进行高级别的可见性对于管理总体风险至关重要。这包括确定人工智能在何处以及如何使用，开发最佳实践，以及评估人工智能安全和安全信息-无论是通过相同还是不同的渠道共享。为了促进跨部门的信息共享和分析，我们建议建立一个集中的人工智能安全和安全分析中关键基础设施观测站，将为这个跨部门中心创造一个潜在的家园。19定义人工智能事件并在发生时共享相关信息，无论是否存在网络安全影响，对于识别新的漏洞和危害至关重要。为了使这些信息有用，提供商需要确保他们正在收集相关数据和审计日志，以评估导致事件发生的原因，事件如何展开，以及之后采取了哪些措施来确定问题的根源并进行补救。我们注意到，目前关于沟通人工智能事件的指导很少，指导越早是重要的先决条件。人工智能提供商还应采取积极措施，分享有关观察到的威胁、发现的漏洞以及与人工智能使用和部署相关的行业最佳实践的信息此外，共享特定部门的数据，包括人工智能系统的培训数据，可以帮助CI提供商。虽然出于专有原因或责任风险可能会倾向于保留数据，但协作方法将有助于每个部门内的组织受益，特别是可能无法为AI用例生成所需数据量的小型提供商。第一步可能是优先考虑为人工智能应用程序共享数据的工作，这些应用程序可以促进或保护预测性维护和网络安全等关键服务。.发展劳动力。与会者普遍认为，招聘和培养人工智能人才是在关键基础设施系动力能力以及缺乏劳动力的问题是贯穿整个讨论的主题。一些与会者建议决策者考虑为明确旨在提高传播和信息部门能力的劳动力发展举措提供资金。应该在人工智能培训计划的设计和实施中发挥重要的中介作用。这首先要确定其行业内的特定人工智能人才需求，并制定有助于设计培训计划的要求此外，传播和信息部门应发挥主导作用，协调这些方案的实施，。CI运营商和供应商应积极提高其现有劳动力的技能。开发必要的人工智能人才仍然是一项艰巨的任务，部分满足需求的一种方法是提高现有员工的技能。这种技能提升的一个方面可能是培训能够为运营AI系统的组织部署和管理AI系统的个人工作人员。另一个可能包括在员工中推广人工智能知识，正确使用人工智能工具以及人工智能威胁带来的风险，例如复杂的鱼叉式网络钓鱼攻击。特别值得注意的是，人工智能提供商应确保其员工意识到在发送给第三方人工智能服务的提示中包含专有或敏感信息的风险特别是在国家一级。监管协调将有助于CI运营商规划前一些与会者还表示希望在州和联邦两级将协调统一的努力适用于未来任何专门针对人工智能的立法。府指导由于其一般性而难以实施。从本质上讲，制定适用于每个人的指导方针存在不适合任何人的风险。这一点在传播和信息部门尤为突出，因为供应商往往经营定制和专门的系统。针对具体部门的指导和关于操作的额外指导将使许多运营商受益。例如，在NISTCSF发布之前，NIST已经发布了一个专门针对改善CI网络安全的网络安全框架版本。20与人工智能相关的类似指导-在比现有资源（如NISTAIRMFPlaybook）更具体的层面上-可能对CI运营商有帮助，特别是那些资源不足的运营商。21NIST的“生成式人工智能配置文件”和“生成式人工智能和两用基础模型的安全软件开发实践”就是这种定制指导的例子。22门的AI配置文件，类似于现有的网络安全配置文件，也将有助于促进安全和可靠的采用。.支持相关基础设施，以测试和评估AI系统。如上所述，人工仍然不成熟。许多评估是由模型开发人员进行的，没有独立评估结果的机制。然而，重要的是，第三方在评价中将发挥的作用仍不明确。NIST人工智能安全研究所等组织可以在未来的模型评估中发挥主导作用，但需要以资金和人员的形式提供额外的资源第三方对模型的审计和针对定义的基准的评估可以为CI运营商提供对这些模型的安全性和安全性的额外信心。研讨会上讨论的想法包括使用现有的CI测试床或设计专门用于AI测试和评估的测试床，这可以允许继续研究模型在部署环境中的行为。此外，还需要进一步研究人工智能的风险评估指标，以及如何使用网络安全测试和评估实践来测试部署人工智能技术的网络基础设施。理想的情况是，所有传播和信息部门都能获得这些资源。.扩大生态系统监测工作。继续和扩大识别跨CI部门部署的AI用例的努力对于保持整个生态系统的可见性和评估整体风险至关重要。在能应用程序进行背景研究时，我们发现许多报告的用细节，例如组织如何使用人工智能系统（例如，实部门对于实施人工智能安全和安保指导至关重要。传播和信息部门应促进这些有针对性的最佳做法的发展和协调，确保大小提供者都能为这一进程提供投入.扩大和支持互助。为了帮助解决部门之间和部门内部的差距，讲习班与会者建议扩大非正式和正式的互助手段。这些举措有助于在组织间共享资源、人才和知识，以提高整个行业的安全性和弹性。正式互助的一个例子是电力分部门协调委员会的网络互助方案，该方案将网络安全专业人员网络连接起来，在网络紧急情况下向参与的供应商提供支持。非正式互助往往是大型提供方努力的结果，对小型提供方具有溢出效应或次要利益例如，可制定行业标准，审查产品和服务提供商。为了解决较小的提供者在其中一些非正式做法中没有发言权的问题，较大的组织和部门协调机构应努力收集和采纳较小提供者的意见，作为这些进程的一部分组织.将AI风险管理融入企业风险管理。为了正确合到现有的企业风险管理实践中。组织应该基于NIST的AIRMF开发这些实践，并利用NIST最近发布的Dioptra评估平台等工具。23然而，如前所述，需要就如何将AIRMF建议纳入现有实践提供进一步的.明确AI风险管理的所有权。虽然在企业结构中谁应该拥有人工智能风险的问题上存在不同的观点，但很明显，将人工智能风险整合到企业风险管理中取决于明确定义所有权。由于与人工智能风险相关的问题涵盖了标准企业领导职位的许多职责，因此一种选择可能是建立一个新的首席人工智能官意创建新的职位，他们可能需要考虑利用现有的内部论坛或创建一个新的论坛，将相关的组织领导者聚集在一起评估人工智能风险。然而，对于许多希望在非常狭窄的范围内部署人工智能的小型供应商或组织来说，将人工智能风险的所有权分配给现有的官员-或特定的董事会成员，对于本地供应商来说-可能是更可异常和威胁检测。然而，对于较新的人工智能技赞成采用谨慎和谨慎的方法。像MITREAI开发者人工智能开发人员几乎每天都在开发新的生成性人工智能提供商操作其系统和特定于行业的用例。然而，许多CI运营商.参与透明度最佳实践。这包括以模型卡或“营养标签”的形式发布有关模型的信息，类似于物联网设备的建议。25.与会者还指出，增加关于训练数据来源的信息（大多数人工智能开发人员目前没有提供）将有利于评估与人工智能系统相关的风险。模型评估结果（安全性、安全性或其他方面）和模型漏洞的透明度也是有价值的。.通过开发AI可解释性和可解释性的方法来提与此同时，缺乏可解释性是CI运营商考虑采用AI系或面向客户的用例。虽然这些都是不断发展的研究领域，还没有可解释或可解释的人工智能的灵丹妙药，但对这些作者JohnBansemer-CSET高级研究员兼CyberAI项目主任ZacharyArnold-致谢我们要感谢圆桌会议的几位与会者，他们对讨论做出了很大贡献，但无法参与写作过程：本杰明·阿姆斯特丹、达科塔·卡里、迈尔斯·马丁、凯特·梅加斯、尼基尔·穆拉©2024由安全和新兴技术中心。本作品采用知识共享署名-非商业性4.0国际许可进行许可。要查看此许可证的副本，请访问/li事实说明书：DHS促进了联邦政府，关键基础设施和美国安），“““MohammadElHajj和JamilHammoud，“揭示人工智能和机器学习对金融市场的影响：对交易，风险管理和金融运营中人工智能应用的全面“1执行号订单14110，3CFR（2023），/briefing-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-artificial-intelligence/.2国土安全部，减轻人工智能（AI）风险：关键基础设施所有者和运营商的安全指南（华盛顿特区：国土安全部，2024年），/sites/default/files/2024-04/24_0426_dhs_ai-ci-safety-security-guidelines-508c.pdf。3Treasury，ManagingArtificialIntelligence-SpecificCybersecurityRisksintheFinancialServicesSector（Washington，DC：Treasury，2024/system/files/136/Managing-Artificial-Intelligence-Specific-Cybersecurity-Risks-In-The-Financial-Services-Sector.pdf;OfficeofCybersecurity，EnergySecurity，andEmergencyResponse，PotentialBenefitsandRisksofArtificialIntelligenceforCriticalEnergyInfrastructure（Washington，DC：DOE，2024），/sites/default/files/2024-04/DOE%20CESER_EO14110-AI%20Report%20Summary_4-26-24.pdf.4MuhammadElHajj和JamilHammoud，“揭示人工智能和机器学习对金融市场的影响：对人工智能在交易，风险管理和金融运营中的应用的全面分析”，风险与金融管理杂志16，第16期。10（2023年10月434，/10.3390/jrfm16100434;IndigoAdvisoryGroup，“Utilities&ArtificialIntelligence-ANewErainthePowerSector”，Medium，May15，2024，/@indigoadvisory/utilities-artificial-intelligence-research-brief-0890e4ec5533。5T.Boe等人，“人工智能在EPA国土安全中的应用”，EPA，2022年7月26日，/si/si_public_record_Report.cfm?dirEntryId=357842&实验室=CESER。6AlmandoMorain等人，“人工智能水消费评估：最先进的评论，”水资源管理38（2024）：3113-3134，/10.1007/s11269-024-03823-x;艾哈迈德E。Alprol等人，“人工智能技术革命废水处理：当前趋势和未来展望，”水16，没有。2（2024年1月）：314，/10.3390/w16020314。7AshutoshBhoi等人，“物联网IIRS：基于物联网的智能灌溉推荐系统，使用机器学习方法实现高效用水，”PeerJComputerScience7：e578（2021年6月21日），/10.7717/peerj-cs.578。8CISA，“#StopRansomware：RansomwareAttacksonCriticalInfrastructureFundDPRKMaliciousCyberActivities，”February9，2023，/news-events/cybersecurity-advisories/aa23-040a;CISA，“PRCState-SponsoredActorsCompromiseandMaintainPersistentAccesstoU.S.CriticalInfrastructure，”February7，2024，/news-events/cybersecurity-advisories/aa24-038a.9MicrosoftThreatIntelligence，“StayingAheadofThreatActorsintheAgeofAI，”MicrosoftSecurityBlog，February14，2024，/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/.10XiangyuQietal.，“AI风险管理应该同时包含安全性和安全性，”arXiv预印本arXiv：2405.19524（2024），/abs/2405.19524。11MicahMusser等人，“对抗性机器学习和网络安全：风险，挑战和法律影响”（CSET，2023年4月），/publication/adversarial-machine-learning-和-cybersecurity/。12AndrewLohn和WyattHoffman，“保护人工智能：传统漏洞披露必须如何适应”（CSET，2022年3月），/publication/securing-ai-how-traditional-13参议员马克·R。Warner，“Warner，TillisIntroduceLegislationtoAdvanceSecurityofArtificialIntelligenceEcosystem，”新闻稿，2024年5月1日，/public/index.cfm/2024/5/warner-tillis-introduce-legislation-to-advance-security-of-artificial-intelligence-ecosystem。14CISA，“CISA，JCDC，政府和行业合作伙伴进行AI桌面演习”，新闻稿，2024年6月14日，/news-events/news/cisa-jcdc-government-and-industry-partners-conduct-ai-tabletable-exercise。[15]NIST，ArtificialIntelligenceRiskM