人工智能风险管理框架

NISTAI100-1NISTAI100-1NISTAI100-1类标识并不意味着国家标准与技术研究所的建议或认可，也不意味着实体、材料或设本出版物可从以下网址免费获得:/10.6028/NIS人工智能风险管理框架（AIRMF）旨在成为一份动态的文件。NIST将定期审查框架的提供正式意见的审查。该框架将采用两个数字的版本控制系统来跟踪和识别主要和次大修订后才会更改。次要修订将在生成编号（如1.1）后使用“.n”进行跟踪。所有变更将使用版本控制表进行跟踪，该表定义了修订历史，包括版本号、变更日期和变NISTAI100-1的巨大潜力。AI技术可以推动包容性经济增长，支持改善世界状况的科学进步。然影响。AI的风险与其他类型技术的风险一样，出现方式多种多样，可分为长期或短期、高概率或低概率、系统性或局部性、高人工智能风险管理框架（AIRiskManagementFramework，AIRMF）将AI系统定义为一种基于工程或机器的系统，该系统可针对一组给定的目标，生成影响真实或虚拟环境的预测、建议或决策等输出结果。AI系统在设计上具有不同程尽管各类标准和最佳实践均可帮助组织降低传统软件或训练，而数据可能会随着时间的推移而发生变化，有时这些变化是重大且意想不到作用，而社会因素涉及系统的使用方式、系统与其他AI系统的互动、系统操作人员及上述风险导致AI成为一种在组织内和在社会中部署和利用时均具有独特挑战性的技帮助AI系统的设计、开发和使用方面的决策与预期目标和价值观保持一致。负责任的用和实践，促使设计、开发和部署AI的组织及其内部团队更加批判性地思考相关背景和潜在或预料之外的正负面影响。了解和管理AI系统的风险有助于提高可信度，进而社会责任社会责任可定义为组织“通过透明的和符合道德规范的行为，针对决策和活动系统在环境、社会和经济方面，在满足当代人需求的同时，不损害后代人满足品或系统的专业人员，认清AI在对人类、社会和AI未来施加影响上具有的独特根据《2020年美国国家人工智能倡议法案（NationAIArtificialIntelligence设计、开发、部署或使用AI系统的组织提供资源，帮助这些组织管理AI的诸多风险，并促进AI系统可信和负责任的开发和使用。框架旨在自愿定行业、不考虑使用情况，为所有行业和全社会的不同规模的组织提供灵活性，以便助促进负责任地设计、开发、部署和长期使用AI系统。经济合作与发展组织（OECD）AI的组织和个人”[OECD(2019)Artific框架和支持资源将根据不断发展的技术、世界各地的标准情况以及AI社群的经验和反框架分为两部分。第一部分讨论组织如何确定与AI相关的风险，并描述目标受众。然可靠、安全、有保障和有韧性、可问责和透明、可解释和可解度、保护隐私，以及管第二部分是框架的“核心”部分。第二部分阐述四项AI风险管理流程和程序的所有阶段，而规划功能、测量功能和管理功能则可应用于AINISTAI100-1与框架相关的其他资源载于《AIRMF行动手册》，可通过NISTAIRMF网站获取：/itl/ai-risk-management-fra的参与包括对正式信息请求的回应、三次广泛参与的研讨会、公众对概念文件和框架线图中标出可增强框架的优先研究和更多指南。NIST及更多团体可为路线图做出贡NISTAI100-1的途径，也提供了尽量扩大其积极影响的机会。有效地应对、记录和管理AI风险和潜AI系统的影响或后果可以是积极的、消极的编自：ISO31000:2018）。在考虑潜在事件的负面影响时，风险是以下两个数：1）如果情况或事件发生，将产生的负面影响或伤害程度；2）情况或事件发生的风险管理流程通常针对负面影响，而本框架则提供了将AI系统的预期负面影响降到最系统的可信度，并为人类（个人、社群和社会）、组织和系统/生态系统带来潜在收和不确定性，这反过来又可以提高系统的整体性能和可信度，并提高AI技术有益应用AI风险管理机制旨在应对新出现的风险。在影响不易预这种灵活性尤为重要。虽然有些AI的风险和收益是众所周知的，但评估负面影响和危NISTAI100-1与第三方软件、硬件和数据相关的风险：第三方数据或系统可以加速研发，促进技术转型，也可能导致风险评估复杂化。风险既可能来自第三方数据、软件或硬件本身，系统的组织所使用的风险评估标准或方法可能不透明。客户使用第三方数据或系统或将其集成到AI产品或服务中的做法会导致风险评估和管理变得更加复杂，尤其是在缺乏充足的内部治理结构和技术保障措施的情况下。无论如何，所有各方和AI参与者都跟踪新出现的风险：识别和跟踪新出现的风险并考虑进行评估的技术可加强各组织的NISTAI100-1临的挑战之一。在寻求评估负面风险或危害时，潜在的陷阱包括：制定评估标准通常是一项机构性工作，可能会无意中反映出与潜在影响无关的因素。此外，评估方法可能会过度简化、被操纵、缺乏关键的细微差别、以意想不到的方式利用，或未能考虑评估对人群影响的方法，如果能认识到环境的重要性，认识到危害可能对不同群体或亚群体产生不同的影响，认识到可能受到危害的社群或其他亚群体并不总是系统的直AI生命周期不同阶段的风险：在AI生命周期的早期阶段和在后期阶段评估风险相比，可能会得到不同的结果；有些风险在特定时间点可能属于潜伏阶段，随着AI系统练模型的AI参与者可能具有不同的风险视角。前述部署者可能没有意识到，其特定用途可能会带来与最初开发者不同的风险。所有参与其中的AI参与者都有责任设计、开真实世界环境中的风险：虽然在实验室或受控环境中评估AI风险可能会在部署前产人类基线：对旨在增强或替代人类活动（如决策）的AI系统进行风险管理，需要与特定形式的基准指标对比。前述方法很难系统化，因为AI系统执行的任务与人类不同，虽然AI风险管理机制可用于确定风险的优先次序，但并不规定风险容忍度。风险容忍会可接受的风险水平很大程度上取决于相关背景以及具体应用和使用案例。风险容忍度可能受到AI系统所有者、组织、行业、社群或政策制定者制定的政策和规范的影NISTAI100-1响。随着AI系统、政策和规范的发展，风险容忍度可能会随时间推移而改变。不同的企业、政府、学术界和民间社会将继续开发和讨论能更好了解如何权衡危害/成本效益的新知识和新方法。由于仍未能明确AI的风险容忍度，可能会出现风险管理框架可本框架旨在灵活运用和加强现有的风险做法，此等做法应与适用的法律、法规和规范相一致。各组织应遵循由组织、领域、学科、部门或专业要求制定的有关风险标准、容忍度和应对措施的现有法规和准则。某些部门或行业可能有既定的危害定义或既定的文件、报告和披露要求。在部门内部，风险管理可能取决于特定应用和用例设置的现有准则。如果不存在既定准则，组织应定义合理的风险容忍度。一旦确定容忍度，AIRMF即可用于管理风险和记录风险管理程在实践中，试图完全消除负面风险可能会适得其反，因为并非所有事件和故障都能消除。对风险不切实际的期望可能会导致组织在分配资源时风险分类效率低下或不切实际，或浪费稀缺资源。风险管理文化可以帮助组织认识到，并非所有的AI风险都是一样的，并且资源可以有目的地分配。具有可行性的风险管理工作为评估组织开发或部需要给予其最紧急的优先次序和适用最彻底的风险管理流程。在AI系统呈现不可接受的负面风险水平的情况下（如重大负面影响迫在眉睫、严重危害正在实际发生或存在灾难性风险应该以安全的方式停止开发和部署，直到风险得到充分管理。如果发风险优先级可能有所不同。如果AI系统是在由个人身份信息等敏感数据或受保护数据能需要更高的初始优先级。设计用于仅与计算系统交互并在非敏感数据集（如从物理环境中收集的数据）上训练的AI系统可能需要较低的初始优先级。尽管如此，根据具体情况定期评估风险并确定优先级仍然非常重要，因为不面向人类的AI系统可能会产NISTAI100-1用户或受影响的个人和集体。记录剩余风险将要求系统提供商充分考虑部署AI产品的者承担不同的责任，具备不同的意识。例如，开发AI系统的组织往往不了解该系统可些与AI系统相关的风险在其他类型的软件开发和部署中也很常见。重复的风险的示例包括：与使用基础数据训练AI系统有关的隐私问题；与资源密集型计算需求有关的能源和环境影响；与系统及其训练和输出数据的保密性、完整性和可用性有关的安全问各组织需要建立和保持适当的问责机制、角色和责任、文化和激励结构，以便风险管通过组织高层的承诺实现的，可能需要组织或行业内部的文化变革。此外，取决于组在影响，无论是积极还是消极。理想状态下NISTAI100-1NISTAI100-1·划定AI操作（技术、社会、法律和道德）的界限；以及·促进大众讨论如何协调和平衡与公民自由和权利、公平、环境和地球以及经济有NISTAI100-1评价、验证和确认任务的细节，请参阅附录NISTAI100-1特征几乎很难适用于每种设定，而且某些特征在不同情况况下，需要在优化可解释性与实现隐私之间权衡。在其他情准确性和可解释性之间做出权衡。另外，在数据稀缺等特定能会导致准确性下降，从而影响某些领域的公平性和其他价考虑决策背景。前述分析可以突显不同措施之间存在的冲突如何进行权衡的问题。此等问题取决于相应背景下的价值观NISTAI100-1条件下和在给定时间段内（包括系统的整个生命周期）为真实值的接近程度”。准确度的衡量标准应考虑以NISTAI100-1化）。准确度测量应始终与测试集以及测试方法的详细信息应定义明确、切合实际，且能代表预期使用条件，此等要求ISO/IECTS5723:2022）。鲁期用途完全一致，还要求系统在意外环境中运行时，是否按预期运行。对有效性、准确性、鲁棒性和可靠性的衡AI系统应“在规定的条件下，不会导致危及人类生命、健康、财产或环境的状态”（来源：ISO/IECTS5723:2022）。AI系统的安全运·部署者和最终用户做出负责任的决策；以及·根据事故的经验证据解释和记不同类型的安全风险可能需要根据具体情况和已显风险管理方法。有可能造成严重伤害或死亡的安全风险需NISTAI100-1在生命周期内采用安全考虑因素，并尽早开始规划和设计，可以AI安全风险管理方法应借鉴交通和医疗保健外变化，或者能够在面对内外部变化时保持其功能和有保障性和韧性是相关但不同的特征。韧性是指在发生意议。韧性与鲁棒性有关，韧性越过数据来源以涵盖对的个人能在多大程度上获得AI系统及其输NISTAI100-1本特征的范围包括从设计决策和训练数据到模型训练、模型或导致负面影响，要想采取可操作的补救措施，透明度往往人类操作员或用户。透明的系统并不一定是准确的、保护隐统。然而，很难确定一个不透明的系统是否具备前述特征，调整其透明度和可问责性的做法。保持减少危害的组织提高透明度和可问责性的措施还应考虑此等措施对实施实是，对负面风险的认知源于缺乏理解系统输出的能力，或无法NISTAI100-1个体差异，如用户的角色、知识和技能水平。可解释的系统/artificiAI-intelligence/ai-fundamentAI-res透明度、可解释性和可解读性是相互支持的不同特征。透明度可以回了什么"的问题。可解释性可以回答系统"如何"做出决策的践涉及免受侵扰、限制观察或个体同意披露或控制其身份各方择。与安全性和偏见一样，这些特征与其他特征之间存在权衡统。在数据稀缺等某些条件下，隐私增强技术NISTAI100-1能复杂且难以定义，因为不同文化对公平的看法不同，并且可过识别并考虑这些差异，可以增强风险管理工作。减轻了有害平的。例如，系统即使预测时考虑了人口统计群体之间的相对偏见的三个主要类别：系统性、计算统计以及人类认知。这各种形式的偏见存在于帮助我们做出生活决策的速度和规模，并延续和放大了这些偏见。偏见与透明度以及社NISTAI100-1NISTAI100-1第二部分:核心和配置文件子类又细分为具体的行动和结果。这些行动不构成一份清NISTAI100-1观点。拥有一个多元化团队有助于更开放地分享关于设计、样，行动手册是自愿参与的，组织可以根据自身需求和兴趣利用户可以选择推荐材料中适合自身使用的部分形成定制指南并向广框架用户可以根据自身资源和能力，以最适合框架用户可以根据自身资源和能力，以最适合的方式运用这些功能。有些组织可能会选择从类别织可能会选择并具备应用所有类别和子类的能力。构，只要用户认为该框架增加了价值，就可以按照程都应该是迭代的，并在必要时需要在各个功能之间多个功能中存在适用于某些元素或者在特定子类决策NISTAI100-1确定指导组织使命、目标、价值观、文化和风险容忍度的总面与政策和运营的一致性。文件记录可以提升透明度，改组织建立了治理功能中描述的结构、系统、流程NISTAI100-1NISTAI100-1AI系统的目的和目标的早期决策可以改变其上述复杂性和不同程度的可见性会在风险管理实践和以其他方式解决潜在的负面风险源可以减轻前述不确定在执行映射功能时收集的信息能够预防负面风险，并为以下决策的成果是测量和管理功能的基础。如果没有背景知识，以及在意识，风险管理就难以执行。映射功能旨在增强组织识别风施映射功能。与外部合作者、最终用户、潜在受影响的社群和的视角可以帮助组织积极预防负面风险，并通过以下方NISTAI100-1环境、功能、风险、收益和潜在影响的演变，框架用户有责任NISTAI100-1--包括使用第三方数据或软件－－的方法已经到NISTAI100-1测量功能采用定量、定性或混合的工具技术和方功能中开发或采用的过程应包括严格的软件测试和性能评性测量、与性能基准的比较、正式的报告和结果文件。独础。选项可包括重新校准、降低影响或从设计、开发、生产或在完成测量功能后，准备、遵循和记录客观的、可估、验证和确认（TEVV）过程，包括指标、方法和方法科学、法律和道德规范，并在公开和透明的过程中进行。可能需要开发新的定量测量方法。应考虑每种测量类型在何种程度上的信息。框架用户将提高其全面评估系统可信度的能力，识别和跟踪现有的和风险，并验证指标的有效性。测量结果将用于管理功能，以协助风险监测和应作。随着知识、方法、风险和影响的不断发展，框架用户必须继续将测量功能应NISTAI100-1NISTAI100-1移，追踪已识别的AI因素，准备合适的方法、人员和文件，以定期识别景信息－－被用于该功能，以减少系统故障和负面影响NISTAI100-1NISTAI100-1管理4.1：对已部署的AI系统实施持续监控计划，包括从用户和其他相关AI参与者处捕获和评估输入、上诉和撤源，针对特定环境或应用程序的AIRMF功能、类别和子类的实现：例如AIRMF启用在AI生命周期的各个阶段或特定行业、技术或最终应见解。AIRMF概要协助组织决定如何制定行动计划来解决这些差距，从而满足特定类别或子类的结序由用户的需求和风险管理流程驱动。这种基于风险的方法还NISTAI100-1模型或应用程序的风险。跨部门概要还可涵盖如何管理、映射NISTAI100-1NISTAI100-1统合乎法律和符合目的。任务包括阐述和记录系统的概念数据科学家、领域专家、社会文化分析师、多样性、公平数据提供者、系统资助者、产品经理、第三方实体、评设施，并负责模型构建和任务解释，包括创建、选择、校括试点系统、检查与遗留系统的兼容性、确保符合监管要求员和从业人员、评估者以及具有人类因素、社会文化分析NISTAI100-1•部署方面的TEVV任务包括系统验证和集成到生产环境，以及针对系统和过程集成、•运营方面的TEVV任务涉及定期更新的持续监控、测试和主题专家（SME）对模型的重新校准，对报告的事件或错误的跟踪和管理，对紧急属性及相关影响的检测以NISTAI100-1者，以及为另一个组织或组织的客户提供相关服务设计和开发任务。根据定义，它们是在获取技术或队之外的实体。从第三方实体获取的技术可能是它们可以包括行业协会、标准制定组织、倡导组织、NISTAI100-1•用于构建AI系统的数据可能不是该系统上下文或预期使用的真实或适当的表现，事实真相可能不存在或不可获取。此外，有害的偏见和其他数据质量问题可能•AI系统对用于训练任务的数据的依赖性，结合通常与此类数据相关的增加的数•用于训练AI系统的数据集可能会与其原始的和预期的上下文脱节，或者可能会•AI系统规模和复杂性（许多系统包含数十亿甚至数万亿的决策要点）嵌入在更•使用预训练模型可以推进研究并提高性能，但也可能增加统计不确定性的水平，•由于数据、模型或概念漂移，AI系统可能需要更频繁的维护和触发纠正性维护。NISTAI100-1