《信息技术-人工智能-风险管理指南》ISO∕IEC 23894-2023解读

《信息技术-人工智能-风险管理指南》ISO∕IEC23894-2023解读人工智能的诞生和使用可能会彻底改变许多行业并改善我们的日常生活，但随着人工智能的使用不断扩大，越来越需要有效的风险管理来处理随之而来的问题，例如算法失败、决策偏见、道德问题等。风险管理的目的在于创造和保护价值，进行风险管理有助于提高绩效、鼓励创新及支持目标的实现。2023年2月14日，国际标准组织（InternationalOrganizationforStandardization，以下简称“ISO”）

和国际电工委员会（InternationalElectrotechnicalCommittee，以下简称“IEC”）联合发布了国际标准《ISO/IEC23894：2023信息技术-人工智能-风险管理指南》（ISO/IEC23894：2023InformationTechnology-ArtificialIntelligence-GuidanceonRiskManagement，以下简称“《指南》”），提供了一种全面和积极主动的方法来管理与人工智能相关的风险。《指南》为开发、生产、部署或使用人工智能的产品、系统和服务的组织如何管理与人工智能具体相关的风险提供了指导，旨在协助各组织将风险管理纳入其与人工智能相关的活动和职能中。《指南》还描述了有效实施和整合人工智能风险管理的流程，以供组织参考。《指南》需与《ISO31000：2018风险管理标准》（ISO31000：2018RiskManagement–Guidelines，以下简称“ISO31000：2018”）一起使用。ISO31000：2018为管理任何类型的风险提供了通用方法，而不是仅限于某一行业或行业特定的。[1]《指南》则调整和发展了ISO31000：2018中所描述的风险管理指南和一般原则，更加聚焦于企业在人工智能领域的风险管理工作，描述了一个风险管理框架，要求用户建立背景，并识别、分析、评估、处理、监测和审查风险，使用户能够有效地管理风险，以充分利用人工智能的潜力。《指南》主要内容包括风险管理的原则、框架和流程。此外，《指南》的三个附件还分别介绍了与人工智能相关的共同目标、风险来源以及风险管理流程和人工智能系统生命周期之间的映射实例。本文对《指南》的主要内容解读如下[2]：一、风险管理的原则《指南》继续沿用了ISO31000：2018中关于风险管理的几个通用原则，并就如何在必要时应用这些原则提供了进一步的指导。具体而言，风险管理原则包括以下八点：（一）整合的风险管理是所有组织活动的组成部分。（二）结构化和全面性结构化和全面性的风险管理办法有助于取得一致的和可比较的结果。（三）定制化风险管理框架和流程是根据本组织与其目标相关的外部和内部环境定制的，并与之相称。（四）包容性人工智能系统的使用会引入更多的利益相关者，需要考虑利益相关者的适当且及时的参与，融入他们的知识、观点和看法，以此提高风险意识和知情的风险管理。例如利益相关者可以帮助识别有关数据收集、处理操作、数据来源和类型的风险，以及在特定情况下或在数据主体可能异常的情况下使用数据的风险；利益相关者可以帮助确定风险管理的目标，并为提高人工智能系统透明度和可解释性提供方法；利益相关者可以帮助定义人工智能系统自动化决策的公平标准，也可以帮助确定人工智能系统工作中可能出现的偏见。（五）动态的随着组织内外部环境的变化，风险可能出现、改变或消失。风险管理会以适当和及时的方式预测、监控、掌握和响应这止变化和事件。由于人工智能系统的本质就是动态的——会不断地学习、完善、评估和验证，与人工智能相关的法律法规和监管要求也在随之频繁变化和更新，动态风险管理对于人工智能系统就更加重要了。（六）最佳可用信息风险管理的输入是基于历史和当前的信息以及未来的预期。风险管理应明确考虑到与这些信息和预期相关的任何限制和不确定性。信息应及时地、清晰地提供给相关的利益相关方。由于人工智能是一项新兴技术并且在不断发展，各组织应考虑到历史信息是非常有限的，未来的预期可能会迅速改变。各组织应考虑人工智能系统的内部使用，跟踪客户和外部用户对人工智能系统的使用可能会受到知识产权、合同或特定市场的限制。（七）人文因素人类行为和文化在每个层次和阶段都会对风险管理的各个方面产生重大影响。从事人工智能系统设计、开发或部署的组织应注意监测它们所处的人类和文化环境，应重点确定人工智能系统或组件如何与预先存在的社会模式相互作用，从而导致对公平结果、隐私、言论自由、公平、安全、保障、就业、环境和人权等方面产生广泛影响。（八）持续改进从事人工智能系统相关工作的组织应该通过学习和经验，不断提高风险管理水平。在持续改进过程中，应考虑识别与使用人工智能系统有关的先前未知的风险，监测人工智能生态系统的性能成效、缺点和经验教训，并保持对新的人工智能研究发现和技术的认识。二、风险管理的框架风险管理涉及为组织制定决策和处理风险收集相关信息，而风险管理框架的目的是协助组织将风险管理整合到重大活动和职能中。风险管理的有效性取决于它能否被整合到组织治理和决策当中，这需要利益相关方，尤其是最高管理层的支持。风险管理的框架一般围绕整个组织中风险管理的整合、设计、实施、评价和改进而展开，具体包括：（一）领导力和承诺在适当情况下，高级管理层和监督机构应确保将风险管理纳入所有组织活动，并且要有针对性地设计和实现框架的所有要素，发布风险管理的方法、计划或行动方针的声明或政策，确保为管理风险分配必要的资源，在组织内相应的级别分配权限和职责。由于与人工智能的开发和使用有关的信任和责任特别重要，最高管理层应考虑发布与其与人工智能风险管理有关的政策和声明，以增强其利益相关方对其使用人工智能的信心。最高管理者也应该意识到管理人工智能风险所需要的专门资源，并适当地分配这些资源。（二）整合风险管理依赖于对组织结构和环境的理解。结构因组织的目标和复杂性而异。组织结构的每个部分都应进行风险管理，组织中的每个人都有管理风险的责任。组织治理意味着指导组织的发展过程，其外部和内部关系，以及实现其目的所需的规则、流程和实践。管理结构将治理方向转换为实现预期的可持续提高绩效和长期生存能力所需的战略和相关目标。确定组织内的风险管理责任和监督角色是组织治理的组成部分。将风险管理集成到组织中是一个动态的迭代过程，应该根据组织的需求和文化进行定制。风险管理应该是组织目标、治理、领导力和承诺、战略、目标和运营的一部分，而不是与之相互分离的。（三）设计在设计风险管理框架时，组织应该做到：第一，了解组织本身及其背景，审查并理解其外部和内部的环境。除了基本考量因素外，对于从事人工智能的组织而言，需要考虑的外部环境因素例如与人工智能相关的法律要求；政府相关团体、监管机构、标准化机构、民间社会、学术界和行业协会发布的人工智能和自动化系统道德使用和设计指南；人工智能各个领域的技术趋势和进展等。需要考虑的内部环境因素例如组织的目标、使命和价值观；组织治理、结构、角色和责任；组织战略、目标和政策；组织的文化等。第二，明确风险管理承诺。在适当的情况下，高级管理层和监督机构应以政策、声明或其他形式明确地传达组织的目标和对风险管理的持续承诺。第三，分配组织角色、权限和职责。在适当的情况下，高级管理层和监督机构应确保在组织各级分配和传达有关风险管理的权限和职责，强调风险管理是核心责任，确定有权处理人工智能风险以及负责建立和监测处理人工智能风险的程序的人员。第四，分配资源。在适当的情况下，高级管理层和监督机构应确保为风险管理分配适当资源，同时考虑现有资源的能力和限制。第五，建立沟通和咨询渠道。为支持风险管理的框架，并促进风险管理的有效应用，组织应建立沟通和咨询的渠道。沟通包括与目标受众共享信息。咨询包括参与者期望对决策或其他活动作出贡献，以便更好地提供反馈信息。沟通和咨询的方法和内容应反映相关利益相关方的期望。沟通和咨询应当及时进行，确保相关信息的收集、整理、汇总和共享，提供反馈意见并改进。（四）实施组织实施风险管理框架的方式如下：制定适当的计划，包括时间计划和资源配置计划；确定整个组织在什么地点、什么时间、由谁进行不同类型的决策：必要时修改决策流程以适用；确保组织的风险管理安排被清楚地理解和实施。（五）评价组织应该根据目标、实施计划、指标和预期行为，定期衡量风险管理框架的绩效，评估风险管理框架的有效性，确定它是否仍然适合支持本组织目标的实现。（六）改进组织应持续监控和调整风险管理框架，以应对内外部的变化。组织应不断改进风险管理框架的适用性、充分性和有效性，以及风险管理流程的整合方式．三、风险管理的流程由于人工智能技术具有潜在复杂性、不可预测性以及缺乏透明度，应特别考虑人工智能系统项目层面的风险管理过程。项目级风险管理过程的范围、背景和标准直接受到项目范围内的人工智能系统生命周期的影响。一般而言，风险管理流程包括系统地将政策、程序和实践应用于沟通和咨询活动，建立环境和评估、处理、监测、审查、记录和报告风险。在整个风险管理流程中，都应考虑到人类行为和文化的动态性和变化性，尽管风险管理流程通常表现为有一定的顺序性，但在实践中流程步骤可以是循环反复的。（一）沟通和咨询沟通和咨询的目的是为了帮助利益相关方理解风险、明确决策依据以及需要采取特定行动的原因。沟通旨在提高对风险的认识和理解，而咨询涉及到获得反馈和信息以支持决策，两者之间的密切协调可以促成真实、及时、相关、准确和可理解的信息交流，同时需要考虑到信息的保密性、完整性以及个人的隐私权。在风险管理流程的所有步骤中以及整个过程中，应与适当的外部和内部利益相关方进行沟通和咨询。（二）范围、环境和标准确定范围、环境和标准的目的是有针对性地设置风险管理流程，从而实现有效的风险评估和怡当的风险应对。范围、环境和标准涉及到界定流程的范围，以及对外部和内部环境的理解。对于人工智能组织来说，人工智能风险管理的范围、风险管理过程的背景还有评价风险重要性以支持决策过程的标准应扩大到确定组织内正在开发或使用人工智能系统的地方。这种人工智能开发和使用的清单应被记录下来，并纳入组织的风险管理过程。对人工智能组织而言，需要考虑的外内部环境因素包括但不限于：人工智能系统是否会损害人类、剥夺基本服务（如果中断，将危及生命、健康或人身安全）或侵犯人权（例如不公平和有偏见的自动决策）或助长环境损害；外部和内部对本组织社会责任的期望；外部和内部对组织环境责任的期望等。由于风险管理系统潜在影响的巨大，组织在形成和建立风险管理过程的背景时，应特别注意其利益相关者的环境，应注意考虑形成一份利益相关者名单。组织应明确与目标相关的可能发生或不发生的风险的数量和类型，还应该定义评估风险重要性和支持决策过程的标准。风险标准应与风险管理框架保持一致，并根据具体活动的具体目的和范围进行有针对性的设计。风险标准应反映组织的价值观、目标和资源，并与风险管理的政策和声明保持一致。风险标准的定义应该考虑到组织的义务和利益相关方的观点。（三）风险评估风险评估是风险识别、风险分析和风险评价的整个过程。风险评估应该借鉴利益相关方的知识和观点，以系统、迭代且协作的方式开展，它应使用现有的最佳资料，并在必要时辅以进一步调查。风险识别包括对资产及其价值、风险源、潜在事件和结果、控制措施和后果的识别。风险分析的目的是理解包括适当的风险水平在内的风险性质及其特征。风险分析涉及对不确定性、风险来源、后果、可能性、事件、场景、控制及其有效性的详细考虑。风险分析包括后果评估（包括业务影响评估、个人影响评估和社会影响评估）和可能性评估。风险评价的目的是支持决策。风险评价涉及将风险