ISOIEC38507-2022信息技术-IT治理-组织使用人工智能的治理影响（中文版-雷泽佳译2024）

ISO/IEC38507：2024引言本文件的目的是为正在使用或考虑使用人工智能（AI）的组织的治理机构提供指导。本文件就治理机构在其组织内部使用人工智能的作用提供指导，并鼓励各组织采用适当的标准来支撑其对人工智能使用的治理。本文件在必要范围内阐述了人工智能的性质和机制，以便理解其使用带来的治理影响：使用人工智能会带来哪些额外的机会、风险和责任？重点在于组织使用人工智能的治理（由人类执行），而不是构成任何人工智能系统的技术。然而，这种治理需要对技术的影响有所了解。人工智能（AI）人工智能涵盖了一系列技术，这些技术将计算能力、可扩展性、网络、连接设备和接口以及海量数据融为一体。本文件中提及的“人工智能”旨在指代一整套技术和方法，而不是任何特定的技术、方法或应用。有关人工智能的概念和术语，参见ISO/IEC22989。人工智能的使用本文件中，“人工智能的使用”被定义为从最广义上讲，通过人工智能系统生命周期的任何部分开发或应用该系统，以实现目标并为组织创造价值。这包括与提供或使用此类系统的任何方的关系。使用人工智能的治理影响本文件的范围涉及组织使用人工智能的影响。与任何强大的工具一样，使用人工智能会带来新的风险和责任，使用它的组织应予以解决。人工智能本身并非“好”或“坏”“公平”或“有偏见”“符合道德”或“不符合道德”，尽管其使用可能是这样或似乎是这样。组织的宗旨、道德准则和其他指导原则在其方针中得到了正式或非正式的体现。本文件对治理和组织方针及其应用进行了审查，并就如何调整这些方针和应用以使用人工智能提供了指导。方针的运营方面由管理层实施。本文件提及了其他标准，其中详细说明了包括社会责任、可信度（如风险管理、偏见管理和质量）以及合规管理等在内的相关主题。信息技术-信息技术治理-组织使用人工智能的治理影响范围本文件为组织的治理机构成员提供指导，以启用和治理人工智能（AI）的使用，从而确保其在组织内部得到有效、高效和可接受的应用。本文件还为更广泛的群体提供指导，包括：高级管理人员；外部企业或技术专家，如法律或会计专家、零售或工业协会或专业机构；公共当局和政策制定者；内部和外部服务提供商（包括顾问）；评估人员和审核人员。本文件适用于当前和未来人工智能使用的治理，以及此类使用对组织本身的影响。本文件适用于任何组织，包括公共和私营公司、政府实体和非营利组织。本文件适用于任何规模的组织，无论其是否依赖于数据或信息技术。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅注日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。ISO/IEC22989:2022信息技术人工智能人工智能概念和术语ISO/IEC38500:2015信息技术—组织的IT治理术语和定义本文件采用ISO/IEC22989和ISO/IEC38500中给出的术语和定义。ISO和IEC在以下地址维护用于标准化的术语数据库：ISO在线浏览平台：/obrIEC在线电工术语库：/与人工智能相关的术语人工智能的使用useofAI通过人工智能系统生命周期的任何部分开发或应用该系统，以实现组织的目标。此术语的范围限定于与人工智能相关的任何可能具有治理影响的行动或活动。与治理相关的术语监督oversight监视组织方针和治理方针的实施情况，并管理组织设定的相关任务、服务和产品，以适应内部或外部环境的变化。有效的监督需要对情况有全面的了解。监督是ISO37000:2021，6.4中深入探讨的“治理原则”之一。风险risk不确定性对目标的影响。影响是指偏离预期，可以是正面的和/或负面的，可能带来机会（3.3.23）和威胁（3.3.13)。目标可有不同维度和类型，可应用在不同层级。 通常风险可以用风险源、潜在事件及其后果和可能性来表示。[来源：ISO31000:2018,3.1]风险偏好组织愿意追求或保留的风险（3.2.2）的数量和类型。[来源：ISO导则73:2009，]合规义务complianceobligations组织强制性地必须遵守的要求，以及组织自愿选择遵守的要求。[来源：ISO37301:2021,3.25]合规compliance履行组织的全部合规义务（3.2.4）。[来源：ISO37301:2021,3.26]组织使用人工智能的治理影响总则组织的治理是通过应用一系列原则来实现的，这些原则有助于组织实现其组织宗旨，并在此过程中为组织及其相关方创造价值。根据ISO31000:2018中5.3，治理引导着组织的发展方向、其外部和内部关系，以及实现其宗旨所需的规则、过程和做法。管理结构将治理方向转化为实现可持续绩效和长期活力所需达到的预期水平的战略和相关目标。附录A概述了应遵循的治理和组织决策的概念（尤其是对现有标准的引用）。治理机构在传统环境下设定目标的责任既包括财务目标，也包括非财务成果，包括文化、价值观和道德成果。组织和治理方针通常是通过一系列控制措施、业务计划、战略、职位描述、专业学科公认做法、法规、培训、关键绩效指标以及各种高管沟通相结合的方式制定和实施的。治理机构对组织的所有活动负责。这种责任不可委托。组织的治理机构有责任持续考虑任何新工具、技术或技术的引入对组织的影响。治理机构的成员应确保自己，并能够向相关方证明，他们的政策（以及这些政策的实施）对于组织、其产品和相互作用，以及组织使用的人力资源、过程和技术而言是充分的。在这方面，引入人工智能所带来的责任和结果并不是新的。然而，人工智能有潜力实现新的组织目标，并实现或扩展现有的目标，而且能够以更有效、更高效的方式实现。引入人工智能时保持治理治理机构设定组织的宗旨，并批准实现该目的所需的战略。然而，当组织内部使用人工智能时，现有的治理可能不再适合其宗旨。具体工具的选择，如人工智能系统，应是由管理层做出的决策，并应根据治理机构的指导进行。为了制定这样的指导，治理机构应大致了解人工智能，因为其使用可以带来：对组织具有重大的战略利益；给组织带来重大风险，并可能对其相关方造成伤害；给组织带来额外的义务。治理机构应将其打算使用的人工智能作为其风险偏好的一部分进行评估。风险可能会迅速变化。新的见解和主动的方法为组织提供了应对风险的手段。因此，组织应表现出在必要时修改或中止项目的意愿。有关进一步的指导，请参见ISO/IEC38506。使用人工智能会产生新的影响，包括但不限于：在获取数据和保证数据质量方面对技术和系统的依赖增加；当使用部分或完全自动化系统来处理以前由人类执行的任务和问题（如信用评分）时，人工智能系统的透明度和可解释性（包括对其中包含的目标、假设和规则的了解），以及修改和更新这些算法的适当过程；现有的指导和控制措施可能不适合确保所需的结果（并降低不良后果的风险），甚至可能受到损害。这是由于在委托给人类时与使用或获取人工智能的支持时所做的假设存在差异。【示例1】“将信贷还款推迟到假期后”这一指令对于另一个人类操作员来说足够清晰，但对于人工智能系统来说却不够精确，无法正确执行。由于组织不使用人工智能而导致的销售和运营方面的竞争压力；在没有意识到或考虑潜在偏见、错误或伤害的情况下接受使用人工智能系统，或没有考虑将人工智能嵌入现有复杂系统中的影响；自动化学习系统的变化速度与相应的人类合规控制之间的差距不断扩大；人工智能对工作队伍的影响，包括对歧视的担忧、对工人基本权利的侵害、由于自动化而导致的冗余或技能降级和升级，以及可能丧失的组织知识，但也要利用人工智能来提高人类的创造力，通过将重复性、琐碎或危险的任务委托给人工智能系统来提高工作质量；对商业运营和品牌声誉的影响。使用人工智能还可以减少或消除某些现有风险，治理机构应相应地审查和调整其风险评估。【示例2】人工智能系统可以减少在执行重复性任务时辅助人类或要求人类持续监视系统以寻找罕见异常（如保安人员）时出错的风险。在引入人工智能时保持可追究责任治理机构的成员负责监督组织的成果以及实现这些成果所需的系统和做法。他们对整个组织所做的决策负责，包括那些通过使用人工智能做出的决策，以及在部署人工智能时治理和控制的充分性。因此，他们对组织认为可接受的人工智能使用负责。治理机构应承担使用人工智能的责任，而不是将责任归咎于人工智能系统本身。治理机构的成员应负责了解使用人工智能系统所带来的可能性和风险。他们应意识到将人类特性（如思考、情感、判断、道德化）不适当地归因于人工智能系统的风险，这种归因可能超出比例或以不适当的方式进行，超出了为理解人工智能使用所扮演的角色而必要的程度。在组织内部因缺乏应有的勤勉、谨慎、指导、培训、监督和执行而导致问题出现时，治理机构的成员应对组织的不当行为负责。这种责任可以由治理机构本身确保，或由相关方通过其他方式施加。治理机构的成员可能会面临处罚、免职或法律追究。因此，治理机构应确保其做法适合组织内部人工智能的具体用途。这可能包括审查和在必要时增强：指导：通过政策、战略、资源配置、道德准则、价值观声明、目的或其他与组织内人工智能使用相关的工具；监督：通过对人工智能的评估、其在组织中的价值评估和组织的风险承受能力，以及确保实施、监测、衡量、决策保证和与组织内人工智能使用相关的其他机制；评估：考虑不同的因素，例如与组织相关的内部和外部因素、当前和未来的威胁和机遇、实现的成果、现有治理机制的有效性和效率，以及对所做决策和选择的判断。报告：向相关方证明人工智能的使用正在得到有效治理（与ISO/IEC38500:2015,4.2中的“评估”“指导”和“监督”任务相比）。治理机构还应确保其具备处理人工智能使用所带来的影响的能力。为此可采取的行动包括：提高其成员在人工智能方面的技能；增加对组织使用信息技术和特别是人工智能的评审频率；审查和更新用于监测内部和外部环境的标准；确保员工利益和关切（如工作场所安全、员工培训、工作质量）得到体现；通过设立或加强处理战略、风险评估或审核以及伦理问题的小组委员会来加强监督。治理机构的责任应在人工智能的预期或实际使用的所有方面得到确立，并以足以确保预期成果的方式确立，特别是：在考虑使用人工智能的潜在影响时；在制定纳入人工智能使用的业务战略时；在人工智能系统的整个生命周期中的采购、实施、配置、部署、测试和其他项目阶段；人工智能所处的环境发生变化时，以及人工智能系统的学习、行动、决策和输出，及其对相关方的影响；确保有适当的安全控制措施来保护组织、其相关方和其数据；在停用时，包括人工智能系统中所包含的知识和数据。除了与人工智能本身相关的问题外，还有其他与新引入的技术相关的问题可能影响组织及其相关方，包括：误解技术的性质；做出不适当的治理决策；忽略对人工智能的适当治理监督；未将人工智能纳入现有治理的范围；在不具备特定情境意识、适当规划、政策或培训的情况下不适当地或普遍地应用技术；未能保护信息和资产免受使用人工智能识别漏洞的自动化攻击；未能解决人类与人工智能系统之间新兴关系的影响。人工智能和人工智能系统概述总则人工智能系统形式多样，治理机构对其监督程度也各不相同。因此，治理机构应了解“使用人工智能”的含义，以及在使用的哪个阶段治理机构应直接或通过适当的治理机制参与其中。人工智能系统建立在现有的信息技术能力之上，包括网络技术、物联网设备（如传感器和执行器）、大数据和云计算。人工智能技术领域最近的大多数进展都与机器学习（ML）领域有关。机器学习是一种人工智能技术，它使计算机能够在没有明确编程的情况下“学习”。数据是关键：它们可以表示文本、数字、图片、符号、公式、图表、图像、语音、声音或视频等。创建现有数据集的模型并将其应用于新数据，以解决特定问题、预测结果或对新的输入数据进行分类。基于机器学习的人工智能系统的性质，包括其使用目的、算法选择、数据驱动方法、训练方法和基于概率的输出，都可能给组织带来额外的风险和机遇（另见6.7）。人工智能系统可以通过分析数据来自动化决策，提供潜在的概率结果，并在许多情况下根据该结果采取行动。人工智能系统可以改变产品、过程和关系的性质，以及组织的运营方式。这可能对大多数行业产生重大影响。与任何带来益处的强大工具一样，也存在造成伤害的潜在风险。因此，人工智能的使用应纳入组织的风险评估中。人工智能的使用可能给组织带来新的义务。这些可能是法律要求，或是采用自愿性实践准则的结果，无论是直接在人工智能系统自动化决策过程中，还是间接通过其使用数据或其他资源或过程。人工智能系统跨越提供行动选项和执行行动本身之间的界限（无人类参与）的可能性，应是治理机构重点考虑的问题。从治理影响的角度来看，人工智能与其他技术的区别在于：具有决策自动化的能力；使用数据分析、洞察和学习来解决问题，而不是使用明确的人类编码逻辑；随着人工智能系统环境的变化而适应，这些变化并非明确编码且不一定事先已知。这三个要素对组织及其治理具有广泛的影响。人工智能系统与其他信息技术的差异决策自动化人工智能系统通常根据为特定任务选择的历史和当前数据来创建输出。在现代人工智能系统中，特别是基于机器学习的系统，所得预测通常表示为概率。例如：该部件不符合质量要求的可能性为97%；走这条路线将是最快的可能性为92%；摄像头前的人脸属于“BarryJones”的可能性为98%。基于这些概率，人工智能系统可以采取不同的行动方案（由于再训练，这些行动方案可能会随时间而改变）。在某些情况下，可以在几分之一秒内做出自动化决策。这种决策的速度是人工智能系统的关键要素，使它们成为组织使用的强大工具。自动化决策的范围可能涉及大量且多种多样的输入数据。数据驱动的问题解决人工智能系统，特别是基于机器学习的系统，通常会检查大量数据，并识别和精炼数据中发现的模式。这种能力使这些系统能够解决某些类型的问题，这些问题对人类来说太难或太耗时，无法独自解决或使用经典的编程技术解决。在这个过程中，数据驱动着进程，而不是人类驱动每个逻辑步骤并编写代码来解决问题。例如：识别面部是人类非常擅长的事情，但准确描述如何实现这一点却非常困难。人工智能系统通过检查数千张面部图像，学习这些数据中的模式，并将这些模式应用于新的面部图像来实现这一点；在数百万个健康细胞中找到癌细胞的过程非常困难，但事实证明，用于图像识别的机器学习技术适用于癌症诊断。机器学习的使用不断增加，再加上不断变化的数据（在系统由于再训练和持续学习而发展的情况下），极大地加速了问题解决的速度，并带来了巨大的潜力以及治理挑战。自适应系统一些人工智能系统在其运行阶段会进行再训练或持续训练。人工智能系统利用运行过程中感知到的输入数据来改进和优化其内部模型。因此，随着时间的推移，这类人工智能系统可能会从相同的输入中产生不同的输出。这种适应性可以作为对外部刺激的反应而发展，如环境变化或到达人工智能系统的反馈。例如，考虑一个推荐系统，它监视用户对推荐的反应并进行适应以提高接受率。这就是“持续学习”（ISO/IEC22989：—，3.1.10）。适应性也可以源于自我改进，例如在象棋人工智能系统中，它仅通过与自己对战就能学习。这种自适应系统对治理也有影响：可能需要人工智能系统具备提供其功能洞察的能力，例如在评估或审核情况下；随着人工智能系统的功能随时间变化，确保系统仍在可接受的范围内运行可能需要进一步的评估或其他控制机制；人工智能系统的适应性可以提高组织的敏捷性，并为其提供战略优势；人工智能系统可能会无意中绕过现有的治理控制。管理层应确保人工智能系统明确遵守现有的治理控制。人工智能生态系统要了解人工智能系统的众多组件以及这些组件如何与组织相关联，需要对人工智能生态系统采取分层的方法。如图1所示，人工智能生态系统非常广泛，包括一系列不同的技术。该图的更详细版本可在ISO/IEC22989：—的图6中找到，其中描述了有关机器学习元素和计算资源的更多细节。如果使用人工智能技术，此生态系统中的其他一些组件将成为整个人工智能系统的功能部分，并且应从治理的角度将其视为如此。云计算与边缘计算+大数据与数据源资源池（计算、存储、网络、资源管理与配置）其他技术（例如：进化计算、群体智能）工程（模型开发与使用、工具）机器学习（模型开发与使用、工具、机器学习数据）AI服务云计算与边缘计算+大数据与数据源资源池（计算、存储、网络、资源管理与配置）其他技术（例如：进化计算、群体智能）工程（模型开发与使用、工具）机器学习（模型开发与使用、工具、机器学习数据）AI服务AI系统垂直产业和研究图1：来自ISO/IEC22989：—，图6的人工智能生态系统简化版这种分层的人工智能生态系统表示方法有助于根据组织在生态系统中的角色以及治理机构适当的责任水平来划定责任的程度和范围。人工智能生态系统的复杂性意味着，监督的范围将基于多个因素而有很大差异，这些因素包括：人工智能系统的预期目的；所使用的人工智能类型；所使用的人工智能生态系统的功能层；人工智能系统将带来的潜在利益；人工智能系统可能带来的新风险；人工智能系统的实施阶段；组织在人工智能价值链中扮演的角色（例如，作为人工智能提供者、生产者、客户的角色）。见ISO/IEC22989：—，5.17。这些因素受到组织目的和目标的影响，以及选择使用人工智能系统而非其他信息技术的决策影响。这些因素大多在人工智能系统的开发和部署初期就予以考虑。然而，在整个生命周期中，还应考虑其他组织因素。图2展示了从创立到退役的人工智能系统生命周期。一旦组织决定使用人工智能，这可以帮助治理机构确定可能出现关键治理问题并由治理机构解决的“节点”或“关卡”。考虑到人工智能系统的生命周期，组织可以开始了解如何发展其现有的治理机制。鉴于人工智能系统对数据的依赖，生命周期可以帮助确定在哪些方面需要额外的治理。数据的治理在ISO/IEC38505系列中有所涉及。生命周期还可以帮助治理机构在每个阶段识别组织可能面临的额外风险，并就如何管理这些风险做出决策。在5.4和5.5中，将进一步描述使用人工智能产生的其他治理考虑因素。使用人工智能的益处治理机构可以考虑部署人工智能以追求组织已确定的具体机会，包括组织的未来增长或更好地实现组织的目的和目标。在这种情况下，治理机构需要对这些机会进行权衡，考虑其风险和使用带来的其他影响。它应确保存在监督机制，并用于审查部署是否仍符合组织的战略意图、目的和价值观。人工智能可以用于实现目标并为组织创造价值。这可以带来以下结果：降低运营成本；开发新产品和服务，加速对现有业务的商业颠覆；转变政府组织或非营利组织等机构。组织可能已经在日常运营中使用人工智能。在组织日常运营中使用人工智能的例子包括：使用基于卫星的导航系统为卡车运输找到最高效的路线；大多数互联网搜索都使用人工智能来回答问题、查找相似的图片或文档；生产率应用程序使用人工智能来为演示文稿中的幻灯片提供更好的设计建议或改进文档中的语法。可以在各种领域（如农业、国防、教育、医疗、制造业、交通）中找到更多的应用，并使用各种部署模型（如云服务或本地系统、信息物理系统）。ISO/IECTR24030中包含了一个广泛的用例集合，涵盖了这些和其他领域以及部署模型。例如，人工智能系统可以：改变产品、过程和服务的性质；自动化反馈收集、比较、翻译、数据审查或分析，将增值活动留给人类（如得出结论或做出决策）；提高客户服务、生产率和产品质量；使用智能代理（如聊天机器人）收集相关信息、对请求进行分类和路由、帮助解决产品、服务或计费问题或解决问题，从而改变与客户和供应商的关系（以及员工、客户和供应链之间的关系）；通过从“自动化辅助”转变为“全自动化”，提高制造业和农业的效率；根据口语样本识别说话者最可能的意图；根据类似疾病爆发的历史数据预测疾病的传播；根据细胞检查建议可能的癌症病例；建议授予或拒绝贷款。这种使用人工智能可以为组织带来益处，但也可能带来新的或更严峻的挑战，例如额外的风险或偏见，这些问题在第6章中进行了更详细的讨论。配备人工智能的组织可以重塑其战略，并应用适合其行业的模型。它可以改变为相关方创造价值的方式以及捕捉这种价值的方式。使用人工智能也为劳动力创造了机会，例如通过使用人工智能激发更大的创造力、提高竞争力和消除重复性、琐碎或不安全任务的不同工作机会。这样，人工智能技术可以为组织带来深刻的变革。治理机构应该了解人工智能为组织带来的机会，并在适当的时候推动其采用。通过使用人工智能来处理这些任务的过程负担，组织可以将精力和资源集中在那些由无法自动化或复制的人类努力带来的增值任务上。对使用人工智能的约束尽管组织可以轻易地识别出使用人工智能（AI）带来的好处，但治理机构应了解这种使用对组织产生的约束和义务。为了充分管理这些约束和义务，组织应采取以下一些行动：加强合规监督：没有适当的监督，人工智能的使用可能会自动化流程，产生频繁变化的结果，这些结果可能难以解释或与组织政策相冲突（见6.6）。处理使用范围问题：确保自动化的范围受到治理机构的监督，并由经过适当授权和具备技能的人员实施（见6.3）。治理机构应确保维持必要的权威、责任和问责制，并在实施前审查和理解这种自动化可能带来的后果。评估和应对对相关方的影响：虽然一些决策会对相关方产生负面影响（例如拒绝向客户提供银行贷款），但组织应确保这种影响不会因使用人工智能而加剧。现有的风险和影响评估，以及缓解过程（例如保留法律权利或确保法律确定性）应保持有效（见6.7）。确定使用此类技术的法律要求或义务：使用人工智能和相关解决方案（例如面部识别或自动驾驶车辆移动）越来越可能受到质疑，并可能成为新法律要求的主题。治理机构应展示如何满足这些义务，并确保它们符合要求，并在需要时作出适当解释。使人工智能的使用与组织目标保持一致：新技术的创新使用对许多组织的生存和健康至关重要，在这些情况下，治理将鼓励这种创新。并非每个项目都具有战略重要性（例如，有些项目仅旨在降低成本），但总体而言，人工智能的使用应有助于组织实现其目标。使人工智能的使用与组织文化和价值观保持一致：人工智能系统提出的决策应考虑组织的政策、期望（包括使用的影响）和道德。确保解决问题时充分考虑环境。组织需要确保不会遗漏或省略对其用于解决问题的数据中至关重要的环境元素，这些元素对于理解行为、价值观和文化至关重要。审查使用人工智能可能给组织带来的额外风险：通过审查组织的目的和目标，并考虑其决定使用人工智能时可能确定的风险来源，以及处理这些风险的措施，组织应保持在其风险承受范围内（见6.Z）。除了组织使用人工智能的这些广泛约束（以及适用于组织或其相关方的任何其他约束）外，人工智能系统本身也存在技术约束。治理机构还应寻求管理层的保证，以确保这些约束得到充分管理。针对使用人工智能的方针总则人工智能系统使用数据来构建模型、进行预测，并可能自动化决策和行动。与管理人力资源、过程或技术的任何使用一样，治理机构仍需对这些决策和行动负责。人工智能的某些使用可能会无意中导致政策不合规，或产生现有政策未预见的结果。对于不使用人工智能的组织而言，其指定的方向和控制措施可能是适当的，但对于使用人工智能的组织而言，则可能并不适当。为了继续进行有效的治理，需要审查并可能加强现有的治理机制和控制措施，以确保它们稳健、明确且适当，能够涵盖人工智能系统给组织及其相关方带来的额外治理考虑因素（以及对管理层的指导）。在整个组织实施人工智能系统的过程中，治理机构和管理者应通过信息、咨询和参与程序，进一步让可能受到人工智能系统影响的相关方（如员工及其代表）参与其中。本条款的指导旨在帮助治理机构理解和修订其应考虑的政策，以减少组织使用人工智能时可避免和意外后果的发生。然而，这些指导并不是也不可能是全面的。根据ISO/IECTR38502:2017,4.1.3，管理者负责确保在治理机构制定的战略和政策范围内实现组织的目标。治理任务是由治理机构和管理者密切合作完成的，如图3所示。图3：使用人工智能的治理影响图3基于并修改了ISO/IEC38500:2015中的“信息技术治理模型”（见图A.1）。无论使用何种技术，治理机构都应设定并监督与其原则相一致的成果的实现。这些原则可以产生于内部，也可以由外部组织提出或强加（例如，通过法律、行业标准或国际规范）。技术创新的速度和不断变化的法律要求应鼓励组织积极维护一套关于使用人工智能的原则，并确保这些原则对于组织使用人工智能的情况仍然适用。对人工智能的治理监督治理机构应确保为人工智能建立监督安排，并且这些安排要与组织使用人工智能所带来的风险相适应。基于组织设定的政策，治理监督应确定责任链中的个人和集体责任。良好的治理监督应基于对系统使用（和使用环境）的一般理解。参见ISO/IEC23894:2017的6.3.33和ISO31000:2018的6.3.3中的“外部和内部环境”。作为其对人工智能的治理监督的一部分，治理机构应确保：已制定政策以确保人工智能的适当使用；在组织内部以及适用时在任何价值链中的不同方之间，都明确界定并商定了责任、责任链、可追究责任、权限以及可能的权限委托；在使用人工智能时，有充分的人工监督；任何使用人工智能或对人工智能的使用负责的人：对所使用的人工智能系统有适当的理解；得到了适当的通知和培训，包括知道如何以及向谁提出任何关切；有权做出决策（或知道向谁请求做出决策）并知道向谁报告；对人工智能系统有足够的控制权，包括在必要时进行干预的可能性。决策治理决策治理是组织整体治理的一部分。为了分担工作负担和决策责任，组织会将权力和责任委托给各个成员。无论这种委托的权力或责任存在于何处，所有工作和决策的责任仍然由治理机构承担（见4.3）。其中一些决策和工作可以越来越多地由人工智能系统做出和执行，但治理机构仍需以与人类决策和工作相同的方式承担责任。修订关于使用人工智能的决策政策，旨在确保人类或人类群体对其已委托权力和责任的决策保持明确的责任，无论该决策是部分还是完全自动化。治理机构应监视自动化系统生成的决策和输出，并指导管理层确保通过实施适当的控制，使这些系统在可接受的范围内运行。这些控制应使治理机构能够适当地了解决策是否符合组织政策，以及任何例外情况。治理机构应确保将对此类控制的积极监督委托给拥有适当资源的工作人员，该工作人员应有权对发现的问题做出反应或发起反应。由人工智能系统提供的自动化决策的使用，并不改变治理机构（或任何委托权力）对此类决策的责任。与组织内决策相关的重要因素包括：与目标的一致性。决策应与组织目标保持一致，同时保持在组织分配的资源、定义的风险和其他控制范围内。责任水平。确保决策水平与授予的权力和与决策相关的责任相匹配，是良好治理的关键要素。定义可能决策的范围和影响，并将其与责任水平相匹配，对于授权员工采取适当行动，从而使整个组织更加敏捷是必要的。对于人工智能系统执行的动作和决策，人类责任应明确定义，并分配给具有适当权力和工具来执行任务的工作人员（例如，可见性、监督、质量控制），并在发现问题时采取足够的纠正措施。决策能力。决策者应具备其负责决策所需的技能和培训。应实施控制，以确保人工智能系统适合其被设定的任务。参见ISO/IECTR24028。决策过程。相关方越来越要求决策过程的透明度。这种透明度包括报告要求、战略方向和与所有内部和外部用户的互动。随着透明度的提高，决策中的预期参与程度和谨慎程度也在增加。因此，决策过程（以及为减轻错误决策后果而需采取的行动）是一个重要的治理机制，并且随着人工智能的使用增加，其重要性将越来越高。决策监督。治理机构应确保有足够的监督，实施控制以确保有效的决策能力，并且决策符合组织政策以及任何例外的情况都应有适当的可见性。对于决策中的合规例外，应确定是否需要额外的透明度和责任。应向所有相关方提供适当的手段，以识别和报告不合规行为或决策结果（无论是否涉及人工智能系统），并应给予有意义、及时和充分的回应。数据使用的治理一些人工智能系统依赖于数据来构建和训练模型，因此，数据使用的治理对于人工智能的负责任使用至关重要。治理机构应在早期阶段确保现有的治理和管理措施足以满足数据使用的目的，并确保敏感数据得到保护和安全（见ISO/IEC38505-1）。这包括，例如，记录组织如何履行其在采购和销售、隐私和安全、数据保留和处置等方面的义务，并监督其自身关于数据管理的政策（另见6.7.4）。在使用数据的人工智能系统中，额外的治理考虑包括：为人工智能系统做出的相关设计选择；数据收集；相关的数据准备和处理操作，例如注释、标记、清理、丰富和聚合；制定相关假设，特别是关于数据应该衡量和表示的信息；事先评估数据的可用性、质量、数量和适用性；检查可能存在的偏差；识别任何可能的数据缺口或不足，以及如何解决这些缺口和不足。人工智能系统（特别是涉及机器学习的系统）与其他IT系统之间的一个主要区别是，它们依赖于数据推断来产生具有一定置信度的结果。第二个主要差异是训练数据的存在和使用，其质量可以提高或降低任何结果的质量。这与软件开发不同，软件开发依赖于人类构思和编程产生结果所需的具体逻辑步骤。子条款5.2.2和5.2.3概述了这些系统之间的差异。由于数据质量对人工智能系统的性能至关重要，因此治理机构应向管理层寻求保证，确保数据对于其在人工智能系统中的预期用途具有必要的质量。根据应用程序的不同，使用历史数据来训练人工智能系统可能会导致：重复之前的错误；做出与数据中未记录的结果相关的“不合理”决策；做出与人类难以理解的新情况或数据组合相关的决策，例如将不同且明显不相关的数据集联系起来；监视和行为信息并非自愿披露。这些结果最好被理解为由于使用不完整、错误或不适当的数据而引入的错误或失误。这有时（且经常错误地）被称为“人工智能偏差”。然而，偏差是由人类引入或加强的，而不是由人工智能系统本身引入的（另见6.7.4）。当数据在人工智能系统中使用时，应审查现有数据使用的治理和数据管理实践。此外，对于行业分析等共享人工智能系统，可能需要额外的治理政策和管理控制。其他技术资产（例如算法、神经网络和自然语言处理系统）也可能需要对现有组织和治理政策进行类似的增强。组织应考虑将ISO/IEC38505-1中与数据使用相关的规定应用于人工智能使用治理的以下方面：价值：数据的质量和数量、及时性、使用环境和成本；风险：数据安全、滥用和隐私，以及不利用数据所涉及的竞争风险；约束：法律要求、合同义务、版权或商业利益。另见A.3关于数据使用的治理。数据及其在组织中的使用对于所有组织及其相关方来说都是一个日益重要的问题。根据ISO/IEC38505-1中概述的治理原则、模型和数据特定方面，治理机构应采取行动，确保组织数据使用的有效治理和投资，并处理其中涉及的风险。这包括确保为正确的目的使用正确的数据。文化与价值观治理机构负责根据相关方、市场和监管机构的要求，以及社会对组织运营和影响的期望变化，来定义组织所期望的文化和价值观。治理机构应当了解《世界人权宣言》《约翰内斯堡可持续发展宣言》及其他文书所反映的新兴指导和国际行为准则。更多细节参见ISO26000:2010，3.3.2。组织的任何决策或行动都应与其文化和价值观保持一致。然而，组织的许多文化和价值观都隐含在其员工的行为和过程中。人工智能系统没有人类的理解能力，无法理解语境、常识、道德或知识来指导其输出。相反，人工智能系统依靠模型、算法或训练数据来实现类似的结果。出于这些原因，治理机构应当明确其文化和价值观，并拥有适当的治理机制和政策，以确保在需要时可以监视和纠正人工智能系统的行为。在某些情况下，应当限制人工智能系统的范围和影响，并通过人类行动加以增强，以确保治理政策得以实施。实现这一目标的方式将因情况而异。同样，人工智能系统可以帮助识别人类决策中的缺陷（例如，由于不适当的偏见或歧视，或由于推理或推断不当），从而为治理机构随后可以解决的问题提供对组织的见解。这给组织的治理带来了未来的挑战。根据打算使用的人工智能系统的性质和目的，组织可能需要明确监督这些系统，以确保它们符合组织的文化和价值观。治理机制可以采取“文化与价值观委员会”或“伦理审查委员会”的形式。监督可以包括在批准敏感或高风险的人工智能系统项目之前进行审查，或满足某些升级标准。该领域的其他组织政策可以要求在人工智能系统中使用技术控制，以协助遵守这些方针。有关人工智能使用的伦理和社会问题的更多信息，请参阅ISO/IECTR243684。合规合规义务为确保组织履行其合规义务，组织应建立持续的合规过程。为了有效实施，合规过程应由组织领导层塑造，并融入组织文化中。如ISO37301中所述，合规管理体系满足这些要求，并帮助组织展示其履行义务和满足相关方期望的承诺。治理机构应寻求保证，管理层配置和维护组织使用的任何人工智能系统，以满足组织的合规义务并避免违规行为。违规行为的例子包括违反反垄断法律要求的定价机制，或使用侵犯公民权利或具有歧视性的数据进行训练。合规性关注运营人员的行为。在某些情况下，人工智能可以减少人类行为的影响，从而降低因人类行为而导致的不合规风险。因此，人为因素现在被提升或转向那些设计、开发和实施人工智能系统的人员。这种转变在意识、培训和监视方面带来了全新的挑战。在审查人工智能在组织及其合规义务中的作用时，治理机构应解决以下事项：相关方对人工智能使用和影响的期望（确保它们与现有方针和合规义务相一致）；人工智能在组织内使用的文化影响，例如人工智能系统的日益复杂化可能导致员工认为其无错误。组织应建立适当的过程来验证人工智能系统的输出；组织使用人工智能的程度；人工智能对组织合规要求的影响；使用人工智能导致的组织风险偏好的变化；现有监督过程、结构和控制解决人工智能特定方面的程度；使用人工智能对组织内问责结构的影响；应根据人工智能使用所带来的影响（例如，设计和解决方案可能难以解释并经常发生变化）评估现有的合规管理体系，这可能包括例如扩展合规方针，或扩大定期风险评估；个人是否受到受法律或组织方针约束的人工智能系统使用或创建的个人数据的影响。合规管理采用合规管理体系标准，组织可以以一种综合的方式将其特定的管理要求（例如安全、质量和隐私）叠加到其管理体系上。这使得由于使用人工智能而向管理体系中添加额外的合规措施变得更加容易。在合规管理层面，应特别注意以下几点：扩展合规过程，以适应人工智能系统的速度、范围或复杂性（例如，提高监视水平或频率）；要求对人工智能系统做出的决策进行人工重新评估；增设控制措施，以确保人工智能系统保持在所需的合规条件下；确保用于模型构建或训练的数据使用符合方针；使用人工智能来监视其他人工智能系统，以及可能需要的额外监视或警报。组织应使用合规管理体系来评估任何计划使用的人工智能的影响。管理体系内人工智能的可能用途应成为此评估的一部分。风险风险偏好与管理无论以何种方式执行，组织的治理都包括定义组织的目的和目标，以及实现这些目的和目标的策略。在考虑其策略时，组织的治理机构会决定为追求其目标而愿意承受的风险程度（即风险偏好）。为了保持在这一风险偏好之内，并协助治理机构就风险偏好做出决策，组织会建立风险管理过程。风险管理涉及为组织汇集相关信息以做出决策并应对风险。虽然治理机构会定义总体风险偏好和组织目标，但它会将识别、评估和处理风险的决策过程委托给组织内的管理层。治理和管理在应对风险方面的不同角色将在以下文件中进行讨论：本文件，其中描述了组织在开发、采购或使用人工智能系统方面需要考虑的其他治理因素。这些因素包括新机遇、风险偏好的潜在变化，以及确保组织负责任地使用人工智能系统的新治理政策；ISO/IEC23894，其中描述了组织内应执行的管理过程，以应对引入人工智能系统给组织带来的额外风险。处理风险既涉及治理机构（它确定风险偏好并对此负责），也涉及管理层（它致力于将风险保持在商定的风险偏好范围内）。对当前风险管理过程的审查应特别检查决策、数据使用、文化和价值观以及合规性方面的风险是否得到了充分理解和管理。这样，就可以明确人工智能系统给组织带来的额外风险的背景。一旦确定了这些额外风险，治理机构就更有可能：在设定组织目标时充分考虑风险；了解组织在追求其目标过程中面临的风险；确保实施并有效运行管理此类风险的系统；确保此类风险在组织的风险偏好之内；确保有效传达有关此类风险及其管理的信息（例如，使用ISO31000:2018,5.2）。风险管理风险管理是组织所有活动的核心部分。尽管人工智能系统可以为组织带来益处，但组织在决策、数据使用以及组织所期望的文化和价值观方面的良好治理目标应进行修订，以考虑使用人工智能可能带来的影响。组织努力保护其原则和价值观、身份和声誉、相关方、市场、环境，并进一步保护其行动自由，以取得成功。为了应对人工智能带来的风险，治理机构应制定：适当的内部规则和方针；适当的特定子组织、过程和工具，旨在保证或强制执行良好治理所依赖的价值观、原则和内部控制。此外，治理机构应确保组织的承包商和分包商遵守相同的实践准则和政策。这些措施为任何相关方提供了识别和报告与不合规的人工智能系统相关的行为的手段，并获得有意义和充分的回应。在涉及复杂的供应链以及声誉、财务或其他风险可能累积到主要承包商或采购者的情况下，这些措施尤为重要。组织应清晰了解在不同组织的风险承受度发挥作用的合同关系中使用人工智能的影响。图4展示了以下方面的示例：组织正在追求的目标（如保护其声誉）；使用人工智能可能给组织带来的额外风险源；可用于处理风险的一些技术和组织控制措施。目标组织希望通过风险管理过程保护的目标不仅包括资产（如数据、信息系统、应用程序代码、算法和设备）的保护，还包括其应尽的职责、文化和价值观、声誉以及战略。图4展示了组织正在追求的目标的示例：可说明性与责任性。治理机构应保持其对组织内部和外部使用人工智能的责任的可说明性与监督。声誉与信任。此处考虑的风险视角是针对组织本身的。然而，组织并非孤立存在，因此应考虑其相关方和运营环境。影响相关方（如客户和供应商）的风险的后果和可能性应是组织风险方面的关键考虑因素。尽责义务。组织对其内部和外部相关方负有责任，并可能负有法律上的尽责义务。这可能涉及确保所有相关方的福祉和保护其权利的义务（例如，获得重要的金融、健康或住房服务，以及人权，包括行动自由或隐私权），这取决于司法管辖区，并可能产生监管或法律后果。在尽责义务存在重大风险的情况下，治理机构应要求采取额外的组织控制措施，以有效处理此类风险，并确保它们不超过组织的风险承受度（参见6.7.5中的示例）。安全性。当使用人工智能系统存在重大的人身或情感伤害风险时，组织应特别警惕这种伤害的性质和后果。必要时，组织应建立适当的系统，以持续管理安全性，并考虑如何使用人工智能减少人类接触危险活动的风险。安全与隐私。组织应确保其运营的安全性，尤其是在需要保密和个人隐私重要的情况下。使用人工智能不应改变这些目标，特别是考虑到人工智能系统能够从数据模式中推断出新信息的能力。数据。数据是组织的重要资源，其保护和完整性应成为组织的目标。透明度。组织决策的透明度可能是治理机构希望维持的目标。相关方期望至少了解解释组织如何做出决策的一些重要输入和变量，而无论做出该决策时使用了多少自动化。其中一些目标在ISO/IECTR24368、ISO/IECTR24028以及ISO31050中进行了深入探讨。风险来源组织应预期，根据人工智能系统应用的领域范围和性质以及部署的人工智能系统类型，会有额外的风险来源。人工智能的某些用途将是受限和可控的，给组织带来很少或没有额外的风险。而其他用途则会带来组织中以前未曾出现过的重大风险。此外，如ISO/IEC23894所述，用于人工智能系统开发和应用的较不成熟技术可能会给组织带来未知或难以评估的风险。另一方面，对于成熟技术，可以获得更多种类的经验数据，从而使风险更易于识别和评估。一套表征人工智能系统成熟度的“就绪水平”可用于评估和监测风险。由于这些项目中的任何一个都可能影响任何其他项目，因此无法直接将资产、价值观和目标映射到风险来源或风险控制上。图4中所示的风险来源示例与人工智能的使用有关，尽管这些来源也适用于许多其他技术或过程。组织应预期，根据所使用的人工智能系统的范围和性质，会有额外的风险来源。所示示例包括：数据来源。由于数据用于构建和训练机器学习系统中的模型，因此数据的质量和适用性至关重要，并应与系统的预期用途和目标相一致。操纵数据可能允许进行对抗性攻击，从而导致模型中毒和错误分类。不明确的规格。在传统的软件开发中，问题的性质及其解决方案是紧密相关的，因为相关人员对两者都使用类似的方法。然而，人工智能系统可以在系统最初设计和开发之后的很长时间内以非常不同的方式到达解决方案，因此问题规格、系统要求、设计系统目标和包含的行为边界的准确性、清晰度和范围都可能发挥重要作用。价值链。人工智能系统的供应和分销可能包括风险，如组织外部人员使用人工智能系统。价值链中不同方之间的责任应明确定义并达成一致。不必要的偏见。人工智能系统中使用的算法、训练和测试数据以及机器学习模型通常旨在反映和预测现实世界的情况。由于其性质，这些系统只是一个小样本或视角，并可能产生反映样本而非现实世界的结果。这可能导致不必要的偏见被放大。参见ISO/IECTR24027:—6）。缺乏机器学习可解释性。风险源于人工智能系统的复杂性。这可能使得很难解释人工智能系统是如何得出特定结论的。这与传统IT系统不同，在传统IT系统中，人类定义了确定答案的算法程序。可以对人类进行质询、复核、根据其地位和声誉进行评估并要求其负责，并且可以对任何代码进行测试，以确保其产生了预测的响应。缺乏人工智能专业知识。使用人工智能需要不同于传统软件开发的技能，尽管也需要那些技能。额外的技能包括对数据分析和统计学、建模和算法设计以及测试的理解，以及伦理和同理心等人类技能。网络威胁。一些人工智能系统的实施可能容易受到特定且难以识别的网络威胁的攻击，这些威胁几乎不会留下任何可见的痕迹。其他风险来源与人工智能的使用及其对人类的间接影响有关。例如：技能空洞化。人工智能在常规决策角色中的使用增加意味着人类随着时间的推移越来越少地接触经验。员工经验的减少（“代理萎缩”）将消除加强人类技能、决策能力和专业知识的机会。这种人类技能发展的空洞化对组织和整个社会来说都是一个风险。合同问题。治理机构应确保在使用人工智能系统时，适用的合同、法律和最佳实践仍然有效。在许多人工智能应用中，系统最初并且可能持续地从其宿主组织的数据和实践中学习。这独特地使人工智能系统以其服务组织的方式反映出来，这种方式可能会影响合同、法律和最佳实践的适用性。环境问题。治理机构应考虑由于人工智能训练和数据处理导致的能源消耗所带来的碳排放风险。它还应考虑由于加速淘汰硬件以支持更新的具备人工智能能力的云和边缘设备而导致的污染和资源枯竭风险。个人自主权。人工智能的使用越来越多地决定着个人在新闻、娱乐、互动、产品和服务方面遇到的选择范围。尽管单独来看很小，但这些决定的频率和普及程度的增加意味着治理机构应考虑人工智能使用对人类自主权的影响，无论是对个人还是社区。错失的机会。治理机构有时过于保守，无法利用新的机会。如果治理机构不抓住人工智能提供的机会，组织可能会面临来自抓住这些机会的组织的更大竞争。控制措施控制措施旨在维持或修改风险，以确保其保持在组织风险承受范围之内。这些控制措施可以是组织控制措施，如通过管理结构、审查委员会或管理过程实施的控制措施，也可以是技术控制措施，如通过数据库访问限制、软件代码或数据过滤等措施实施的控制措施。图4所示的控制措施只是与人工智能系统相关的控制措施的一小部分。图4展示了以下风险控制措施的示例：适用性。对人工智能系统的描述，包括其算法、数据和模型等，应足够透明，以确保其适用于预期用途；伦理审查委员会。对于组织确定的高风险、高相关方影响或其他阈值的应用程序，常见的风险控制措施是使用伦理审查委员会，以确保与组织的文化和价值观保持一致；管理过程。设计和实施管理过程是一种常见做法，用于满足质量、安全、隐私和合规性等要求。可以为与人工智能系统相关的要求构建类似的过程；技术控制。嵌入在软件中的技术控制可以实施行动，以帮助处理一些风险。例如，参见ISO/IECTR24029-1；教育与培训。参与人工智能使用所有阶段的人员都应接受充分的培训，以确保他们获得并部署所需的技能。（规范性）：治理和组织决策相关治理标准概述总则ISO37000将组织的治理描述为一套系统，通过该系统，组织得以被指导、监督和问责，以实现其既定目标。其基础包括：设定组织的宗旨、使命、愿景、组织精神、组织价值观和文化，为组织指明方向；引导战略并适当平衡资源以实现该宗旨；监督组织的绩效，确保合规性和可行性；与相关方互动并向其报告。在信息技术领域，“治理”在ISO/IEC38500:2015中被定义为“指导和控制系统的”，即通过评估、指导和监视信息技术的使用这三个主要任务来指导和控制组织。指导ISO/IEC38500:2015为治理机构提供了指导，以便其在制定信息技术投资方向和信息技术应实现的目标方面的战略和政策时分配责任。他们应在其组织中鼓励形成良好的信息技术治理文化，并指导提交提案以供批准，以解决已确定的需求（见图A.1）。责任组织的治理机构负责整个组织的决策、行动和不作为，并对组织的相关方负责。这种问责制不可委托他人。组织利用人员、过程和技术来实现其目标，并且无论利用何种资源，治理机构都要对组织的结果负责。例如，如果组织内部缺乏足够的指导、培训、监督和执行来防止滥用行为的发生，那么治理机构可以对工作人员滥用信息技术设备的行为负责并承担相应责任。同样，由于对人工智能使用的治理不足，治理机构也可能面临风险。“人工智能的可接受使用”是由组织在其运营的各种环境中确定的，并且这种“可接受使用”可能会因环境而异。正是通过与相关方的互动过程，组织才能理解“可接受使用”的含义，并将这些要求转化为组织政策。这些政策将不仅反映适用的法律要求，还反映社会期望。与相关方互动是组织治理的一项关键原则，它要求组织与相关方保持合理的互动，以确保组织能够随着时间的推移创造利益，并且以相关方可接受的方式这样做。这种关系可能要求法律或道德义务，以及符合组织运营所在社会、经济和环境中的规范或预期行为。监督ISO37000:2021中6.4.1规定，治理机构应监督组织的绩效，以确保其符合治理机构对组织的意图和期望，以及其道德行为和合规义务。组织政策反映了适用的法律和社会义务。它们还包括与组织目标相一致并推动组织实现这些目标的政策。为了对其相关方负责，治理机构将遵守组织政策作为保持对组织有效控制的一种手段。治理机构还负责确定组织在实现其目标过程中准备面临的风险的性质和程度。一旦确定了这种风险承受能力，它就会监督对该风险