ISO∕IEC 42001-2023人工智能管理体系之17：“8 运行-人工智能系统影响评估”解读、实施流程和风险描述(雷泽佳编制-2024)

“8运行-人工智能系统影响评估”解读、实施流程和风险描述ISO∕IEC42001-2023《信息技术-人工智能管理体系》之17：“8运行-人工智能系统影响评估”解读、实施流程和风险描述(雷泽佳编制，2024年9月)第1部分：“人工智能系统影响评估”解读“人工智能系统影响评估”条文“人工智能系统影响评估”标准条文解读8.4人工智能系统影响评估组织应根据6.1.4按照策划的时间间隔或在提出重大变更时执行人工智能系统影响评估。人工智能系统影响评估定义：由开发、提供或使用人工智能产品或服务的组织识别、评估和解决对个人(或个人群体)和社会的影响的正式的、文件化的过程；目的与意义：识别影响：通过系统的方法识别出人工智能系统可能带来的所有潜在影响，包括但不限于对个人隐私、安全、道德、就业、经济以及社会结构等方面的影响；评估风险与机会：在识别影响的基础上，进一步评估这些影响可能带来的风险与机会。通过量化分析，确定哪些影响是负面的、需要被缓解或消除的，哪些是积极的、可以被利用或增强的；制定解决方案：针对识别出的负面影响，制定并实施有效的解决方案，以确保人工智能系统的应用符合道德、法律和社会期望。同时，最大化地利用积极影响，推动个人与社会的共同发展。评估范围与内容。个人影响：评估人工智能系统对个人隐私权、数据安全、心理健康、就业机会等方面可能产生的影响。例如，某些智能推荐系统可能侵犯用户隐私，自动化决策可能加剧社会不平等；社会影响：分析人工智能系统对经济结构、劳动市场、社会公平、政策制定等方面的影响。例如，自动化技术的应用可能导致某些传统行业的萎缩和大量失业，同时也可能催生新的职业机会和经济增长点。定期进行人工智能系统影响评估；确定人工智能系统影响评估评估周期的依据；系统特性：系统的复杂性、规模、集成度以及所处理的数据类型等因素会影响评估的难度和所需时间。系统的复杂性：人工智能系统的复杂性是指其内部结构的繁复程度，包括算法、模型、模块之间的交互等。系统越复杂，评估其影响所需的时间和努力就越多，因此可能需要更长的时间间隔来进行充分的评估；系统的规模：规模指的是系统所涵盖的功能范围、处理的数据量以及涉及的用户数量等。大规模的系统通常涉及更多的变量和潜在的风险点，因此需要更频繁地进行影响评估，以确保系统的稳定性和安全性；系统的集成度：集成度是指系统与其他系统或组件的关联程度。高度集成的系统可能受到其他系统变化的影响，因此需要更密切地监控和评估其影响，以便及时发现并解决问题；所处理的数据类型：数据类型对评估的难度和时间也有显著影响。例如，处理敏感数据（如个人隐私信息）的系统需要更高的安全标准和更严格的评估流程，这可能会增加评估所需的时间和资源。风险等级：根据系统的风险等级来确定评估周期。高风险系统（如涉及敏感数据或关键决策的系统）需要更短的评估周期，以便及时发现并解决问题；变更频率：如果系统经常经历功能更新、算法调整或数据源变化，那么评估周期应相应缩短，以确保每次变更后系统的影响都能得到及时评估；法规与合规要求：考虑相关法规、行业标准或内部政策对人工智能系统评估周期的具体要求，确保组织的评估计划符合外部和内部规定。资源与能力：评估周期的设置还需考虑组织自身的资源（如人力、财力、技术等）和能力（如技术水平、经验等），确保评估活动的可行性和可持续性。组织对人工智能系统影响评估时间间隔；年度评估：对于一些相对成熟、稳定且风险较低的人工智能系统，许多组织选择每年进行一次全面的影响评估。这种频率有助于组织定期审视系统的运行状态，确保其持续符合既定目标和要求；季度或半年度评估：对于风险较高、复杂性较强或变更频繁的系统，组织可能会选择更短的评估周期，如每季度或每半年进行一次评估。这样可以更及时地发现问题，快速响应变化，确保系统的稳定性和安全性；按需评估：许多组织还会在提出重大变更时立即进行影响评估。这种即时评估机制有助于组织在变更实施前充分了解其潜在影响，从而做出更加明智的决策；连续监控与定期评估相结合：一些先进的组织可能会采用连续监控技术来实时跟踪系统的运行状态和性能指标，并结合定期的深入评估来全面审视系统的影响。这种方式既能够确保及时发现和解决问题，又能够提供深入的分析和洞察。人工智能系统重大变更时进行影响评估。在人工智能系统的生命周期中，可能会发生以下重大变更情况，这些情况通常需要进行系统影响评估，以确保系统的稳定性和合规性：算法或模型更新：当人工智能系统采用的算法或模型发生更新时，特别是引入新的算法或模型架构时，需要重新评估其对系统性能、准确性和可能引入的新风险的影响；数据集变更：数据集是人工智能模型训练和预测的基础。如果用于训练或预测的数据集发生变更，包括数据来源、数据分布、数据规模等，都可能对模型的表现产生显著影响，因此需要进行系统影响评估；系统架构调整：当人工智能系统的架构发生重大调整，如增加新的模块、组件或服务，或者对现有架构进行重构时，需要评估这些变更对系统整体性能、可靠性和安全性的影响；集成环境变化：人工智能系统通常与其他系统或平台进行集成。如果集成环境发生变化，如更换新的集成接口、升级集成平台或调整集成策略，都需要评估这些变化对系统稳定性和兼容性的影响；合规性要求变更：随着法律法规和行业标准的不断更新，人工智能系统可能需要满足新的合规性要求。当这些要求发生变更时，需要评估系统是否符合新的合规标准，并调整系统以满足新要求；性能或安全需求变更：如果业务方对人工智能系统的性能或安全需求提出新的要求，如提高预测准确率、缩短响应时间或增强数据保护措施等，都需要对系统进行重新评估和调整；部署环境变更：当人工智能系统的部署环境发生变化时，如迁移到新的服务器、云平台或边缘设备时，需要评估这些变化对系统性能和稳定性的影响，并进行必要的优化和调整。人工智能系统影响评估实施步骤与方法：明确人工智能系统影响评估目标与范围确定评估过程：组织应首先明确一个系统化的评估过程，该过程旨在全面评估人工智能系统可能对个人和社会造成的潜在后果。界定评估范围：评估应涵盖人工智能系统的部署、预期使用以及可预见的滥用情况，考虑系统对个人隐私、数据安全、就业、社会结构、道德道德等方面的潜在影响。人工智能系统影响评估具体技术与社会环境技术分析：深入了解人工智能系统的技术特性，包括算法、数据处理方式、系统架构等，评估技术的成熟度、稳定性和安全性；社会环境考察：分析人工智能系统所处的社会环境（包括法律法规、文化环境、社会习俗等），考虑不同利益群体的需求和期望，以及潜在的社会冲突和风险；管辖范围确认：明确适用的法律法规和监管要求，确保评估的合法性和合规性，考虑不同司法管辖区的差异，确保评估的全面性和准确性。执行人工智能系统影响评估；数据收集与分析：通过问卷调查、访谈、专家咨询等方式收集相关数据和信息，对数据进行深入分析，识别潜在的影响和风险点；风险评估：对识别出的影响进行量化分析，确定其严重性和可能性。评估结果应形成成文信息，包括评估报告、风险清单等。制定人工智能系统风险应对措施与沟通结果制定应对措施：针对识别出的风险和影响，制定具体的应对措施和解决方案，确保措施的有效性和可行性，并明确责任人和实施时间表。沟通评估结果：将评估结果和应对措施提供给组织内部的相关部门和人员。在适当情况下，将评估结果和相关信息提供给外部相关方，如监管机构、用户、合作伙伴等。持续监控与更新：对人工智能系统的运行进行持续监控，及时发现并处理潜在问题，定期更新评估结果和应对措施，确保评估的时效性和准确性。组织应保留所有人工智能系统影响评估结果的成文信息。组织应保留所有人工智能系统影响评估结果的成文信息。这些成文信息通常包括但不限于以下几个方面的内容：评估报告；详细记录评估的过程、方法、发现的主要问题、潜在的影响及其严重性评估等；包含对人工智能系统可能带来的正面和负面影响进行全面分析的结果。风险评估清单；列出评估过程中识别的所有潜在风险点，包括风险类型、可能的影响范围、严重性等；对每个风险点进行详细描述，包括其产生的原因、可能导致的后果以及可能涉及的相关方等。应对措施与行动计划；针对评估中发现的风险和影响，制定的具体应对措施和行动计划；包括实施这些措施的责任人、时间表、所需的资源以及预期的成果等。决策支持材料；评估过程中收集的相关数据、分析结果、专家意见等，作为决策制定的支持材料；这些材料有助于组织了解人工智能系统的潜在影响，并作出更加明智的决策。沟通记录；与内部相关部门和人员就评估结果进行沟通和讨论的记录；与外部相关方（如监管机构、用户、合作伙伴等）就评估结果进行沟通和披露的相关文件。更新与修订记录；如果评估结果需要更新或修订，保留这些更新和修订的记录非常重要；这些记录应详细说明更新的原因、过程、新的评估结果以及由此产生的新的应对措施等。合规性声明。评估过程中确保符合相关法律法规和标准的声明或证明文件；这些文件有助于证明组织在人工智能系统的开发、部署和使用过程中遵守了相关的法律法规和道德准则。第2部分：“人工智能系统影响评估”流程控制表一级流程二级流程流程节点控制要点所期望的输出评估准备明确评估目标与范围确定评估的目的和重要性界定评估的范围和边界评估目标与范围文档成立评估小组组建跨部门评估团队明确团队成员职责与分工评估团队名单及职责分配文档收集背景信息人工智能系统概况现有风险与合规性状况相关方需求背景信息汇总报告评估设计确定评估方法与工具选择合适的评估方法论确定使用的评估工具与指标评估方案与方法论文档制定评估计划设定评估的时间表明确资源分配与预算确定评估的关键节点评估计划文档执行评估数据收集与分析采集人工智能系统相关数据分析数据以识别潜在影响与风险数据分析报告与潜在影响识别清单评估影响与风险评估对业务、用户、环境等方面的影响识别具体的风险点及严重性影响与风险评估报告相关方参与邀请相关方参与讨论收集并整合反馈意见相关方意见汇总与处理记录报告编制与审核编制评估报告汇总评估发现与结论提出应对措施与建议人工智能系统影响评估报告初稿审核与修订报告组织内部审核根据反馈进行修订完善最终的人工智能系统影响评估报告结果沟通与决策支持结果沟通与披露向内部相关部门通报评估结果向外部相关方披露相关信息沟通与披露记录制定决策支持材料汇总关键发现与风险点提供决策支持建议与理由决策支持材料文档应对措施制定与实施制定应对措施计划针对识别的影响与风险制定具体应对措施分配责任与资源应对措施计划文档实施应对措施执行应对措施计划监控应对措施的有效性应对措施实施记录与效果评估报告结果保留与持续改进保留评估结果成文信息将评估报告及相关材料存档确保信息的可追溯性与合规性评估结果成文信息存档记录持续改进计划制定分析评估过程中的不足与改进点制定持续改进计划与目标持续改进计划文档定期复审与更新评估按照计划时间间隔复审评估在重大变更时重新评估定期复审报告与更新后的评估结果文档第3部分：“人工智能系统影响评估”过程风险清单一级流程二级流程风险描述（风险源、过程运行可能发生什么并产生什么后果及其对实现业务流程目标产生的影响）评估准备明确评估目标与范围风险源:目标不明确或范围界定不清可能情况:未充分理解评估需求，导致评估目标模糊或评估范围过宽/过窄后果:评估结果无法有效支持管理决策，资源浪费对实现人工智能系统目标的影响:延误项目进展，增加额外成本，降低人工智能系统效用成立评估小组风险源:评估小组成员专业能力不足或经验欠缺可能情况:成员缺乏特定领域知识，无法准确判断人工智能系统影响后果:评估结果不准确，误导决策对实现人工智能系统目标的影响:人工智能系统设计与实施偏离实际需求，性能不达标收集背景信息风险源:信息收集不全或不准确可能情况:遗漏关键信息或数据，导致评估依据不足后果:评估偏差，无法全面反映人工智能系统影响对实现人工智能系统目标的影响:人工智能系统在实际应用中遇到未预见的问题，影响系统稳定性和性能评估设计确定评估方法与工具风险源:评估方法与工具选择不当可能情况:方法不适用或工具性能不足，无法有效评估人工智能系统影响后果:评估结果失真，影响决策有效性对实现人工智能系统目标的影响:人工智能系统优化方向错误，资源投入不当制定评估计划风险源:计划不周全或执行不力可能情况:时间安排不合理，资源分配不均后果:评估进度延误，质量不达标对实现人工智能系统目标的影响:项目周期延长，成本增加，人工智能系统部署推迟执行评估数据收集与分析风险源:数据质量不高或分析不当可能情况:数据采集不准确或分析方法有误后果:评估结果偏差，误导决策对实现人工智能系统目标的影响:人工智能系统性能优化方向错误，影响用户体验和系统效益评估影响与风险风险源:评估标准不统一或主观性强可能情况:评估过程中存在偏见或误判后果:评估结果不客观，影响决策科学性对实现人工智能系统目标的影响:人工智能系统优化策略失误，无法满足用户需求相关方参与风险源:相关方参与度不足或意见冲突可能情况:相关方对评估过程不了解或不认同后果:评估结果缺乏全面性，相关方利益未得到充分考虑对实现人工智能系统目标的影响:人工智能系统在实际应用中遭遇抵触，影响推广和接受度报告编制与审核编制评估报告风险源:报告编写不规范或信息遗漏可能情况:报告结构不清晰，关键信息缺失后果:报告可读性差，决策依据不充分对实现人工智能系统目标的影响:决策层无法准确理解评估结果，导致决策失误审核与修订报告风险源:审核不严格