ISO∕IEC 42001-2023人工智能管理体系之19：“9 绩效评价-9.2 内部审核”解读、实施流程和风险描述(雷泽佳编制-2024) - 副本

“9绩效评价-9.2内部审核”解读、实施流程和风险描述ISO∕IEC42001-2023《信息技术-人工智能管理体系》之19：“9绩效评价-9.2内部审核”解读、实施流程和风险描述(雷泽佳编制，2024年9月)第1部分：“9.2内部审核”解读“9.2内部审核”条文“9.2内部审核”标准条文解读9.2内部审核审核的定义：为获得客观证据并对其进行客观的评价，以确定满足审核准则的程度所进行的系统的、独立的并形成文件的过程审核的核心定义：审核是一个系统性的过程：旨在通过收集客观证据，对这些证据进行客观评价，从而确定受审核对象（人工智能管理体系）满足审核准则的程度；审核是一个独立的过程：审核活动必须是独立的（即审核人员不应与被审核体系有直接利益关系），以确保审核结果的公正性和客观性；审核是一个形成过程：审核的结果需要形成文件记录，以便于追溯和验证。客观证据定义客观证据：指与审核准则直接相关，并能够证实受审核体系状态的信息。这些信息可能来源于记录、文件、面谈、观察等多种渠道。审核员在审核过程中，会根据这些审核证据，与审核准则进行比对，从而确定受审核体系是否满足规定的要求；客观证据证据可以通过观察、测量、试验或其他科学方法获得。用于审核目的的客观证据，必须是与审核准则紧密相关的，可以是记录、事实陈述或其他形式的信息，且这些信息必须是可以验证的，以确保其真实性和准确性。审核基本要素：由对被审核人工智能管理体系不承担责任的人员执行审核任务。该要求确保审核的独立性和公正性，防止利益冲突对审核结果的影响。审核人员需要按照预定的程序和准则进行操作，以确保审核过程的系统性和规范性。审核人员应对审核结果负责，确保审核结论的准确性和可靠性。该要素强调了审核过程中审核人员的角色和责任界定，是保障审核质量的关键环节。9.2.1总则组织应按策划的时间间隔进行内部审核，以提供人工智能管理体系是否：a）符合：1）组织自身对人工智能管理体系的要求；2）本文件的要求；b）有效地实施和保持。内部审核的目的：符合性评价：验证人工智能管理体系是否符合组织自身的规定：验证人工智能管理体系是否符合组织自身针对人工智能管理设定的特定要求，这些规定包括组织内部方针、目标和程序等，旨在确保人工智能系统的合规性、安全性和有效性而制定的；验证人工智能管理体系是否符合ISO/IEC42001标准的要求：该标准提供了一套全面的框架，旨在指导组织如何有效地管理其人工智能系统和相关风险，确保组织在人工智能管理实践上的规范性。有效性评价：评估人工智能管理体系是否有效地实施和保持。审核不仅要关注管理体系的文档和程序是否到位，更要验证这些文档和程序在实际操作中是否得到了有效的实施和保持；有效性验证是确保管理体系不仅存在于纸面上，而且真正能够在组织中持续发挥作用的关键步骤。按策划的时间间隔进行内部审核。策划内部审核时间间隔的策略；风险评估：组织应对其人工智能管理体系进行风险评估，识别出关键控制点和潜在风险区域。根据风险评估结果，为高风险领域设定更短的审核周期，以确保及时发现问题并采取纠正措施；历史审核结果：参考以往内部审核的结果和发现的问题，对于频繁出现问题的领域应缩短审核周期，而对于表现稳定的领域可适当延长审核周期；业务需求和变化：考虑组织的业务需求、技术更新速度以及外部环境的变化，动态调整审核计划。例如，在新产品发布、重大业务流程变更或技术升级后，应立即进行内部审核；法规遵从性：如果人工智能管理体系涉及特定法规要求，应确保审核周期符合法规遵从性的时间框架；行业最佳实践：参考同行业或类似组织的内部审核周期，结合自身实际情况进行设定。合理的时间间隔：对于大多数组织而言，每年至少进行一次全面的内部审核是基本的。然而，对于高风险区域或快速变化的业务环境，可能需要每季度或每半年进行一次审核；组织可以根据实际情况灵活调整审核频率，但应确保审核计划能够覆盖所有关键领域，并且不会过于频繁以至于影响正常运营。开展专项或补充内部审核的触发条件。重大变更：当组织发生重大变更时，如引入新的AI技术、更改业务流程、合并或收购其他公司等，应进行相应的专项内部审核，以确保变更后的人工智能管理体系仍然符合标准；外部事件：发生与人工智能相关的外部事件，如数据泄露、安全漏洞的发现、隐私侵犯或安全事故后，应立即启动补充审核，调查事件原因并评估管理体系的有效性；法规更新：当相关法律法规或行业标准发生变化时，为确保合规性，需要进行补充审核以验证管理体系是否符合新要求；客户或相关方投诉：当收到客户或相关方关于AI系统性能、数据保护、隐私安全等方面的客户投诉或反馈时，组织应针对这些问题进行补充审核，及时发现问题并采取纠正措施；绩效指标异常：如果关键绩效指标（KPIs）出现异常波动，如AI系统的准确性突然下降、响应时间延长等，可能需要通过补充审核来找出原因并改进人工智能管理体系等。9.2.2内部审核方案组织应策划、建立、实施和保持审核方案，包括审核频率、方法、职责、策划要求和报告。内部审核方案的策划、建立、实施与保持；策划审核方案；审核目标设定：明确审核的目标，即确保人工智能管理体系符合组织自身要求、ISO/IEC42001标准以及适用的法律法规；审核频率确定：组织应根据自身的实际情况，如人工智能系统的复杂性、重要性以及风险水平，合理确定内部审核的频率。这可以包括定期审核（如每季度、每半年或每年）以及不定期审核（如在新系统上线、重大变更或特定事件发生后）；审核方法选择：组织应选择适当的审核方法，包括文件审核、现场审核、流程测试。这些方法应能够全面覆盖人工智能管理体系的各个方面，如策略、流程、数据、资源及决策过程等；建立审核方案；职责分配：明确审核方案中各参与者的职责，包括审核员、审核组长、管理层等，确保审核活动的有序进行；策划要求：制定详细的策划要求，包括审核的范围、标准、时间表等，为实施审核提供明确的指导；资源准备：确保审核所需的人力、物力等资源充足，包括审核工具、记录表格等。实施审核方案：按照计划执行：按照既定的审核方案执行审核活动，确保审核过程的系统性和规范性；收集证据：通过检查文件、观察现场、面谈相关人员等方式收集客观证据，以评估管理体系的符合性和有效性；记录发现：详细记录审核过程中的所有发现，包括符合项和不符合项，以及相应的证据。保持审核方案：定期评审：对审核方案进行定期评审，根据评审结果进行调整和优化，以确保其持续有效；持续改进：将审核结果作为管理体系持续改进的输入，针对发现的问题制定相应的纠正措施和预防措施；知识分享：通过内部培训、经验交流等方式分享审核知识和经验，提升组织整体的审核能力和水平。在制定内部审核方案时，组织应考虑相关过程的重要性和以往审核的结果。内部审核方案制定的考量因素。考虑相关过程的重要性；识别关键过程：组织首先需要明确哪些过程对人工智能管理体系的成功实施和运行具有至关重要的影响，包括但不限于人工智能策略的制定与执行、数据管理与安全、算法开发与应用、合规性管理等；优先级排序：基于过程的重要性，组织应对内部审核的优先级进行合理排序，组织可以合理分配审核资源，确保高风险、关键过程能够得到更频繁的审核关注。以往审核的结果：历史数据分析：组织应回顾并分析历次内部审核的结果，识别出普遍存在的问题区域或薄弱环节、重复发生的不符合项以及高风险领域；针对性审核：基于历史审核数据，组织应针对这些高风险区域或问题多发点制定更为详细的审核计划，提高审核的针对性和有效性；持续改进：通过定期回顾审核结果，组织可以不断调整和优化内部审核方案，确保其始终与组织的实际需求和风险评估结果保持一致。组织应：a）确定每次审核的审核目标、准则和范围；b）选择审核员并实施审核，确保审核过程的客观性和公正性；c)确保将审核结果报告给相关管理者。确定每次审核的审核目标、准则和范围；确定审核目标：目标清晰性：每次内部审核开始前，组织需确立清晰的审核目标。这些目标应直接关联到人工智能管理体系的具体环节或流程，旨在评估其符合性、有效性和持续改进的需求。目标导向：审核目标应指导整个审核过程，确保审核员在收集证据、分析数据以及提出改进建议时保持方向一致。明确审核准则；准则具体性：审核准则作为评价审核证据的标准应具体、明确。它们可能包括ISO/IEC42001标准的要求、组织内部制定的管理规定、相关法律法规以及行业标准等；准则一致性：所有审核活动都应严格遵循这些准则进行，以确保审核结果的客观性和公正性。界定审核范围。范围全面性：审核范围应全面覆盖人工智能管理体系的各个关键方面，包括但不限于策略规划、系统设计、数据处理、算法公平性、安全性以及合规性等；范围灵活性：尽管审核范围需全面，但也需具备一定的灵活性，以便根据组织的实际需求和特定情境进行调整。例如，对于新引入的人工智能系统或高风险领域，可适当扩大审核范围；范围明确性：范围界定应具体到实际的物理位置、职能部门、业务流程以及时间跨度，以避免审核过程中的模糊地带和遗漏。选择审核员并实施审核，确保审核过程的客观性和公正性；选择合格的审核员：专业知识与技能：审核员应具备人工智能、人工智能管理体系及审核方法等方面的专业知识与技能，以便能够深入理解组织的人工智能管理体系，并准确评估其符合性和有效性；独立性：审核员应独立于受审核部门或过程，避免任何潜在的利益冲突，确保审核结果的客观公正；资质与经验：组织应优先选择具有相应资质和丰富审核经验的审核员，或者对审核员进行必要的培训，以确保其能够胜任审核工作。实施审核，确保客观性与公正性。明确审核准则与范围：在审核开始前，应明确审核的准则（如ISO/IEC42001标准、组织内部规定等）和范围（如特定的人工智能系统、过程或部门），以便审核员有针对性地开展工作；保持透明度：审核过程应公开透明，确保所有相关人员了解审核的目的、方法和结果。审核员应记录详细的审核过程和发现，以备后续验证和跟踪；避免偏见：审核员应保持中立态度，避免个人偏见对审核结果的影响。在审核过程中，应基于客观证据做出判断和评价；及时沟通与反馈：审核员应与受审核部门保持密切沟通，及时收集反馈信息，确保审核的全面性和准确性。同时，审核结果应及时向管理层报告，以便采取必要的纠正和预防措施。确保将审核结果报告给相关管理者。审核结果的重要性；审核结果是评价人工智能管理体系现状、识别潜在问题和改进机会的重要依据；审核结果反映了管理体系在实际运行中的有效性和符合性，为管理者提供了决策支持。报告的内容；报告应包含审核的目标、范围、方法、审核发现、审核结论以及任何建议的纠正措施或改进措施；审核结果应详细列出不符合项，分析其原因，并提出具体的改进建议。报告的对象；审核结果应报告给负责监督和管理人工智能管理体系的相关管理者（包括最高管理者和相关部门负责人）；报告的接收者应具有足够的权限和资源来推动改进措施的实施和跟踪。报告的时效性；审核结果应及时报告，以便管理者能够迅速了解人工智能管理体系的现状并采取必要的措施；报告应在审核结束后尽快完成，并在规定的时间内提交给相关管理者。报告的准确性和客观性；审核结果报告应确保准确性和客观性，避免主观臆断和偏见；报告应基于充分的审核证据和合理的推理，确保结论的可靠性和有效性。后续行动。管理者在收到审核结果报告后，应组织相关部门和人员分析审核发现，制定并实施纠正措施和预防措施。管理者还应监督纠正措施的执行情况，确保其有效性和及时性，并定期评价其对管理体系的改进效果。持续改进：通过将审核结果报告给相关管理者，组织可以建立一个持续改进的循环，不断优化和完善人工智能管理体系。管理者可以利用审核结果来指导未来的决策和规划，确保管理体系与组织战略目标和业务需求保持一致。应提供成文信息，作为审核方案实施和审核结果的证据。应提供成文信息，作为审核方案实施和审核结果的证据。审核方案策划与制定的成文信息；审核方案文件：详细记录审核的频次、方法、职责分配、策划要求及报告机制；相关过程重要性评估：对人工智能管理体系中相关过程的重要性的评估记录；历史审核结果分析：对以往审核结果的分析报告，用于指导审核方案的优化。每次审核的具体成文信息；审核目标与准则：明确每次审核的目标、审核准则（如ISO/IEC42001标准条款、组织内部要求等）；审核范围描述：具体说明审核涵盖的职能、过程、活动和时间段；审核员资质与选择：审核员的资质证明、培训记录、选择的理由及确保审核客观公正性的措施。审核实施过程记录；审核计划：详细列出审核的具体活动、时间安排、审核组成员及职责分配；审核检查表：用于指导现场审核的详细检查列表；审核记录：现场审核过程中收集的所有审核证据、观察结果、不符合项的详细描述及支持性文件。审核结果与报告；审核发现：将收集的审核证据与审核准则对比后的结果，明确列出符合与不符合项；审核结论：基于审核发现，综合考虑审核目标后得出的结论；审核报告：正式报告，总结审核活动、发现、结论及改进建议，提交给相关管理者；不符合项报告：针对每个不符合项的详细描述、原因分析、责任部门、纠正措施计划及预计完成时间；纠正措施跟踪记录：记录纠正措施的实施情况、验证结果及效果评估。审核方案调整与优化记录；根据定期评审结果，对审核方案进行调整和优化的成文记录，包括调整的原因、内容及实施计划。审核员资格和培训记录。审核员的资格证明、培训证书及定期的培训记录，确保审核员具备执行审核工作的能力和知识。第2部分：“9.2内部审核”流程控制表一级流程二级流程三级流程流程节点控制要点所期望的输出内部审核策划和准备策划确定审核需求确定审核的必要性设定审核目标审核需求文档策划审核方案制定审核方案，包括审核频率、方法、职责分配考虑过程重要性和以往审核结果审核方案文档确定审核准则和范围确定审核的准则（如组织要求、文件要求等）明确审核的具体范围审核准则和范围说明书准备选择审核员根据审核需求选择具备相应资质的审核员确保审核员的客观性和公正性审核员名单及资质证明制定审核计划详细列出审核活动的时间表、地点、人员分工准备审核所需的工作文件（如检查表）审核计划文档及工作文件准备审核证据收集工具设计问题清单、观察表格、抽样计划等确保工具的适用性和有效性审核证据收集工具内部审核实施启动审核与受审核方建立联系确认审核计划，安排审核会议介绍审核目的、范围、方法和程序审核启动会议纪要召开首次会议介绍审核组成员、审核计划、审核程序确认审核范围、目的和双方沟通渠道首次会议纪要审核执行现场审核通过观察、询问、查阅记录等方式收集审核证据记录所有观察结果和不符合项审核记录、不符合项报告审核证据评估评估收集到的证据与审核准则的一致性识别潜在的风险和改进机会审核发现汇总报告审核报告编制编制审核报告总结审核发现，编写审核报告明确不符合项及整改建议审核报告审核结束与后续阶段报告分发报告提交将审核报告提交给相关管理者确认报告接收情况报告分发记录管理者评审管理者对审核报告进行评审确定后续行动计划管理者评审记录后续跟进不符合项整改受审核方制定并实施不符合项整改计划跟踪整改进度和效果不符合项整改记录验证整改效果审核员或管理者对整改效果进行验证确认问题得到有效解决整改效果验证报告审核方案评审与改进评审审核方案定期评审审核方案的实施效果根据评审结果调整审核策略审核方案评审报告持续改进根据审核经验不断优化审核流程和方法提升审核效率和效果持续改进计划第3部分：“9.2内部审核”过程风险清单一级流程二级流程三级流程风险描述（风险源、过程运行可能发生什么并产生什么后果及其对实现业务流程目标产生的影响）内部审核策划和准备策划确定审核需求风险源：未充分识别组织的人工智能管理体系需求和关键控制点。后果：审核需求不明确，可能导致审核范围不完整。对目标实现的影响：无法全面评估人工智能管理体系的有效性和符合性。策划审核方案风险源：审核方案未充分考虑组织规模、复杂性和风险状况。后果：审核资源分配不合理，审核效率低下。对目标实现的影响：无法有效识别关键风险和薄弱环节。确定审核准则和范围风险源：审核准则不清晰，范围设定不准确。后果：审核标准不一致，审核结果可靠性差。对目标实现的影响：无法准确评估人工智能管理体系的符合性和有效性。准备选择审核员风险源：审核员能力不足，缺乏相关专业知识和经验。后果：审核过程不严谨，审核结论不可靠。对目标实现的影响：审核结果无法反映真实情况，误导管理层决策。制定审核计划风险源：审核计划不合理，时间安排不恰当。后果：审核进度延误，审核效率低下。对目标实现的影响：无法按时完成审核任务，增加审核成本。准备审核证据收集工具风险源：审核工具不适用，收集的证据不充分。后果：审核证据不足，无法支持审核结论。对目标实现的影响：审核结论缺乏说服力，难以被受审核方接受。内部审核实施启动审核与受审核方建立联系风险源：沟通不畅，未提前通知受审核方。后果：受审核方准备不足，影响审核顺利进行。对目标实现的影响：审核效率降低，审核过程出现不必要的延误。召开首次会议风险源：会议内容不明确，未充分传达审核目的和要求。后果：受审核方对审核流程不