ISO∕IEC 42001-2023人工智能管理体系之21：“10改进”解读、实施流程和风险描述(雷泽佳编制-2024)

“10改进”解读、实施流程和风险描述ISO∕IEC42001-2023《信息技术-人工智能管理体系》之21：“10改进”解读、实施流程和风险描述(雷泽佳编制，2024年9月)第1部分：“10改进”解读“10改进”条文“10改进”标准条文解读10改进10.1持续改进改进的定义：提高绩效的活动；活动性质：改进活动可以是循环的或一次性的。改进不仅可以通过一个持续、循环的过程来实施，也可以通过针对特定问题或机会的一次性措施来实现；目标：改进活动的目标是提高人工智能系统的绩效，这可能涉及系统性能、效率、安全性、可靠性、公平性、透明度、数据质量等多个方面；多样性：改进活动的形式多种多样，包括但不限于算法优化、数据质量提升、业务流程改进、用户满意度提升等；结果可衡量性：改进活动的成功与否需要通过绩效的提升来衡量。因此，需要设定明确的绩效指标，并定期对人工智能系统的性能进行评估和测量。持续改进：提高绩效(的循环活动。循环性：与一次性改进活动不同，持续改进是一个不断迭代、持续优化的过程。它涉及识别改进机会、制定改进计划、实施改进措施、评估改进效果等多个环节，这些环节形成一个闭环，不断推动系统绩效的提升；目标制定：持续改进需要设定明确的目标，这些目标应与组织的战略方向相一致，并能够为整个组织指明改进的方向。持续改进的目标可以是提高系统的有效性、降低成本、提高过程成熟度等；方法多样性：持续改进可以通过多种方法来实现，包括利用审核发现和审核结论、数据分析、管理评审等。这些方法有助于组织识别改进机会、评估改进效果，并制定有效的改进措施。风险管理：持续改进还涉及对风险的管理。组织需要识别、分析与评价和管理与改进活动相关的风险，确保改进措施不仅能够有效提升系统绩效，还能够应对潜在的风险和挑战；系统性：持续改进是一个系统性的过程，它要求组织从整体上考虑人工智能系统的各个方面，包括技术、管理、人员等多个维度。只有这样，才能够实现全面的、可持续的改进。组织应持续改进人工智能管理体系的适宜性、充分性和有效性。注1：适宜性指人工智能管理体系适合于组织的目标、运行、文化和业务体系的程度。注2：充分性指人工智能管理体系满足适用性要求的程度。注3：有效性指完成策划的活动和实现策划的结果的程度。组织应持续改进人工智能管理体系的适宜性、充分性和有效性持续改进人工智能人工智能管理体系的重要性：组织应不断推动人工智能管理体系的改进，以确保其在动态变化的环境中始终保持与组织目标、运行需求、组织文化及业务体系的适应性；适宜性的涵义：适宜性强调人工智能管理体系与组织的目标、运行方式、组织文化及业务体系的契合度。人工智能管理体系应能够支持组织实现其战略目标，同时与组织的运行实践、核心价值观及业务结构相匹配；充分性的涵义：充分性指人工智能管理体系满足所有适用要求的程度。这要求人工智能管理体系应完整覆盖所有必要的流程和环节，确保每个组成部分都得到有效实施；有效性的涵义：有效性是衡量人工智能管理体系是否能够成功完成策划的活动并实现预期结果的关键指标。人工智能管理体系所策划的活动涵盖了多个方面，包括但不限于：目标设定：明确组织在人工智能应用方面的短期与长期目标；流程设计：策划人工智能系统的开发、部署、运维及优化等全流程；风险管理：识别、评估并应对与人工智能系统相关的各种风险；资源分配：确保为人工智能管理体系提供必要的人力、物力及技术支持；绩效评价：建立机制以持续评价人工智能系统的性能和组织的整体绩效；持续改进：策划并实施策略以不断优化人工智能管理体系，提升效率与效果。预期结果的关键衡量指标，主要包括但不限于以下几类目标达成度：衡量实际成果与设定目标之间的吻合程度；系统性能：评估人工智能系统的处理速度、准确率、稳定性等指标；业务流程效率：考察人工智能系统对业务流程的优化效果；风险管理效果：分析风险应对策略的有效性和风险发生率的降低情况；客户满意度：通过用户反馈评价人工智能系统对业务成果的贡献；合规性：确保人工智能管理体系与相关法律法规、行业标准保持一致。10.2不符合和纠正措施发生不符合时，组织应：a）对不符合做出反应，并且如适用：1）采取控制和纠正措施；2）处置后果；10.2不符合和纠正措施不符合情形通常包括但不限于以下情况：违反政策与程序：人工智能系统的运行、开发、部署或使用违反了组织制定的人工智能管理体系政策、程序或标准；系统性能不达标：人工智能系统的性能指标（如准确率、响应时间、稳定性等）未达到预期要求或合同约定的标准；数据质量问题：用于训练或运行人工智能系统的数据存在错误、不完整、过时或偏见等问题，影响系统输出结果的准确性和可靠性；安全漏洞与风险：人工智能系统存在安全漏洞，未能有效保护数据安全和隐私，或未遵循相关的安全标准和法规要求；流程与文件不符：实际的操作流程与文件记录不符，或者关键活动缺乏必要的文件记录和支持证据；供方或第三方服务问题：与第三方供方或服务提供商相关的问题，如提供的算法、模型或数据存在缺陷，导致人工智能系统表现不佳。道德与合规性问题：人工智能系统的应用可能涉及道德争议或不符合相关法律法规的要求，如偏见、歧视、隐私侵犯等。资源分配与管理不当：人工智能系统的资源配置不合理，如计算资源、存储资源或人力资源分配不足，导致系统性能受限或无法满足业务需求。可以采取以下几种方法发现所发生的不符合：定期审核与评估：通过定期的内部审核、第三方审核或自我评估，对人工智能管理体系的符合性进行全面检查；性能监视与日志分析：利用性能监视工具和日志分析技术，对人工智能系统的运行状态和输出结果进行实时或定期分析，识别潜在的不符合情况；用户反馈与投诉处理：积极收集和处理用户反馈与投诉，特别是关于人工智能系统表现不佳或存在问题的报告，这些反馈往往是发现不符合情况的重要途径；数据验证与测试：对用于训练或运行人工智能系统的数据进行验证和测试，确保其质量符合要求，避免因数据问题导致的不符合情况；风险评估与管理：定期进行风险评估，识别可能导致不符合情况的风险点，并制定相应的管理措施和预案；内部报告与沟通机制：建立有效的内部报告和沟通机制，鼓励员工主动报告发现的不符合情况，确保问题得到及时响应和处理；供方管理与合作：与供方和服务提供商建立紧密的合作关系，要求他们提供高质量的产品和服务，并对供方的表现进行定期评估和监督。发生不符合时，组织应对不符合做出反应，包括：立即识别与确认：组织需立即识别并确认不符合的存在，明确其性质、范围和影响；启动应急响应：根据不符合的严重程度，启动相应的应急响应程序，确保问题不会进一步恶化或蔓延；沟通与报告：及时向上级管理层和相关利益相关者沟通不符合情况，确保信息透明，为后续处理奠定基础。发生不符合时，在适用时采取控制和纠正措施；采取控制措施，包括但不限于：隔离不符合：将不符合及其影响范围进行有效隔离，防止其继续对系统或业务造成影响；限制访问：对可能涉及不符合的系统、数据或资源进行访问控制，防止未授权操作；暂停或调整操作：根据不符合的性质，暂停可能导致进一步不符合的操作，或调整操作方式以减轻影响；安全审核与监视：加强安全审核和监视力度，确保不符合情况得到及时发现和处理。采取纠正措施：纠正措施的定义：指为消除已发现的不符合的原因，防止其再次发生或扩展到其他类似过程或系统中而采取的具体措施。包括但不限于：根本原因分析：采用5Why、鱼骨图等工具，深入分析不符合的根本原因；制定纠正计划：根据根本原因分析结果，制定具体的纠正措施计划，明确责任部门、时间节点和预期效果；实施纠正措施：按照纠正计划，组织相关资源实施纠正措施，确保不符合得到有效解决；验证纠正效果：对纠正措施的实施效果进行验证，确保不符合得到彻底纠正，并防止类似问题再次发生。发生不符合时，处置后果。后果处置措施包括但不限于：恢复服务：对受不符合影响的业务或服务进行恢复，确保组织运营不受重大干扰；赔偿与补偿：对因不符合导致的损失或损害，向相关方提供适当的赔偿或补偿；沟通与公关：加强与内外部利益相关者的沟通与公关工作，及时通报不符合情况的处理进展和结果，维护组织形象和声誉；持续改进：将不符合及其处理过程作为持续改进的契机，优化流程、提升管理水平和风险防控能力。b）通过以下活动评价采取措施的需要，以消除产生不符合的原因，避免其再次发生或在其他地方发生；1）评审不符合；2）确定产生不符合的原因；3）确定是否存在或可能发生类似的不符合；通过以下活动评价采取措施的需要，以消除产生不符合的原因，避免其再次发生或在其他地方发生；评审和分析不符合；评审和分析的内容：对发现的不符合进行全面审查，包括不符合的具体描述、发生时间、地点、涉及的过程或系统、影响范围等。分析不符合的性质、严重程度及其对组织目标、方针和人工智能管理体系的影响；评审和分析的方法：采用数据分析、根本原因分析（RCA）、故障树分析（FTA）等方法，结合专家评审、团队讨论等方式，对不符合进行深入剖析。确保评审过程客观、公正，分析结果准确可靠。确定产生不符合的原因；确定不符合原因的方法：通过收集相关数据和信息，运用5Why分析法、鱼骨图等工具，对不符合进行层层剖析，直至找到根本原因。考虑人、机、料、法、环等多个方面，综合分析可能导致不符合的原因；常见的不符合原因：通常包括人为错误（如操作不当、疏忽大意）、过程缺陷（如流程设计不合理、执行不到位）、资源配置不足（如人员、设备、资金等）、外部因素干扰（如法律法规变化、市场环境波动）等。确定是否存在或可能发生类似的不符合；排查方法：在确定了不符合的根本原因后，组织应扩大排查范围，对相似的过程、活动或系统进行检查，识别是否存在类似的不符合或潜在风险。利用历史数据、经验反馈、行业标杆等手段，进行横向和纵向比较；预防措施：针对排查出的潜在不符合或风险点，制定相应的预防措施和控制措施，防止类似不符合的再次发生。同时，建立风险监视和预警机制，确保及时响应和处理潜在风险。c）实施任何所需的措施；实施任何所需的措施，包括但不限于：修改流程：重新审视并优化相关业务流程，确保流程的每个环节都符合人工智能管理体系的要求。例如，如果问题出在数据处理流程上，可以重新设计数据处理和审核步骤，增加必要的检查点和控制点；改进技术：针对技术问题导致的不符合，组织应投入资源进行技术研发和改进。这可能包括升级现有系统、引入新技术或工具，或者对现有技术架构进行重构；增强培训：为相关人员提供必要的培训，以提升其专业能力和对人工智能管理体系的理解。培训内容可以包括人工智能管理体系的要求、操作流程、技术规范等；更新文件：及时审查和更新人工智能管理体系相关的文件和记录，确保文件的准确性和时效性。这可能包括操作手册、作业指导书、程序文件等；建立监视机制：建立或完善监视机制，对人工智能管理体系的运行情况进行实时监视和定期评价。这可以包括设立关键绩效指标（KPIs）、进行内部审核和管理评审等；强化沟通与反馈：加强内部沟通，确保人工智能管理体系的运行情况、问题发现及纠正措施的实施情况等信息能够在组织内部得到及时、准确的传递。同时，建立反馈机制，鼓励员工积极提出改进建议；资源调配与支持：根据纠正措施的需要，合理调配资源，确保纠正措施得到充分的支持和保障。这可能包括人力、物力、财力等方面的资源。d）评审所采取的任何纠正措施的有效性；评审所采取的任何纠正措施的有效性；明确评审目标和标准；评审目标：确认纠正措施是否成功消除了不符合的原因，并防止了类似问题的再次发生；评审标准：基于人工智能管理体系的要求、相关法规标准以及组织内部政策，制定明确的评审标准。制定评审计划；确定评审的时间表、参与评审的人员及其职责分工；准备评审所需的资料和数据，包括纠正措施实施前后的对比数据、相关记录等。收集和分析数据；收集实施纠正措施前后的相关数据，包括不符合的数量、频率、性质等方面的变化；通过统计分析、趋势分析等方法，评估纠正措施的实施效果。现场验证和检查；对纠正措施的实施现场进行实地验证和检查，确认纠正措施是否已得到有效执行；检查相关文件和记录是否齐全、准确，是否符合人工智能管理体系的要求。评审会议和讨论；召开评审会议，邀请相关部门和人员参与讨论；对纠正措施的实施效果进行客观评价，分析存在的问题和不足。编写评审报告；根据评审结果编写评审报告，明确纠正措施的有效性、存在的问题及改进建议；报告应客观、准确、全面地反映评审过程和结果。持续改进。根据评审报告中的改进建议，制定进一步的改进措施和计划；将评审结果和改进措施纳入人工智能管理体系的持续改进过程中，推动组织的管理水平不断提升。e）如必要，变更人工智能管理体系。必要时变更人工智能管理体系变更的必要性；适应性与灵活性：随着外部环境、技术发展趋势、业务需求及法律法规的不断变化，人工智能管理体系可能需要相应的调整以保持其有效性和适应性；纠正措施的效果：在实施纠正措施后，若发现当前人工智能管理体系无法有效防止类似不符合的再次发生，或无法满足新的管理要求时，变更成为必要。变更的触发条件；不符合的深入分析：对不符合的根本原因进行深入分析，若发现人工智能管理体系本身存在设计缺陷或运行漏洞，需考虑变更；绩效评价结果：通过管理评审、内部审核等绩效评估手段，发现人工智能管理体系存在重大缺陷或无法达成预定目标时，应启动变更流程；外部因素变化：法律法规、行业标准、技术发展趋势等外部因素发生重大变化，对人工智能管理体系提出新要求时，需相应调整。变更的程序与步骤；识别需求：明确人工智能管理体系需变更的具体内容和目的。评估影响：分析变更可能带来的正面和负面影响，确保变更方案的合理性和可行性；制定计划：制定详细的变更计划，包括变更内容、时间表、责任分配等；沟通与培训：与相关部门和人员进行充分沟通，确保大家理解并接受变更方案；同时提供必要的培训和支持；实施变更：按照计划执行变更，确保变更过程的平稳过渡；监视与评审：对变更后的人工智能管理体系进行持续监视与评审，确保其达到预期效果并不断优化。变更后的验证与确认。效果验证：通过实际运行和绩效评估验证变更后人工智能管理体系的有效性；标准化与文件化：将变更内容纳入人工智能管理体系的标准化文件和操作规程中，确保人工智能管理体系的一致性和可追溯性；持续改进：建立持续改进机制，对人工智能管理体系进行不断优化和完善，以适应不断变化的内外部环境。纠正措施应与不符合产生的影响相适应。纠正措施应与不符合产生的影响相适应；适应性的重要性：当人工智能管理体系中出现不符合时，需要对其影响进行全面评估，包括直接损失、潜在风险以及对整个人工智能管理体系连续性和完整性的影响。纠正措施的制定应基于这一全面评审，确保措施既能有效解决问题，又不会引入新的风险或浪费资源；措施与影响相称：纠正措施不应过度或不足，而是需要精准对应问题本身及其后果的严重程度。纠正措施应当具体针对不符合的根本原因，避免仅处理表面现象而忽视问题的根源。同时，措施的力度应与不符合的影响相称，防止过度干预或干预不足的情况发生；全面评估不符合的影响：在发现不符合后，应其进行全面的影响评估。这包括确定不符合的直接后果，如性能下降、数据错误、服务中断等，以及潜在的间接影响，如客户信任度降低、法律风险增加等。此外，还需考虑纠正措施可能带来的正面效益，如提高人工智能管理体系的效率和效果。成文信息应作为以下事项的证据可获取：——不符合的性质和所采取的任何后续措施；——任何纠正措施的结果。成文信息应作为以下事项的证据可获取：不符合的性质和所采取的任何后续措施；不符合的性质；详细描述：详细记录不符合项的具体内容，包括不符合的具体表现、发生的时间、地点、涉及的流程或系统、相关责任人等。类型与级别：明确不符合的类型（如流程不符、数据错误、系统漏洞等）和严重程度（如轻微、一般、严重等）。判定依据：引用相关的人工智能管理体系文件、行业标准、法律法规等作为判定不符合性质的依据。所采取的任何后续措施。紧急控制措施：记录为防止不符合项进一步扩大或重复发生而采取的紧急控制措施，如暂停相关流程、隔离问题区域等。根本原因分析：详细记录对不符合项进行根本原因分析的过程和结果，识别导致不符合的根本原因。纠正措施：针对根本原因制定的具体纠正措施，包括具体的行动步骤、责任人、完成时限等。预防措施：为防止类似不符合项再次发生而制定的预防措施，包括制度完善、流程优化、员工培训等方面的内容。沟通与通知：记录与相关部门和人员的沟通与通知情况，包括向相关方通报不符合项及处理进展。任何纠正措施的结果。纠正措施的实施情况；实施记录：详细记录纠正措施的实施过程，包括实施的具体时间、地点、参与人员、实施步骤等；资源投入：记录实施纠正措施所需的人力、物力、财力等资源投入情况。纠正措施的有效性评估；评估方法：描述对纠正措施有效性进行评估的具体方法，如数据对比分析、现场检查、客户反馈等；评估结果：详细记录评估结果，包括纠正措施是否解决了不符合项、是否达到了预期效果、是否存在未解决的问题或新的风险等。后续跟踪与监控；跟踪计划：制定并记录对纠正措施实施后的持续跟踪计划，包括跟踪的时间点、跟踪内容、责任人等；监控结果：记录跟踪和监控的结果，包括系统稳定性、流程效率、客户满意度等方面的变化情况。文件更新与归档。文件修订：根据纠正措施的实施情况和评估结果，对相关人工智能管理体系文件进行必要的修订和更新；归档管理：将所有与不符合项处理相关的成文信息进行归档管理，确保信息的可追溯性和完整性。第2部分：“10改进”流程控制表一级流程二级流程流程节点控制要点所期望的输出持续改进制定持续改进计划分析当前人工智能管理体系状况设定持续改进目标制定详细的实施计划持续改进计划文档实施持续改进计划分配资源执行计划中的改进措施监控实施过程改进措施执行记录评估持续改进效果收集改进措施实施前后的数据分析效果，评估目标达成情况编写评估报告持续改进效果评估报告10.2不符合和纠正措施识别不符合项定期检查、审核人工智能管理体系收集用户反馈和投诉分析日志和性能数据不符合项报告响应不符合项立即启动应急响应程序采取紧急控制措施通知相关方和责任人紧急控制措施记录评审不符合项对不符合项进行全面评审分析根本原因确定影响和后果不符合项评审报告制定纠正措施制定具体纠正措施计划分配责任和时间表确保措施与影响相称纠正措施计划文档实施纠正措施执行纠正措施计划监控实施过程记录资源投入和实施细节纠正措施实施记录验证纠正措施效果收集实施前后的数据分析纠正措施的有效性编写验证报告纠正措施效果验证报告处置不符合后果恢复受影响的服务赔偿或补偿相关方加强沟通和公关工作后果处置记录评审预防措施需求分析是否存在类似不符合风险制定预防措施计划监控预防措施实施预防措施评审报告变更人工智能管理体系（如必要）识别变更需求评估变更影响实施人工智能管理体系变更验证变更效果人工智能管理体系变更文档和验证报告第3部分：“10改进”过程风险清单一级流程二级流程风险描述（风险源、过程运行可能发生什么并产生什么后果及其对实现业务流程目标产生的影响）持续改进制定持续改进计划风险源：计划制定不合理或未充分考虑组织目标、业务需求和文化可能发生的情况：计划目标不明确、不切实际，或无法与组织的整体战略保持一致后果：资源浪费、实施难度增加，甚至可能导致改进方向错误对实现目标的影响：降低改进效果，影响人工智能管理体系的适宜性、充分性和有效性实施持续改进计划风险源：执行不力、资源不足或沟通不畅可能发生的情况：改进措施未能按计划执行，或执行效果不理想后果：改进进度延误、效果不佳，影响人工智能管理体系的持续改进对实现目标的影响：阻碍人工智能管理体系的持续优化，降低有效性评估持续改进效果风险源：评估标准不明确、数据收集不全面或分析方法不科学可能发生的情况：评估结果不准确，无法真实反映改进效果后果：误导决策，可能导致错误的改进方向对实现目标的影响：影响人工智能管理体系的适宜性和有效性评估，阻碍持续优化的进程不符合和纠正措施识别不符合项风险源：监测机制不完善、员工意识不足或沟通不畅可能发生的情况：不符合项未能及时发现，或发现后未及时报告后果：问题累积，增加纠正难度和