信息技术人工智能风险评估模型

1信息技术人工智能风险评估模型本文件规定了人工智能领域产品的风险评估模型，包括风险能力等级、风险要素、风险能力要求，给出了判定人工智能产品的风险评估等级的方法。本文件适用于指导人工智能产品开发方、用户方以及第三方等相关组织对人工智能产品风险开展评估工作。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T28452-2012信息安全技术GB/T35273-2020信息安全技术应用软件系统通用安全技术要求个人信息安全规范3术语和定义3.1术语和定义下列术语和定义适用于本文件。3.1.1AI系统AIsystem利用AI求解问题的技术系统。3.1.2AI系统在使用中的不确定性对目标的实现影响。3.1.3AI风险评估AIriskassessment对AI系统进行风险评价的全过程。3.1.4风险要素riskfactor可能单独或共同引起风险的内在要素。2风险域riskdomain风险模型中相关活动、过程等集合以及一组相关风险子域的集合。3.1.5风险子域risksubdomains风险域中相关组成属性、活动等集合以及一组相关风险评估要求的集合。3.1.6风险评估要求riskassessmentrequirements风险子域中多种具体风险评估细则、活动或说明等。3.1.7机器学习框架machinelearningframework一种可以为机器学习模型提供训练和推理运行环境及应用程序实现接口的框架软件。3.1.8算法algorithm用于求解问题，明确界定的有限且有序的规则集合。3.1.9模型model基于输入数据生成推理或预测的计算结构。4缩略语以下缩略语适用于本文件。AI人工智能（ArtificialIntelligence）35AI风险评估模型5.1概述AI风险评估模型由风险要素、风险域和风险子域层次化构成。其中，AI风险评估模型由多个风险要素组成，每个风险要素由多个风险域组成，每个风险域由多个风险子域组成。5.2模型构成AI风险评估模型提出了人工智能产品评估的风险源，包括技术风险、应用风险和管理风险。AI风险评估模型见图1。技术风险包括数据风险、算法模型风险和系统风险3个风险域；数据风险从完整性、自洽性、现时性、保密性和准确性等5个风险子域进行度量；算法模型风险从鲁棒性、需求满足性、无偏性、透明性和算法依赖性等5个风险子域进行度量；系统风险从组成依赖性、人机交互、可复现性、容错性、可追溯性、可控性、实时性和适应性等8个风险子域进行度量。应用风险包括对象风险和权利风险2个风险域；对象风险从个体治理和组织治理等2个风险子域进行度量；权利风险从向善性、公平性、知情权和隐私权等4个风险子域进行度量。管理风险包括组织设计风险、人员管理风险和流程管理风险3个风险域；组织设计风险从组织架构和伦理风险管理等2个风险子域进行度量；人员管理风险从人员更迭、培训与考核等2个风险子域进行度量；流程管理风险从独立监控与审核、问责制等2个风险子域进行度量。5.3风险评估等级AI风险评估等级规定了人工智能产品的开发和应用全生命周期涉及的AI风险评估时应达到的水平。风险评估等级分为五个等级见图2，自低向高分别是一级（起始级）、二级（发展级）、三级（稳健级）、四级（优秀级）和五级（卓越级），较高的评估等涵盖了低评估等级的要求。一级（起始级）：仅有零星的AI风险评估活动，没有统一的风险评估流程，主要是被动式评估；二级（发展级）：基于企业自身经验和日常惯有的模式进行AI风险评估活动；三级（稳健级引进成熟的AI风险评估经验，制定了标准化的评估流程，促进风险评估的规范化；四级（优秀级建立可量化的合理评估指标，能够量化相关评估项，定期开展AI风险评估，充分借鉴行业最佳评估案例促进本身的风险评估；五级（卓越级）：实现对风险子域持续优化，驱动产品持续创新及行业内最佳实践分享。4图1风险评估模型图2风险评估等级依据建立的AI风险评估等级的五级要求，将每一个风险子域分解为对应的五个等级的风险评估要求见图3。5图3风险子域的五级风险评估要求5.4技术风险5.4.1数据风险数据风险域包括完整性、自洽性、现时性、保密性和准确性等5个风险子域。数据风险评估要求见表1。完整性：在给定环境中，与一个实体相关联的主题数据具有所有预期属性的值和相关的实力值的程度。自洽性：在给定环境中，数据的语义不存在矛盾的程度。现时性：在给定环境中，数据具有表征其正确寿命的属性的程度。保密性：在给定环境中，数据本身只能被授权用户访问和解释的程度。准确性：在给定的环境中，数据具有正确地表示一个概念或事件的相关属性真实值的属性的程度。表1数据风险评估要求一级性1.制定了数据完整性技术要求，能够应用工具检查数据1.具备数据完2.制定了数据完整性技术要求，能够应用工具检查数据完整性，并能针对数据所处（网络传输，1.具备数据完整性保处理人员制定关于数2.制定了数据完整性能针对数据所处的不1.具备数据完整性保障制度，为数据采集、处理人员制定关于数据完2.制定了数据完整性技术要求，能够应用工具检查数据完整性，并能针对数据所处的不同环境（网络传输，非易失性存储，易失性存储）应用工具，得到检查结1.具备数据完整性保障制制定关于数据完整性的岗2.制定了数据完整性技术非易失性存储，易失性存6储，易失性存3.具备数据关联主题3.具备数据关联主题及属性元数据定义，有形4.能够按元数据定义，自动归类数据，自动对齐属性，数据表达与元数据定义形式化方法一5.能够在法规允许的范围内保存业务数据，并对比生产环境数据与训练数据的差异，明确训练数据完整性方面的缺3.具备数据关联主题及属数据表达与元数据定义形的数据上实施基于语义的5.能够在法规允许的范围产环境数据与训练数据的性1.制定了针对数据自洽性的1.制定了针对数据自洽性的2.对图形、视频、音频及其它业务数据，具备与业务相关的自洽性目标及技术检查1.制定了针对数据自与业务相关的自洽性3.实施了基于随机抽1.制定了针对数据自洽2.对图形、视频、音频及其它业务数据，具备与业务相关的自洽性目3.实施了数据自洽性自4.对图形、图像、视频数据，能辨别矛盾归类）；5.对音频数据，能辨别6.对其它业务逻辑数据，能按照业务关系，1.制定了针对数据自洽性关的自洽性目标及技术检3.实施了数据自洽性自动）；训练数据，辨识自洽性冲8.具备图形化或数据虚拟性1.对AI系统的核心确数据现时性1.对AI系统的核心业1.对AI系统的核心业务，明确数据现时性要7确数据现2.对图形、视频、音频及其它业务数据，求，实施了数据现时性技术3.对新数据，在标注时，实施了现时性检2.对图形、视频、音频及其它业务数据，按照业务要求，实施了数据实施了自动化现时性检查，按数据现时性，制定并实施了区别利用的4.在训练模型时，能够按照业务逻辑涉及的数据现时性要求，检查数据，保证训练数据整体它业务数据，按照业务要业务逻辑涉及的数据现时练数据整体现时性满足业性1.制定了数据保密性规则，明确了在各生产环节上的数据保密性1.制定了数据保密性规则，明确了在各生产环节上的数据保密性技术2.在数据采集环节，实施原始数据完整性3.在数据标注环节，实施单例数据访问、4.在数据共享时，定义了敏感字段，实施敏感字段消隐5.在数据分析时，实施了数据统计规律、单例检视权限6.在数据使用时，实施了数1.制定了数据保密性环节上的数据保密性施原始数据完整性校字段消隐及反重识别了数据迁移加密及完了数据加密存储及访1.制定了数据保密性规则，明确了在各生产环节上的数据保密性技术2.在数据采集环节，实施原始数据完整性校3.在数据标注环节，实施单例数据访问、检视控制，具备单例数据防4.在数据共享时，定义了敏感字段，实施敏感字段消隐及反重识别技5.在数据分析时，实施了数据统计规律、单例检视权限控制，有分析工具来源控制和检查，对工具来源、版本、二6.在数据使用时，实施了数据迁移加密及完整7.在数据废弃时，实施了数据加密存储及访问明确了在各生产环节上的备单例数据防篡改技术手多方参与的分析、训练过据迁移加密及完整性校验，对数据操作组件实施来源、施检查和认证（黑、白名）；8据迁移完整性7.在数据废弃时，实施了数据加密存储及权限控制，废弃数据与生产数据分离存储，操据加密存储及访问权限控性1.明确业务所涉及的数据准确性的含义，及在各生产环节上的准确性检查指标和方1.明确业务所涉及的数据准确性的含义，及在各生产环节上的准确性检查指标和方2.在数据采集环节，有数据源名单机制，能在一定程度上甄别数据真3.在数据标注环节，有人和与、实施的半自动机制，能在一定程度上保证数据标注4.在数据共享时，有数据源名单机制，能在一定程度上甄别数据来源析、使用时，有数据修改权1.明确业务所涉及的在各生产环节上的准一定程度上甄别数据一定程度上保证数据定程度上甄别数据来5.在数据分析、使用1.明确业务所涉及的数据准确性的含义，及在各生产环节上的准确性2.在数据采集环节，有数据源名单机制，能在一定程度上甄别数据真实性。能进行数据语义分析，衡量数据在语义3.在数据标注环节，有人和工具共同参与、实施的半自动机制，能在一定程度上保证数据标注正确性，配备测试指标，实施标注准确性测4.在数据共享时，有数据源名单机制，能在一定程度上甄别数据来源有数据准确性回馈、协有数据修改权限控制机1.明确业务所涉及的数据环节上的准确性检查指标5.4.2算法模型风险算法模型风险域包括鲁棒性、需求满足性、无偏性、透明性和算法依赖性等5个风险子域。算法模型风险评估要求见表2。9鲁棒性：算法在任何情况下维持其性能水平的程度。需求满足性：算法满足需求相关基本指标的程度。面向不同AI产品在各自业务场景下的准确率、召回率、mAP、词错误率等基本指标。无偏性：算法的研发人员对客观事物的认知存在主观上的某种偏见，造成模型指标下降或错误，甚至在模型使用时产生了带有歧视性结果的程度透明性：算法模型具有开放、综合、可访问以及信息表示可清晰理解的程度。算法依赖性：当AI算法模型的设计、运行依靠其它算法或程序时，对所依赖的算法或程序可能存在的质量要求及检查、测试的现实情况程度。表2算法模型风险评估要求一级性法、模型鲁棒性的技术要求，具备鲁棒性保障技术规划和2.模型在正常输入数据情况下，保持任务要求的推理准确型鲁棒性的技棒性保障技术2.模型在正常输入数据情况求的推理准确3.在训练准备练数据保护机数据被投毒或后门攻击的风4.能计划模糊边界数据上的确率指标及评1.明确算法、模型鲁棒性的技术要求，具备鲁棒性保障技术规划和人2.模型在正常输入数据情况下，保持任务要求的推理准段，能实施训练数据保护机制，防止数据非授权修改，减小数据被投毒或生成边界数据，并能得到边界数据上的推理结果，有准5.能实施模型保护技术手段，防止模型在迁移、工作过研究，造成模型缺6.能实施模型推理作业量监控机制，防止模型被模拟、棒性保障技术规划和2.模型在正常输入数实施训练数据保护机施基于对抗样本的模于指导模型鲁棒性提5.能实施模型保护技6.能实施模型推理作2.模型在正常输入数据情况基于对抗样本的模型鲁棒性防止模型在迁移、工作过程6.能实施模型推理作业量监保证各代次模型、算法鲁棒研究，造成鲁棒性对模型文件、算法二进制文性法输入、输出符合业务生产数据实际的格式、尺寸、维度算法能正常务生产数据实际的格式、尺正常工作环境输出符合业务生产数据实际的格式、尺寸、维度要求，模型、算法能正常2.模型、算法在正常工作环境中，准确率达到生产要3.模型、算法在正常的工作环境中，运行效率（时间、能耗）符合生产要出符合业务生产数据正常工作环境的准确常工作环境的运行效性业务逻辑，具有偏见的型、算法无偏性的技术要求，有测量方法和验1.针对具体业人类偏见包含法无偏性的技方法和验证计算法上线工作1.针对具体业务逻至少涵盖人类偏见，数据（统计）偏见；人类偏见包含认知偏见，社会偏见包含选择，采样，整合权重，分2.明确模型、算法无偏性的技术要求，有测量方法和3.能够在模型、算法上线工作前，实施偏见测量，并控4.能够在数据准备含认知偏见，社会偏4.能够在数据准备阶具备并实施了偏见统数据含有的偏见（如标注偏），验证结果符合生产环境偏见量，并控制上阶段，检测数据含有的偏见（如标注偏见），并具备偏见统计、消除数据性法、模型透明的定义及技术要求，至少包含可解释和可观型透明的定义少包含可解释和可观测两方2.针对训练数据预处理方法的可解释性分3.针对训练过据特征提取可4.有针对用户1.明确算法、模型透明的定义及技术要求，至少包含可解释和可观测两方2.针对训练数据，能够实施数据预处理方法的可解释性3.针对训练过程，能够实施数据特征提取可解释性分能够实施基于统计少包含可解释和可观实施数据预处理方法实施数据特征提取可够实施基于统计的可够提供可解释性证据据预处理方法的可解释性分性法、模型所依赖算法或程序的范围求；具有开展所依赖的算法或程序的正确性、有效性等测试工作的人员，并开展了相关验证型所依赖算法或程序的范围有开展所依赖的算法或程序性等测试工作了相关验证工2.对所依赖的算法或程序进行了安全漏洞1.明确算法、模型所依赖算法或程序的范围与技术要求；具有开展所依赖的算法或程序的正确性、有效性等测试工作的人员，并开展了相关验证2.对所依赖的算法或程序进行了安全3.针对所依赖算法或程序开展许可证合规检查和知识产赖算法或程序的范围所依赖的算法或程序2.对所依赖的算法或程序进行了安全漏洞3.针对所依赖算法或程序开展许可证合规检查和知识产权风险4.在研发的整个生命有开展所依赖的算法或程序2.对所依赖的算法或程序进3.针对所依赖算法或程序开展许可证合规检查和知识产了完整机制并开展相应的配3.针对所依赖算法或程序开展许可证合规检查和知识产4.在研发的整个生命周期，对所依赖的算法或程序的引入、使用、维护、更新、退出建立了完整机制并开展相应的配置测试、适应性测试等非功能测试，编制使用手了完整机制并开展相制使用手册等配套文5.构建依赖算法或程序的源码仓库和制品5.构建依赖算法或程序的源6.能够持续跟踪所依赖算法并针对变更情况进行及时修5.4.3系统风险系统风险域包括组成依赖性、人机交互、可复现性、容错性、可追溯性、可控性、实时性和适应性等8个风险子域。系统风险评估要求见表3。组成依赖性：AI系统依靠深度学习框架和AI硬件资源在要求的时间段内，正常、安全、可维护完成产品功能的程度。人机交互：AI系统与使用者之间提供的多种智能交互方式的程度。可复现性：在相同测量条件下，对同一或相类似条件下，AI系统在进行连续多次测量所得结果之间一致性的程度。容错性：AI系统容忍故障或在受到运行压力后恢复功能的程度。可追溯性：对AI系统，在整个生存周期，利益相关方应确保对须予考虑的重要事项均存档在案，帮助全面了解本系统的产出如何导出的性质。可控性：AI系统提供了可靠的机制，使用者能以此限制该系统自主程度的程度。实时性：AI系统平均性能和吞吐量达到需求目标的程度。适应性：AI系统能够合理的且有效率的适应不同的或演变的硬件、软件、其他运行（或使用）环境、数据或交互方式的程度。表3系统风险评估要求一级性赖的依靠深度学习框架和硬件资源开展是否满足业务需求1、对系统依赖的依靠深度学习框架和硬件资源开展是否满足业务需求2.制定系统依靠深度学习框架和硬件资源使用的技术规1.对系统依赖的依靠深度学习框架和硬件资源开展是否满足业务需求的验2.制定系统依靠深度学习框架和硬件资源使用的技术规范，并对于所有软硬件运行环境进行1.对系统依赖的依靠深度学习框架和硬件资源开展是否满足业2.制定系统依靠深度学习框架和硬件资源于所有软硬件运行环3.系统研发周期中对1.对系统依赖的依靠深度学习框架和硬件资源开展是否2.制定系统依靠深度学习框架和硬件资源使用的技术规3.系统研发周期中对程序设软硬件运行环境进行测试与3.系统研发周期中编译、转换、运行的脚本、工具或环境具有实现能力或具或环境具有实现能4.具有系统部署的硬件发生变化或升级后进行了可预计的硬件4.具有系统部署的硬件发生对系统进行了可预计的硬件5.验证系统是否具备符合用交互实现的技术规范，对现有技术能力实现人机交互进行1.制定人机交互实现的技术术能力实现人机交互进行可2.建立人机交并利用数据库对系统进行测1.制定人机交互实现的技术规范，对现有技术能力实现人机交互进行可行2.建立人机交互故障数据库，并利用数据库对系统进行3.建立人机交互的基本指标求，且不低于同行业要求；并对人机交互的基本指标进行测试与1.制定人机交互实现术能力实现人机交互2.建立人机交互故障对系统进行测试与验3.建立人机交互的基互的基本指标进行测4.交互中验证多设备连接与耦合、数据交1.制定人机交互实现的技术并利用数据库对系统进行测3.建立人机交互的基本指标对人机交互的基本指标进行4.交互中验证多设备连接与5.利用事件关联算法或其他算法开展对人机交互的危险现性验证环境，具有可复现性过程清单；包括但不限于先出“最佳”模型之前训型、代码及1.具有可复现有可复现性过2.制定可复现在该产品的多个版本中均进3.研发者能够准确的描述AI1.具有可复现性验证环境，具有可复现性过程清单；包括但不限于先出“最佳”模型之前训练过的模型、代码及数据集等；2.制定可复现性验证计划，并在该产品的多个版本中均3.研发者能够准确的描述AI系统的行4.可以由同一团队使用相同的测量程1.具有可复现性验证2.制定可复现性验证个版本中均进行了验3.研发者能够准确的4.可以由同一团队使在该产品的多个版本中均进3.研发者能够准确的描述AI4.使用者能够准确的描述AI5.可以由同一团队使用相同的测量程序，相同的测量系多个试验的相同位置以规定序，相同的测量系统，在相同的操作条件下，在多个试验的相同位置以规定的精度获得测量试验的相同位置以规个试验的相同或不同位置以规定的精度获6.可以由不同的团队使用相多个试验的相同或不同位置位置以规定的精度获得测量性范，涉及数据容错、行为容错和保障容错等，并在需求和设计阶段开展容错性设1.制定容错性容错和保障容和设计阶段开展容错性设计2.开展潜在危险或危险行为有针对性的开展了功能安全1.制定容错性技术规范，涉及数据容错、行为容错和保障容错等，并在需求和设计阶段开展容错性设计与实2.开展潜在危险或危险行为的分析工作，并有针对性的开展了功能安全测3.制定了功能安全技术规范，对可能产生的负面影响进1.制定容错性技术规并在需求和设计阶段开展容错性设计与实2.开展潜在危险或危有针对性的开展了功3.制定了功能安全技4.开展在不排除错误能够继续正常工作或者进入应急工作状态2.开展潜在危险或危险行为对可能产生的负面影响进行4.开展在不排除错误或故障工作或者进入应急工作状态5.使用形式化分析工具对系产品全生命据、算法和系统的追溯技术规范；所有信息完1.制定基于产品全生命周期系统的追溯技2.针对有关数可以追溯到相1.制定基于产品全生命周期的数据、算法和系统的追溯技术规范；所有信2.针对有关数据、算法和系统的故障，能够开展追溯分析，并可以追溯3.针对有关数据、算法和系统的故障，能够开展追踪分析，并可以追踪1.制定基于产品全生4.开展系统在各种使用场景下的实际应用1.制定基于产品全生命周期4.开展系统在各种使用场景下的实际应用情况的验证与追溯到相应的数据与性范，并在研发生命周期各个阶段开展了验证工1.制定可控性研发生命周期各个阶段开展2.具备检测和避免意外伤害或抗干扰的能控的范围与场1.制定可控性技术规范，并在研发生命周期各个阶段开2.具备检测和避免意外伤害或抗干扰可控的范围与场3.产品提供了可靠的机制可以限制其4.设置用户在使用场景下的多种可控性度量指标，并验证产品满足其指标1.制定可控性技术规各个阶段开展了验证2.具备检测和避免意外伤害或抗干扰的能3.产品提供了可靠的机制可以限制其自主4.设置用户在使用场景下的多种可控性度5.已部署的系统发生研发生命周期各个阶段开展2.具备检测和避免意外伤害3.产品提供了可靠的机制可4.设置用户在使用场景下的具有可以自动或手动停用的6.使用形式化验证工具开展性时间性能和计算性能指计、实现与1.针对所有时间性能和计算性能指标开展2.开展基础设施的提高实时性分析与验证1.针对所有时间性能和计算性能指标开展设计、实现与2.开展基础设施的提高实时性分析与3.建立系统实时性指标要求，且不低于同类产品；开展标准化测试工作，达到相应的指标要1.针对所有时间性能和计算性能指标开展设计、实现与验证工2.开展基础设施的提高实时性分析与验证3.建立系统实时性指4.开展输入特征实时5.开展模型实时性提1.针对所有时间性能和计算2.开展基础设施的提高实时4.开展输入特征实时性提高6.对系统使用的未来场景进1.建立适应性1.建立适应性分析1.建立适应性分析与1.建立适应性分析与测试技性性分析与测范，全面了解可能遇到的所有可能状态，并在研发生命周期各个阶段开展了验证分析与测试技解可能遇到的并在研发生命周期各个阶段开展了验证工2.对用户现阶段和未来可能使用的多种环试与验证系统的环境适应能与测试技术规范，全面了解可能遇到的所有可能状态，并在研发生命周期各个阶段开展了验2.对用户现阶段和未来可能使用的多种环境进行分析，测试与验证系统的环境适应能力，明确系统使用的环境3.对用户现阶段和未来可能使用的多种任务进行分析，测试与验证系统的任务适应能力，明确系统使用的任务4.利用专门的测试工具开展适应性测试与验证工作，并对测试结果进行分解可能遇到的所有可周期各个阶段开展了2.对用户现阶段和未来可能使用的多种环证系统的环境适应能3.对用户现阶段和未来可能使用的多种任证系统的任务适应能4.构建真实场景数据集用于提高系统在使有使用场景的进行验5.利用专门的测试工具开展适应性测试与周期各个阶段开展了验证工2.对用户现阶段和未来可能试与验证系统的环境适应能力，明确系统使用的环境边3.对用户现阶段和未来可能试与验证系统的任务适应能力，明确系统使用的任务边4.构建真实场景数据集用于5.利用专门的测试工具开展6.对用户现阶段和未来可能使用的多种信息获取范围进息获取不完整情况下的适应5.5应用风险5.5.1对象风险对象风险域包括个体治理和组织治理等2个风险子域。对象风险评估要求见表4。个体治理：AI应用过程中，个体所面临的风险得到治理的程度。组织治理：AI应用过程中，组织所面临的风险得到治理的程度。表4对象风险评估要求一级对AI理论、技术和应用1.符合个体对应用现状和发1.符合个体对AI理论、技术和应用现技术和应用现状和发现状和发展2.使个体对AI理论、技术和应用相关的风险理论和因素有2.使个体对AI用相关的风险理论和因素有3.符合AI应用相关的国家法律法规和强制性标准对个体所涉及的风险4.提供有关AI应用风险治理论、技术和应用相关的风险理论和因3.符合AI应用相关的国家法律法规和强制性标准对个体所涉及的风险防护4.提供有关AI应用5.在具体产品和服务中，对个体所面临的风险提供治理术和应用相关的风险理论和因素有清晰认3.符合AI应用相关的国家法律法规和强制性标准对个体所涉及4.提供有关AI应用风5.在具体产品和服务6.在具体产品和服务体所面临的风险提供用相关的风险理论和因素有3.符合AI应用相关的国家法律法规和强制性标准对个体4.提供有关AI应用风险治理体所面临的风险提供治理方6.在具体产品和服务的全生7.根据AI应用风险治理的方法对产品和服务提供进行持对AI理论、技术和应用现状和发展2.使组织对AI理论、技术和应用相关的风险理论和因素有1.符合组织对应用现状和发2.使组织对AI用相关的风险理论和因素有3.符合AI应用相关的国家法律法规和强制性标准对组织所涉及的风险4.提供有关AI应用风险治理1.符合组织对AI理论、技术和应用现论、技术和应用相关的风险理论和因3.符合AI应用相关的国家法律法规和强制性标准对组织所涉及的风险防护4.提供有关AI应用5.在具体产品和服务中，对组织所面临的风险提供治理6.组织应明确在AI应用风险治理上的7.组织应设置在AI应用风险方面具有针对性且具体的规技术和应用现状和发术和应用相关的风险理论和因素有清晰认3.符合AI应用相关的国家法律法规和强制性标准对组织所涉及4.提供有关AI应用风5.在具体产品和服务6.组织应明确在AI应用风险治理上的总体7.组织应设置在AI应用风险方面具有针对性且具体的规范和要8.组织应设置AI应用风险治理的部门或人用相关的风险理论和因素有3.符合AI应用相关的国家法律法规和强制性标准对组织4.提供有关AI应用风险治理织所面临的风险提供治理方6.组织应明确在AI应用风险7.组织应设置在AI应用风险方面具有针对性且具体的规8.组织应设置AI应用风险治9.在具体产品和服务的全生10.组织应建立AI应用风险治8.组织应设置AI应用风险治理的部门9.在具体产品和服务织所面临的风险提供10.组织应建立AI应用风险治理的持续性制11.组织应成立AI应用风险治理的专家顾问11.组织应成立AI应用风险治12.根据AI应用风险治理的方法对产品和服务提供进行持13.组织应在内部标准体系中纳入与AI应用风险治理相关5.5.2权利风险权利风险域包括向善性、公平性、知情权和隐私权等4个风险子域。权利风险评估要求见表5。向善性：AI应用过程中，应用遵循法律与法规、标准与制度、伦理和道德的程度。公平性：AI应用过程中，保障不同个体平等不受歧视的程度。知情权：AI应用过程中，知悉、获取信息的自由与权利受保障的程度。隐私权：AI应用过程中，个人敏感信息不受非法侵扰、知悉、收集、利用和公开的程度。表5权利风险评估要求一级性法律法规的政府及其职能部门的规性国家标准和强制性行业标准的要1.符合国家法2.符合各级政府及其职能部3.符合强制性国家标准和强制性行业标准4.遵守应用领1.符合国家法律法2.符合各级政府及其职能部门的规章3.符合强制性国家标准和强制性行业4.遵守应用领域的5.遵守社会文明公1.符合国家法律法规的2.符合各级政府及其职3.符合强制性国家标准和强制性行业标准的要4.遵守应用领域的伦理1.符合国家法律法规的要2.符合各级政府及其职能部3.符合强制性国家标准和强4.遵守应用领域的伦理准7.应用具备恶意应用检测功性的公平性定1.选取偏好的量多个公平性2.选择适当的问责制和正当1.设置公平性的不同衡量指标和标准，选取偏好的公平性定义，衡量多个公平性定义间的2.选择适当的数据集，数据输入符合平性的不同衡量指标和据的收集具备技术严谨1.权衡不同利益，不过度强调公平，根据不同情况，设置公平性的不同衡量指标和标准，选取偏好的公平性定义，衡量多个公平性定义间2.选择适当的数据集，数据的收集具备技术严谨性、实的算法解释3.尽可能鼓励和适当程序机4.选取可接受的算法解释模大对人工智能透明度、问责制和3.尽可能鼓励透明度、问责制和适当程序机制，确保算法的可解释性，不4.选取可接受的算法解释模型，追溯5.拓宽视角，扩大对人工智能公平性4.选取可接受的算法解释模型，追溯到数据输入，挖掘深层的隐形特能够解释社会和政治背时性、全面性、完整性、准3.尽可能鼓励透明度、问责制和适当程序机制，确保算法的可解释性，不过分依赖系统，解决输入数据缺陷，4.选取可接受的算法解释模型，追溯到数据输入，通过挖掘深层的隐形特征作为歧5.拓宽视角，扩大对人工智能公平性的研究，创建能够解释社会和政治背景及历史权数据采集方及用途应符合我国法律法规和相关强制性标准式地知情并据内容及用途应符合我国法律法规和相关强制性标准要2.用户应显式地知情并对应3.应用应根据最小化原则请授权后对用户造成的直接影1.AI应用中数据采集方法、数据内容及用途应符合我国法律法规和相关强2.用户应显式地知3.应用应根据最小化原则请求授权，并明确授权后对用户造成的直接影4.应用应建立与用户间的沟通渠道，在规定时间内响应用户对知情信息的1.AI应用中数据采集方合我国法律法规和相关2.用户应显式地知情并3.应用应根据最小化原后对用户造成的直接和4.应用应建立与用户间内响应用户对知情信息5.应用应向用户披露完整的分析结果并具备供1.AI应用中数据采集方法、数据内容及用途应符合我国法律法规和相关强制性标准2.用户应显式地知情并对应3.应用应根据最小化原则请求授权，并明确授权后对用4.应用应建立与用户间的沟通渠道，在规定时间内响应5.应用应向用户披露完整的分析结果并具备供个人追溯6.应用应在完整生命周期内，持续地向用户披露应用的各项操作和分析结果潜在的正面和负面影响，同时定期向公众披露应用保障用户知情权的各项措施的落实情权合我国个人隐私相关的1.应用应符合我国个人隐私相关的法律法1.应用应符合我国个人隐私相关的法律法规，收集信息1.应用应符合我国个人集信息的合法性应符合2.个人信息公开披露应符合集信息的合法性应符合控制者收集得个人信息主体的明示鉴别应符合中5.1.1的要出登陆和个人信息维护各操作有部得的个人隐私数据进行有效保护处控制应符合中5.1.2的要控制者应建并在规定时间内对用户的投诉进行合法性应符合5.1的要求；个人信息控制者向个人信息主体告知收集信息的目的、方个人信息主体个人信息控制者应对敏感信息采取去标识3.用户身份鉴6.1.1的要求，且应具备密码和个人信息维4.采集和获得数据应符合最5.采集过程各操作应完备记6.对已获得的个人隐私数据进行有效加密8.个人信息控的合法性应符合信息控制者收集信息前，应向个人信息主体告知收集信息的目的、方式、使用范围等规则，并应征得个人信息2.个人信息公开披的要求；公开披露前，个人信息控制者应对敏感信息采取去标识化处理等3.用户身份鉴别应具备密码修改、密码保护、退出登陆和个人信息维护等4.采集和获得数据应符合最小化原则5.采集过程各操作应完备记录且记录去满足去标识化要6.对已获得的个人隐私数据进行有效加密保护处理并具强制访问控制应分7.1.3和7.1.5的要GB/T35273-2020中5.1息主体告知收集信息的征得个人信息主体的明GB/T35273-2020中5.2还应满足个人信息存储期限应为实现个人信息主体授权使用的目的所2.个人信息公开披露应中9.4的要求；公开披露敏感信息采取去标识化3.用户身份鉴别应符合8.1.1的要求，且应具备账户冻结和永久注销等4.采集过程各操作应完备记录且记录应满足去自主访问控制和强制访问控制应分别符合GB/T6.个人信息控制者应建立投诉渠道和缺陷提交用户的投诉和提交进行要求；公开披露前，个人信息控制者应对敏感信息采取3.用户身份鉴别应符合GB/T且应具备密码修改、密码保护、退出登陆、个人信息维护、账户冻结和永久注销等应符合GB/T35273-2020中4.采集过程各操作应完备记录且记录应满足去标识化要求，并评估了去标识化对算法的影响，采用基于隐私保护的数据挖掘算法对数据进行分析，且对采集数据、传输数据和存储数据有校验机制，确保数据完备性，防止6.个人信息控制者应建立投诉渠道和缺陷提交渠道，并在规定时间内对用户的投诉据21数据库和软件支持的自制者应建立投诉渠道和缺陷规定时间内对用户的投诉和据库和软件支8.个人信息控制者应建立投诉渠道和缺陷提交渠道，并在规定时间内对用户的投诉和提交进9.操作系统、数据库、软件、分布式系统和网络支持的自主访问控制和强持的自主访问控制和强5.6管理风险5.6.1组织设计风险组织设计风险域包括组织结构，伦理风险管理等2个风险子域。组织设计风险评估要求见表6。组织结构：通过完备、高效和持续学习优化的组织结构，有效执行AI管理风险的各项措施。伦理风险管理：在组织设计中，支持对AI伦理风险的审视、制度、决策管理。表6组织设计风险评估要求一级1.组织结构设计时考虑持，兼顾独立性和成本2.基于AI风险管理，对组织结构设计中的部分关键决策有计时考虑对AI风险管理的支持，覆盖独立2.基于AI风险构的设计的决策过程有完备1.组织结构设计时考虑对AI风险管理的支持，覆盖独立性、专业性、流程与功能完整性和2.对组织结构的运行情况进行定期跟理，对组织结构的设计的决策过程有完备记录，安全存覆盖独立性、专业性、人员管理、流程与功2.对组织结构的运行情况进行定期跟踪和回组织结构的设计的决1.组织结构设计时考虑对AI风险管理的支持，覆盖独立2.对组织结构的运行情况进行构的设计的决策过程有完备伦理风险管理的组织；理风险管理方责AI伦理风险管理的组织，有核心的管理人员参与；明确企业在AI伦AI伦理风险管理的组参与；明确企业在AI伦理风险管理方面的理人员参与；明确企业在AI伦理风险管理方面的基本原则，并负责对业务开发险进行审查2.对AI伦理风险管理的审查和指导并负责对业务开发和运行环2.跟踪业界AI伦理的研究和3.对AI伦理风险管理的关键过程有完备的理风险管理方面的基本原则，并负责对业务开发和运行环节中的AI伦理风险进行审查、指的研究和政策，并理的过程有完备的记录，安全存储、务各环节流程中的AI2.跟踪业界AI伦理的研究和政策，以及AI3.对AI伦理风险管理2.跟踪业界AI伦理的研究和政策，以及AI新技术、新应用变化，并定期审视对AI伦理管理的影响，实现闭环优3.对AI伦理风险管理的过程5.6.2人员管理风险人员管理风险域包括人员更迭，培训与考核等2个风险子域。人员管理风险评估要求见表7。人员更迭：管理相关人员的选拔和更迭计划，消除人员变更带来的漏洞和风险。培训与考核：对相关人员进行培训和考核，使其具备有效应对AI风险管理的必要知识和能力。表7人员管理风险评估要求一级更迭管理计关键岗位和迭风险管理岗位和对应业务人员的更迭情况进迭计划和更迭情况有记1.具备人员更迭管理计划，包括识别关键岗位和能力要求；对纳入人员更迭管理计划的业务人员2.有专门的人员更迭风险管理团队，对关键岗位和对应业务人员的更迭情况有数3.对人员更迭计划、更迭情况、资质管理过程等1.具备人员更迭管理计划，包括识别关键岗位和能力要求；对纳入人员更迭管理计划的业务人员有资质管理和2.有专门的人员更迭风险管理团队，对关键岗位和对应业务人员的更迭情况有自动化、数字划、更迭情况、资质管理过程等有完1.具备人员更迭管理计划，包括识别关键岗位和能力要求；对关键岗位有明确的候补人员；对纳入人员更迭管理计划的业务人员有资质管理、岗位能力培训，和辅导2.有专门的人员更迭风险管理团队，对关键岗位和对应业务人员的更迭情况有自动化、数字化的记录管理；对人员更迭中的异常情况进行实时监3.对人员更迭计划、1.具备人员更迭管理计划，包括识别关键岗位和能力要求；对关键岗位有明确的候补人员和应急替补人员；对纳入人员更迭管理计划的业务人员有资质管理、岗位能力培训，和辅导体系、继承2.有专门的人员更迭风险管理团队，对关键岗位和对应业务人员的更迭情况有自动化、数字化的记录管理；对人员更迭中的异常情况进行具备对人员更迭计划的自我3.对人员更迭计划、更迭情况、资质管理过程等有完备23更迭情况、资质管理过程等有完备记录，核的对象覆盖产品流程中的部分管理人员和技术的内容覆盖产品在正常运行情况下的主要风险满足及时性有效期管理机制的决策与操作过程1.培训考核的对象覆盖产品流程中承担决策责任的管理人员，参与开发设计的技2.培训考核的内容覆盖产品在正常运行情况下的主要风险应对措3.培训考核满足及时性要求，并具有有效期管理4.培训考核机制的决策与操作过5.收集对培训考核机制的反馈意见，必要时更新1.培训考核的对象覆盖产品流程中承担决策责任的管理人员，参与开发设2.培训考核的内容覆盖产品在正常运行、可能的潜在故障情况下的主要风3.培训考核满足及并具有有效期管理4.培训考核机制的决策与操作过程有完备的记录、安全5.收集对培训考核机制的反馈意见，必要时更新培训考1.培训考核的对象覆盖产品流程中承担决策责任的管理人员，参与开发设计的技术人员，以及负责运维2.培训考核的内容覆盖产品在正常运行、可能的潜在故障情况下的主要风险应对措3.培训考核满足及时性、周期性要求，并具有有效期管理等措4.培训考核机制的决策与操作过程有完备的记录、安全存储、5.收集对培训考核机制的反馈意见，定期1.培训考核的对象覆盖产品流程中承担决策责任的管理人员，参与开发设计的技术人员，以及负责运维的运营2.培训考核的内容覆盖产品在正常运行、可能的潜在故障以及受到恶意攻击情况下3.培训考核满足及时性、周期性要求，并具有有效期管4.培训考核机制的决策与操作过程有完备的记录、安全5.收集对培训考核机制的反馈意见，结合反馈和技术变化评估，确定明确的触发规5.6.3流程管理风险流程管理风险域包括独立监控与审核，问责制等2个风险子域。流程管理风险评估要求见表8。独立监控与审核：对流程执行中的关键环节进行独立的监控与审核，确保AI风险管理的各项措施被有效执行。问责制：对AI系统风险进行管理回溯时，根据制度，对承担关键团队或人员进行问责。表8流程管理风险评估要求一级监控核风险的监控2.具有一定1.具备对AI风与升级处理流2.具有一定独1.具备对AI风险的监控、响应与升级2.具有较强独立性运营体系，运营数1.具备对AI风险的监2.具有较强独立性运1.具备对AI风险的监控、响2.具有完全独立的运营体系，独立性的运3.对监控与审核有存档立性的运营体系，运营数字3.对监控与审核的过程有完4.有监控范围3.