欧盟AI法案解读：要求和实践指南

欧盟AI法案解读：要求和实践指南C00新兴技术2欧盟AI法案解读：要求和实践指南目录4导言4欧盟AI法案的关键义务5/定义与适用范围6/AI法案的例外情况6/受禁系统7/高风险Al系统7/风险管理8/质量管理体系9/数据和数据治理9/准确性、稳健性和网络安全10/技术文档、记录保存和透明度10/上市后监测11/符合性评估11/人工监督12/注册12/报告严重事件12/高风险系统部署者的义务14/透明度要求14/通用AI模型15/创新考量15/罚款15实践者的下一步15/时间表16/隐私输入17/AI库存和第三方管理17/记录AI系统获取和使用流程18结论3欧盟AI法案解读：要求和实践指南摘要随着人工智能(Al)技术，尤其是生成式AI(GenAI)的迅速发展，这些技术所带来的多种益处推动了其广泛应用。然而，为了追求效率，一些企业在采用AI时忽略了潜在的风险和可能造成的损害。欧盟AI法案对在欧盟使用的某些AI系统设定了具体要求，并禁止了一些特定的AI使用。本白皮书探讨了AI法案的适用范围和风险分类方法，概述了法规中的主要要求，并为希望符合法案要求的实践者提供了下一步行动建议。4欧盟AI法案解读：要求和实践指南导言近年来，AI技术的应用呈爆炸性增长。2019年，有58%的机构在至少一个业务环节中使用了AI技术；而到2024年，这一比例上升到了72%。1从2023年到2024年，生成式AI的使用率几乎翻了一番，从33%增长到了65%。2虽然引入AI有助于提升企业的运营效率，但它也带来了显著的风险。由于涉嫌版权侵权，多家生成式AI公司已面临多起诉讼。3若AI系统出现故障或被滥用，则可能引发安全问题，比如被非法篡改的自动驾驶汽车就可能导致人员伤亡。如果AI系统是基于有偏差的数据进行训练的，那么它们也可能产生有偏差的结果。关于AI的责任归属问题目前仍不明晰，往往难以确定谁应当为AI产生的不良后果负责。欧盟AI法案已于2024年3月13日获得欧洲议会的通过，并在同年5月21日得到了欧盟理事会的认可。此法案旨在减少与AI相关的风险，帮助企业在确保安全、遵循伦理和承担社会责任的前提下利用AI技术，并增强公众对AI系统的信任。该法案被认为是全球首部全面的AI法律。4考虑到这部法案的广度和深度，未来其他国家和地区制定AI相关法律法规时，很可能会参考欧盟AI法案，就如同先前欧盟的《通用数据保护条例》(GDPR)那样。欧盟AI法案已于2024年3月13日获得欧洲议会的通过，并在同年5月21日得到了欧盟理事会的认可。此法案旨在减少与AI相关的风险，帮助企业在确保安全、遵循伦理和承担社会责任的前提下利用AI技术，并增强公众对Al系统的信任。虽然并非全球每个企业都需要遵守欧盟AI法案，但了解该法案的主要要求依然很有价值。法案中规定的风险分类标准能够帮助企业更好地审视自身使用的AI产品，并深刻理解这些产品可能带来的风险。欧盟AI法案的关键义务欧盟AI法案涉及多层次的合规要求，包括AI应用场景、模型、系统、项目和企业层面。这些要求依据企业的角色(如提供者、部署者、进口商或分销商)以及AI系统风险级别的不同(高风险、有限风险、通用AI模型或多种类型的组合)而有所差异。以下是欧盟AI法案部分核心要求的简要概述。1Mckinsey&Company,“ThestateofAlinEarly2024:GenAIAdoptionspikesandstartstoGeneratevalue,”30May2024/capabilities/quantumblack/our-insights/the-state-of-ai2Mckinsey,“stateofAlinEarly2024”3Lutkevich,B.;"AILawsuitsExplained:who,sGettingsued?"TechTarget,25June2024,/whatisfeature/Al-lawsuits-explained-whos-getting-sued4Europeanparliament,“EUAIAct:FirstRegulationonArtificialIntelligence,”8June2023,https://www.europarl.europa.eu/topicsen/article/20230601ST093804/eu-ai-act-first-regulation-on-artificial-intelligence#:~:text=The%20use%20of%20artificial%20intelligence,world,s%20first%20comprehensive%20Al%20law.5欧盟AI法案解读：要求和实践指南定义与适用范围法案详尽地定义了哪些可以被认定为Al系统。图1列出了欧盟AI法案框架下AI系统的一些主要特性。5图1:AI系统的特性AIAI系统通过输入来推断如何生成输出，例如预测、内容、推荐或决策。AI系统是以机器为基础的。AI系统可以以不同的自主程度运行。AI法案将风险定义为发生危害的可能性与危害严重程度的结合。理解法案中定义的各种角色至关重要(见提供者自然人或法人、公共机构、机关或其他组织，开发或已开发出投放到欧盟市场的AI系统或通用AI模型。这包括免费和付费的AI系统。产品制造商生产集成AI系统产品的实体。部署者使用Al系统的自然人或法人、公共机构、机关或其他组织，但个人非进口商位于或设立在欧盟内的自然人或法人，将由第三国自然人或法人命名或注册商标的AI系统投放到欧盟市场。分销商供应链中的自然人或法人(除提供者或进口商外),在欧盟市场上销售AI系统。请注意，企业可能根据具体的应用场景担任不同的角色。例如，一家企业在使用第三方客户服务聊天机器人时可能是部署者，而在提供AI驱动的图像编辑器时则可能成为提供者。根据具体的应用场景确定适用的角色非常重要，因为提供者、部署者和分销商的要求可能不同。5OficialJournaloftheEuropeanUnion,"REGULATION(EU)2024/1689oftheEuropeanparliamentandofthecouncilof13June2024layingdownharmonisedrulesonartificialintelligenceandamendingRegulations(Ec)No300/2008,(EU)No167/2013,(EU)No168/2013,(EU)2018/858,(EU)2018/1139,and(EU)2019/2144andDirectives2014/90/EU,(EU)2016/797,and(EU)2020/1828(ArtificialIntelligenceAct)”Article2andArticle3,12July2024,https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ%3AL-2024016896欧盟AI法案解读：要求和实践指南欧盟AI法案规定了在欧盟市场投放的AI系统所需满足的要求。法案将“投放市场”定义为AI系统或通用AI模型首次在欧盟市场上市。AI系统上市是指通过商业活动(无论是付费还是免费)在欧盟市场内分销或使用AI系统或通用AI模型。将AI系统投入使用则是指首次将AI系统直接提供给部署者，用于在欧盟内按照预定目的使用。6AI系统上市是指通过商业活动(无论是付费还是免费)在欧盟市场内分销或使用AI系统或通用AI模型。将AI系统投入使用则是指首次将AI系统直接提供给部署者，用于在欧盟内按照预定目的使用。·在欧盟市场投放AI系统的提供者·设立或位于欧盟内的Al系统部署者·将产品与AI系统一并在欧盟市场投放或投入使用的制造商在欧盟外部，该法案同样适用于：·无论提供者位于何处，只要在欧盟市场投放AI系统的提供者·位于欧盟外部但其AI输出在欧盟内使用的提供者和部署者由于该法案的适用范围非常广泛，即使企业不在欧盟境内，也可能受到AI法案的约束。鉴于该法规具有域外效力，所有企业都必须确定该法案的要求是否适用于自己。AI法案的例外情况欧盟AI法案并不适用于所有在欧盟市场上的AI系统。旨在用于军事、国防或国家安全活动的AI系统被排除在外，即使这些系统由私营实体使用亦然。但如果这些系统即使是暂时用于其他目的，也将受该法规的约束。AI法案也不适用于仅用于科学研究和开发的AI系统，但对于需要在实际条件下测试的AI系统或模型，仍有相应的要求。8受禁系统AI法案禁止某些被认为风险过高的AI实践。图3列出了这些被禁止的实践。受禁系统是指那些可能对个人造成重大伤害的系统，这些实践可能导致隐私侵犯、歧视和个人自由的限制。除非有特定的狭义例外情况，否则用于图3所列目的的AI系统不得在欧盟市场投放或使用。96Europeanunion,“ArtificialIntelligenceAct,”Article37Europeanunion,“ArtificialIntelligenceAct,”Article28Europeanunion,“ArtificialIntelligenceAct,”Article29Europeanunion,"ArtificialIntelligenceAct,"Article57欧盟AI法案解读：要求和实践指南使用潜意识或故意操纵/欺骗手段影响个人或群体的行为，削弱其做出知情决定的能力，导致他们做出原本不会做出的决定，或可能对自己或他人造成重大伤害的AI系统利用个人或群体的弱点(如年龄或残疾)扭曲其行为，可能导致该个人或他人遭受重大伤害的AI系统基于个人的社会行为或个性提供社会评分，导致对个人不利或不利待遇的AI系统通过用户画像预测个人犯罪风险的Al系统从闭路电视或互联网抓取数据以构建面部识别数据库的AI系统旨在检测工作场所或教育机构中个人情绪的AI系统宗教或哲学信仰、性生活或性取向在公共场所用于执法目的的实时生物特征识别AI系统(某些特殊情况除外，如寻找被绑架的受害者、预防对生命的即时威胁等)高风险AI系统欧盟AI法案的很大一部分内容集中在高风险AI系统的义务上。与被禁止的AI系统不同，高风险AI系统在满足一定条件的情况下可以在欧盟市场投放。高风险系统的义务适用于以下情况：10·作为产品安全组件的AI系统·生物特征识别系统当系统不会对个人的健康、安全或基本权利造成重大危害，或不会影响个人的决策时，这些系统不被视为高风险。以下是高风险AI系统提供者的关键义务。风险管理高风险AI系统需要建立风险管理机制。风险管理过程应贯穿AI系统的整个生命周期，并且必须是迭代的，必要时进行更新。图4展示了欧盟AI法案要求的风险管理步骤。风险管理机制还必须考虑任何风险是否会影响18岁以下的人群或其他弱势群体。1110EuropeanUnion,“ArtificialIntelligenceAct,”Article6andAnnexIII11EuropeanUnion,“ArtificialIntelligenceAct,”Article98欧盟AI法案解读：要求和实践指南图4:风险管理步骤识别高风险AI系统可能带来的健康、安全和基本权利方面的系统相关的风险因素。评估可能发生的其他风险，并利用上市后选择适当的风险管理措施来应对已识别的高风险AI系统的设计和测试应验证其合规性，并帮助确定最佳的风险管理措施。这应该是一个迭代过程，因为AI系统可能会发展变化，其使用方式也可能改变，因此验证合规性和重新评估风险管理措施不能是一次性的活动。质量管理体系根据AI法案，高风险AI系统的提供者必须建立质量管理体系，以确保合规。该体系应包括书面政策、程序和指导。具体来说，质量管理体系应涵盖以下内容：12·高风险系统的修改程序·高风险AI系统的设计、开发、质量控制和质量保证的程序和技术·高风险AI系统整个生命周期中的测试和验证程序·数据管理系统和程序·风险管理体系·记录保存系统和流程·明确相关职责和责任的框架12Europeanunion,“ArtificialIntelligenceAct,”Article179欧盟AI法案解读：要求和实践指南数据和数据治理鉴于高质量数据是有效和符合伦理的AI模型的前提，欧盟AI法案对高风险AI系统的数据和数据治理提出了多项要求。数据集应包含准确的信息，潜在的偏差必须尽可能被识别和缓解。这些要求适用于训练数据、验证数据和测试数据。13图5展示了数据质量管理中应考虑的几个方面。数据术语衡量准确性数据是否忠实于原始意图?是否精确?完整性所有必需的数据属性是否都被捕获?覆盖范围所需的数据记录是否可用?符合性数据是否符合所需的标准?统一性数据是否遵循任何内部或外部规定的模式?是否统一?重复性数据记录或属性是否有冗余?关联完整性数据关系(如父级和子级链接)是否准确?及时性数据是否最新并在需要时可用?唯一性数据是否唯一，还是存在重复?来源：ISACA,AppliedDataManagementforprivacy,securityandDigitalTrust,2023虽然保持数据质量非常重要，但欧盟AI法案也强调了需要对数据收集和数据准备处理操作(如标注、标签、清洗、丰富和聚合)进行明确定义和详细记录，这些操作涵盖了数据生命周期的不同阶段。准确性、稳健性和网络安全欧盟AI法案要求高风险AI系统具备准确性、稳健性和网络安全措施。必须采取技术和组织措施以确保系统的韧性。备份、冗余解决方案和故障安全计划可以用来提高系统的稳健性。高风险AI系统在投入使用后不断学习，旨在减少或消除可能影响未来操作的偏差输出风险。这可能包括开源AI系统、利用人类反馈的强化学习系统或使用检索增强生成的系统。应采取缓解措施来解决反馈回路问题。高风险AI系统在投入使用后不断学习，旨在减少或消除可能影响未来操作的偏差输出风险。此外，该法案要求系统具备抵御未经授权的试图改变系统使用、输出或性能的能力。必须有适当的技术解决方案来确保高风险AI系统的网络安全。这应包括防止、检测、响应、解决和控制数据投毒、模型投毒、模型规避和对抗性攻击的措施。1413EuropeanUnion,“ArtificialIntelligenceAct,”Article1014EuropeanUnion,“ArtificialIntelligenceAct,”Article1510欧盟AI法案解读：要求和实践指南技术文档、记录保存和透明度根据欧盟AI法案，高风险AI系统必须在投放市场或投入使用前提供技术文档以证明合规性。15这些技术文档可以帮助解释某些AI系统的黑箱性质，并帮助企业应对AI系统未按预期运行的情况。技术文档·AI系统的描述，例如其预期用途、如何与硬件和软件交互，以及供部署者使用的说明·AI系统各组成部分及其开发过程的详细解释，例如系统的设计、测试和网络安全措施·AI系统所使用数据的详细解释，例如数据要求及其性质、限制或其他因素；使用的训练数据集及其来源、范围和主要特征；数据获取和选择的方法；标签(如监督学习中的标签);数据清洗方法，包括异常值检测除了技术文档外，高风险AI系统在整个生命周期中还必须有自动日志记录。这些记录有助于确保AI系统的可追溯性，并协助上市后监测活动。记录必须包括每次使用的开始和结束日期及时间、输入数据和参考数据库，以及参与结果验证的人员的识别信息。17技术文档和记录保存最终有助于提高高风险AI系统运作的透明度及其影响。欧盟AI法案的一项透明度要求是，提供者必须包括安全使用高风险AI系统的说明。这应包括对人工监督措施的概述、系统可能需要的维护，以及系统的预期使用寿命。技术文档和记录保存最终有助于提高高风险Al系统运作的透明度及其影响。上市后监测鉴于许多AI系统在投放市场后仍会不断演进，因此在部署后对其进行监测至关重要，以确保持续合规。欧盟AI法案要求高风险AI系统的提供者使用上市后监测系统，收集和审查与AI系统性能相关的信息，以便及时发现并采取纠正或预防措施。他们还必须确保有流程报告任何严重事件给相关当局。上市后监测还应考虑高风险AI系统与其他AI系统互动的情况。1815Europeanunion,“ArtificialIntelligenceAct,”Article1116Europeanunion,“ArtificialIntelligenceAct,”AnnexIV17Europeanunion,"ArtificialIntelligenceAct,"Article1218Europeanunion,“ArtificialIntelligenceAct,”Recital155andArticle7211欧盟AI法案解读：要求和实践指南符合性评估符合性评估证明高风险AI系统符合相关法规。这些评估将检查质量管理体系和技术文档。符合性评估是高风险AI系统的强制要求，且在系统进行重大修改后必须重新进行评估。19满足符合性评估要求的高风险AI系统将获得CE标志——物理产品带有物理标志，纯数字产品带有数字标志。获得CE标志的高风险AI系统可以投放到欧盟市场。人工监督考虑到高风险AI系统可能造成的潜在危害，欧盟AI法案要求对这些系统进行人工监督。人工监督的目的是减少因使用高风险AI系统而可能对健康、安全或基本权利造成的风险。所需监督的性质可能因风险程度、系统自主程度和使用环境的不同而有所差异。考虑到高风险AI系统可能造成的潜在危害，欧盟Al法案要求对这些系统进行人工监督。人工监督的目的是减少因使用高风险AI系统而可能对健康、安全或基本权利造成的风险。人工监督应：20·帮助部署者了解高风险AI系统的能力和局限性·提醒注意避免过度依赖高风险AI系统的输出，特别是那些提供信息或决策建议的系统·允许正确解读系统的输出·允许选择忽略、否决或逆转系统的输出·允许人工干预或停止系统的运行AI素养为了最大化AI的价值并最小化潜在的危害，提升AI素养是至关重要的。AI素养指的是有效使用、交互和批判性评估AI系统所需的知识和理解。这包括对AI的基本理解、技术技能、伦理和法律意识、批判性思维和实际应用。AI素养在AI生命周期的所有阶段都是至关重要的。欧盟AI法案要求AI系统的提供者和部署者(无论风险水平如何)确保任何代表他们操作和使用AI系统的人士都具备足够的AI素养。21AI素养最终有助于实现对AI系统的有效人工监督。AI素养指的是有效使用、互动和批判性评估AI系统所需的知识和理解。19EuropeanUnion,“ArtificialIntelligenceAct,”Article43EuropeanUnion,“ArtificialIntelligenceAct,”ArticleEuropeanUnion,"ArtificialIntelligenceAct,"Article412欧盟AI法案解读：要求和实践指南注册在投放市场或投入使用前，高风险系统必须在欧盟高风险AI系统数据库中注册。22该数据库将包含可访问且公开的信息。数据库中的信息必须用户友好且机器可读。报告严重事件欧盟AI法案要求高风险AI系统的提供者在发生严重事件时进行报告。法案定义的严重事件包括：Al系统故障或事件导致人员死亡或健康受损，关键基础设施的重大且不可逆的中断，未能履行保护基本权利的义务，或对财产或环境造成严重损害。统故障或事件导致人员死亡或健康受损，关键基础设施的重大且不可逆的中断，未能履行保护基本权利此类报告应提交给事件发生地的欧盟成员国市场监管机构。必须在知道事件发生后的15天内报告，但根据事件影响的严重程度，报告时间可能更短。事件报告后，提供者必须对事件进行调查，包括进行风险评估，并采取适当的纠正措施。23高风险系统部署者的义务根据欧盟AI法案，部署高风险AI系统、模型或服务的企业有特定的义务。24在选择Al系统提供者时，尽职调查至关重要，因为部署者可能对提供者的不足承担责任。图6概述了高风险AI系统部署者的义务。在选择Al系统提供者时，尽职调查至关重要，因为部署者可能对提供者的不足承担责任。22Europeanunion,“ArtificialIntelligenceAct,”Article49,Article71Europeanunion,“ArtificialIntelligenceAct,”ArticleEuropeanunion,“ArtificialIntelligenceAct,”Article13欧盟AI法案解读：要求和实践指南图6:高风险AI系统部署者的义务使用说明：高风险AI系统的部署者必须按照适用的使用说明来使用这数据保护影响评估：高风险AI系统的部署者可能需要进行数据保护影记录保存：高风险AI系统自动生成的日志应由部署者保存。需要注意14欧盟AI法案解读：要求和实践指南透明度要求欧盟AI法案对某些类型AI系统的提供者和部署者提出了透明度要求。这些要求不仅限于高风险AI系统。AI使用的透明度对于确保人们信任AI至关重要，它还会影响人们与AI的互动方式。根据欧盟AI法案，与AI系统互动的人必须被告知他们正在与AI互动。例如，寻求客户服务支持的人如果被鼓励与聊天机器人交谈，必须被告知他们不是在与真人交谈。AI使用的透明度对于确保人们信任AI至关重要，它还会影响人们与AI的互动方式。此外，创建合成内容的Al系统提供者必须确保输出被标记为人工生成或操纵。提供者需考虑这种标记的技术限制和能力，并了解该领域的最新技术是非常重要的。25对AI生成或操纵的内容进行水印处理可以帮助减轻深度伪造带来的危害，限制错误信息和虚假信息的传播。有限风险AI系统(具有情感识别或生物特征分类功能)的部署者也有透明度要求；这些部署者必须通知受这些系统影响的人们其操作情况。需要注意的是，这类敏感个人数据也可能受其他欧盟法规的约束，通用AI模型欧盟AI法案将通用AI模型定义为能够执行多种不同任务并表现出一般性的AI模型。这些模型通过自我监督、无监督或强化学习，在大量数据上进行训练。通用AI模型可以被细化和修改成新的模型。欧盟AI法案对通用AI模型的提供者提出了许多义务。他们必须创建和维护模型的技术文档，包括训练和测试过程，并将这些信息提供给计划将通用AI模型集成到其AI系统中的AI系统提供者。模型提供者还必须创建一个详细的训练内容摘要，并将这些信息公开展示。26欧盟AI法案还规定了对具有系统性风险的通用AI模型提供者的额外义务。具有系统性风险的通用AI模型是指根据法案中定义的各种指标和基准，具备高影响力能力的模型。27系统性风险是指可能影响公共健康、安全、安保、基本权利或整个社会，并且可以在价值链上大规模传播的风险。由于在模型投放市场并被更多使用后，更容易全面了解其能力，所以被视为具有系统性风险的AI模型的门槛不是一个固定点。因此，提供者可能需要定期重新评估其通用AI模型。2825EuropeanUnion,“ArtificialIntelligenceAct,”Article5026EuropeanUnion,“ArtificialIntelligenceAct,”Article5327EuropeanUnion,“ArtificialIntelligenceAct,”Article5128EuropeanUnion,“ArtificialIntelligenceAct,”Article5515欧盟AI法案解读：要求和实践指南具有系统性风险的通用AI模型提供者必须满足上述所有通用AI模型提供者的义务。此外，提供具有系统性风险的通用AI模型的提供者还必须评估模型并进行对抗性测试，以识别和缓解与之相关的系统性风险；向AI办公室(在欧盟层面设立的机构)报告任何严重事件及其相应的补救措施；并为模型提供充分的网络安全保护。创新考量许多AI应用场景是新的，AI系统的能力也在迅速发展。该法案认识到，其所包含的法规可能会受到批评，认为会抑制创新。为了解决这一问题，法案要求每个成员国创建一个AI监管沙盒，以促进创新，并在这些先进的AI系统投放市场前进行开发、测试和验证。29罚款违反欧盟AI法案的后果根据违规性质而有所不同。对于禁止的AI实践的违规行为，罚款最高可达3500万欧元或公司全球年营业额的7%,取较高者。对于法案其他条款的违规行为，罚款最高可达1500万欧元或全球年营业额的3%,取较高者。对于中小企业，罚款较轻，罚款金额为上述百分比或金额中的较低者。罚款最高可达3500万欧元或公司全球年营业额的7%,取较高者。企业必须根据需要向相关当局提供准确和最新的信息。提供不准确、不完整或误导性的信息将面临最高750万欧元或全球年营业额1%的罚款，取较高者。自然人或法人可以就法案的违规行为向适当的市场监管机构提出投诉。30实践者的下一步欧盟AI法案对企业提出了多项要求。鉴于不合规的严重后果，受影响的企业应立即开始着手合规工作。时间表欧盟AI法案于2024年8月1日生效，大部分条款将于2026年8月2日开始实施。图7显示了AI法案的时间表。3129EuropeanUnion,“ArtificialIntelligenceAct,”Article5730EuropeanUnion,"ArtificialIntelligenceAct,"Article9931EuropeanUnion,“ArtificialIntelligenceAct,”Article11316欧盟AI法案解读：要求和实践指南高风险系统(作为产品安全组件的一部分或受其他欧盟法律法规要求进行第三方符2025年2月2日：2025年8月2日：禁止的实践行为开通用AI模型提供者机械、玩具、医疗器械)始适用的义务开始适用。的义务开始适用。2024年8月1日：2030年12月31日：之前已投放市场或投入使用的大型IT系统中的AI系统必须达到合规要求。2025年5月2日：行为准则应准备就绪，以帮助提供者证明其合规性。2026年8月2日：大多数其他条款开始适用。隐私输入由于隐私法规和AI相关法规有许多相似之处，企业的隐私官员以及法律和合规团队能够判断欧盟AI法案是否适用于该企业，以及如何影响AI的开发和/或部署。如果适用，开发AI的团队应与隐私、法律和合规同事密切合作，了解他们在欧盟AI法案下的义务。法案中的许多要求已经在《通用数据保护条例》(GDPR)中有类似规定，因此企业在风险管理、数据治理、记录保存、准确性与稳健性、人工监督和透明度等方面可以从隐私官员那里获得重要指导。隐私职能部门习惯于处理透明度、伦理、风险评估和问责制等问题，其中信任是关键。此外，AI系统需要数据，包括个人数据，这意味着《通用数据保护条例》将与欧盟AI法案同时适用。另外，个人数据和非个人数据往往难以区分。因此，确保用于AI模型的数据的合法使用是关键。特别是，使用个人数据需要有合法依据(例如，正式同意或其他类型的许可),在这方面，隐私官员将是引导企业遵守欧盟AI法案的关键人物。需要注意的是，定期与关键利益相关者(如采购、风险、业务、安全、人力资源和技术团队)合作是必不可少的，因为执法行动可能会影响AI系统的使用或部署方式。法律和合规团队可以帮助核实外部沟通要求是否得到满足。与用户体验人员合作开发这些通知，可以向消费者提供透明且易于理解的AI使用信息。17欧盟AI法案解读：要求和实践指南即使不受AI法案约束的企业也可以提前实施部分条款，以应对更广泛的全球AI相关立法。32法案中的风险分类方案可以帮助企业对其使用的或创建的AI系统进行风险分类。确保AI系统不会造成伤害，有助于建立更加可信的AI,这是所有企业的值得追求的目标，而不仅仅是受欧盟AI法案约束的企业。AI库存和第三方管理为了符合欧盟AI法案的要求，实践者需确定企业使用的、创建的和部署的AI系统。识别这些系统可以降低影子IT的风险。为了符合欧盟AI法案的要求，实践者需确定企业使用的、创建的和部署的AI系统。识别这些系统可以需要注意的是，并非所有的AI使用都会受到欧盟AI法案的管辖，或者在法案下以相如前所述，一家企业在一个场景中可能是AI提供者，而在另一个场景中则是部署者。无论哪种情况，企业都应确保自己以及与其合作的任何第三方在适当的情况下符合欧盟AI法案的要求。例如，如果营销团比如通过验证AI生成的图像是否有水印。许多企业可能已经对其组织内的AI系统进行了风险评估。重要的是要记住，企业定义的高风险可能与欧盟AI法案的定义不同。受法案约束的企业应进行与法案分类方案一致的风险评估活动。记录AI系统获取和使用流程建立AI系统的获取和适当使用流程非常重要。如果AI已经在使用中，必须采取措施确保其符合要求；企业不应仅基于现有的AI系统和已实施的用例来制定要求。服务水平协议和供应商合同应明确说明AI的使用方式和范围。在每种情况下，都必须考虑AI风险，特别是在采购AI软件或服务时。还必须有书面流程，说明第三方如何通知客户AI相关的事件和中断。无论是否需要遵守欧盟AI法案，企业都应建立全公司的政策，明确何时可以使用AI、何时不能使用AI,以及需要上报处理的情况。为了解决上报事项并确保AI使用的整体性，企业应考虑成立一个AI治理委员会，成员来自企业各个部门，负责监督组织内的AI使用。·信任但验证：鉴于AI系统的运作方式，其输出结果未必总是正确。应验证输出的准确性并检查潜在·考虑现有合规要求：Al系统和模型可能使用个人数据，这意味着适用的隐私法规(如《通用数据保护条例》)将与欧盟AI法案同时适用。·修订现有政策：AI系统可以执行多种任务，但并非所有用例都符合相关法律法规或在企业的风险承受范围内。利用并更新现有的可接受使用政策，或设计新的政策(如果不存在的话)。32ThissituationmaybesimilartowhathappenedwiththeGDPR,wheretheEuropeanUnionseemedtoleadthechargefordataprivacy,followedbymanyothercountries.33isACA,ThepromiseandperiloftheAIRevolution:ManagingRisk,12september2023,/resources/whitepapers/2023/the-promise-and-peril-of-the-ai-revolution18欧盟AI法案解读：要求和实践指南·适应现有的网络安全和隐私政策及项目：在AI系统开发中推广“设计时考虑安全”和“默认隐私”的理念。在与第三方AI提供商合作前，考虑安全性和隐私问题，可以帮助预防后续的网络风险和隐私风险，并有助于满足合规要求。·提高AI素养：培训和教育员工关于AI技术和风险。例如，在某些情况下，为特定岗位提供部门级的AI适当使用培训可能很有价值，如通知人力资源部门，根据欧盟AI法案，他们不得使用AI工具监测员工满意度。·指定AI负责人：应指派专人负责跟踪使用的AI工具及企业对AI的整体方法。AI负责人应与企业内的其他相关人员紧密合作，包括网络安全、隐私、法律、采购、风险和审计人员。·进行成本分析：评估实施AI系统的成本以及这些系统可能带来的成本节约。建立审计和可追溯性：鉴于欧盟AI法案中的透明度和符合性评估要求，企业必须确保了解其创建或使用的任何AI模型的功能。用于训练AI模型的数据源应被理解，以帮助限制操控并减少偏见。审计可以提供关于Al系统如何工作的洞察，帮助企业满足透明度要求。制定AI伦理指南：某些AI使用方式可能被认为不符合企业的伦理标准。例如，利用生成式AI创建客户需付费的内容可能不被允许。企业的AI使用伦理指南必须记录并全公司共享。需要注意的是，随着AI使用的演变以及责任和版权法的变化，这些指南可能需要调整。考虑社会影响：企业使用AI的方式可能对社会产生重大影响。例如，关于失业和岗位转移的担忧是可以理解的。深度伪造也变得极具说服力，人们需要学会识别AI驱动的错误信息和虚假信息。面对这些挑战，企业应考虑其AI使用对社会的广泛影响，例如，考虑如果每个组织都以某种方式使用AI技术，会产生什么影响。结论AI系统提供的益处必须与其带来的风险相平衡。欧盟AI法案的全面风险管理方法可以帮助企业以安全、透明和可信的方式开发和部署AI。即使不受该法案约束的企业也可以将其部分内容作为最佳实践实施，并为其他司法管辖区未来可能出台的立法做好准备。AI系统的能力及其相关法律法规正在迅速发展，AI系统和法律之间存在许多未知数，例如，如果AI系统造成损害，责任如何划分。开发和使用合规且可信的AI是一个持续迭代的过程，而不是一次性的活动。了解AI、其应用方式及其潜在后果对于最大化其价值和减少其危害至关重要。致谢ISACA谨向以下人员表示诚挚谢意：校审专家AIGP,CIPM,CIPP/E,FIP,NYSBCISM,CRISC,CDPSE,AIGP,CCISO,CEH,CIPM,CSSLP董事会成员JohnDeSantis,ChairFormerChairmanandChiefExecutiveOfficer,HyTrust,Inc.,USAChiefInformationSecurityOfficerandDataProtectionOffice