人工智能网络安全实践准则实施指南（中文）

人工智能网络安全实践准则实施指南科学、创新和技术部（DSIT）委托Kainos的高级安全架构师JohnSotiropoulos创建此实施指南。每次迭代都由DSI人工智能（“AI”）的不断部署英国政府的自愿行为准则为各种类型的人工智能系统提供了基线网络安全规定规范（“TS”）104223）中全球本文件将通过提供非详尽的场景以及满足这些规定的实际解决方解决方案来满足联合王国政府《业务守则》中的规定本文件也将提交给ETSI，并用于制定技术规范本文件作为指南，帮助人工智能系统供应链中的利益相关者，特别是开发人员和系统运营商，满足英国政府的ETSITS104223）中为人工智能系统概述的网络开发商、中小企业、慈善机构、地方当局和其他非营利组织。该文件也将有助于计划购买人工智能服务的利益相关者。此旨在支持人工智能网络安全标准的未来发展，包括可以为未来的保证和认证计划提供信息的规范。在相关的地方，本文件以下参考文件可进一步支持本文件所涵盖主题领域的应.ETSITR104222-保护人工智能;缓解策略报告：可在.ETSIGRSAI002-保护人工智能（SAI）;数据供应链安全。可从以下网址获得：.............ETSITRSAI-004-保护人工智能（SAI）;AI模型的可追欧盟人工智能法案-法规（EU）2024/1689：可在：https://eur-lex.europa.eu/el语：可/standard/7429ICO-人工智能：可在.uk/for-organisations/advice-and-services/audits/data-protection-auNCSC机器学习原则：可在.uk/collection/machine-learning-原则NCSC安全人工智能系统开发指南：可在.uk/collection/guidelines-secure-ai-sysCISA联合网络安全信息-部署人工智能系统Secretary：可在/2024/Ap新加坡网络安全局-保护人工智能系统的指导方针：可在.sg/docs/新加坡网络安全局-关于保护人工智能系统的配套指南：请访问.sg/docs/OWASP机器学习安全十大：可在上获得/www-project-machine-learning-sec在制定自愿行为准则时，我们还咨询了ICO，以确保与ICO有关遵守数据保护法的指导一致各种ICO指导也可以在就本文件而言，英国政府的《业务守则》中的条款本文档中未使用任ETSI：欧洲电信标准协会GDPR：一般ISO/IEC：国际标准化组织/国际电工委员会LLM：NIST：国家标准与技术研究所RBAC：基于角色的访问控制对抗性人工智能：描述了利用人工智能系统工作方式中的漏洞的技术和方法，例如，通过引入恶意输入来利用其机器学习方面，并欺骗系统产生不正确或意外的结果。这些技术通常用于对抗性攻击，但不是一种独特的AI系统。对抗性攻击（AdversarialAttack）：试图通过引入特制的输入来操纵AI模型，从而导致模型产生错误或意外结果。自主系统：能够自主发起和执行动作的人工智能系统，通常与其他系统或环境交互以实现其目标。应用程序编程接口（API）：一组工具和协议，允许不同的软件系统进行通信和交互。人工智能（AI）：旨在执行通常需要人类智能的任务的系统，例如决策，语言理解和模式识别。这些系统可以以不同的自主程度运行，并适应其环境或数据以提高性能。物料清单（BOM）：系统中使用的所有组件的综合清单，例如软件依赖项、配置和硬件。数据托管人：参见业务守则中的定义数据中毒：一种对抗性攻击，将恶意数据引入训练数据集中，以损害AI系统的性能或行为。数据保护影响评估（DPIA）：英国GDPR中使用的一种工具，用于评估和减轻与人工智能系统中处理个人数据相关的隐私风险。嵌入：数据的矢量表示（例如，文本、图像），其在数学空间中捕捉它们的语义含义，通常用于提高搜索、聚类和相似性比较的效率。逃避攻击：一种对抗性攻击，对手操纵输入数据，导致AI系统产生不正确或意外的输出，而不改变底层模型。过度代理：人工智能系统有能力做出超出其预期范围的决策或采取行动，可能导致意外后果或滥用的情况可解释性：人工智能系统为其决策过程提供人类可理解的见解的能力。特征选择：选择相关特征（变量）子集用于模型训练的过程，以提高性能，降低复杂性并防止过拟合。生成式AI：基于训练数据生成新内容（如文本、图像或音频）的AI模型例子包括图像合成模型和大型语言模型，如聊天机器人。治理框架：制定政策和程序，以监督人工智能系统的道德，安全和合规使用。护栏：预先定义的约束或规则，用于控制和限制人工智能系统的输出和行为，确保安全性，可靠性，并符合道德或操作准则。幻觉（AI）：AI生成的内容看起来是真实的，但不正确或误导。这在LLM中很普遍，这可能会产生听起来合理但不准确的反应。推理攻击：一种隐私攻击，攻击者通过分析AI模型的输出来检索有关训练数据或用户的敏感信息大型语言模型（LLM一种基于大量文本数据训练的人工智能模型，用于理解和生成类似人类的语言。例子包括聊天机器人和内容生成工具。机器学习（ML）：AI的一个子集，系统通过从数据中学习而不是遵循明确的指令来提高其在任务上的性能。机器学习物料清单（MLBOM）：AI系统的专用BOM，对机器学习解决方案的开发和部署中使用的模型、数据集、参数和训练配置进行编目MLOps（机器学习操作一组实践和工具，用于简化和简化生产环境中机器学习模型的部署、监控和维护模型提取：攻击者通过查询和分析其输出来重新创建或近似专有AI模型，可能会暴露商业秘密或知识产权。ModelInversion：一种隐私攻击，对手通过分析AI模型的输出来推断有关训练数据的敏感信息。多模态模型：处理和集成多种类型数据的AI模型（例如，文本、图像、音频）来执行任务。自然语言处理（NLP）：一种机器学习，以有意义和有用的方式理解，解释和生成人类语言。预测（或判别）AI：一种机器学习，旨在对输入进行分类或根据现有数据进行这些模型专注于识别模式和区分，例如欺诈检测或客户细分。提示：提供给AI模型的输入，通常以文本的形式，指导或引导其响应。提示可以包括问题、说明或所需输出的上下文。提示注入：攻击者通过使用产生意外或有害输出的提示来利用AI模型中的漏洞。检索增强生成（RAG）：一种结合外部知识检索（例如，文档或数据库），并提示生成语言模型以提供准确和最新的响应。强化学习（RL）：一种机器学习方法，其中代理通过与其环境交互并以奖励或惩罚的形式接收反馈来风险评估：识别、分析和缓解对人工智能系统安全或功能的潜在威胁的过程。清理：清理和验证数据或输入的过程，以删除错误，不一致和恶意内容，确保数据的完整性和安全性。软件材料清单（SBOM）：系统中所有软件组件的详细清单，包括开放源代码库、版本和许可证，以确保透明度和安全性。系统提示：一种预定义的输入或一组指令，用于指导AI模型的行为，通常用于定义其音调，规则或操作上下文。威胁建模：在系统设计和开发阶段识别和解决潜在安全威胁的过程。训练：通过将人工智能模型暴露于标记数据并调整其参数以最大限度地减少错误，来教导人工智能模型识别模式，做出决策或生成输出的过程网页内容无障碍指南。作为国际公认标准的一部分，使网络内容更容易为有障碍的人所它们由万维网联盟（W3C）根据其Web无障碍倡议（WAI）开发和维护。本文件的目的是帮助本规范（和拟议的TS104223人工智能供应链利益相关者应遵循本准则中的建议，除非这些建议因人工智能系统使用的模型类型而不具体相关者是否决定开发自己的模型，使用或微调第三方模型（直接或通过API远程）。本文件规定了特定条款在下图强调了这些原则已映射到AI生命周期的各个阶段。重要的是，其中一些原则和规定也与其他了澄清。一个例子是原则9，它包含在“开发”之下，但它对于人工智能系统的“部署”也非常重要为解决以下无遗或具有限制性;可以通过使用其他解决方案或所提供示例的变《守则》根据上述13项原则详细列出各项规定本文档可用于（在实施时）通知测试场景的定义和基于第4节提供了基于利益相关者如何创建和使用人工智能系统的各种场景（如下所述）.聊天机器人应用程序：一个组织通过外部提供商提供的API使用公开可用的LLM来开发供内部和客户使用的聊天机器人。这可能包括：1）大型企业通过API使用公开可用的LLM来创建用于内部和客户交互的聊天机器人，例如回答常见问题或务任务。2）一家小型零售企业开发和使用人工智能聊天机器人来处理在线购物查询，帮助客户进行产品推荐和订单跟医院开发并使用聊天机器人提供一般健康建议和预约安排，确保符合数据隐私要求。4)地方议会开发并使用.ML欺诈检测：一家中型软件公司选择了一个开放访问的分类模型，他们使用额外的数据集进一步训练该模型，以开发和托管欺诈检测系统。该系统旨在仅根据交易数据识别欺诈性金融交易的模式。它明确避免将决策与推断的个人特易背景无关的任何因素该模型的主要重点是识别欺诈模式，不对个人的社会行为进行评估或分类，也不实况不包括对某些自然人或群体的不利或不利待遇，这是不合理的或与其社会行为或其严重第5（1c）条所规定的禁止做法（条例（EU）2024/1689）。.LLM提供商：一家科技公司开发了一种新的多模式LLM，能够理解和生成文本，音频和图像，为开发人员提供商业API.开放获取LLM。一个小组织正在为特定的用访问发布并通过支持协议货币化。2）一家律师事务所使用开放获取法学硕士将其与他们的机密案件结合起来进而能够快速识别相关的法律先例和法规。3）一个农村发展组织，开发本文档中的信息将帮助利益相关者保护最终用户和受影响的实体免受可能导致机密性、完整性或可用性攻击的漏.数据中毒、后门、模型篡改、规避和供应链攻击.隐私攻击，如模型窃取、模型提取、模型反演和推理攻击.个人和特殊类别数据、机密业务信息或系统配置详细信息的.即时注入、过度代理和训练数据提取以及模型拒绝服务这些是最常见的威胁，但威胁将继续演变，新的威胁将出现。有关完整的分类，请人工智能模型和系统也可能被滥用。尽管该领域超出了本文档的范围，但由于人工智能安全支撑着人工智能责任的人工智能，因此存在因此，本指南将有助于降低人工智能模型和系统被第三方滥用的风险。本文件中可能有助于减少人工智能系统的滥用，例如帮助产生错.人力监督机制.访问控制和基于速率的安全.威胁建模.风险评估.记录和监测被禁案件。.监控和记录.速率限制虽然本指南的主要重点是人工智能安全，但负责任人工智能的某些方面，如侵犯版权，偏都包含在本指南的特定章节在人工智能的背景下，这些领域通常源于或加剧了不良的人工智能安全实践;保与隐私和数据保护相关的立法只涵盖了代码的一小部分，因为这些规定涵盖了人工智能生命周期的所有阶段因此，个人数据组织还需要在适当的情况下咨询官方监管指南，以确保合规性，包括ICO（和/或其他相关数据监管机构）发布的数据保护指南。此就本指南而言，“定期”表示由系统的相关风险和操作要求确定的频率这可以从高风险场景的连续、每日本文件未包含有关利益相关者如何验证每项条款符合性的内容，因为我们认识到标准机构有一个独特的流程来创建规范与标准和实施指南并列。我们还认识到，保证和认证部门在这.ETSIGRSAI002-保护人工智能（SAI）;数据供应链安全。.ETSIGRSAI007-保护人工智能（SAI）;AI处理的可解释性和透明度.ETSITR104222-保护人工智能（SAI）;缓解策略报告.ETSITR104032-保护人工智能（SAI）;AI模型的可追溯性.ETSITR104225-保护人工智能TC（SAI）;AI/ML系统的隐私.ETSITR104066-保护人工智能;人工智能的安全测试.ISO/IEC22989：2022信息技术-人工智能-人工智能概念和术语.ISO/IEC42001：2023，信息技术-人工智能-管理系统.ISO/IEC25059：2023，软件工程-系统和软件质量要求和评价（SIEMERE）-人工智能系统的质量模型.ETSITS104050-保护人工智能（SAI）;AI威胁本体论和定义.ISO/IECDIS12792，人工智能系统的透明度分类.ISO/IECJTC1/SC42/WG4，AI系统生命周期过程.ISO/IECDIS27090，解决人工智能系统安全威胁的指南.CEN/CLC/JTCprENXXX（WI=JT021024），AI风险管理.CEN/CLC/JTCprENXXX（WI=JT021008），AI可信度框架原则1：提高对AI安全威胁和风险的规定相关威胁/风险示例措施/控制参考/资源1.1组织的网络安全培训计划应包括人工智能安全内容，并在必要时定期审查和更新，例如出现新的与人工智能相关的重大安全威胁。员工可能不知道独特的AI漏洞，如数据中毒，对抗性攻击或即时注入，使系统暴露于复杂的攻击。这些攻击类型仍在被理解，并在生成AI等领域不断发展，因此培训必须随着知识的发展而不断更新。建立人工智能安全意识培训计划，涵盖基本人工智能概念、威胁、适用法规等。您应该包括有关如何监视威胁以及报告安全问题的升级路径的指导。1.聊天机器人应用程序：关于人工智能概念，个人数据及其监管影响，机密商业信息或系统配置风险，幻觉，过度依赖以及道德使用和安全的培训;培训应至少涵盖ICO和NCSC指南，以及OWASP十大LLM应用程序。2.ML欺诈检测：提供关于AI概念的培训，并使用ICO和NCSC指南以及OWASPAIExchange，以涵盖ML威胁，如中毒，逃避，模型提取，模型反演，推理和供应链攻击。3.LLM平台：提供有关AI概念和威胁的培训，包括中毒，即时注射，安全和数据保护以及ICO，NCSC，指南;涵盖OWASPAIExchange，LLM应用程序的OWASPTop10以及最近关于通用系统风险的报告。4.开放获取LLM模型：关于ICO指南的自我培训，OWASPAIExchangeOWASP十大LLM应用程序和最近关于通用系统风险的报告。.ISO/IEC22989人工智能概念和术语ICO数据保护审计框架ICO：生成式AI-开发人员和用户需要问NCSC机器学习原则，第1部分，1.1提高对ML威胁和风险的认识。OWASPTop10forLLM申请OWASPAIExchange1.1.1人工智能安全培训应根据工作人员的特定角色和职责进行量身定制。如果没有量身定制的人工智能安全培训，员工可能缺乏解决特定角色风险的知识，导致安全措施的无效实施，增加对威胁的脆弱性，以及人工智能系统的潜在滥用或管理不善。特定角色的AI安全培训：提供针对每个员工类别职责的特定角色的AI安全培训1.Chatbot应用程序：培训工程师安全编码和AI特定漏洞（见1.2.2）;针对CISO。包括治理框架，事件响应策略和监管合规性，如ICO和NCSC指南以及OWASPLLM应用程序网络安全和治理清单中所示。对于风险官，涵盖相关框架，如NISTRMF，AI威胁建模和缓解策略;对于IT运营，重点是在生产环境中实施和维护安全控制。2.ML欺诈检测：与ChatbotApp示例类似的方法。3.LLM平台：与ChatbotApp示例类似的方法。4.开放获取LLM模型：与ChatbotApp示例类似的方法。.ICO：我们应该如何评估AI的安全性和数据最小化？.CISA联合网络安全信息-部署人工智能系统.NCSC安全AI系统开发.NISTAIRMF.OWASPLLM应用程序网络安全和治理清单整合AI威胁建模和红色团队的培训。为开发人员和其他技术人员提供针对AI的威胁建模技术和红色团队技术培训.威胁建模备忘单-OWASP.地图集1.聊天机器人应用程序：为开发人员和风险所有者提供培训，培训内容涉及威胁建模，并将OWASPTop10中的威胁和缓解措施纳入LLM应用程序。2.ML欺诈检测：遵循与ChatbotApp示例相同的方法，但使用MITREATLAS和OWASPAIExchange3.LLM平台：提供有关AI概念和威胁的培训，包括中毒，即时注射和数据保护MITREATLAS和OWASPAIExchange;以及生成式读取团队（GRT）方法，包括AIVillageDefcon2024报告4.开放获取LLM模型：团队应该使用前面例子中的材料。生成AI：红色团队挑战透明度报告-AIVillageDefcon2024OWASPAIExchangeOWASPTop10forLLM应用程序。1.2作为组织更广泛的员工培训计划的一部分，它们应要求所有员工保持对与人工智能相关的最新安全威胁和漏洞的认识。如果可行，这种意识应包括建议的缓解措施。人工智能系统面临着不断变化的威胁，没有定期更新这些漏洞的员工可能会在不知不觉中将系统暴露在风险中，例如对抗性攻击或个人数据泄露，这将违反数据保护法规。保持培训意识：定期更新培训材料，提供新的AI威胁示例即时注射、对抗性攻击）和缓解技术。1.聊天机器人应用程序：大型组织应定期（至少每年一次）审查培训材料和注册更新变更的设施。较小的组织可以依靠记录新的重大发展，例如。一个新版本的OWASP十大LLM应用程序，并将其包括在知识共享会议。2.ML欺诈检测：跟踪和培训员工了解新的对抗性攻击模式和数据验证技术或ICO指南，因为它们来自NIST，OWASP和MITREATLAS分类法的更新LLM平台：如ML欺诈检测示例。此外，通过关于AI漏洞的新研究论文更新培训，并分享关于生成AI滥用和相关缓解措施的案例研究开放获取LLM模型：更新培训日志，包括数据记忆和未经授权的数据使用，使用ICO，OWASP和其他人的策划更新，包括研究，以及利用研讨会。.地图集.OWASPTop10forLLM申请.OWASPAIExchangeNIST对抗性1.2.1这些更新应通过多种渠道传达，例如安全公告、新闻稿或内部知识共享平台。这将确保在工作人员中广泛传播和理解。如果不能通过各种渠道通报新的事态发展，可能会导致关键安全信息的传播不均衡，使一些工作人员不了解漏洞、缓解措施或最佳做法，从而增加监督和安全失误的风险定期发布安全更新和公告。1.聊天机器人应用程序：这包括人工智能安全公告，通讯（ICO，NCSC等），或知识共享平台和通信（消息传递渠道）上的消息，以使员工了解最新的AI威胁，漏洞和缓解措施。订阅ICO，OWASP和其他策划的新闻稿和AIFeed，并由团队成员负责跟踪更改。每个人都应该通过团队消息渠道为团队更新做出贡献。尽可能参加会议和活动，并使用免费或低成本的资源，如RSS提要或社区论坛，以获取更新，包括关于新兴AI安全漏洞的新学术论文。MITRE和OWSPslack频道都向公众开放，并提供有关AI安全新闻的优秀信息。2.ML欺诈检测：与以前一样，但自动化人工智能安全新闻和内容的策划数据源3.LLM平台：与以前一样，参加活动和会议，使用知识共享过程和平台传播知识4.开放获取LLM模型：与聊天机器人应用程序一样，包含新的LLM相关研究的自动.ICO新闻.NCSCNewsonAI.OWASP十大LLM应用程序通讯.MITRESlack通道.OWASPSlack邀请1.2.2组织应向开发人员提供针对人工智能开发的安全编码和系统设计技术的培训，重点是预防和减轻人工智能算法、模型和相关软件中的安全漏洞。如果没有安全编码和AI系统设计方面的专业培训，开发人员可能会无意中将漏洞引入AI算法，模型或支持软件，从而增加漏洞利用，数据泄露或系统故障的风险。为工程师提供与AI威胁相关的安全编码培训，并纳入OWASP，NCSC，ETSI缓解策略报告的指导方针。1.聊天机器人应用程序：培训工程师进行安全编码，包括实施输入验证以减轻即时注入。较小的组织可以通过指向指导方针的编码标准并使用代码审查和开发人员指导作为培训来实现这种控制。2.ML欺诈检测：培训开发人员对抗风险和OWASPAIExchange。3.LLM平台：类似于欺诈检测示例，但具有额外的系统设计技术来解决LLM特定的安全风险（例如，模型越狱）。4.开放获取LLM模型：专注于安全编码技术，符合LLM特定威胁和处理敏感培训数据的ICO指南。使用ChatbotApp部分中描述的小型组织方法来解决资源限制问题。.......ETSITR104222-保护人工智能;缓解战略报告用于生成式人工智能和两用基础模型的NIST安全软件开发框架OWASPTop10forLLM申请OWASPAIExchangeOWASP安全编码实践-快速参考指南NCSC安全开发和部署指南。NCSC安全AI系统发展原则2：为安全性、功能性和性能设计您的AI系统规定相关威胁/风险示例措施/控制参考/资源2.1作为决定是否创建人工智能系统的一部分，系统运营商和/或开发人员应进行全面评估，包括确定和记录业务需求和/或问题，正在寻求解决，如果不评估人工智能系统是否需要满足业务需求，系统可能是不必要的或不适合其环境，导致缺乏合规性，不必要进行业务一致性审查：审查和记录人工智能系统的业务需求1.聊天机器人应用程序：如果聊天机器人用于简单的总结或情感分析，请评估特定于任务的算法是否可能比LLM更合适，后者具有额外的复杂性和风险，包括监管风2.ML欺诈检测：当要求决策透明时，使用具有更好解释性的3.LLM平台：审查业务评估，以确保需要高级.ICO：我们需要咨询ICO吗？.ICO数据保护审计框架.ICO：英国GDPR第22条对公平性有什么影.OWASPTop10forLLM申请以及潜在的AI安全风险和缓解策略复杂性、增加的攻击面、意外行为和安全漏洞。4.开放获取LLM模型：在创建专业LLM时，在决定遵循的路线之前，评估复杂性，数据保护和安全风险。微调预构建的LLM更快，更简单，但可能涉及与提供商共享敏感数据，引发隐私问题和风险，如未经授权的访问或合规性问题（例如，英国GDPR）。从头开始构建模型可以提供更好的控制，但可能很复杂，需要强大的内部控制，例如加密存储和访问管理，以保护训练数据。这两种方法都需要仔细评估，以防止数据泄露并确保监管合规执行风险评估：执行并记录AI特定的风险评估，包括数据分类、个人数据的记录风险及其在DPIA中的缓解措施。涵盖预期的数据量、集成类型、模型的复杂性、架构和参数数量。有关这些风险因素的更多信息，请参阅NCSC机器学习原则和NCSC安全AI系统开发指南。1.聊天机器人应用程序：重点评估内部数据的使用及其分类，安全性和滥用，如果聊天机器人提供误导性或不适当的内容，则声誉和法律风险。2.ML欺诈检测：使用标准化的评估模板，如ICO的AI数据保护风险工具包，记录AI风险变量和风险评分。包括其他相关因素，如可解释性和监管影响，然后汇总这些分数以优先考虑模型安全性。咨询财务和监管合规专家，了解行业特定的合规要求，包括PCIDSS和FCA标准，以确保提供指导。确保解决方案符合《欧盟人工智能法》的规定，特别是第5（1c）3.LLM平台：除了使用ICO的AI数据保护风险工具包外，还考虑目标市场的法规，立法和指导方针，并涵盖版权侵犯风险以及最近关于通用系统风险的报告中发现的新风险。4.开放访问LLM：遵循LLM平台示例中的建议，但包括与滥用开源和开放访问组件相关的风险，包括恶意代码、数据泄露以及公共输出的道德/法律责任（例如，偏见或错误信息）。审查与许可合规性、在模型使用或微调期间保护敏感数据以及实施保护措施以防止滥用相关的责任和法律责任（例如，网络钓鱼或错误信息活动）。利用ICO的AI数据保护风险工具包、OWASPAI安全指南和MITREATLAS等工具来构建评估。你的责任........欧盟人工智能法案浏览器ICO数据保护审计框架ICOAI数据保护风险工具包地图集风险管理关于先进人工智能安全性的国际科学报告：中期报告NCSC机器学习OWASPTop10forLLM申请整合风险管理和治理框架：在正式的风险管理框架（RMF）和人工智能治理结构中嵌入人工智能系统评估，以确保在关键组织决策之前进行全面的风险评估，一致的缓解和监控。1.Chatbot应用程序：实施NISTAIRMF，并将其用于评估应用程序，作为框架结构化方法的一部分，包括定义目的和风险目标，风险.NISTAIRMF.NISTAIRMF行动手册.NISTAIRMFCrosswalk文档分类、风险评估、控制选择、实施、监控和审查。扩展现有的组织治理，提供检查清单和指导方针，说明如何审查拟议的人工智能解决方案和标准，以将审查升级为涉及安全、法律、合规和业务部门的高影响力系统或模型的全面风险评估2.ML欺诈检测：查看NISTAIRMF，看看它是否有助于标准化您的风险AI评估，以及如何将其与您组织中的其他GRC流程相3.LLM平台：参见Chatbot应用程序示例。4.开放获取LLM模型：由于团队的规模，这不适用于此示例相反，该团队在其Wiki页面中记录了他们如何执行风险评估。.ICO问责制和治理对AI的.欧洲人工智能联盟：实施人工智能治理：从框架到实践.OWASPAI安全卓越中心2.1.1如果数据托管人是开发人员组织的一部分，则在确定人工智能系统的要求和数据需求时，应将其在讨论人工智能系统要求和数据需求时，如果不包括数据托管人，可能会导致不遵守数据治理政策、不适当的数据使用或对敏感数据的保护措施不足，从而增加数据泄露或违反监管规定的风险确保与数据托管人的协作在设计和开发阶段定义数据要求，以确定法规遵从性要求。确保数据托管人能够平衡来自人工智能系统的数据的额外风险，以及预期的缓解措施和业务需求。1.Chatbot应用程序：将数据治理清单作为设计讨论的安排与数据托管人、开发人员和安全人员的研讨会，以确保在数据需求、合规要求和数据访问影响方面保持2.ML欺诈检测：在使用个人数据时，包括数据托管人审查和功能签核;解释如何使用数据，记忆、提取和推断等风险，以及保护使用的选项。3.LLM平台：与内部治理流程保持一致，让数据托管人参与定义数据使用并确保合规性。4.开放获取LLM模型：定义谁是您团队中的数据保管人，并让他们与团队的其他成员一起执行和记录作为设计过程的一部分进行审查的DPIA。审查ICO指南，以确保代理数据托管人以合规的方式履行其职责。.ICO的AI数据保护工具包.NISTAIRMF.NISTAIRMF行动手册2.2开发人员和系统运营商应确保人工智能系统的设计和实施能够抵御对抗性人工智能攻击，意外输入和人工智能系统故障。组织可能并不总是能够成功地防止违规行为，因此深入防御需要假设和处理某种程度的妥协，如果没有记录，将违反数据隐私法规。应用安全设计原则：通过进行威胁建模，将安全性集成到AI系统的设计阶段。威胁建模涵盖了传统的网络威胁和可能由设计选择引入的AI特定威胁。在系统设计控制中纳入标准化安全控制，以减轻风险。记录设计阶段使用的每个标准化控制，并确保其与特定测试用例集成，以验证其在系统测试期间的有效性。确保监控控制以及事件响应记录在系统设计中。1.聊天机器人应用程序：使用威胁建模来识别聊天机器人应用程序特有的风险;应用一般应用程序安全控制以及与OWASPTop10forLLM相关的控制应用程序，例如实现输入验证以防止对其使用的LLM进行即时注入攻击.....CISA联合网络安全信息-部署人工智能系统CSA人工智能系统安全指南，第2.2.1节规划和设计。地图集MITREATTCKNCSC安全设计原则2.ML欺诈检测：除了应用程序安全控制之外，还可以在设计中加入相关的预测对抗性AI攻击控制，例如中毒，逃避，模型提取和其他隐私攻击。使用OWASPAI交换作为您的威胁和控制参考。3.LLM平台：使用MITREATTCK和ATLAS对模型开发和操作进行威胁建模，解决来自对抗性AI攻击的威胁，特别是与LLM相关的威胁，例如中毒和安全措施，以防止越狱，数据提取和不安全使用。审查面向客户的API，并将其纳入使用场景的威胁建模中。4.开放获取LLM模型：在LLM提供者示例中使用类似的方法，重点关注培训，但也关注其他人如何使用该模型以及它需要采取的保护措施。遵循轻量级的威胁建模方法作为设计的一部分，并使用MITREATLAS或OWASPAIExchange作为威胁，控件库。.NCSC机器学习NCSC安全AI系统开发指.OWASPAIExchange2.3为了支持AI系统的数据准备、安全审计和事件响应过程，开发人员应记录并创建与AI系统相关的审计跟踪。这应包括模型、数据集和系统提示的操作和生命周期管理。缺乏审计跟踪可能导致无法追踪的更改或未经授权的调整，使事件响应、取证调查和法规遵从性变得复杂。ML操作（MLOPs）和系统更改的自动审计跟踪：为与模型训练、数据集更改、提示和参数调整相关的所有关键操作实施自动日志记录。对于具有法规遵从性要求的关键系统，请使用WORM（一次写入、多次读取）存储来存储日志，以确保它们保持防篡改并可供审计访问。1.Chatbot应用程序：使用版本控制系统来系统提示并提示所有相关文档的更改如果模型提供者的API用于微调，请确保记录训练和测试数据集。对于RAG工作流，跟踪生成的嵌入，记录有关检索数据的元数据（例如，查询术语、文档ID），并维护检索中使用的较小参考数据集的版本化快照，以确保可追溯性和再现性。2.ML欺诈检测：在云平台中使用MLOps平台或MLOps功能，通过跟踪模型、提示和其他实验的所有更改来使用数据生命周期管理工具来实现类似的数据集版本控制，存储有关用于训练或测试系统的数据的详细信息。3.LLM平台：使用ML欺诈检测示例中描述的相同方法。4.开放访问LLM模型：使用开源工具来跟踪和自动化工作流程，例如版本化数据集、模型配置以及通过API进行的更改，作为您的一部分常规工作流程。.CSA人工智能系统安全指南，第2.2.1节规划和设计。.：MLOps原则.NCSC机器学习原则，第1部分，安全设计。.NCSC安全人工智能系统开发指南，安全设计。.OWASPAIExchange2.4如果开发人员或系统运营商使用外部组件，他们应进行AI安全风险评估和尽职调查流程，与现有的第三方组件通过外部供应商的安全实践中这可能不是为了外部组件的安全尽职调查：在使用组件（包括外部模型）之前，强制执行风险评估过程，包括来源、已知风险以及使用个人数据时的DPIA。通过在内部标准中强制规定组件只能由受信任和批准的来源获取，记录来源、版本、许可、历史和其他相关工件（例如，模型的模型卡保护出处;使用校验和验证完整性.ETSIGRSAI002-数据供应链安全.网络安全供应链风险管理软件开发流程，评估AI特定风险。和你的标准一样。这包括操作系统和库、容器映像、编程包以及模型和数据集。大型模型包含通用功能，您需要努力确保您关心的特定风险得到缓解或管理。1.Chatbot应用程序：查看包括已知漏洞在内的文档，并对应用程序和平台包运行自动漏洞扫描;查阅已发布的文档和基准测试，或对聊天机器人使用的LLM模型运行您自己的漏洞扫描如果您使用嵌入模型来生成嵌入作为RAG的一部分，而不是API，那么在您的工作中包括嵌入模型2.ML欺诈检测：与Chatbot应用程序示例相同，但对第三方基础模型进行了额外的调查查阅模型文档并使用工具扫描漏洞，如序列化攻击。将批准的模型和组件存储在内部存储库中，确保它们是生产中唯一使用的。为外部组件设置更改警报或安全通知。3.LLM平台：类似于欺诈检测示例，但包括您可能正在使用的欺诈模型例如，较小的模型可以为RAG用例提供嵌入API，并在微调中为RLHF和RLFAI提供RL模型。外部数据集至关重要，需要对版权、隐私、偏见和道德风险进行评估。4.开放访问LLM模型：自动扫描您使用的组件和模型（微调的基础，测试RAG的辅助工具，RLHF和RLFAI场景的RL），并确保它们来自可信来源。审查仅来自信誉良好的来源的外部数据集，并使用自动化工具来检测偏见，个人数据和版权问题。.NCSC供应链安全指南.OWASPAIExchange.OWASP十大LLM应用程序-LLM03供应链漏洞2.5数据托管人应确保系统的预期用途与其所培训数据的敏感性以及旨在确保数据安全的控制措施相适应人工智能系统的预期用途与其训练数据的敏感性之间的不一致可能导致不适当的数据暴露，不充分的安全控制和监管违规，从而导致潜在的数据泄露和滥用个人数据或其他机密信息。信息.确保数据托管人保证：要求数据托管人审查系统的预期用途和数据安全控制，以确保合规性，并平衡这些风险与业务需求。1.聊天机器人应用程序：与数据保管员一起审查聊天机器人用例，访问和使用策略，并确保它们与DPIA保持一致。2.ML欺诈检测：与Chatbot应用程序相同，但包括用于训练、数据记忆、反转和推理风险的数据，以及英国GDPR第22条对自动欺诈检测的影响3.LLM平台：类似于欺诈检测的例子，不需要第22条，但将数据托管人审查与治理相结合，并由包括法律和数据保护专家在内的多学科委员会4.开放访问LLM模型：确保代理数据保管员与团队的其他成员一起审查设计和计划，并确保其符合DPIA，并且您有足够的控制措施，通过培训数据提取和即时注入攻击来减轻个人数据泄漏.ICO：英国GDPR指导和资源.ICO：英国GDPR第22条对公平性有什么影.NCSC：保护大量个人数据.欧盟委员会的GDPR合规ISO/IEC27001：信息安全管理体系2.5.1组织应确保鼓励员工主动报告和识别人工智能中的任何潜在安全风险系统和确保缺乏对人工智能系统安全风险的主动报告和识别可能会导致未被发现的漏洞，增加支持主动报告安全风险。为员工报告人工智能系统中的潜在安全风险建立一个清晰、可访问的流程，通过提供培训、沟通渠道、透明处理和对报告问题的认可，鼓励积极主动的风险识别1.聊天机器人应用程序：专门针对聊天机器人相关风险开发事件报告模板（例如，敏感数据泄漏或不适当的响应）。使用协作工具（例如，建立专门的风险报告渠道。.ICO：报告流程.ICO：违约识别、评估和记录有适当的安全漏洞、数据泄露或滥用人工智能的可能性，可能会带来重大的运营、财务和声誉后果。2.ML欺诈检测：培训员工识别潜在风险，例如欺诈检测或误报/漏报中的偏见提供一个匿名报告机制，以解决问题，并包括如何解决已确定的风险的后续行动。3.LLM平台：为员工创建一个集中的风险注册表，以记录对API滥用，数据暴露或意外系统输出的担忧定期更新已识别风险的管理和缓解情况。4.开放获取LLM模型：为团队成员和外部贡献者提供一个清单，以记录团队工作管理板中的风险作为工作的一部分，审查报告的.NCSC-发展积极的网络安全文化.NCSC应对网络事件-CEO指南2.6如果人工智能系统将与其他系统或数据源（无论是内部还是外部）进行交互，开发人员和系统运营商应确保仅在功能需要时提供其他系统上授予人工智能系统的权限，并进行风险评估。“代理系统”具有巨大的潜力和兴趣，人工智能系统可以决定和执行自己的行动，通常通过与其他系统的集成。然而，由于AI系统可能采取的行动并不完全可预测，并且可能受到攻击者的胁迫，因此在提供AI系统将使用的帐户或其他访问时必须非常如果不能可靠地做到这一点，可能会导致未经授权的访问、数据泄露和权限升对AI系统访问的数据和系统的最低权限访问在使用组件之前，强制执行风险确保评估涵盖所有可能的模型状态，而不仅仅是设计或预期的状态。1.Chatbot应用程序：如果应用程序使用外部服务来丰富LLM输入或驱动系统（例如预订系统），则为集成端点实施数据最小化和粒度最小特权访问策略。检查如果以错误的顺序或出于非预期的目的使用所建议的集成会发生什么。根据OWASPTop10forLLM应用程序中定义的过度代理进行审查，并考虑列出所有建议的集成及其权限，并询问安全专家如果给予这些权限和集成，他们可能会对组织造成什么伤害2.ML欺诈检测：审查和测试所使用的数据输入（包括数据预处理和丰富），并确保仅使用所需的数据。如果模型输出（预测）用于驱动下游服务（例如自动化流程则评估副作用。3.LLM平台：如果系统允许添加额外的功能，如插件或连接到其他工具（例如，日历应用程序、API或电子邮件服务），测试这些功能如何协同工作并检查风险。例如，确保系统在有人使用这些额外功能时不会产生有害4.开放获取LLM模式：小型组织遵循与LLM提供商类似的方法......ICO：评估AI中的安全性和数据最小化。MITREATLAS：权限提升NCSC-安全地使用云平台-应用访问控制NCSC零信任架构设计原则NISTAIRMFOWASP十大LLM应用程序：过度机构2.7如果开发人员或系统运营商选择与外部供应商合作，他们应承担尽职调查与外部供应商合作增加外部提供商的安全审查验证外部提供商对外部提供商的业务守则的实施情况1.Chatbot应用程序：要求您的云、LLM和其他提供商提供CoP合规性证据DSIT：人工智能网络安全实践守则评估，并应确保供应商遵守本业务守则。漏洞，如缺乏法规遵从性，不安全的系统或不适当的响应协议，这可能会危及整个系统的安全性。2.ML欺诈检测：要求您的云或其他服务提供商提供遵守CoP的证据3.LLM平台：遵循与ML欺诈检测示例相同的方法。4.开放访问LLM模型：要求云和其他服务提供商提供遵守CoP的证据;如果没有具体的CoP遵守文档，请查看提供商文档以确定遵守情况，并在wiki页面中记录您的发现。原则3：评估威胁并管理AI系统的风险规定相关威胁/风险示例措施/控制参考/资源3.1开发人员和系统运营商应分析威胁并管理其系统的安全风险。威胁建模应包括定期审查和更新，并解决AI特定的攻击，如数据中毒，模型反转和成员推理。人工智能系统面临着独特的威胁，如数据中毒、模型反转和成员推断攻击，这些都是传统威胁模型无法解释的。新的威胁将会出现，需要将其纳入威胁建模和风险管理。执行威胁建模，包括人工智能威胁：应用威胁建模，捕捉对利益相关者的潜在影响，包括人工智能和传统网络攻击。详细记录每个已识别的威胁，概述对AI模型和更广泛系统的潜在影响的可能性和严重性，并使用标准化的OWASP或MITRE控件列出缓解措施。OWASPAIExchange或MITREATLAS都提供了两种类型攻击的威胁分类和相关缓解措ICO关于人工智能和安全的指导对于遵守法规非常有用。1.Chatbot应用程序：为应用程序映射威胁和数据流，重点关注传统和LLM威胁。包括所选模型或组件的未使用功能例如，如果一个多模态模型只用于语言，那么如果有人通过给它图像来进行攻击或滥用，那么就对风险进行建模。2.ML欺诈检测：包括推理系统和开发环境，以涵盖中毒，模型篡改，序列化攻击以及运行时攻击，如逃避，提取，反转和推理。3.LLM平台：遵循欺诈检测中描述的方法，但重点关注生成AI风险，如过度依赖，越狱LLM及其安全，道德，社会和监管后果。4.开放获取LLM模型：小型组织执行与先前LLM平台示例相同类型的建模.......ICO：评估AI中的安全性和数据最小化。NISTAIRMF-AIRMF核心-地图NCSC风险管理-威胁建模威胁建模过程地图集OWASPTop10forLLM申请OWASPAIExchange3.1.1应进行威胁建模和风险管理流程，以解决新的设置或配置选项在AI期间实施或更新设置或配置时未能进行威胁建模生命周期可能导致针对配置更改进行威胁建模描述：每当实施或更新设置或配置时，都要执行威胁建模1.聊天机器人应用程序：当启用或修改用户反馈选项时，评估潜在风险，例如通过输入字段的注入攻击，并实施输入验证和消毒等缓解措施。.NIST-以数据为中心的系统威胁建模指南.NCSC-用于安全目的在AI生命周期的任何阶段实现或更新未缓解的安全漏洞，如配置错误或意外的攻击媒介，增加了利用和系统危害的风险。2.ML欺诈检测：当特征选择或检测阈值发生变化时，或者部署了新的地理位置风险表时，评估对抗性规避攻击等风险制定保障措施，如监控异常模式和对配置进行压力测试。3.LLM平台：在更改用户身份验证设置时，评估未经授权访问的威胁，并实施速率限制，锁定和增强日志记录等缓解措施。4.开放访问LLM模型：当修改模型的配置以允许社区贡献或插件时，评估和减轻风险，例如引入恶意代码或意外功能。.OWASPTop10forAPI-API4：2019缺乏资源速率限制.OWASP威胁建模实践3.1.2开发人员应管理与提供多余功能的AI模型相关的安全风险，其中增加的功能会导致风险增加例如，在使用多模态模型但仅单一模态用于系统功能的情况下。允许人工智能模型保留系统目的不需要的多余功能可能会带来不必要的安全风险，例如扩大攻击面、增加漏洞利用以及潜在滥用未使用功能，从而损害系统的整体安全。限制超级功能：将AI模型功能限制为对系统目的至关重要的功能，1.聊天机器人应用程序：如果聊天机器人是为基于文本的客户支持而实现的，请使用护栏或API阻止来禁用或限制对未使用的多模式功能的任何访问，例如语音转文本或文本转语音功能，以防止意外的交互或漏洞。2.ML欺诈检测：如果系统只分析交易数据，请删除或禁用不必要的模型功能，例如图像处理或基于位置的预测，以最大限度地降低风险和复杂性。只有在充分了解安全性影响的情况下，才启用高级功能，例如使用RL算法探索复杂空间。3.LLM平台：为文本提供不同的API，包括多模式输入等高级功能（例如，图像处理）的应用仅使用文本。提供文本到语音场景中的特定语音，而不是允许语音克隆。4.开放获取LLM模式：由于重点是法律咨询和合同谈判，因此实施安全措施以禁用通用或其他用途。向用户提供轻量级文档，说明这些限制的基本原理和安全优.NCSC安全设计原则.OWASPAI十大API安全风险-2023年.OWASP十大LLM应用程序：过度机构.为大型语言模型将威胁建模与人工智能治理相集成：在人工智能生命周期的关键阶段，要求完成威胁模型的1.Chatbot应用程序：制定治理政策，强制在每次重大系统部署之前对威胁模型进行正式审查，包括利益相关者和影响评估使用标准符号（例如STRIDE或PASTA）提供标准化威胁建模模板，并在MITREATLAS或OWASPAIExchange中找到AI威胁。2.ML欺诈检测：引入对威胁模型的需求，作为部署批准的一部分。3.LLM平台：与聊天机器人应用程序一样，在批准之前增加了正式4.开放获取LLM模型：这不适用于小型组织;相反，通过在免费的图表工具中使用可重用的标准化模板来促进威胁模型。.OWASP威胁建模行动手册.NISTAIRMF-AIRMF核心.NCSC风险管理-网络安全风险管理框架3.1.3系统运营商应根据一系列考虑因素，包括与其企业风险承受能力相符的实施成本，对通过分析确定的当在人工智能特定风险（如数据中毒或模型滥用）的背景下没有明确定义风险容忍度时，这可能会导致控制措施优先级不充分，从而导致违规、运营中断或不道德的决策-制定人工智能风险控制的优先级框架使用人工智能特定的风险评分系统，根据威胁的影响、发生的可能性以及与组织风险承受能力的一致性，确定缓解和控制的优先级。这应该考虑到监管风险，包括数据保护，并涵盖人工智能特有的漏洞，如对抗性操纵、模型漂移和偏见。1.Chatbot应用程序：当应用程序用于招聘时，间接提示注入和偏差被评为高，但当用于总结内部文件时，间接提示注入和偏差被评为2.ML欺诈检测：中毒后门和逃避攻击优先级为高，以避免代价高昂的欺诈交易。3.LLM平台：通用模型的AI风险被提升为高，包括可能导致法律责任的版权侵犯4.开放获取LLM模型：遵循与LMM平台示例类似的方法。.NISTAIRMF行动手册.NISTAIRMF，使用案例，用于交通标志识别的自动驾驶汽车风险3.2如果识别出开发人员无法解决的AI安全威胁，则应将其传达给系统运营商，以便他们可以对其系统进行威胁建模。系统操作员应将此信息传达给最终用户，以便他们了解这些威胁。这种沟通应包括风险、潜在影响和建议的详细描述。采取行动应对或监测这些威胁。如果不就未解决的风险进行明确的沟通，系统运营商和最终用户可能缺乏意识，从而限制了他们有效应用保障措施的能力。记录和传达已识别的未解决风险：确保清晰的记录并及时向所有相关利益相关者传达任何未解决的威胁。1.聊天机器人应用程序：如果应用程序执行文档摘要，则应用程序可能容易受到间接提示注入。确保系统操作员了解，以便他们可以引入缓解措施，如PDF检查和审查。2.ML欺诈检测：通知系统运营商对可疑模式的输入进行实时监控3.LLM平台：记录已知风险的公共API文档以及如何减轻这些风险。4.开放获取LLM模型：告知模型用户潜在的风险，如模型滥用，以产生有偏见或有害的输出，并记录推荐的保障措施，如使用指南或实施内容审核机制。.NISTAIRMF行动手册.NISTAIRMF，使用案例，用于交通标志识别的自动驾驶汽车风险3.3如果外部实体对组织基础设施内识别的AI安全风险负有责任，系统运营商应确保这些风险在没有充分验证的情况下依赖第三方可能会使人工智能系统暴露于未受管理的漏洞。为第三方进行特定于AI的安全评估确保第三方组件和供应商接受专门针对AI相关风险的安全评估，1.Chatbot应用程序：模型提供商要求提供解决特定AI风险的保证2.ML欺诈检测：需要类似于ChatbotApp示例的保证，但来自外部数据提供商，以确保负责和安全地.ISO9001-在供应链中意味着什么？.NCSC供应链安全指南.NCSC云安全指南-选择云提供商缔约方有能力应对这些风险。3.LLM平台：请参阅ML欺诈检测示例。4.开放获取LLM模型：通过关注关键的外部依赖关系来实现轻量级方法例如，向任何外部提供者请求一份简单的自我评估清单（例如，云托管，预训练模型或API），以确保它们解决基本的AI风险，如数据隐私，模型完整性和遵守安全标准。限制对复杂的外部集成的依赖，以减少潜在的漏洞。.世界经济论坛：负责任地采用人工智能私营部门采购人工智能解决方案的指导方针行业：洞察报告3.4开发人员和系统运营商应根据风险偏好持续监控和审查其系统基础设施。重要的是要认识到，尽管应用了控制措施来减轻风险，但人工智能系统仍将存在更高的风险剩余风险可能会被恶意行为者利用，特别是当不断变化的威胁引入新的漏洞或放大现有漏洞时，可能会导致潜在的漏洞、中断或AI完整性受损。建立持续的人工智能风险监控控制：实施人工智能发展的定期审查流程，以确定新出现的漏洞、改进的缓解技术或人工智能模型的进步是否需要更新风险评估控制。1.聊天机器人应用程序：威胁情报源报告说，即时注入攻击，包括使用表情包绕过安全措施等先进技术，突然在黑客社区中流行起来。由于网站和应用程序面临着对这些漏洞的广泛探测，该组织通过开发和部署内部护栏来检测和阻止此类攻击来降低风险2.ML欺诈检测：用于欺诈检测的第三方模型的更新版本3.LLM平台：一份新的政府报告强调了与音频生成相关的风险，例如语音克隆绕过语音认证系统的潜力作为回应，该平台开发了新的保障措施，以防止滥用其音频生成功能。4.开放访问LLM模型：对一份新研究论文的回顾展示了一种新的攻击向量到越狱模型，需要开发额外的安全功能。.MITREAI风险数据库.NISTSP800-137.联邦信息系统和组织的信息安全持续监控.NCSC预警.NCSC-威胁情报原则4：让人类对AI系统负责规定相关威胁/风险示例措施/控制参考/资源4.1在设计人工智能系统时，开发人员和/或系统运营商应整合并维护能够实现人类监督的功能。如果没有内置的人类监督，人工智能系统将生成难以解释、验证或推翻的错误输出或决策，从而增加数据保护合规性的风险，产生意外后果，实现人类监督机制：控制：实现允许人类操作员轻松解释、验证和处理AI输出的功能，包括手动释放和覆盖。确保设计符合英国GDPR第22条中关于自动决策的义务，并鼓励有意义的人类决策，而不是被动接受AI建议。1.聊天机器人应用程序：对于允许聊天机器人采取自主行动的新功能，例如安排约会或订购办公用品，由于其影响低至中等，因此已应用覆盖控制来取消约会或订单。相比之下，向客户提供个性化套餐的功能具有很高的声誉和法律风险，因此已通过操作员审查和批准界面实施手动发布控制。.ICOAI审计框架工具包-人类审查.ICO关于人工智能和数据保护的指导-英国GDPR第22条对公平性有什么影响？.CSA关于保护AI系统的配套指南，第2.2.4节操作和维护滥用或有害影响2.ML欺诈检测：实施SHAP（SHapley加法解释）或LIME（本地可解释模型不可知解释）等解释技术，使运营商能够了解每个决策背后的关键因素，并在必要时进行干预，以符合英国GDPR第22条，该条授予个人不受仅基于自动处理的决定的影响的权利，这些自动处理会产生与他们有关的法律效力或对他们产生重大影响。3.LLM平台：包含一个功能，允许人类主持人在发布之前审查4.开放获取LLM模型：为用户提供工具来标记和报告不适当或有害的AI生成的内容，促进人工监督和持续改进模型的输出。.NISTIR8312：四个可解释的人工智能.NCSC机器学习原理NCSC安全AI系统开发、安全操作和维护指南。测量和验证人类监督决策的准确性：定期测试和测量人类监督决策的准确性，验证操作员是否能够正确解释AI输出并采取行动，并确定需要改进的领域。不仅要评估个人表现，还要评估系统如何支持人类的理解和参与，以促进操作员和人工智能之间有效的社会技术沟通。1.聊天机器人应用程序：对于聊天机器人应用程序的招聘版本，定期审查人工智能自动标记为不适合评估人类操作员是否识别操作员行为中的误解或偏见模式，并使用这些见解来完善培训、决策指南或AI的推荐标准。2.ML欺诈检测：测试人工审核人员是否准确验证标记的交易，确保他们能够有效区分真正的欺诈案例和误报。3.LLM平台：评估运营商如何识别和纠正平台生成的有偏见或4.开放获取LLM模型：这是一个很好的有一个小组织，在这种情况公司可以进行实验以评估模型响应和来自操作员的关于如何如上所述进行改进的反馈.ICOAI审计框架工具包-人类审查.ICO：解释用AI做出的.NISTIR8312：四个可解释的人工智能4.2开发人员应该设计系统，使人类能够轻松评估他们在所述系统中负责的输出（例如通过确保模型输出是可解释或可解释如果没有清晰和易用性，用户可能无法有效地进行监督，从而导致故障和伤害。开发用户友好的人类责任UI：实现UI，清晰地显示输出，决策原理和日志，以便人类操作员轻松评估输出并了解其责任。确保系统的设计鼓励人类进行严格的评估，而不是让他们简单地点击批准按钮。1.聊天机器人应用程序：随着聊天机器人扩展到涵盖新的案例，对现有使用情况的研究将在UX库中进行分析和整合，以实现监督和人类责任功能的一致实施2.ML欺诈检测：包括一个仪表板，显示标记的交易，并解释模型的决策因素，为审查提供清晰的界面。ICO：解释用AI做出的NISTIR8312：四个可解释的商业智能.LLM中置信度评分的多重校准3.LLM平台：审查可解释性审查，并为API请求提供Web界面，4.开放获取LLM模型：提供一个API，可以选择接收对法律查询的回复从理解到使用：大型语言模型4.3如果人为监督是一种风险控制，开发人员和/或系统运营商应设计、开发、验证和维护技术措施，以通过此类监督降低风无效的监督技术措施可能会通过过度负担或未能充分支持人类审查人员而损害风险降低工作。实施监督控制的验证和执行设计和实施技术措施，提供护栏，以帮助人类审查人员理解，解释和处理AI输出。1.聊天机器人应用程序：对于可以做出自动分类决策的聊天机器人，为人类评论者提供聊天机器人分类决策的推理摘要（例如，关键用户输入），并允许他们在升级之前调整或推翻决策。2.ML欺诈检测：为审查人员提供按风险级别优先排序的标记交易，并附有可解释的见解（例如，影响欺诈评分的关键特征3.LLM平台：集成基于API的护栏，自动标记包含敏感信息或潜在偏见的AI生成的内容，提供评分作为人类评审员的4.开放获取LLM模型：使用额外的安全功能训练模型，以应用AI安全措施，例如对抗性鲁棒性检查，以及潜在误导或有害输出的警告机制。这些措施可能包括应用置信度阈值、记录标记的输出以及确保模型响应与合规策略一致。.ICOAI审计框架工具包-人类审查.为大型语言模型4.4开发人员应验证数据托管人指定的安全控制是否已内置到系统中。如果不对数据托管控制进行验证，系统可能缺乏必要的数据保护和治理措施，从而可能导致安全漏洞或不符合监管规定。进行保管员验证验证数据保管员指定的所有控制措施是否已正确实施，并通过测试验证有效性以及是否符合数据保护要求和指南。1.Chatbot应用程序：通过实施自动数据清除机制并进行定期审计以确认合规性，确保数据保留策略符合数据托管人的规范2.ML欺诈检测：确认数据托管人指定的数据匿名控制措施3.LLM平台：通过执行渗透测试和安全评估，确认LLM平台API端点的访问控制和加密协议符合数据托管人的要求4.开放访问LLM模型：通过审查数据收集流程并进行合规性检查，验证模型的培训数据是否符合数据托管人关于数据来源和同意的指南.ICO：审计.ICO：审计，人工智能审计4.5开发人员和系统运营商应使最终用户了解人工智能系统的禁止用例。如果没有关于禁止使用的明确沟通，用户可能会无意中记录和培训用户禁用用例：明确定义和记录AI系统的禁用用例，确保最终用户了解限制和约束。使用威胁建模来识别并告知用户所有已知的有害状态和未缓解的风险。.ICO问责制和治理对AI的滥用人工智能系统，导致法律、道德或运营风险。1.聊天机器人应用程序：在应用程序的文档摘要使用中，在每次对话和在线文档开始时引导用户不要上传机密内部文档，并解释数据记忆和泄漏的风险。2.ML欺诈检测：威胁建模已经确定，人工智能可能会被滥用，在未经同意的情况下监控一个人的消费习惯。记录并告知操作员，禁止将系统用于不合规相关的监督。提供有关道德界限的培训，并执行合规审计，以确保正确使用。3.LLM平台：在API的使用策略和TC中记录禁止的用例。4.开放获取LLM模型：威胁建模强调，开放获取LLM可以进行微调或部署，以产生错误信息或操纵公众舆论。在许可条款和文档中明确说明使用模型进行错误信息活动或恶意自动化（例如，网络钓鱼诈骗）是严格的严禁监控被禁止的用例：实施控制以主动监控、检测和防止被禁止的用例。1.聊天机器人应用程序：实施护栏，以检测和阻止使用个人数据，并通过额外的自动化测试和定期日志审计提供支持。2.ML欺诈检测：实施对未经授权访问模式的监控或触发升级警报的分析3.LLM平台：使用微调来添加阻止禁止用例的安全措施，API护栏来检测和防止误用，活动监控，并输出水印来检测禁止情况下的误用。4.开放访问LLM模型：Finetune实施安全措施以检测和阻止禁止的使用，并通过水印模型输出来识别钓鱼攻击中的误用。.ETSITR104032-保护人工智能（SAI）;AI模型的可追溯性-5.3水印.NISTAIRMF行动手册.OWASPTop10forLLM申请.OWASPAIExchange.为大型语言模型.OWASP-LLM和生成式AI安全解决方案前景原则5：识别、跟踪和保护您的资产规定相关威胁/风险示例措施/控制参考/资源5.1开发人员、数据托管人和系统运营商应维护其资产的全面清单（包括其如果没有对人工智能资产及其依赖关系的清晰理解，组织可能无法提供保护冒着暴露建立AI资产清单：创建并维护一个集中式清单，记录所有AI资产，包括数据集、模型、软件依赖关系、硬件资源和系统配置。1.聊天机器人应用程序：记录为不同用例、训练数据集、软件库和使用的API定制的所有聊天机器人版本。包括用于RAG和/或嵌入生成的组件.NCSC机器学习原则，2.3管理模型和数据集的整个生命周期.NCSC安全AI系统相互依赖性/连通他们的人工智能系统面临未经授权的访问、数据泄露以及外部攻击的脆弱性。2.ML欺诈检测：使用所有正在使用的AI模型的详细注册表，列出模型版本，源，用于训练的数据集，以及进行的任何更新或再培训这包括在模型的开发或运行中使用的软件库。作为可选的保障措施，使用脚本和扫描工具生成MLBOM作为机器可读的库存列表3.LLM平台：使用与欺诈检测示例中相同的方法。4.开放访问LLM模型：使用与欺诈检测示例中相同的方法。发展，安全发展。CSA人工智能系统安全指南，第2.2.2节开发，项目2.35.2作为更广泛的软件安全实践的一部分，开发人员，数据托管人和系统运营商应拥有流程和工具来跟踪，验证，管理版本控制，并保护其资产，因为AI特定资产的复杂性增加。如果没有安全的跟踪、版本控制和身份验证，人工智能系统可能容易受到未经授权的更改、数据完整性问题和版本冲突的影响，从而影响可靠性和安全性。这一点因Gen.AI工具和模型的快速变化而加剧。实施AI资产跟踪使用版本控制和MLOps系统来管理和跟踪AI资产的更改，包括模型、数据集和相关软件组件，确保透明度和回滚能力。1.ChatbotApp：使用Git跟踪会话流和训练数据集的更改使用内部软件包存储库镜像用于组件。2.ML欺诈检测：版本控制可以跟踪训练数据更新，捕获修改以确保可追溯性和数据完整性，而模型注册表也类似地用于模型。组件使用内部软件包存储库镜像。3.LLM平台：实施欺诈检测示例中描述的相同跟踪，并根据CISA联合网络安全信息-部署AI系统安全建议，使用单独的专用飞地将供应商保存模型权重保存在受保护和隔离的存储中4.开放访问LLM模型：实现模型注册表和脚本，以记录版本化的训练数据集，模型权重和配置文件。使用基于哈希的验证来检测对公共共享资产的未经授权的修改保护包依赖关系文件（例如，requirements.txt），并为每个版本保留一个软件包副本。参见“建立人工智能资产清单”中的参考资料对资产进行身份验证、授权和记录访问实施严格的访问控制和身份验证协议，将资产修改限制在仅记录任何访问的授权人员。1.Chatbot应用程序：RAG中使用的系统提示、提示模板、数据集和2.ML欺诈检测：使用RBAC以及通过API和CI管道限制对训练数据集和模型的访问，并对关键资产进行适当的批准。对敏感数据集的所有访问事件都将被记录，并针对未经授权的用户的访问尝试或异常访问模式触发警报当模型或数据在流程外更新时触发警报。3.LLM平台：请参阅此控件的欺诈检测示例。4.开放访问LLM模型：请参阅此控制的欺诈检测示例。5.3系统运营商应制定和定制其灾难恢复计划，以应对针对人工智能系统的特定攻击。如果没有量身定制的灾难恢复，人工智能系统可能会对数据中毒或大型语言模型（LLM）武器化等事件毫无准备，从而使组织容易受到长时间中断的影响，导致数据泄漏，拒绝服务或模型性能受损。保持可靠的已知良好状态可能具有挑战性，特别是对于不断学习的模型或频繁更新的系统，这增加了丢失的风险。数据完整性将AI特定的威胁场景纳入恢复计划：更新灾难恢复计划以解决AI特定的风险，包括对抗性攻击、数据中毒和模型漂移，并确保为快速恢复做好准备。1.聊天机器人应用程序：包括一个恢复计划，以解决对抗性攻击，例如通过维护回退机制暂时禁用自动响应，同时恢复完整性，提示注入以损害聊天机器人响应。2.ML欺诈检测：为数据中毒事件制定恢复计划，包括手动备份过程以维持操作，直到恢复具有可靠检测和对抗鲁棒性的测试模型检查点。3.LLM平台：与欺诈检测类似的方法;考虑通过使用备份基础设施（“高可用性”）或占位符来快速部署经过测试的模型版本，以确保4.开放访问LLM模型：如果发现中毒或其他可利用的AI漏洞，决定如何回滚到模型或数据的以前健康自动执行还原备份的过程以加快恢复速度。.CISA，JCDC，政府和行业合作伙伴进行AI桌面演习5.3.1系统操作员应确保可恢复已知的良好状态。