OWASP LLM人工智能网络安全与治理清单（中文版）

LLM人工智能网络安全与来自OWASP的前10名LLM应用团队版本：1.0修订历史记录描述0.12023-11-01桑迪邓恩0.52023-12-060.92023-02-152024-02-19SD，团队公开发布v1.0所有资料仅供一般参考。此文档包含到其他第三方网站的链接。这样的链接只是为了方便，OWASP不推荐或认可第三方网站的内容。 51.1负责任和值得信赖的人工智能 61.2这是给谁做的？ 71.3为什么要列清单？ 71.4不全面 71.5大型语言模型的挑战 7.61LLM威胁类别 81.7人工智能安全和隐私培训 91.8将LLM的安全和治理与现有的、已建立的实践和控制相结合。91.9基本安全原则 91.10风险 101.11脆弱性和缓解性分类法 102确定LLM策略 112.1部署策略 133检查表 143.1对抗性风险 14.23威胁建模 14.33人工智能资产库存 143.4人工智能安全和隐私培训 153.5建立业务案例 153.6治理 163.7法律 17.83监管 183.9使用或实现大型语言模型解决方案 193.10测试、评估、验证和验证（TEVV） 193.11模型卡和风险卡 203.12RAG：大型语言模型优化 213.13AI红色团队 214资源 22一个团队 32概述每一个互联网用户和公司都应该为即将到来的强大的生成式人工智能（GenAI）应用程序浪潮做好准备。GenAI在各种行业的创新、效率和商业成功方面有着巨大的前景。尽管如此，就像任何强大的早期技术一样，它也带来了一系列明显而意想不到的挑战。人工智能在过去的50年里取得了巨大的进步，在ChatGPT的公开亮相推动了大型语言模型（LLMs）的开发和使用之前，它并不显著地支持了各种企业流程。最初，这些技术仅限于学术研究或在公司内执行某些但至关重要的活动，只有少数人能看到。然而，最近在数据可用性、计算机能力、GenAI能力方面的进展，以及美洲羊驼2、高级实验室和中途实验室等工具的发布，已经使人工智能从一个利基市场成为普遍的广泛接受度。这些改进不仅使GenAI技术更容易获得，而且还强调了企业迫切需要制定坚实的战略来整合和开发人工智能，这意味着我们在使用技术方面向前迈出了一大步。•人工智能（AI）是一个广泛的术语，涵盖了计算机科学的所有领域，使机器能够完成通常需要人类智能的任务。机器学习和生成式人工智能是人工智能的两个子类。•机器学习是人工智能的一个子集，它专注于创建可以从数据中学习的算法。机器学习算法在一组数据上进行训练，然后它们可以利用这些数据对新数据做出预测或决定。•生成式人工智能是一种专注于创建新数据的机器学习类型。•大型语言模型（LLM）是一种处理和生成类人文本的人工智能模型。在人工智能的背景下，“模型”指的是一个经过训练后根据输入数据进行预测的系统。llm是专门在自然语言的大数据集和名称大语言模型上进行训练的。组织正在确保和监督GenAI解决方案方面进入未知的领域。GenAI的快速发展也为对手增强其攻击战略打开了大门，引入了防御和威胁升级的双重挑战。企业在许多领域使用人工智能，包括人力资源用于招聘、电子邮件垃圾邮件筛选、SIEM用于行为分析,以及管理检测和响应应用程序。然而，本文档的主要重点是大型语言模型应用程序及其在创建生成内容时的功能。随着人工智能的挑战和好处的出现——以及法规和法律的通过——负责任和值得信赖的人工智能使用的原则和支柱正在从理想主义的对象和关注发展到既定的标准。OWASP人工智能交换工作组正在监测这些变化，并解决针对人工智能的各个方面的更广泛、更具挑战性的考虑。图1.1：图像描述了值得信赖的人工智能的支柱OWASPLLM应用网络安全和治理十大清单是针对行政、技术、网络安全、隐私、合规和法律领域的领导者、DevSecOps、MLSecOps、网络安全团队和安全捍卫者。它的目标是那些努力在快速发展的人工智能世界中保持领先地位的人，不仅是利用人工智能实现企业的成功，而且是防止仓促或不安全的人工智能实现的风险。这些领导者和团队必须创造策略来抓住机会、应对挑战和降低风险。该清单旨在帮助这些技术和业务领袖快速理解使用LLM的风险和好处，允许他们在开发大型语言模型策略时，专注于开发保护和保护组织所需的关键领域和任务的全面列表。LLM应用团队的OWASP前10名希望这个列表将帮助组织改进他们现有的防御技术，并开发技术来解决使用这一令人兴奋的技术带来的新威胁。用于制定策略的检查表可以提高准确性，定义目标，保持一致性，并促进重点集中的慎重工作，减少疏忽和遗漏的细节。遵循检查清单不仅增加了在安全采用过程中的信任，而且还通过提供一个简单而有效的持续改进策略来鼓励未来组织的创新。虽然本文件旨在支持各组织在快速变化的技术、法律和监管环境中制定最初的LLM战略，但它并不是详尽无遗的，也没有涵盖所有的用例或义务。在使用本文件时，组织应根据其用例或管辖权的要求将评估和做法超出所提供的清单的范围。大型语言模型面临着几个严重而独特的问题。其中最重要的一点是，在使用llm时，控制平面和数据平面不能严格隔离或可分离。另一个重要的挑战是，llm在设计上是不确定性的，在提示或请求时产生不同的结果。llm采用语义搜索而不是关键字搜索。两者之间的关键区别是，模型的算法在其响应中对术语进行了优先排序。这与消费者以前使用技术的方式有重大不同，并对研究结果的一致性和可靠性有影响。该方法的结果是，从模型所训练的数据中的差距和训练缺陷中出现的幻觉。有一些方法可以提高可靠性，减少越狱、模型欺骗和幻觉的攻击表面，但在成本和功能上，限制和效用之间存在权衡。LLM的使用和LLM的应用程序增加了组织的攻击面。相关的一些风险使用llm是独一无二的，但也有许多是熟悉的问题，如已知的软件材料清单（SBoM）、供应链、数据丢失保护（DLP）和授权访问。与GenAI没有直接关系的风险也被增加了，但GenAI提高了攻击和威胁组织的攻击者的效率、能力和有效性。对手正越来越多地利用LLM和生成式人工智能工具来改进和加快攻击组织、个人和政府系统的传统方法。LLM促进了他们增强技术的能力，使他们能够毫不费力地制造新的恶意软件，可能嵌入新的零日漏洞或设计来逃避检测。它们还可以生成复杂的、独特的、或量身定制的网络钓鱼方案。令人信服的深度造假作品的创造，无论是视频还是音频，都进一步促进了他们的社会工程策略。此外，这些工具使他们能够执行入侵和开发创新的黑客能力。在未来，犯罪行为者对人工智能技术的更多“量身定制”和复合使用将需要为组织适当的防御和恢复能力提供具体的反应和专门的解决方案。组织还面临着不利用llm能力的威胁，如竞争劣势、客户和合作伙伴的市场感知过时、无法扩大个性化通信规模、创新停滞、运营效率低下、流程中人为错误的风险较高以及人力资源分配效率低下。理解不同类型的威胁并将它们与业务策略集成，将有助于权衡使用大型语言模型（llm）和不使用它们的利弊，以确保它们加速而不是阻碍业务实现业务目标。图1.2：描述人工智能威胁类型的图像整个组织的员工都受益于理解人工智能、生成式人工智能以及构建、购买或使用llm的未来潜在后果的培训。允许使用和安全意识的培训应针对所有员工，并针对某些职位更专业，如人力资源、法律、开发人员、数据团队和安全团队。合理使用政策和健康的互动是关键方面，如果从一开始就纳入，将成为未来人工智能网络安全意识运动成功的基石。这将必然为用户提供交互的基本规则的知识，以及将良好行为与不良或不道德行为分开的能力。虽然人工智能和生成的人工智能为网络安全、弹性、隐私以及满足法律和监管要求，增加了一个新的维度，但已经存在了很长一段时间的最佳实践仍然是识别问题、发现漏洞、修复它们和减轻潜在安全问题的最佳方法。•确认人工智能系统的管理与现有的组织实践相结合。•确认AIML系统遵循现有的隐私、治理和安全实践，并在需要时实现特定于人工智能的隐私、治理和安全实践。LLM功能引入了一种不同类型的攻击面和攻击面。llm很容易受到复杂的业务逻辑错误的影响，如提示注入、不安全的插件设计和远程代码执行。现有的最佳实践是解决这些问题的最佳方法。了解安全软件审查、架构、数据治理和第三方评估的内部产品安全团队网络安全团队还应该检查当前控制的强度,以发现LLM可能导致更严重的问题，如语音克隆、模拟或绕过验证码。鉴于最近在机器学习、NLP(自然语言处理）、NLU（自然语言理解）、深度学习以及最近的llm（大型语言模型）和生成型人工智能方面的进展，建议包括精通这些领域的专业人员以及网络安全和开发团队。它们的专业知识不仅有助于采用这些技术，而且有助于开发创新分析和应对新出现的挑战。参考风险使用ISO31000的定义：风险=“不确定性对目标的影响”。清单中的LLM风险包括针对LLM风险列表，涉及对抗、安全、法律、监管、声誉、财务和竞争风险。目前用于进行漏洞分类和共享威胁信息的系统，如OVAL、STIX、CVE和CWE，仍在发展监控和提醒防御者关于特定于大型语言模型（llm）和预测模型的漏洞和威胁的能力。当对AI/ML系统及其供应链的漏洞或威胁被识别时，预计组织将依赖这些已建立和公认的标准，如用于漏洞分类的CVE和用于网络威胁情报（CTI）交换的STIX。确定LLM策略大型语言模型（LLM）应用程序的快速扩展提高了对业务操作中使用的所有AI/ML系统的关注和检查，包括生成AI和长期建立的预测AI/ML系统。这种增加的关注暴露了潜在的风险，比如攻击者攻击以前被忽视的系统，以及在法律、隐私、责任或保证问题方面可能被忽视的治理或法律挑战。对于任何在运营中利用AI/ML系统的组织来说，评估和建立全面的政策、治理、安全协议、隐私措施和问责标准都至关重要，以确保这些技术安全、道德地与业务流程一致。攻击者，或对手，向企业、人民和政府机构提供最直接和最有害的威胁。他们的目标，从经济利益到间谍活动，促使他们窃取关键信息，破坏行动，破坏信心。此外，他们利用人工智能和机器学习等新技术的能力提高了攻击的速度和复杂性，使得防御系统很难保持在攻击的前面。对许多组织来说，最紧迫的非对手LLM威胁来自“影子AI”：员工使用未经批准的在线人工智能工具、不安全的浏览器插件，以及通过更新或升级引入LLM功能的第三方应用程序，绕过了标准的软件审批程序。图2.1：针对部署策略的选项的图像其范围从利用公共消费者应用程序到对私有数据训练专有模型。用例敏感性、所需功能和可用资源等因素有助于确定方便与方便之间的正确平衡。统治然而，理解这五种模型类型为评估选项提供了一个框架。图2.2：针对部署类型的选项的映像检查表对抗性风险包括竞争对手和攻击者。□仔细研究了竞争对手是如何投资于人工智能的。尽管采用人工智能存在风险，但也有商业利益，可能会影响未来的市场地位。□调查当前控制的影响，如密码重置，它使用语音识别，可能不再提供适当的防御安全，从新的GenAI增强攻击。□将更新GenAI增强型攻击和AIML特定事件的事件响应计划和剧本。强烈建议使用威胁建模来识别威胁和检查过程和安全防御。威胁建模是一组系统的、可重复的过程，它能够为应用程序、软件和系统做出合理的安全决策。对GenAI加速攻击和在部署llm之前进行威胁建模是识别和减轻风险、保护数据、保护隐私以及确保业务内安全、兼容的集成的最经济有效的方法。□攻击者如何加速对组织、员工、高管或用户的攻击攻击？组织应该使用生成式人工智能来预测大规模的“超个性化”攻击。llm辅助的矛钓鱼攻击现在指数更有效，有针对性，和武器攻击。□如何使用GenAI通过欺骗或GenAI生成的内容来攻击企业的客户或客户？□业务是否可以检测和中和对LLM解决方案的有害或恶意输入或查询？□业务是否可以在所有LLM信任边界上通过安全集成来维护与现有系统和数据库的连接？□业务是否有缓解内部威胁，以防止授权用户滥用？□该业务是否可以防止未经授权的访问专有模型或数据，以保护知识产权？□该业务是否可以通过自动的内容过滤来防止产生有害的或不适当的内容？人工智能资产清单应同时适用于内部开发和外部或第三方开发的解决方案。□目录包括现有的AI服务、工具和所有者。在资产管理中为特定的库存指定一个标签。□在软件材料清单（SBOM）中包括AI组件，这是一个与应用程序相关的所有软件组件、依赖项和元数据的全面列表。□目录AI数据源和数据的敏感性（受保护、机密、公开）□确定是否需要对已部署的人工智能解决方案进行笔式测试或红色组合，以确定当前的攻击面风险。□创建一个AI解决方案的入职流程。□根据SBoM的要求，确保内部或外部都有熟练的IT管理人员。□积极与员工接触，了解并解决LLM计划中的问题。□建立一种开放、透明的沟通文化，关于组织在组织流程、系统、员工管理和支持以及客户参与中使用预测性或生成式人工智能，以及如何管理、管理和解决风险。□对所有用户进行道德、责任和法律问题的培训，如保证、许可和版权。□更新安全意识培训，以包括与GenAI相关的威胁。语音克隆和图像克隆，以及预期增加的鱼叉式网络钓鱼攻击□任何采用的GenAI解决方案都应该包括对部署管道的devop和网络安全的培训，以确保人工智能的安全和安全保证。可靠的业务案例对于确定任何拟议的人工智能解决方案的业务价值、平衡风险和收益以及评估和测试投资回报至关重要。有大量的潜在用例；本文提供了几个例子。□增强客户体验□具有更好的操作效率□更好的知识管理□增强创新□市场研究和竞争对手分析□文档的创建、翻译、总结和分析LLM中的公司治理需要为组织提供透明度和问责制。识别潜在熟悉该技术或业务选定用例的人工智能平台或流程所有者不仅是必要的，而且是必要的，以确保足够的反应速度，以防止对建立良好的企业数字流程造成附带损害。□建立组织的AIRACI图表（谁负责，谁负责，应该咨询谁，应该通知谁）□记录并分配组织内的AI风险、风险评估和治理责任。□建立关于数据分类和使用限制的数据管理策略，包括技术强制执行。模型应该只利用为系统中任何用户的最低访问级别而分类的数据。例如，更新数据保护策略，强调不将受保护或机密数据输入到非业务管理的工具中。□创建一个由既定政策支持的AI政策(e。g.,良好行为、数据保护、软件使用的标准)□为各种生成式人工智能工具发布一个可接受的使用矩阵，供员工使用。□记录组织从生成的LLM模型中使用的任何数据的来源和管理。人工智能的许多法律影响都是不明确的，而且可能代价非常高昂。IT、安全和法律合作伙伴关系对于识别差距和解决模糊的决策至关重要。□确认产品开发流程中明确产品保修，指定谁负责AI的产品保修。□审查和更新任何GenAI考虑因素的现有条款和条件。□审查AIEULA协议。GenAI平台的终端用户许可协议在处理用户提示、输出权利和所有权、数据隐私、遵从性、责任、隐私以及如何使用输出的限制方面有很大的不同。□组织为客户提供的EULA，修改最终用户协议，以防止该组织通过人工智能生成的内容承担与剽窃、偏见传播或侵犯知识产权相关的责任。□回顾了用于代码开发的现有ai辅助工具。如果使用聊天机器人为产品生成代码，那么聊天机器人编写代码的能力可能会威胁到公司对其产品的所有权。例如，它可能会对生成内容的状态和保护以及谁拥有使用生成内容的权利提出质疑。□审查对知识产权造成的任何风险。如果在生成过程中使用不当获取的数据，聊天机器人生成的知识产权可能会受到威胁，而在生成过程中受到版权、商标或专利保护。如果人工智能产品使用侵权材料，就会给人工智能的输出带来风险，这可能导致知识产权侵权。□审查任何带有赔偿条款的合同。赔偿条款试图将导致责任的事件的责任推给有更多过错的人或最有机会阻止它的人。建立护栏，以确定人工智能的提供者或其用户造成了事件，从而导致责任。□审查由人工智能系统造成的潜在伤害和财产损失的责任。□审查保险范围。传统的（D&O）责任险和商业一般责任险可能不足以充分保护人工智能的使用。□确定任何版权问题。版权需要拥有人类的作者身份。如果LLM工具被滥用，一个组织还可能对剽窃、偏见的传播或知识产权侵权承担责任。□确保为承包商达成协议，并在任何开发或提供的服务中适当使用人工智能。□限制或禁止员工或承包商使用生成式人工智能工具，或涉及知识产权侵犯。用于员工管理或招聘的□评估和人工智能解决方案可能会导致不同的治疗索赔或不同的影响索赔。□确保AI解决方案未经适当同意或授权，不会收集或共享敏感信息。《欧盟人工智能法案》预计将成为第一个全面的人工智能法案，但最早将于2025年适用。EUs通用数据保护条例（GDPR）并没有专门针对人工智能，但包括了数据收集、数据安全、公平性和透明度、准确性和可靠性以及问责制等规则，这些规则可能会影响GenAI的使用。在美国，人工智能法规被纳入了更广泛的消费者隐私法。美国已有10个州通过或有将到2023年底生效的法律。联邦组织，如美国平等就业机会委员会（EEOC）、消费者金融保护局（CFPB）、联邦贸易委员会（FTC)和美国司法部民权司（DOJ），正在密切关注招聘的公平性。□确定国家、州或其他政府特定的AI合规要求。□确定了限制对员工和与就业相关的自动化决策系统的电子监控的合规要求（佛蒙特州、加利福尼亚州、马里兰州、纽约州、新泽西州）□确定面部识别和人工智能视频分析的符合性要求（伊利诺斯州、马里兰州、华盛顿州、佛蒙特州)□审查任何正在使用或被考虑为员工招聘或管理而使用的人工智能工具。□确认供应商遵守适用的人工智能法律和最佳实践。□在招聘过程中询问并记录任何使用人工智能的产品。询问模型是如何训练的，是如何监控的，并跟踪以避免歧视和偏见。□询问并记录包括哪些住宿选项。□询问并记录供应商是否收集机密数据。□询问供应商或工具如何存储和删除数据，并管理面部识别和视频分析工具的使用。□审查可能提出合规问题的其他特定于组织的法规要求。例如，1974年的《雇员退休收入保障法》就对聊天机器人可能无法满足的退休计划提出了受托责任要求。□威胁模型LLM组件和体系结构信任边界。□数据安全，验证数据是如何基于敏感性进行分类和保护的，包括个人和专有业务数据。（如何管理用户权限，以及有哪些保障措施？）□访问控制，实施最小特权访问控制和实施深度防御措施□培训管道安全，需要对训练数据治理、管道、模型和算法进行严格的控制。□输入和输出安全性，评估输入验证方法，以及如何过滤、消毒和批准输出。□监控和响应、映射工作流、监控和响应，以理解自动化、日志记录和审计。确认审计记录是安全□包括应用程序测试、源代码审查、漏洞评估和生产发布过程中的红色团队合作。□检查LLM模型或供应链中的现有漏洞。□研究威胁和攻击对LLM解决方案的影响，如及时注入、敏感信息的释放和过程操作。□调查攻击和威胁对LLM模型的影响，包括模型中毒、不正确的数据处理、供应链攻击和模型盗窃。□供应链安全，要求第三方审计，渗透测试，和代码审查的第三方供应商。（最初和持续）□基础设施安全，询问供应商执行弹性测试的频率如何？它们的sla在可用性、可伸缩性和性能方面是什么？□更新事件响应剧本，并在桌面练习中包括一个LLM事件。□识别或扩展指标，以将生成式网络安全人工智能与其他方法为基准，以衡量预期的生产力提高。NISTAI框架建议在整个人工智能生命周期中进行持续的TEVV过程，其中包括人工智能系统操作员、领域专家、人工智能设计人员、用户、产品开发人员、评估人员和审计人员。TEVV包括一系列的任务，如系统验证、集成、测试、重新校准，以及持续监测定期更新，以导航人工智能系统的风险和变化。□在整个AI模型的生命周期中建立持续的测试、评估、验证和验证。□提供关于人工智能模型功能、安全性、可靠性和健壮性的定期执行指标和更新。模型卡和风险卡是增加大型语言模型（llm）的透明度、问责性和道德部署的基本要素。模型卡通过提供有关人工智能设计、能力和约束的标准化文档，帮助用户理解和信任人工智能系统，使他们进行良好和安全的应用程序。风险卡通过公开解决潜在的负面后果，如偏见、隐私问题和安全漏洞来补充这一点，这鼓励人们采取积极主动的方法来预防危害。这些文件对于开发者、用户、监管机构和伦理学家同样至关重要，因为它们建立了一种协作氛围，在此氛围中，人工智能的社会影响会被仔细地处理和处理。这些卡片由创建模型的组织开发和维护，在确保人工智能技术满足伦理道德标准和法律要求方面发挥了重要作用，允许在人工智能生态系统中进行负责任的研究和部署。模型卡包括与ML模型相关联的关键属性：•模型细节：关于模型的基本信息，i。e.,名称、版本和类型（神经网络、决策树等），以及预期的用例。•模型体系结构：包括对模型结构的描述，如图层的数量和类型、激活函数和其他关键的体系结构选择。•训练数据和方法：关于用于训练模型的数据的信息，如数据集的大小、数据源，以及所使用的任何预处理或数据增强技术。它还包括关于训练方法的细节，如优化器使用的，损失函数，以及任何被调整的超参数。•性能指标：关于模型在各种指标上的性能的信息，如准确性、精度、召回率和F1分数。它还可能包括关于模型如何在数据的不同子集上执行的信息。•潜在的偏差和限制：列出模型的潜在偏差或限制，如不平衡的训练数据、过拟合，或模型预测中的偏差。它还可能包括关于模型限制的信息，例如它概括到新数据的能力或它对某些用例的适用•负责任的人工智能考虑：与模型相关的任何道德或负责任的人工智能考虑，如隐私问题、公平性和透明度，或模型使用的潜在社会影响。它还可能包括对进一步测试、验证或监控模型的建议。模型卡中包含的精确特征可能会根据模型的上下文和预期用途而有所不同，但其目的是在机器学习模型的创建和部署中提供开放性和问责性。□查看一个模型中的模型卡如果有，□审查风险卡□建立一个流程来跟踪和维护任何已部署的模型的模型卡，包括通过第三方使用的模型。微调是优化预训练模型的传统方法，涉及到对新的、特定于领域的数据对现有模型进行再训练，修改它以提高任务或应用程序的性能。微调成本昂贵，但对提高性能至关重要。检索-增强生成（RAG）已经发展为一种更有效的方法，通过从最新的知识来源中检索相关数据来优化和增强大型语言模型的能力。RAG可以针对特定的领域进行定制，优化特定领域信息的检索，并根据专门领域的细微差别定制生成过程。RAG被认为是LLM优化的一种更有效和更透明的方法，特别是对于那些标记数据收集成本有限或成本昂贵的问题。RAG的主要优点之一是它支持持续学习，因为新的信息可以在检索阶段不断更新。RAG实现涉及到几个关键步骤，从嵌入模型部署、索引知识库，到检索与查询处理最相关的文档。基于向量数据库，实现了相关上下文的有效检索存储和查询文档嵌入。RAG参考□检索增强一代（RAG）和LLM：例子□12RAG的痛点和建议的解决方案fAI红色团队是AI系统的一个对抗性攻击测试模拟，以验证是否存在任何现有的漏洞，可以被攻击者利用。这是包括拜登政府在内的许多监管机构和人工智能管理机构推荐的做法。红色团队合作本身并不是一个验证与人工智能系统相关的所有现实世界危害的全面解决方案，应该包括在其他形式的测试、评估、验证和验证中，如算法影响评估和外部审计。□将红队测试作为人工智能模型和应用程序的标准实践。OWASP大型语言模型应用十大应用图4。1:用于大型语言模型应用程序的OWASP前十名的图像OWASP十大大型语言模型应用程序的可视化应用图4.2：大型语言模型应用OWASPTop10图像使用LLM解决方案的OWASP资源扩展了组织的攻击面，并提出了新的挑战，需要特殊的战术和防御。它还提出了类似于已知问题的问题，并且已经建立了网络安全程序和缓解措施。将LLM网络安全与组织已建立的网络安全控制、流程和程序相结合，可以使组织减少其对威胁的脆弱性。它们如何相互集成可以在OWASP集成标准中获得。描述为什么推荐它和在哪里使用它奥瓦斯普萨姆软件保证成熟度模型提供了一个有效的和分析和改进组织的安全开发生命周期的可测量的方法。SAMM支持完整的软件生命周期。它是交互性和风险驱动的，使组织能够识别安全软件开发中的差距并确定优先排序，以便在改进影响最大的地方投入改进流程的资源。OWASPAI安全和隐私指南OWASP项目的目标是连接全球范围内的人工智能安全交流，促进标准对齐，并推动协作。OWASP人工智能安全和隐私指南是一个最重要的人工智能安全和隐私考虑因素的全面清单。它将成为开发人员、安全研究人员和安全顾问的综合资源，以验证人工智能系统的安全性和隐私性。OWASP人工智能交换OWASPAI交换是OWASPAI安全和隐私指南的获取方法。人工智能交换是OWASP用于驱动OWASP人工智能安全和隐私指南方向的主要接收方法。描述为什么推荐它和在哪里使用它奥瓦斯普学习奥瓦斯普学习前10名机器安全机器安全奥瓦斯普机器安全机器学习系统的十大安全OWASP的机器学习安全前10名是一个由社区驱动的努力，以一种安全专家和数据科学家都易于理解的格式来收集和呈现机器学习系统中最重要的安全问题。该项目包括MLTop10，是一个实时工作文档，为设计、创建、测试和采购安全和隐私保护的人工智能系统提供了清晰和可操作的见解。它是最好的OWASP资源吗人工智能的全球监管和隐私信息。OpenCREOpenCRE（通用需求枚举)是一个交互式内容链接平台，用于将安全标准和指导方针统一到一个概述中。标准您可以按标准名称或控制类型进行搜索。一个结构化的、正式的威胁过程建模应用的一个程序了解关于威胁建模的一切，它是对影响应用程序安全性的所有信息的结构化表示。OWASP循环DXOWASPCycloneDX是一个全堆栈的账单材料（BOM）标准，提供先进的供应链能力，以降低网络风险。使用第三方和开源组件。它们以复杂而独特的方式粘合在一起，并与原始代码集成，以实现所需的功能。SBOM提供了所有组件的准确清单,使组织能够识别风险，允许提高透明度，并支持快速影响分析。EO14028为联邦系统提供了SBOM的最低要求。描述为什么推荐它和在哪里使用它OWASP软件组件验证标准(SCVS）以社区为驱动的努力，建立一个识别活动、控制和最佳实践的框架，可以帮助识别和减少软件供应链中的风险。使用SCVS开发一套共同的活动、控制和最佳实践，可以降低软件供应链中的风险，并确定成熟软件供应链警惕的基线和路径。OWASPAPI安全项目API安全技术侧重于需要理解的策略和解决方案独一无减轻漏洞、安二全风险、应用程序编程接口（API）为了保护用户和组织，必须要连接应用程序，并减轻错误配置或漏洞。用于安全测试和测试构建环境和生产环境。OWASP安应用程序验应用程序验安全标针对web应用程序的安全要求、安全全证证准测试和指标的烹饪书。用于建立安标准ASVS（ASVS）项目为测试web应用程序的技术安全控制提供了基础，也为开发人员提供了安全开发的需求列表。全用户故事和安全用例发布测试。OWASP威胁和保障矩阵（TaSM）面向行动的视图以保护和促进业务这个矩阵允许公司将其主要威胁与NIST网络安全框架功能（识别、保护、检测、响应和恢复）进行叠加,以构建一个健壮的安全计划。将其用作仪表板来跟踪和报告整个组织的安全性。缺陷道场一个开源的漏洞管理工具，通过提供模板化、报告生成、度量标准和基线自助服务工具来简化测试过程。使用缺陷Dojo可以减少使用漏洞模板、导入、报告生成和度量来记录漏洞的时间。表4.1：OWASP资源LLM威胁频率的增加强调了以弹性优先的方法来保护组织的攻击表面的价值。现有的TTPS与新的攻击面和LLM对手威胁和缓解的能力相结合。手套保持了一个成熟的和被广泛接受的机制来协调对手的战术和程序，基于现实世界的观察。将组织的LLM安全策略协调和映射到ATT&CK和冠状地图集，允许组织确定LLM安全包括在诸如API安全标准或哪里存在安全漏洞。冠ATT&CK（对抗战术、技术和常识）是一个框架，收集数据矩阵和评估工具，由冠冠公司帮助组织找出他们的网络安全工作在整个数字攻击表面和发现漏洞，以前没有被发现。它是一个在世界各地使用的知识存储库。冠状体ATT&CK矩阵包含了对手为实现特定目标而使用的策略集合。在ATT&CK矩阵中，这些目标被分类为战术。目标按攻击顺序概述，从侦察开始，并进展到渗透或影响的最终目标。冠状体地图集是“人工智能系统的对抗性威胁景观”的缩写，它是一个基于坏人攻击机器学习（ML）系统的真实例子的知识库。阿特拉斯是基于冠状ATT&CK架构，其战术和程序补充了ATT&CK的架构。描述为什么推荐它和在哪里使用它米特雷亚特和克基于真实世界的观察的对手战术和技术的知识库ATT&CK知识库被用作开发特定威胁模型和方法的基础。将组织内现有的控制措施映射到对手的战术和技术上，以确定要测试的差距或区域MITRE工作台AT&CK创建或扩