为AI助力的应用程序建立治理框架

为AI助力的应用程序建立治人工智能(AI)的发展日新月异，各行各业的企业都在以前所未有的速度部署AI助力的应用程序。例如，在PrismaCloud的2024年云原生安全现状报告1中，100%的受访者都表示自己欣然接受AI辅助的应用程序开发——对于这个几年前还被许多人视为科幻的技术来说，这确实是一个让人惊讶的结果。然而，尽管AI系统提供了巨大的优势，但也带来了全新的安全风险和治作为一名安全领导者，必须了解AI的现状、其潜在隐患以及给企业带来的独特风险。在本白皮书中，我们概述了AI的形势，强调了关键的安全考虑因素，并提出了一个治理框架，帮助您在这个复杂的环境中做到游刃有余。您将清楚地了解企业可能有机会探索的关键AI技术及其安全隐患，以及需要考虑哪些潜在的防护和缓解措施。我们还将帮助您了解在制定AI安全战略时需1/state-of-cloud-native-secur近年来，AI领域发生了翻天覆地的变化，随着企业评估和实施一系列新技术，无论是通用系统还是专为了应对AI的相关风险和机遇，安全领导者需要时刻把握这个不断发展的生态系统的脉搏。风险可能以多种形式表现出来，正如我们最近的研究发现的一样，47%的企业都在担心与AI多年来，各家企业一直在利用特定于领域的A来提高制造、供应链优化、欺诈检测、在线营销和其他领域的效率和自动化程度。这些狭义的系统在特定的数据集基础上进行训练，用于执行明确定义的任务。虽然这些系统已经成为许多业务流程不可或缺的一部分，但•制造优化、供应链、欺诈检测、•数据完整性、模型性能监控、偏见虽然这些工具已经存在了很长一段时间，并且近年来可能没有经历什么•制造优化、供应链、欺诈检测、•数据完整性、模型性能监控、偏见•监控AI/ML系统是否存在异常行为、•提供适当的访问控制和治理，规定谁可以开发、修改或使用AI/ML2/state-of-cloud-native-securityLLM已经发展成一种高度全能的通用AI系统，能够进行开放式的对话、生成连贯的文本，甚至还能编写代码。虽然面向消费者的聊天机器人（如ChatGPT）引起了广泛关注，但这也只是冰山一角。LLM的更大影响力在于能够以终端用户通常无法立即察觉的方式，为各种各样的企业应用程序（包括内部•内容生成、聊天机器人、情•专业AI助手（支持、人力资•高级应用（药物研发、材料•影子AI项目、数据隐私、模•微调过程中敏感数据的暴•数据中毒攻击、计算资源隔离、模型可问责性和可审核性OpenAI和Anthropic等云提供商提供API来访问功能强大的LLM，并由其负责管理和另外，一些开源的LLM（如Meta的LLaMa）也可以在企业自己的基础设施上运行。这提供了更多的商务公司可能会使用LLM来生成产品描述，而软件开发公司可以利用LLM助力云API和开源模型的可用性增加了影子AI方便访问的云API和开源模型的出现大大降低了向应用程序添加高级AI语言功能的门槛。开发人员现在不需要具备AI和ML方面的深厚专业知识，就可以将LLM植入自己的软件中。这在加速创新的同时，也增加了影子AI项目的风险，即缺乏适当的安全性和合规性监督。与此同时，开发团队可能会在没有充分考虑微调和检索增强生成(RAG)为了针对特定的应用程序定制LLM，企业可以在与目标任务相关的较小数据集基础上对LLM进行微包括可以访问内部数据的专门AI助手（例如，用于客户支持、人力资源或IT帮助台）和问答应用程序（例如，用于文档记录、代码存储库或培训材料）。例如，电信公司的客户服务聊天机器人可以根据产品文档、常见问题解答或过往的模型训练可能会导致模型暴露于敏感的内微调和RAG使企业能够根据自身的特定领域和数据调整LLM，从而获得更有针对性、更准确的输出。但是，这种定制过程往往涉及到在训练过程中将模型暴露于敏感的内部信息。这就需要强有力的数据治理实践，确保只有经过授权的数据一些大型科技公司和研究机构正在寄希望于从头开始训练自己的LLM。这是一个高度资源密集型的过程，需要大量计算能力和数据集。不过，这样一来公司可以完全控制模型架构、训练数据和优化过专属LLM的用例包括高度专业化的应用，比如药物研发、材料科学或自主系统。例如，医疗机构可以训练自定义的LLM需要精心策划海量数据集并构建高性能的计算基础设施，这可能会带来新的安全挑战。对于模型可以获取的敏感信息和个人数据，必须彻底审查训练数据。数据中毒攻击也令人担忧，因为这是指对手故意向训练数据中注训练过程消耗大量的计算资源，因此需要对训练环境实施严格的隔离和访问控制，防止滥用或干扰。在处理复杂的黑盒模型时，如何保持模型行为的可问责性对敏感信息和个人数网络安全团队已经习惯了玩追赶游戏。更为常见的是，团队必须调整自己的战略和控制，才能跟上新技术（如云计算、容器化和无服务器架构）的采用步伐。然而，AI的兴起给网络安全带来了新的障快速的技术变革与紧迫的业务需求相结合，可能会带来独特的安全挑战。由于时间紧迫，很难在部署AI系统之前彻底评估风险并实施适当的控制。在匆忙面市的过程中，安全问题往往被抛在脑后。最佳实践和监管指导难以跟上步伐，这意味着安全团队必须在没有行业共识或明确标准的情况下随时适应不过，这也为从设计上确保AI的安全创造了机会。通过从一开始就将安全和治理考量纳入AI开发流程，企业可以积极主动地降低风险，建立更有弹性的AIAI系统的潜在影响是深远的，但不一定能得到很好的理解。AI模型可以自动做出重大决策，生成具有法律意义的内容（比如使用受版权保护的材料），还可以访问大量敏感数据。与AI相关的风险，比如结果偏差、侵犯隐私、知识产权暴露和要应对这些更广泛的影响，网络安全领导者需要与法律、道德和业务职能部门的利益相关者合作。需要建立合作治理结构，符合风险承受能力，制定政策和指导方针，并实施持续不断的监测和审核流程。网络安全团队必须与数据科学和工程网络安全团队必须与数据科学和工程团队密切合作，将安全和风险管传统的网络安全框架通常侧重于保护数据的机密性、完整性和可用性。然而，随着AI的发展，公平《欧盟人工智能法案》等新兴的监管框架对企业在AI系统的监督和治理机制方面提出了新的要求。这些法规要求公司评估并降低与AI应用相关的风险，特别是在雇佣、信用评分和执法等高风险领域。合规义务可能会根据具体的用例和涉及的风险等级而有所不同。例如，用于雇佣决策的AI系统可能会接这意味着安全团队不能局限于一直以来对访问控制和数据保护的关注，而是必须与法律和合规团队合作，建立对AI模型的实际输出和决策进行监控和验证的前面说过，安全团队不仅需要监控底层的数据和模型工件，还需要监控AI系统在生产中的实际输出和行为。这就需要分析大量的非结构化数据并检测新型威胁，比如数据中毒攻击、模型规避技术以及可传统的软件漏洞通常只要几行代码就可以修补，而AI模型的问题则不同，可能需要从头开始重新训练整个模型才能修复。AI模型从训练使用的数据中学习，这些数据会深深嵌入模型的参数中。如果发现训练数据包含敏感信息、偏见或恶意示例，就不可能仅仅是删除或纠正特定的数据点了事。相反，必须在经过净化的数据集基础上对模型进行彻底的重新训练，这可能需要几周或几个月的时间，还要花再则，重新训练模型也不是万无一失的解决方案，因为可能会降低性能或带来新的问题。虽然对机器遗忘、数据去除和其他技术的研究仍在进行中，但这些技术仍然刚刚起步，并没有广泛应用。因此，为了有效管理AI助力的应用程序带来的风险和机遇，我们建议企业采用新的治理框架，并重点关注两可视性是指清楚了解整个企业正在如何使用AI，包括维护所有已部署AI模型的清单、跟踪用于训练和运行这些模型的数据，以及记录每个模型的功能和访问权限。如果没有这种基础的可视性，就不可能控制是指为确保负责任地使用AI并与企业价值观保持一致而制定的政策、流程和技术保障措施。它涵盖了从规定哪些信息可用于AI的数据治理政策，到限制谁可以开发和部署模型的访问控制，再到验证其目的是为安全领导者提供一种结构化的方法来与整个企业的利益相关者（包括安全、合规和工程团队）合作，为AI设计和实施适当的治理机制。具体的实施细节和政策可能根据企业的要求、首要任务02新模型训练/使用部署的审批链0202对面向公众的AI应用程序进行02合规性02违规行为的归属和问责真相来源，并为风险评估和政策执行奠定了基础。清单应该涵盖关键元数据，如模型提供方、目的和预期用例，以及模型类型（如LLM）、计算机视觉、表格数据、训练数据源、访问权限和限制以及数自动发现工具可以帮助识别部署在生产环境中的模型，但可能需要手动流程来捕获开发中或外部托管企业需要确定哪些模型被批准使用、评估和面向客户部署。政策应该与企业的整体风险承受能力和合不符合这些标准的模型应该禁止部署，或接受更为严格的审批程序。对于获得许可的模型，应该围绕以下几点来制定指导方针，适当的用例、所需的安全和合规控制，以及持续的监控和维护期望。这些企业需要结构化的流程才能支持安全和合规团队审查新的或预先部署的AI模型。这种审查流程应该根在软件开发生命周期中，有必要制定明确的流程来推广批准的模型，因此从开发到试运行再到生产，每个阶段都有测试和签核要求。企业还应该制定流程来持续监控部署的模型，在发生重大变化（如重数据是AI模型的命脉。因此，清楚了解整个AI生命周期中使用的数据至关重要。这包括用于训练模型、用于生产中的推理或预测，以及用于随时间推移微调或重新训练模型的数据。企业应该时刻维护最新的AI清单，其中详细列出所有数据集并根据敏感程度、监管要求和批准的用例进行分类。这个清在数据中毒攻击的背景下，训练数据的治理尤为重要。如果对手能够操纵训练数据，就可以引入隐藏的后门或偏见，这些后门或偏见可能会被利用来破坏模型在生产中的行为。这就需要强大的访问控制企业应该制定明确的政策来规范如何将不同类型的数据用于AI。政策应该基于数据的敏感程度、监管例如，政策可以规定，未经明确同意和匿名化处理，不得将个人身份信息(PII)或受保护的健康信息(PHI)用于模型训练。同样，在没有适当许可和使用权的情况下，将敏感的知识产权或第三方数据用于AI可能会受到限制。政策还可以为不同类型的数据定义理想的安全和隐私控制，例如加密、访问控制不同的AI用例对安全性和合规性的影响可能大不相同。例如，用于客户支持的AI聊天机器人可能需要对数据隐私和内容过滤进行严格控制，而用于优化供应链物流的内部AI工具可能不会引起同样的企业必须制定政策，明确规定哪些AI用例是允许的，以及在什么条件下允许。批准用例时考虑的因素涉及个人决策的高风险用例（比如贷款、雇佣或医疗诊断）需要更严格的审查，可能需要专门的审查AI代理是一类特殊的AI系统，可以根据自身先前的输出做出自主决策并采取操作，每一步都没有人工干预。例如，AI代理可用于编写、测试和优化代码。使用这类代理会带来额外的治理挑战，因为潜在风险和意外后果可能更难预测和控制。企业需要制定明确的政策，规定什么时候以及如何使用AI代对面向公众的AI应用程序进行更严格与内部企业应用程序相比，直接与客户或公众交互的AI应用程序需要更严格的治理和监督。这种额外企业还应该考虑为面向公众的AI实施额外的技术防护，例如速率限制、内容过滤和基于预定义的风险AI治理不能存在于真空之中，而是必须与企业的整体合规管理框架相契合。这意味着要使AI政策和控合规团队应该与AI开发和治理团队密切合作，规划出适用的要求并将其转化为切实可行的政策和控合规监督还应该扩展到第三方AI供应商和合作伙伴，确保各方的做法符合企业的合规义务。供应商风PrismaCloudAISecurityPostureManagement：AI的可视性、鉴于上述风险和挑战，企业需要新的工具和方法来保护其快速扩张的AI部署。事实上，当被问及2024年的首要任务时，100%的企业都表示要致力于获得整个