AI组织职责：AI工具和应用（中文）

AI组织职责：AI工具和应用人工智能组织责任工作组的永久和正式位置是/research/working-groups/ai-organizational-res©2025CloudSecurityAlliance-保留所有权利。您可以下载，存储，在您的计算机上显示，查看，打印和链接到云安全联盟，但须遵守以下规定：（a）草案仅可用于您的个人，信息，非商业用途;（b）草案不得以任何方式修改或更改;（c）草案不得重新分发;以及（d）商标，版权或其他声明不得删除。您可以引用美国版权法合理使用条款所允许的草案部分，前提是您将这些部分归因于云安全联盟。©版权所有2025，云安全联盟。Allrightsres©版权所有2025，云安全联盟。Allrightsreserv主要作者尼克·汉密尔顿黄肯迈克尔·罗扎玛丽亚（MJ）施温格贡献者简·格斯特·吉安·卡普尔·内特·李PalanisamyAkramPatriciaThaineLauraVoicu评论家CandyAlexanderDeepakAntiyaSongboBuSahilDhirDanGianKapoor古鲁纳达·曼加兰彭塔CSA全球员工玛丽娜·布雷格库·肖恩·海德·亚历克斯·卡鲁扎·斯蒂芬·史密斯PrateekMittalAkashMukherjeeKellyOnuMeghanaParwateRamaswamyNatapongSornpromPatriciaThaine义正©版权所有2025，云安全联盟。AllrightsAI安全大使CSA自豪地承认第一批首席AI安全大使。他们站在人工智能安全最佳实践未来的最前沿，在促进组织内的人工智能安全、倡导负责任的人工智能实践和促进管理人工智能风险的务实解决方案方面发挥着主导作用冷gAiria是一个企业AI全栈平台，可快速安全地实现所有工作流程的现代化，行业领先的人工智能模型，提供即时的价值实现时间，并创造有影响力的投资回报率。AIria提供完整的AI生命周期集成，保护企业数据，并简化整个企业的AI采用EndorLabs是一个整合的AppSec平台，适用于那些对“警报噪音”现状感到沮丧而没有任何真正解决方案的团队。新贵和财富500强都使用EndorLabs来做出明智的风险决策。我们消除浪费时间的发现（但跟踪透明度！），并使AppSec和开发人员能够快速、智能、低成本地修复漏洞SCA的噪声降低了92%，fix代码速度提高了6.2倍，并符合FedRAMP、PCI、SLSA和NISTSSDF等标准微软将安全放在首位。我们使组织能够自信地我们的AI-first平台汇集了无与伦比的大规模威胁情报和行业领先的负责任的生成AI，并将其交织到我们产品的各个方面它们共同提供业界最全面、最集成的端到端保护这些解决方案建立在信任、安全和隐私的基础上，可与企业每天使用的业务应用程序配合使用。致谢3高级AI安全大使4导言.6假设7责任角色定义8管理与战略9治理与合规9技术支持和服务10 操作和设备10 规范性参考文件 1.LLM或GenAIApp/ToolsSecurity122.第三方/供应链管理2.1LLM供应商评估352.3AccptabeCertions/Third-PartyReports41 2.5筛选&尽职调查452.6departure监测472.7数据使用协议482.8软件物料清单（SBOM）492.9软件工件的供应链水平（SLSA）503.其他AI实施和操作考虑因素543.1员工使用GenAI工具543.2将GenAI用于SOC59结论69©版权所有2025，云安全联盟。Allrightsreserv©版权所有2025，云安全联盟。Allrightsreser关键要点71未来展望71©版权所有2025，云安全联盟。Allrightsreserve介绍本白皮书是探索与人工智能（AI）相关的组织责任系列的第三部分。第一篇论文“AI组织责任：核心安全责任”研究了关键的安全方面，提供了保护AI系统免受新兴威胁的见解，包括AI特定的攻击向量，如模型反演和即时注入。第二篇论文《人工智能组织责任：治理、风险管理、合规性和文化方面》，重点关注治理、风险管理和合规性（GRC），解决组织在采用人工智能技术时面临的法律、道德和监管挑战在这些早期讨论的基础上，本文将重点转移到组织内人工智能的实际实施上它探讨了成功部署AI驱动系统所虽然重点是实施，但重要的是要注意，前两篇论文中的基本主题和概念-安全性，治理，风险管理和合规性-都融入了讨论中。随着组织希望大规模应用人工智能，以前的论文中探讨的挑战继续影响实施的每一步，确保人工智能的采用是安全和负责任的。通过关注人工智能采用和管理的这些实际方面，本白皮书旨在为组织提供必要的知识和策略，以负责任和有效地利用人工智能的力量，同时应对这一快速发展的技术格局所带来的独特挑战我们通过以下维度分析每项责任●评估标准：评估人工智能工具、应用程序和相关供应链风险需要量化的指标和安全控制、需求和识别与差距分析的最佳实践的映射。为了确保可靠和负责任的人工智能部署，利益相关者必须衡量模型性能、数据质量、算法偏差和供应商可靠性。●RACI模型：角色和责任的明确性是有效的AI工具管理和供应链监督的基础。RACI矩阵模型提供了一个结构化框架，用于定义谁负责、谁负责、谁咨询和谁知情，©版权所有2025，云安全联盟。AllrightsreservAI决策、工具选择和供应商管理贯穿整个AI生命周期。●高级实施策略：概述如何将人工智能工具和应用程序集成到现有的工作流程中，在适当的情况下利用成熟和广泛使用的第三方解决方案。解决数据集成、模型部署和员工技能提升等关键挑战在实施人工智能战略时，考虑利用现有的平台和框架来加速开发并减少技术债务。●持续监控和报告：实施持续监控AI工具性能、数据漂移、供应链漏洞和道德问题的机制实时监控、性能下降或安全事件警报以及人工智能系统健康和供应商合规性的定期报告可确保透明度和及时解决问题●访问控制：有效管理人工智能开发环境、模型注册表和数据存储库有助于降低与未经授权访问或滥用人工智能资源相关的风险实施强大的访问控制机制，以保护专有算法、敏感数据和AI基础设施。●遵守AI标准和最佳实践：遵守AI专用和相关标准、法规和指南，如经济合作与发展组织（OECD）AI原则、电气和电子工程协会（IEEE）道德一致设计以及新兴的AI法规。这种一致性有助于保持人工智能应用程序的完整性，促进负责任的人工智能开发，并减轻与人工智能工具和供应商相关的供应链风险。本文件采取行业中立的立场，提供适用于各个行业的指导方针和建议，而不会对特定行业产生特定偏见。白皮书旨在迎合不同的受众，每个受众都有不同的目标和兴趣。●首席信息安全官（CISOCISO将获得在AI系统中整合核心安全原则的宝贵见解，以解决其使用中固有的潜在风险●AI研究人员、工程师和开发人员：包含针对AI研究人员、工程师和开发人员的全面指南和最佳实践，支持他们创建道德和值得信赖的AI系统。它是确保负责任的人工智能开发的关键资源©版权所有2025，云安全联盟。Allrightsreserv●企业领导者和决策者：CIO、CDO、CRO和CEO将为在AI系统开发、部署和生命周期管理中制定网络安全战略提供必要的指导●政策制定者和监管者：本文件是政策制定者和监管者的重要读物它提供了重要的见解，可以帮助围绕道德AI开发，安全和控制制定政策和法规。这些信息有助于对AI治理做出明智的决策。●投资者和股东：查看组织对负责任人工智能的承诺的演示，这是投资者和股东的关键因素详细说明道德人工智能开发的治理机制为投资决策提供了有价值的信息●客户和公众：本白皮书传达了组织开发安全AI模型的价值观和原则下表提供了一个通用指南，说明了采用AI技术的组织中的各种角色。重要的是要认识到，每个组织可能会以不同的方式定义这些角色或功能，反映人工智能计划的独特运营需求，文化和具体需求。因此，虽然该表提供了对人工智能治理，技术支持，开发和战略管理中潜在角色的基本理解，但仅供参考。鼓励各组织调整和调整这些作用，使之最适合自己的要求，确保结构和职责与其战略目标和业务框架保持一致同样重要的是要注意，许多组织可能没有这些角色作为命名实体。但是，他们所代表的功能应被视为其他角色的一部分例如，一个组织可能没有一个指定的个人作为首席人工智能官，而是将该职能纳入首席技术官（CTO）的角色中。©版权所有2025，云安全联盟。Allrigh管理和战略角色名称角色说明首席执行官（CEO）监督组织的整体管理和战略方向，确保与组织目标保持一致，并推动增长、创新和卓越运营首席数据官（CDO）监督企业数据管理、策略创建、数据质量和生命周期首席技术官（CTO）领导技术战略并监督技术发展首席信息安全官（CISO）监督信息安全战略、网络风险和安全运营业务部门领导指导业务部门并使人工智能计划与业务目标保持首席风险官（CRO）监督企业风险管理，确保符合组织目标和监管标准首席财务官（CFO）使财务战略与组织目标保持一致，以确保财务稳定和增长首席情报官（CAIO）负责组织内人工智能技术的战略实施和管理管理监督和指导整体战略，确保与组织目标保持一致，包括CEO、CTO、CISO、CRO、CFO等的目标首席云计算官（CCO）领导云战略，确保云资源与业务和技术目标保持一致治理和法规遵从性角色名称角色说明数据保护官员（DPO）监督数据保护策略首席隐私官（CPO）确保遵守隐私法律法规，如GDPR、HIPAA、CPRA等法律与合规部就法律/监管义务、AI合规性和使用提供建议©版权所有2025，云安全联盟。Allrigh法律团队为AI部署和使用提供法律指导数据治理委员会为数据治理和使用设定策略和标准合规团队确保遵守内部和外部合规要求数据治理管理组织内的数据治理，确保遵守政策、数据隐私法和法规遵从性要求技术和安全角色名称角色说明信息安全团队实施措施并确保遵守安全策略和法规IT安全团队实施和监控安全协议以保护数据和系统网安总队保护网络免受威胁和漏洞的侵害云安全团队确保基于云的资源和服务的安全网络安全团队保护组织资产免受网络威胁、漏洞和未经授权的支持和维护IT基础设施，确保其可运行且安全网络安全监督网络安全，确保数据保护和威胁缓解硬件安全团队保护物理硬件免受篡改和未经授权的访问系统管理员管理和确认IT系统和服务器，以实现最佳性能和安全性行动和发展角色名称角色说明AI开发团队开发和实施AI模型和解决方案安全冠军AI开发团队的一部分;提高安全意识并培训AI开发人员的安全最佳实践©版权所有2025，云安全联盟。Allrigh开发运营（DevOps）团队促进开发和运营团队AI质量保证团队测试并确保AI应用程序和系统的质量AI运营团队管理人工智能系统操作以提高性能和可靠性应用程序开发团队开发应用程序，根据需要AI/ML测试团队擅长测试AI/ML模型的准确性、性能和可靠性开发、安全和运营（DevSecOps）团队支持开发和运营团队之间的协作，以在整个软件开发生命周期（SDLC）中实施安全性AI维护团队确保AI系统和模型在部署后得到更新、优化并正确运行项目管理团队从启动到完成，监督人工智能项目，确保它们符合目标和时间表开发团队致力于AI模型和系统的创建和改进业务人员支持日常运营，确保人工智能技术的顺利集成数据科学团队收集和准备用于AI模型训练和分析的数据IT运营团队确保IT基础设施运行可靠，支持AI和技术需求人工智能开发经理领导人工智能开发项目，指导团队成功实施AI运营主管指导与AI相关的运营，确保AI解决方案的效率下列文件是应用和理解本文件所必需●生成式AI安全：理论与实践●OpenAI准备框架（Beta）●CCM的AIS域在生成式AI中的应用●Google安全AI框架（SAIF）●欧盟人工智能法案提案●拜登关于安全、可靠和值得信赖的人工情报的行政命令©版权所有2025，云安全联盟。Allrigh●OWASPTop10forLLMApplications●CSA云控制矩阵（CCMv4）●MITREATLAS™（人工智能系统的对抗性威胁环境）●NIST安全软件开发框架（SSDF）●NIST人工智能风险管理框架●通用数据保护条例（GDPR）●OWASPLLMAI网络安全治理清单●OWASPMachineLearning-Top10●OWASP攻击面分析备忘单●OWASP访问控制●WDTA-AISTR-生成式AI应用安全测试和验证标准●WDTA-AISTR-大型语言模型-安全需求和供应链●世界经济论坛简介文件1.LLM或GenAI应用程序/工具安全大型语言模型（LLM）和生成式AI（GenAI）应用程序已迅速成为许多组织运营中不可或缺的一部分。本节探讨了开发、部署和维护这些高级AI工具的关键安全注意事项和最佳实践。从安全的应用程序开发到访问控制，我们深入研究了组织必须解决的关键领域，以确保安全和负责任地使用LLM和GenAI应用程序。1.1安全LLM应用程序开发安全LLM应用程序开发是指使用LLM创建AI应用程序。它专注于在整个开发生命周期中实施强大的安全措施，并通过设计和设计原则实施隐私评价标准●通过安全扫描的代码百分比●在开发过程中检测和解决的漏洞数量●开发过程中安全审计的频率●在源代码中发现的最常见的漏洞©版权所有2025，云安全联盟。AllrighRACI模型（RACIModel）作用责任负责AI开发团队，DevOps团队，DevSecOps团队负责首席技术官、首席信息官咨询信息安全团队、安全冠军、合规团队知情业务部门领导高级别执行战略该战略概述了使用LLM开发安全AI应用程序的关键步骤，重点是在整个开发生命周期中集成强大的安全措施●安全编码实践：○开发明确为LLM应用程序量身定制的编码标准○强调输入验证、输出编码和安全的数据处理○定期进行开发人员培训，重点关注LLM安全最佳实践●持续安全评估：○在整个开发过程中○将威胁建模专用于LLM功能○实施系统的脆弱性管理方法○将源代码分析、软件组成分析和使用AI代理的秘密检测等安全分析○使用AI代理在每次代码提交时触发自动安全测试○建立安全门以防止易受攻击的代码进入生产环境●主动安全维护：○为LLM组件制定常规补丁管理计划○监控LLM相关漏洞的安全配置○跨环境实施自动化更新部署，以实现高效的安全补救●LLMOps集成：○为LLM培训、验证和部署创建自动化管道○为LLM管理实施版本控制○利用LLMOperations（LLMOps）工具进行资源优化和自动扩展©版权所有2025，云安全联盟。Allrigh●安全防护工作流程：○使用安全、智能的代理进行自主操作○为代理交互实现○开发强大的错误处理和回退机制持续监控和报告●监控特定于LLM库和框架的新漏洞●利用开放式遥测技术进行实时监测●跟踪已识别安全问题的解决时间●生成有关开发中LLM应用程序安全状态的定期详细报告，包括已识别的漏洞，补救措施和风险评估●实施基于角色的访问控制（RBAC）、基于上下文的访问控制（CBAC），并在可行的情况下结合基于属性的访问控制（ABAC以便在开发环境中保证额外的粒度访问控制●在开发和生产环境之间建立职责分离，以锁定对生产环境的访问●控制用户和系统对LLM训练数据和模型参数的访问，以防止个人身份信息（PII）泄露遵守AI标准和最佳实践●此外，我们还将为LLMaplications提供10个Pp●遵守相关的数据保护法规（例如，GDPR、CCPA）●Folowindustry-pecicicecuritystadards（例如，G.，ISO27001，PCIDSS，HIPAA）●NISTAIRISKMANAGEMENTFRAIRMF1.0●遵循云安全联盟AI研究论文提供的指导○AI模型风险管理框架○保护LLM支持的系统：基本授权实践©版权所有2025，云安全联盟。AllrighPromptInjectionDefense涉及实施措施，以防止恶意行为者通过精心制作的输入提示操作LLM输出评价标准●检测到的提示进样尝试次数●成功缓解提示注入攻击的百分比●提示注入防御机制●提示注入攻击的平均检测时间（MTTD）和平均响应时间（MTTR）●即时注入防御机制的延迟影响●禁止使用输入清理技术从用户提供的输入中删除或转义可能RACI模型（RACIModel）作用责任负责AI安全团队负责首席信息安全官咨询AI开发团队知情风险管理，相关业务单位高级别执行战略以下策略可以使用第三方工具实现●对所有用户提供的提示执行输入清理和验证○令牌化和实体识别，以识别和删除可疑输入○正则表达式过滤恶意模式○基于机器学习的异常检测以识别异常输入○根据已批准的业务域或功能的允许列表来验证用户输入●开发和维护已知恶意提示模式的数据库○使用此数据库通知输入清理和验证©版权所有2025，云安全联盟。Allrigh●对可疑提示模式实施实时监控○使用基于机器学习的模型来检测异常○识别上下文外的提示或试图操纵应用程序预期行为的提示●定期更新和微调LLM，以提高对快速注入的弹性○使用不同的数据集进行微调，以提高弹性○对抗性训练模拟即时注入攻击○使用自动化测试和评估确保更新不会引入新的漏洞●制定事件响应计划，以处理疑似或确认的即时注射攻击●实施反馈循环以改进即时注入防御机制持续监控和报告●监视新型的提示注入攻击●跟踪防御机制随时间的有效性●为检测到的提示进样尝试生成警报●跟踪即时注射检测机制的假阳性率●定期监控结果、趋势和与快速注入防御相关的整体安全状况●根据用户角色和上下文限制提示输入功能，确保敏感提示仅限于授权人员●针对某些类型的提示执行审批工作流程●控制对提示注入防御配置的访问●对快速注入访问控制权限进行定期审查，包括每季度进行一次审计，以验证是否符合当前的安全策略遵守AI标准和最佳实践●遵循AI安全框架的最佳实践●遵循行业特定的AI安全●遵守相关的隐私和网络安全法规，例如：○GDPR-一般数据保护条例○CCPA-加州消费者隐私法○NIST-网络安全框架○NISTAIRMF-人工智能风险管理框架●遵循CloudSecurityAllianceAIResearchPapers提供的指导，例如：○AI模型风险管理框架©版权所有2025，云安全联盟。Allrigh○保护LLM支持的系统：基本授权实践○应对影子访问风险：零信任和人工智能部署●遵守领先的人工智能道德组织制定的负责任的人工智能准则，例如：○IEEE全球自主和智能系统伦理倡议○AINowInstitute输出评估和保护涉及实施评估和控制人工智能系统生成的输出的机制，包括大型语言模型（LLM），检索增强生成（RAG），人在回路（HITL）和GenAI应用程序，确保它们安全，准确，并与组织价值观和政策保持一致。这些机制监控、过滤和审查人工智能生成的内容。它们将自动化系统和人工监督相结合，以保持所有应用程序中AI输出的完整性和可靠性。评价标准●标记为供审查的产出百分比●报告的与LLM产出不当有关的事件数目●输出滤波的假阳性率●输出过滤的假阴性率●查看标记输出的时间●报告事件的解决时间●遵守道德准则●护栏调整●违反政策的发生率●用户对产出质量的满意度RACI模型（RACIModel）作用责任负责AI质量保证团队、AI开发团队、IT安全团队负责首席AI官、首席数据官、数据保护官咨询法律团队，数据治理委员会知情人力资源业务部门负责人©版权所有2025，云安全联盟。Allrigh高级别执行战略该战略通过集成自动过滤系统、持续更新过滤模型以及战略性使用HITL监督来创建符合组织政策和道德标准的输出评估框架和预定义护栏，确保了LLM和RAG系统等关键组件中AI生成的输出的质量和合规性，确保了所有AI系统的一致性。●实施输出过滤和评估机制：○实施自动化过滤系统，以评估LLM及RAG系统产生的输出，并定期以已知情况测试过滤机制的稳健性。○虽然自动化系统处理大多数输出过滤，但复杂或敏感的标记输出通过HITL流程进行，并增加事实检查工具以评估准确性和可靠性。○利用不断训练和更新的机器学习模型来识别LLM和RAG系统的不良输出的新模式●制定和执行预定的保护措施：○根据组织政策、法律要求和道德标准建立输入和输出护栏，重点关注LLM和RAG系统的输○确保护栏在所有相关AI系统中集成●限制担保配置：○将修改护栏配置（如提示和其他控制参数）的能力限制在高度可信的角色，如管理LLM和RAG系统的AI或机器学习工程师○确保通过标准代码审查和合并流程进行护栏修改，保持严格的监督和版本控制○利用自动监控系统跟踪和记录所有相关AI系统中更改护栏配置的任何尝试●建立人在环评审流程：○实施审查流程和标准，将LLM、自动过滤系统和RAG系统的标记输出（最初由自动化系统处理）传递给人类进行审查、评估和最终处置。○制定明确的指导方针，以便在所有AI组件中升级和解决已标记的问题©版权所有2025，云安全联盟。Allrigh○使用来自人工审核流程的反馈来完善和增强自动化系统触发器，确保系统随着时间的推移变得更加准确和高效○整合人工审核流程的见解，持续改进工具性能的自动事实检查●定期更新和完善产出评估标准：○持续监控和更新LLM、自动评估系统和RAG系统的输出评估标准○建立HITL进程的反馈机制持续监控和报告●监测产出评价机制的绩效○部署自动化监控工具，以持续监控和评估跨LLM、RAG和自动化系统的输出评估机制的性能○利用自动跟踪系统跟踪所有AI组件的护栏激活频率和类型●生成关于输出和护栏的定期报告○配置自动化报告系统，以自动生成有关人工智能生成的输出的质量和安全性的详细报告○实施一个具有自动化报告和事实检查工具的系统，这些工具定期编制关于LLM，RAG模型和其他自动化系统中护栏的激活和性能的报告，为利益相关者提供及时的治理和合规见解●通过反馈循环持续改进：○创建反馈机制，不断将HITL评审员的见解整合到监控和报告流程中。○执行定期审计计划，由人力管理员使用HITL框架审查监测和报告系统的业绩。●与事件响应框架集成○将持续监控和报告系统与组织的事件响应框架相结合○在解决任何严重事件后，使用HITL框架进行彻底的事件后审查，包括自动化系统和人类管理员。©版权所有2025，云安全联盟。Allrigh●控制对输出评估配置的访问○实施基于角色的访问控制（RBAC）/基于属性的访问控制（ABAC以管理对输出评估机制的配置设置的访问，作为LLM，RAG和自动监控系统的标准代码管理流程的一部分。○指定专门的团队或个人负责管理和修改输出评估配置，确保任何更改在合并到系统之前都要经过同行评审和○考虑部署动态访问管理系统来动态管理对输出评估配置的访问，根据实时上下文（如用户角色或检测到的异常）调整权限。●实施基于角色的访问以查看标记的输出：○实施RBAC/ABAC以控制谁可以审查LLM、RAG和自动过滤系统生成的标记输出●限制修改保护设置的能力○限制输入输出控制的修改：将修改关键护栏设置（包括输入输出控制）的能力限制在高度信任的角色（如人工智能工程师或机器学习工程师），确保只有具有适当专业知识和许可的人员才能进行更改。这些控制措施的例子包括：■输入控件：提示模板、输入验证规则、内容过滤机制、数据预处理管道■输出控制：响应过滤和净化、速率限制和节流、输出编辑、审查和内容审核○对护栏设置的任何拟议修改（包括输入输出控制）实施同行评审流程，以确保在实施前对更改进行彻底审查和遵守AI标准和最佳实践●遵守内容审核最佳实践：○AINowInstitute●遵守有关人工智能输出的相关行业特定法规○GDPR，通用数据保护条例○CCPA/CPRA，加州消费者隐私法/加州隐私权法○CIS（互联网安全中心）控制©版权所有2025，云安全联盟。Allrigh●遵循CloudSecurityAllianceAIResearchPapers提供的指导○AI模型风险管理框架○保护LLM支持的系统：基本授权实践○应对影子访问风险：零信任和人工智能部署●遵循由知名组织发布的道德AI指南○NISTAI100-1AIRISKMAMF1.0○IEEE全球自主和智能系统伦理倡议○ISO/IEC23894：2023AI风险管理指南大型语言模型（LLM）和检索增强生成（RAG）系统的操作量化（OQ）确保AI系统在其指定的操作环境中按预期运行本节重点介绍确认系统符合所有预定性能标准的验证过程，以确保可靠和一致的操作。通过严格测试LLM和RAG系统，在现实世界的条件下，组织可以验证其准备和有效性，确保AI在指定参数下按预期评价标准●满足业务要求的百分比●在鉴定过程中发现的问题的数量和严重性●完成运行鉴定的时间，同时考虑测试持续时间和达到鉴定状态的整个系统开发时间●从运营问题中恢复的平均时间（MTTR）●与基准数据集相比，正确预测或响应的百分比●接收输入后生成响应的平均时间（毫秒）●每秒处理的事务或操作数，同时根据预定义的标准保持可接受的输出质量、速度和系统稳定性●在运行鉴定期间发现的安全漏洞数量●支持目标受众的最低部署数量©版权所有2025，云安全联盟。AllrighRACI模型（RACIModel）作用责任负责AI运营团队负责首席技术官咨询质量保证团队知情高级别执行战略大型语言模型（LLM）和检索增强生成（RAG）系统的操作量化（OQ）确保这些AI系统在其指定的操作环境中可靠地运行（评估标准）该策略验证了LLM和RAG系统满足预定义的性能标准，包括准确性，响应时间，可扩展性和安全性。通过严格测试模拟真实世界条件的环境，组织可以验证系统的就绪性，重点关注RAG系统中检索和生成之间的相互作用，以确保它们提供准确和上下文适当的响应。目标是保证在预期的操作条件下保持一致的性能并将风险降至定义LLM系统的精确操作要求●系统架构和环境i.定义最低CPU/GPU配置并指定RAM、VRAM和存储容量，以支持LLM和RAG系统的生成和检索组件，同时考虑训练、语义搜索和推理需求。ii.详细说明计算和存储I/O要求，以确保实时数据检索和低延迟响应生成，特别是对于RAG系统，强调最大限度地减少网络带宽和延迟瓶颈。○软件方面：i.识别与LLM和RAG系统的硬件和语言要求兼容的框架和库，同时确保它们与环境稳定性和性能的组织IT标准保持一致ii.与平台运营团队协作，定义集装箱化的要求（例如，Docker）和编排（例如，Kubernetes），确保跨不同环境的可扩展性和一致性部署，同时考虑AI/ML系统的特定需求©版权所有2025，云安全联盟。Allrigh●性能和可扩展性○建立响应生成的最大允许延迟，并定义水平和垂直可扩展性要求，以确保系统在不降低性能的情况下处理不同的负载。○为内容准确性设定基准，并确保系统始终生成与上下文相关的响应，尤其是在RAG系统中，多个来源的信息集成至关重要。●数据管理○为了确保系统范围内的一致性，定义可接受的输入数据格式和预处理要求（例如，规范化和数据清洗）。认识到标记化通常由LLM在输入处理期间处理○实施输出格式和结构的标准，以确保与其他系统的一致性和易于集成。建立数据安全协议，包括加密和访问控制，以保护敏感信息。制定全面的测试计划，以验证操作就绪性○测试集成AI、LLM和RAG系统之间数据流的准确性和可靠性，确保所有组件之间正确的数据传输、转换和接口兼容性○评估集成系统如何处理错误并模拟真实场景，以验证整个工作流程中的无缝操作和有效恢复○确保系统在各种条件下执行其预期功能，包括功能测试、典型负载和压力负载下的性能以及可伸缩性。○通过模拟故障场景测试安全漏洞并评估系统的可靠性，确保稳健的恢复和一致的操作。）：○与最终用户协作，确保系统满足业务需求并提供积极的用户体验，重点关注可用性和与用户需求的一致性○在UAT期间收集和分析用户反馈，在获得正式签准以进行生产部署之前解决问题。在类似生产环境中进行全面测试○密切复制生产环境，包括硬件、软件和网络配置，并使用真实数据进行负载、压力和耐久性测试。©版权所有2025，云安全联盟。Allrigh○模拟用户交互，使用对抗性测试来验证安全性，并验证监控。进行测试后分析，以指导部署前的优化。要在互联网级别进行测试，请考虑使用基于云的平台的流量生成工具，并逐渐增加流量。记录并解决发现的任何运营问题○响应计划：制定和维护事件响应计划，以防系统故障、安全漏洞或性能下降。○事件后分析：对事件进行详细分析和记录，以确定根本原因并实施措施以防止未来发生。制定操作失败的应急计划○备份系统：实施备份系统和数据冗余战略，以确保在发生重大故障时数据完整性和系统可用性。○故障转移测试：定期测试故障转移程序，以确保它们正常运行，系统可以从意外故障中快速恢复持续监控和报告●根据操作要求监控系统性能实施预测分析和实时监控工具，以持续跟踪CPU/GPU使用率、内存消耗和响应时间等系统指标，并使用警报阈值在性能偏离运营要求之前和之后通知团队●跟踪和报告系统故障和可靠性指标：使用故障率监控工具持续评估系统可用性，跟踪平均故障间隔时间（MTBF）和平均恢复时间（MTTR）等指标，确保符合服务水平协议（SLA）。●定期评估业务程序的有效性对运营程序进行定期审计，使用有效性指标（如事件解决时间和备份成功率）来不断完善和改进这些流程。●跟踪运营问题的根本原因详细记录每个操作问题，并使用日志分析器和事件管理平台等工具来执行彻底的根本原因分析。随后进行事件后审查（PIR以实施纠正措施并防止再次发生。©版权所有2025，云安全联盟。Allrigh●为操作系统实现基于角色的访问实现RBAC/ABAC策略，以确保根据用户在组织中的角色授予对操作系统的访问权限定义角色和权限，将用户限制在其工作所需的必要功能上，例如普通用户的只读访问权限以及系统操作员和工程师的管理访问权限●控制对运营资质文件的访问：仅限授权人员访问运营资质文件。使用访问控制列表（AccessControlList，RBAC）或类似的机制（RBAC/ABAC）来确保只有具有适当权限的个人才能查看、编辑或分发这些敏感文档，从而防止未经授权的更改或泄漏。●限制修改操作参数的能力：将修改关键操作参数的能力限制为少数授权用户。实施变更管理流程，包括记录和批准工作流程，以确保对系统配置的任何修改都得到相关利益相关者的跟踪、公正和批准遵守AI标准和最佳实践●遵守IT服务管理框架：○ISO/IEC20000-1：2018第1部分：安全管理系统○ISO/IEC20000-2：2019第2部分：GUIDANCEONSERVICMAGEMENSTES○ITIL，提供IT服务○NISTRMFCSF2.0：网络安全风险管理指南●遵守相关行业标准以实现卓越运营：○ISO9001，质量管理○ISO27001-2022，INFOTINSECURINAGEMENT○NIST800-53，信息安全控制○CMMC网络安全成熟度模型，FCICUI的保护要求●遵循AI系统部署和操作的最佳实践○云安全联盟（CSA）保护LLM支持的系统：基本授权实践○云安全联盟（CSA）使用AI进行攻击性安全控制实践○云安全联盟（CSA）实践原则：动态监管环境○云安全联盟（CSA）AI模型风险管理框架○云安全联盟（CSA）应对影子访问风险：零信任和人工智能部署○云安全联盟（CSA）大型语言模型（LLM）威胁分类○IEEE全球自主和智能系统伦理倡议©版权所有2025，云安全联盟。AllrighLLM的性能鉴定涉及评估和验证AI系统在各种条件和工作负载下始终按预期执行，满足预定义的性能指标和质量标准，以确保其符合准确性，可靠性和安全性的特定标准。这个过程对于识别潜在的漏洞、偏差或不一致性至关重要，这些漏洞、偏差或不一致性可能会导致安全风险或在实际应用中部署模型时产生意想不到的后果通过强调性能认证，基于LLM的人工智能工具的安全性，可靠性和整个组织的可信度可以得到提高，降低潜在风险，同时保证这些强大技术的负责任部署。评价标准●不同负载条件下的响应时间●不同情景下产出的准确性和一致性●峰值负载下的资源利用率（CPU、内存、带宽）●基于模型在不同负载和用例下的性能的系统可伸缩性●抵御即时注入攻击和其他安全漏洞RACI模型（RACIModel）作用责任负责AI性能工程团队和数据科学家负责首席技术官，首席负责AI官咨询AI开发团队、业务分析师、安全专家、法律团队、道德委员会知情业务部门负责人、最终用户、合规团队高级别执行战略●确定全面的业绩标准和基准。●开发和执行各种测试场景以评估性能。●在CI/CD管道中实施自动化性能测试●定期进行压力测试和负载测试。●与最终用户建立反馈循环，以收集真实的性能数据。●为模型迭代和相关的性能数据创建一个版本控制系统●制定回滚策略，以应对性能下降或安全问题。©版权所有2025，云安全联盟。Allrigh持续监控和报告●监控生产中的实时性能指标●生成性能下降警报。●设置警报系统，以检测模型行为中的异常●定期进行深入的绩效评估并生成报告。●维护一个仪表板，用于跟踪一段时间内的关键绩效指标●制定一个流程，确保在问题或漏洞出现时快速做出响应●与利益相关者分享绩效趋势和关键发现●控制对性能测试环境的访问。●限制修改性能阈值和警报的能力●为模型开发、部署和性能监控工具实施基于角色的访问控制（RBAC）和/或基于属性的访问控制（ABAC）●为关键系统实施多因素身份验证（MFA）●维护对模型的所有访问和修改的详细日志●以最小权限为指导原则定期更新权限●实现模型存储和传输的数据加密。遵守AI标准和最佳实践●遵循软件性能测试的行业标准○NIST特别出版物800-53○25010：2023○国际软件测试资格委员会（ISTQB）○CSA云控制矩阵（CCM）●遵守与AI系统性能相关的服务水平协议（SLA）○ITIL（信息技术基础设施库）框架○ISO/IEC20000○CMMI（能力成熟度模型集成）○CSASLAFrameworkforCloudSecurity（v3.0的情况。第一章●遵循AI模型优化和扩展的最佳实践○NISTAIRMF○MLPerf○CSA云计算面临的主要威胁○云安全联盟（CSA）AI模型风险管理框架●在整个开发生命周期中实施道德AI原则○经合组织人工情报原则©版权所有2025，云安全联盟。Allrigh○AINow研究所报告●定期进行道德操守审查和影响评估：○GDPR第35○ISO/IEC38505-1：2017○IEEE：P7003-微偏置考虑标准●确保模型功能和限制的透明度○欧盟委员会人工智能高级别专家组的人工智能道德准则○CSA云计算重点领域指南（v4.0）●建立关于AI模型使用、限制和潜在风险的简明文档○ISO/IEC22989○NISTAIRMF行动手册○CSA云计算安全指南○云安全联盟（CSA）AI模型风险管理框架●建立一个框架来管理人工智能的负责任开发和部署○联合国教科文组织《人工智能伦理准则》○ISO/IECTR24028：2020○CSAAI安全框架○云安全联盟（CSA）AI组织职责：■核心安全责任■治理、风险管理、合规性和文化方面访问控制涉及实施管理和限制用户访问AI/GenAI系统和应用程序的机制，包括大型语言模型（LLM），检索增强生成（RAG）和循环中的人类（HITL以确保只有经过授权的个人才能与AI模型及其相关数据进行交互或修改。这些机制监测、审查和限制访问，结合自动化系统和人工监督。评价标准●检测到并阻止的未经授权的登录尝试次数●成功登录尝试限制触发警报的地理位置的次数●审查访问权限和更新的频率●检测和响应内部系统上未经授权的登录尝试的时间●涉及违反出入控制的安全事件数量●违反访问策略的次数●审计期间成功查明和解决出入控制问题的比率●用户访问配置和取消配置时间●启用多因素身份验证（MFA）的特权帐户百分比●已启用MFA的帐户迁移到FIDO2/密钥●用户对访问控制流程的满意度●与非人工智能世界相比，●©版权所有2025，云安全联盟。Allrigh©版权所有2025，云安全联盟。AllrighRACI模型（RACIModel）作用责任负责应用程序开发团队、IT团队负责首席信息安全官（CISO）咨询AI运营团队知情合规团队、业务部门负责人高级别执行战略该战略概述了先进的人工智能技术的集成，包括大型语言模型（LLM），检索增强生成（RAG）和人类在回路（HITL），进入访问控制框架。我们的目标是创建一个强大的自适应系统，平衡自动化与人工监督，提高所有访问管理级别的安全性和效率●实施强大的身份和访问管理（IAM）系统：○实施与相关组件集成的IAM系统，例如API网关、业务流程和数据源（例如VectorDB、API和SQLDB以控制对数据和系统的访问，包括RAG流程中使用的数据○IAM系统应该管理与LLM交互的入口点和数据层的访问○在IAM系统中定义精细的角色和权限○在应用程序编程接口（API）网关上使用访问控制列表（ACL）○对知识库、数据库和RAG查询的其他资源实施强有力的访问控制。●制定和执行最低限度获取政策：○使用策略即代码工具（如OpenPolicyAgent）跨环境提供细粒度、灵活的基于策略的控制，以定义和实施最低权限访问策略，确保基础架构满足安全性和合规性要求。○将RAG与Oracle集成以提供对信息的受控访问，确保基于用户角色的适当访问级别○使用工具或平台持续监控和调整用户权限，这些工具或平台可提供可扩展的统一访问管理，并基于行为、项目©版权所有2025，云安全联盟。Allrigh通过实施基于规则的系统、定期手动审查和自动化脚本来响应特定触发器或用户角色和活动的更改，来满足需求或安全事件○使用匿名化和匿名化协议管理RAG内的数据隐私控制，确保在填充矢量存储时屏蔽、匿名或限制敏感信息●为关键人工智能系统实施多因素身份验证（MFA）○实施MFA（例如，Passkeys），并在所有关键用户接入点实施MFA旁路监控，使用工具持续监控身份验证过程并记录所有活动。○对于服务到服务的连接，使用安全令牌和定期审计来确保持续的安全性。○配置MFA系统，在身份验证期间使用RAG评估上下文风险，增强身份验证过程的安全性●建立定期访问权限审查和审计流程○自动进行访问权限审查，从RAG中提取相关数据，为决策提供信息。○使用自动化日志工具和实时监控仪表板，持续分析日志并监控LLM和RAG系统中的访问活动。○分析RAG查询以识别和拦截可能导致绕过访问控制的可疑查询模式○汇总来自各种来源（包括SIEM系统）的数据，生成实时合规性报告，并使用自动化数据集成工具、报告软件和计划脚本自动更新审计跟踪持续监控和报告●实时监控访问模式和异常○利用日志记录和监控工具，并利用SIEM和入侵检测和防御系统（IDPS）来持续监控LLM和RAG系统的访问模式○使用行为分析集成机器学习模型，通过检测异常来识别潜在的○确保通过Splunk和Exabeam等工具检测到的重大异常按照HITL流程上报给人类进行进一步调查。©版权所有2025，云安全联盟。Allrigh●跟踪和报告访问策略违规：○配置监控系统，以持续检测与既定访问策略的偏差○实施自动化系统，其中日志记录和报告工具生成有关访问策略违规的详细○建立一个流程，根据HITL将严重或反复违反访问政策的行为上报给人类进行审查和采取行动。●定期审查和更新访问控制策略：○维护LLM、RAG和自动监控系统中所有访问活动的详细日志○利用自动化日志分析工具定期审查和分析访问控制日志，以发现潜在安全风险或违反策略的○实施定期审计计划，让人类管理员审查访问控制日志，并通过自动报告工具提供摘要和重点。○访问控制的更改，如角色修改、ACL更新或策略调整，应立即记录。●与事件响应集成○设置自动触发器，将涉及访问控制违规的事件上报给事件响应团队。○将持续监控和报告与组织的事件响应框架集成。○对于自动检测系统认为严重的事件，确保人类响应者迅速参与。○解决事件后，进行一次彻底的事件后审查，包括自动化系统和人类（HITL）管理员。●实施Role-BasedAccessControl（RBAC）/Atribute-BasedAccessControl（ABAC○根据不同的用户类型定义角色和权限（例如，数据科学家、人工智能工程师、管理员、外部用户）。○动态访问管理工具可以根据实时上下文，例如项目范围、用户行为或检测到的异常的变化©版权所有2025，云安全联盟。Allrigh○不仅要限制谁可以访问培训环境，还要限制他们可以执行的具体操作（例如，修改超参数、访问训练数据）。●控制对AI模型训练和微调功能的访问○限制对LLM和模型进行训练、微调或测试的环境的访问，并确保记录和监控此类访问○部署自动监控系统以监控培训活动并自动拦截或防止未经授权的访问尝试。○确保重要的培训活动，例如微调敏感数据集，在继续之前需要人工批准●限制访问AI模型使用的敏感数据○根据敏感度对数据集进行分类（例如，public，internal，confidential，restricted）。○使用RAG检索有关数据请求的上下文信息，并利用访问控制系统来实施访问限制。○对特权较低的角色必须访问的敏感数据应用数据掩蔽或匿名技术●安全访问RAG特定组件：○限制可以访问和修改RAG查询的知识库和数据源的人员○部署自动化查询监视工具来监视所有RAG查询，并拦截不寻常或潜在恶意的查询。○实施查询隔离，将敏感查询与不太安全的环境隔离。○确保与RAG组件的所有交互都被记录并可审计。●为关键AI系统实施多因素身份验证○执行MFA（例如，密钥）访问和部署LLM和RAG模型。○上下文感知安全系统可以通过动态分析上下文数据（例如，用户位置、设备健康）和调整MFA要求。就像有条件的MFA政策一样，MFA要求根据实时风险评估或风险评分动态调整。○当由于操作需要而绕过MFA时（例如，紧急访问），自动警报系统可以将这些事件标记为立即人工（HITL）审查和批准。©版权所有2025，云安全联盟。Allrigh●人类的监督和干预：○建立人工（HITL）监督自动化操作的协议○明确的升级机制：监控系统可以自动通知人类管理员可疑或高风险的活动，以便及时干预。○安排定期审计，在此期间，人类管理员审查自动化系统决策，RAG查询日志和访问控制配置，以确保系统按预期运行，并且没有发生未经授权的访问。遵守AI标准最佳实践●遵守访问控制的行业标准○ISO27001-2022，INFOTINSECURINAGEMENT○NIST800-53，信息安全控制○ISO/IEC23894：2023，人工智能风险管理指南●遵守有关访问个人数据的数据保护法规○GDPR，通用数据保护条例○CCPA/CPRA，加州消费者隐私法/加州隐私权法●遵循AI系统中特权访问管理的最佳实践○云安全联盟（CSA）保护LLM支持的系统：基本授权实践○云安全联盟（CSA）使用AI进行攻击性安全控制实践LLM应用程序背景下的隐私责任是指保护个人隐私权并确保在AI系统的整个生命周期中负责任地处理个人数据的道德和法律义务。这包括收集、处理、存储、遗忘和删除用于训练和操作AI系统的数据，以及管理AI生成的输出的隐私影响。隐私责任包括实施强有力的隐私保护措施，遵守相关法规，并在组织内培养隐私意识和所有权文化它旨在平衡人工智能技术的创新潜力与基本隐私权，确保人工智能系统的信任©版权所有2025，云安全联盟。Allrigh评价标准●遵守相关数据保护法规（例如，GDPR、CCPA）●通过设计原则实现隐私●数据最小化实践●数据收集、使用和生命周期管理的透明度●数据匿名化和匿名化技术的有效性●同意管理流程的稳健性●数据主体权利的处理（例如，被遗忘权（Righttobeforgotten）●LLM应用程序RACI模型（RACIModel）作用责任负责隐私官，数据保护官，首席人工智能官，首席技术官（CTO）负责首席信息安全官（CISO）、首席风险官（CRO）咨询法律部、AI道德委员会、开发团队知情所有员工、利益相关者、最终用户高级别执行战略●对每个LLM应用程序进行全面的隐私影响评估●在开发生命周期中实施隐私设计原则●制定和执行特定于LLM使用的隐私政策●为LLM培训、微调、用于创建RAG嵌入的上下文数据和运营数据建立数据治理框架●尽可能减少个人和敏感数据●实施强大的同意管理和数据主体权利流程●定期进行隐私审核和评估●为所有参与LLM开发和运营的人员提供隐私培训持续监控和报告●定期的隐私审核（例如，每年一次）●持续监测数据访问日志●定期审查同意记录和数据主体请求●持续评估数据最小化工作●定期更新隐私影响评估©版权所有2025，云安全联盟。Allrigh●监控隐私相关事件和违规行为●向高级管理层和相关利益相关者报告隐私指标●监测新的全球监管要求●隐私管理员：完全访问与隐私相关数据和系统相关的访问日志●数据保护专员：完全访问所有与隐私相关的数据和系统●CISO：阅读隐私报告和评估●法律部门：阅读隐私政策和影响评估●AI道德委员会：阅读隐私影响评估和报告●开发团队：限制访问匿名数据进行测试和开发●最终用户：访问自己的个人数据和隐私设置遵守AI标准和最佳实践●ALignmentihISO/IEC27701forprivacyinforrmationmangement●符合NIST隐私框架●遵守经合组织的人工智能原则，特别是“尊重人权和民主价值观”●IEEEP7002数据保密处理标准的实施●采用人工智能道德准则中的最佳实践（例如，欧盟人工智能高级别专家组（HighLevelExpertGrouponAI）●针对AI和LLM的行业隐私标准进行定期基准测试●遵循云安全联盟AI研究论文提供的指导○人工智能风险管理：超越监管界限的○实践原则：动态监管环境中的负责任随着组织在其开发过程中越来越多地利用商用现货（COTS）和第三方人工智能解决方案，管理相关风险变得至关重要。本节探讨了人工智能中第三方和供应链管理的各个方面，包括供应商评估、采购流程、合同义务和持续监控。组织可以通过解决这些问题来确保其AI供应链的完整性、安全性和合规性。评估和选择合适的LLM提供商，开源或闭源，对于寻求利用大型语言模型的组织LLM供应商评估涉及全面的评估过程，以确保潜在的供应商满足组织的安全，性能，道德和合规要求，最终降低风险并最大限度地提高AI采用的好处。©版权所有2025，云安全联盟。Allrigh评价标准在评估LLM供应商时，必须考虑一系列评估其安全性，性能和道德实践的因素。以下标准为评估潜在供应商提供了一个综合框架●供应商的安全实践和认证：○CloudSecurityAlliance云安全联盟○Cybersecurityceriticatitictins（e.G.，ISO27001，SOC2）○数据隐私证书（例如，GDPR、CCPA、HIPAA、PCI/DSS）○事件响应和灾难恢复计划○安全事件报告流程●模型性能准确性和可靠性指标：○ACCURACYMETRICS（E.G.，precision，recall，F1-score）○偏差评估指标（例如，公平性度量，误差分析）○可解释性度量（例如，特征重要性、模型可解释性）○模型性能监控和检测问题，如幻觉或不一致。○模型更新流程-供应商更新和重新训练模型的流程，包括处理重大变更。●人工智能道德和偏见缓解策略的透明度○公开承诺遵守AI伦理原则○使用的偏差缓解技术（例如，数据扩充、公平性约束）○模型开发和决策过程的透明度○处理敏感话题，包括模型输出中的暴力、仇恨言论和歧视●遵守相关法规和标准：○遵守数据隐私法规（例如，GDPR、CCPA）○遵守AI特定法规（例如，《欧盟人工智能法》（BAA）○行业特定标准（例如，NISTAI风险管理框架）●供应商的数据处理和隐私惯例：○数据源、数据所有权和控制（培训、再培训和微调数据源）○数据安全措施（例如，加密、访问控制）○数据隐私和合规实践，包括数据保留和删除政策、数据共享和传输实践○训练数据的固化过程，包括过滤有偏见或有毒内容的技术○合成数据生成和合成数据扩充实践（如适用）。©版权所有2025，云安全联盟。AllrighRACI模型（RACIModel）作用责任负责采购团队、AI战略团队、隐私与合规团队负责首席技术官，CPO咨询法律团队，信息安全团队，研究，数据专家知情业务部门领导高级别执行战略组织必须仔细考虑各种因素，并遵循结构化的方法，以有效地实施全面的LLM供应商评估策略。以下步骤概述了一个高级实施策略，可以帮助组织选择最合适的LLM提供商，同时降低风险并确保与业务目标保持一致●制定或采用一份全面的供应商评估问卷：制定一份问卷，涵盖根据组织的具体需求和风险承受能力量身定制的关键评估标准●建立评估LLM供应商的明确标准定义评估供应商的定量和定性●对供应商产品进行全面的技术、安全和道德评估评估供应商的技术能力、安全实践以及对道德AI原则的承诺●评估供应商对负责任的人工智能实践的承诺评估供应商对道德准则的遵守情况，偏见缓解策略以及模型开发的透明度●建立评估第三方风险管理的流程和程序制定处理已识别风险或缺陷的流程，包括重新谈判合同或寻找替代供应商。持续监控和报告●根据商定的指标定期审查供应商绩效根据既定的评估标准监测供应商绩效，并确定任何偏差。●监控供应商安全状况或合规状态的变化随时了解供应商安全实践或相关法规合规性的任何变化©版权所有2025，云安全联盟。Allrigh●定期编写供应商风险评估报告：编写定期报告，概述供应商评估情况，并查明任何新出现的风险。●根据行业基准跟踪供应商绩效将供应商绩效与行业基准和最佳实践进行比较。●控制对供应商评估数据和报告的访问限制授权人员访问敏感的●对供应商管理系统实施基于角色的访问：根据角色和职责分配适当的访问级别●限制启动或修改供应商关系的能力建立启动和修改供应商关系的明确程序，以防止未经授权的更改。遵守AI标准和最佳实践●遵守领先科技公司的负责任的人工智能指导方针：遵循Google，Microsoft，HuggingFace，OpenAI和PartnershiponAI等组织的指导方针。●遵循LLM供应商评估的行业特定指南参考行业协会或监管机构的指南CSA、OWASP、金融业监管局（FINRA）、HITRUST等）。NISTCybererityFramework、ISO27001-2022、InformationSerityManangement、NIST800-53、Information安全控制和SO/IEC23894：2023AI风险管理指南。●遵守行业特定的数据隐私和合规准则：遵守有关访问个人数据的数据保护法规（GDPR、CCPA/CPRA）。●遵循人工智能供应商尽职调查的最佳实践：进行彻底的尽职调查，包括背景调查，参考调查和技术评估。（参见AI供应商尽职调查清单。）©版权所有2025，云安全联盟。Allrigh一个结构良好的人工智能技术采购流程对于确保组织获得符合其特定需求的LLM或GenAI工具和服务，同时降低风险并最大化人工智能采用的好处至关重要。组织可以通过仔细评估供应商，评估安全要求和解决道德问题来做出明智的采购决策并优化其人工智能投资。评价标准●完成采购流程的时间采购流程的效率和速度，以天或周为单位●AI供应商采购遵守采购政策的百分比：AI供应商解决方案采购遵守既定采购政策，确保所有采购符合组织标准●采购过程中发现的安全和合规问题数量采购流程在识别和解决与人工智能工具和服务相关的潜在安全和合规风险方面的有效性●具有安全和道德评估记录的人工智能采购百分比人工智能采购经过全面安全和道德评估的程度，以确保它们满足组织要求并降低风险RACI模型（RACIModel）作用责任负责采购团队负责首席财务官咨询法律团队，IT安全团队，AI战略团队知情业务部门领导高级别执行战略●为AI供应商建立供应商风险管理计划：制定一个全面的计划来评估和管理与AI供应商相关的风险，包括安全、道德和合规因素。©版权所有2025，云安全联盟。Allrigh●制定人工智能专用的采购政策和程序：制定量身定制的政策和程序，以解决获取人工智能技术的独特要求和挑战●建立一个跨职能团队，负责人工智能供应商的采购决策：组建一个由相关部门代表组成的团队，确保人工智能采购符合组织的需求和优先事项。●实施并定期审查评估AI供应商和解决方案的标准化流程：制定标准化评估流程，其中包括技术，安全，道德和合规性评估。●将安全和道德因素纳入采购工作流程：确保在采购过程的每个阶段，从供应商选择到合同谈判，都考虑到安全和道德因素持续监控和报告●监控对AI供应商采购政策的遵守情况跟踪对既定政策和程序的遵守情况，以识别和解决任何偏差。●跟踪采购流程在识别和缓解风险方面的有效性：评估采购流程识别和缓解与人工智能采购相关的潜在风险的能力●跟踪AI供应商采购对业务成果的影响：衡量AI采购的收益和成本，以评估其对组织目标的贡献。●生成关于人工智能供应商采购活动和结果的定期报告：为利益相关者提供关于采购活动的定期更新，包括供应商选择，合同谈判和绩效指标。●对采购系统实施基于角色的访问授予不同组织角色适当的访问级别，以确保数据安全并防止未经授权的访问。●控制对敏感供应商信息和建议的访问保护敏感信息，如供应商建议和合同条款，防止未经授权的披露。●限制批准高价值或高风险人工智能采购的能力实施控制措施，确保只有授权人员才能批准重大人工智能采购。©版权所有2025，云安全联盟。Allrigh遵守AI标准和最佳实践●遵守组织和行业采购标准：遵循相关采购标准和指南，以确保一致性和效率（例如，供应管理协会（ISM）、全球生产商协会（GPF）、质量管理协会ISO9001和质量管理协会ISO27001-2022）。●遵循行业特定的人工智能供应商采购指南：参考行业特定的人工智能技术采购建议，例如来自技术协会或监管机构的建议（例如，CSA、OWASP、金融业监管局（FINRA）、HITRUST）。●遵守技术采购的相关法规：确保遵守与技术采购相关的适用法规，包括数据隐私和网络安全法（例如，欧盟采购指令、联邦采购条例（FAR）、GDPR、CCPA/CPRA）。●遵循负责任的人工智能供应商采购的最佳实践：在获取人工智能技术时考虑道德和社会影响，确保它们与组织价值观保持一致，并避免意外的负面后果。（例如，AI伙伴关系、IEEE自主和智能系统伦理全球倡议、欧盟可信AI伦理指南）2.3准确的Certicins/Thrd-PartyReports来自第三方的可接受证书/报告是指AI供应商应提供的公认标准、审计和评估，以证明合规性、安全态势和道德AI实践。评价标准●满足认证要求并经过验证的供应商数量●证书延期和更新●提供最新报告的供应商百分比●获得认可机构认证的供应商百分比©版权所有2025，云安全联盟。AllrighRACI模型（RACIModel）作用责任负责供应商管理小组负责首席风险官咨询法律团队，信息安全团队知情采购团队、业务部门负责人高级别执行战略●为AI供应商定义可接受的证书和报告列表●建立验证和评估第三方认证的流程●实施跟踪和管理供应商证书的制度●根据行业趋势定期审查和更新认证要求●制定一个处理不遵守持续监控和报告●监测供应商证书的有效性和过期时间●跟踪认证标准的行业变化●为即将到来的证书更新或认证●跟踪认证要求在确保供应商合规方面的有效性●控制对供应商认证文件的访问●对认证管理系统●限制修改认证要求的能力遵守AI标准和最佳实践●坚持行业认可的AI认证标准●符合第三方评估●遵循供应商风险管理的最佳做法●遵循行业特定的AI供应商认证指南（例如，NISTAI认证框架）©版权所有2025，云安全联盟。Allrigh人工智能供应链管理背景下的合同义务是指组织与其人工智能供应商之间建立的法律协议和承诺，确保对性能，安全性，数据处理和道德人工智能实践的明确期望评价标准●包含人工智能专用条款●违反合同或争议的数量●对人工智能相关问题有明确升级程序的合同数目●谈判和敲定AI供应商合同所需的时间●合规审计●有明确业绩指标的合同百分比●有互操作性要求的合同数目RACI模型（RACIModel）作用责任负责法律团队负责首席法律干事咨询采购团队、IT安全团队、AI战略团队知情业务部门领导高级别执行战略该战略概述了为AI供应商协议开发和实施标准化合同模板，重点关注AI性能、安全性、道德和合规性等关键领域我们的目标是建立一个一致的、适应性强的合同框架，确保明确的预期，降低风险，并与不断发展的行业标准和法规保持一致●为AI供应商协议制定标准化合同模板创建并实施包含关键AI特定条款的标准化模板，以确保所有AI供应商合同的一致性和效率●为人工智能性能、安全、道德和数据隐私合规制定明确的合同条款定义并将与性能指标、安全协议和道德人工智能实践相关的具体条款整合到所有合同中，以设定明确的期望和义务。©版权所有2025，云安全联盟。Allrigh●对人工智能特定的合同条款实施审查流程：建立一个涉及关键利益相关者的定期审查流程，以确保人工智能合同条款持续符合最佳实践和不断变化的监管要求。●根据不断变化的人工智能法规和最佳实践定期更新合同模板持续监控法规变化和行业趋势，更新合同模板以保持合规性和相关性。●建立处理与人工智能相关的合同纠纷的流程，包括时间表和升级协议：制定透明的纠纷解决流程，包括预定义的升级程序，以确保有效管理与人工智能相关的合同问题。持续监控和报告●监测供应商遵守合同义务的情况：实时监控工具，以持续跟踪供应商对合同履行、安全和道德标准的遵守情况●跟踪和报告合同续签和修订：利用合同管理系统来监控合同时间表，管理续签，并记录任何修订，确保所有更改都得到有效记录和沟通。●定期评估合约条款在减轻人工智能风险方面的成效进行定期风险评估，以评估现行合约条款在减轻人工智能风险方面的成效。与AI相关的风险，例如AI模型中的安全漏洞或偏见●跟踪合同义务在确保供应商问责制方面的有效性定期审查供应商绩效数据，以确保他们对满足商定的指标和标准负责如发现绩效问题，则采取纠正措施控制对人工智能供应商合同和相关文件的访问●