2024年大模型安全实践报告-真实漏洞视角下的全面探讨-360数字安全

2 3 3 5 5 6 8 9 10 10 10 12 12 12 13 14 16 17 18 18 19 19 20 20 21 22 23 243本文对大模型在软件设施和具体应用场景落地中的安全问题进行多方面探Dify4triton-inference-ser51.模型训练和验证经常会使用到开源第三方数据集，或者在使用网的内容形成自有数据集时，并没有进行有效清洗，导致数据集中包含一个直观的例子是，如果大量重复的在聊天机器人问答过程中输入错误的事实，则可能会影响该聊天机器人与其他用户对话时对于类似问题的678examples."arXivpreprintarXiv:1412.6572(2014).9忆注入）以及JSONexploiting（JSON格1.未授权访问来自其他数据提供方的关键数据，这将导致最直接的隐私泄2.从模型生成结果中还原出原始训练数据信息，或推断模型特征，从而实大模型的开放性和可扩展性使得其在训练和推理过程中面临着诸多安全威为了提升整体运行效率，框架底层主要使用C/C++进行编程，并在算法的这些框架上层均提供了以Python为主的各类接口来访问底层C++实现。早在对于在训练过程中会被经常运行的代码逻辑而言，每加入一行新代码都会在整体上拖慢程序的运行速度，而为了修复内存安全问题增加的补丁2.此类问题的利用条件相对苛刻，在实际应用场又能控制传入的参数值，而这两者通常只由框架的使用者决定。考虑到内存破坏漏洞利用通常还需要额外的逻辑来精确控制内存，因此上述攻击在大多数场景下是难以实施的，即当攻击者能满足此类利用条件时，不可信模型，与直接执行不可信代码是等价的，其中，由Pickle格式的模型而导致的任意代码执行则是一个WorkerWorkerWorkerFrameworkLevelTaskWorkerWorkerWorkerFrameworkLevelTaskschedule&NodeManagementgRPC/HTTP/SSH/Sockets...Workera2a3Workerbob1b2WorkerWorkera2a3Workerbob1b2Workerdod1d2d3WorkerParallelComputingLevelAllReduce▲行计算层负责运行具体的计算任务，通过专门的并行计算协议完成节点间的数架都没有良好的安全策略实现。在这里我们选取了其中几个代表性框架进行分llama.cpp是一个使用C/C++实现，提供了LLaMA和其它多种大语言模型的2图片来源：/ggerganov/lla理。当接收到消息时，服务端会先检查消息的签名，在验证通过后，使用2.确保服务生命周期的合理性，例如，在同步网络信息后，将及时关停ClientrequestClientrequestRayClustergRPCWorkerNodeWorkerProcessRayletsharedmemobjectstoreRuntimeEnvAgentHeadNodeDriverProcessJobManagerDashboardGlobalControlStore虽然在不同的场景下，实施这些攻击的难易程度也有所不同，但不可否认的是，绝大多数的框架开发者目前并没有投入精力来解决因框架设计导致的安全敞口AI应用以人工智能技术为核心，构建了完整用户交互流程，旨在通过自动化决策和智能分析来解决实际问题。AI应用通常集成了前端采集用户输AnythingLLM是一个支持使用商业或开源大语言模型并结合私有知识库进取实时信息或读取用户本地知识库；交互增强类plugin可以绘制图表片等等。一些功能强大的plugin甚至允许用户通过自然语言或其他形户可以通过自然语言与数据进行交互，而无需编写复杂的代码。PandasAI中的SemanticAgent通过添加语义层来显然，AI应用很难从辨别代码意图的角度去进行代码执行的任务来保障安全问题，因为在绝大多数情况下，AI代码并不复杂，通过简单的Python解释器这是因为AI本身就具备