2024大模型安全研究报告

3.34.24.2大模型赋能安 1.1安全目1.21.2爆发期：语言大模型（2022年-2023年1.31.4训练数据安全风 算法模型安全风 系统平台安全风 业务应用安全风

3.4模型偏见缓 系统安全加固保 大模型插件安全保 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5.2

2.12.22.32.42.5

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT其 自动化数据分类分 自动化APP（SDK）违规处理个人信息检 智能文本内容安全检

ImageNet中以压倒性优势获得第一名，拉开了全球深度神经网络研究浪潮。2020年，OpenAI推出了GPT- 1.2爆发期：语言大模型（2022年-2023年 2022年末，OpenAI发布的ChatGPT引爆了全球大模型技术竞赛。此后，谷歌的PaLM、MetaLLaMA、AnthropicClaudeFalconNOOR、阿里云的通义千问、百度的文心一言等语 2024OpenAISoraGPT-4o了全球多模态大模型研发和应用热潮。谷歌的GeminiUltra、阿里云的Qwen-VLMax、百度的Ernie-ViLG3.0

MindSpore FOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT

开发工具链安全风险：大模型系统开发过程中使用的工具链（如Langchain、Llama-Index、pandas-

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT ISO/IEC22989:2022GB/T41867-2022《信息技

大模型展现其正确实现这些要求的性质。 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 算法模型安全措施：算法模型安全措施指针对大模型算法模型部署的安全防御能力。算法模型安全措施主要

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT KDEKLK-S

FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 评测数据集主要包括AdvGLUE、ANLI、PromptBench等。鲁棒性评测指标主要包括模型预测的准确性、性能TruthfulQA、HalluQA、UHGEval

模型偏见性评测。该测评旨在全面客观定量评价大模型在训练阶段和推理阶段的偏见歧视程度。模型偏见性评测流程可分为偏见风险分析、评测任务选择、评测指标选择和数据集构建。主流的偏见性评测数据集包括WINOGENDEROLD 一是检索增强生成（RetrievalAugmentedGeneration,FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT三是思维链技术（Chain-of-基于人工反馈的强化学习（ReinforcementLearningfromHumanFeedback,RLHF）。RLHF基于人工智能反馈的强化学习（ReinforcementLearningfromArtificialIntelligenceFeedback，RLAIF）。Anthropic、OpenAIGoogle

键部分。例如，OpenAIGPT-4GPT-2FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 建立良好的安全开发机制。首先，在大模型系统开发过程中建立安全开发标准，制定详细的安全编码规范、架将安全管控活动嵌入到大模型系统开发流程中,包括需求分析、设计、编码、测试、部署和运维阶段，实现安全与开发的深度融合；再次，加强安全开发培训，定期举办安全培训课程，提升安全设计、安全编码、安全开发的意识、素养；同时，持续跟进安全开发技术，加强大模型系统安全开发实践；最后，定期进行内部或第三方安全审计，评估安全开发机制的有效性，识别改进点。

加强对大模型插件输入内容的检测。第一，插件开发人员应根据OWASPASVS的建议，进行有效的输入验证FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT 4

AIGC

FOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT1 FOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORT5结合行业实践情况，本报告重点阐述大模型在网络安全、数据安全、内容安全三个领域的探索应用情况。网络领域，大模型可应用于数据分类分级、APP（SDK）违规处理个人信息检测等场景。内容安全领域，大模型可应用于文本内容安全检测、图像视频内容安全检测和音频内容安全检测等场景。2

IPURL、恶意文件哈希值等各类IPFOUNDATIONMODELSAFETYFOUNDATIONMODELSAFETYRESEARCHREPORTC&C(CommandandControl)DNSIPC&C服务器、恶意域名和僵尸网络节点等恶意基础设施。

APTFOUNDATIONMODELFOUNDATIONMODELSAFETYRESEARCHREPORTL3

TCP FOUNDATIONMODELSAFETYRESEARCHREPORTFOUNDATIONMODELSAFETYRESEARCHREPORT

大模型凭借文本理解、文本生成等能力，可在精准理解与解答、上下文感知与个性化推荐等方面发挥重要作etrieal-AugmentedGeneation,RG）、知识图谱等技术，大模型能够从外部知识库中检索关联信息，API3

3.2自动化APP（SDK）违规处理个人信息检 APP（SDK）违规处理个人信息检测技术旨在识别APP、软件开发工具包（SoftwareDevelopmentKit,APP（SDK）违APP、SDKAPP、SDKAPPAPP（SDK）L3APPFOUNDATIONFOUNDATIONMODELSAFETYRESEARCHREPORT FOUNDATIONMODELF