ChatGPT：是崛起的AI攻击之矛还是万能的网络安全之盾

ChatGPT：是崛起的AI攻击之矛，还是万能的网络安全之盾什么是ChatGPT和大语言模型ChatGPT是由美国科技创业公司OpenAI开发的人工智能聊天机器人，最初是基于GPT-3大语言模型，使用深度学习来产生类似人类的文本，目前ChatGPT底层的大语言模型已经进化到GPT-4。

大语言模型指在基于大量文本的数据上训练模型，训练用的语料样本最初是从开放的互联网获取，涵盖了各种类型的网页内容，包括学术论文、社交媒体帖子、博客、新闻文章等大量的数据。

而这些大量的数据在摄入时，无法完全过滤所有冒犯性或不准确的内容，因此"有争议的内容"很可能包括在其模型中。该模型通过分析不同词语之间的关系，并将其转化为概率模型，然后可以给模型一个"提示"，它将根据其模型中的单词关系提供一个在概率上最接近用户期待的答案。ChatGPT的数据边界问题ChatGPT现在已经基本定义了一种新的AI应用的工业范式，即人机交互使用Chatbot聊天模式，后端用大语言模型进行意图理解和内容生成，再结合API实现多模态应用。

既然是聊天，那么就需要有输入和输出。输入就是“喂”给模型的数据，可以是向ChatGPT提出的问题，也可以是向其提供的数据资料；输出则是经过模型计算和API调用后利用模型生成接近用户期待的内容和格式的结果。

这样在用户与ChatGPT对话的过程中，就会把用户的数据上传给ChatGPT的服务器，根据ChatGPT官方的文档确认，用户与ChatGPT之间的对话数据是会被上传到OpenAI公司进行存储，并且将对话数据中的用户个人信息（如姓名、地址、电话等）进行脱敏处理后，可能会被用于模型后续的迭代训练，以提升产品效果，但这个过程并不会自动被执行。

ChatGPT目前没有提供类似GoogleAssistant、Siri、AmazonAlexa和MicrosoftCortana这类聊天机器人应用中的“隐私模式”或“无记录模式”。在这种模式下，用户可以保证自己的对话内容和个人信息不会被记录或收集。ChatGPT的用户如果不想其数据被利用于ChatGPT的训练迭代，需要通过向OpenAI提交申请。

介于ChatGPT目前还处于未公开其技术细节和数据处理流程的状态，其对用户数据的使用也没有得到第三方机构进行审计和监管，如JPMorgan、Amazon、Verizon、BankofAmerica等一些企业已经禁止其员工在工作时使用ChatGPT，以防止敏感的企业数据泄露，甚至如某些国家已经官方宣布基于数据隐私安全的考虑，禁止使用ChatGPT。

观点1：从政策和技术两方面保证类ChatGPT应用的数据边界安全。面对上述的ChatGPT数据边界问题，目前产品还不能满足保护数据安全性的相关需求，需要通过加强相关的安全合规性立法、进行模型私有化部署和对模型数据使用过程进行审计等方法来解决这个问题。

以OpenAI的ChatGPT为例，ChatGPT无法满足GDPR和《个人信息保护法》中关于个人信息隐私保护的相关需求，如用户无法行使对其个人数据的“删除权”，这不仅是ChatGPT没有开放这个功能，在技术上当个人数据经过处理进入数据集后，往往就丢失了溯源能力，也很难再被单独找出来删除。对于部署在国外的服务器上的类ChatGPT的大语言模型应用来说，更是无法满足《数据安全法》对数据不出网、不出境和能够进行有效管控的要求。

从技术角度考虑，如果要满足大语言模型应用的数据安全合规性，需要在以下几个方面做出改进：

模型私有化部署：私有化（即本地化）部署是满足企业用户在使用大语言模型应用时数据不出网、不被滥用的主要方法之一，这个部署包括了提供可以进行模型微调（Fine-Tuning）在内的算力环境。由于大语言模型的生成效果也取决于训练时的语料数据，在专业性很强的垂直领域要达到更好的生成效果，也是需要提供语料来优化模型，因此大语言模型的私有化部署是让数据在企业内形成内部循环来持续优化模型的可行方法。对于云端提供的大语言模型中数据的使用过程进行第三方审计：可以从数据的输入、存储和使用等环节提供第三方的系统来进行数据安全合规性的监控和审计。如通过调用大语言模型提供的API来自己提供Chat接口，并对聊天过程中输入的数据进行合法合规性审计；在线存储的用户对话数据必须进行加密存储；对被用于模型迭代更新的用户数据进行合规性审计后才可以使用。大语言模型赋能安全攻击很多文章已经讨论过大语言模型被用于网络渗透攻击的例子，主要包括以下6个方向：①通过绕过ChatGPT的防御规则，来欺骗其通过大语言模型生成恶意代码、生成攻击脚本；②使用大语言模型快速批量生成社会工程攻击的文本，如钓鱼邮件或者根据用户信息生成攻击字典；③对开源代码进行自动化漏洞挖掘和漏洞利用测试；④获得网络安全工具使用方法、漏洞信息等多种知识；⑤组合已有的单点攻击工具，生成更强大的立体化多点攻击工具；⑥使用大语言模型的编程能力实现代码混淆和修改实现逃避检测和免杀。

观点2：大语言模型赋能攻击可能引发新的网络入侵潮。大语言模型的自动化生成能力将大大提升安全入侵的效率、降低安全入侵的技术门槛、提升安全入侵自动化能力、降低高级安全入侵的实施成本，国内受到网络安全法的震慑，相关安全事件发生会受到一定制约，但来自国外的个人和小团体攻击将有可能迎来一波大幅的提升。

大语言模型对网络安全的威胁将大于对网络安全的帮助似乎已经成为共识。因为大语言模型的自动生成能力可以很容易帮助入侵者把一个想法快速变成一段代码或者文本。

比如，对于本来需要5-10人花费数周时间，才能开发出来具有免杀能力的新型0day恶意代码，运用大语言模型的自动生成能力，可能通过几次对话生成，即使是略懂原理的初学者，也能在几小时内完成。从此脚本小子的个人战力得到极大提升，给企业带来威胁的入侵者数量将出现几个数量级上的增长。

ChatGPT通过对Github上大量开源代码的自动化漏洞挖掘可以让入侵者以低成本快速掌握多个0day漏洞，尤其在一些不被大范围使用的专业性较强的开源系统上的漏洞往往不会被注意，因为这些漏洞挖掘的性价比并不高，但ChatGPT改变了这个规则，完成这些工作只需要编写一些自动化的代码，就可以完全交给ChatGPT进行后续工作，甚至自动化代码都可以让ChatGPT代劳。这让入侵者可以把挖掘0day漏洞从原来主要聚焦于广泛使用的开源软件转向所有开源软件，这会对一些以前入侵者很少涉足的专业领域产生极大的潜在安全威胁。

ChatGPT使得使用钓鱼邮件进行社会工程攻击变得更容易、更高效、更不易被发现。通过AIGC能力能够快速批量生成不同表达方式的钓鱼邮件，并且利用ChatGPT的角色扮演能力，能够轻易以不同角色的身份来撰写，这些邮件的内容和口吻更加真实，使得分辨难度大大提高。大语言模型赋能安全防御大语言模型的很多能力在赋能安全攻击和赋能安全防御两个方面都是相对应的，但安全防御与安全攻击的不同点在于，安全攻击只要找到任何一个突破点就能够取得攻击成果，而安全防御则需要尽可覆盖所有场景才能够防御成功。因此大语言模型在自动化生成能力方面对安全防御的加成远小于对安全攻击的加成。

大语言模型在以下5个方面对安全防御能力提供了能力加成：

①安全运营管理过程中的代码生成：包括检测脚本生成、安全设备配置策略下发命令生成、日志范式化正则表达式自动生成，以及检测脚本代码在各种不同版本编程语言间的自动化转化、安全配置策略命令在不同品牌安全产品间的自动转换等；②代码安全：包括针对代码漏洞、注入点和内存泄漏点的自动化检测和审计，自动化生成代码安全问题的修复建议；③安全模型训练数据增强：如通过批量产生垃圾邮件、钓鱼邮件来增强训练样本，批量生成弱口令样本等；④安全运营知识获取：包括如获取安全分析方法、获取安全分析工具信息、获取漏洞情报和威胁情报等；⑤自动化安全分析和响应：通过大语言模型进行安全运营的多意图理解，并通过API驱动接入的安全设备和系统完成包括安全事件调查、安全分析脚本推荐、安全事件响应剧本生成、攻击溯源图生成、攻击脚本和恶意代码解读、威胁情报关联、安全分析总结和报告生成等。

观点3：大语言模型赋能安全防御可以帮助专家节省时间，但没有赋能安全攻击更有威力。网络安全防御是一种需要进行精确判断和决策的技术，大语言模型快速生成的代码和方案可以帮专家节省时间，但由于大语言模型在AIGC过程中的“幻化”问题，所以由大语言模型提供的代码和方案需要经过人工验证其正确性，这对于具有验证能力的专业人员来说，大语言模型能够在一定程度低提高其对安全事件的处理效率。

同样的“幻化”问题也存在于大语言模型赋能安全入侵中，但一般认为对安全防御水平的验证难度是高于安全入侵的。安全入侵过程很容易在模拟环境中被验证，只要通过返回的信息就可知晓攻击是否成功，而安全防御则需在靶场中先模拟出各种可能的入侵，才有可能被验证，这在实战应用中防御效果的验证难度将会更高。大语言模型竞争催生的安全问题ChatGPT惊艳世界后，引发了大语言模型领域的全球性竞争，实力大厂、创业公司等都纷纷入局，这将会带来两大方面安全问题：

一是AI厂商为了争夺大语言模型风口的时机，短时间内产生大量AI算力需求，上线大量AI算力平台，但业界至今没有很好解决AI算力平台的自身安全问题，包括用户数据使用过程中的传输、存储的安全问题，模型训练和推理过程中的安全问题、算力平台自身系统和软件的安全问题等，也缺乏相应的安全标准和规范，将有可能导致大量用户数据被泄露的风险。

二是大语言模型不仅是单一应用，通过开放API可以让大语言模型成为连接万物的智能大脑，大语言模型的应用将会成为平台级、系统级的庞大应用。这就带来了接入大语言模型的第三方应用的接入安全问题、数据安全问题，以及第三方应用的合规性问题、防止恶意第三方应用接入、第三方应用自身安全问题等多种问题。

观点4：需要尽快推出面向AI算力平台安全、大语言模型第三方应用接入安全相关的安全标准和规范以及研发相关的安全产品和方案，为大语言模型发展护航。基于大语言模型的全球性科技竞争由ChatGPT引爆，AI厂家纷纷抢占先