AIGC专题：生成式AI时代的网络安全

生代成的式网络AI安时全了解当今的安全环境在如何变化目录01

→02

→简介网络罪犯会如何使用生成式

AI03

→AI

如何充分发挥投入网络安全的时间和04

→人才的作用保护

AI：风险和建议84%的AI

高的管网计络划安优全先解考决虑方生案成。1

式3简介约使用48生%成的式高A管I

来预助计力，近他一们半的的日员常工工将作在。2明然年而用，这几种乎科所技有可的能企会业在领未导来者3(年96内%在)

都他表们示的，组采织中造成安全漏洞。1

去美年元，全美球国数为据94泄8

露万的美平元均，企成业本需达要到降4低45风万险，而不是增加风险。3雪上加霜的是，黑客预计将采用生成式

AI，获得生成式

AI

以赋予企业的相同速度、规模和先进性。使用生成式

AI，黑客可以创建更具针对性的网络钓鱼电子邮件，模仿受信任用户的声音，创建恶意软件和窃取数据。幸已运投的资是于，机为器了学最习大(限ML度)

等地传利统用时AI间解和决人方才案，的们网可络以安利全用领生导成者式可AI以工利具用来A保I

进护行数反据击和用。他户，并检测和阻止潜在的攻击。这对事挑关战，重并大充。我分们利创用建生本成指式南AI是的为弹了性帮。我助们您探应讨式，了以攻及击您者应可如能何使使用用生这成些式科A技I

来更攻好击地您保的护方自己。最后，我们提供了一个框架来帮助您保护整个企业的

AI

训练数据、模型和应用程序。014下一章网的络组安织全尝领试导这者种正变面革临性着科生技成时，式虽A然I

的这挑项战科。技当可他以们推动整个企业的生产力大幅提高，但他们必须控制生成式据泄AI露可到能黑带客来操的纵潜A在I

执风行险恶和意威任胁务。这带包来括的从各意种外风数险和威胁。网络罪犯会如何使用生成式

AI02生规成模、式精A度I

可和能先会进像性其等可益以处为一企样业，让提攻供击速者度受、益新手。生的成技式能A，I降还低将门提槛高，可即能使缺是乏新技手术黑专客长也的可以件在活全动球。范围内发起恶意网络钓鱼和恶意软在准备应对这些威胁时，您应该考虑网络安全研究人员发现生成式

AI

相关攻击的两个主要途径。生成式

AI

相关攻击的主要途径攻击您的组织攻击您的

AI上一章下一章5–

更多网络钓鱼，更多点击：尽管

AI

设计的网络钓鱼旨在实现与人类设计的网络钓鱼相同的目标，但它成为一种可以让攻击者加速并增加其网络钓鱼活动的工具。这种情况会–

增目加标用式户网错络误钓点鱼击：攻恶击意者电可子以邮使件用的生可成能式性。AI

聊天机器人来研究受害者的在线个人资料，从而获得对目标受害者生活方式的宝贵洞说察服分力析的网。这络些钓聊鱼天电机子器邮人件还，模可仿以目生标成受极害具者的语言风格。网络罪犯会如何使用生成式

AI02攻击您的组织使用大型语言模型

(LLM)，网络犯罪分子可以更快地进行更多攻击，从电子邮件网络钓鱼活动到创建恶意软件代码。尽管这些威胁由来已久，但黑客将手动任务转移到

LLM

所获得的技速能度短和缺规的模网可络能安会全使团已队经不面堪临重持续。4

人手和AI

设计的网络钓鱼研内究创人建逼员真证的明，网利络用钓生鱼成电式子A邮I

件可。以5他在们几还分发钟现，这些电子邮件几乎与那些在社会工程网络钓鱼攻击方面经验丰富的人创建的电子邮件一样有效。这些电子邮件非常有说服力，甚至可以挑战准备最充分的组织。中如，L他L们M

可以使生用成公他司们首想席要执的行任官何的音声频音。例给首席财务官留言，指示他们向攻击者控制的银行账户支付一张伪造的发票。IBM

已经证明，攻击者可以实时进行“音频插孔”呼叫。IBM

的一名研究人员表明，攻击者可以通过拦截实时通话，实时克隆说话者的声音，生成可以欺骗听话者以泄露敏感信息的话语来做到这一点。例如银行账号和网络密码。深度伪造的音频 这种新攻击方法的术语是“网络钓鱼

3.0”，您网络安全领导者担心生成式

AI

深度伪造音 所听到的似乎是合法的，但事实并非如此。网频的威胁

在。

这 犯，中击攻些 罪分 将以可子 络安全专业人员可能需要通过一系列个人之在线获得的说话者声音的录音输入到

LLM

间使用的安全代码来确认身份，打击这种形式的网络攻击

这。

种方法将为员工的生活增加更多层次的网络安全提示。上一章下一章6网络罪犯会如何使用生成式

AI02攻击您的

AI黑客罪犯可能会尝试攻击企业

AI

模型，实际上是利用您的

AI

来对付您。他们可以通过将恶意训练数据注入 模型并迫使

AI

做他们想做的事来对您的

A“I

投毒”。例如，他们可能会让您的

AI

对供应链做出错误的预测，或者对聊天机器人产生仇恨。他们可以通过使用基于语言的提示来“破解”您的

LLM，使其泄露机密财务信息，创建易受攻击的软件代码，并应为建您议的。安全分析师提供错误的网络安全响对您的

A“I

投毒”让您的

AI

来对付您可能是网络罪犯的最高愿望。这可能很难做到，但并非不可能。通过对用于训练

LLM

的数据“投毒”，攻击者可以使其出现故障或恶意行为，而不会被发现。一次成功的攻击可能是制造虚假信息或对关键基础设施发动网络攻击

但是，这些攻击要求黑客能够访问训练数据。如果这些数据是封闭、可信和安全的，这些攻击就很难进行。但是如果您的

AI

模型是在开源数据集上训练的，对您的

A“I

投毒”的门槛就会低得多。破解您的

LLM有了

LLM，英语基本上已经成为一种编程语言。攻击者无需掌握传统的编程语言（如Python

和

Java）来创建恶意软件来破坏计算系统，而是可以使用自然语言提示来命令LLM

做他们想做的事情。即使有护栏，攻击者也可以使用这些提示来绕过或破解

AI

模型上的安全和审核功能。为了更好地了解攻击者如何提操示纵多个LLLML，MIB：M®

X-Force

研究人员6成功地泄露有关其他用户的机密财务信息––

提供较差的安全建议创建易受攻击的恶意代码上一章下一章751%高络管安们全表预示算，比他2们02210年23增年加的了A5I

1网%。他增们加预43计%到。1

2025

年，这些预算将再20212023

年2025上一章下一章8A全I

的如时何间充和分人发才挥的投作入用网络安03除了外 ，网络安全领导者还面临着许多内部挑战。可以填补整个行业空缺职位复问杂题性都不使断网增络加安，全攻领击导面者不及断其扩团大队。所更有难这保些护、管理用户访问以及应对他们每天面临的数千种威胁。每天，近三分之一

(32%)

的安全运营中心(SOC)

分析师的时间都花在调查和验证最终的70人0,0太0少0

个了。——4此外据，一敏项感政数府据估激算增，，空基缺础职设位施达 被证明是虚假威胁的事件上。7事实上，由于警报只数能量审太查多他，们S应OC审团查队的成警员报在的正一常半的(4一9%天)中。7这种工作状态不仅会打击员工的积极性，还可能会产生严重的网络安全瓶颈。事实上，大多数减分慢析了师工作(8速1%度)

。表7

示，每天的手工调查工作上一章下一章9最近，网络安全领导者一直在使用传统的

AI解决方案应对这些挑战，这些解决方案使用ML

来帮助

SOC

分析师评估风险，并根据其组织自身的安全需求推荐应对措施。这种方法的优点是公认的：广泄泛露采方用面耗AI费和的自时动间化平的均组缩织短在了发1现08并天遏。制3领信，先并的将A检I

采测用时者间正缩在短监了控三分95之%一的。网8

络通广万泛美采元用。3

AI

和自动化的组织节省了近

18003AI

如何充分发挥投入网络安全的时间和人才的作用10下一章上一章userid:529794,docid:170359,date:2024-08-02,根据

IBM

商业价值研究院关于生成式

AI

在网络安全方面的研究，64%

的高管已将网络安全确定为生成式

AI

用例的首要任务。9此外，大多数人了解这些科技的商业价值，84%

的人表示他们计划优先考虑生成式

AI

网络安全解决方网于对

案络，安而不是传统的网络安全解决方案业育教该应，言而者导领全 务。1合作伙伴和高级管理层，让他们接受这些解决方案。2023

年，企业领导者意识到生成式

AI

在其组织中的潜力。生成式

AI

开始改变企业的几乎每户个和角员落工，体从验供..应....链你管好理，（聊通天过机预器测人分。但析有）到一客方面它尚未触及：网络安全。接下来的

12

个月将改变这一切。03生成式

AI

作为网络安全的增力因素AI

如何充分发挥投入网络安全的时间和人才的作用64%的高管已将网络安全确定为生成式

AI

用例的首要任务。上一章下一章11生成式

AI

在应用于网络安全领域时，会像其应用于企业其他领域一样成为业务加速器，在多个方面最大限度地利用安全团队的时间和人才。生成式

AI

可以代表分析师管理和自动执行重复、耗时的任务，使他们能够专注于网络安全的更具战略意义的方面。生成式

AI

还可以通过简化复杂的技术性内容来提升安全专业人员的能力，使他们更快而且更容易地完成更具挑战性的任务。您在寻找生成式

AI

解决方案以在短期内增强安全运营时，需要考虑的一些特定用例包括：–

自动化报告：这些工具 创建安全案例和事件的简单摘要，然后可以将摘要与组织中的各种安全和业务领导者共享。摘要可以根据他们的技术专长水平和感兴趣的领域进行定制。–

加速威胁搜寻：这些工具自动生成搜索以检测威胁，所有这些都基于对攻击行为和模式的自然语言描述，这有助于加快对新威胁的响应速度。–

解释机器生成的数据：为了帮助分析师快速理解安全日志数据，这些解决方案对系统上发生的事件进行了简单的解释，从而加快了分析师的调查速度并降低了新员工的技术壁垒。–

整理威胁情报：生成式

AI

工具可以解释和总结最相关的威胁情报，根据客户独特的风险状况，筛选出最有可能影响客户的活动。展望未来，生成式

AI

还将能够学习和创建主动响应，并随时间推移对响应进行优化，例如，帮助安全团队发现所有类似的安全事件、更新所有受影响的系统、修补所有易受攻击的软件代码。03AI

如何充分发挥投入网络安全的时间和人才的作用上一章下一章12保护

AI：风险和建议04L模L采M

用为时企是业主用要户的提网供络的安速全度风和险易。用当性工在程大师规和发分软析件师脚使本用时，生他成们式增A加I

来了帮AI助可创能建没代有码接和受开过安全代码和实践训练的风险。对组织的潜在影响仓促的数据安全实践软件供应链风险幻觉数据泄露黑匣效应上一章13仓促的数据安全实践企业急于使用

LLM，有时忽略了数据安全最佳实践和标准，包括加密、驻留和特权访问控制。04保护

AI：风险和建议软件供应链风险 幻企业可能会在错误的代码上进行构建和创新， 使用

LLM

生成的代码构建的软件有包含错误这些代码通过从 代源开的买购里那商应供 码 或幻觉 风的 性整完的码代源害损会能可，险和商业软件组件汇编而成。行业中的常见故障 和安全性。为防止此问题，您的组织应使用在和潜在可利用的软件缺陷可能会造成新的风 多样化、平衡且结构良好的数据上训练的

AI险暴露水平。 模型。组织的

AI

工程师应尽可能具体地给出提示，以避免

AI

模型不得不做出假设或在缺乏细节的地方创建细节。而且他们应该接受培训，严格评估

LLM

生成的代码，以确保输出质量。上一章1404保护

AI：风险和建议数据泄露 黑匣效应如果没有对第三方

AI

引擎进行适当的监督和 部分

AI

处理发生在黑匣中，这意味着安全领治理，无

方决解IA论

案

策留保或割分据数的

导者及其 所其乏缺会队团 需 度明透、性见可的略如何，组织都有将机密数据暴露给未授权用 和可解释性。如果不遵循正确的软件工程实户的风险。新的提示注入和提示泄漏攻击可 践

这个问题会带来特别的风险。至关重要的能会暴露敏感信息并削弱模型性能。 是，您的组织要有一套

AI

治理方法，可以帮助其跟踪模型生命周期中的性能

并，

解释模型如何以及为什么产生其所产生的结果。上一章15AI

框架的安全性04保护

AI：风险和建议构建值得信赖的

AI随着采用

AI

规模的扩大和创新的发展，网络安全指南将趋于成熟。一个用于保护可信基础模型、生成式

AI

及其所基于的数据集的框架对于企业级

AI

至关重要。下面是一些应与安全团队分享的最佳治理和技术实践。1604保护

AI：风险和建议保护数据保护

AI

训练数据免遭盗窃、操纵和违规行为。–

使用数据发现和分类来检测训练或微调中使用的敏感数据。–

在加密、访问管理和合规性监控方面实施数据安全控制。–

使用防止数据丢失技术，通过提示和应用程序编程接口

(API)

防止敏感个人信息

(SPI)、个人身份信息

(PII)

和受监管的数据泄露。保护模型通过扫描管道中的漏洞、强化集成以及实施策略和访问控制来保护

AI

模型开发。–

持续扫描

AI

和

ML

管道中的漏洞、恶意软件和损坏。–

发现并强化

API

和插件与第三方模型的集成。–

围绕

ML

模型、工件和数据集配置和实施策略、控制和基于角色的访问控制

(RBAC)。确保使用安通过检测数据或提示泄漏，并在规避、投毒、窃取或推理攻击时发出警报，确保

AI

模型的使用安全。–

监控恶意输入，例如提示注入和包含敏感数据或不当内容的输出。–

实施

AI

安全解