AI与生成式AI对网络安全的新挑战（中文）

新防御，新威胁AI和GenAI为网络安全带来了什么2新防御，新威胁：AI和GenAI为网络目录目录网络安全走在前面28我们依靠AI36GenAI将加强网络安全3新防御，新威胁：AI和GenAI为网络4250建议：使用AI和GenAI加强网络防御66结论67研究方法4新防御，新威胁：AI和GenAI为网络网络安全事件不断增加：随着网络安全事件数量（包括网络钓鱼、鱼叉式网络钓鱼、勒索软件、deepfakes和欺诈计划）日益复杂，组织必须加强其网络防御。我们的51%大幅上升。这些影响往往具有很大的破坏性，大约一半的执行摘据报告，在过去三年中，各组织的直接和间接损失估计超过5000万很明显，由于AI和GenAI，新的网络安全风险正在出现与此同时，这些技术的使用为加强组织的网络安全提供了机会这代表了安全专业人员预测、检测和响应威胁方式的变革。执行摘要要报告安全事件的组织的在过去的一年里，与AI有关deepfakes、恶意软件开发、绕过安全控制、利用漏洞、自动黑客攻击、创建恶意GPT（生成式预训练变形金刚）、通过模仿真实用户行为绕过安全控制。2.网络攻击面的扩大97%的受访组织在过去一年中报告了与GenAI相关的安全事件，组织必须应对扩大的攻击面。“即时注入”攻击操纵GenAI模型并损害其模型输出的完整性5新防御，新威胁：AI和GenAI为网络随着AI和GenAI在各个行业的使用越来越多，外部攻击面变得越来越复杂和多方面除了组织需要保护的传统攻击面（如网络、端点、数据平台和应用程序）执行摘代理、集成人工智能的应用程序以及多个人工智能助手、顾问和新的搜索工具。执行摘此外，这些技术可以显著扩大内部攻击面，因为内部参与者或员工可能会滥用它们-例如将机密信息上传到ChatGPT等外部工具。另一个令人担忧的问题是“影子AI”，即未经批准的应用程序被不了解公司政策的员工安装和使用，不受IT控制。-从企业数据收集和模型从定制到开发和维护要要-必须加以保护，以防止自定义中使用的敏感数据受到损害，并确保解决方案的可用性和完整性。此外，GenAI还带来了额外的风险，包括幻觉和引入漏洞，当用于代码生成时，这可能导致进一步的安全问题。我们的研究发现，组织已经意识到这些威胁，大约60%的组织认为有必要因此增加网络安全预算。将AI和GenAI整合到网络安全及其好处中：从积极的方面来看，五分之三的组织认为AI对于有效的威胁响应至关重要，大多数组织依靠AI来加强其数据安全。应用程序安全和云安全。AI通过提供实时响应能力来增强威胁检测和报告。它可以显着减少分析师的疲劳，并引导分析师走上最相关的调查路径，从而提高速度和准确性。此外，各组织还认为，从长远来看，GenAI将加强网络安全超过一半的组织的领导层认为，GenAI可以推进他们的安全战略。6新防御，新威胁：AI和GenAI为网络执行摘要执行摘要•建立一个强大的框架、政策和治理，以确保数据的安全性和完整性，促进对人工智能模型的信任。专注于模型选择和培训，以满足组织需求。•投资基于AI和GenAI的解决方案，与现有的安全运营中心（SOC）系统集成，提高其有效性。逐步整合AI代理人进入网络安全行动，以协助分析人员有效应对事件和减轻威胁。确保持续监控和更新人工智能系统，以应对不断变化的威胁。•最后，鉴于网络攻击的增加，保护业务流程和在员工中培养风险意识文化应该是重中之重。•制定明确的战略，将AI和GenAI集成到现有的安全系统中。评估相对于对这些技术的投资所获得的维护事件响应协议，并提供可操作的指示，以便采取快速有效的行动。•持续重新评估安全环境，及时识别新风险并部署自适应防御机制。7新防御，新威胁：AI和GenAI为网络谁啊？本报告概述了人工智能作为发展和增强网络安全谁啊？本报告概述了人工智能作为发展和增强网络安全弹性的一个关键方面，GenAI既为这一驱动力提供了支持，又在保护GenAI项目方面从中受益本报告专为C级高管和网络安全人员撰写在汽车、消费品、零售、银行、保险、电信、能源和公用事业、航空航天和国防、高科技、工业设备制造、制药和医疗保健以及公共部门工作的领导者。例，并提供组织可以采取行动以加强防御的建议。关于接受调查的组织的详细情况，见本报告末尾的研究方法8新防御，新威胁：AI和GenAI为网络定义出于本研究的目的，我们使用以下定义：•人工智能（AI）：开发能够执行历史上需要人类智能的任务的计算机系统，例如识别语音，做出决策和识别模式。AI是一个涵盖各种技术的术语，包括机器学习、深度学习和自然语言处理（NLP）。1•机器学习（ML）：这是AI的一个子领域，它使用在数据集上训练的算法来创建能够预测结果并对信息进行分类，而无需人工干预。今天，它被用于广泛的商业目的，包括根据消费者的需求向消费者推荐产品。他们过去的购买，预测股市波动，将文本从一种语言翻译成另一种语言，等等。2•生成AI（GenAI它是一种能够学习和重新应用数据属性和模式的AI，用于各种应用程序，从创建不同风格的文本，图像和视频到生成定制内容。它使机器能够执行以前认为只有人类才能完成的创造性任务。39新防御，新威胁：AI和GenAI为网络网络安全走在前面新防御，新威胁：AI和GenAI为网络“在过去四年里，我们遇到的攻击次数翻了一番。”数字技术快速发展的一个不受欢迎的副产品是安全事件和违规行为的指数级增长，引起了全球组织的严重关注。安全事件被定义为破坏信息系统的公开性、完整性或可用性的任何事件，可能导致重大的运营和声誉损害。荷兰合作银行首席信息安全官Corence“在过去四年里，我们遇到的攻击次数翻了一番。”胡里奥·C.Padilha首席信息安全官袭击事件继续增长。”胡里奥C。大众汽车和奥迪南美首席胡里奥·C.Padilha首席信息安全官加。如今，威胁行为者发现，在复杂性、频率和可访问性方面，策划攻击变得越来越容易。GenAI的出现使这一局面进一步复杂化这些技术虽然具有变革性，但也使系统暴露在威胁行为者面前。除了保护，人工智能可以被武器化，以自动化和增强网络攻击的复杂性，使其更难以检测和缓解。美国情报官员观察到政府法规必须不断发展，以跟上人工智能最近的快速发展。与此同时，微软支持的研究显示，87%的英国组织面临人工智能网络攻击的风险5此外，GenAI生成高度逼真的合成内容的能力带来了新的风HoneywellConnectedEnterprise首席技术官JasonUrso表•在银行业中，多达61%的组织每天记录10-50起事件，），（58%）和电信（58%）紧随其后。新防御，新威胁：AI和GenAI为网络百少于1010-5050-100100多新防御，新威胁：AI和GenAI为网络如图2所示，在过去三年中，经历一次或多次违规的组织比地利用网络钓鱼漏洞攻击Slack、Microso在一次大规模数据泄露事件中，一家美国电信组织披露，恶意行为者从第三方提供商的云中窃取了超过1亿消费者的通话和短信记录。8同样，一家美国银行控股公司的客户在2024年3月初被告知他们的数据可能遭到泄露，包括他们的姓名、账号和信用卡详细信息。他们被敦促在接下来的12到24个月内监控他们的账户是否有欺诈活动一家美国零售公司的众包交付服务遭受了网络攻击，恶意行为者在2023年12月初至2024年2月初期间访问了其部分司机的敏感数据，包括社会安全号码，驾驶执照号码和其他联系信息。10针对公共部门的网络攻击也在增加2023年，新加坡公共部门的数据泄露事件增加了10%，可能是由于数字服务的增加。11数据泄露暴露了加拿大政府雇员的敏感信息。澳大利亚政府正在调查一家卫生组织的“大规模勒索软件”数据泄露事件，影响个人的个人和健康信息。1399%的受访组织在过去三年中至少有一次违规行为2021年至2023组织中的网络安全漏洞大幅增加所占百分比202120222023新防御，新威胁：AI和GenAI为网络•澳大利亚的增幅显著，从2021年的48%增至2023年的97%;美国的增幅亦显著，从2021年的61%增至2023年的95%•在各个行业中，从2021年到2023年，经历网络安全事件的组织比例显着增加以汽车为例，其占比从2021年的49%上升至2023年的91%2023年12月，针对汽车原始设备的网络攻击•在金融服务领域，88%和93%的银行机构分别在2022年和2023年经历了安全事件，而89%的保险业在这两年都报告了违规行为。在过去三年中，违规行为导致了直接或间接的损害（例如修复违规行为所需的时间，声誉损害等）。超过5000万美元的资金。2023年，另一家汽车OEM的IT安全和数据保护政策受到损害，来自客户、员工和业务合作伙伴的近该违规行为可能导致该组织面临33亿美元的罚款。2019年，一家美国酒店公司152023年，一家跨国公司遭受勒索软件攻击，导致数据被盗，扰乱了公司运营，给公司造成了超过2700万美元的损失。16汽车和保险行业的组织遭受超过1亿美元财务损失的比例相对较高（分别为违规行为平均造成5000万美元的经济损失一半的组织过去三年内因违规行为对组织造成的5%1%1亿美元-5亿美元超过5亿美元百分之四十八低于5000万美元百分之四十六5000万美元-1亿美元间接损害包括修复违约所花费的时间、名誉损害等。收入在10亿美元到50亿美元之间的组织每赚100美元就会遭受1.60美元的损失，而收入超过收入在10亿美元到50亿美元之间的组织每赚100美元就会遭受1.60美元的损失，而收入超过200亿美元的组织则会遭受0.40美元的损失。收入介于平均值之间的组织在过去的一年里，与云相关的安全事件有所增加云计算在过去一年中的安全事件增加了近90%云机器速度攻击Chatbots时间敏感的应用物联网设备钓鱼语音控制数字助理内部威胁对抗性机器学习技术零日攻击一60%5%35%1%56%4%40%1%53%6%41%1%49%5%45%1%48%5%46%40%5%54%1%37%7%56%1%37%7%56%增加减少没有变化不知道新防御，新威胁：AI和GenAI为网络），“网络攻击的可扩展性构成了一个重大挑战。然而，我们可以使用人工智能技术来帮助安全运营中心的分析师，快速搜索多个来源，就警报响应提供建议科伦斯·克洛普Rabobank首席信息安全官新防御，新威胁：AI和GenAI为网络新防御，新威胁：AI和GenAI为网络AI和GenAI风险格局新防御，新威胁：AI和GenAI为网络人工智能风险格局正在迅速发展，这是由最新的技术进步、跨行业采用率的增加以及更复杂的（Gen）人工智能模型的出现所推动的随着人工智能系统在决策中变得越来越不可或缺，意外后果、偏见和安全漏洞的可能性也在增加，重新评估风险管理策略，以确保可靠、安全和负责任的人工智能部署。面临违规行为的组织比例的增加（如图2所示）以及机器速度攻击的增加（如图3所示）可能表明，越来越多的威胁行为者正在依赖AI和GenAI来引发网络攻击。AI和GenAI可能带来风险的方式可以分为三个方面。1.更复杂的攻击和更多的对手罪分子对GenAI的典型使用包括网络漏洞、自动黑客攻击、创建恶意GPT（生成式预训练变形金刚）、通过模仿真实用户行为绕过安全控制。例如，这些参与者可以生成高级网络钓鱼电子邮件、文件操作脚本或逃避检测的代码182024年1英国政府的国家网络安全中心（NCSC）发布了一份评估报告，强调人工智能几乎肯定会在未来两年增加网络攻击的数量和影响。•复杂的威胁：GenAI可以降低障碍威胁行为者，导致更高的网络风险和更复杂的攻击。此外，攻击者可能会操纵人工智能系统来产生错误的预测或拒绝客户服务。•即时注入风险：这涉及使用恶意输入来操纵AI和GenAI模型，从而损害其完整性。攻击者可以在图像中嵌入有害的脚本和命令，导致模型遵守。多模式提示注入攻击可以泄露数据、重定向查询、传播•社交工程攻击：基于AI和GenAI的社交工程攻击，如深度伪造或钓鱼电子邮件，由于其高度个性化和真实性，防御起来特别具有挑战性。这些攻击在聊天、视频或音频中使用自定义诱饵，以惊人的准确性模仿个人，以定制的消息针对多个系统或个人最近，有几个值得注意的使用GenAI创建的deepfake案例。20一家跑车制造商的高管收到了似乎来自首席执行官的意想不到的信息，要求签署几项协议。使用deepfake技术，攻击者进行了一次实时电话交谈，发出了一个声音，一家跑车制造商的高管收到了似乎来自首席执行官的意想不到的信息，要求签署几项协议。使用deepfake技术，攻击者进行了一次实时电话交谈，发出了一个声音，模仿CEO的然而，当这位高管注意到前后不一致并意识到出了问题时，攻击被20Afteradesignandengineeringfirmlost$25mntoadeepfakescaminearly2024,theAsiabranchofanothermultinationalorganizationbecamethenextvictimwhenadigitallyrecreatedversionofitsCFOdeceivedanemployeeattheHongKongoffice.这一欺诈性的冒充行为导致该员工转移了50万美元，据称是为了资助该组织的一个新分支机构21•人工智能蠕虫：此外，研究人员警告说，一个新的转变，在网络景观-人工智能蠕虫。这些漏洞有可能从一个系统传播到另一个系统，从而可能危及数据安全或部署恶意软件在这个过程中。随着GenAI系统获得自主权，它们正在成为容易受到恶意行为者利用的媒介这些AI蠕虫可以利用这种互联性，通过GenAI生态系统传播并感染许多设备。这些蠕虫可能会危害关键基础设施，窃取敏感用户行为来制作个性化攻击，从而超越传统的安全性。22超过五分之二的组织遭受了财务损失，使用deepfakes造成的损失我们的组织有遭遇deepfake攻击在过去的1-2年我们遭受了经济损失 从剥削deepfake技术212.扩大网络攻击面ChatGPT于二零二二年十一月推出，将GenAI技术的兴奋推向狂热。从2023年开始，世界各地的组织开始尝试新的工具，引导一系列的用例。根据我们的最新研究，近四分之一（24%）的组织在其部分或大部分职能和位置中启用了GenAI功能。23然而，如前所述，人工智能的日益普及带来了更大的脆弱性和机遇。在我们的研究中，我们发现97%的组织在过去一年中遇到了与使用GenAI相关的如今，组织必须应对日益复杂和多方面的扩展攻击面除了保护网络、端点、数据平台和应用程序等传统攻击面外，他们还需要保护人工智能和GenAI支持的新应用程序，例如对话式人工智能代理、集成人工智能的应用程序以及多个人工智能助手、顾问和新搜索工具。此外，AI和GenAI可以显着扩展内部法律风险：如果没有严格的治理和监督，使用GenAI也会放大法律风险，例如暴露新防御，新威胁：AI和GenAI为网络商业秘密、专有信息和客户数据，因为数据安全措施不足影子人工智能：另一个问题是组织内影子人工智能的兴起，未经批准的人工智能应用程序被不适当地安装和使用这带来了双重安全风险：一个来自用户行为（例如泄露机密信息），另一个来自应用程序本身（如果它们有安全缺陷或漏洞）。在一项调查中，微软发现，全球75%的知识工作者在工作中使用GenAI，78%的AI用户将自己的AI带到工作中（他们的组织没有提供工具）。24我们对GenAI的最新研究显示，员工未经授权的使用相对普遍。之间39%的组织有禁令或限制政策，其中一半表示在工作场所仍然存在未经授权使用Gen此外，我们最近对软件工程的GenAI的研究也报告说，63%的使用GenAI的软件专业人员以未经授权的方式使用它，而只有37%的人使用其组织提供的许可工具26一些组织已经采取了极端的措施，完全禁止其员工使用ChatGPT等人工智能工具。例如，一个跨国组织禁止了ChatGPT，因为它的工程师不小心通过这些工具泄露了公司源代码的机密元素。然而，影子人工智能的兴起让人质疑彻底禁止这些工具是否真的有效。22新防御，新威胁：AI和GenAI为网络3.定制GenAI解决方案的可持续管理保护GenAI解决方案的整个生命周期对于确保敏感数据的保护和系统的可靠性至关重要。从企业数据收集的初始阶段（收集有价值的敏感信息）到Gen的定制，根据特定业务需求量身定制的AI模型，每个阶段都必须得到保障。在开发和部署过程中，可能会出现“映射和缓解GenAI风险”中确定的漏洞，这些漏洞可能会暴露机密数据或损害系统性能。在整个生命周期中实施强大的安全措施不仅可以保护敏感数据不受损害，解决方案的可用性、可靠性和完整性，使组织能够最大限度地发挥AI的优势，同时最大限度地降低风险。有了人工智能，组织还面临着确保他们构建或使用的人工智能模型没有偏见的挑战采用GenAI可能会进一步增加组织对幻觉等问题这是当模型产生一个表面上真实有效的输出时，它实际上部分或全部发明了。在其机器人向客户提供不准确的信息，误导他们购买全价机票后，向客户提供赔偿28用于生成代码虽然这可以提高熟练度，但它也可能引入众所周知的漏洞（例如，MITRECWETop25MostDangerousSoftwareWeaknesses（MITRECWE最危险的25个软件弱点）。29三分之二的组织担心面临的威胁增加虽然组织对GenAI的潜力感到兴奋，但他们也意识到采用AI带来的风险与GenAI相关的大多数风险对应用程序安全性来说并不新奇然而，有些风险是人工智能独有的，包括模型漂移、模型盗窃和数据中毒。GenAI特别引入了额外的风险和漏洞，例如偏见，有害或不适当的内容生成，幻觉和即时注入攻击。23新防御，新威胁：AI和GenAI为网络2023年，苹果限制部分员工使用ChatGPT和其他外部人工智能工具，如GitHub该组织担心员工在使用这些工具时可能会泄露机密数据30同样，亚马逊禁止员工使用第三方GenAI工具，特别是用于处理机密数据的工具。此策略旨在防止数据所有权问题并保护敏感的公司信息。在数据中毒中，人工智能模型受到损害，例如，通过将恶意数据注入训练数据集或操纵训练数据来创建漏洞。到目前为止，研究人员已经发现了大约100个机器学习（ML）模型上传到HuggingFace，这是一个ML的开源平台，可以作为将恶意代码注入用户机器的推动者3267%我们担心可能会泄漏敏感数据/知识产权盗窃，67%用于训练GenAI模型的训练数据集恶意行为者是一个主要问题67%恶意行为者采用GenAI使风险增加64%组织安全58%的有害违规行为恶意提示是一个主要问题24新防御，新威胁：AI和GenAI为网络大多数组织都认为，他们需要增加安全预算来加强防御我们对利用GenAI潜力的研究表明，组织平均实现了近8%的整体生产力提升在过去的一年里，到2026年，他们预计运营效率、成本降低和销售将大幅改善33我们目前的调查结果还突出表明，各组织越来越意识到安全风险的增加以及加强对网络安全措施投资的必要性。如图7所示，大多数组织都承认需要增加对GenAI的分配，以加强防近6/10的组织认为他们需要增加安全预算来加强他们的防御在采用GenAI之后我们需要大规模增加58%我们的安全预算加强我们的防御组织和越来越多的政府正在花费比以往任何时候都多的钱来保护他们的数据库和关键防御系统免受网络攻击。网络安全目前占整体技术预算的12%，自2020年以来上升了3个百分点3425新防御，新威胁：AI和GenAI为网络绘制和缓解GenAI风险GenAI的价值链可能很复杂，有多个外部参与方，并在其各个阶段引入了不同的风险制定安全人工智能战略的一个关键因素•实施适当的缓解战略GenAI管道中固有的挑战，确保AI实施和部署的强大和值得信赖的方法26新防御，新威胁：AI和GenAI为网络GenAI风险参考架构用户层应用层模型层数据层用户层应用层模型层数据层提示训练数据内部数据提示训练数据内部数据用户用户/界面数据泄漏响数据泄漏响应聊天记录图书馆聊天记录图书馆基础模型/基础模型/LLM微调数据数据泄露过度依赖数据泄露过度依赖有偏见、有害或不适当的内容有偏见、有害或不适当的内容幻觉快速注入拒绝服务权快速注入拒绝服务权限过大未经授权的检索供供应链模型漂移模型盗窃数据中毒数据数据中毒数据泄露供应链数据供应链数据最终用户部署者最终用户部署者来源：CapgeminiGroupCy27新防御，新威胁：AI和GenAI为网络“最终用户”是指那些仅通过提示输入和输出与GenAI交互的用户接口.“部署者”是指开发、实施、集成或管理GenAI系统任何部分的任何人从图中可以看出，除了应用程序层和用户层之外，数据层或模型层也可能存在安全问题或风险为了确保这些举措的安全，组织必须了解并最大限度地减少这些风险。开发人员正在引入风险缓解功能。例如，在2024年第三季度，谷歌预计将预览其ModelArmor保护系统，该系统将使客户能够检查，路由和保护将与包括VertexAI在内的GoogleCloud产品集成3528新防御，新威胁：AI和GenAI为网络我们依靠AI29新防御，新威胁：AI和GenAI为网络五分之三的组织认为AI对于检测和响应攻击至关重要一家跨国航空航天和国防公司的网络安全专家补充的数据和检测特定的行为。人工智能和自动化的集成对络安全流程。人工智能与网络安全的相关性得到了66%的组织的肯定，他们优先考虑在这种情况下使用人工智能此外，60%的受访者认为人工智能对于有效应对网络威胁至关重要，并强调其战略意义。的组织认识到人工智能对于有效应对网络威胁至关重要，并强调其战略意义。30如图10所示，数据安全（76%）和应用程序安全（75%）是组织最常使用AI如图10所示，数据安全（76%）和应用程序安全（75%）是组织最常使用AI的领域同意使用AI这是他们组织的优先三分之二的组织优先考虑在网络安全中使用AI我们组织AI在网络安全中的使用率为66%我们组织我们在安全运营中广泛使用人工智能65%如果没有人工智能，我们将无法实现61%识别关键威胁如果没有人工智能，我们将无法实现60%有效应对网络攻击31新防御，新威胁：AI和GenAI为网络超过五分之三的组织在网络安全中使用AI来保护数据安全身份和••日本在数据安全中使用AI方面处于领先地位•银行业在数据安全（84%）、应用程序安全•高科技在应用安全（88%）和数据安全（68%）方面的AI采用率较高，而工业设备制造业在数据安全（80%）和应用安全（79%）方面的采用率较高。32AI能够更快地响应违规行为通过自动化威胁检测和响应的某些元素，人工智能最大限度地减少了人工干预，提高了效率，并确保对不断变化的网络威胁进行具有成本效益的快速和强大的防御“我智能，就不可能有效地分析所有这些数据，”负责CNP例如，人工智能功能可以实时检测和预防支付诈骗，缩短响应时间并减轻财务和声誉损失。36氪使用人工智能快速检测欺诈性索赔，通过分析数据减少调查时间和成本模式，识别异常，并简化欺诈检测和解决过程。37新防御，新威胁：AI和GenAI为网络超过五分之三的组织发现人工智能在网络安全方面提供了更高的效率和准确性测改进报告降低响应和检测33新防御，新威胁：AI和GenAI为网络随着时间的推移，威胁行为者对人工智能的使用迅速增加，但组织在部署人工智能进行威胁检测或修复方面并没有跟上这一步伐这种差异凸显了组织提升其人工智能能力的巨大机会，以增强早期漏洞检测和改进响应策略。三分之二的组织表示，他们将检测安全漏洞的时间缩短了至少5%。九2019年修复漏洞所需的时间减少10%以上占2024年补救违规行为所需时间没有变化2019年检测漏洞所需的时间下降0%-5%2024年发现漏洞所需的时间下降5%-10%34新防御，新威胁：AI和GenAI为网络超过60%的组织报告说，他们的检测时间至少减少了5%，近40%的组织表示，在SOC中实施AI后，补救时间减少了5%或更多荷兰合作银行的CorenceKlop评论说：“网络攻击的可扩“我们每个月都会记录数十亿次网络安全事件。如果没有人工智能，就不可能有效地分“我们每个月都会记录数十亿次网络安全事件。如果没有人工智能，就不可能有效地分析它们题。”阿德里亚诺·奥利维拉，负责CNPSeguradora的网络安全，CNP35新防御，新威胁：AI和GenAI为网络36新防御，新威胁：AI和GenAI为网络将加强网络安全37新防御，新威胁：AI和GenAI为网络从长远来看，GenAI将加强网络安全GenAI将实现先进的威胁模拟和主动防御策略。超过61%的受访者预计GenAI将在长期内加强网络安全;另有62%的受访者预计它将发挥积极作用在漏洞检测方面。这些见解反映了人们对GenAI先发制人的安全措施越来越有信心CooperativaCentralAilos首席信息官HélioCordeiroMariano表示：“GenAI的互动和能力可以更多地了解我们境中的问题。GenAI预测和消除复杂网络威胁的能力将提高组织抵御不断变化的数字威胁环境的能力。弗雷德里克·佩用。我相信，在未来几个月或几年内，人工智能和生成式人工智能将取得重大进展。生成式人工智能有许多超过一半的组织领导层相信GenAI的安全性适用于组织关于在网络安全中使用GenAI的声明0%的百分比55%3%0%的百分比55%3%`29%13%我们的领导层是GenAI用于推进网络安全我们的领导层正在对GenAI在网络安全中的使用采取“观望”我们的领导层不相信GenAI推进网络安全的潜力我们的领导层对GenAI的潜力存在分歧来推进网络安全我们的领导层并没有充分意识到人工智能的潜力用于推进网络安全38新防御，新威胁：AI和GenAI为网络“我们已经开始将Gen“我们已经开始将GenAI用于诊断和其他应用。我相信，在未来几个月或几年内，人工智能和生成式人工智能将取得重大进展。生成式人工智能有许多潜在的应用，特别是在增强针对攻击的主动措施方面。目前许多首席信息官是被动的，而不是主动的，在网络攻击期间缺乏对监控工具的充分参与。•在日本和澳大利亚，62%的组织表示，他们的领导层是GenAI的强烈倡导者，以促进网络安全，这是受访国家中最高的设备制造子行业组织表示，他们的领导层是GAI的强烈倡导者，以推进网络安全，这是所有行弗雷德里克·佩加-菲奥内西门子医疗集团（SiemensHealthineers）法国、比利时和卢森堡数字健康和网络安全主管39新防御，新威胁：AI和GenAI为网络超过一半的组织希望通过使用通用AI通过正确的数据和正确的模型，GenAI能够快速分析和解释大量数据集，从而能够早期识别潜在威胁，尽管对于更高级的用例来说，这仍然是一个挑战的结果随着GenAI的潜力越来越大，组织越来越多地有趣的是，只有不到50%的人相信GenAI能够节省成本。Gen可能对采用构成障碍。38超过五分之三的组织预计通过使用GenAI可以更快地检测威胁检测主动威胁更好的监管检测合规40近五分之三的组织认为GenAI将增强网络安全分析GenAI的生成功能和模拟工具改进了整体安全措施，使分析师更加高效和有效，并大大解放了他们，使他们能够专注于近五分之三的组织认为GenAI将增强网络安全分析GenAI的生成功能和模拟工具改进了整体安全措施，使分析师更加高效和有效，并大大解放了他们，使他们能够专注于更复杂的威胁。57%的组织承认专业培训的重要性，在威胁检测、事件响应和漏洞管理等任务中使的组织表示，GenAI将使网络安全分析师能够专注于应对复杂威胁的战略超过一半（58%）的组织表示，GenAI将使网络安全分析师能够专注于战略，应对复杂威胁GenAI将如何改变网络安全专业人员的角色？并培养他们的技能41新防御，新威胁：AI和GenAI为网络“GenAI可以支持决策，实现快速行动，并为安全分析“GenAI可以支持决策，实现快速行动，并为安全分析师提供有价值的支持，特别是在以监督或半监督方式使用时。这种方法在复杂和关键的环境中尤为弗兰克·汉密尔顿·莫赖斯Gen员，增强对现实世界攻击的准备。摩根大通使用人工智能和GenAI模型通过分析交易模式、识别异常和改进实时监控来检测欺诈，从而增强整体安全性和欺诈预防。39卢西亚诺42新防御，新威胁：AI和GenAI为网络探索人工智能和新一代人工智能用例43整个组织的AI用例整个组织的AI用例脆弱性管理和优先次序人工智能可以分析大量的漏洞数据，使安全团队能够优先考虑关键风供应商风险管理AI工具评估IT供应商和供应商的网络安全状况，准和监管要求，以减轻供应链漏洞和依赖性。恶意软件检测分析恶意软件特征，以预测基于签名的方法可能无法检测到的未来感染尝试网络威胁情报分析来自威胁源和暗网等来源的数据，以识别新出现的威胁并预测攻击者的战术、技术和程序（TTP）。安全策略执行44新防御，新威胁：AI和GenAI为网络•网络安全公司CheckPoint和中国奇虎360Netlab安全公司发现了一个名为“收割者”的僵尸网络，该网络影响了100多万台互联网连接设备，包括路由器和IP（互联网协议）摄像头。AI威胁情报可以帮助识别和阻止僵尸网络流量，防止攻击。40•美国联邦政府使用AI平台实时分析数十亿起事件，从商品恶意软件到复杂的•美国运通利用人工智能实时分析客户交易，并识别可疑活动，如不寻常的支出模式、位置不一致和已知的欺诈活动。42•摩根大通利用人工智能驱动的漏洞管理解决方案来监控广泛的网络漏洞，并根据漏洞的严重程度和可能性对修补工作43•PayPal使用人工智能来检查每笔交易是否存在危险信号，并识别和阻止恶意网页内容和潜在的网络威胁。4545组织在OT（用于监视和控制工业环境中的设备，流程和基础设施的硬件和软件）中使用AI组织在OT（用于监视和控制工业环境中的设备，流程和基础设施的硬件和软件）中使用AI来检测异常，预测威胁，并自动化工业控制，监督控制和数据采集系统（见图物理安全安全政策数字孪生集成强制安全安全系统中的AI（例如，数字孪生副本可以进行监控，以防止未经授权的物理拟攻击来测试安全性获得关键基础设施。敏感信息策略保护关键资产，并模没有现实世界的干扰。工业管理中的工业管理中的人工智能可以检测与正常人工智能工具的偏差，评估传感器数据中操作参数的网络安全，以识别OT供应商和供应商，评估第三方潜在的设备故障或破坏风险暴露，并确保合规性。attemptsinreal-time.46•霍尼韦尔利用人工智能快速分析大量的工业控制系统的数据，识别异常模式或行为。其人工智能平台不断审查过去事件的模式，并调整这些信息以减轻新出现的威胁。47•西班牙对外银行（BBVA）是一家西班牙跨国金融服务机构，拥有一个专门的人工智能驱动的网络安全中心，为银行的每个运营和业务要素提供全面的安全响应，包括预测威胁和准备运营策略，提供弹性策略，以及保护BBVA的数据处理中心（DPC）。48人工智能通过实现对设备或工厂传感器的实时监控、威胁检测和自动响应来增强物联网安全性（见图18）。改进的安全策略IoT设备异常用户身份验证强制检测AI可以开发更多AI可以执行安全策略AI可以分析物联网数据复杂的用户和访问控制，以保护数据流，识别异常关键资产和功耗敏感的认证方法例如多因素和信息。模式交流生物特征等等，以表示潜在妥协增强型供应商访问控制风险管理AI分析用户行为AI工具评估网络安全改善物联网供应商和供应商的模式访问控制的鲁棒性评估第三方风险敞口，并确保合规47新防御，新威胁：AI和GenAI为网络Ring和Nest都集成了AI功能，并使用计算机视觉算法来检测和跟踪运动，向连接的设备发送警报，并通过移动应用程序提供实时视频流。49至少有五分之二的组织已经使用GenAI进行了试点计划GenAI可以推进组织的安全运营。例行培训和微调的LLM（例如Google组织已经开始将GenAI整合到其网络安全运营中。如图19所示，大约40%-50%的公司已经启动了概念验证（proofofconcept，简称proof）或试点。此外，近十分之三（28%）的组织计划在不久的将来在网络安全中实施GenAI的组织计划在不久的将来在网络安全中实施GenAI48百分之十五百分之十六百分之十七百分之二十百分之十九百分之二十百分之十八分之二十百分之二十百分之十九分之百分之十五百分之十六百分之十七百分之二十百分之十九百分之二十百分之十八分之二十百分之二十百分之十九分之二十百分之二十三百分之二十五百分之二十五百分之二十三百分之二十六百分之二十三百分之二十三百分之二十三百分之二十九一一百分之五十二百分之二十七目前，至少有五分之二的组织正在试用GenAI以实现安全性为网络安全实施GenAI的组织比例百分之四十五百分之二十九百分之四十五百分之二十九百分之四十五百分之四十五十七百分之四十六百分之五十百分之四十二百分之五十百分之四十八百分之四十九百分之四十六百分之四十四百分之四十五百分之四十三百分之五十百分之三十九百分之四十一占48%占48%占48%占48%百分之四百分之二十三百分百分百分百分百分百分百分百分百分百分百分百分百分百分百分百分之三二三十三十六十三十占6%百分之三凭证占6%去识别百分之三百分之三自动化百分之一百分之四自动化百分之四百分之二百分之三百分之四百分之五百分之五百分之三监管合规百分之三百分之五占6%百分之五百分之四占6%一代恶意软件检测钓鱼攻击检测和攻击检测动态调整IAM政策和威胁情报威胁响应报告生成安全数据共享网络流量分析自动化威胁搜索预防活动生成和检测生物识别和异常检测威胁搜索和法医裁剪权限异常检测一代脆弱性一代网络攻击仿真培训49新防御，新威胁：AI和GenAI为网络不落实有计划在不久的将来实施概念验证实施50新防御，新威胁：AI和GenAI为网络以下是组织如何在其业务中使用GenAI的示例•赛门铁克是博通公司的一个部门，一家美国设计师、开发商、制造商和全球软件产品供应商，正在分阶段将GenAI嵌入其安全平台。GenAI将检测、理解和修复复杂的网络攻击。51•万事达卡使用基于GenAI的预测技术，通过将受损卡的检测率提高一倍，减少卡欺诈检测期间的误报，高达200%，并将识别风险/受损商家的速度提高•GrupoBoticário是巴西美容零售和化妆品公司，采用实时安全模型来检测、预防和应对潜在的欺诈行为。53根据我们的研究，大约20%的组织已经扩大了其网络安全运营的部署，低于人工智能在网络安全中的应用程度。广泛的数据使用和与模型的交互可以成本迅速上升，成为大规模实施的主要障碍除了模型的许可成本（或培训成本）外，重要的费用还包括模型和数据管道的维护和更新需要立即响应的关键模型，例如在实时客户服务中使用的模型，缩放管理多个工具和复杂的基础架构还增加了运营费用，使大规模实施复杂化。其次，GenAI模型输出的质量取决于模型训练所依据的数据的大小和质量如果没有这一点，组织可能会发现很难从他们的GenAI模型中获得正确的结果。这些与成本和数据相关的担忧可能会阻碍GenAI的大规模采用，以加强防御。50新防御，新威胁：AI和GenAI为网络建议：使用AI和GenAI加强网络防御51新防御，新威胁：AI和GenAI为网络随着人工智能和基于人工智能的风险继续上升，组织的安全根据我们的调查、访谈和经验，我们在下面提出了加战略应该在很大程度上依赖于使用相同的技术来保护其资产强组织防御的建议和运营。基于持续评估您的安全环境和风险制定整合和监测计划获得必要的基础设施制定AI/GenAI安全策略路线图和选定的使用案例在人工智能时代，制定强大的安全策略对于保护组织资产和数据完整性至关重要各组织应执行以下措施：•制定明确的战略，将AI和GenAI集成到现有的安全系统中。采用分阶段的方法，发展当前的系统，以解决针对人工智能技术的细微风险和威胁。AI和GenAI都有自己的应用程序。例如，人工智能可以帮助进行威胁或异常检测，自动响应常见事件，分析大型数据集，而GenAI可以帮助创建逼真的网络钓鱼模拟，并开发复杂的场景来测试防御。•评估相对于GenAI工具的投资所获得的效率或降低的风险制定一项明确的战略来衡量这些因素至关重要。除了初始投资，重要的是要评估持续的运营成本，并确定长期回报是否值得这些费用。投资一个工具，仅仅因为它包含了GenAI，而不考虑总体成本，可能导致效率低下，长期.52新防御，新威胁：AI和GenAI为网络“识别低风险、高价值的用例，以评估性能和安全影对风险的识别和缓解进行标准化和基准化，为有效管理•定期审查您的网络安全战略和人工智能政策，以适应不断变化的威胁和技术进步。之间的协作IT团队、法律专家、业务领导者和组织内外的其他利益相关者，汇集知识、经验和资源至关重要。巴西一家零售银行的LucianoValdomiroDosSantos评论了这种跨不同内部部门和部门合作的重要性，不仅包事件响应协议为了有效地管理严重的安全事件，如数据泄露、泄漏、勒索软件攻击或敏感信息丢失，组织应该建立一个全球事件响应和管理团队，全天候提供服务例如，ISO/IEC27035-1：2016框架提供了用于分析、评估、响应和遏制网络安全威胁的协议，确保与国际标准保持一致。·概述遏制和缓解的初步行动·利用GenAI为急救人员提供见解和建议。然而，鉴于其相对新颖，至关重要的是让人类参与决策过程，以确保深思熟虑和适当地采取行动，而不是从一开始就自动采取行动·确保调查证据的安全保管链，并保留所有安全事件的详细记录此文档对于未来的威胁分析、响应计划和主动漏洞缓解至关重要·进行彻底的事件后分析，以确定安全控制和响应程序中的差距，以提高整体网络安全弹性。BT前董事总经理、现任独立顾问的AlexandraFoster评论将人工智能（尤其是GenAI）集成到事件响应规划中，不仅使组织能够对安全事件做出快速反应，还能预测和缓解未来的威胁。它可以模拟各种网络攻击场景，使事件响应团队能够微调其响应。53新防御，新威胁：AI和GenAI为网络“人工智能和生成式人工智能“人工智能和生成式人工智能的方法应该基于基于风险的框架，这需要在启动之前识别和编目与技术或项目相关的所有潜在风险这种先发制人的方法能够及时识别新的风险并部署适应性防御机制。胡里奥·C.Padilha南美大众汽车和奥迪首席信息安全官·胡里奥·C.Padilha南美大众汽车和奥迪首席信息安全官这种方法还支持遵守法规要求，并促进积极主动的安全文化。在我们的研究中，62%的组织认为GenAI将使他们能够主动识别漏洞GenAI可以进一步帮助解释复杂的法规并生成合规所需的详细报告 GenAI将允许他们主动识别漏洞54新防御，新威胁：AI和GenAI为网络获得必要的基础设施AI和GenAI的采用需要更复杂的通信、数据管理和云计础设施、专用AI处理器和广泛的数据存储。探索进硬件之间的协同作用至关重要。组织可以增强GenAI模型，实现快速处理和分析大量数据。这使人工智能能够快速识别复杂网络中的异常和潜在威胁OpenGovAsia的首席执行官兼主编MohitSagar肯定道，OpenGovAsia是一个内容平台，发起了公共部门CIO和技术将基于人工智能的安全机制引入数据中心和网络基础设施将至关重要。然而，更快的硬件和处理器也会消耗更多的能源，并导致碳足迹。组织应该考虑利用云来扩展所需的功能，而不是购买GPU场和利用云资源可以通过优化共享基础设施的使用来提高可持续性，从而提高资源利用效率并减少碳足迹。55新防御，新威胁：AI和GenAI为网络建立框架、政策和指导方针数据管道和就绪性一个强大的、集成良好的、可扩展的数据平台可以确保数据的安全性和完整性，这对于培养对人工智能模型的信任至关重要此外，人工智能，特别是GenAI在网络安全中的有效性取决于数据的大小和质量，以及用于分析数据的算法目前，无论是数据量和质量还是算法都不够先进，无法在网络安全中广泛使用GenAI-除了一些数据和算法可靠的目标应用程序之外。•识别和分类数据源、文件和非结构化数据，尤其是机密数据（例如，客户信息、商业交易数据等）。•记录数据访问的频率和目的，以识别依赖关系和潜在瓶颈，并防止违规行为。此外，这些数据平台必须随着组织增加其劳动力，构建复杂的数据基础设施和管理更大量的数据而无缝扩展。荷兰合作银行的CorenceKlop表示：“我会AI和GenAI提出了有关数据治理、知识产权（IP）、偏见缓解和负责任地利用AI生成内容的重要问题。建立一个专门的团队或部门来监督组织层面的人工智能CooperativaCentralAilos的HélioCordeiroMariano强调了这一治理机制的重要性：“我们正在建立一个创新团队，以有效地调动所有部门。我们的关注点不仅限于安全线需求。我们的方法包括从小处着手，测试价值生成，并治理、规划和调整期望是至关重要的讨论，特别是在整合人工智能以获益时•为AI和GenAI工具的开发和部署制定政策和指导方针，以确保道德实践和有效治理。•为员工使用AI和GenAI工具制定明确的指导方针强调遵守数据隐私法规，并强调滥用的影响这使员工能够做出明智的决定，并降低组织风险。巴西一家支方案公司的首席信息安全官评论说：“任何人都可能私泄露也是一个重要问题;敏感信息不应该被任何人息的访问。这些都是我们目前面临的挑战。”•通过基于角色的访问控制和技术（如阻止、哈希和限制平台与外部网络的连接），控制和限制必要利益相关者的数据访问。56新防御，新威胁：AI和GenAI为网络•促进定期重新评估所有使用中的模型及其产生的输出，以完善和修改框架。一家跨国服装公司的首席技术官评论•对隐私政策保持透明，让客户轻松访问解释人工智能算法底层逻辑的资源，并提供清晰的方法来识别、消除和防止偏见。考虑在内部建立专门的角色安全团队来监督这些工作。“某些组织正在其安全职能部门内任命首席信任官，这证明了不断发展的法规与人工智能可信度的考虑相互关联，包括风险和机•征求包括技术专家、商业专业人士和用户在内的不同利益相关者的反馈意见，以评估潜在的影响和影响AI的应用。政府和私营部门显然需要加强合作，以管理复杂的技术平台。57新防御，新威胁：AI和GenAI为网络“某些组织正在其安全职能部门内任命首席信任官，这证明了不断发展的法规正在模糊传统角色和责任的融合。现在，网络安全框架与以下考虑因素相互关联：AI可信度，包括风险和机遇” 亚历山德拉·福斯特英国电信前董事总经理，现在是独立顾问58新防御，新威胁：AI和GenAI为网络模型选择和培训为了减少LLM的碳足迹，组织应该限制培训。专门在原始网络安全日志上使用知名和可靠的LLM，最它们提供强大的攻击模拟，并探索假设场景，这对于测试现有警报和防御至关重要。56.为了获得更多的LLM灵活性，组织可以探索开源模型，如Meta的Llama，并对其进行微调以满足其特定需求。除了专注于LLM之外，组织还可以考虑使用小语言模型），时间，针对特定用例，并且具有更小的碳足迹。SLM也有较小的攻击面，使它们不太容易受到敌对攻击。57得在生产中很难信任AI。未来，组织可能会使用LLM和SLM的组合来满足他们的网络安全需求。因此，他们还应注重发展acustomGenAIdeploymentpipelinetomanagethesemodelseffectively.组织还可以探索自定义GPT模型，这类似于定制的网络工具。这些模型学习组织的特定语言，适应其细微差别，保持持续的警惕以检测异常，并不断学习。组织必须在相关数据（如日志、事件报告和威胁情报）上训练这些模型。组织应该将它们与现有的技术堆栈同步，从而实现与防火墙、入侵检测系统和其他安全协议的无缝通信。应该注意的是，这些自定义GPT也容易受到漏洞的影响。建立防止滥用的护栏，并进一步防止开发隔离和生产环境将有助于降低风险。在测试和测试之间保持清晰的界限模型性能和完整性至关重要。在训练模型时，组织确实需要注意，在敏感数据上训练的模型也应该被认为是敏感的。因此，同样重要的是要保护这些模型，使其具有与训练数据相同的安全性和机密性，以防止未经授权的访问。为了保护这些模型和模型权重不被未经授权的访问和窃取，组织应该：防止数据外泄•集成机密计算技术，以确保处理过程中的模型权重，并最大限度地减少攻击面。58此外，组织可以遵循联邦学习（FL）方法，这是一种分散的ML方法，其中训练在多个设备上进行，只发送模型更新而不是原始数据。这种方法通过将个人信息保存在本地设备上来增强隐私，在不集中敏感数据的情况下协作改进模型因此，这种方法支持威胁检测、异常识别、恶意软件检测和预测分析，而不会牺牲数据的机密性59此外，随着芯片软件化的日益突出，组织的攻击面也在增加。这种扩展的攻击面可能导致严重的安全问题，如未经授权访问敏感数据，操纵芯片功能，甚至完全由攻击者控制Therefore,introducingrobustsecuritymeasuresatthechiplevelisequallycrucial.59新防御，新威胁：AI和GenAI为网络制定整合和监测计划与现有SOC解决方案GenAI通过增强当前的SOC功能，帮助自动化，数据解释，建议最佳实践来改造SecOps随着威胁变得越来越复杂，组织必须转向AI驱动的解决方案，以增强检测和更快响应。组织应该投资于基于AI的解决方案，这些解决方案可以自主识别威胁并阻止它们。通过制定特定的响应手册和优化工作流程，人工智能还使安全团队能够有效地确定优先级，检测和修复问题。如今，组织可以利用市场上的许多解决方案来检测诸如deepfake之类的威胁同样，设置针对常见攻击的护栏将有助于确保AI系统不会变得流氓。必须拆除筒仓，促进跨平台协作，能够全面监控和保护组织数字基础设施的各个方面60此外，为了防范即时注入风险和人工智能系统的自主性，实现一个额外的安全层至关重要，该安全层可以持续监控和拦截潜在的流氓命令。这个辅助系统应该被设计成围绕主AI系统，充当看门人，可以在命令到达核心AI功能之前对其进行审查和过滤采用零信任方法--将每个输入都视为潜在的泄密和审查--可以帮助减轻这些风险并增强整体安全性。部署AI代理组织应该将人工智能代理战略性地整合到其网络安全运营中。它们旨在独立运作、计划、反思、追求更高层次的目并在最少或有限的直接人工监督下执行复杂的工作流程。61.在网络安全方面，这些代理人自主运作，监测网络流量，检测异常情况，实时应对威胁，并在没有人为干预的情况下积极寻找威胁此外，人工智能代理模拟攻击，识别漏洞并除了生态系统协作，组织还必须培训员工与这些先进系统协作。随着攻击量的增加，在特定阈值内运行的AI代理在防御方面至关重要一个组织的运作。然而，这些物质确实需要保障。我们对GenAI的最新研究表明，57%的人承认在将AI代理集成到其操作中之前需要强大的控制机制，73%的人坚持认为人类必须验证并在必要时干预AI决策。62.在利用这种自主代理人和由于其存在的风险而保持监督之间需要谨慎平衡60新防御，新威胁：AI和GenAI为网络连续监测组织必须持续监控和更新AI和GenAI系统，以抵御不断变化的威胁。它们应：•监控、测量、审计和记录指标，以确保AI模型的负责任、道德和安全部署实施评分机制可以实时了解与每个输入相关的风险级别和输出，帮助用户做出明智的决定，并保持强大的监督。监控模型随时间的漂移并重新校准模型将确保输出可靠。•重点测试AI特定的风险，包括越狱、即时注入以及与生成内容的一致性、可读性和毒性相关的问题。此外，评估偏见并进行红色团队演习，以加强模型的安全态势。•投资于实时行为模式匹配。随着社会工程攻击的增加，组织必须能够检测和防止任何不符合员工规范的行为•投资于现有的解决方案和工具，以检测GenAI签名和模式，如deepfakes，并主动预防潜在的攻击和有效地减轻威胁创建意识和培训计划在我们的研究中，58%的组织提到了短缺63%的受访者承认，由于人才的原因，将GenAI整合到现有的安全解决方案中存在困难。局限性。因此，目前超过一半（51%）的组织正在投资全面的人工智能网络安全培训计划。这些计划促进了对人工智能功能，限制和道德考虑的更深入理解，确保负责任的使用。BT前董事总经理AlexandraFoster强调了多样化培训计划的重要性：“当今许多组织都域。我相信有很大的潜力来扩大这些努力，包括社会工程和恶意软件的综合计划。这可能涉及将模拟和利用游戏化进行有效的培训。此外，这些举措应该超越网络安全团队，涵盖所有部门，培养安全第一的文用。61新防御，新威胁：AI和GenAI为网络 的组织承认，由于人才限制，将GenAI集成到现有的安全解决方案中存在困难51% 如今，有50%的组织正在投资全面的人工智能网络安全培训计划。 的组织提到缺乏有才华的网络安全专业人员。提高认识和培训有助于改进威胁检测、响应策略和整体网络安全态势。西门子医疗集团的FrédéricPégaz-Fiornet表•人工智能网络安全方面的用户意识和教育确保个人认识到潜在的威胁并了解如何应对。这减少了人为错误，加强了整体安全性，并促进了警惕文化，提高了人工智能驱动防御的有效性。•AI和GenAI的网络安全技能提升之间的差距。一家汽车公司的首席信息安全官强调了G调了对员工进行GenAI教育的重要性，FredericJesupret，集团信息安全62新防御，新威胁：AI和GenAI为网络•意识计划应该超越最终用户和安全团队，包括数据科学家和工程师，他们在开发和定制模型的安全性方面发挥着至关重要的作用。另外，重要的是评估所有相关人员的实践，例如GenAI用户、开发人员、数据科学家以及网络和基础设施团队，以确保他们符合安全政策和最佳实践。的组织认为，GenAI将大大重新定义 63新防御，新威胁：AI和GenAI为网络“我们正在建立一个创新团队，以有效地参与所有部门。我们的关注点不仅限于安全线索，还包括公司如何导航实验、测试和模拟。我们正在制定一个流程，以优先考虑有影响力的行动并展示其价值。市场上有许多替代品，并非所有替代品都适合我们的特定需求。我们的方法包括从小处着手，测试价值生成，并迅速扩展有前途的计划治理、规划和调整期望是至关重要的讨论，特别是在整合人工智能以全面造福我们的业务时。CentralAilos首席信息官64新防御，新威胁：AI和GenAI为网络保护业务流程，培养风险意识文化随着社会工程攻击的兴起，组织必须将安全意识嵌入组织思维中。员工必须接受培训快速识别和报告潜在威胁。通过可以确保员工保持警惕，积极主动地防范安全漏洞。提高员工的意识和批判性思维能力（例如分析背景和从可信来源证实）可以帮助组织抵消恶意行为者构成的威胁。此外，网络攻击往往突出了业务流程中的问题。Organizationalhierarchiesrelyontrustintheindividuawithinstructionsoftenconveyedviaemailorworkflowtools.随着数字通信的使用越来越多，以及威胁行为者拦截这些通信的能力越来越强，验证这些交互的真实性至关重要AI可以通过整合cleardemarcationofdutiescanhelpensureefficiencieswhileremainingsecure.在人员、流程和技术的三连胜中，所有这三个要素都必须无缝集成，以创建弹性和强大的防御。65新防御，新威胁：AI和GenAI为网络“有必要进行检查，以确保生成AI不会进入负面或错误的循环，就像在某些情况下观察到的那样。这强调了提升员工能力的必要性。虽然生成式人工智能可以处理比手动流程更多的事件，但人类监督对于定期验证结论并确保道德考虑得到维护仍然至关重要。" 弗雷德里克·热苏普雷特安联集团信息安全66新防御，新威胁：AI和GenAI为网络AI和GenAI越来越多地被恶意行为者利用，他们利用这些技术来增强他们的攻击。威胁形势继续变得更加复杂，威胁行为者利用AI和GenAI进行大规模攻击，对网络安全构成重大随着威胁的数量比以往任何时候都要增加，组织必须转向这些同样的技术来对网络攻击进行强大的防御组织将需要在对抗恶意行为者的斗争中保持创新优势他们越来越依赖AI进行快速准确的检测以及实时威胁和细微异常的报告，从而实现主动防御策采用GenAI使组织面临一些新的挑战，威胁-来自外部行为者和员工，它还提供了加强安全的机会。与此同时，他们还必须了解与采用GenAI相关的风险，并采取必要的缓解措施。控制机制，并将其纳入现有的反应过程。这将使组织能够充分挖掘这些技术的潜力，创造一个有弹性的网络安全态势，这对于保护其最有价值的资产和培养价值链上的信任至关重要。67新防御，新威胁：AI和GenAI为网络研究方法我们对亚太、欧洲和北美13个国家的12个行业的1,000家组织进行了有针对性的调查他们的年收入超过10亿美元。我们于2024年5月进行了全球调查我们在下面提供了这些受访者及其组织的分布情况各总部所在地组织各部门组织百分之十五UnitedStates百分之十五UnitedStatesUnitedKingdom国加拿大西班牙百分之十百分之九百分之九百分之十百分之九百分之九占6%澳大利亚占6%澳大利亚6%占6%占6%占6%百分之五高科技工业设备制造制药和医疗保健荷兰瑞典新加坡l68l新防御，新威胁：AI和GenAI为网络各年收入组织按年度预算分列的公共部门组织按职能分列的答复者超过100亿百分之十五信息安全百分之十七百分之十五信息安全百分之十七超过20十亿10亿美元-不到5010亿美元-不到50亿50亿至100亿美元百分之十九100亿美元-不百分之十九100亿美元-不到200亿百分之二十八百分之二十八1亿1亿-5亿美元百分之五十七50亿美元-不到100亿百分之五十七50亿美元-不到100亿69新防御，新威胁：AI和GenAI为网络69新防御，新威胁：AI和GenAI为网络为了补充调查结果，我们还与18位来自使用AI和/或GenAI进行网络安全防御的组织的高管进行了深入讨论。位Capgemini专家，讨论具体影响。70新防御，新威胁：AI和GenAI为网络4.福布斯，“GenAI及其对网络物理威胁格局的恶意影6.VentureBeat，“GenAI是网络安全供应商降低AI战争失败风险所需的力量激增”，2023年12月。8.判决，“ATT在大规模违反客户数据后处于十字准线中”，2024年7月网站”，2024年2月。11.《海峡时报》，“新加坡公共部门数据泄露事件上升10%，2023年记录了201起案件”，2024年7月13.ABC新闻，“澳大利亚政府调查脚本提供商MediSecure的“大规模勒索软件”数据泄露事件”，2024年5月。14.Ekran，“内部威胁导致的真实数据泄露的7个例子”，2024年2月16.安全周刊，“江森自控勒索软件攻击：数据盗窃确认，成本超过2700万美元，”2024年2月。17.机器速度攻击是以超过人类能力的速度发生的网络攻击，通常利用自动化，人工智能和机器学习来进行攻击。目标是在人类操作员有机会做出反应之前压倒防御并利用系统18.微软，“在人工智能时代保持领先于威胁行为者”，2024年2月14日。19.国家网络安全中心，“人工智能对网络威胁的近期影响”，2024年120.法拉利高管通过向骗子提出一个只有首席执行官BenedettoVigna可以回答的问题来挫败Deepfake企图，“2024年7月。21.《南华早报》，“香港雇员在与英国跨国公司的deepfake‘CFO’进行视频通话后被骗支付400万港元”，二零二四年五月。24.微软，《2024年工作趋势指数年度报告》，2024年5月26.CapgeminiResearchInstitute，“TurbochargingsoftwarewithgenAI，”2024年7月28.《卫报》，“加拿大航空公司下令向被航空公司聊天机器人误导的客户付款”，2024年2月71新防御，新威胁：AI和GenAI为网络31.《印度时报》，“亚马逊对在工作中使用人工智能的员工发出‘警告’”，2024年2月generativeAI2ndedition:To34.IANS研究安全预算基准报告，数据截至2023年10月3日35.GoogleCloud，“通过GoogleCloud推进AI驱动的安全性艺术”，2024年5月36.万事达卡，“万事达卡利用其人工智能能力打击实时支付诈骗”，2023年7月37.Emerj，“ArtificialIntelligenceatEscherichia，”May2024.诈”2023年7月。40.SOCRadar，“威胁情报在识别和应对僵尸网络攻击方面可以挽救生命”，2023年6月41.RelevantSoftware，“人工智能驱动的威胁情报系统代表了持续努力保护数据基础设施的重大进步”，2024年4月42.RelevantSoftware，“AI网络安全软件可以帮助欺诈检测”，2024年4月44.UCToday，“思科推出'首款'AI驱动的身份智能”，2024年446.环球邮报，“人工智能如何彻底改变物理安全行业”，2024年649.福布斯，“人工智能如何破坏物理安全业务”，2023年9月。51.博通，“博通与谷歌云合作，加强人工智能驱动的网络安全”，2023年9月52.万事达卡，“万事达卡利用生成式人工智能技术加速卡欺诈检测”，2024年5月53.Google，“来自世界领先组织的真实世界人工智能用例”，2024年4月56.Nvidia，“构建网络语言模型以解锁新的网络安全功能”，2024年7月57.Synergy-technical，“小语言模型对人工智能计算未来的意义”，2024年259.Tripwire，“网络安全的联邦学习：威胁检测的协作情报”，2024年3月60.Sumologic，“人工智能将如何影响网络安全：第五代SIEM的开始”，2024年4月72新防御，新威胁：AI和GenAI为网络与专家Karine自2019年起担任Capgemini云基础设施服务首席运营官。在加入Capgemini之前，Karine是沃达丰的技术服务总监，她还曾在Steria、Alcatel和NCR担任高级职务。Karine在管理大型转型和基础设施业务方面有着良好的记录。她拥有市场营销和欧洲管理、经济科学和欧洲经济学三个硕士学位。Marco曾担任Tru