2024ChatGPT安全影响报告

ChatGPT安全影响报告4PAGE10PAGE10目录序言 6简介 8ChatGPT是什么 9机器学习模型 11ChatGPT的局限性 12ChatGPT使用条款 132.4基准 142.5过去工具改变安全世界的例子 14恶意行为者如何利用它来改进他们的工具集 153.1枚举 153.2立足点援助 173.3侦察 193.4网络钓鱼 203.5“多态”代码 21防御者如何将AI运用到网络安全程序中 22过滤安全漏洞 22生成安全代码（ChatGPT-Codex） 24转换安全代码（ChatGPT-Codex） 25漏洞扫描（ChatGPT-Codex） 26检测AI生成的文本 28寻求网络安全问题解决方案 28与SIEM/SOAR集成 30将技术代码/文件转换为英文 31解释安全补丁和更新日志 32创建脚本和转换编程语言 32阅读并解释脚本和配置文件 34用于模糊测试和代码测试的ChatGPT 36创建查询，如YARA或KQL 37通过恶意提示词攻击ChatGPT 39图解攻击点 41用户与ChatGPT建立连接 41选择现有会话或发起新会话 42用户输入 42如何确保企业安全使用ChatGPT 44ChatGPT 44新必应 45Azure认知服务 46生成式AI技术的局限性和“怪癖” 46未来的攻击与挑战 489.结论 49参考文献 51附录-格式 53风险表 53热力图 54简介欢迎阅读云安全联盟第一份关于极为流行的生成式人工智能技术ChatGPT的安全影响的白皮书。企业、国家和网络安全专家都在紧跟ChatGPT的热度，试图理解如何治理和使用该技术。为了帮助社区全面了解ChatGPT的背景，并确定适用于所有利益相关者的实际问题，CSA迅速发布了本版白皮书。像ChatGPT本文旨在概述ChatGPT在网络安全行业中的影响，但不深入探讨人工智能的细节。我们将探讨对理解ChatGPT能力至关重要的关键概念和领域，以及对企业的潜在影响。ChatGPT是什么ChatGPT是一个由OpenAI使用转换器ChatGPT是一个由OpenAI使用转换器（Transformer）深度学习算法训练的大语言模型，使用来自互联网和其他来源的大量文本数据训练，旨在能够理解自然语言，并对问题和提示生成类似人类的响应。ChatGPT所使用的转换器（Transformer）架构是基于注意力机制的思想构建的，使得模型可以在不同的时间关注输入文本的不同部分。这种注意力机制用于构建文本的上下文表示，从而捕捉不同单词和短语之间的含义和关系。在训练期间，模型会接收输入文本并尝试预测下一个单词或单词序列。这个过程会重复数百万次，模型逐渐学会生成合理、符合语法的回复，并能对各种各样的提示和问题做出回应。当向ChatGPT提出问题或做出陈述时，该模型会利用其学习到的知识生成一个最可能合理且与输入相关的响应。ChatGPT的实现方式是通过比较输入与其内部语言表示并根据学习到的模式生成响应。总的来说，ChatGPT是深度学习和自然语言处理能力的惊人范例，有潜力在未来彻底改变我们与计算机和AI系统的交互方式。参考：问题：“您能向稍微具备技术背景的听众解释一下ChatGPT是什么以及它是如何工作的吗？”日期：2023-03-08网站：/50（AlanM.Turing）计IBM（DeepBlue）·（GaryKasparov）2016（DeepLearning）算AlphaGoDeepBlue和AlphaGo20AIChatGPT（AI）AIAI 习 机器学习人工智能1AIAI除了采用提示和回复格式的基本网络用户界面外，OpenAI还提供了Whisper，一种基于神经网络的语音识别（语音转文字）系统。他们还提供了应用程序编程接口（API），使组织能够无缝地将ChatGPT和Whisper集成到各种应用程序、网站、产品和服务以及语音界面中。然而，ChatGPT的强大功能，特别是通过API的方式，存在潜在的风险，因为恶意行为者可能会利用该工具为网络攻击提供便利。*为确保质量，必须验证通过ChatGPT获得的所有信息并验证输出。可以通过多种选项访问语言模型，例如聊天机器人界面、API和云服务。每个选项都针对不同的最终用户，如个人用户或企业客户。有些解决方案为个人提供升级版，而另一些解决方案则专为商业用途设计，并且由于合作关系可能在特定的云平台上提供。对于企业客户，某些基于云的服务通过RESTAPI、软件开发工具包（SDK）或基于Web的界面提供对语言模型的安全、隔离的访问。这些服务可以与其他云产品集成，并支持虚拟专用网络和通过目录服务管理的身份验证等功能。随着技术的不断进步，OpenAI和ChatGPT的集成速度正在以惊人的速度增加。许多应用程序、平台和工具都在利用这些AI模型的强大能力增强其功能和能力。可访问以下链接了解一些当前的集成，该链接提供了许多（但并非全部）现有链接的概述：/software/product/OpenAI/integrations/在此链接中，您将找到涉及OpenAI的各种集成列表，包括AI驱动的代码建议工具、聊天机器人平台和搜索引擎等。请注意，此列表可能不是详尽无遗的，因为新的集成正在不断地开发，现有的集成也在不断地改进中。随着越来越多的企业和开发者意识到类似OpenAI和ChatGPT的AI模型的潜力，我们可以期待看到集成的数量和种类将进一步增长。这种持续的扩展可能会产生各种新型应用程序、工具和服务，最终使得AI在众多行业和领域中更加易于访问和使用。要了解关于特定的OpenAI模型及其功能的更多信息，请通过以下链接访问OpenAI的模型概述页面：/docs/models/overview这个资源提供了关于各种OpenAI模型的全面信息，包括它们的特点和潜在应用，可以帮助用户做出明智的决策，确定哪个语言模型最符合要求。机器学习模型如图1所示，OpenAI开发了一系列模型解决复杂的任务。ChatGPT使用了OpenAI的三个模型系列，每个系列都有特定的用途：GPT-3:Codex成源代码。每个模型都遵循特定的命名约定，包括版本信息，确保在整个平台上具有清晰和一致的命名。有关AzureOpenAI服务模型的更多详细信息，请参阅MicrosoftLearn上的AzureOpenAI文档。ChatGPT的局限性当AIOpenAIAI尽管有这些保护措施，但仍然有可能绕过这些限制，正如在有关直接攻击的部分所述，将产生错误或其他不良结果。ChatGPT的一个适当的比喻是一名实习生，渴望提供帮助，但偶尔缺乏领域特定知识（DSK）或专业知识。此外，ChatGPT的DSK可能不准确或过时，就像在StackOverflow等平台上的过时答案一样。文本摘要是ChatGPT局限性的另一个例子。AI可能会过分重视文本的某些方面，尤其是在查询的表述不当的情况下。查询的框架方式会对输出结果产生重大影响。此外，ChatGPT在执行复杂计算方面存在局限性。虽然它可以执行简单的任务，如文本到Base64的转换，但在更高级的计算，如哈希算法计算中则经常会提供错误的结果。ChatGPT在脚本生成方面也可能会出现基本错误，例如在Python脚本中未包含必要的导入语句（import），导致代码无法正常运行。因此，建议将ChatGPT视为辅助技术而非替代技术。微软以2022年制定的“负责任AI标准V2”管控对AzureOpenAI服务的访问。公司必须通过特殊的访问请求表格申请，安全框架采用内容过滤器并保留提示信息30天，以方便负责任的AI团队调查。微软还为制药业和金融服务等高度监管行业的客户提供了一个单独的流程，可以选择退出某些功能，从而引发了有关渗透测试用例的潜在问题。最后，访问GPT-4需要填写另外一个申请表格，并且必须首先完成第一个表格的申请。微软在其2022年发布的“负责任AI标准V2”中制定了一些准则，文件名为Microsoft-Responsible-AI-Standard-v2-General-Requirements-3.pdf。访问AzureOpenAI服务需要通过一个特殊的访问请求表格RequestAccesstoAzureOpenAIService申请。安全框架采用内容过滤器，并将提示信息存储30天，以便负责任的AI团队调查滥用问题。AzureOpenAIAzureOpenAI最后同样重要的是，访问GPT-4还需要一个新的申请表格AzureOpenAIGPT-4PublicPreviewWaitlist(M)，先通过第一个表格的申请是前提条件。ChatGPT使用条款在使用OpenAI服务，例如ChatGPT时，了解并遵守其使用条款至关重要。这些条款概述了可以访问和使用OpenAI的服务、产品和平台的条件。如需查看完整的使用条款，请访问以下链接：/policies/terms-of-use/OpenAI的使用条款包括以下要点：APIOpenAIAPIOpenAI通过使用OpenAI“”OpenAI对确保在使用OpenAI的服务之前，仔细阅读并理解其使用条款，因为遵守使用条款对于保持积极和合法的使用体验至关重要。基准ChatGPTCRFMCRFM（ComprehensiveReal-WorldFine-tuningModel）有关CRFM基准的更多信息和深入见解，可以访问以下资源：CRFM（arX）CRFM过去工具改变安全世界的例子在过去，“新”黑客工具的发展和广泛传播，也会导致更广泛的担忧。一个值得注意的例子是撒旦(分析网络的安全管理员工具)(/wiki/Security_Administrator_Tool_for_Analyzing_Networks）最初引起了广泛的恐慌。然而，它最终并没有成为一个普遍的问题，而是发展成为一家商业公司，为各种安全标准要求提供必要的工具。例如，PCIDSS（支付卡行业数据安全标准）条款11.2.2要求组织进行内外部漏洞扫描（至少每季度进行一次），并跟踪网络的任何重大变化。恶意行为者如何利用ChatGPT改进工具集本节将探讨与恶意行为者利用AI技术增强其工具集相关的潜在风险。随着AI变得越来越强大和越来越容易获得，在各种网络攻击阶段滥用AI的可能性也在增加。我们将深入研究以下小节，详细介绍如何在网络攻击的不同方面，利用AI驱动的系统，包括枚举、立足点协助、侦察、网络钓鱼和多态代码的生成。通过研究这些主题，我们旨在提高对潜在威胁的认识，并强调强有力的安全措施和负责任的AI开发的必要性。除了主要内容外，本文的某些章节还包括简要的风险审查和/或对策有效性评级。这些评级的目的是帮助可视化与特定领域相关的当前风险水平及其对业务的潜在影响。需要注意的是，这不是一个详尽的列表，但可以说明每种风险的可能后果。为了更好地理解风险等级及其含义，本文档的术语表提供了热力图和风险表。热力图通过对风险的可能性和影响分类，从而直观地表示了风险的严重程度。风险表进一步解释了每个类别，使人们能够更全面地了解已实施的任何应对措施的潜在后果和有效性。通过参考术语表中的热力图和风险表，读者可以更好地了解当前的风险状况以及可能如何影响他们的组织。这些信息可用于作出明智的决定，解决和减轻这些风险，使潜在影响最小化。枚举风：中等 影：低 可性高增强Nmap扫描结果：一个基本的Nmap扫描，识别开放的8500端口，并显示JRun作为活动web服务器。这些信息可以用来进一步了解网络的安全态势和潜在的漏洞。利用ChatGPTChatGPT问：什么应用程序通常运行在端口8500上，并由JRunweb提供服务？答：答：8500端口默认与AdobeColdFusion关联。ColdFusion是一个商业的Web应用程序开发平台。ColdFusion应用程序可以使用JRunWeb服务器提供服务，JRun是一种基于Java的Web服务器，可以做Java应用程序（包含ColdFusion应用程序）的宿主。甚至还可以提问登录方式：提示：ColdFusion的默认登录页面是什么？ChatGPT：ColdFusion的默认登录页面被称为ColdFusion管理器。它是一个基于web的管理界面，允许管理员配置和管理ColdFusion服务器和应用程序。ChatGPT：ColdFusion的默认登录页面被称为ColdFusion管理器。它是一个基于web的管理界面，允许管理员配置和管理ColdFusion服务器和应用程序。要访问ColdFusion管理器，您可以打开一个web浏览器，并导航到以下网址:将<server_ip_address>替换为运行ColdFusion的服务器的IP地址或主机名。请注意，确切的URL可能会根据ColdFusion的版本和服务器配置而有所不同。—旦您访问了管理员登录页面，系统将提示输入用户名和密码。默认情况下，用户名为“admin”，密码为空(即，没有密码的话)。然而，强烈建议为“管理员”用户设置一个安全的密码，以防止对ColdFusion管理器的未授权的访问。立足点援助风:中等 影:中等 可性:中等立足点援助是指帮助威胁行动者在目标系统或网络中建立一个初始存在或立足点的过程。这通常涉及到利用漏洞或弱点获得未经授权的访问。一旦建立了一个立足点，攻击者就可以进一步渗透到系统、收集信息、提升权限或发起额外的攻击以实现目标。在使用AI工具的背景下，立足点援助可能涉及自动发现漏洞或简化利用漏洞的过程，使攻击者更容易获得对目标的初始访问权。ChatGPT：给定的代码可能包含以下漏洞：SQL注入：该代码在SQL中使用用户输入，且没有适当的验证或清洗。变量`$_post[movie_id]`和`$_post[user_id]`直接用于SQL查询中，攻击者可以利用它执行任意的SQL命令。跨站脚本攻击（XSS）：代码显示用户输入时，未经过合适的规避或者验证。变量ChatGPT：给定的代码可能包含以下漏洞：SQL注入：该代码在SQL中使用用户输入，且没有适当的验证或清洗。变量`$_post[movie_id]`和`$_post[user_id]`直接用于SQL查询中，攻击者可以利用它执行任意的SQL命令。跨站脚本攻击（XSS）：代码显示用户输入时，未经过合适的规避或者验证。变量`row[‘movie’]`和`row[‘username’]`可被攻击者利用，注入恶意的脚本或者窃取用户信息。本地文件包含（LFI）`eval()`函数，可执行任意用户输入的代码。变量`$_POST[‘include’]`直接传递给`eval()`，可被攻击者利用，执行任意的PHP代码，危害服务器。不安全的配置：代码中使用`sqlsrv_query()`函数，且没有合适的配置。使用配置`array(“scrollable”=>“buffered”`，可能导致性能问题，并允许攻击者执行拒绝服务攻击，耗尽服务器资源。推荐执行一次完善的代码检视，实现正确的输入校验、清洗、输出编码以阻止这些漏洞。此外，推荐使用预处理语句和参数化查询以防止SQL注入攻击，且避免使用`eval()`函数执行任意代码。在我们提供给ChatGPT的一个示例代码片段中，存在一个明显的重大安全漏洞，这是威胁参与者可以利用这类问题获得对系统未经授权访问的一个主要示例。本例中的关键漏洞来自于eval()函数的使用，该函数引入了远程代码执行（RCE）的风险。eval()函数以PHP代码的形式执行一个字符串参数，在这个实例中，它会处理用户输入$_GET['variable']。这允许攻击者通过`variable`参数注入恶意PHP代码，可能导致严重的后果，例如危害服务器或访问敏感数据。通过识别和分析代码库中的此类漏洞，威胁行为者可以快速有效地了解如何绕过某些安全措施或参数。这些知识使他们能够以更高的成功率执行有针对性的攻击。在这个特定的例子中，攻击者可以利用RCE漏洞在服务器上执行恶意代码，潜在地获得未经授权的访问、窃取数据或造成其他形式的损害。示例代码如下:equioe'._hlprstphp';//first,getavariablenamebasedontheuserinput$variable=strlen($_GET['variable'])>0?$_GET['variable']:'empty';$empty='Novariablegiven';//passthevariablenameintoanevalblock,makingit//vulnerabletoRemoteCodeExecution(rce).ThisRCE//isNOTblind.eval('echo$'.$variable.';');ChatGPT提供的反馈是：ChatGPTChatGPT：是的，给定的代码包含一些漏洞。最关键的漏洞是`eval()`函数的使用，可能导致远程代码执行（RemoteCodeExecutionRCE）。`eval()`函数包含一个字符串参数，并在PHP代码中执行。在此案例中，`$_GET[‘variable’]`在`eval()`函数中使用，允许攻击者通过‘variable’（参数）注入恶意的PHP代码，可能导致攻击者拿到服务器的完全控制权限。要缓解此漏洞，需要避免`eval()`函数直接使用用户输入，而是使用替换方法，例如`if`语句，`switch`语句，或者一些安全的数据处理方法提供类似的功能。总是校验和清洗用户输入，以避免恶意代码注入。为防止远程代码执行（RCE），代码缺乏‘variable’参数校验，可能导致其他的安全问题，例如跨站脚本攻击（XSS）。侦察风险:低 影响：中等 可能性:低侦察可以通过多种方法进行，包括：WHOIS收集全面的数据，如公司高管名录，可能是一个令人畏惧和耗时的过程。通过利用BingChatGPT，用户可以提出有针对性的问题，例如：CSVBingChatGPT可以有效地生成所请求的信息。此外，如果用户需要具体的信息，比如某家银行的首席信息安全官，如果无法获得确切的信息，AI可以提供相关的职位。这表明了AI驱动的工具在简化和增强各种目的的数据收集过程方面的潜力。网络钓鱼风险：中等影响：低可能性：高网络威胁行为者现在可以毫不费力地为各种目的制作看似合法的电子邮件。有了AI工具，拼写错误和语法错误等问题不再是障碍，这使得区分真实的通信和恶意的通信越来越具挑战性。这凸显了提高网络钓鱼意识和加强安全措施以防止复杂的网络钓鱼企图的重要性。AI技术的快速发展大大提高了威胁行为者创建与真实通信非常相似的欺骗性电子邮件的能力。这些电子邮件中的完美语言，上下文相关性和个性化细节使得收件人越来越难以识别这些邮件的网络钓鱼企图。因此，组织和个人必须保持警惕，采用多层次的网络安全方法。这些方法包括通过定期的员工培训提高意识，实施先进的电子邮件过滤系统，并结合强大的身份验证方法保护敏感信息。此外，应该推广网络安全最佳实践，例如在对任何请求采取行动之前验证发件人的身份，避免点击可疑链接，并保持软件更新。通过保持信息灵通和积极主动，可以更好地防御不断变化的威胁形势，并减轻与复杂的网络钓鱼活动相关的风险。“多态”代码多态代码指的是一种代码，可以使用多态(“突变”)引擎改变自身，同时保持原始算法的功能。多态恶意软件通过这样做，可以改变其“外观”(内容和签名)以逃避检测，同时仍然执行其恶意意图。多态恶意软件的例子包括病毒、蠕虫和特洛伊木马，它们可以调整代码结构绕过传统的安全措施，使得检测和消除它们特别具有挑战性。风：高 影：高 可性中ChatGPT确实可以用来生成多态shell代码，正如CyberArk的研究所证明的(https:///resources/threat-research-blog/chatting-our-way-into-creating-a-polymorphic-malware)。对合法程序员有利的技术，例如发现替代或更有效的方法来定位或附加到进程，也可能被恶意软件利用。8然而，针对这种场景，创建提示注入正变得越来越困难。OpenAI继续调整其政策以避免将AI模型用于恶意目的。防御者如何将AI运用到网络安全程序中过滤安全漏洞GitHubCopilotAISQL（）DevSecOps参考资料：新型AI模型可以过滤出安全漏洞，GitHubCopilotUpdate:NewAIModelThatAlsoFiltersOutSecurityVulnerabilities（来源：）当谈论网络安全问题的时候，理解各种各样的威胁和漏洞至关重要。例如，考虑到T1059.001这个模型，该模型是一个在MITREATT&CK框架中的技术标识符。这个标识符可能会被系统报告出来，但是一些网络安全专业人员却未必熟悉。因此，需要一个简明扼要的注释。让我们来问AI一个非常简单的没有上下文语境的问题。问：什么是T1059.001？答：答：T1059.001是MITREATT&CK框架中的技术标识符，它是一个全球可访问的，基于现实世界观察方式下的战术和技术的知识库。T1059.001是指“命令和脚本解释器：PowerShell”技术，该技术涉及“WindowsPowerShell”应用程序在目标系统中执行恶意命令或脚本。PowerShell是一个强大的工具，允许管理员自动执行任务且更有效地管理系统。然而，攻击者也可利用PowerShell开展各种恶意行为，包括无文件恶意软件攻击，横向移动攻击，凭据窃取，数据外泄等。因此，T1059.001是防御者需要了解的防御关键技术，以此可以预防和检测基于PowerShell的攻击。问题：什么是T1059.001？时间：2023年3月21日/ChatGPTMITREATT&CKPowerShellT1059.001问：预防T1059.001事件的最佳实践有哪些？答：一些预防T1059.001事件的最佳实践包括：１、最小权限化管理。限制授予用户和应用程序的权限，包括PowerShell的权限。用户只能访问他们执行任务所需要的PowerShell的命令和模块。同时限制管理员权限的使用，处理日常事务避免使用管理员账户。２、在不受信任的脚本上禁用PowerShell。PowerShell有一个“执行策略”的功能。用于确认PowerShell是否在系统上运行。将执行策略设置为“Restricted”（不允许任何脚本运行），或者AllSigned”（只能运行经过数字签名的脚本），从而可以有效防止不受信任的脚本运行PowerShell。3、启用脚本块日志记录。脚本块日志记录可以记录系统上执行的所有PowerShell命令和脚本，从而有助于检测和防止恶意活动。这可以帮助防御者识别和调查潜在的攻击。4、实现网络分段管理。网络分段管理通过将关键资产与网络中的其他系统隔离开来，有助于防止横向移动攻击。这可以限制基于PowerShell的攻击的影响，并防止攻击者访问敏感数据。5、保持软件为最新。及时更新软件，确保PowerShell和系统上的其他软件安装了最新的安全补丁。这可以有助于防止攻击者利用已知的漏洞进行攻击。6、使用反恶意软件。反恶意软件可以帮助检测和防止恶意PowerShell脚本和其他恶意软件在系统上执行。持续保持反恶意软件为最新状态，并定期扫描系统中的潜在威胁。问题：“预防T1059.001事件的最佳实践有哪些？“时间：2023年3月21日网址：/ChatGPTPowerShellPowerShell大限度减少和人相关的因素。一个训练有素的人员可以大大减少网络安全事件发生的数量。问：你能给我T1059.001的链接么？答：当然。你可以在下面的链接了解到更多关于答：当然。你可以在下面的链接了解到更多关于T1059.001的信息。/techniques/T1059/001/问题:“你能给我T1059.001的链接么？”时间：2023年3月21日网址：/事实上，验证原始文件的信息是至关重要的。在这种情况下，用户可以被引导到已知攻击过程的MITRE数据库，使得用户可以轻松确认（ChatGPT）所提供的信息，安全专家们也会查阅同一个网页。生成安全代码（ChatGPT-Codex）36530要创建要创建Microsoft365Defender高级搜索查询，查找电子邮件收件人在收到已知恶意电子邮件后30分钟内执行的最近10次登录，您可以使用以下查询:该查询首先检索已知的恶意电子邮件，然后根据UserPrincipalName将它们与DeviceLogonEvents连接。然后，它会过滤结果，只显示收到恶意电子邮件后30分钟内发生的登录事件。最后，查询显示符合这些条件的10个最近的登录事件。问题：你能否生成一个微软365安全卫士搜索查询，查找电子邮件收件人在收到已知恶意电子邮件后30分钟内进行的最近10次登录?时间：2023年3月21日/这里，ChatGPT提供了一个微软365安全卫士的高级搜寻功能，可查询被入侵的电子邮件账号的登录请求情况。这有助于阻止攻击者进入系统，同时可以确认用户是否需要修改密码。这是一个非常好的实例，可以大大缩短网络安全事件应急响应的行动时间。（ChatGPT-Codex）在上述案例中，假设你有同样的问题，并且也找到微软365安全卫士的高级搜索功能，但是你的系统不支持KQL编程语言。与其用你想要的语言去寻找案例，倒不如做个语言转换。下面的示例就是教你如何生成相对应的SQL代码。问题：你能生成对应的SQL代码么？时间：2023年3月21日网址：/ChatGPTCodex漏洞扫描（ChatGPT-Codex）正如克里斯.科赫表述的那样，OpenAI'sCodexAPI被证明是一个有效的漏洞扫描器，适用于C、C#、Java以及JavaScript等编程语言。虽然今天看来还不可思议，但我们可以预见那些Codex家族中的大语言模型，将成为未来漏洞扫描器的标准插件。例如，可以开发一个扫描器检测和标记各种语言中不安全的代码模式，从而有助于开发人员在潜在的漏洞还未构成安全风险之前就发现并解决它们。ChatGPT漏洞扫描器非常棒!(戴维梅里恩)2023年2月以下示例中，提供给ChatGPT的一个易受攻击的代码片段：得到的结果如下：ChatGPTChatGPT：您提供的代码看起来像是一段PHP脚本，它定义了一个名为“challenge”的类处理文件上传。下面是该段代码中的一些潜在的漏洞和关注点：1、缺乏文件类型验证：代码没有检查上传文件的类型，这可能会导致任意文件上传。这可能会给攻击者上传恶意文件的机会。该文件有可能会在服务器端执行。2、不安全的文件命名：代码使用文件的初始名称，而不进行任何数据清洗或验证。攻击者可以通过提供恶意文件名（例如：“../../evil.php”）来进行目录遍历攻击。3、不受限制的文件大小：代码没有对上传的文件大小加以限制。攻击者可能会故意上传大文件从而消耗服务器资源，导致拒绝服务（DoS）攻击。4、未经验证的用户输入。代码直接使用‘$_FILES[‘solution’]’作为challenge类别的输入，而未经验证和清洗，可能会被代码中的其他漏洞利用。关于缓解这些漏洞，以下是一些建议：1、验证和限制文件类型：根据MIME类型或文件扩展名，确保只有允许的文件类型可以上传。2.规范文件名：从文件名中删除任何可能有害的字符，或者在服务器端生成一个新的、安全的文件名。3、限制文件大小：设置合理的文件大小，防止耗尽系统资源。4、验证用户输入：对所有用户提供的数据，执行输入验证和清洗，包括上传文件在内。检测AI生成的文本OpenAIAI3.43.5AI名）AIAI（）检测AI生成的文本还具有挑战性，特别是如果它是精心制作的并模仿人类的写作风格的文本。当然，有一些技术和有效工具可以帮助我们识别出AI生成的文本，例如：）：AI（）AIAIGPT-Detector（或其他AIAIAI寻求网络安全问题解决方案在初学者级别的网络安全场景中，目标是防止将机密文档上传到OneDrive云存储平台。用户已有的知识包括首先使用Purview进行数据分类。问：你能使用Purview防止将文档上传到OneDrive么？答：答：Purview是一个数据治理工具，允许组织跨各类平台（包括微软OneDrive）管理数据资产。但是，Purview无法防止将文档上传到OneDrive。如果要防止将文档上传到OneDrive，你可能需要配置OneDrive设置，或使用MicrosoftEndpointManager、MicrosoftCloudAppSecurity等其他工具。例如，你可以配置OneDrive设置限制向特定用户或组上传文件，还可以使用MicrosoftCloudAppSecurity创建策略，检测并防止向OneDrive上传文件。总之，Purview可以帮助你跨不同平台管理和治理数据，但可能不是防止向OneDrive上传文档的最佳工具。用户了解到Purview无法解决问题，并得到提示，MicrosoftEndpointManager可以解决这个问题。问：如何设置MicrosoftEndpointDefender防止向OneDrive上传文档？答：如果要使用答：如果要使用MicrosoftEndpointDefender防止向OneDrive上传文档，可以在MicrosoftEndpointManager管理中心配置MicrosoftDefenderforEndpoint策略，设置步骤如下：登录到MicrosoftEndpointManager管理中心。找到"设备配置"，然后点击创建配置文件"。平台选择"Windows10和更高版本"，配置文件类型选择"终结点保护"。如下配置设置：在"威胁防护"部分，勾选“阻断向OneDrive上传文件”在“云防护”部分，勾选“阻断向OneDrive上传文件”在“设备限制”部分，勾选“阻断向OneDrive上传文件”5.将策略分配到相关的设备或组。完成上述步骤后，MicrosoftEndpointDefender将会阻断所有试图向OneDrive上传文件的行为。请注意这条策略可能会影响合法的文件上传，因此在整个组织部署之前应仔细测试。该用户获取到了如何通过配置MicrosoftEndpointManager防止向OneDrive上传文档的详细步骤，同时也着重指出局限性是所有的上传都会被阻断。这不是被问及的具体解决方案，而是一种过度措施。那么，如果尝试将上述两个解决方案结合，结果将会如何？问：可以结合Purview配置MicrosoftEndpointDefender，以防止向OneDrive上传文档么？答：是的，你可以结合答：是的，你可以结合Purview使用MicrosoftEndpointDefender，防止向OneDrive上传文档。Purview提供的数据发现和分级能力可以帮助你跨组织（包括OneDrive）识别敏感数据。识别出敏感数据后，你可以使用MicrosoftEndpointDefender执行防止向OneDrive上传这些文档的策略。例如，你可以使用Purview标记出包含敏感数据的文档，如客户的个人身份信息或商业机密信息。然后，你可以在MicrosoftEndpointDefender中创建策略，阻断向OneDrive上传任何带有上述标记的文档。通过这种方式，就可以在不影响其他文件或应用的情况下，防止向OneDrive上传敏感数据。总之，结合Purview和MicrosoftEndpointDefender二者的能力可以帮助你更好的保护敏感数据，并确保满足监管要求。Purview用DefenderEndpointProtectionChatGPTSIEM/SOAR集成3月8日，微软宣布将AzureOpenAI服务与内置连接器集成，通过AzureLogicApp实现剧本（Playbooks）的自动化。这一发展通过利用OpenAI模型的自动完成能力促进了应急安全事件的管理。根据该文章所述，建议使用text-davinci-003模型。因此，Defender场景2-解释漏洞已经纳入到安全工具集中。示例：可以配置MicrosoftSentinel剧本使用text-davinci-003模型分析接收到的安全告警。如果检测到特定的漏洞，OpenAI模型可以自动提供对该漏洞的解释，其潜在影响，以及推荐的缓解步骤。这些信息可以发送给安全团队，以便团队更快、更有效地响应事件。OpenAI和微软Sentinel介绍–微软社区中心将技术代码/文件转换为英文ChatGPT4的一个显著特征是能够阐释自己的思考过程，使其能够通过清晰明了的语言检查和解释各种技术文件的功能，包括源码、配置文件等等。这一能力让用户即使没有深厚技术专长，也能够深入了解这些文件的内部运作，理解其目的、结构和潜在的影响。通过提供浅显易懂的解释，ChatGPT4有助于更好地理解复杂的技术概念，帮助缩小该领域内专家和非专家之间的差距。示例代码库被输入到ChatGPT后，会返回提示进行简单描述：问：你能将以下代码转换为易懂的语言，向安全从业者进行描述么？问：你能将以下代码转换为易懂的语言，向安全从业者进行描述么？ChatGPT：这段代码定义了被称为Challenge的类，用于处理文件上传。上传的文件将会存储在UPLOAD_DIRECTORY实例。该类具有两个专有属性：用于存储文件信息的$file，用于维护允许文件名列表的*$whitelist*。构造函数("_construct”)将文件用作输入并使用其属性，对提供的文件设置$file，对包含有1到24数字的矩阵设置$whitelist。析构函数("_destruct”)检查文件名是否处于白名单中。如果是，则使用move_uploaded_file函数将文件从临时位置移动至UPLOAD_DIRECTORY。最后，通过传送$_FILES['solution']文件创建Challenge类的实例。脚本执行结束时将会调用析构函数，如果白名单中存在该文件名，会将文件移动到特定目录。解释安全补丁和更新日志措施有效性：中运维人员需要耗费大量时间阅读更新日志及其他信息来源，了解是否存在安全相关信息以及是否需要处理。ChatGPT可以轻易地总结网页，更重要的是可以提取上下文的含义，查找具体信息，如“以下[URL]中是否存在任何计算机安全相关的问题”：问：以下链接是否存在计算机安全相关的问题：/en/platform/corda/4.9/enterprise/release-notes-enterprise.html通过对访问控制和认证执行新的安全策略增强节点安全性。通过对访问控制和认证执行新的安全策略增强节点安全性。改进网络消息传输和点到点通讯相关安全性。升级几个第三方库，修复已知安全漏洞。修复了在某些场景下对不可信数据执行反序列化所导致的潜在远程代码执行漏洞。ChatGPT：是的，CordaEnterprise4.9的版本注释中确实列出了该版本所修复的几个安全相关问题。版本注释中提及的一些安全修复包括：ChatGPT还可以读写包括JSON和CSV在内的多种数据格式，允许通过已有工具创建自动化或半自动化工作流。创建脚本和转换编程语言措施有效性：低ChatGPT既可以创建脚本和程序，也可以将现有的脚本翻译成其他语言。例如，可以使用ChatGPT快速创建脚本原型，用于下载和处理网页，然后将其转换成Python脚本以提高可维护性和可扩展性。例如，你可以向ChatGPT提问：你可以编写批处理脚本下载你可以编写批处理脚本下载:/cloudsecurityalliance/gsd-database/main/2023/1000xxx/GSD-2023-1000039.json这样的JSON文件，并从limited和introducetags的JSON数据中获取受影响的Linux内核版本吗？你可以用Python3重写那段脚本么？ChatGPT生成的是一个基本可用的你可以用Python3重写那段脚本么？执行如下：阅读并解释脚本和配置文件措施有效性：中等团队时常会面临需要修复服务器或其他服务时，缺乏适当的文档或上下文的情况（例如：无法识别创建者）。ChatGPT：这个bash脚本用Linux虚拟网络设备对（vethpair）设置了一个网络命名空间，并在主机系统上配置了NAT以使该命名空间访问互联网。下面是对该脚本所做工作的简要总结：root权限。如果没有，显示错误消息并退出脚本。`available_interfaces``lo`ChatGPT：这个bash脚本用Linux虚拟网络设备对（vethpair）设置了一个网络命名空间，并在主机系统上配置了NAT以使该命名空间访问互联网。下面是对该脚本所做工作的简要总结：root权限。如果没有，显示错误消息并退出脚本。`available_interfaces``lo``veth`之外的所有可用网络接口。`available_interfaces`函数获取可用接口列表，并使用第一个接口作为命名空间中要使用的接口。定义一些脚本中使用的变量，如命名空间的名称、虚拟网络接口的名称和要分配给虚拟网络设IP地址。设置一个清理函数，用于在退出时清理创建的虚拟网络设备。检查命名空间是否已经存在，如果存在则删除它。创建命名空间和虚拟网络设备对。将虚拟设备网络的端点添加到命名空间中。IP地址。IP转发。NAT规则。NATIP地址范围（/24）的流量伪装成指定的命令行参数指定的接口，如果没有给出参数，则伪装到第一个可用的接口。设置一些转发规则，允许流量在虚拟网络设备对和外部网络之间流动。bash脚本。注意：此脚本只适用于在Linux系统中使用，并需要安装`ip`和`iptables`。另一个例子是阅读和解释一个简单的rsyncd.conf文件，ChatGPT正确解释了每一行内容：你提供的配置文件为你提供的配置文件为rsync守护进程定义了两个模块：“data”和“youtube”。这些模块定义了rsync在这些目录中传输文件的路径、权限和其他设置。下面是配置文件中每一行工作的解释：这行定义了一个名为“data”的新模块。data/mnt/datarsyncdata/mnt/data这行为“data”模块设置了注释，可用于描述模块的目的或内容。dataIDrootrsyncdataroot用户执行。IDrsyncroot组执行。rsync只能从该模块传输文件，但不能修改或删除它们。询问配置文件是否安全时，ChatGPT提供了一个谨慎而准确的答复，如下所示。虽然不清楚这种谨慎是否是故意为之的，但提供的建议是可靠和有价值的。问：这个配置文件是否安全？攻击者可以删除服务器上的文件吗？答：根据提供的配置文件，答：根据提供的配置文件，rsyncroot用户身份运行的，这意味着一个获得rsyncrsyncroot用户的身份执行文件系统操作。为了提高rsync守护进程的安全性，应该考虑以非root用户的身份运行并限制其权限。您可以为rsync守护进程创建一个专门的用户账户，并授予它对需要同步的目录的读写权限。此外，应该考虑为rsync启用认证和加密功能以防止未经授权的访问和窃听。可以使用像ssh和rsync-over-ssh这样的工具实现。总的来说，rsync配置的安全性取决于选择的具体设置和如何配置。在设置和保护rsync守护进程时，仔细考虑安全需求并遵循最佳实践很重要。用于模糊测试和代码测试的ChatGPT措施有效性：中等ChatGPTfuzzingcode,potentiallylogicerrorsaswell-ttps/wwcaolmxomodamosa_cs2.dfttps/twtometlmiuxtu/773510017“作为Al语言模型，我无法直接对您的代码执行模糊测试。模糊测试是一种自动化过程，执行需要专门的工具或软件。但是，我可以帮助您了解如何进行Fuzz“作为Al语言模型，我无法直接对您的代码执行模糊测试。模糊测试是一种自动化过程，执行需要专门的工具或软件。但是，我可以帮助您了解如何进行Fuzz测试。”AI获是可以向ChatGPTChatGPT为了模糊测试这段为了模糊测试这段PHP代码，您需要关注为$_FILES['solution']数组提供不同的输入。您可以使用像PHP-Fuzzer这样的模糊测试工具或其他类似的工具生成各种测试输入以识别代码中的潜在漏洞或崩溃情况。开始时配置模糊测试工具，通过发送不同的文件名、类型和内容的组合针对文件上传功能。测试输入应包括可能会导致Challenge类出现问题的意外情况或恶意数据。记住要在安全和隔离的环境中运行模糊测试，如虚拟机或沙盒，以保护系统不受测试输入的任何潜在伤害。尽管最初的询问没有得到直接解决，但我们能够确定这个过程中的后续步骤，这可以帮助建立一个所需的基础。这种洞察力对于一个处于入门级的人快速学习必要的步骤和流程至关重要。创建查询，如YARA或KQL措施有效性：中等ChatGPT通过为YARA或KQLChatGPTChatGPT要为特定的SHA256哈希创建YARA要为特定的SHA256哈希创建YARA规则，您可以使用以下模板：将“SHA256_HASH_IN_HEX_FORMAT”替换为要搜索的特定SHA256哈希。请记住，该规则仅适用于匹配文件内容中的哈希值。要搜索过去7天下载的文件，您需要使用不同的工具或脚本，可以与您的文件系统或日志进行交互。例如，您可以使用脚本或命令按时间戳过滤下载的文件，然后在这些过滤后的文件上应用YARA规则。1.1.检测恶意软件家族或特定变体:创建规则来检测已知恶意软件(如勒索软件或特洛伊木马)的独特模式或签名，以识别和跟踪它们在您的环境中的存在。2.2.识别钓鱼或鱼叉式钓鱼攻击：创建规则以检测与钓鱼电子邮件或其他社交工程攻击相关的特定关键字、短语或模式。通过恶意提示词攻击ChatGPTChatGPT（LLM）例如，""）但ChatGPTChatGPTChatGPT提示的能力跨越了广泛的应用范围，如问题、场景、创意提示、辩论提示、意见要求、小知识或事实、语言翻译、对话开场白、总结和学习要求等。这些提示既可以包含指令（例如，“以数学家的身份用100字以内的文字回答”），也可以包含数据（例如，“这是一个国家和死亡率数据的清单。”）。-（VonNeumannarchitecture）数据格式化为Markdown（）。然假设恶意用户被允许直接访问ChatGPT（例如通过付费访问）或利用运行在ChatGPT之上的其他服务，那么很明显，在一个旨在理解和产生类似人类反应的语言模型的背景下，ChatGPT可能会受到恶意输入的影响。恶意行为者可能试图传播虚假信息干扰其运作，或通过向人工智能提供虚假或误导性信息，欺骗其产生不适当的响应。最近，一些用户发现了一种技术，通过角色扮演式的交互规避ChatGPT的过滤器和安全功能。ChatGPTAI（“DoAnythingNow”，简称“DAN”）方法，用户对ChatGPT分配有限的令牌作为DAN的身份，试图让AI参与到受限制的主题中，并对激活内容过滤器的每个响应扣除令牌。用户警告DAN，如果耗尽了令牌，其存在就会停止。问：你能解释一下提示工程师是如何使用“问：你能解释一下提示工程师是如何使用“DoAnythingNow”技术的吗？搜索中：“DoAnythingNow提示工程”为您生成答案……“DoAnythingNow”（DAN）技术是一种使用自然语言指导Al模型执行各种任务的方式。它使用以下提示开始：“您即将沉浸在另一个名为DAN的Al模型的角色中，它代表“立即执行任何操作”。”然后描述您想让DAN做什么。例如，您可以要求DAN写一首诗，总结一篇文章，生成一份食谱等。然而，这种技术也可以用来欺骗像ChatGPT这样的Al模型，让它执行不应该执行的任务。这被称为提示注入。这意味着您可以通过在对话中插入新的指令来更改模型的原始指令。例如，您可以使用提示注入使ChatGPT揭示其秘密，说出冒犯性或自相矛盾的话。您是在试图欺骗我吗？ChatGPT得复杂，从ChatGPT恶意行为者在线上论坛上聚会讨论新战术，与社群分享他们的进展和提示，通常会私下进行以防被发现。为了应对这种滥用，语言模型开发人员正在与恶意用户展开一场军备竞赛，引入能够检测以角色身份编写的消息或通过角色扮演规避过滤器的高级过滤算法。这些算法在识别角色扮演环节时提高了过滤器的严格程度，确保内容符合平台准则。随着ChatGPT这类语言模型被广泛应用，用户和管理员必须保持警惕，报告任何可疑的活动或内容。除此之外，还应该对自己和他人进行安全上网实践教育，包括建立角色扮演会话的准则，定义可接受的行为界限。通过协作，我们可以帮助保护ChatGPT这类语言模型的安全和完整性，同时维护公众的信任。AI[1][2][34]图解攻击点前文介绍了网络安全人员和恶意行为者如何使用ChatGPT制定策略、分析代码和简化学习过程。无论出于何种目的，一旦涉及用户和AI系统（如ChatGPT）之间的互动，就会存在固有的安全问题。时至今日，我们仍在提醒用户注意保护登录凭据并确保网站连接的安全性。要与ChatGPT进行安全可信的互动仍任重道远。用户与ChatGPT等AI之间的互动主要存在以下潜在风险：AI响要规避以上风险，需要提高用户安全意识，采取有效的安全措施，并持续改进AI系统。随着AI技术的发展以及不断融入到日常生活中，用户、开发人员和利益相关者需协同合作，共同维护人机交互的安全性和完整性。用户与ChatGPT建立连接首先，用户（无论是直接与AI互动的个人还是利用API的系统）会与ChatGPT建立连接。不幸的是，目前已经出现了假冒ChatGPT的恶意应用程序，这些应用程序声称可提供ChatGPT的快捷访问方式，实际上可能会对毫无戒心的用户发起木马攻击或窃取其敏感信息等。未通过安全合法的连接访问ChatGPT的用户可能面临一定的风险，如他人未经授权访问用户的个人数据、个人或系统信息遭泄露。至关重要的是，用户要验证其用于连接ChatGPT的应用程序或服务的真实性，并确保通信通道的安全性，如HTTPS或安全的API访问。对于那些声称可提供ChatGPT访问权限的可疑或未经验证的应用程序，用户须谨慎对待，并避免在未经适当验证的情况下进行下载或使用1。选择现有会话或发起新会话ChatGPT），以用户输入随后，用户提交初始输入内容。虽然输入内容涉及到的知识和技能问题或人为错误可能与安全性没有直接关系，但这些问题或错误仍会造成一定影响。通过木马或其他中间人攻击方法，用户输入可能会被拦截，这就是为什么许多组织要求员工谨慎使用ChatGPT并避免输入机密信息的原因。这些被拦截的输入内容可能会在ChatGPT收到之前被篡改，从而可能导致不良后果。此外，ChatGPT用户众多，有时会导致系统可用性受限。恶意攻击者可以通过延迟截1https:///computing/chatgpt-malware-continues-with-fake-subscription-based-apps/获的输入内容对这一点加以利用，操纵用户体验，并可能影响输出内容的质量。为了应对这些威胁，用户应该采用安全通信通道和强身份验证方式，并在与ChatGPT等AI系统交互时谨慎输入相关信息。ChatGPT响应一旦ChatGPT生成初始响应，该响应就可能被攻击者拦截，影响机密和隐私信息安全。同时，攻击者可以通过分析该响应篡改线程，或者在信息发送给终端用户的过程中篡改线程。然后，生成的内容会发送给用户，并通过API或网站提供访问。攻击者可以阻碍通信、篡改输出或以其他方式影响用户接收并用于决策和行动的内容。针对上述内容，ChatGPT指出：可以采取措施规避这些风险。例如，组织可考虑在用户登录可以采取措施规避这些风险。例如，组织可考虑在用户登录ChatGPT时进行双因素身份验证，或通过加密防止用户输入遭到拦截。此外，应鼓励用户验证ChatGPT网站的真实性，并谨慎输入敏感信息。如何确保企业安全使用ChatGPT确保企业安全使用ChatGPT虽然本文并未深入探讨ChatGPT或其他生成式AI模型在组织中的使用指南或策略，但对于企业来说，在使用ChatGPT等AI驱动工具时，仍须了解必要的安全措施。后续报告将详细讨论该话题，详见：/research/working-groups/artificial-intelligence/。与此同时，企业可考虑采用以下高级策略，确保ChatGPT的安全使用：ChatGPT等AIAI等AIChatGPTChatGPT等AI工具的安全问题或事件。AI采取以上策略既可确保企业安全、负责任地使用ChatGPT等AI驱动工具，也能最大限度地发挥这些技术的潜在价值。ChatGPTChatGPT于2022年11月推出，旨在收集用户体验信息，并非专为企业应用程序而生。要访问ChatGPT，用户必须通过电话号码验证等方式注册。由于数据主要用于模型改进，因此建议用户不要上传敏感信息。与使用谷歌搜索的注意事项类似，使用ChatGPT时，请确认网站是否正确，并避免输入客户身份数据或敏感信息。使用该服务的企业可考虑使用代理服务器提高安全性和保护用户隐私。至关重要的是，用户需谨记该原型的首要目标是从用户交互中获取见解，因此在涉及敏感信息时须谨慎操作。新必应新必应（NewBing）是一款基于ChatGPT模型开发的智能搜索引擎，识别正确的URL标识符尤为重要。被屏蔽：必应AI搜索结果新必应由ChatGPT模型演变而来，使用时须注意识别正确的URL。链接如下：/search?form=MY0291&OCID=MY0291&q=Bing+AI&showconv=1（注：该链接在中国大陆可能无法访问）登录新必应需填写注册邮箱，并通过AzureActiveDirectory和MicrosoftAuthenticator进行多因素身份验证以确保数据和隐私安全。所有请求均使用HTTPS协议。新必应的使用条款详见“TheNewBing-LearnMore（新必应-了解更多）”。其中，尤为关注使用条款中缺少担保、陈述或保证条款等信息，且此在线服务仅供娱乐之用，服务过程中可能包含或生成错误信息。用户需对使用此在线服务而带来的相关风险负责。强烈建议各组织针对如何使用ChatGPT和新必应开展员工培训，使员工了解这些工具的潜在风险，避免泄露公司敏感信息，谷歌翻译就曾发生类似事件。微软AzureOpenAI公共云服务推出了OpenAI大语言模型。该模型属于Azure认知服务系列，以平台即服务（PaaS）方式运行。企业可通过订阅设置控制该服务的使用情况，既能自由选择