《人工智能安全导论》 课件全套 第1-7章 人工智能安全概述-人工智能在联邦学习领域

人工智能安全概述《人工智能安全导论》北京工业大学本章知识点什么是人工智能安全人工智能的数据安全、模型安全、运行环境安全人工智能的设计、训练、执行阶段安全人工智能的硬件、操作系统、框架安全人工智能的安全要素未来人工智能安全发展前景1.1什么是人工智能安全从组成要素的角度来看，人工智能安全问题可以按照数据、模型和运行环境进行划分。从生命周期的角度来看，人工智能安全问题可以分为设计、训练和执行阶段。从系统架构的角度来看，人工智能安全问题涵盖了硬件、操作系统、框架和算法等多个方面。1.1什么是人工智能安全一个典型案例是2019年的“人脸识别数据泄露”事件。在这起事件中，一家人工智能公司的人脸识别数据库遭到黑客攻击，导致数百万用户的个人信息和面部数据泄露。这种数据泄露对个人隐私和安全构成了重大威胁，因为人脸数据可以被用于身份盗窃、虚假认证和其他恶意活动。图1-1人脸识别数据泄露1.1什么是人工智能安全人工智能安全是指确保人工智能系统在设计、开发、部署和运行过程中免受潜在威胁和攻击的能力。它涵盖了数据、模型和运行环境等多个组成要素，要求我们在整个生命周期中考虑技术、法律和伦理等方面的因素。人工智能安全的目标包括保护用户隐私、防止数据泄露、抵御恶意攻击和确保系统的可靠性和鲁棒性。1.2人工智能安全问题——按组成要素分类在人工智能系统的构建与应用中，数据、模型及其运行环境是核心要素。数据作为人工智能的基石，直接影响着模型的构建和性能。而模型则负责执行任务和做出决策，因此模型的精准性和可靠性对人工智能系统的有效运行和安全性至关重要。同时，模型的运行环境也是一个需要考虑的因素，环境的不稳定性可能对系统的安全性构成威胁，特别是在网络安全、软件安全以及依赖库安全方面。图1-3数据、模型及运行环境的三者关系1.2.1人工智能的数据安全威胁1.数据泄露常见的三种数据泄露方式

查询敏感信息的泄露：在人工智能系统特别是交互式人工智能系统中，用户在询问与医疗状况、财务状况或个人关系相关的问题时，往往会泄露私人细节。上下文信息的泄漏：即使是看似合理没有威胁的查询，在与其他上下文因素结合时，也可能间接泄露用户的敏感信息。模型参数的泄露：在人工智能系统的训练和部署过程中，模型参数可能会泄露给未经授权的实体。为避免隐私泄露，通常可以采取以下策略：数据清洗：通过纠正错误和不一致来提高数据质量，是一个数据预处理基础步骤，同时也是隐私保护的关键步骤，通过实现匿名化、数据最小化来保护敏感信息。数据加密：通过将数据转换为加密形式，以防止未经授权的访问或泄露。数据隔离：将不同级别或类型的数据分开存储和处理的方法，以防止数据泄露或不当访问。1.2.1人工智能的数据安全威胁2.数据中毒数据中毒攻击的常见方式:模型偏斜攻击：模型偏斜攻击是一种对抗性攻击形式，其目的是扰乱训练数据样本，以改变分类器的分类边界。反馈误导攻击：与模型偏斜专注于引入训练数据偏差不同的是，反馈误导攻击瞄准了模型的学习模式本身。应对策略:数据清洗作为数据预处理的关键步骤，旨在通过识别和纠正数据中的错误和不一致来提高数据质量。鲁棒性训练是在训练模型时，需要考虑模型可能在实际应用中遇到的各种情况，并进行相应调整。

图1-5数据中毒示意图1.2.2人工智能的模型安全威胁1.对抗样本攻击威胁通过在输入数据中引入精心设计的微小扰动，从而误导人工智能模型做出不正确的输出或决策。对抗性训练是一种有效的策略，通过在训练数据中引入对抗性样本或者在训练过程中针对模型进行对抗性优化，以增强模型对对抗性攻击的鲁棒性。输入检测和过滤是防御对抗性攻击的重要手段，包括检测输入数据中的异常或对抗性样本，并在模型推理阶段对输入进行过滤，从而减少对抗性攻击的影响。鲁棒性模型设计也是一种重要的防御策略，通过设计更加鲁棒的模型架构，例如使用深度集成学习或对抗性训练技术，来提高模型对对抗性攻击的抵抗能力。图1-6对抗样本攻击原理1.2.2人工智能的模型安全威胁2.模型窃取模型窃取攻击是指攻击者以黑盒模型为目标，通过多次查询获取目标模型的全部或者部分信息，进而构建一个与目标模型功能相近的替代模型以用于构造对抗样本攻击目标模型的非法行为。为防止模型被非法窃取，可以采取下列的策略和技术手段来保障其安全：模型加密：通过对模型进行加密，只有经过授权的用户才能够解密和访问模型，从而防止未经授权的访问者直接获取模型的细节。模型混淆：通过对模型进行混淆，使得模型的结构和参数变得更加难以理解和分析，从而增加攻击者分析模型的难度，减少模型被逆向工程的风险。模型水印技术：通过向模型中嵌入独特的标识符或水印，可以在模型被盗用或复制时追踪模型的来源，加强对模型的控制和保护。1.2.2人工智能的模型安全威胁3.后门攻击后门攻击是一种在人工智能模型中通过植入隐蔽的“触发器”来实施的安全威胁，它让模型在遇到特定条件时产生错误的输出，而在正常情况下保持正常功能。常见的防御手段有检查内部结构和参数，以识别出不符合正常模式的异常连接权重或神经元行为。模型验证技术也是关键的防御手段，它要求在模型部署前进行全面的行为测试，特别是在模拟或实际触发条件下，观察模型是否展示出异常或预设的恶意行为。利用对抗性训练的技术也可以增强模型对异常输入的鲁棒性。图1-8后门攻击效果示意图1.2.2人工智能的模型安全威胁4.算法安全威胁算法的安全威胁主要包括弱鲁棒性、不可解释性和偏见歧视问题。为了解决这些算法层面的安全威胁，可以采取多种方法：对抗性训练通过在训练过程中引入扰动样本，使模型在面对对抗性攻击时更加稳健。模型正则化通过在损失函数中引入正则化项，减少模型对输入数据微小变化的敏感性。使用可解释的模型架构，如决策树和逻辑回归，可以增加决策的可解释性和可接受性。图1-10可解释的决策树1.2.3人工智能的模型运行环境安全威胁1.网络安全威胁数据拦截可能会导致模型接收到被篡改或损坏的数据，从而影响模型的准确性和可靠性钓鱼攻击也是一种常见的网络安全威胁，它主要通过伪装成可信来源的通讯信息，诱使目标用户透露敏感数据，如登录凭证、信用卡信息等。分布式拒绝服务（DDoS）攻击是借助僵尸主机向模型所在的服务器发送大量的恶意流量，以超出其处理能力的范围，从而使模型无法正常提供服务。防御措施：防火墙是最基本的网络安全措施之一，可以监控和控制网络流量，阻止未经授权的访问。入侵检测系统（IDS）则可以及时发现和应对网络入侵行为，从而保护模型免受攻击。加密技术也是非常重要的，可以确保数据在传输过程中的安全性，防止数据被篡改或窃取。图1-11分布式拒绝服务攻击原理图1.3人工智能安全问题——按生命周期分类 模型的开发首先会聚焦在“设计”阶段。在设计阶段，开发团队需要通过定义模型目标、收集数据以及制定可行的计划来奠定项目的基础。下一个阶段是“训练”阶段，它涉及到实际操作，如模型创建、测试、和优化。最后，在“执行”阶段，人工智能模型被部署到现实环境中，并投入实际应用。此阶段包括持续监控、反馈和更新，以确保模型的安全性和可扩展性。图1-12人工智能模型的生命周期1.3.1人工智能的设计阶段安全威胁人工智能模型设计阶段位于整个人工智能系统开发周期的起始阶段。它包括定义问题、理解需求、进行可行性分析、模型选择和数据的收集以及预处理等关键要素。在人工智能模型的设计阶段，应该充分考虑潜在的安全风险，并采取相应的安全措施来保护模型和用户数据的安全。1.安全需求忽视:在人工智能模型的设计过程中，安全需求的忽视往往会导致严重的风险和挑战。在设计初期，如果开发团队未能充分考虑安全需求，那么最终构建的模型将容易暴露出例如错误决策、不公平偏见等潜在的安全弱点。2.不安全的数据管理设计可能会引发多方面的安全问题。例如，如果未实现有效的数据加密和访问控制机制，会导致模型存在数据被篡改或泄露的风险，影响模型的完整性和可信度。（1）加密算法与密钥管理服务是保护数据免受外部攻击的重要措施。

（2）定期的数据备份是保障数据管理安全的关键步骤，开发团队应将数据副本存储在物理上与原始数据环境隔离的安全位置。1.3.1人工智能的设计阶段安全威胁3.不当的模型设计:不当的AI模型设计可能会导致诸多问题和挑战，影响模型的性能、准确性和安全性。这种情况可能来源于多个方面，包括算法选择、特征工程以及模型架构等。4.安全标准和指南的忽略在人工智能模型的设计过程中，忽略安全标准和指南会导致一系列严重的风险和问题。5.设计阶段安全评估的不足确保人工智能安全性的重要措施之一是进行安全风险评估。在AI模型设计阶段，常见的安全评估方法有安全需求分析、威胁建模和安全审计等。图1-14安全审计方法示例1.3.2人工智能的训练阶段安全威胁在人工智能系统的开发过程中，训练阶段扮演着至关重要的角色。这一阶段旨在利用大量数据来训练模型，使其能够从数据中不断学习数据特征以完成特定的任务。在训练阶段必须全面考虑人工智能安全问题，并采取相应的措施来应对各种潜在的安全威胁，以确保模型的性能、可靠性和安全性。1.不当的训练数据来源训练数据是人工智能模型学习的基础，其质量直接关系到模型的性能和准确性。然而，在实际应用中，训练数据的来源多种多样，而不当的来源则容易给数据集带来质量缺陷。2.训练环境安全威胁攻击者可能会利用分布式拒绝服务攻击来占用云计算的带宽和处理能力；攻击者可能会利用训练环境中的潜在弱点，尝试向环境中注入恶意代码；在分布式训练场景中，模型参数和梯度信息需要网络传输以同步更新，但这过程中也伴随着数据被窃听或篡改的安全风险。1.3.2人工智能的训练阶段安全威胁3.模型过度拟合

在机器学习的实践中，模型过度拟合（overfitting）是一种常见的挑战。它指的是模型在训练数据上表现出色，但在新的、未知的测试数据上性能却明显衰减的情况。4.未经授权的访问在人工智能系统的训练过程中，未经授权的访问指的是没有得到正式授权或超出其授权范围的个人访问系统的行为。a）普通模型拟合示例 b）过拟合模型示例图1-17模型与数据集的不同拟合程度1.3.3人工智能的执行阶段安全威胁人工智能模型在执行阶段同样也存在着各种安全威胁。在模型执行阶段，必须对部署环境的可信度保持高度警觉，同时密切关注动态适应性威胁、法律伦理风险以及特定领域的挑战，以防范任何潜在的安全漏洞。1.部署环境不可信人工智能模型的部署环境是指将经过训练和优化后的AI模型实际应用于生产或业务场景中的具体环境，选择可信的部署环境是保障AI模型执行安全的关键要素。（1）在实际的模型部署过程中，应确保将人工智能模型部署在稳定且受控制的环境中。（2）针对于服务中断风险，使用网络安全措施是一种有效的保护方法，例如部署防火墙、建立入侵检测系统（IDS）和入侵防御系统（IPS）等。a）IDS入侵检测系统工作示意图b）IDS入侵检测系统工作示意图

图1-20防范部署环境安全威胁技术1.3.3人工智能的执行阶段安全威胁2.AI模型的动态适应性威胁在模型成功训练后，有必要跟踪其行为以确保其按预期运行，即在模型在线部署时测试模型。此时，模型使用的真实数据有助于衡量模型在生产环境中的实际表现。3.特定领域挑战在人工智能技术快速发展的当下，AI的应用已经广泛覆盖各个行业，为各大领域带来了前所未有的便捷与效率提升。然而，各个领域在享受AI技术带来的便利的同时，也面临着领域内部特有的安全挑战。a）模型预测的交易额曲线图

b）实际的交易额曲线图图1-21分布偏移影响示例1.4人工智能安全问题——按系统架构分类 人工智能系统的基本架构可以从几个关键组成部分来理解：硬件、操作系统和框架。这些组件共同工作，支持AI应用的开发和部署。理解这些组件及其相互作用对于理解和应对AI安全问题至关重要。图1-22人工智能系统架构图1.4.1人工智能的硬件安全威胁硬件不仅是AI系统的物理载体，也是其智能功能得以实现的基础。硬件安全威胁尤为关键，因为它们位于系统的最底层，一旦受到攻击，其影响可能是灾难性的。1.物理攻击物理攻击是针对计算机硬件及其物理环境的攻击，与通过网络或软件进行的攻击不同，物理攻击通常需要攻击者与目标设备或系统有直接的物理接触或接近。2.侧信道攻击侧信道攻击不直接针对加密算法或软件漏洞，而是利用从系统的物理实现中泄露的信息来获取敏感数据。图1-24侧信道攻击示意图1.4.1人工智能的硬件安全威胁3.供应链攻击供应链攻击是指通过破坏或操纵生产和分发过程中的硬件或软件来对目标进行攻击的一种方式。4.硬件漏洞利用在人工智能（AI）的硬件设计和制造中，潜在的漏洞可能会对整个系统的安全性和可靠性产生重大影响。（1）定期更新固件（2）硬件隔离和安全加固。安全加固包括使用可信平台模块（TPM）来保护加密密钥，以及实施安全启动，确保只有经过验证的代码才能执行。图1-25TPM示意图1.4.2人工智能的操作系统安全威胁针对操作系统的攻击目标通常包括内核层、权限层等，这些攻击可能造成未授权的用户访问系统、获取敏感信息、执行未授权的操作或对系统进行其他形式的恶意攻击。1.权限级别的漏洞在应用人工智能的操作系统中，恶意软件或攻击者针对权限层的攻击是很普遍的行为，它们经常寻找操作系统的漏洞或配置错误来进行权限提升，以获得更高级别的访问权限。（1）需要严格遵循最小权限原则，即只授予用户完成其工作所需的最低权限。（2）需要定义一个合理的访问控制列表。访问控制列表是一种定义资源访问规则的数据结构，用于指定哪些用户或用户组可以访问特定资源，以及他们可以执行哪些操作（如读、写、执行）。（3）做好用户角色管理也是必不可少的。用户角色管理涉及将系统用户分配给特定的角色，并为每个角色定义一组权限。1.4.2人工智能的操作系统安全威胁2.内核级别的漏洞内核是操作系统与硬件通信的桥梁，管理着系统资源和所有运行的程序。因此，内核级漏洞的利用通常会给攻击者提供极高的系统权限，这对AI模型构成严重威胁。（1）对操作系统进行内核加固。内核加固是一系列措施和技术的总称，旨在增强操作系统内核的安全性，减少攻击者可以利用的漏洞。在具体应用中，可以使用SELinux限制AI应用程序访问系统资源，仅允许特定的AI服务访问模型训练数据，防止未授权的访问和数据泄露。（2）应用内核级入侵检测系统。内核级入侵检测系统（IDS）是在操作系统内核中运行的监控系统，能够直接访问和监控内核活动和状态。图1-26SELinux原理示意图1.4.3人工智能开发框架安全威胁开发框架所面临的安全威胁基本上可以分为第三方依赖库的安全问题、框架配置问题以及代码执行漏洞三个方面。当开发框架遭受安全攻击时，其威胁不仅局限于框架本身，还可能波及使用该框架构建的AI模型和整个应用系统，造成数据泄露、模型篡改、服务中断等风险。1.依赖的第三方库可能存在的安全漏洞AI开发框架通常依赖多个第三方库，如果这些库含有安全漏洞，攻击者可能利用这些漏洞来攻击AI系统。（1）定期更新第三方库，保持所有依赖库更新至最新版本，以确保已知的漏洞被及时修补。（2）使用依赖扫描工具，如dependabot或Snyk自动检测已知的安全漏洞。还可以尽量减少不必要的依赖，以降低潜在的风险。1.4.3人工智能开发框架安全威胁2.错误配置AI开发框架的环境可能导致的安全问题如果运行AI项目的服务器配置不当，如未正确设置访问控制或公开了敏感端口，可能会暴露关键信息或接口给潜在攻击者。（1）对于存储和传输的数据，应使用强加密标准。（2）使用身份验证和授权机制来限制对环境的访问。（3）应该限制用户能够使用的计算资源，以防止恶意用户通过过度消耗资源来实施DoS攻击。3.AI开发框架中可能存在的代码执行漏洞AI开发框架本身可能包含代码执行漏洞，允许攻击者在AI应用程序的上下文中执行未授权的代码。这类漏洞通常是由于框架内部的编码错误或逻辑缺陷引起的。（1）一般需要定期进行代码审计，查找可能导致安全问题的代码模式或实现（2）需要将安全考虑整合到软件开发的每个阶段，从设计、开发到部署和维护，确保在整个开发过程中持续关注和实施安全措施。1.5AI安全要素 AI安全要素涵盖了一系列关键方面，包括应用合法合规、功能可靠可控、数据安全可信、决策公平公正、行为可以解释以及事件可以追溯。在设计、开发和部署AI系统时，确保这些要素的全面考虑和实施是至关重要的图1-29AI安全要素1.5AI安全要素 1.应用合法合规AI系统需要遵守适用的法律法规和伦理准则，以保护用户的权益、确保数据隐私和维护社会公正。许多国家和地区都有专门的数据保护法律，例如欧洲通用数据保护条例（GDPR）2.功能可靠可控功能可靠性指系统在各种环境和情况下能够正确执行其预期功能的能力，而可控性指系统在设计和运行过程中能够受到有效的控制和管理。3.数据安全可信数据安全指的是保护数据免受未经授权的访问、使用、修改或泄露的能力，而数据可信度指数据的完整性和真实性，即数据的准确性和可信度。图1-30欧洲通用数据保护条例1.5AI安全要素 4.决策公平公正在AI系统中，存在偏见和不公正问题可能对决策的公平性产生影响。这些问题源于数据的偏差、算法的设计和训练过程中的偏见以及系统使用过程中的不公平做法。5.行为可以解释可解释性是指AI系统能够解释其决策和行为的原因和逻辑，以便用户能够理解系统是如何得出特定的决策结果的。6.事件可以追溯事件追溯是指记录和分析系统中发生的事件和操作的过程，以便在需要时能够溯源事件的发生、了解其原因，并确定责任方。这对于确保系统的可靠性、安全性和合规性至关重要。图1-31算法准确性与可解释性的关系1.6未来人工智能安全发展前景 随着人工智能在智慧城市、机器人以及企业信息化等领域的迅猛发展和广泛应用，人工智能安全问题日益凸显。当前，人工智能安全领域面临着诸多挑战和威胁。这些问题不仅对个人和组织的安全构成威胁，也可能对整个社会和全球稳定产生负面影响。因此，预测和探讨未来人工智能安全的发展趋势变得至关重要。图1-32人工智能安全发展1.6未来人工智能安全发展前景 1.安全系统随着人工智能算法和模型的发展，安全专家能够利用这些技术构建更加智能和高效的安全系统。例如，基于机器学习和数据分析的入侵检测系统可以通过学习网络流量和行为模式来检测和预防潜在的攻击。2.鲁棒模型为应对新兴威胁，安全研究人员和专家们不断致力于提高人工智能模型的鲁棒性，增强其抵抗对抗性攻击的能力。通过对抗性训练和对抗样本检测算法，可以显著提升模型识别和防御对抗性攻击的效果。3.隐私保护可信随着技术的发展，预测隐私保护技术将在人工智能领域得到广泛应用和进一步发展。预测隐私保护技术可以通过分析用户的行为模式和数据特征，预测可能涉及到的隐私问题，并采取相应的保护措施。1.6未来人工智能安全发展前景 4.伦理规范在人工智能安全实践中，伦理规范具有至关重要的指导作用。人工智能的伦理规范包括增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求。5.跨领域合作跨领域合作的加强在人工智能安全领域也将促进新技术和方法的发展。通过跨领域合作，不同领域的专家可以共同研究和解决人工智能安全的挑战，从而推动新的技术和方法的创新。6.教育投入教育体系应加强人工智能安全专业教育和培训，培养专业人才，满足安全领域的需求。图1-33人工智能伦理规范人工智能安全概述投毒攻击与防御《人工智能安全导论》北京工业大学目录01020405投毒攻击概述投毒攻击基本概念投毒攻击方法投毒攻击防御方法0306投毒攻击威胁模型投毒攻击与防御实现案例投毒攻击概述投毒攻击概述Tay聊天机器人投毒事件：2016年微软推出的AI聊天机器人Tay因开放学习机制被用户恶意投毒，迅速模仿不当言论并发布，最终在上线不到24小时内被迫下线，暴露了AI系统对恶意输入的敏感性和脆弱性。自动驾驶系统投毒风险：攻击者可通过修改交通标志或干扰激光雷达，在训练阶段注入恶意数据，导致自动驾驶系统误判路况，增加事故风险，揭示了AI在现实环境下的潜在安全隐患。投毒攻击影响一方面，投毒攻击会严重损害模型的可信度，导致模型产生误导性输出，降低预测的准确性，进而影响用户或系统的决策质量；另一方面，投毒攻击会破坏模型的稳健性，使其在面对异常输入或攻击时变得脆弱。对于依赖机器学习模型进行业务决策的应用程序而言，投毒攻击可能导致错误的预测结果，进而干扰企业或组织的决策过程，对业务产生严重的影响。

伴随着人工智能技术的迅猛发展和广泛应用，其面临的安全性问题也日益凸显。其中，投毒攻击作为一种潜在的威胁，已经引起了业界的广泛关注。投毒者利用恶意手段，在训练数据中注入有害信息或篡改数据，企图破坏模型的准确性和可靠性。投毒攻击案例投毒攻击基本概念投毒攻击定义与分类02投毒攻击定义投毒攻击分类有目标投毒攻击

针对特定目标，使模型在接收到特定输入时产生错误预测。无目标投毒攻击通过注入随机噪声或普遍污染数据，全面降低数据集质量，影响模型训练效果。

投毒攻击效果衡量指标

投毒攻击范围与发展投毒攻击范围产品开放入口网络公开数据内部人员投毒攻击技术发展提升攻击隐蔽性分布约束距离约束提升攻击效率连续空间投毒样本优化离散空间投毒样本搜索提升投毒攻击迁移能力基于Ensemble和凸边形设计学习”模型窃取“投毒攻击威胁模型攻击者知识与能力对应于白盒攻击。攻击者完全了解目标系统，包括训练数据、模型结构和训练参数，可直接访问训练数据和内部模型权重。完全知识对应于灰盒攻击。攻击者了解部分知识，如训练数据或模型信息，可通过代理模型弥补有限条件。有限知识对应于黑盒攻击。攻击者对目标系统了解有限，仅能通过查询系统获取后验概率，但可通过代理数据集和算法模拟训练过程。零知识完整性违规攻击者悄无声息地发动投毒攻击，而系统的日常运作并未因此受到显著影响。可用性违规对系统的正常性能进行破坏，导致系统无法按照预期提供所需的服务或功能，进而造成实质性的损害。安全违规有目标攻击无目标攻击攻击特异性攻击者的目标攻击者的知识攻击者能力和策略攻击者通过修改输入数据的特征，使得这些数据在训练过程中误导模型学习。特征操控攻击者修改训练数据的标签，使模型在训练时学习到错误的标签信息。标签操控攻击者向训练集中注入全新的恶意数据，这些数据被设计为对模型有负面影响。数据注入上层问题旨在精心挑选投毒数据，以在验证数据集上最大化机器学习算法的损失函数。下层问题聚焦于在投毒数据集上重新训练机器学习算法，以最小化其损失函数。白盒攻击攻击者在此情况下无法使用原始训练数据，而是依赖替代训练数据进行攻击。黑盒攻击攻击者的策略攻击者的能力投毒攻击方法无目标投毒攻击随机标签反转攻击者随机选择样本翻转标签，与模型无关，可有效降低分类精度。最优标签反转攻击者依赖模型，通过贪心方式选择最优标签反转组合，逐步降低模型性能。标签反转攻击者将无目标投毒攻击看作双层优化问题。上层优化寻找最优投毒策略。下层优化进行模型训练。干净标签的双层优化投毒攻击攻击者仅对样本添加细微扰动，保持标签不变，干扰训练过程。双层优化投毒攻击有目标投毒攻击有目标投毒攻击的双层优化问题与无目标投毒攻击类似，但上层问题的目标是让目标样本被错误分类，同时保持对干净样本的准确率。也可使用干净标签的双层优化投毒方式进行有目标投毒攻击，适用于模型从头开始训练的场景。双层优化投毒攻击特征碰撞攻击适用于微调场景。攻击者通过改变中毒样本的扰动，使中毒样本和基准样本在物理距离上接近，同时在高维特征空间中与目标样本接近。该方法要求攻击者了解特征提取器，且特征提取器在引入中毒样本后不能发生实质变化。特征碰撞投毒攻击防御方法基于训练数据检测的防御方法基于统计的离群点检测算法构建反映原始数据集概率分布的数学模型，对样本进行概率评估，概率低的样本视为潜在离群点。该算法依赖对合法样本数据集分布特性的准确了解，处理高维数据时性能可能受限。基于密度的离群点检测算法采用密度作为衡量样本是否为离群点的关键指标，假设离群点存在于低密度区域。参数选择较为棘手，因为并非所有低密度区域都代表离群点，且对大规模数据集适用性受限。基于聚类的离群点检测算法利用聚类分析发现局部相关性强的样本簇，异常点和离群点往往被单独聚成小簇。可通过簇的大小、密度或距离度量来识别异常点或离群点。基于近邻度的离群点检测算法对样本点之间的近邻关系进行度量，把远离大多数点的样本视为离群点。如果两个类别的样本在特征空间上重叠严重，或者阈值设置不当，就可能导致一些正确的样本被误标记。01020304基于鲁棒训练的防御方法鲁棒性训练通过设计特定训练算法限制恶意样本对模型的影响，削弱投毒攻击威胁。划分数据集为子集，利用装袋算法或投票机制构建鲁棒模型集合。排除导致模型准确性显著下降的样本，引入正则化项，提高模型鲁棒性。Bagging通过随机合并训练数据集提高分类器性能，不直接作用于模型本身。创建多个子样本集训练基分类器，测试阶段利用众数作为预测结果，减少中毒样本影响。鲁棒性训练核心思想鲁棒性训练方法Bagging算法基于数据增强的防御方法数据增强可以在许多情况下使用，包括数据稀少的情况，以提高泛化性。是通过在输入图像的随机位置去除连续的部分来增加数据集的多样性。Cutout在训练阶段会在输入图片的随机位置对一个固定大小的矩形区域使用0进行填充。在训练过程中将两个不同样本的特征和标签进行线性插值来生成新的训练样本。Mixup涉及对两个不同样本的特征和标签进行组合。数据增强方法思想Cutout数据增强方法Mixup数据增强方法投毒攻击与防御实现案例投毒攻击案例任务类型图像分类任务数据集CIFAR10模型ResNet攻击方式特征碰撞投毒攻击防御案例任务类型手写数字分类任务数据集MINIST防御方法基于数据增强的方式基于鲁棒性训练的方式对抗攻击与防御《人工智能安全导论》北京工业大学目录01020405对抗样本概述对抗样本攻击方法对抗样本防御方法对抗样本攻击与防御示例03对抗样本检测方法对抗样本概述对抗样本定义

攻击者的知识攻击者获得目标模型的部分信息，如部分架构、参数值或分类结果的概率值，利用这些信息推测模型内部逻辑并设计攻击策略。灰盒攻击在现实世界中更为常见，攻击者可通过合法或非法手段获取部分信息来实施攻击。02灰盒攻击攻击者对目标模型信息一无所知，只能通过模型输出的分类结果来尝试生成对抗样本。这种攻击方式更接近现实场景，但实施难度较大。03黑盒攻击攻击者拥有目标模型的全部信息，包括模型架构、参数、梯度信息及数据集等，能够设计精准的对抗样本。白盒攻击在研究和评估模型鲁棒性方面具有重要意义，但实际应用中获取完整信息较为困难。01白盒攻击攻击者的目标与能力攻击者设计特定输入，使模型做出错误判断，但不指定错误类别，只需预测结果与真实标签不一致即可。攻击者不仅使模型产生错误判断，还指定一个具体的错误类别作为预测目标，使模型将原始样本误判为特定类别。无目标攻击有目标攻击范数约束攻击者构造的对抗样本需满足一定的范数约束，如L0、L2和L∞范数。不同的范数约束限制了攻击者对输入数据的修改方式。L2范数限制了解在空间中的范围。L∞范数限制了每个维度上的最大变动量。攻击者的目标攻击者的能力对抗样本攻击方法白盒攻击快速梯度符号法（FGSM）FGSM是一种一步攻击算法，通过计算输入样本在目标模型上的梯度，找到最快扰动方向，使模型损失函数最大化。FGSM简单高效，但假设模型损失函数是线性的，对于非线性模型可能存在攻击效果不足的问题。投影梯度下降法（PGD）PGD通过多次小步迭代改进FGSM，每次迭代计算当前对抗样本的梯度并添加小扰动，同时将扰动投影回约束范围内。PGD能够在扰动范围的超球体内找到使损失函数值最大的点，攻击效果优于FGSM，但计算成本较高。C&WC&W方法兼顾高攻击准确率和低对抗扰动，通过拉格朗日乘子法将约束条件添加到目标函数中，求解最优对抗扰动。在效率和隐蔽性上表现优异，能够有效应对防御蒸馏等防御措施，对模型的鲁棒性提出了更高挑战。基于梯度的白盒攻击基于优化的白盒攻击黑盒攻击零阶优化攻击（ZOO）

从对抗样本区域中随机选取一个样本作为初始图像，然后保持其仍在对抗区域内的前提下，沿着对抗性和非对抗性区域之间的边界执行随机扰动，逐步缩小它与原图之间的距离。在无目标攻击中，可以生成一张不属于原分类的随机噪声图片作为初始图像；在目标攻击中，可以直接选取一张属于目标分类的图片作为初始图像。基于梯度估计的黑盒攻击基于边界的黑盒攻击基于边界的黑盒攻击灰盒攻击单像素攻击利用查询灰盒模型得到分类概率是否增加来在整体样本空间中暴力搜索最优扰动方向和扰动大小。通过穷举改变所有像素点来发动攻击效率太低。采用基于差分进化（DifferentialEvolution，DE）的算法。构建一定数量的扰动，每个扰动包含扰动位置和扰动的大小且一个扰动仅修改一个像素。选择一定数量的扰动作为初始扰动，再从这些初始扰动生成新的相同数量的子扰动。在每一次迭代后，对比每一个子扰动与其相对应的初始扰动查询目标模型的得分，胜者进入下一轮迭代过程。在得到的所有扰动中，找到最好的扰动。单像素攻击（优化）对抗样本检测方法基于特征学习的对抗样本检测通过比较深度模型对原始输入和实施特征压缩后的输入的预测结果来检测对抗样本。主要包括色深压缩和特征平滑算法。核心思想色深是描述色彩的深度的术语，它表示像素点能够表示的颜色范围的大小，通常使用位数来衡量。色深压缩通过减少图像的色深来消除对抗样本中的异常像素点，使压缩后的预测结果发生变化。例如，将8位色深压缩到1位，特征空间将减小，对抗样本的扰动变得不明显，从而实现对抗样本的检测。色深压缩算法空间平滑技术用像素点邻域灰度值的中值代替该像素点的灰度值，消除孤立的噪声点。包含多种变体：如局部平滑和非局部平滑。例如，中值平滑方法通过移动小窗找到像素点的中值并替代中间像素点的值，处理后的图像与原始图像输入模型，若预测结果差异较大，则可能为对抗样本。空间平滑算法基于分布统计的对抗样本检测利用对抗样本和原始样本在网络处理后产生的概率分布形状上的差异来检测对抗样本。核心思想分类网络的softmax输出向量能够很好地展现样本的数字特征分布。在多数情况下，正常样本与对抗样本的softmax输出向量存在显著的区别。正常样本的softmax输出向量通常表现出较高的分散性，即概率分布远离均匀分布，并且在向量中有一个显著的最大概率值。基于分布统计的对抗样本检测方法利用softmax输出向量的分散程度，即其与均匀分布的KL散度（Kullback–LeiblerDivergence）来检测样本是否具有对抗性。softmax分布检测算法基于中间输出的对抗样本检测正常样本与对抗样本在通过深度神经网络时，其得到的中间输出状态之间存在显著差异。使用对抗检测网络（AdversarialDetectionNetwork，AD）的原始深度模型结构来增强深度学习模型是基于中间输出的对抗样本检测的代表算法。核心思想输入数据首先经过一系列卷积层处理，随后被送入ResNet架构中。在ResNet的每一步输出中，都蕴含了丰富的特征信息，这些输出点都可以被利用来训练检测器，即图中的AD（AdversarialDetector）模块。每个AD模块都是一个二分类深度模型，其核心任务是预测输入的样本是否为对抗样本。当有新样本输入到增强后的深度模型中时，如果所有二分类深度模型AD都判断出其为正常样本则认为其为正常样本，否则为对抗样本。对抗检测网络（AdversarialDetectionNetwork，AD）对抗样本防御方法基于对抗训练的对抗防御方法核心思想：在模型训练过程中引入对抗样本，让模型在训练阶段学会识别并抵御对抗样本，增强对潜在攻击的防御能力。对抗训练是一个最小值–最大值的优化博弈过程，最大化过程生成有效对抗样本，最小化过程利用最大化过程生成的对抗样本训练模型。包括增量训练、延时对抗训练以及归类训练。01对抗训练原理02防御者首先使用正常数据训练得到一个基本模型，然后生成对抗样本并进行增量训练，使模型在正常数据和对抗样本上都能取得较好的效果。增量训练方法能够在不影响模型在正常数据上的性能的情况下，提高模型对对抗样本的防御能力。增量训练03对于迭代训练的模型，防御者在前轮中仅使用正常数据训练，后续轮次中引入对抗样本进行训练，使模型在具备基础能力的情况下更好地适应对抗样本的扰动。延时对抗训练方法既提升了模型在正常数据上的性能，又增强了其对抗攻击的防御能力，是一种有效的对抗训练策略。延时对抗训练04防御者利用原始训练集训练一个模型，生成对抗样本并归为一个新类别，形成一个新的训练数据集，重新训练得到更鲁棒的模型。归类训练通过不断增加对抗样本的类别，使模型逐步适应各种对抗攻击，从而提高模型的鲁棒性和安全性。归类训练基于特征去噪的对抗防御方法将待处理图像输入到ComCNN模块，将图像从原始的24位像素压缩为12位，转换为紧凑的压缩图像。将压缩后的图像输入到RecCNN模块，该模块负责高质量地从压缩后的图像中重建原始图像.后续预测模型将基于重建图像进行预测。基于图像压缩的对抗性防御方法(ComDefend)利用对抗样本的局部结构中相邻位置特征具有较强的相关性来减少噪声（过滤人为构造的扰动），同时保留全局信息和局部的主要信息。特征去噪的防御原理基于输入变换的对抗防御方法RRP算法通过随机变换输入图像的尺寸和填充像素，破坏模型的梯度信息，增加构造对抗样本的难度。在输入模型之前，RRP对图像进行随机变换尺寸和填充操作，使攻击者无法准确估计和利用模型的梯度，从而有效防止对抗攻击。随机调整大小和填充算法（RRP）输入变换方法利用深度神经网络对输入数据的不变性特性，通过随机变换输入数据，改变模型推理结果对原始输入的梯度，使攻击者难以生成有效的对抗样本。输入变换的防御原理基于防御蒸馏的对抗防御方法带有温度的softmax通过引入温度参数T来平滑softmax的输出概率分布，使模型输出更加平滑，对扰动更加不敏感。当温度T大于1时，softmax的输出会变得“平滑”，通过减小不同输入之间的差异，从而降低模型对小扰动的敏感性。带有温度的softmax函数防御蒸馏通过从原始模型中提取知识来训练一个新的蒸馏模型，使用带有温度的softmax函数和概率向量数据集进行训练。蒸馏模型能够学习到原始模型的分类知识，并有效降低输入变化引起的输出变化，提升模型对对抗样本的鲁棒性。防御蒸馏流程对抗攻击与防御实现案例对抗攻击案例任务类型手写数字识别任务数据集MINIST模型LeNet攻击方式FGSM对抗样本检测与防御案例检测方式色深压缩和中值滤波算法防御算法特征去噪算法后门攻击与防御《人工智能安全导论》北京工业大学后门攻击的背景深度神经网络（DNN）广泛应用于关键任务，如人脸识别、自动驾驶等，其安全性日益重要训练流程复杂，包含数据收集、预处理、模型训练等多个环节，攻击面广后门攻击在训练阶段植入触发器，使模型在正常样本上表现正常，受触发时输出被操控攻击方式多样：数据中毒、迁移学习、模型参数篡改、恶意模块注入等深度模型复杂性与黑盒特性使得后门检测与防御更加困难后门攻击的基本概念后门攻击定义：在训练阶段嵌入“隐藏触发器”，使模型在特定输入触发时产生错误预测。正常样本下行为正常，触发器激活后模型被操控后门攻击目标：模型在干净样本上表现良好（高BA）模型在触发样本上输出攻击者指定标签（高ASR）良性准确率（BA）&攻击成功率（ASR）：评估后门攻击隐蔽性与有效性的指标后门攻击的威胁模型攻击者能力：仅可投毒训练数据，无法更改模型结构或训练过程。仅能在推理阶段查询模型，无内部信息攻击者的目标：有效性：触发器激活→模型预测错误隐蔽性：中毒率低、触发器不显眼可持续性：绕过常规防御机制攻击过程：添加触发器→构造中毒样本→错误标注→模型学习后门关联图像后门攻击BadNets：通过数据中毒注入可见触发器，诱导模型学会“触发器→目标标签”的映射攻击流程：①添加触发器②修改标签为目标类别→构造中毒数据③使用混合数据训练模型→后门嵌入④推理阶段：带触发器的图像均被误分类为目标类别基于触发器优化的后门攻击背景动因：后门检测方法常基于潜在表示差异，如激活聚类、谱签名等强后门攻击需隐藏潜在空间中的“指纹”核心思想：将后门攻击视为双层优化问题：优化触发器以生成更隐蔽且有效的中毒样本目标：触发器应促使神经元强激活，并引导样本越过决策边界挑战与问题：泛化能力差，易对特定模型结构过拟合当前研究尝试通过模型集成与交替优化缓解此问题面向触发器隐蔽性的后门攻击问题背景：传统后门触发器为固定图案，易被检测和还原隐形后门攻击：样本特定触发器，难以复原，绕过现有防御优势与意义：更强隐蔽性：无明显像素差异更强对抗性：突破防御假设，抗检测能力强攻击流程：①编码器生成样本特定触发器②构造中毒训练集，训练模型③测试阶段：良性样本→正常预测，带隐形触发器→被攻击“干净标签”条件下的后门攻击核心特点：保留训练标签不变，仅修改图像→更加隐蔽可绕过标签检测和数据过滤防御挑战与趋势：隐蔽性↑，攻击效率↓如何权衡隐蔽性与有效性是关键研究问题主要方法：利用对抗扰动或生成模型改变目标类图像优化特征空间距离，使后门信息嵌入图像纹理可拓展到视频领域，通过通用扰动+PGD优化生成干净标签中毒样本其他后门攻击方法基于中毒的后门攻击：语义后门攻击：利用图像语义特征作为触发器，无需显式修改图像内容物理后门攻击：使用现实物体（如眼镜、贴纸）作为触发器，对真实世界系统发起攻击黑盒后门攻击：在无训练集访问权限下，通过生成替代样本实现后门注入非中毒型后门攻击：面向权重的攻击：直接修改模型参数，如比特翻转（TBT）或对抗性权重扰动（AWP）结构修改攻击：通过添加或替换模型结构中的模块嵌入后门图像后门防御图像后门防御必要性：保护模型安全性：防止模型被恶意利用，确保模型在各种输入下的鲁棒性和可靠性维护数据隐私：避免攻击者通过后门攻击获取敏感信息，保护用户数据的隐私保障应用安全：在自动驾驶、安防监控、医疗诊断等关键领域，防止因后门攻击导致的严重后果图像后门防御方法：基于数据预处理的防御方法基于触发器生成的防御方法基于模型诊断的防御方法基于投毒抑制的防御方法基于训练样本过滤的防御方法基于测试样本过滤的防御方法基于数据预处理的防御方法CutMix技术:一种数据增强技术，常用于丰富训练集样本通过混合图像样本增强数据，降低后门攻击威胁，提高模型对于干扰和变化的鲁棒性原理：将其中一张图像样本随机裁剪出一个矩形区域，然后将该矩形区域部分覆盖到另一张图像样本的对应位置之上，从而生成新的训练样本基于数据预处理的防御方法Februss技术:移除训练图像样本中潜在的后门标记触发器痕迹并进行图像恢复，从而对分类任务的训练图像样本进行过滤，缓解了后门攻击的威胁采用可视化工具GradCAM（Gradient-WeightClassActivationMapping，梯度加权类激活映射）定位了触发器所在的位置，来消除后门触发器基于触发器生成的防御方法NeuralCleanse技术:检测并消除后门触发器。逆向生成潜在的后门标记，检测并抑制后门攻击执行步骤：判断模型是否被感染使用逆向优化算法，尝试生成可能的后门标记，评估生成的后门标记是否能够触发模型的异常行为生成潜在的后门标记通过优化算法，生成可能的后门触发器模式，使用损失函数衡量生成的后门标记与模型预测的差异移除后门标记的影响通过调整模型参数或过滤特定输入，抑制后门攻击，并重新训练模型，提高其鲁棒性和安全性基于模型诊断的防御方法ULPs技术:ULPs使用可优化的输入图像集合探测可疑模型，检测并防御后门模型核心思想：通过一组可优化的输入图像集合，结合二元分类器，判断模型是否被后门攻击感染训练纯净模型和中毒模型：准备干净的训练数据集和被注入后门的训练数据集，分别训练得到纯净模型和中毒模型基于模型诊断的防御方法生成ULPs输入图像集合：使用优化算法生成一组具有代表性的输入图像模型诊断：将生成的ULPs输入图像集合分别输入到纯净模型和中毒模型中收集模型的输出结果，构建特征向量训练二元分类器：使用收集到的特征向量和对应的模型标签（纯净或中毒），训练二元分类器，分类器的目标是能够准确区分纯净模型和中毒模型模型检测：对于待检测的模型，使用相同的ULPs输入图像集合获取其输出结果，构建特征向量并输入到训练好的二元分类器中，判断模型是否被感染基于投毒抑制的防御方法DP-SGD:在模型训练过程中，使用噪声对梯度计算和参数更新进行保护差分隐私概念介绍：差分隐私是对数据加噪的隐私保护方法，提供严格的隐私保障，使攻击者无法分辨数据的真实性。敏感度计算：衡量数据集的敏感度，确定噪声的添加量隐私预算（ε）：控制隐私保护强度的参数，ε越小，加入的噪声强度越大，隐私保护越强方法实现：在每一轮模型训练的迭代中，对小批量数据计算梯度，并对梯度进行裁剪和加噪更新模型参数，同时保护数据隐私基于训练样本过滤的防御方法SpectralSignatures:利用分类器学习到的数据表征，放大对分类至关重要的信号，从而检测并过滤存在后门的数据核心思想：通过奇异值分解（SVD）分析数据特征，识别异常样本实现步骤：数据准备与模型训练数据表征提取奇异值分解（SVD）频谱特征分析与异常检测样本过滤与模型重新训练基于测试样本过滤的防御方法STRIP：利用分类器学习到的数据表征，检测并过滤存在后门的数据执行步骤输入图像复制与扰动：输入图像样本进行多次复制，对每一份复制的图像进行不同的扰动操作新图像生成与分类：将扰动后的图像与原始图像按一定比例混合，生成新的图像预测结果分析与过滤：根据熵值判断输入样本是否为中毒样本，过滤掉潜在的恶意样本后门攻击防御总结后门攻击防御方法方法名称优点缺点基于数据预处理CutMix提高模型泛化能力，降低后门攻击成功率增加训练数据量和计算成本基于数据预处理Februss直接消除后门触发器的影响需要设计有效的预处理操作基于触发器生成NeuralCleanse能够检测并抑制后门攻击计算复杂度较高基于模型诊断ULPs有效检测后门模型需要大量的计算资源基于投毒抑制DP-SGD保护数据隐私，抑制中毒样本降低模型准确性基于训练样本过滤SpectralSignatures能够识别并过滤异常样本对数据分布假设较强基于测试样本过滤STRIP在推理阶段防御后门攻击可能影响正常样本的预测后门攻击和其他方法的关系后门攻击和对抗性攻击：后门攻击和数据中毒攻击：维度后门攻击对抗性攻击控制阶段训练阶段（数据/模型）推理阶段（输入扰动）是否需优化扰动否（已知触发器）是（需迭代优化扰动）攻击可实时性高通常较低攻击机制利用模型过拟合特征模式利用模型对输入微扰不稳健性类型经典数据中毒高级数据中毒后门攻击攻击目标降低泛化性能针对少量目标样本误导特定触发样本是否含触发器否否是测试阶段是否需修改否否是（添加触发器）是否隐蔽低中等高章节标题第五章人工智能技术在网络入侵检测领域《人工智能安全导论》北京工业大学目录5.1网络入侵检测概述5.2网络入侵检测模型的构建5.3人工智能在网络入侵检测中的应用5.4网络入侵检测的具体实现案例5.5网络入侵检测的人工智能安全问题5.1网络入侵检测概述5.1.1网络入侵检测系统的背景和基本概念

1.网络入侵检测的背景随着网络技术的发展，网络攻击日益普遍；传统的防火墙和访问控制等防御手段在应对新型和复杂攻击时存在局限；用户和企业对网络安全的要求越来越高。许多国家和行业对信息安全有严格的合规要求。2.网络入侵检测的相关基本概念（1）网络入侵：网络入侵是指未经授权的个人或组织通过网络手段进入他人的计算机系统、网络或数据存储区域的行为。（2）网络入侵检测系统：网络入侵检测系统是指进行网络入侵检测的软硬件组合，其目的是及时发现潜在的安全威胁。入侵检测与防火墙的协同

如图1所示，网络入侵检测系统的工作流程包括：（1）信息收集（2）入侵分析（3）告警响应。

如图2的网络安全防护体系所示，防火墙和访问控制提供的是预防性安全措施，NIDS提供的是检测性安全措施，专注于发现和报告网络中已发生或正发生的安全事件，实时、动态、准确地检测各种攻击威胁。5.1.1网络入侵检测系统的背景和基本概念图1.网络入侵检测系统的工作流程图2.网络安全防护体系1.未应用人工智能技术阶段（传统方法）·基于签名的NIDS·基于行为的NIDS

2.应用人工智能技术阶段·基于传统机器学习方法的NIDS·基于深度学习方法的NIDS网络入侵检测系统应用人工智能技术阶段未应用人工智能技术阶段基于签名的方法基于行为的方法基于深度学习的方法基于传统机器学习的方法支持向量机朴素贝叶斯决策树…卷积神经网络自动编码器循环神经网络…5.1.2网络入侵检测系统的发展

2.异常检测模型基于正常网络行为建立一个基线，任何偏离这个基线的网络行为都可能被视为异常或攻击。

1.误用检测模型通过分析历史攻击数据将攻击模式定义为一系列的规则或签名。误用检测模型异常检测模型5.1.3网络入侵检测系统的分类

5.2网络入侵检测模型的构建

5.2.1主流入侵检测数据集介绍四个主流入侵检测数据集

5.2.2数据预处理和特征工程1.数据预处理数据预处理指对原始流量数据进行清理、转换和规范化等操作，主要包括数据清洗、数据标签化和数据转换等。2.特征工程特征工程需要从网络流量数据中提取并构建特征，主要包括特征提取和特征选择。下面以CICFlowMeter工具为例进行特征工程的介绍，该工具可从网络流量Pcap文件中提取特征，工作流程包括数据包捕获、流重构和提取特征，其初始离线处理界面如下图所示：

CICFlowmeter的离线处理界面

5.2.2数据预处理和特征工程点击ok，如下图所示，“Workingon”表示正对某个pcap文件进行特征提取，完成后输出“Done”，并统计这个Pcap文件的总流数、总数据、有效数据包等数目。待每个pcap文件提取完成后，本次特征提取结束。

CICFlowmeter的特征提取界面提取特征后进行特征选择，可以去除与网络入侵检测任务相关性低的特征，选择相关性高的特征。

5.2.3模型训练与优化策略1.模型训练模型训练部分的介绍围绕深度学习模型展开，训练通常是通过迭代过程完成的，每次迭代包括以下步骤：（1）前向传播（2）损失计算（3）反向传播（4）参数更新通常，模型在验证集上的性能不再提升时作为停止训练的条件。2.模型测试完成训练后，使用测试集对模型进行评估，以确保其泛化能力强、没有产生过拟合，准确预测待测数据。3.优化策略针对网络入侵检测的模型优化策略可以使用超参数调整、正则化、动态学习与实时更新等方法5.3人工智能在网络入侵检测中的应用下图是基于人工智能技术的网络入侵检测框架，包括人工智能技术和网络入侵检测两个部分：

基于人工智能技术的网络入侵检测框架5.3人工智能在网络入侵检测中的应用

5.3.1机器学习算法在网络入侵检测中的应用1.支持向量机（SVM）在网络入侵检测中的应用SVM算法应用于网络入侵检测的步骤包括：定义特征空间、选择超平面、优化和调整参数、决策。SVM模型的训练数据如下表所示：应用SVM进行网络入侵检测的训练数据

SVM应用于网络入侵检测的可视化结果SVM算法的决策边界和数据点的分布如下图所示，通过训练找到了一个最优超平面，新的数据点（星号）位于决策边界的下方，被模型分类为入侵。

传输时间（ms）

平均数据包大小（B）

5.3.1机器学习算法在网络入侵检测中的应用2.K近邻（KNN）在网络入侵检测中的应用。KNN算法应用于网络入侵检测的步骤有：选择K值、计算距离、多数投票决策。本示例使用的训练数据与SVM方法中的一致，检测阶段会计算新数据点到其他数据点的距离，结果如下表所示：待测样本点与其他数据点的距离KNN应用于网络入侵检测的可视化结果下图中展示了K=3的决策边界和数据点的分布，新的数据点以星号表示，其3个最近邻居中均为为入侵流量，该数据点被分类为入侵。

平均数据包大小（B）

传输时间（ms）5.3.2深度学习技术在网络入侵检测中的应用

1.卷积神经网络和长短期记忆网络在网络入侵检测中的应用如右图所示，包含两个步骤：(1)使用CNN将网络流量字节流序列处理成流向量(2)将CNN与LSTM结合使用，首先先生成数据包向量，随后生成流向量(a)(b)CNN和LSTM在网络入侵检测中的应用

5.3.2深度学习技术在网络入侵检测中的应用

2.自编码器在网络入侵检测中的应用自编码器包含编码器和解码器，训练目标是最小化输入数据与重构数据的差异，根据新输入的重构误差进行网络入侵检测。自编码器的结构如下图所示：

自编码器的结构5.4网络入侵检测的具体实现案例5.4网络入侵检测的具体实现案例本节介绍一个基于混合深度神经网络的分布式拒绝服务攻击检测任务，利用卷积网络和长短期记忆网络来检测DDoS攻击，结构如右图。该模型结合了CNN和LSTM网络，是典型的混合网络结构，可用来处理具有空间和时间特性的流量数据。基于CNN_LSTM的网络入侵检测模型结构图

5.5网络入侵检测的人工智能安全问题网络安全威胁能够影响入侵检测模型的检测性能，使其失效。本节以投毒攻击举例进行介绍。攻击示意图如下：

攻击者获取包含正常和恶意流量的数据集，每条记录包括字节序列和标签，选择恶意流量的字节序列，修改IP包头等不影响传输的字段，并修改标签，再将这些投毒数据混入训练集。网络入侵检测模型使用投毒数据训练后，学习到错误特征，影响最终检测性能。5.5网络入侵检测的人工智能安全问题网络入侵检测模型中的投毒攻击

谢谢大家！第六章:人工智能在网络流量分类领域《人工智能安全导论》北京工业大学第六章：人工智能在网络流量分类领域6.1网络流量分类概述6.2流量分类的数据集和分类特征6.3人工智能在流量分类中的应用6.4网络流量分类的具体实现案例6.5流量分类的人工智能安全问题6.1网络流量分类概述6.1.1流量分类的背景和基本概念随着互联网流量爆炸式增长，网络流量分类变得至关重要。它指的是根据数据包的特征将网络数据流进行分类。分类任务包括识别应用层协议、具体应用、物联网设备类型以及检测异常流量，人工智能技术为此提供了更有效的方法。6.1.2网络流量分类的重要性网络流量分类在数字经济时代至关重要，它提升服务质量，保障经济稳定运行，并有效监管网络行为。它确保关键应用流畅运行，打击非法活动，是网络高效、稳定、安全的基础。6.1.3流量分类的技术演进网络流量分类技术经历了演进：最初是基于端口的方法，然后发展到深度包检测。之后，传统机器学习方法利用统计特征处理加密流量。最新的深度学习方法提供了最高的准确性和鲁棒性，但计算资源需求也更高。分类方法简单易实施计算资源需求低可以无视端口随机化准确率高能够处理加密流量鲁棒性强基于端口号的方法深度包检测基于传统机器学习的方法基于深度学习的方法6.2流量分类的数据集和分类特征6.2.1主流流量分类数据集介绍为了构建良好的网络流量分类模型，必须利用数据集进行训练和评估。研究人员通常会使用私有收集的数据集或公共数据集。下表总结了在网络流量分类领域广泛应用的数据集。数据集任务场景是否带标签数据集形式发布年份ISCXVPN2016VPN/非VPN是FullPCAP2016Cross-Platform移动应用是FullPCAP2019Edge-IIoTse工业物联网是FullPCAP2022MonIoTr物联网是FullPCAP20196.2.2数据预处理和流量特征表示网络流量分析中,有多种工具可以进行数据预处理工作：tshark:Wireshark的命令行版本。SplitCap:可以根据不同标准将大型PCAP文件拆分成多个小文件。dpkt:Python第三方库,可以直接解析PCAP文件。6.2.2数据预处理和流量特征表示网络流量特征表示方法主要有三种:统计特征、序列特征和图特征。统计特征通过对数据包属性进行统计汇总来表征流量整体特性;序列特征捕捉数据包时间序列信息;图特征则构建流量的图结构,捕捉数据包间复杂关系。6.3人工智能在流量分类中的应用6.3人工智能在流量分类中的应用人工智能应用于流量分类的四个基本步骤，分别是流量采集、流量表示、流量分析和表现评估四个方面。6.3.1传统机器学习方法的应用1、决策树：决策树是一种有监督学习方法,可以根据网络流量的特征如数据包个数、负载字节长度、持续时间等进行分类。6.3.1传统机器学习方法的应用2、K-Means：K-Means是一种无监督学习方法,可以根据网络流量特征自动将流量划分为多个簇。6.3.2深度学习方法的应用长短期记忆网络（LSTM）：LSTM擅长处理时间序列数据,能够捕捉网络流量数据包间的长期依赖关系,有利于建模网络流整体行为,在复杂流量分类任务中表现优异。6.4网络流量分类的具体实现案例6.4网络流量分类的具体实现案例网络流量分类的具体实现案例包括:数据采集、数据预处理、模型定义、模型训练、模型验证、模型测试、模型评估、模型优化、模型监控、模型存储、结果分析等完整的建模流程。6.5流量分类的人工智能安全问题6.5流量分类的人工智能安全问题对抗样本攻击：攻击者可以通过多种方式构造出