《人工智能安全》教学大纲

《人工智能安全》课程教学大纲一、课程基本信息课程名称中文：人工智能安全课程编号英文：MachineIntelligenceandInformationCountermeasure学分/学时2学分/48学时必修（）/选修（√）开课学期6课程类别学院特色创新创业课程适用专业网络空间安全专业，信息安全专业，密码学专业，人工智能专业先修课程授课教师二、课程教学目标通过学习本课程，使学生深刻理解人工智能安全的基本概念，系统地掌握机器学习的原理和信息对抗技术，培养机器学习和信息对抗领域复杂工程解决能力、创新能力和实践能力。通过课上互动、Python语言编写程序，培养学生刻苦努力、积极进取精神，以及认真的工作学习态度。具体目标为：课程目标1.掌握人工智能安全中的发展和相关研究，包括人工智能安全综述（包括定义、历史、特征、发展现状与趋势、分类、人工智能的安全、伦理和隐私问题等）、人工智能安全的战略规划（外国、中国、中国地方省市的战略规划及策略，国内外人工智能安全的研究机构）；课程目标2.学习关于人工智能安全的相关基础知识，包括：人工智能安全的概念和模型；生成对抗网络GANs；深度神经网络；卷积神经网络；对抗样本生成算法；随机森林算法；贝叶斯分类算法；SVM分类算法；长短期记忆网络；梯度下降算法；深度伪造技术；影子模型攻击技术；神经网络；算法歧视；Tacotron模型；梅尔谱图；长短记忆网络；混合注意力机制；深度学习；迁移学习；小样本学习；图神经网络；代码漏洞分析等）。课程目标3.了解产业现状，包括人工智能安全应用、产业现状及趋势（包括人工智能安全技术的商业应用、人工智能安全行业综述、中国人工智能安全产业现状和发展趋势）、人工智能安全标准化体系和标准化（如国内外研究现状、人工智能安全标准体系结构、人工智能安全标准化需求分析等）、人工智能安全内涵与体系架构（包括人工智能安全内涵与体系架构、人工智能安全风险分析、人工智能安全管理现状和人工智能安全发展建议等）；课程目标4.深刻理解人工智能在安全领域的应用和研究现状，包括人工智能在安全领域的应用、人工智能的安全威胁及防御（包括人工智能安全风险分析）、智能安全应用情况（包括智能安全事例）、智能安全管理现状、智能安全相关技术等。课程目标5.学习、实践、体会人工智能安全方向的科研创新过程。主要包括：生成对抗网络模拟Sin曲线；模型窃取；数据投毒；人脸活体检测；验证码识别；图像对抗；图像去噪；垃圾邮件过滤；网络攻击检测；模型逆向攻击；人脸伪造；成员推理攻击；属性推理攻击；模型公平性检测与提升；图像水印去除；语音合成；视频检测；代码漏洞挖掘等。三、课程目标与支撑的毕业要求指标点本课程的知识点支撑网络空间安全专业毕业要求中的5个指标点：1.4、2.2、3.2、4.3和12.1。如下表所示，本课程的5个课程教学目标，分别对应工程教育专业认证标准规定的毕业要求中的5个指标点。表1所示为课程目标与支撑毕业要求的指标点。表1课程目标与支撑毕业要求的指标点毕业要求指标点课程目标达成途径评价依据1.4掌握网络空间安全专业知识及技术，能够将这些专业知识和关键技术用于解决网络空间安全领域的复杂工程问题。课程目标1.掌握人工智能安全中的发展和相关研究，包括人工智能安全综述（包括定义、历史、特征、发展现状与趋势、分类、人工智能的安全、伦理和隐私问题等）、人工智能安全的战略规划（外国、中国、中国地方省市的战略规划及策略，国内外人工智能安全的研究机构）；通过课堂讲授等方式使学生掌握人工智能安全中的基本概念、理论基础和人工智能发展历史，通过课后作业巩固课堂知识；在平时作业和期末考试中考察对于基本概念和基本原理的理解掌握。考核内容约占总成绩的20%，包括平时作业和期末考试。2.2能够根据网络空间安全领域中复杂工程问题的需求描述，运用数学、物理等自然科学和工程科学原理及方法进行分析表达，建立解决网络空间安全领域中的复杂实际工程问题的抽象模型。课程目标2.学习关于机器学习和信息对抗的相关基础知识，包括：人工智能安全的概念和模型；生成对抗网络GANs；深度神经网络；卷积神经网络；对抗样本生成算法；随机森林算法；贝叶斯分类算法；SVM分类算法；长短期记忆网络；梯度下降算法；深度伪造技术；影子模型攻击技术；神经网络；算法歧视；Tacotron模型；梅尔谱图；长短记忆网络；混合注意力机制；深度学习；迁移学习；小样本学习；图神经网络；代码漏洞分析等）通过课堂讲授和学生使用Python语言编程等方式使学生掌握人工智能安全中的基本概念、理论基础和人工智能发展历史，通过平时作业巩固课堂知识；在平时作业和期末考试中考察对于基本概念和基本原理的理解掌握。考核内容约占总成绩的20%，包括作业、实验完成情况和实验报告、期末考试。3.2能够针对网络空间安全领域各种应用场景的特定需求，确定设计目标，对网络空间安全领域中的复杂工程问题进行分解和细化，完成功能模块的设计与开发，并对设计方案进行优化。课程目标3.了解产业现状，包括人工智能安全应用、产业现状及趋势（包括人工智能安全技术的商业应用、人工智能安全行业综述、中国人工智能安全产业现状和发展趋势）、人工智能安全标准化体系和标准化（如国内外研究现状、人工智能安全标准体系结构、人工智能安全标准化需求分析等）、人工智能安全内涵与体系架构（包括人工智能安全内涵与体系架构、人工智能安全风险分析、人工智能安全管理现状和人工智能安全发展建议等）；针对人工智能安全中产业现状以及发展趋势等，通过课堂讲授、小组讨论等方式让学生了解人工智能安全研究现状；通过作业加深理解，通过期末考试考察学生分析问题和解决问题的能力。考核内容约占总成绩的20%，包括平时作业、期末考试。4.3针对所设计的面向网络空间安全领域中复杂工程问题的实验方案所获得的实验数据和实验结果，能够对其进行正确的分析和合理的解释，并且能够通过信息综合得到合理有效的结论。课程目标4.深刻理解智能在安全领域的应用和研究现状，包括人工智能在安全领域的应用、人工智能的安全威胁及防御（包括人工智能安全风险分析）、智能安全应用情况（包括智能安全事例）、智能安全管理现状、智能安全相关技术等。通过平时讨论、作业报告等方式使学生掌握人工智能安全中的智能在安全领域的应用现状，以及当前人工智能的安全威胁和防御，通过期末考试考察学生对于人工智能在安全领域应用现状的理解。考核内容约占总成绩的20%，包括平时作业、期末考试。12.1能够认识不断探索和学习创造的必要性，掌握自主学习和终身学习创造的方法，具有拓展与更新知识的能力。课程目标5.学习、实践、体会人工智能安全方向的科研创新过程。主要包括：生成对抗网络模拟Sin曲线；模型窃取；数据投毒；人脸活体检测；验证码识别；图像对抗；图像去噪；垃圾邮件过滤；网络攻击检测；模型逆向攻击；人脸伪造；成员推理攻击；属性推理攻击；模型公平性检测与提升；图像水印去除；语音合成；视频检测；代码漏洞挖掘等。通过平时Python语言编程作业和期末考试等方式使学生掌握人工智能安全方向的科技创新以及拓展与更新知识的能力，通过编程实践，了解掌握目前最流行的人工智能安全方向以及培养学生不断探索和学习创造的精神。考核内容约占总成绩的20%，包括平时作业、期末考试。四、课程落实立德树人的举措以《高等学校课程思政建设指导纲要》（教高〔2020〕3号）为依据，科学设计课程思政教学体系，将思政教育融入课程中的适当章节，主要包括：感受技术发展，激发使命担当通过介绍当前科技的发展引用习总书记语录来树立学生在创新能力、自主可控、国家安全战略等方面的家国情怀和爱国主义意识，同时培养学生探索未知、追求真理、勇攀科学高峰的责任感和使命感。学习主席思想，脚踏实地，用于创新通过人工智能安全技术章节讲授著名安全公司成功案例，引导学生学习实事求是、客观求真、努力钻研的优秀科研工作者的优良品德。尊重客观规律，树立正确三观通过在讲授算法潜藏偏见的过程中，引导学生树立自身正确的三观，树立独立自主的判断能力，尊重客观规律，培养学生在法制法规合规的框架下合理开展技术应用的思维。五、教学内容及学时安排参见附表4。六、教学方法利用授课教师自制的PowerPoint多媒体电子教学课件演示主要教学内容，使学生加深印象，更便于理解，同时也便于加大课堂信息量；以学生使用Python编程实践为主，课堂讲授为辅助手段，适当穿插提问、思考等互动教学方式；对于教学难点的解决，主要通过举典型的例题，并从中加以说明，以教会学生。在实践内容里，主要通过让学生使用Python编程语言来实现人工智能安全的相关应用。七、考核方式本课程为选修课，考查方式为平时作业和学生期末考试时候提交的实践报告。其中成绩构成为：期末提交所撰写的实践报告成绩占60%，平时作业报告成绩占40%。各个考核环节对于课程目标和毕业要求的指标点的贡献度如表2所示：表2考核环节对课程目标和毕业要求指标点的贡献度指标点编号课程目标编号考核方式总贡献度平时（贡献度40%）期末(贡献度60%）3.1目标1812206.3目标2812207.2目标38122010.3目标48122012.2目标581220合计4060100考核标准参见表3。表3考核标准考核环节所占分值考核内容对应课程目标评价细则课后作业40%10%为基本概念和理论基础，考核学生对人工智能安全的基本概念及理论基础的理解和掌握。课程目标1平时作业一般为14次左右，涵盖课程所有内容，按照是否按时提交、完成情况等进行综合评定。每次作业评分参考标准为（按照100分计算）：按时完成作业并提交，且合格率达到60%，计60分；在此基础上，作业合格率满足70%、80%、90%和100%分别为70分、80分、90分、100分，有创新解题思路或解决方案的可另加10-20分，但每次作业得分不超过100分。作业得分60分及以上达成作业所支撑的课程目标1、2、3、4和5，说明学生具有理解人工智能安全的基本概念和基本原理、能够运用所学知识研究、分析和解决人工智能安全实际问题的能力。20%为分析类题目，考核学生对人工智能面临的安全威胁与安全需求及安全目标进行分析的能力。课程目标220%为设计类题，考核学生基于基本原理完成人工智能安全网络的设计与应用能力。课程目标320%为分析类题目，分析当前人工智能安全研究现状，对安全智能发展方向提出自己的理解和见识。课程目标430%为综合类题目，考核学生对各类人工智能安全技术方法进行综合分析、比较，以及利用学习的知识，进行Python编程实践，撰写报告的能力。课程目标5期末报告60%综合整个课程所学，根据老师组定的人工智能安全题目，进行Python编程综合实践，采用开卷的方式撰写实践报告。提交实践报告给老师作为考试成绩的依据。课程目标1、2、3、4和5Python编程综合实践，题目可以涉及课程人工智能安全方向教学内容，考察学生分析解决复杂人工智能安全问题的能力。期末Python编程综合实践得分60分及以上达成期末考试所支撑的课程目标1、2、3、4和5，说明学生理解和基本掌握了人工智能的基础知识，能够对人工智能领域的安全问题进行分析，并具有分析和解决复杂人工智能安全问题的基本能力。加分项包括：(1)如果学生对考试内容有深入理解；(2)解决问题思路清晰；(3)对于编程代码有详细的解释；(4)对实践内容有扩展；(5)有创新性的想法。八、课程资源课程教材：（1）《人工智能安全：原理与实践》，李剑主编，机械工业出版社，2024年12月。（2）教师自编讲义。参考书目：（1）《机器学习》，赵卫东，董亮，人民邮电出版社，2018年7月。（2）《机器学习与应用》，雷明，清华大学出版社，2018年12月。（3）《机器学习与安全》，ClarenceChio，DavidFreeman，中国电力出版社，2019年8月。（4）《机器学习基础--原理、方法与实践》，袁梅宇，清华大学出版社，2018年8月。（5）《基于复杂网络的机器学习方法》，迪亚戈·克里斯蒂亚诺·席尔瓦，机械工业出版社，2018年11月。（6）《多智能体机器学习：强化学习方法》，霍华德M施瓦兹，机械工业出版社，2017年7月。（7）《对抗机器学习：机器学习系统中的攻击和防御》，叶夫提尼·沃罗见琴科，穆拉特，机械工业出版社，2019年12月。（8）《数据挖掘：使用机器学习工具与技术》，IanH.Witten，机械工业出版社，2014年5月。（9）《机器学习入门到实战--Matlab实践应用》，冷雨泉，张会文，张伟，清华大学出版社，2019年3月。参考课程：（1）课程名：网络安全中的人工智能开课学校：TheCompleteArtificialIntelligenceforCyberSecurity2021课程链接：/course/the-complete-artificial-intelligence-for-cyber-security-2021/（2）课程名：人工智能与网络安全开课学校：CybersecurityforArtificialIntelligence课程链接：/course/cybersecurity-for-artificial-intelligence-ai/执笔人: 李剑审核人： 时间：2024年9月25日表4人工智能安全课程教学内容、学时分配及对毕业要求的支撑序号知识模块教学内容学时分配教学要求支撑课程目标学生任务作业要求自学要求讨论1人工智能安全概述从经典的两个人工智能安全案例事件说起，引入人工智能安全的概念及框架，说明了人工智能安全现状，最后给出了本课程的组织、学习和讲授方法。2了解人工智能安全的重要性；认知人工智能安全的概念；掌握人工智能安全的模型；了解这门课的知识体系；让学生了解如何学习这门课程；熟悉这门课的讲授方法。课程目标1查找人工智能和人工智能安全方面的相关文献资料，以供学习和参考。人工智能存在哪些安全威胁？2生成对抗网络的安全应用主要讲述生成对抗网络的相关知识以及它的实践应用。在实践中讲述了两个实践案例，一个是基于生成对抗网络的sin曲线样本模拟，另一个是基于对抗性攻击无数据替代训练的模型窃取。2了解生成对抗网络GANs的原理；掌握生成对抗网络GANs的训练步骤；了解如何学习这门课程；熟悉利用生成对抗网络模拟sin曲线样本的方法；认知深度神经网络；熟悉基于对抗性攻击无数据替代训练的模型窃取方法。课程目标2用Python语言完成实践内容“基于生成对抗网络的sin曲线样本模拟”，并提交实践报告。生成对抗网络方法有哪些应用。自行实现一个“基于对抗性攻击无数据替代训练的模型窃取”。生成器和判别器在生成对抗网络中的作用。3卷积神经网络的安全应用讲述卷积神经网络CNN的原理和它的实践应用。在实践案例中主要讲述了三个经典案例：第一个是基于卷积神经网络的数据投毒攻击；第二个是基于卷积神经网络的人脸活体检测；最后一个是基于卷积神经网络的验证码识别。2了解卷积神经网络的概念和结构；熟悉数据投毒攻击；熟练使用卷积神经网络模型AlexNet；熟练使用卷积神经网络模型VGG；熟悉卷积神经网络在数据投毒攻击中的应用；熟悉卷积神经网络在人脸活体检测中的应用；熟悉卷积神经网络在验证码识别过程中的应用。课程目标2用Python语言完成实践内容“基于卷积神经网络的数据投毒攻击”，并提交实践报告。用Python语言完成另外两个实践内容：“基于卷积神经网络的人脸活体检测”和“基于卷积神经网络的验证码识别”。投毒攻击会带来哪些危害？人脸活体检测可以应用到哪些方面？4对抗样本生成算法的安全应用介绍如何使用对抗样本生成算法高效生成对抗样本，并将其应用于图形对抗当中，欺骗所使用的神经网络，使其做出与正确答案完全不同的判定。本章将编程实践两个经典的对抗样本生成算法FastGradientSignMethod(FGSM)算法和ProjectedGradientDescent(PGD)算法。2熟练使用对抗样本生成算法；熟悉卷积神经网络模型的应用；了解图像对抗知识；掌握Fast算法；掌握PGD算法。课程目标2用Python语言完成实践内容“对抗样本生成算法的图像对抗”，并提交实践报告。对抗生成样本攻击与生成对抗网络攻击有何不同？FGSM算法与PGD算法有什么相同和不同之处？5随机森林算法的安全应用主要学习的基础知识是随机森林（RandomForest）算法，也是一种主要的机器学习算法之一。在此基础上实践一个基于随机森林算法的图像去噪安全应用系统。2了解决策树；认知图像噪声；掌握随机森林算法模型；熟悉随机森林算法在图像去噪中的安全应用。课程目标2用Python语言完成实践内容“基于随机森林算法的图像去噪”，并提交实践报告。图像去噪的作用是什么？随机森林算法还有哪些应用。6贝叶斯和SVM分类算法的安全应用主要讲述机器学习里两个经典的分类算法：贝叶斯分类算法和SVM分类算法，以及他们在网络空间安全领域的应用。在实践部分，主要讲述基于贝叶斯和SVM分类算法的垃圾邮件过滤系统。2了解垃圾邮件；认知垃圾邮件的过滤方法；掌握贝叶斯分类算法；掌握SVM分类算法；熟悉基于贝叶斯分类算法的垃圾邮件过滤方法；熟悉基于SVM分类算法的垃圾邮件过滤方法。课程目标3用Python语言完成实践内容“基于贝叶斯和SVM分类算法的垃圾邮件过滤”，并提交实践报告。朴素贝叶斯分类算法的原理。SVM分类算法的原理。7长短期记忆网络的安全应用主要讲述利用双向长短期记忆网络(LongShort-TermMemory，LSTM)模型对网络流量进行攻击检测。通过预处理包含攻击和正常流量的数据集，提取特征并标准化后，将数据转换为LSTM输入格式。模型经过训练和验证，达到较高的准确率和召回率。最终，模型识别并分类网络流量中的攻击行为，验证人工智能中的机器学习方法在网络安全中的有效性。2了解双向长短期记忆网络；认知网络攻击的概念；了解网络攻击检测的分类；了解网络攻击检测的过程；掌握双向LSTM模型对网络攻击进行检测方法。课程目标3用Python语言完成实践内容“基于双向LSTM模型的网络攻击检测”，并提交实践报告。网络攻击检测系统通常包括哪些组件？双向LSTM模型的作用与特点。8梯度下降算法的安全应用介绍了梯度下降算法的原理、优化方法、常见问题以及实际应用。在编程实践部分介绍了一个基于梯度下降的模型逆向（ModelInversion）攻击。2了解梯度下降算法的原理；认知梯度下降算法的优化方法；掌握基于梯度下降的模型逆向攻击方法。课程目标3用Python语言完成实践内容“基于梯度下降的模型逆向攻击”，并提交实践报告。梯度下降算法的作用是什么？常见的模型逆向攻击方法有哪些？9深度伪造原理与安全应用主要介绍人工智能安全领域的深度伪造技术原理，并且详细介绍如何通过编程实践实现一个典型的深度伪造应用：人脸伪造。2了解深度伪造技术；认知人脸图像伪造方法；了解深度伪造有哪些危害；掌握基于深度伪造技术的人脸伪造方法。课程目标3用Python语言完成实践内容“基于深度伪造技术的人脸伪造”，并提交实践报告。深度伪造有哪些危害？根据人脸篡改区域和篡改目的，可将深度人脸伪造技术分为哪些类？10成员推理攻击原理与实践主要讲述成员推理攻击的原理与应用。在实践部分，主要讲述基于影子模型的成员推理攻击。2了解成员推理攻击的重要性；认知成员推理攻击的方法；认知影子模型攻击；掌握基于影子模型的成员推理攻击方法。课程目标3用Python语言完成实践内容“基于影子模型的成员推理攻击”，并提交实践报告。什么是影子模型攻击？常见的成员推理攻击方法有哪些？11属性推理攻击原理与实践讲述属性推理攻击（AttributeInferenceAttack）的概念、原理、攻击场景和常用方法。在编程实践部分讲述了一个基于神经网络的属性推理攻击。2了解属性推理攻击的概念；认知属性推理攻击的攻击场景；认知属性推理攻击的常用方法；掌握基于神经网络的属性推理攻击方法。课程目标4用Python语言完成实践内容“基于神经网络的属性推理攻击”，并提交实践报告。属性推理攻击都有哪些危害？属性推理攻击都有哪些常用方法？12模型公平性检测与提升讲述如何对人工智能算法进行公平性检测，从而消除歧视，进而提升算法的公平性。2了解算法歧视的重要性；认知模型的公平性；掌握模型公平性检测与提升的方法。课程目标4用Python语言完成实践内容“模型公平性检测与提升”，并提交实践报告。什么是算法歧视？如何使得算法模型更加公平一些？13水印去除原理与实践对水印知识进行介绍。实践内容是一个基于深度学习的图像去水印应用，采用SkipEncoder-Decoder模型。它的核心功能是通过对图像及其相应水印蒙版的深度分析和处理，有效去除图像中的水印。在实践中通过自动化学习和调整图像数据，以确保去水印后的输出图片质量