《网络空间安全概论》课件7-1-2人工智能安全

内容概要1新技术是一把双刃剑人工智能赋能防御人工智能赋能攻击人工智能内生安全人工智能衍生安全人工智能伦理问题2新技术是一把双刃剑习近平总书记指出：“科技是发展的利器，也可能成为风险的源头。要前瞻研判科技发展带来的规则冲突、社会风险、伦理挑战，完善相关法律法规、伦理审查规则及监管框架。”科学技术负效应科学技术的滥用。如计算机病毒科学技术的不成熟，带来副作用，如电磁辐射影响人体健康等科学技术衍生出的问题。科学技术的突破如同蝴蝶效应。如网络和虚拟现实技术提供网络虚拟世界，使人类日渐疏离自然，造成现实世界中的人情淡漠。3新技术是一把双刃剑技术对于网络空间安全具有“赋能效应”和“伴生效应”4人工智能赋能防御网络安全防护自动分析威胁，迅速识别和解决网络攻击智能防火墙，可基于行为分析技术，帮助客户发现未知网络威胁基于大数据分析的终端主动防御平台，可以识别移动终端的未知恶意软件采用人工智能算法对日志和事件等数据进行优先级排序并逐一分析，以协助安全分析师发现网络中有攻击性的威胁，提高安全运营中心的运营效率恶意软件/流量检测、恶意域名/URL检测、钓鱼邮件检测、网络攻击检测、软件漏洞挖掘、威胁情报收集、自动化打补丁等

5人工智能赋能防御信息内容审核实时监控识别的工具，自动对直播中涉黄、涉暴或者自杀类别的视频内容进行标记基于人工智能的违法信息检测服务。如百度的“人工智能+广告打假”、阿里巴巴的“人工智能谣言粉碎机”6人工智能赋能防御网络舆情分析（应用于社会安全）面向传统媒体和新媒体行业，针对内容生产、观点及传播分析、运营数据展示等业务场景，提供舆情分析能力。智能汇总用户评论，进行智能分类。通过情感分析加情感维度提取技术，智能分析并定位到具体问题

7人工智能赋能防御智能安防（应用于公共安全）应用于人脸识别、车辆识别等系统中，进行目标属性提取，实现对目标的智能检测、跟踪及排查。

8人工智能赋能防御金融风控（应用于金融安全）阿里“钱盾”反诈预警系统利用人工智能技术助力警方预警拦截诈骗事件监控电子交易，基于机器学习识别对交易公司构成风险的行为，并可自动检测来自实际监管案例的高风险活动9人工智能赋能攻击提高恶意软件编写、分发的自动化程度2017年8月安全公司EndGame发布了可修改恶意软件绕过检测的人工智能程序，通过该程序进行轻微修改的恶意软件样本即可以16%的概率绕过安全系统的防御检测，大幅提升了恶意代码的免杀和生存能力10自动锁定目标，进行有针对性的攻击勒索软件可自动瞄准更具吸引力的目标，劫持工业设备、医疗仪器等相关运行数据勒索赎金根据目标用户的邮件或帖子内容的上下文生成自然语言文本（如根据出生年月、电话、亲属、位置等关键个人信息，“量身定制”个性化、高仿真的诱饵），针对易攻击目标投放定制化的钓鱼邮件，提升社会工程攻击的精准性11人工智能赋能攻击人工智能技术可加剧网络攻击破坏程度。可生成可扩展攻击的智能僵尸网络。利用自我学习能力以前所未有的规模自主攻击脆弱系统。12人工智能赋能攻击自动化漏洞挖掘与利用2016年，美国在拉斯维加斯举办了信息安全界的顶级赛事DefconCTF，名为Mayhem的机器战队与另外14支人类战队进行角逐，机器战队一度超过两支人类战队13人工智能赋能攻击利用智能推荐算法加速不良信息的传播。Facebook利用人工智能有针对性地向用户投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益。在信息传播领域，可引发“信息茧房”效应。人们更多接收满足自己偏好的信息和内容。2018年曝光的“Facebook数据泄露”事件中，美国剑桥分析公司利用广告定向、行为分析等智能算法，推送虚假政治广告，进而形成对选民意识形态和政治观点的干预诱导，影响美国大选、英国脱欧等政治事件走向。14人工智能赋能攻击可加强数据挖掘分析能力，加大隐私泄露风险。Facebook数据泄露事件的主角剑桥分析公司通过关联分析的方式获得了海量的美国公民用户信息，包括肤色、性取向、智力水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用情况15人工智能赋能攻击16实例恐

怖！

说明只要感知到足够的信息

并能进行有效的管理，就能

提供强大的服务功能我们知道你最喜欢的咖啡种类，本店中正好有

这种咖啡顺便说一句，你的五个同事和老

板也都在本店中，你不跟他们一起喝一杯吗？

隐私泄露实例

您好！我们可以

为您提供咖啡。

e.g

当顾客路过街边一家咖啡厅时，会自动收到店铺发来的电子优惠券。

你上周曾经去过

马尔代夫，所以

以你的经济实

力，应该能负担

本店昂贵的消费17人工智能赋能攻击数据深度挖掘分析加剧数据资源滥用18人工智能赋能攻击利用机器人水军可以进行舆论干预19人工智能赋能攻击人工智能可用于影响公众政治意识形态，间接威胁国家安全。美国伊隆大学数据科学家奥尔布赖特指出，通过行为追踪识别技术采集海量数据，识别出潜在的投票人，进行虚假新闻的点对点的推送，可有效影响美国大选结果。20人工智能赋能攻击基于人工智能技术的数据深度伪造将威胁网络安全、社会安全和国家安全。“换脸”虚假视频的制作门槛不断降低。我国也出现了徐锦江版“海王”，杨幂版“黄蓉”等逼真虚假视频。深度伪造2.0可模仿人的行为举止、声音和习惯动作，更难以区分真假。2019年6月，Facebook一段扎克伯格的假视频传播迅速。降低生物特征识别技术可信度，给网络攻击提供了新手段。造成人际间的信任危机，威胁伦理和社会安全。通过制作虚假新闻影响政治舆论，进而威胁国家安全。21美颜年轻10岁变老30岁22人工智能赋能攻击源演员（输入）被用来操纵目标演员（输出）的肖像视频23人工智能赋能攻击人工智能技术可制作虚假信息内容，用以实施诈骗等不法活动。2017年，我国浙江、湖北等地发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件。2018年5月8日，谷歌在I/O开发者大会上展示的聊天机器人，在与人进行电话互动时对话自然流畅、富有条理，已经完全骗过了人类。24人工智能赋能攻击自动识别图像验证码25人工智能赋能攻击新型军事打击力量人工智能可用于构建新型军事打击力量，直接威胁国家安全。无人驾驶飞机、坦克、汽车，以及自主决策武器开始走向战场恐怖分子将越来越多地使用人工智能武器。2018年8月4日，委内瑞拉总统在公开活动中受到无人机炸弹袭击。26人工智能赋能攻击美国国防部明确把人工智能作为第三次“抵消战略”的重要技术支柱。俄罗斯军队于2017年开始大量列装机器人，计划到2025年，无人系统在俄军装备结构中的比例将达到30%。27人工智能内生安全国内人工智能产品和应用的研发主要是基于谷歌、微软、百度等的人工智能学习框架和组件。这些开源框架和组件缺乏严格的测试管理和安全认证，可能存在漏洞和后门等安全风险一旦被攻击者恶意利用，可危及人工智能产品和应用的完整性和可用性，甚至有可能导致重大财产损失和恶劣社会影响。攻击者可利用相关漏洞篡改或窃取人工智能系统数据。导致系统决策错误甚至崩溃。

28人工智能内生安全算法设计或实施有误可产生与预期不符甚至伤害性结果特斯拉自动驾驶系统“色盲”致命：开启自动驾驶功能的特斯拉汽车无法识别蓝天背景下的白色货车29人工智能内生安全算法潜藏偏见和歧视，导致决策结果可能存在不公使用Northpointe公司开发的犯罪风险评估算法COMPAS时，黑人被错误地评估为具有高犯罪风险的概率两倍于白人。Kronos公司的人工智能雇佣辅助系统让少数族裔、女性或者有心理疾病史的人更难找到工作。30人工智能内生安全算法黑箱导致人工智能决策不可解释，引发监督审查困境。当社会运转和人们生活越来越多的受到智能决策支配时，对决策算法进行监督与审查至关重要。但是“算法黑箱”或算法不透明性引发监督审查困境。“算法黑箱”或算法不透明性主要由三方面原因造成：一是拥有决策算法的公司或个人可以对决策算法主张商业秘密或者私人财产，拒绝对外公开。二是即使对外公布决策算法源代码，普通公众由于技术能力不足，也无法理解决策算法的内在逻辑。三是由于决策算法本身具有高度复杂性，即使是开发它的程序员也无法解释决策算法做出某个决定的依据和原因。因此，对决策算法进行有效监督与审查是非常困难的。31人工智能内生安全逆向攻击可导致算法模型内部的数据泄露。Fredrikson等人在仅能黑盒式访问用于个人药物剂量预测的人工智能算法的情况下，通过某病人的药物剂量就可恢复病人的基因信息32人工智能内生安全含有噪声或偏差的训练数据可影响算法模型准确性，放大数据偏见歧视影响。海量互联网数据更多体现我国经济发达地区、青壮年网民特征，而对边远地区以及老幼贫弱人群的特征无法有效覆盖。在金融征信领域，科技金融公司Zest的人工智能信用评估平台ZAML，采集分析用户网络行为来判定用户的信用值，曾经错误判定不能熟练使用英语的移民群体存在信用问题。33人工智能内生安全数据投毒导致训练数据污染，造成人工智能决策错误。在自动驾驶领域，数据投毒可导致车辆违反交通规则甚至造成交通事故；在军事领域，通过信息伪装的方式可诱导自主性武器启动或攻击，从而带来毁灭性风险34人工智能内生安全对抗攻击。对路牌加几个便签便可以让『停止』路标被识别成『限速45』，进而造成交通事故。普通标记对抗样本35人工智能衍生安全人工智能产业化推进将使部分现有就业岗位减少甚至消失，导致结构性失业，从而形成严重的社会问题。无人驾驶，排雷机器人，餐厅点餐送餐机器人，医疗机器人，虚拟主播，智能管家，乒乓球陪练和工业机器人…36人工智能衍生安全人工智能应用可导致个人数据过度采集，加剧隐私泄露风险。2019年2月，我国人脸识别公司深网视界曝出数据泄露事件，超过250万人数据、680万条记录被泄露2019年7月，继旧金山之后，萨默维尔市成为美国第二个禁止人脸识别的城市。37人工智能衍生安全人工智能产品和系统安全事件导致的损失面临无法追责的困境。人工智能医疗助理给出错误的癌症医疗建议、自动驾驶汽车因独立智能决策导致车祸、机器人发布诽谤性的和歧视性的推文或者伤人，如何确定侵权主体及划分责任。2016年，微软聊天机器人Tay上线不到一天被人类教坏，变身集反犹太人、性别歧视、种族歧视于一身，满嘴脏话的“不良少女”，这是微软的责任还是网民的责任？38人工智能衍生安全人工智能生成物所包含的权利类型和权利归属存有争议。假如人工智能有著作权，那著作权到底属于谁，是属于人工智能的技术开发者，还是人工智能的操控者？知识产权领域之前有个著名的案例，一只猴子拿着摄影师的相机给自己拍了张照片，这张照片的归属曾引发争议，是属于猴子、相机拥有者还是生产者？39人工智能衍生安全人工智能生成物所包含的权利类型和权利归属存有争议。澳大利亚法院判定，利用人工智能生成的作品不受版权保护，因为它不是人类制作的。一幅由人工智能创作的画作在纽约的佳士得PrintsandMultiples艺术品拍卖会上拍出了43.2万美元的价格。这件名为《EdmondBelamy的肖像》的作品是大型艺术品拍卖会上出现的第一件完全由人工智能创作的艺术品。40人工智能衍生安全人工智能生成物所包含的权利类型和权利归属存有争议。澳大利亚法院裁定：人工智能系统DABUS被认定为专利发明人DABUS是一个由美国企业ImaginationEngines的创始人StephenThaler所开发出的人工智能系统，一共发明了两项新技术，分别是分形食品容器，与能够引起更大注意力的警示灯。DABUS所发明的分形食品容器，其形状有利于堆叠与被机械手臂操作41人工智能衍生安全人工智能生成物所包含的权利类型和权利归属存有争议。全国首例认定人工智能生成的文章构成作品案件认定被告侵权。Dreamwriter是腾讯2015年自主研发的一套基于数据和算法的智能写作辅助系统。2018年8月20日，原告在腾讯证券网站上首次发表《午评：沪指小幅上涨0.11%报2671.93点通信运营、石油开采等板块领涨》一文（下称涉案文章），末尾注明“本文由腾讯机器人Dreamwriter自动撰写”。同日，被告在其运营的“网贷之家”网站发布了同名标题文章。经比对，两文标题、内容完全一致。42人工智能伦理问题人工智能产品和应用会对现有社会伦理道德体系造成冲击。Kronos公司的人工智能雇佣辅助系统让少数族裔、女性或者有心理疾病史的人更难找到工作。Facebook利用人工智能有针对性地向用户投放游戏、瘾品甚至虚假交友网站的广告，从中获取巨大利益。智能伴侣机器人依托个人数据分析，能够更加了解个体心理，贴近用户需求，对人类极度体贴和恭顺，这就会让人类放弃正常的异性交往，严重冲击传统家庭观念。43人工智能伦理问题能够通过对机器进行编程来展现其智能行为的那种推测能力被认为是弱人工智能（weakAI），但是，机器能够通过编程而获得智力——亦即意识——的那种推测能力，则被认为是强人工智能（strongAI）。强人工智能引发了广泛的争论。反对者认为，机器在本质上与人类不同，它永远不能像人类那样感受爱、判断对错，以及考虑自我。然而，支持者认为，人类的头脑是由许多小的部件构成，每个部件都不是人，没有意识，但是当它们结合在一起就成了人，为什么同样的现象就不可能出现在机器身上呢？44人工智能伦理问题如果一个AI医疗专家系统因其给出合理的建议而在医疗界享有盛誉。作为一个医生，应该在多大程度上让AI辅助他为病人做出决定？如果决策冲突，听人的还是听AI的？如果听人的，最后治疗失败，人负有多大责任？如果听AI的，最后治疗失败，人负有多大责任？如果AI驾驶模式下，Tesla出了交通事故，人类驾驶员是否有责任？一般说来，如果一个专家系统在某个领域内很有名，那么在多大程度上它会束缚而不是提高人类专家的判断力？45人工智能伦理问题如果一个病人的的大脑坏掉，我们在坏掉前拷贝出它所有的意识，然后用人工神经细胞一点点换掉病人的大脑，再重新模拟他的意识，那个病人还是同一个人吗？那个病人还算是人吗？特修斯之船（又译为忒修斯之船）亦称为忒修斯悖论，是一种有关身份更替的悖论。假定某物体的构成要素被置换后，但它依旧是原来的物体吗？公元1世纪的时候普鲁塔克提出一个问题：如果忒修斯的船上的木头被逐渐替换，直到所有的木头都不是原来的木头，那这艘船还是原来的那艘船吗？46人工智能伦理问题有些人把技术的进步看成是给与人类的一份厚礼——将人类从枯燥的、普通的任务中解放出来，为了更愉悦的生活方式打开大门。但对于同一个现象，另一些人则把它看做是剥夺公民就业机会、把财富引向权势人物的祸根。对于那些看上去“不如”机器的人，