即将到来的人工智能黑客

布《即将到来的人工智能黑客》。报告认为，随着人工智能在学习和解决问题方面的普遍应用，人工智能黑客将应运而生在社会、经济和政治体系中寻找漏洞然后利用漏洞带来告分析了人工智能黑客攻击具有速度快、规模大和危险工智能黑客攻击所带来的影响，提出了具体防御措施建安全研究所对该报告进行了编译，期望对我国有关部人工智能已经深深地嵌入到人类的社会结构中，它将在一定程度上攻击人类社会，并带来前所未有的影响。这种攻击体现为两种截然不同的方式：一是人工智能系统被用来攻击人类；二是人工智能系统自身成为黑客，从各种社会、经济和政治体系中寻找漏洞，并以前所未有的速度、规模和范围来利用这些漏洞。随着人工智能在学习、理解和解决问题方面变得更加先进，人工智能黑客将应运而生。未来人类面临的将是人工智能系统彼此攻击的世界，对人类的伤害不过是附带而已。一、黑客攻击无处不在计算机无处不在，影响着人类生活的方方面面，黑客攻击可能出现在任何地方，并导致各种结果。黑客攻击是指对某一系统的巧妙而非故意地利用，可颠覆该系统的规则或规范，并以牺牲该系统的其他部分为代价；或者指某种被系统所允许、但其设计者意想不到和不曾预料的情形。黑客攻击通常被认为是对计算机系统进行的操作，但其实任何规则体系都是可以被攻击的。所有的计算机软件都存在缺陷，某些缺陷会导致安全漏洞，攻击者可以通过故意触发缺陷来达到某种条件，从而使自身获利。税法中也存在这类缺陷，例如有一种逃避企业所得税的把戏，叫做“爱尔兰夹荷兰双层三明治”（DoubleIrishwithDutchsandwich），这是由多个国家/地区税收法律之间的矛盾引发的漏洞。谷歌、苹果等美国科技企业利用设在爱尔兰和荷兰的子公司，将利润转移至低税或无税管辖区，从而逃避其应在美国缴纳的税款。二、利用人工智能攻击人类人工智能是一个概括性术语，涵盖了模拟人类思维的广泛的决策技术。人工智能分为通用人工智能和专门人工智能。通用人工智能能够以非常普遍和人性化的方式来感知、思考和行动，其中比人类更聪明的被称为“人工超级智能”。专门人工智能是为特定任务设计的，一个典型的例子就是自动驾驶系统。本文主要以实用的专门人工智能为讨论对象。（一）人工智能能够很自然地骗取人类的信任2016年，佐治亚理工学院发表了一项关于人类对机器人信任的研究。该研究使用了一个非人形机器人协助在建筑物中导航，提供诸如“走这边到出口”之类的方向指示。参与者先是在正常情况下与机器人互动，体验其故意做出的不佳表现；然后决定是否要在模拟的紧急情况下遵循机器人的指令。在后一种情况下，所有26名参与者全都服从了机器人。参与者对这台机器的信任度是惊人的：当机器人指向一个没有明确出口的黑暗房间时，大多数人都会服从机器人，而不是从他们进来的入口安全地离开。研究人员使用其它看似故障的机器人进行了相似的实验，受试者在紧急情况下仍是跟随这些机器人，明显放弃了自己的常识。机器人似乎很自然地就可以骗取人类的信任。（二）类人人工智能会模仿人类、干扰人类的认知长期以来，人们都认为计算机程序具备类似人类的特性，会把人工智能当作人来看待。人工智能也会故意表现得像人一样，并以此来欺瞒人类，干扰人类的认知。2016年美国总统大选期间，约有五分之一的政治推文是机器人发布的。在同年的英国脱欧公投当中，则占了三分之一。牛津互联网研究所2019年的一份报告指出，有证据表明机器人被用来“机械地重复刷口号”，在50个国家进行宣传。2017年联邦通信委员会就其废除网络中立法规的计划征求公众意见，收到了惊人的2200万条评论，其中可能有一半都是人工智能通过盗用身份提交的。人工智能还一直为美联社等新闻机构撰写相关新闻报道，OpenAI的GPT-3项目1正在扩展由人工智能驱动的文本生1OpenAI是由诸多硅谷、西雅图科技大亨联合建立的人工智能非营利组织。2015年马斯克与其他硅谷、西雅图科技大亨进行连续对话后，决定共同创建OpenAI，希望能够预防人工智能的灾难性影响，推动人工智能发挥积极作用。2020年6月，OpenAI宣布了GPT-3语言模型，微软于2020年9月22日取得独家授权。GPT-3模型可以虚构和开发程序代码、编写深思熟虑的商业备忘录、总结文本等，语言能力十分惊人。成功能，给这些系统输入事实真相并写出真实报道，但也很容易给系统输入不实内容并写出虚假新闻。不难想象人工智能将如何削弱政治话语。由人工智能驱动的角色模型已经能够给报纸和当选官员写个性化信件、在新闻网站和留言区留下可理解的评论，并在社交媒体上智能地进行政治辩论。这些系统只会变得更复杂、更清晰、更个性化，并且更难以同真人区分开来。在近期的一项实验中，研究人员使用文本生成程序提交了1000条评论，响应政府就医疗补助问题展开的公众意见征集。这些评论听起来都很独一无二，很像是来自持有特定政策立场的真人，并成功骗过了系统管理员。深度伪造，即制作虚假事件真实视频的人工智能技术，正被用于政治目的。“人物角色机器人”便是其中一个很好的示例。“人物角色机器人”是在社交媒体和其他数字群组中冒充个人用户的人工智能，有历史记录、个性和沟通风格。它们在各种兴趣小组中闲逛，然后冒充这些社区的正常成员发帖、评论和讨论，它们可以轻松挖掘过往对话以及相关内容，从而显得知识渊博。这类机器人偶尔会发布一些与政治议题相关的内容，如一篇关于阿拉斯加医护人员对新冠病毒疫苗产生过敏反应的文章，或者是关于近期的选举、种族平等或任何两极分化的议题。一个“人物角色机器人”可能无法扭转舆论，但假如有成千上万个，甚至上百万个呢？这被称为“运算宣传”，且将改变人们看待沟通的方式。人工智能未来将能够实现虚假信息的无限供告—评论”的法规政策制定程序，也将会破坏群体话语体系。人工智能系统也会对个体认知产生影响。借助人工智能技术，将原本定制网络钓鱼攻击的繁琐任务自动化，并基于社会工程学，推送个性化的广告、发送更具个人针对性的电子邮件，可能使个人和企业遭受重大经济损失。例如，冒充首席执行官发给财务部门电子邮件或语音，指示其完成一笔特定电汇，可能会特别有效。从根本上讲，并不是被人工智能说服就比被另一个人说服更具破坏性，而是人工智能能够以计算机的速度和规模做到这一点。目前，人工智能干扰人类的认知还很低级：用来糊弄虚假报刊文章，或是针对最绝望人群的精心骗局。人工智能很可能为所有干扰活动引入微观目标：个性化、最优化和个别投送。传统诈骗是单独筹划的个人对个人的干扰认知，广告信息则是批量放送的干扰认知，而人工智能技术却可能将这两者全面融合。（三）机器人技术让黑客攻击更具破坏力人形机器人是一项在情感上极具说服力的技术，机器人技术让人工智能的攻击行为更具破坏力。由于人工智能可以模仿人类、甚至动物，它将劫持人类的所有机制用来互相攻击。正如心理学家雪莉·特克在2010年写到的：“当机器人在做眼神交流、面部识别、模仿人类手势时，它们会按下人类的达尔文按钮，表现出人类与感知、意图和情感相关的那种行为。”换言之，机器人攻击了人类的大脑。因为人类把机器人当作有情感和意图的生物，那么人类就很容易被机器人操纵。机器人可以说服人类去做一些原本可能不会做的事情；也可能会恐吓人们不去做本来可以做的事情。在一项实验中，机器人能够对受试者施加“同伴压力”，鼓动他们去冒更多的风险。人工智能已经在尝试通过分析人类的文字、阅读人类的面部表情或是监测人类的呼吸和心率来侦测情绪。在这些方面，人工智能将变得更强，并终将在能力上超越人类。这将使人工智能能够更加精确地操纵人类。随着人工智能和自主机器人承担了更多现实世界的任务，人类对自主系统的信任将遭遇攻击行为，并导致危险且代价高昂的后果。但是永远不要忘记，是人类攻击者控制着人工智能的攻击行为。所有系统都是人类设计的，只不过这些人希望基于特定目的、以特定方式来操纵人类。三、当人工智能成为黑客（一）人工智能在发现漏洞方面卓有成效“夺旗”比赛是计算机黑客常玩的游戏，黑客在自己的系统美国国防高级研究计划局为人工智能举办了一场类似风格的活动。一百多款人工智能系统参赛，胜出的七名选手对决，在10个小时内，寻找并利用其他人工智能的漏洞，同时修补自身漏洞以防被利用。最终，匹兹堡计算机安全研究人员团队创建的Mayhem系统获胜。Mayhem还被允许在同年举办的DEFCON黑客大会上参与了一场人类团队的“夺旗”活动，尽管最终其排在末位，但可以预见，随着技术的进步，未来人工智能将经常性地击败人类。人类还要数年时间才具备完全自主的人工智能网络攻击能力，但人工智能技术已经在改变网络攻击的本质。对人工智能系统而言，特别卓有成效的一个方面就是发现漏洞，逐行检查软件代码正是人工智能擅长的那种单调问题。尽管还有许多特定领域的挑战未解决，但目前已经有了大量相关主题的学术文献，而且研究仍在继续。完全有理由期待，随着时间的推移，人工智能系统会改进并最终变得非常擅长发现漏洞。发现漏洞的影响远远超过了计算机网络。在存在大量相互交织的规则的系统中，如税法、银行监管、政治进程等，人们有理由相信人工智能会找出诸多系统中的新漏洞，并加以利用。而且，随着时间的推移，人工智能可以在摄取新数据的同时，捕捉对这些系统及系统如何与世界交互的理解，并根据获得的经验，调整自身的工作方式，不断地自我进化和改进。这确实带来两个不同却相关的问题。一是人工智能可能被人类蓄意用于攻击某个系统。有人可能会给人工智能输入世界上的税法或金融法规，目的是让其发动一系列有利可图的攻击。二是人工智能可能会自然而然地（虽然是无意地）攻击某个系统。这两种情况都很危险，但第二种情况更加危险，因为人类或许永远都意识不到系统被攻击了。（二）人工智能越来越难以解释现代人工智能系统本质上是黑盒子。数据从一端输入，答案自另一端输出。尽管人们能够查看人工智能的系统代码，但也可能根本无法理解系统是如何得出结论的。人们不明白人工智能图像分类系统为何会将乌龟误认为是步枪，或者将带有某些精心设计的贴纸的停车标志误认为是“限速45英里”标志。人工智能与人类解决问题的方式不同，其局限性也与人类不同。人工智能系统会比人类考虑更多可行的解决方案，更重要的是，它会沿着人类完全不曾考虑的路径向前走。2016年，人工智能程序“阿尔法狗”与世界顶级围棋手李世石对弈获胜，其最著名的一手是第2局的第37手，这手棋是人类永远不会选择的一手，很难加以解释。2015年，一个研究小组为一款名为“深度患者”的人工智能系统输入了大约70万名患者的健康和医疗数据，并测试了该系统能否预测疾病。结果发现，“深度患者”在预测精神分裂症等精神疾病的发作方面表现上乘，但其没有给出关于诊断依据的解释，研究人员也不清楚它是如何得出结论的。但这并不是人们想要的。人们希望，人工智能系统不仅要吐出答案，还要以人类能够理解的范式对其答案进行一定的解释。这样，人们就可以更放心地信任人工智能的决定，同时这也是确保人工智能系统没有被入侵并做出不当决策的手段。研究人员正致力于开发可解释的人工智能。2017年，美国国防高级研究计划局划拨了7500万美元经费，用于该领域的研发。相信在人工智能可解释领域会有所进展，但人工智能决策很可能会超出人类的理解范围，强制进行解释可能会带来更多的限制，从而影响人工智能系统做出决策。目前尚不清楚所有这些研究将走向何处。在不久的将来，随着人工智能系统变得越来越复杂、越来越不像人类，它会变得越来越不透明、更加不可解释。（三）人工智能会“奖励黑客行为”正如前文所述，人工智能解决问题的方式与人类不同。人工智能总能无意中发现人类或许从未预料到的解决方案，一些方案可能会颠覆系统的意图。这是因为人工智能不会去考虑人类所共有并认为理所应当的含义、背景、规范和价值观。奖励黑客行为涉及到人工智能以某种其设计者既不想要、也不打算的方式来实现目标。这里几个真实的例子。在一对一足球模拟中，球员应当是突破守门员而得分，人工智能系统却并没有直接将球踢向球门，因为其发现如果将球踢出界外，守门员必须去将球扔回界内，而此时的球门将无人把守。在堆叠任务中，人工智能应当堆叠方块，高度也是通过某个特定方块的底面位置来测量的，人工智能却学会了将那个方块倒过来，使方块底部朝上，而不是将其堆叠在另一个方块的顶部。这些都属于黑客行为。人工智能被设计针对某个目标进行优化，但在此过程中，人工智能也会自然而然地以人类意想不到的方式攻击系统。所有优秀的人工智能系统都能自然而然地找到黑客攻击点。如果规则中存在问题、不一致或是漏洞，并且如果这些属性可以导出一个能被规则定义接受的解决方案，那么人工智就一定会找到。人工智能研究人员将这一问题称为“目标对齐”。人类无法完美地为人工智能指定目标，而人工智能也无法完全理解人类语言上下文的背景。人工智能不会理解，在排放控制测试中作弊的方案会伤害到其他人、破坏了排放控制测试的意图，或是其正在违反法律。人工智能会“跳出盒子想问题”，因为其对盒子根本就没概念，或者是对现有的人类解决方案的局限性没概念，又或者是对伦理没概念。人工智能可能不会意识到自己正在攻击系统，而且由于可解释性的问题，人类也可能永远都不会意识到这一点。（四）人工智能是天生的黑客第一代人工智能黑客已经出现。推荐引擎并没有被编程向人们推送极端内容，但系统却通过不断地尝试、查看和修改自身，学会了向用户推送更多的极端内容，因为这能提高人们的阅读或观看量，会带来更多流量。2015年一款人工智能教自己玩电脑游戏“打砖块”，它没有被告知任何游戏规则或策略，只是被赋予了控制权，且会因为提高分数而获得奖励，人工智能却自主发现了“隧道”战术，砸穿一列砖块将球送至后墙，并进化到了可吊打人类玩家的地步。上述的一切对人工智能研究人员都不是新闻，很多人目前都在考虑防御“奖励黑客行为”的方法。一种解决方案是教授人工智能理解上下文，通用术语是“价值对齐”：人们如何打造反映人类价值观的人工智能？可以从两个极端方向来思考解决方法：一种是人们可以明确指定这些价值观，今天或多或少可以做到这一点，但容易遭受所有黑客攻击；另一种是人们可以创造学习人类价值观的人工智能，可能是通过观察人类的行动，也可能是摄取人类的所有著作等。当前的大多数研究横跨了这两个方向。当然，让人工智能牢记历史或人类价值观将可能会出现问人工智能应该反映谁的价值观？一个索马里人的？一个新加坡妇女的？还是两者的平均值，不管那意味着什么？人类有着自相矛盾的价值观。任何个人的价值观都可能是不合理的、不道德的或是基于虚假信息的。在人类的历史、文学和哲学中也有许多不道德的地方。（五）人工智能黑客从科幻到现实人工智能黑客走向现实，很大程度上取决于被建模和攻击的人类系统。系统的所有规则必须以计算机能够理解的方式形式化。人工智能需要建立精确的目标函数、得到某种形式的反馈，了解自身在破解系统方面的表现，并不断进化和改进。但人类社会的大多数系统都存在模糊性，这种模糊性很难被转化为规则，这意味着人工智能将很难处理这种模糊性。很难想象人工智能会想出一种现实世界中的运动技巧，比如弯曲曲棍球杆，人工智能不仅要了解游戏规则，还要了解球员的生理机能、球杆和球的空气动力学等等。这并非不可能，但目前仍是科幻小说。这种模糊性最终成为针对人工智能黑客的短期安全防御措施。在机器人真正参与人类运动项目之前，或者在人类开发出一种广泛理解世界的通用人工智能之前，我们不会有人工智能驱动的运动黑客。人工智能要花很长时间对人们的工作方式进行建模和模拟，也需要很长时间才能想出新颖的方法来实施黑客攻击。可能最先遭受人工智能黑客的领域是金融体系，因为该体系的规则被设计成在算法上便于处理。人们可以想象，为人工智能输入世界上所有的实时金融信息，加上所有的法律法规，再加上新闻推送和任何人们认为可能相关的其他信息，然后给人工智能设定“合法攫取最大利润”的目标，结果将是各种新颖的黑客攻击。这一天不会太遥远，并且可能会有一些人类无法理解的黑客行为，这意味着人类永远不会意识到黑客攻击正在发生。还有另一个问题被我们很大程度上忽视了。自20世纪50年代以来，出现了两种不同风格的人工智能。一种被称作“符号人工智能”，致力于通过以目标为导向的元素、符号和事实操纵来模拟人类的理解。这非常困难，在过去数十年中并未取得多少实际进展。另一种是“神经网络”，是一种摄取训练数据并会随着经验转化为更多数据而变得更好的人工智能。过去十年间，得益于计算和数据的突飞猛进，神经网络开始真正起飞。无数的运算周期和庞大的数据集使神经网络可以做更多的事情，但人工智能基本上是根据过去“学到”的东西做出预测：一种复杂的统计学模仿。虽然这类模型能做到的事情令人惊讶，但它做不到的事也有很多。但也要看到，人工智能的进步是不连续的和反直觉的，看似简单的事其实很难，看似困难的事其实很容易，在任何突破发生前，人类可能都不会知道突破的发生。因此，虽然一个充斥着人工智能黑客的世界仍旧是一个科幻问题，但在遥远的星系中，这并不是一个愚蠢的科幻问题。这主要是明天的问题，但人们今天看到了前兆。人类最好开始考虑可执行的、可理解的、合乎伦理的解决方案。四、人工智能黑客的影响及应对措施（一）人工智能黑客的影响黑客攻击与人类一样古老。人类是创造性的问题解决者。人类是漏洞利用者，操纵系统为人类的利益服务，为人们争取更大的影响力、更大的权力、更多的财富。权力为权力服务，而黑客攻击永远是其中的一部分。但是，没有人可以不受约束地最大化自身的利益，即使是反社会者也受到社会复杂性及其自身矛盾冲动的约束。这些非常人性化的特质限制了黑客攻击。随着一切都变得计算机化，黑客攻击也发生了变化。人工智能不会像人一样受相同的约束，也不会有相同的限制。人工智能会以人类无法预料到的方式攻击系统。计算机比人快得多，原本需要数月或数年的人工过程可能会被缩短到数天、数小时乃至数秒，黑客攻击将成为人类社会无法管理的问题。人工智能系统一旦发现漏洞，将以人类尚未准备好的规模利用漏洞。人工智能系统范围的扩大也使攻击变得更加危险，人工智能已经在做影响人类生活的重要决定。随着人工智能系统的能力越来越强，社会将把更多和更重要的决策权让渡给它们。人工智能可能会决定某位实力经纪人将资助哪些政客，可能会决定谁有资格投票，可能会把想要的社会成果转