人工智能时代亦需反人工智能

1、    人工智能时代亦需“反人工智能”    李雅琪 冯晓辉2018年12月，欧盟人工智能高级专家组发布可信赖的人工智能道德准则草案。该准则草案提出了实现“可信赖人工智能”的两个核心要素道德目的、技术可靠。在此之前，学术界已开始从技术角度探索防范人工智能潜在风险的“反人工智能”技术。2018年8月，加拿大学者公布了关于人脸检测动态扰乱系统的研究成果，该技术能将人脸检测准确率从接近100%大幅降低至0.5%。当前，人工智能尚处于“弱人工智能”阶段，反人工智能的出现，既凸显出人类对人工智能的潜在忧虑，也从技术角度提供了一条确保人工智能不会危及人类自身的新思路

2、。因此，有必要梳理反人工智能技术的发展现状与前景，并统筹考虑人工智能与反人工智能的协同发展，确保人工智能可控、可靠、可信地造福人类。人工智能高速发展引发风险担忧人工智能引发的忧虑日渐增多。人脸检测是当前人工智能领域最为成熟的技术之一，已经开始在多个领域应用推广。但也有不少人认为，人脸检测等人工智能技术虽然能够提供极大便利，但也随之带来了数据隐私泄露等安全隐患，有必要从多个角度开展防范策略研究，以防止用户数据隐私泄露。事实上，在人工智能蓬勃发展的光环之下，其所引发的忧虑远远不止隐私数据泄露。当前，虽然各国大力倡导人工智能的应用推广，但现阶段的“弱人工智能”与真正的人脑智慧相差甚远，缺乏自主认知意

3、识与学习能力，十分依赖海量数据训练，并且还无法学习形成人类的道德伦理观念，这就意味着“弱人工智能”应用过程中存在着大量令人担忧的隐患环节。人工智能高速发展潜藏两大风险。对人工智能的忧虑，主要源自人工智能的自身技术缺陷和技术潜在滥用两个方面。在自身技术缺陷方面，其体现主要集中于两点。第一，当前的机器学习本质上是一项黑盒技术，其训练过程具有难以解释、不可控制的特点，且随着人工智能的应用复杂度、数据需求量的指数式增长，机器学习尤其是基于多层神经网络的深度学习，其复杂程度愈发超出人类理解和控制的范畴，在快速进化过程中极易偏离人类为其预设的轨迹。例如，微软发布的人工智能推特tay，在与网友聊天过程中很快

4、就学会脏话，甚至学会了种族歧视的言论，导致微软被迫紧急下线该产品。第二，机器学习模型训练过程完全依赖于海量数据，数据的好坏将直接决定人工智能技术效能，训练数据的任何偏差都将在人工智能应用中如实反映。例如，亚马逊的智能简历筛选系统，由于用于模型训练的简历具有男多女少的特点，因此学会了性别歧视，一旦抓取到简历中“女”这一关键词，便会降低应聘者的考核分数。在技术滥用方面，随着人工智能应用领域的快速延伸，人工智能技术触及人类道德伦理底线，乃至威胁人类自身安全的事件不断出现。例如，斯坦福大学的研究人员2017年发布了一种依靠面部图像识别来判断性取向的算法，该算法判断男同性恋和女同性恋的准确率分别高达91

5、%和83%。因此，该应用只需提取人类上传在社交网络的照片即可判断其性取向，这无疑是严重侵犯个人隐私的行为。此外，人工智能在黑客网络攻击，甚至大规模杀伤性武器等方面可能的滥用行为，更将引发难以估量的严重后果。事实上，美国军方已经在人工智能军事化、杀手机器人等领域布局良久，投入了巨资。 防范人工智能风险已经“在路上”。伴随着“alphago战胜李世石”等标志性事件接连出现，人工智能引发的忧虑也随之加深，人类开始从法律法规、道德准则、技术等多个角度，探索防范人工智能潜在风险的手段。在法律法规方面，2017年，欧美等国家和地区提出要积极开展人工智能相关立法研究。例如，英、美分别在人工智能：未来决策制定

6、的机遇与影响人工智能未来法案中强调，要密切关注人工智能可能的负面影响，并提出要确保人工智能威胁的最小化。在道德准则方面，2018年3月，谷歌因参与军方人工智能项目而引发内部员工强烈反对，最终被迫发布了11条运用人工智能技术的“不作恶”准则。2018年12月，欧盟发布人工智能道德指南草案，提出了规范人工智能应用的几大问题。此外，在技术方面，加拿大学者2018年8月公布的人脸检测动态扰乱系统也并非反人工智能的首次技术尝试。此前，美国mit的研究人员就曾尝试通过构建3d对抗样本来欺骗图像识别系统。此外，生成对抗网络（gans）的创造者伊恩·古德费洛曾在2017年牵头组织对抗攻击防御竞赛，引

7、导研究人员开展人工智能算法的攻防比拼，以期引起各方对反人工智能技术的关注和研究。从某种意义上讲，当人类出于自身福祉考虑开发出的人工智能令人担忧，而相关法律法规和技术伦理又大为滞后时，相比于法律道德的“防君子不防小人”，在技术层面实实在在地开发人工智能对抗技术显然更能让人心安。因此，虽然现在的人工智能技术还很弱，但反人工智能的出现也是必然的。反人工智能仍处于起步探索阶段反人工智能历经两大阶段。截至目前，反人工智能技术的发展大致经历了两个阶段。早期，反人工智能技术主要聚焦于通过污染训练数据来攻击机器学习模型。这是一种简单直接的反制方法。但由于机器学习模型一般都在封闭环境中开展训练，很难受到外部干扰

8、，因此这类技术并未获得进一步发展。2014年，伊恩·古德費洛提出的生成对抗网络为反人工智能技术开辟了第二条技术路径，研究人员可基于生成对抗网络对源数据施加微扰，从而构造动态对抗数据，这一微扰难以被用户感知，但却能使机器学习模型在检测识别时做出错误判断。该方法与人工智能技术相同，都属于机器学习算法。反人工智能技术效能仍然较低。与人工智能尚处于初级阶段相比，反人工智能在技术效能和应用领域等方面处于更加早期的阶段。从技术效能看，构造对抗数据的方法易于被有效防御。只要在人工智能模型训练初期利用已知的对抗性数据进行训练，就能提升模型辨别良性、恶性数据的能力，进而抵御对抗性数据对模型系统的压制。

9、从应用领域看，由于反人工智能技术亦基于机器学习，因此与人工智能技术在图像和语音识别领域发展最成熟类似，反人工智能技术也集中在这两个领域。在自然语言处理、认知推理等其它人工智能应用领域，尚无可行的反人工智能解决方案。此外，此类方法只能在人工智能模型系统的推断环节实施干扰，无法在训练环节发挥作用。反人工智能也须“三思而后用”。反人工智能技术的出现，反映了人类对人工智能发展的忧虑，但该技术的发展与应用一样需要审慎。本质上，人工智能和反人工智能都是基于机器学习算法的技术，只是在技术效能上构成相互对抗的关系，即以人工智能对抗人工智能。因此，反人工智能在某种程度上与人工智能同样具有不可靠性，也同样面临着不

10、可控、被滥用的风险。例如，自动驾驶高度依赖人工智能的图像识别技术，倘若反人工智能技术被非法运用在自动驾驶领域，就可能导致自动驾驶汽车无法有效识别道路信息，从而引发灾难性后果。因此，在人工智能演进路径尚不清晰的情况下，要审慎思考人工智能与反人工智能的关系，发展和运用人工智能与反人工智能技术的同时注重综合性和互补性，以最大程度确保人工智能在造福人类时可控、可靠、可信。对策建议前瞻布局反人工智能技术研究。围绕确保人工智能技术可控、可靠、可信的总体目标，加快推进反人工智能的基础理论研究和应用技术研发，争取掌握未来技术发展的主动权。一是支持开展基于生成对抗网络的反人工智能技术研发，提升反人工智能技术的抗

11、干扰能力和实用性，防止其被人工智能技术“反对抗”。二是在开展图像识别、语音识别领域反人工智能技术研发的同时，积极探索在自然语言处理、认知推理等领域的反人工智能技术研究。三是支持开展针对人工智能机器学习模型训练环节的反人工智能技术的理论研究和技术开发。四是前瞻布局适用于反人工智能技术研发的基础理论，探索机器学习以外的革新性技术路径。探索反人工智能应用场景。面向人工智能应用过程中潜在风险防控的现实需求，推动反人工智能技术的落地应用，积极探索人工智能与反人工智能的协同发展路径。一是围绕智能终端、云端软件系统等各类人工智能应用模式，支持将反人工智能技术作为风险防控模块嵌入现有的人工智能产品服务，提升其可靠和可控度。二是针对用户隐私保护、敏感系统防护等特定场景，将反人工智能技术作为独立产品，探索信息安全防护产品服务的开发与应用。三是积极推动现有图像识别对抗系统、语音识别对抗系统等反人工智能成熟技术的商业化落地。深化人工智能与反人工智能理论研究。从确保人工智能健康发展、造福人类的根本立场出发，在理论、伦理等层面加强对人工智能、反人工智能的综合性研究。一是前瞻布局腦科学、计算机科学、哲