人工智能所伴生的安全问题

1、人工智能所伴生的安全问题人工智能自身存在着脆弱性，例如对抗样本就是人工智能的内生安全 问题。对抗样本是机器学习模型的一个有趣现象，反映出了人工智能算法 的弱点。攻击者通过在源数据上增加人类难以通过感官辨识的细微改变， 但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景 就是图像分类模型的对抗样本，通过在图片上叠加精心构造的变化量，在 肉眼难以察觉的情况下，让分类模型产生误判。对抗样本除在图像识别领 域存在，也在其他领域存在，如语音、文本等。从网络安全领域看，同样 存在类似于对抗样本的攻击问题，攻击者通过对恶意代码插入扰动操作就 有可能对人工智能模型产生欺骗。例如，有人就设计了一个

2、恶意样本，让 分类器将一个存有恶意行为的软件认定为良性的变体，从而可以构造能自 动逃逸PDF恶意软件分类器的攻击方法，以此来对抗机器学习在安全中的 应用。上述安全问题都可能会导致同样后果，就是导致人工智能系统发生 错误的决策、判断，以及系统被控制等问题。巨大的安全挑战人工智能技术存在着巨大的安全性挑战。目前人工智能系统还无法超 出固有的场景或对特定语境的理解，人工智能技术在下棋或游戏等有固定 规则的范围内一般不会暴露其脆弱性，当环境数据与智能系统训练的环境 大相径庭，或者实际的应用场景发生变化，或者这种变化超出机器可理解 的范围时，人工智能系统可能就会立刻失去判断能力。美国智库“新美国 安全中

3、心”最近发布的人工智能：每个决策者需要知道什么称，人工 智能的一些弱点可能对国家安全等领域造成巨大影响。人工智能的失误可能会给人类带来灾难，从而会形成衍生安全问题。 2022年5月7日，在佛罗里达州公路上一辆处于“自动驾驶”模式的特 斯拉ModelS以74英里的时速，撞上了拐弯中的白色拖挂式大货车。 ModelS从货车车底穿过，车顶被完全掀飞，40岁的驾驶员JoshuaBrown 不幸死亡。出事路段限制时速为65英里/时。由于“自动驾驶”模式车前 的高清摄像头为长焦镜头，当白色拖挂卡车进入视觉区域内时，摄像头只 能看到悬浮在地面上的卡车中部，而无法看见整个车辆;此外，当时阳光 强烈（蓝天白云）

4、，使得自动驾驶系统无法识别出障碍物是一辆卡车，而 更像是飘在天上的云，导致自动刹车未生效。这次事故引发了外界对自动 驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情，是典 型的人工智能衍生安全的案例。当前，人们已经开始关注人工智能自身的安全问题，霍金曾经在 2022年8月与美国Reddit网的问答互动中，提出了人工智能“威胁论” 的观点，后又曾多次在世界知名期刊撰文强调类似看法。比尔盖茨称， 人类在人工智能领域已经取得了很大进展，这些进展能让机器人在接下来 的10年内学会驾驶和做家务，在一些特定的领域甚至能比人类优秀。但 是之前他曾经提出警告，“人工智能如果进展太快，可能会对未来的人

5、类 造成一定威胁”。特斯拉创始人马斯克在Code大会上也预测智能机器人 未来，他认为未来人类生活将离不开虚拟现实技术，而这一技术的高度发 展将使人类很难分辨出真实与游戏的区别;加之人工智能的飞速发展，人 类智商将会止步不前；最为严重的后果是机器人反超人类成为实际运营世 界的主体，人类在机器人心中可能如宠物一般的存在。防止人工智能体行为失控的方案随着人工智能技术的高速发展，人工智能行为体越来越有可能在不远 的将来成为人类生活重要组成部分。目前，相关研究领域专家已认识到人 工智能存在巨大风险，并从人工智能安全设计原则、标准规范、道德伦理 方面进行呼吁。但是，针对如何设计一个防止具有行为能力的人工智

6、能系 统失控的装置？该装置应具备的什么样的控制功能和性能指标？该装置的 软硬件形态是什么？这些目前尚无研究成果。人工智能为什么会危害人类？前提是要有一个具有行为能力的、由人 工智能来操作的行为体。人工智能行为体是指一类能感知外部环境并将之 作为输入，通过内部算法进行决策，并利用自身驱动装置与物理世界产生 交互行为的自主硬件实体。自动行走机器人、自动驾驶汽车和人工智能武 器等，都是人工智能行为体的类型。人工智能行为体需要有感知外部环境、 内部控制逻辑、运动驱动装置和自主能力（自学习）四个要素的体现。外 部环境包括所处的自然环境和相关生物体等;内部控制逻辑是指预制在人 工智能行为体内部，用于产生运

7、动行为的程序;运动驱动装置是可与物理 世界交互，或者可改变人工智能行为体处所空间坐标的硬件；自主能力是 指人工智能行为体可以自己设定要达到的目标函数或自主决策，而非由人 类设定目标。人工智能在什么情况下会危害人类？需要同时满足三个条件，第一， 有行为能力，AlphaGo是下棋机器人，不能动，所以不会危害人类；第二， 有足够破坏力的动能，有危害性，扫地机器人不具有破坏的动能，所以不 会危害人类;第三，具有自主能力，完全听命于人类的系统，不会主动伤 害人类，但会误伤人类。第一，能动的问题已解决;第二，有破坏力的机器人也已经存在，这 是一个危险因素;第三，自主行为体。运动体已经比比皆是，破坏力已经

8、突破掉了，关键就是能不能自主。但是我们不能太相信机器人不会自我进 化到危害人类的程度，所以对它预先要有约束。金十对机器人来说有一个国际标准，提出了四种约束条件。第一是安全 级的监控停止，当出现问题时，有让它停止的能力;第二是手动引导，任 何事情都需要指示它做，它才开始做。如果这个机器人只能手动才开始做， 它就没办法给自己设定攻击性目标;第三是速度和距离监控，当它和人比 较接近时，速度必须降下来;第四是功率和力的限制，当和人接近时其功 率必须迅速降下来。这些都是保护人类要做的事情。我们提出一种防止人工智能行为体失控的方法一一AI保险箍。串联 模块用于与人工智能行为体的决策系统和驱动装置连接;反摘

9、除模块用于 在发生暴力拆除时，毁灭人工智能行为体，其确保本装置无法从人工智能 行为体总摘除。AI保险箍方法的核心要点包括：人工智能行为体的驱动装置需采 取主动探测或被动监听等方法，以检测到一个授权的、认证的、可信的控 制系统（AI保险箍）的存在，并接受其完全控制;当人工智能行为体无 法检测到一个授权的、认证的、可信的控制系统存在时，应停止一切工 作;速度与距离监控，当人工智能行为体中某个危险部件与人之间的距 离小于安全距离时，触发保护停止、触发与人工智能行为体相连的安全级 功能;在人工智能行为体发生失控时，系统能根据远程控制命令，实现 人工智能行为体的远程控制，使其无法危害人类或将危害控制到最低; 系统会对人工智能行为体进行风险识别，当识别出风险时，发出警报示警， 进一步防止人工智能行为体因为失控而造成的损害。人工智能作为最具颠 覆性和战略性的核心关键技术，持续引起全球产业界、学术界和各国政府 的高度关注。当前，人工智能技术在安全领域的应用需求日益迫切