可信人工智能的道德准则

可信人工智能的道德准则

EthicsGuidelinesForTrustworthyAI

作者：欧盟委员会独立人工智能高级专家小组

编译：中国电子信息产业发展研究院

（赛迪研究院）

2019年4月

1

目录

执行摘要.........................................32

A.引言.........................................阴

B.实现可信AI的架构...........................114^

I.第一章可信AI的基础.....................144^

II.第二章：可信AI的实现..................252^

III.第三章：可信AI的评估.................4544

C.关于AI的机遇和关键问题的示例..............61&9

D.结论......................................

术语..........................................69^

2

执行摘要

该准则以推广可信人工智能（AI）为目的。可信AI应

保证在系统的整个生命周期内都具备以下三个要素：（1）合

法性，即符合所有适用的法律法规；（2）道德性，即确保遵

守道德原则和价值观；（3）稳健性，尽管意图良好，AI系统

也可能在无意间造成危害，因此从技术和社会的角度来看,

AI系统应确保其稳健性。各个要素本身都不可或缺，但并不

足以保证AI的可信性。理想状态下，三个要素应协调作用

并在操作中相互重合。在实践中，如果这些要素之间出现冲

突，社会应努力对其进行协调，保持一致。

该准则为实现可信AI设定架构，但这一架构并未对可

信AI的第一要素（合法性）进行明确规定I其目标是提供

关于第二和第三要素的指导准则，即提升和确保AI的道德

性和稳健性。针对所有利益相关者，该准则就如何在社会技

术系统中实施这些原则提供指导，寻求超越道德原则清单。

该准则分为三个抽象层面，从抽象到具体逐步过渡，最后以

AI系统引发的机会和关键问题的示例作为结束。

L根据基于基本权利的方法，第一章确定在AI系统开

发、部署和使用过程中必须尊重的道德原则及其相关价值。

第一章中的重点指导内容包括以下几点：

VAI系统的开发、部署和使用应遵循以下道德原则：

尊重人的自主性、防止危害、确保公平和具备可解释性。承

1本文件中的所有规范声明旨在反映实现可信AI的第二和第三要素（道德性和稳健性）的指

导准则，并非旨在提供法律咨询意见或就遵守适用法律提供指导，尽管其中许多声明在某种

程度上已经反映在现有法律中。该方面具体内容，参见21节及其后内容。

3

认并解决这些原则之间的潜在紧张关系。

V特别注意涉及更为弱势的群体的情况，如儿童、残

疾人和历史上一直处于弱势或易于遭遇不公平待遇的群体,

以及权力或信息不对称的情况，如雇主和工人之间，或企业

和消费者之间2。

V承认AI系统在为个人和社会带来实质利益的同时,

也会引发某些风险，并可能产生负面影响，包括难以预测、

识别或衡量的影响（例如对民主、法治和分配正义的影响，

或对人类思维本身的影响）。在适当的时候采取符合风险规

模的适当措施来减轻这些风险。

II.第二章以第一章为基础，列出AI系统应当满足的七

项要求，为如何通过技术方法和非技术方法实现可信AI提

供指导。

第二章中的重点指导内容包括以下几点：

V确保AI系统的开发、部署和使用符合可信AI的七

个关键要求：（1）人类代理与监督；（2）技术稳健性和安全

性；（3）隐私和数据治理；（4）透明性；（5）多样性、非歧

视性和公平性；（6）环境及社会福利；（7）问责性。

V考虑技术和非技术方法，以确保实现该等要求。

V促进研究和创新，以协助评估AI系统并进一步达到

要求；向更广泛的公众传播成果和公开问题，系统地培训新

一代AI道德专家。

2参见《欧盟基本权利宪章》（简称《欧盟宪章》）第24条至27条，涉及儿童和老年人的权

利，残疾人和工人权利的融合。另见关于消费者保护的第38条。

4

J就实现AI系统预期设置的功能和限制以及如何实现

相关需求的信息，以清晰、主动的方式与利益相关者进行沟

通，保证关于AI系统相关处理的事实透明、公开。

V促进AI系统的可跟踪性和可审核性，特别是在关键

情境或情况下。

V鼓励利益相关者参与AI系统的整个生命周期。推动

培训和教育，使所有利益相关者都具备关于可信AI的认知

并接受培训。

V时刻谨记不同的原则和要求之间可能存在根本的紧

张关系，持续地识别、评估、记录和沟通相关权衡和解决方

案。

III.第三章制定具体但非全面的可信AI评估清单，旨在

落实第二章提出的主要要求。该评估清单需要根据AI系统

的具体用例进行调整3。

第三章中的重点指导内容包括以下几点：

V在开发、部署或使用AI系统时，采用可信AI评估

清单，并将其调整为适用于正在使用的AI系统的特定用例。

V时刻谨记该评估清单不具备永远的全面性。确保AI

可信性的过程不是简单地勾画选项，而是持续地识别和实现

需求，评估解决方案，确保在AI系统的整个生命周期内改

进结果，并保证利益相关者参与其中。

通过提供应该寻求的有利机会的示例，以及应该仔细考

3在该框架的范围内，本评估表并没有就确保法律合规性（合法性）提供任何意见，仅限于

就如何满足可信AI的第二和第三要素（道德性和稳健性）提供指导。

5

虑的AI系统所提出的关键问题，该文件的最后一节旨在具

体说明整个架构所涉及的部分问题。

虽然该准则旨在通过建立实现可信AI的横向基础，为

AI应用提供一般指导，但不同的情况总会带来不同的挑战。

考虑到AI系统应用场景的特异性，我们应该探讨的是，除

了该横向架构外，是否还需要一种分类方法，指导AI应用。

该准则无意取代任何形式的当前或未来的决策或法规,

亦无意阻止对该等决策或法规的引用。该准则应被视为动态

文件，随着时间的推移持续审查和更新，以确保随着技术、

社会环境和知识的发展，该准则具备持续相关性。本文件只

是讨论“欧洲可信AI”的起点4。

除欧洲外，该准则还旨在促进全球范围内对AI系统道

德架构的研究、反思和讨论。

A.引言

2018年4月25日至12月7日通报中，欧盟委员会发布

关于人工智能（AI）的愿景，支持“欧洲研发的具备道德性

和安全性的前沿AI"。实现这一愿景的三大支柱包括：（1）

增加AI方面的公共和私人投资，促进其发展和普及；（2）

为迎接社会经济变革做好准备；（3）确保适当的道德和法律

架构，强化欧洲价值观。

4在理想状态下，该文件旨在适用于在欧盟成员国开发、部署和使用的AI系统，以及在其

他地方开发或生产但在欧盟部署和使用的系统。本文件所指的“欧洲”，是指欧盟成员国。

然而，该准则也渴望在欧盟之外发挥作用。同时，值得注意的是，挪威和瑞士均为欧盟委员

会和成员国于2018年12月商定并发布的《人工智能协调计划》的成员。

5COM（2018）237和COM（2018）795。值得注意的是，委员会通报中一直使用“欧洲制造”

一词。但是，该准则的范围不仅包括欧洲制造的AI系统，还包括在其他地方开发，但在欧

洲部署或使用的AI系统。因此，在整个文件中，我们的目标是促进用于欧洲范围内的可信

Alo

6

为了促进这一愿景的实现，欧盟委员会成立独立的人工

智能高级专家小组(High-LevelExpertGrouponAI,AI

HLEG),负责起草《人工智能道德准则》和《政策和投资建

议》。

本文件载有的《人工智能道德准则》是根据公众对2018

年12月18日公布的《人工智能道德准则》草案的修改意见，

由AI高级专家小组经进一步审议后对草案进行修订的成果。

该准则以欧洲科学和新技术道德小组6的工作为基础，并从其

他类似的研究中汲取灵感7。

在过去几个月里，秉持“多元一体”的欧洲格言，我们

52个人积极展开会面、讨论和互动。我们相信AI能够为社

会带来翻天覆地的变化。AI本身并不是目的，而是极有希望

推动人类繁荣的一种手段，能够增进个人和社会福祉，促进

共同利益，并实现社会进步和创新。特别是，AI系统有助于

实现联合国的可持续发展目标，例如促进性别平衡和应对气

候变化，推动自然资源的合理使用，提高我们的健康水平和

流动性，加强生产流程，以及支持我们根据可持续性和社会

凝聚力指标监测社会发展进程。

为了实现这些目标，AI系统8应当以人为中心，致力于

推动人性化服务和实现社会共同利益，以改善人类福祉和自

由为目标。AI系统在为我们创造巨大机遇的同时，也产生一

“欧洲科学和新技术道德小组是欧盟委员会下属的一个咨询小组。

7参见COM(2018)237第3.3条。

8本文件末尾的术语表所提供的人工智能系统的定义服务于本文件目的。该定义在AIHLEG

编写的题为《AI的定义：主要功能和科学学科》的专用文档中得以进一步阐述，该准则附

有该文档。

7

定的风险，必须妥善处理。现在，我们正面临塑造AI系统

发展的重要机遇，希望确保我们能够拥有适于AI系统应用

的可信的社会技术环境，同时期待AI系统生产商能够通过

在产品和服务中嵌入可信AI以获得竞争优势。因此，我们

需要尽力实现AI系统优势的最大化，同时防范和最小化其

风险。

在科技迅速发展的今天，我们认为至关重要的是，信任

仍然是社会、社区、经济和可持续发展的基石。因此，我们

将可信AI视为基本抱负，因为人类及其社区只有在能够确

保技术可信性的明确和全面的架构中，才能对技术发展和应

用抱有信心。我们相信，欧洲应该努力成为符合道德准则的

前沿技术发展的家园和领袖。正是通过可信AI,作为欧洲公

民的我们才能寻求以一种与我们尊重人权、民主和法治的基

本价值观相一致的方式，享受AI带来的种种好处。

可信AI

可信度是人类和社会发展、部署和使用AI系统的前提。

如果AI系统及其背后的人类明显缺乏可信度，可能会导致

意想不到的后果，并可能妨碍AI系统的应用，从而失去AI

系统可能实现的巨大的社会和经济效益。为了帮助欧洲把握

AI系统带来的机遇，我们旨在确保和扩大可信AI的应用。

对AI系统的开发、部署和使用的信任不仅取决于技术

的内在特性，而且关系到涉及AI应用的社会技术系统的特

质9。与航空、核能或食品安全方面的信任（或丧失信任）问

9社会技术系统包括人类、国家行为者、公司、基础设施、软件、协议、标准、治理、现有

8

题类似，能够产生信任或失去信任的不单是AI系统的某个

组成部分，而是系统整体。因此，对可信AI的追求不仅关

系到AI系统本身的可信性，还需要一个全面的系统性方法，

包括系统整个生命周期中，作为系统社会技术环境的所有参

与者和过程的可信性。

在系统的整个生命周期内，可信AI都应具备以下三个

要素：

1.合法性，即符合所有适用的法律法规；

2.道德性，即确保遵守道德原则和价值观；

3.稳健性，尽管意图良好，AI系统也可能在无意间造

成危害，因此从技术和社会的角度来看，AI系统应确保其稳

健性。

各个要素本身都不可或缺，但并不足以保证AI的可信

性Q理想状态下，三个要素应协调作用并在操作中相互重

合。在实践中，这些要素之间可能存在紧张关系，例如，有

时，现行法律的范围和内容可能与道德规范相互矛盾。在这

种情况下，作为社会整体，我们个人和集体的责任是全力确

保这三个要素能够有助于实现可信AI"。

可信的方法是实现“责任竞争力”的关键，以此为基础，

AI系统的所有相关方可以确信系统的设计、开发和使用合法、

合乎道德，并具备稳健性。该准则旨在促进欧洲负责的可持

续AI创新，寻求将道德标准作为发展AI的独特方法的核心

法律、监督机制、激励结构、审计程序、最佳实践报告等。

10这并不排除可能需要附加条件的事实。

"这也意味着立法机构或决策者可能需要审查现有法律的适用性，因为这些法律可能与道德

原则存在矛盾。

9

支柱，从而促进、实现和保护人类个体的繁荣和社会的共同

利益。我们相信，这将使欧洲成为值得个人和集体信任的

AI前沿技术领域的全球领导者。只有确保AI系统的可信度,

保证个人充分了解防范AI系统潜在风险的措施已经到位，

欧洲社会的个人才能充分利用AI系统的优势。

AI系统的应用和影响都已超越国界，由此产生的全球性

机遇和挑战需要全球性的解决方案。因此，我们鼓励所有利

益相关者为实现可信AI建立全球性架构，在促进和维护各

自的基本权利的同时，建立国际共识。

受众和范围

该准则适用于设计、发展、部署、实施、使用AI或受

AI影响的所有利益相关者，包括但不限于公司、团体、研究

人员、公共服务、政府机构、体系、公民社会组织、个人、

工作人员及消费者。致力于实现可信AI的利益相关者可以

自愿选择使用该准则作为兑现承诺的方法，特别是可以在开

发、部署或使用AI系统时使用第三章制定的实际评估清单。

该评估清单还可以补充并并入现有评估过程。

该准则旨在为AI的一般应用提供指导，为实现可信AI

奠定横向基础。不同的情况带来不同的挑战。比如AI音乐

推荐系统就不会像负责提供关键性医疗建议的AI系统一样,

引发道德问题。同样，在企业对消费者、企业对企业、雇主

对雇员和公共部门对公民的不同关系中使用的AI系统，或

者更广泛地说，在不同的部门或用例中使用的AI系统，也

将带来不同的机遇和挑战。考虑到AI系统应用的特异性，

10

该准则的实现需要适应具体的AI应用情境。此外，是否有

必要采取额外的分类方法作为本文件所提议的一般性横向

架构的补充，也值得进一步探索。

为了更好地理解如何横向实施该准则，以及哪些事项需

要采用分类方法，我们鼓励所有利益相关者试用可靠AI评

估清单（第三章），该清单将在本架构内运行，并向我们提

供反馈。根据试用阶段收集到的反馈信息，我们将在2020

年初对该准则评估清单进行修订。试用阶段将于2019年夏

天启动，一直持续到年底。所有感兴趣的利益相关者都可以

咨询欧洲人工智能联盟。

B.实现可信AI的架构

该准则阐明了在《欧盟基本权利宪章》和相关国际人权

法所载基本权利的基础上实现可信AI的架构。下面，我们

将简要介绍可信AI的三个要素。

合法性AI

AI系统的运行不能缺少秩序。欧洲、各国和国际已经制

定一系列具有法律约束力的规则，适用于AI系统的开发、

部署和使用，或者与之相关。这些法律来源包括但不限于欧

盟主要法律（《欧盟条约》及《欧盟基本权利宪章》），欧盟

二级法律（如《通用数据保护条例》、《产品责任指令》、《欧

盟非个人数据自由流动条例》、各项反歧视指令、消费者法

律和《安全卫生工作指令》），各项联合国人权条约和欧洲理

事公约（如《欧洲人权公约》）和欧盟成员国的各项法律。

除了横向适用的各项法律法规外，还存在适用于特定AI应

11

用的各种特定领域的规则（例如适用于医疗保健领域的《医

疗器械法规》）。

法律规定的义务包括积极义务和消极义务，这就意味着

法律条款的解读不仅包括不能做什么，还要包括应该做什么

和可以做什么，即法律条款在禁止某些行为的同时，也鼓励

某些行为。从这方面来讲，《欧盟宪章》的条款不仅规定“业

务自由”和“艺术和科学自由”，还涉及我们在确保AI可信

度时更为熟悉的领域，例如数据保护和非歧视性等。

该准则并未对可信AI的第一要素（合法性）进行明确

规定，其目标是提供关于第二和第三要素的指导准则，即提

升和确保AI的道德性和稳健性。虽然现有法律往往在一定

程度上已经反映出AI的道德性和稳健性内容，但其充分实

现依旧可能超出现有的法律义务。

本文件中任何内容均不得解释为就如何遵守任何适用

的现有法律规范和要求提供法律意见或指导，亦不得向任何

第三方创建法律权利或强加法律义务。我们需要重申的是，

任何自然人或法人均有责任遵守法律规定，无论是适用于当

今AI应用的现有条款，还是随着AI发展应运而生的未来条

款。该准则应用的前提是，适用于开发、部署和使用AI系

统的过程和活动的所有法律权利和义务仍然具有强制性，必

须适时遵守。

道德性AI

合法性只是确保可信AI的三要素之一，仅仅遵守法律

不足以实现可信AL因为法律法规并不总是与技术发展同步,

12

有时可能与道德规范互相矛盾，或者根本不适合处理某些问

题。为了确保可信性，AI系统也应该符合道德准则，与道德

规范保持一致。

稳健性AI

即使道德规范得到保证，个人和社会也必须相信AI系

统不会造成任何无意的伤害。AI系统应以安全、稳妥和可靠

的方式运作，并具备可预见的保障措施，以防止任何意外的

不利影响。因此，确保AI系统的稳健性至关重要。这就需

要满足技术要求（确保系统在应用领域或生命周期阶段等给

定情境中具有适当的技术稳健性）和社会要求（适当考虑系

统运行情境和环境）。

因此，AI的道德性和稳健性紧密关联，相互补充。第一

章中规定的原则和第二章中源自这些原则的要求均涉及这

两个要素。

架构

该准则共分为三个章节，从抽象到具体，包括：

•第一章一一可信AI的基础：通过阐述基于基本权利12

的方法，为可信AI奠定基础；确定和说明必须遵守

的道德原则，以确保AI的道德性和稳健性。

・第二章一一可信AI的实现：将这些道德原则转化为

人工智能系统在整个生命周期中应该实现和满足的

七个关键要求；提供可用于实现这些原则的技术和非

12基本权利是国际和欧盟人权法律法规的基础，是《欧盟条约》和《欧盟宪章》保障的具有

法律效力的各项权利的基础。由于具有法律约束力，遵守基本权利属于可信AI的第一要素

（合法性）。基本权利也可以理解为反映所有个人因其人性而产生的特殊道德权利，不论其法

律约束力地位如何。从这个意义上说，基本权利也构成了可信AI的第二要素。

13

技术方法。

・第三章一一可信AI的评估：列出满足第二章要求的

具体而非全面的可靠AI评估清单，为AI实践者提供

实际指导。该等评估应该根据特定系统应用场景进行

调整。

该文件在最后一节列出源自AI系统的有利机会和关键

关切的例子，以此推动相关的进一步讨论。

该准则的结构如图1所示。

可信AI

AI道德性

第

三

章

图1：可信AI的准则框架

I.第一章可信AI的基础

本章阐述了可信AI的基础。可信AI以基本权利为基础,

14

体现为旨在确保AI的道德性和稳健性的四项道德原则。本

章在很大程度上借鉴了道德领域的相关内容。

AI的道德性是应用道德学的子领域之一，关注AI的开

发、部署和使用所引发的道德问题，其核心问题是确定AI

如何促进或提高对个人美好生活的关注，无论是在生活质量

方面，还是在民主社会所必需的人类自治和自由方面。

对人工智能技术的道德反思有助于实现多种目的。首先,

可以促使人们在最基本的层面上反思保护个人和群体的必

要性。其次，可以鼓励寻求道德价值培养的新型创新，比如

有助于实现联合国可持续发展目标的创新，这些目标已深

深地植根于即将出台的《2030年欧盟议程》％虽然本文件

主要涉及所提到的第一个目的，但不应低估道德在第二个目

的中可能具有的重要性。可信AI可以通过开创繁荣局面、

价值创造和财富最大化来促进个人发展和集体福祉，有助于

通过推动经济、社会和政治机会的平等分配的方式增进公民

健康和幸福，推动社会公平的实现。

因此，我们必须理解如何最好地支持AI系统的开发、

部署和使用，以确保每个人都能在基于AI的世界中茁壮成

长，并在同时建设具备全球竞争力的更美好的未来。与任何

强大的技术一样，AI系统在社会中的应用也会产生若干道德

挑战，例如对人和社会、决策能力和安全性的影响。如果我

们越来越多地使用AI系统的帮助或者委托AI系统进行决策,

13参见

https:〃ec.europa.eu/commission/publications/reflection-paper-towards-sustainab

le-europ6-2030en。

11

参见https:〃sustainabledevelopmenl.un.org/?menu=1300o

15

我们需要确保这些系统对人们生活的影响是公平的，符合不

得妥协值的价值观并能够采取相应的行动，以及具备合适的

问责过程以确保公平性。

欧洲需要对其意图实现的AI沉浸式未来的标准愿景进

行定义，并理解为了实现这一愿景，应该在欧洲研究、发展、

部署和使用哪种AI概念。通过该文件，我们旨在通过引入

可信AI的概念来促成这些目标的实现，并认为可信AI是构

建AI未来的正确方式。在未来，民主、法治和基本权利将

成为AI系统的支柱，而AI系统也将不断改进和捍卫民主文

化，创造一个创新和责任竞争力能够蓬勃发展的环境。

无论其未来版本的一致性、开发程度和细粒度如何，特

定领域的道德代码永远无法替代道德推理本身，而道德推理

必须始终对一般准则无法规定的情境细节保持敏感。除了制

定一套规则外，确保可信AI还要求我们通过公开辩论、教

育和实践学习，建立并保持一种道德文化和思维模式。

1.作为道德和合法权利的基本权利

我们相信，AI的道德性应以《欧盟条约》?《欧盟宪

章》和国际人权法所规定的基本权利为基础电在民主和法

治框架内尊重基本权利，是最有希望确定在人工智能的背景

下实施的抽象道德原则和价值观的基础。

《欧盟条约》和《欧盟宪章》规定了欧盟成员国和欧盟

机构在执行欧盟法律时必须尊重的一系列基本权利。《欧盟

15欧盟的基础是宪法承诺保护人类基本的和不可分割的权利，确保尊重法治，促进民主自由

和共同利益。这些权利反映在《欧盟条约》第2条和第3条以及《欧盟基本权利宪章》中。

16其他法律文书反映并进一步规定这些承诺，例如欧洲理事会的《欧洲社会宪章》或欧盟的

《通用数据保护条例》等具体立法。

16

宪章》对这些权利的描述涉及尊严、自由、平等和团结、公

民权利和正义。将这些基本权利相结合的共同基础可以理解

为植根于对人类尊严的尊重，从而反映出我们所谓的“以人

为中心的方法”，在这种方法中，人在公民、政治、经济和

社会领域中享有独一无二和不可剥夺的首要道德地位17。

虽然《欧盟宪章》中规定的基本权利具有法律约束力必

但重要的是要认识到，基本权利并不可能在任何情况下都提

供全面的法律保护。例如，对于《欧盟宪章》，必须强调其

适用范围仅限于欧盟法律领域。国际人权法，特别是《欧洲

人权公约》对欧盟成员国具有法律约束力，包括欧盟法律范

围之外的领域。与此同时，个人和（一定程度上的）群体也

因其作为人的道德地位而被赋予某些基本权利，并且不受其

法律效力的制约。作为法律上可强制执行的权利，基本权利

属于可信AI的第一要素（合法性），保障AI系统遵守法律

规定。作为每个人都具备的权利，基本权利根植于人类固有

道德地位，是可信AI的第二要素（道德性）的基础，处理

不一定具有法律约束力但对确保可信度至关重要的道德规

范。由于本文件的目的不是就前者提供指导，而是出于这些

非约束性准则的目的，因此，本文件中的基本权利是对后者

的反映。

2.从基本权利到道德原则

2.1作为可信AI基础的基本权利

17应当指出，对以人为中心的人工智能的承诺及其对基本权利的锚定需要集体的社会和宪法

基础，只有在这些基础之上，个人自由和对人类尊严的尊重实际上才是可能的和有意义的,

而不是意味着对人类过分个人主义的描述。

■根据《宪章》第五十一条，其适用于欧盟机构和欧盟成员国执行欧盟法律。

17

在国际人权法、《欧盟条约》和《欧盟宪章》所规定的

一整套不可分割的综合权利中，以下系列的基本权利尤为适

合AI系统。在特定情况下，其中许多权利在欧盟具有法律

强制性，因此遵守这些权利的相关条款具备法律强制性。即

使已经确保实现法律上可强制执行的基本权利，道德反思依

旧有助于理解AI系统的开发、部署和使用如何涉及基本权

利及其潜在价值，并且如何提供更细粒度的指导，确定凭借

AI技术我们应该做什么而不是我们（目前）可以做什么。

尊重人类尊严。人类尊严所包含的理念是，每个人都拥

有“内在价值”，这种价值不应被他人或AI系统等新技术削

弱、损害或压制％在这方面，尊重人类尊严意味着所有人

都应得到尊重，因为他们是道德的主体，而不仅仅是被筛选、

分类、评分、聚集、制约或操纵的对象。因此，AI系统应以

尊重、服务和保护人类身心完整、个人和文化认同感以及满

足人类基本需求的方式发展2。。

个人自由。人类应该保有自主进行人生抉择的自由。这

既需要不受主权侵犯的自由，也需要政府和非政府组织的干

预，以确保易于遭遇不公平待遇的个人平等地享有AI带来

的好处和机会。在AI应用情境中，个人自由的实现需要减

少直接（或间接）的原因导致的非法胁迫、对精神自治和精

神健康的威胁、不正当监视、欺骗和不公平操作。事实上,

19参见《人的尊严与人权的司法解释》，C.McCrudden,《欧洲国际法杂志》2008年第19期

⑷。

20关于"人类尊严'’的解读，参见E.Hilgendorf所著的“ProblemAreasintheDignityDebate”和

“EnsembleTheoryofHumanDignity”,以及D.Grimm、A.Kemmerer和C.Mollers合编的

“HumanDignityinContexto2018年“HumanDignityinContext”第325页。

18

个人自由意味着承诺支持个人拥有对自我生活的更高控制

权，包括（除其他权利外）保护业务自由，自由的艺术与科

学，言论自由，私生活和隐私权，集会和结社的自由。

尊重民主、正义和法治。宪政民主国家的所有政府权力

都必须得到法律授权并受限于法律。AI系统应该维护和促进

民主进程，尊重个人的多元化价值观和生活选择，不得破坏

民主进程、人类审议或民主投票制度。AI系统还必须承诺,

其运作方式不得破坏法治赖以建立的基本承诺、强制性法律

和监管，以及确保正当程序和法律面前人人平等。

平等、公平和团结（包括易于遭遇不公平待遇的个人的

权利）。AI系统必须确保对所有人的道德价值和尊严的平等

尊重。这将超越非歧视范畴，允许根据客观的正当理由对不

同情况进行区分。在AI系统应用情境中，平等意味着系统

操作不得产生有偏见的不公平输出（例如，用于训练AI系

统的数据应该尽可能包含不同的人口群体）。这也需要充分

尊重可能的弱势个人和群体21，例如工人、妇女、残疾人、

少数民族、儿童、消费者或其他易于遭遇不公平待遇的个人。

公民权利。公民享有广泛的权利，包括投票权、良好管

理或查阅公共文件的权利，以及向政府请愿的权利。在提高

政府向社会提供公共产品和服务的规模和效率方面，AI系统

具备巨大的潜力。但同时，AI系统也会对公民权利产生负面

影响，因此，公民权利应该得到保障。在此处使用“公民权

利”一词，并不是要否认或忽视欧盟第三国国民和非正规（或

21有关本文件中使用的术语说明，参见术语表。

19

非法)人士的权利，该等人士根据国际法条例，也享有AI

系统领域的相关权利。

2.2AI系统应用情境中的道德原则22

许多公共、私人和民间组织都从作为AI系统基础的伦

理框架的基本权利中汲取灵感23。在欧盟，欧洲科学与新技

术伦理小组(EuropeanGrouponEthicsInScienceandNew

Technologies,EGE)根据欧盟条约和宪章所确立的基本价值

观，提出9项基本原则24。我们在这项成果的基础上进一步

发展，解读迄今为止各团体提出的大多数原则，同时阐明所

有原则寻求发展和支持的目的。这些道德原则有助于推动发

展具体的新监管工具，解释随着社会技术环境的发展而变化

的基本权利，指导用于AI系统开发、部署和使用的基本原

理，这些原理随着社会本身的发展而动态适应。

AI系统应该有助于改善个人和集体福祉。本节列出基于

基本权利的四项道德原则，这些原则必须得到尊重，以确保

以可信的方式开发、部署和使用AI系统。作为指定的道德

要求，AI实践者应始终遵守这些原则。在不强加等级制度的

情况下，我们在下面列出的原则反映了《欧盟宪章》所依据

的基本权利的出现顺序25。

22这些原则也适用于其他技术的开发、部署和使用，因此并不特定限于AI系统。在接下来

的章节中，我们的目标是阐明这些原则在AI相关情境中的特别相关性。

23对基本权利的依赖也有助于限制监管的不确定性，因为以欧盟数十年基本权利保护的实践

为基础，可以确保监管的清晰性、可读性和预见性。

24最近，AI4People专责小组考察了上述EGE原则，以及迄今为止提出的36项其他道德原

则,并归纳为4项主要原则：L.Floridi,J.Cowls,M.Bcltrametti,R.Chatila,P.Chazerand,V.

Dignum,C.Luetge,R.Madelin,U.Pagallo,F.Rossi,B.Schafer,P.Valcke,E.J.M.Vayena

(2018),uAI4People—AnEthicalFrameworkforaGoodAISociety:Opportunities,Risks,

Principles,andRecommendation",MindsandMachines28(4):689-707o

25尊重人类自治与人类尊严和自由权利密切相关(反映在《宪章》第1条和第6条)。预防

20

四项道德原则包括：

(1)尊重人的自主性；

(2)防止危害；

(3)确保公平；

(4)具备可解释性。

四项道德原则中的许多内容在很大程度上已经反映在

现有的法律要求中，必须强制遵守，因此也属于AI合法性

的范畴，而AI合法性是可信AI的第一要素26。然而，如上

所述，虽然许多法律义务反映道德原则，但遵守道德原则超

越对现有法律的强制遵守27。

•尊重人的自主性

欧盟赖以建立的基本权利旨在确保尊重人类的自由和

自治。与AI系统相互作用的人类必须能够确保充分和有效

的自我决定，并能够参与民主进程。AI系统不得毫无理由地

服从、胁迫、欺骗、操纵、影响或驱赶人类，而应增强、补

充和实现人类的认知、社会和文化技能。人与AI系统之间

的功能分配应遵循以人为中心的设计原则，为人类留下有意

义的选择机会。这意味着要确保人类对AI系统工作过程的

监督28。AI系统也可能从根本上改变人类工作范围。AI系统

应该在工作环境中支持人类，并致力于创造有意义的工作。

・防止危害

伤害与保护身心健全密切相关(反映在第3条)。

26想想GDPR或欧盟消费者保护法规。

27有关这一主题的进一步内容，参见L.Floridi所著的SoftEthicsandtheGovernanceofthe

Digital,《哲学与技术》，2018年3月刊登，第31卷，第1期，第1-8页。

28人为监督的概念作为下文第二章所列的关键要求之一得到进一步发展。

21

AI系统不得造成或加剧对人类的危害29,也不得对人类

产生负面影响3。，而应保护人类尊严以及身心健全。AI系统

及其运行环境必须具备安全性，确保技术稳健性，并避免恶

意使用。弱势群体应得到更多关注，并纳入AI系统的发展、

部署和使用之中。我们还必须特别注意，因为权力或信息的

不对称，例如雇主与雇员、企业与消费者或政府与公民之间

的不对称，AI系统可能产生或加剧不利影响。防止危害还需

要考虑到AI系统应用的自然环境和所有相关生物。

・确保公平

AI系统的开发、部署和使用必须具备公平性。我们承认

公平有许多不同的解释，并认为公平既有实质性内容，也有

程序性内容。公平的实质性内容意味着承诺确保公平公正地

分配利益和成本，并确保个人和团体免于不公平偏见、歧视

和污蔑。如果可以避免不公平偏见，AI系统甚至有助于提高

社会公平。AI系统还应促进在获得教育、商品、服务和技术

方面的平等机会。此外，使用AI系统不应导致人们遭遇欺

骗或在选择自由方面受到无理的损害。此外，公平意味着

AI实践者应该尊重手段和目的之间的比例原则，谨慎思考如

何平衡相互竞争的利益和目标31。公平的程序性方面要求对

AI系统和操作人员所做的决策进行抗辩并寻求有效纠正的

29危害可以针对个人或集体，也可以包括对社会、文化和政治环境的无形损害。

3。这也包括个人和社会群体的生活方式，例如避免文化伤害。

31这与比例原则有关（反映为“杀鸡焉用牛刀”）。为达到目的而采取的措施（例如为实现AI

优化功能而实施的数据提取措施）应限于严格必要的范围。该原则还规定，当达到某一目标

存在若干措施时，应优先考虑对基本权利和道德规范危害最小的措施（AI开发人员应该始

终优先选择采纳公共部门的数据，而不是个人数据）。考虑到公司权利（包括知识产权和机

密性）和用户权利，也可以参考使用者和部署者之间的比例。

22

能力32。为了实现这一点，负责决策的实体必须是可识别的，

决策过程也应当具备可解释性。

•具备可解释性

可解释性对于建立和维护用户对AI系统的信任至关重

要。这意味着保证过程的透明性，关于AI系统功能和目的

进行公开交流，（在可能的范围内）向直接和间接相关方解

释决策。这些信息是对某项决策提出适当质疑的基础。但是,

对模型生成特定输出或决策（以及哪些输入因素共同作用的

结果）的解释并不总是可能的，也存在被称为“黑匣子”算

法的不能解释的情况，需要特别注意。在这些情况下，可能

需要其他可解释性度量（例如可跟踪性、可审核性和关于系

统功能的透明通信），前提是系统整体尊重基本权利。如果

系统输出是错误的或不准确的，那么对可解释性的需求在很

大程度上取决于应用情境和后果的严重性33。

2.3各项原则间的紧张关系

因为缺少固定的解决办法，上述原则之间可能会产生紧

张关系。根据欧盟对民主参与、正当程序和公开政治参与的

基本承诺，应当建立负责任的审议方法，用于应对此类紧张

关系。例如，在AI系统的各种应用领域中，防止危害原则

和尊重人的自主性的原则可能存在冲突。以AI系统用于“预

测性警务”为例，这可能有助于减少犯罪，但所涉及的监视

32包括按照《欧盟基本权利宪章》第十二条的规定，在工作环境中行使结社权和加入工会

的权利。

33例如，AI系统产生的不准确的购物建议可能不会引发道德方面的担忧，但AI系统对一个

被判刑事犯罪的人是否应该在同等罪名下予以释放的建议则完全不同。

23

活动可能在某些方面侵犯个人自由和隐私。此外，AI系统的

总体效益应大大超过可预见的个人风险。尽管上述原则确实

为解决方案提供指导，但仍然属于抽象的道德处方。因此,

AI实践者不能指望基于上述原则找到正确的解决方案，而应

通过基于证据的理性反思（而不是直觉或随机判断）来应对

道德困境和进行权衡。

然而，在某些情况下，我们可能无法确定道德上可以接

受的权衡。某些基本权利和相关原则是绝对的，不得妥协（例

如人的尊严）。

第一章中的重点指导内容包括以下几点：

VAI系统的开发、部署和使用应遵循以下道德原则：

尊重人的自主性、防止危害、确保公平和具备可解释性。承

认并解决这些原则之间的潜在紧张关系。

V特别注意涉及更为弱势的群体的情况，如儿童、残

疾人和历史上一直处于弱势或易于遭遇不公平待遇的群体,

以及权力或信息不对称的情况，如雇主和工人之间，或企业

和消费者之间34。

V承认AI系统在为个人和社会带来实质利益的同时,

也会引发某些风险，并可能产生负面影响，包括难以预测、

识别或衡量的影响（例如对民主、法治和分配正义的影响,

或对人类思维本身的影响）。在适当的时候采取符合风险规

模的适当措施来减轻这些风险。

34参见《欧盟基本权利宪章》（简称《欧盟宪章》）第24条至27条，涉及儿童和老年人的权

利，残疾人和工人权利的融合。另见关于消费者保护的第38条。

24

II.第二章：可信Al的实现

本章在第一章所述原则的基础上，列出必须满足的七项

要求，为可信AI的实施和实现提供指导。此外，本章还介

绍了可以在AI系统的整个生命周期内实现这些需求的技术

和非技术方法。

1.可信AI要求

为了实现可信AI,我们必须将第一章概述的原则转化为

具体要求。这些要求适用于参与AI系统生命周期的不同利

益相关者，包括开发人员、部署人员和最终用户，以及更广

泛的社会。开发人员指的是研究、设计和/或开发AI系统的

人员。部署人员指的是在其业务流程中使用AI系统并向其

他方提供产品和服务的公共或私人组织。最终用户意指直接

或间接参与AI系统的用户。最后，更广泛的社会包括AI系

统直接或间接影响的所有其他社会成员。

不同类别的利益相关者应承担不同的角色，以确保各项

要求得到满足：

a.开发人员应在设计和开发过程中实现并应用各项要

求；

b.部署人员应该确保所使用的系统以及所提供的产品

和服务满足各项要求；

c.最终用户和更广泛的社会成员应了解并遵守各项要

求。

下列要求列表并不全面35,仅包括系统、个人和社会方

35在不强加等级制度的情况下，下列原则反映《欧盟宪章》中与之相关的原则和权利的出

25

面:

1.人类代理与监督

包括基本权利、人类代理人为监督；

2.技术稳健性和安全性

包括攻击恢复能力和安全性、后备计划和一般安全、准

确性、可靠性和重现性；

3.隐私和数据治理

包括尊重隐私、数据质量和完整性以及数据访问；

4.透明性

包括可追溯性、可解释性和通信；

5.多样性、非歧视性和公平性

包括避免不公平偏见，可及性和通用设计，以及利益相

关者的参与；

6.环境及社会福利

包括可持续性和环境友好性、社会影响、社会和民主；

7.问责性

现顺序。

26

包括可审核性、负面影响最小化和报告、权衡和纠正。

图2：七项要求的相互关系：所有要求同等重要，相互支撑，并且在

AI系统的整个生命周期得以满足和进行评估

虽然所有要求同等重要，但是在不同领域和行业应用时,

我们需要考虑各项要求应用的具体情境及其之间潜在的紧

张关系。这些要求的实现应贯穿AI系统的整个生命周期，

并取决于特定的系统应用。虽然大多数要求适用于所有AI

系统，但对直接或间接影响个人的要求，应当特别注意。在

某些应用场景中（例如工业环境中），这些要求之间的相关

性可能较小。

在某些情况下，上述要求的部分内容已经体现在现有法

律中。在此，我们需要重申的是，与可信AI的第一要素一

致，AI实践者有责任确保遵守相关法律义务，无论是横向适

27

用的法律法规，还是特定领域的规则规定。

在下面的段落中，我们将对各项要求进行更详细的解读。

1.1人类代理与监督

根据尊重人的自主性的原则规定，AI系统应支持人类自

主和决策。这就要求AI系统通过支持用户代理，成为民主、

繁荣和公平社会的推动者，促进基本权利的实施，并允许人

为监督。

基本权利。AI系统和许多技术一样，既能实现基本权利，

也会阻碍基本权利。AI系统可以造福人类，例如协助跟踪个

人数据，或通过扩大教育的普及性，保障人们的受教育权。

然而，考虑到其范围和能力，AI系统也会对基本权利产生负

面影响。在存在这种风险的情况下，我们应在AI系统开发

之前，对AI系统对基本权利的影响进行评估，包括在民主

社会中，在必要情况下，是否可以降低该等风险或对其进行

合理解释，以便尊重他人的权利和自由。此外，我们应当建

立相关机制，接收关于可能侵犯基本权利的AI系统的外部

反馈。

人类代理。用户应该能够就AI系统的相关应用做出明

智的自主决策。用户应获得知识和工具，以理解AI系统并

与之进行令人满意的交互，并在可能的情况下，能够合理地

进行自我评估或推翻AI系统决策。AI系统应协助个人根据

自己的目标做出更好、更明智的选择。AI系统可能利用潜意

识过程，包括可能威胁个人自主性的各种形式的不公平操作、

欺骗、集群和条件作用，因此，有时可以通过难以察觉的机

28

制塑造和影响人类行为。用户自治的总体原则必须是AI系

统功能性的核心。这方面的关键是，当对用户产生法律影响

或类似的重大影响时，相关权利免于完全基于自动处理的决

策的约束36。

人为监督。人为监督有助于确保AI系统不会破坏人的

自主性或造成其他不利影响，可以通过人类参与循环、人类

监督循环或人类命令等治理机制来实现。人类参与循环机制

是指在系统的每个决策周期中，人都可以实施干预，在很多

情况下，这是不可能的，也是不可取的。人类监督循环模式

是指人类可以在系统设计周期内进行干预，而且可以对系统

运行实施监控。人类命令机制是指人类可以监督AI系统的

整体活动（包括其更广泛的经济、社会、法律和道德影响），

以及决定何时以及如何在任何特定情况下使用AI系统。这

可以包括在特定情况下不使用AI系统的决策，在AI系统的

应用中建立人类的自由裁量权级别，或者确保有能力推翻系

统的决策。此外，必须确保公共执法人员有能力按照其任务

进行监督。根据AI系统的应用领域和潜在风险，可能需要

不同程度的监督机制来支持其他安全和控制措施。在其他条

件相同的情况下，人类对AI系统施加的监督越少，就需要

更广泛的测试和更严格的管理。

1.2技术稳健性和安全性

实现可信AI的一个关键要素是技术稳健性，其与防止

危害的原则密切相关。技术稳健性要求AI系统具有规避风

36参见GDPR第22条内容，其中已明确规定这一权利。

29

险的预防性方法，并在开发过程中，具备预期的可靠行为方

式，同时最小化有意和无意的危害，并防止不可接受的危害。

这也应当适用于AI系统的操作环境中可能发生的变化，或

可能以敌对方式与系统交互的其他（人为）因素的存在。此

外，AI系统应确保人类的身心健全。

攻击恢复能力和安全性。与所有软件系统一样，AI系统

也应该具备保护措施，以抵御可能被对手利用的漏洞，例如

黑客攻击。攻击目标可能是数据（数据中毒）、模式（模式

泄漏）或底层基础设施（软件和硬件）。如果AI系统遭受攻

击，例如陷入对抗攻击，数据和系统行为都会发生改变，导

致系统做出不同决策，或者完全关闭。系统和数据也可能因

为恶意行为或遭遇意外情况而受损。不够安全的流程还可能

导致决策错误，甚至物理伤害。为确保AI系统的安全性37,

我们应当考虑AI系统可能出现的意外应用（例如双重用途

的应用），以及可能被恶意行为者滥用的情况，并采取相应

措施防止和减轻该等风险38。

后备计划和一般安全。AI系统应当具有保障措施，以便

在出现问题时实施后备计划。这可能意味着AI系统从统计

程序切换到基于规则的程序，或者在继续操作之前需要获得

操作人员许可39,以此确保系统在不损害生物或环境的情况

37参见《欧盟人工智能协调计划》第2.7条项下的考虑事项。

能在研发方面，迫切需要的可能是在了解攻击、发展适当保护和改进评价方法之间建立良性

循环。为此，应促进人工智能社区和安全社区之间的融合。此外，所有相关行动者都有责任

建立共同的跨境安全规范，并建立相互信任的环境，促进国际合作。更多可能的措施，参见

“MaliciousUseofAI",AvinS.、BrundageM.等人2018年著。

39还应考虑不可能立即进行人为干预的情况。

30

下执行预定程序。这包括意外后果和错误的最小化。此外，

应该建立相关流程来确定和评估与AI系统在不同应用领域

相关的潜在风险。所需安全措施的水平取决于AI系统所带

来的风险的大小，而风险的大小又取决于系统的能力。如果

可以预见AI系统的开发过程或系统本身将构成极高的风险，

则必须积极制定和测试安全措施。

准确性。准确性是指AI系统进行正确判断的能力，例

如将信息正确分类到适当的类别，或者根据数据或模式做出

正确预测、建议或决策的能力。目标明确、形式良好的开发

和评估过程有助于避免、减轻和纠正不准确预测带来的意外

风险。当偶尔出现的不准确预测无法避免时，系统能够指出

该等错误的可能性至关重要。在AI系统直接影响人类生活

的情境中，保证系统的高准确性尤其重要。

可靠性和重现性。AI系统成果的可重现性和可靠性至关

重要。一个可信的AI系统能够在一系列输入和各种情况下

正常工作。这对于AI系统审查和防止意外危害而言，必不

可少。重现性指的是AI实验在相同条件下重复时是否表现

出相同行为，确保科学家和决策者能够准确描述AI系统的

功能。复制文件4。可以促进行为测试和复制过程。

1.3隐私和数据治理

隐私与防止危害原则密切相关，是一项特别受AI系统

影响的基本权利。防止破坏个人隐私还需要适当的数据治理,

包括所使用数据的质量和完整性、与AI系统部署领域的相

”所涉文件将复制AI系统开发过程中从研究和初始数据收集到结果的每个步骤，。

关性、访问协议以及以保护隐私的方式处理数据的能力。

隐私和数据保护。AI系统必须在整个生命周期内保证隐

私和数据安全41,其中包括用户提供的初始信息，以及用户

在与系统交互过程中生成的关于用户的信息（例如，AI系统

针对特定用户生成的输出或用户如何响应特定建议）。根据

人类行为的数字记录，AI系统不仅能够推断出个人的偏好,

还能推断出他们的性取向、年龄、性别、宗教或政治主张。

为了赢得人们的信任，数据收集过程必须确保收集到的有关

个人的数据不会被非法利用或对其造成不公平的歧视。

数据的质量和完整性。所使用的数据集的质量对AI系

统的性能至关重要。当收集过程中，数据可能包含社会偏见、

不准确性、错误和误差，需要在使用任何给定的数据集进行

训练之前予以处理。此外，我们必须确保数据的完整性。将

恶意数据输入AI系统可能会改变系统行为，尤其是自我学

习系统的行为。使用的程序和数据集必须在计划、培训、测

试和部署等各个步骤中进行测试和记录。这也应该适用于并

非内部开发，而是在别处收购的AI系统。

数据访问。在处理个人数据的任何给定组织中（无论是

否为系统用户），都应该制定控制数据访问的数据协议。这

些协议应规定访问数据的主体以及允许访问数据的情况。只

有具有权限和需要查阅个人资料的适当合格人员才具备数

据访问权利。

1.4透明性

皿参见现有的隐私法律法规，如GDPR或即将出台的《电子隐私条例》。

32

这一要求与可解释性原则密切相关，并包含数据、系统

和业务模型等AI系统相关元素的透明性。

可追溯性。用于产生AI系统决策的数据集和过程，包

括数据收集和标记过程以及所使用的算法，应该尽可能地以

最高标准编制文档，以确保可追溯性，并增加透明度。这也

适用于AI系统决策，使得识别AI决策错误的原因成为可能,

从而避免在未来继续犯错。可追溯性有助于提高可审核性和

可解释性。

可解释性。可解释性涉及解释AI系统的技术过程和相

关人工决策（例如系统应用领域）的能力。AI系统的技术可

解释性要求人类能够理解和跟踪系统决策。此外，增强系统

的可解释性（可能降低系统的准确性）和提高系统的准确性

（以牺牲可解释性为代价）之间可能必须进行权衡。当AI

系统对人们的生活产生重大影响时，人们应该有可能要求关

于系统决策过程的适当解释。该等解释应及时给出，并符合

利益相关者（例如外行人、监管者或研究人员）的专业认知。

此外，AI系统影响和塑造组织决策过程的程度、系统的设计

选择以及系统部署基本原理应当可以予以解释（从而确保业

务模式的透明性）。

通信。AI系统不得以人类身份与用户进行交互，人类有

权知悉自己的交互对象为AI系统，也就是说，AI系统必须

具备可识别性。为了确保基本权利，AI系统应在必要时提供

选择，允许人类放弃与系统的交互，而与其他个人进行交互。

除此之外，AI系统的功能和限制应该以适合当前用例的方式

33

传达给AI实践者或最终用户，传达内容可能包括AI系统的

准确