充满公平性和包容性人工智能蓝图（2022年）

--PAGE10-人工智能已在各个领域获得了快速发展。人工智能技术具有造福社会的巨大潜力，但只有在人工智能的发展中具有群体多样性，该项技术的全部潜力才能得以实现。随着人们对偏差、数据隐私和代表性不足的担忧日益增加，迫切需要重新评估人工智能的设计和部署方式，确保相关方社会群体都能受益。人工智能系统是一个基于机器的系统，其可以根据人类定义的目标，做出影响现实或虚拟环境的预测、建议或决定1。本文全面分析了在人工智能开发生命周期和治理生态系统建设过程中，在企业人员招聘、文化转变、影响评估等方面提升人工智能的公平性和包容性所面临的机遇挑战，并提出构建包容性人工智能生态系统和生命周期的指导蓝图。./01Th345（一）打造包容的人工智能基础设施首先应打造包容的人工智能技术基础设施，如计算机、数据存储和网络等。该基础设施应既可用于培训新的人工智能从业者，也可帮助无力支付云计算的人员开发人工智能系统，从而鼓励大众以技术或非技术身份参与人工智能，并将相关人员安排到1，/en/instruments/OECD-LEGAL-0449相应的工作岗位。推动人工智能基础设施的公平可获取性应优先考虑将技术作为公共利益，即将公共部门资源分配放在首位，以增加大众的接触机会，避免将资源集中在信息和通信技术（ICT）企业、人工智能学术研究团体等已掌握大量人工智能资源的优势群体。资源分配过程应有利于激励人工智能应用程序的开发，使之有利于促进社会福利改善和经济发展。政府和民间社会组织应加强开放合作，分享监管经验，提供必要反馈，创建支持基金，并在数据收集基础设施建设方面建立区域伙伴关系。（二）提升社会公民的人工智能素养所有与人工智能系统交互的社会群体都了解人工智能的基本知识，并认识到使用系统带来的机会和风险，是实现公平和包容的人工智能的第二个先决条件。此外，各群体需认识到他们的权利和责任，并了解如何在人工智能驱动的世界中行使或履行这些权利和责任。对此，正规教育机构是政府推动人工智能相关技能发展的关键场所。由于低年级的人工智能课程尚未普及，课外课程可以成为儿童学习人工智能的重要场所。对此，政府可以承担一些关键任务，例如推动制定学校教育和课外教育方案，以培养儿童的相关技能、批判性思维和情商等软技能，普及人工智能基本概念，提升数据素养。政府还可以通过增加女性的比例，确保人工智能教育工作中的性别公平。此外，政府应与民间社会组织合作开展教育活动，提高对数字安全、隐私安全、其他技术潜在危害以及诉诸法律途径的认识。以上措施可以促使相关人员积极主动地了解到人工智能系统对自己及其周围人生活的影响。随着人工智能的普及和数据素养的提高，人们可以进一步询问平台如何收集和处理自己的数据，并确定是否有相关保护政策。此外，企业和各机构也可以为有意愿进入人工智能行业的从业者提供带薪实习机会，促进社会群体沟通，加强与工程师外的各种人工智能工作者接触，组织关于人工智能技术优势和职业机会的讲座等，共同建立具备人工智能技能的员工生态系统。（三）保障人工智能专业人员的公平雇用和职业发展机会第一，增加职业机会和相关晋升途径。将职业拓宽途径与发展路径纳入到企业战略劳动力规划中，让非人工智能领域的员工有机会进入该领域。例如，社交媒体营销人员可以在产品管理方面接受交叉培训，以掌握人工智能驱动型销售功能；律师可以提升所在单位的人工智能风险管理。第二，提升员工技能培训方面的包容性。扩大员工培训计划，提供一对一指导；在管理人员的标准风险管理培训中增加模拟训练，以发现并纠正人工智能产品和服务中的偏差；为技术人员、分析人员以及面向用户的工作人员提供见习机会；基于各方终端用户开展人工智能模拟产品和服务的评估评价等。第三，与学术界、民间组织和公共部门机构建立伙伴关系。合作机构可以通过衡量解决方案公平性，保证相应人工智能算法的持续优化，或建立公平性和包容性“检查”功能，确保人工智能系统符合整体审查。第四，创造并保持平等和谐的办公室文化。确保员工参与重要工作的机会公平，在评估、晋升等过程中认可并合理补偿突出贡献者，提升员工获得感。打造有包容性、归属感的办公室文化和多样性的员工队伍，鼓励员工定期讨论，并根据员工特点加强反馈。同时，企业必须重视员工在不同方面的不同身份，并为全体工作人员（包括董事会和最高管理层在内的所有级别的工作人员）提供发现隐性和显性偏差的方式。此外，企业必须建立明确、透明、可量化的目标以及关键内部审核目标，如人员配置、绩效评估、薪酬和职业发展。以上措施均有助于企业健全内部问责制度。6(78:;<=>+,?在实现人工智能公平性和包容性的过程中，生态系统中所有的相关方，都应确保具有包容性，并利用其职位（设计师、开发人员、监督岗位等）防止不公平或不包容现象出现。因此，人工智能系统的开发或治理中，需要将所有潜在相关方的需求考虑在内，具体包括：负责监管人工智能系统并确保其安全和有效的政府机构；参与监测人工智能影响并维护公众权利的民间社会组织；负责开发或运营人工智能系统的私营企业；以不同方式受人工智能系统影响的个人。行了细分。从确定用例到设计、部署、监测和迭代人工智能模型、发现最佳解决方案，人工智能生命周期的每个阶段都必须1展示了公平、包容的人工智能整体状况，其中整合了开发、业务和治理生态系统。此外，教育和资源分配等各项治理始终贯穿于人工智能生命周期的所有阶段，应避免仅沿一个时间轴线实施治理。确保考虑新利益相

确认用例/问题

从多个角度阐明问题（X对谁是个问题？）人工智能基础教育和素养新训练 特别面向未被充分代表或受保护群体的包

建立问题意识与人工智能带来好处的方式人工智能专家职监测/非常关注建立人工智能产品

容性设计

市场研究

业发展机会公平雇用方案，影响及其对特定群体影响的意识

实施开发团队问责机制

记录模型目的

提高设计、数据收集和开发过程代表性部署确定相关多样化指标评估模型（指标随时间变化）跟踪/回应对不同社群的影响测试

实施建设组问责机制测试组部署技术验证、用户验收测试/校验、调试在伦理、透明度、隐私、环境影响等方面实施最佳方案

发现数据需求或潜力，确定相关数据要求与利益相关方合作共同设计确保人口统计学数据集包容性和多样性

模型设计并迭代数据收集引入新的利益相关方，开展开发/测试迭代由人类人工智能全球未来理事会设计

模型开发

在数据收集、方法和来源上与利益相关方建立伙伴关系构建者生态系统管理者/利益相关方生态系统34501)*+,Th89:确定用例/问题

从多个角度阐明问题（X对谁是个问题？）人工智能基础教育和素养特别面向未被充分代表或受保护群体的包容性设计市场研究

建立问题意识与人工智能带来好处的方式人工智能专家职业发展机会发过程代表性3;5<=>?@AB1、明确包容性面临的问题，识别人工智能部署的潜力开发包容的人工智能系统的第一阶段是确定目前挑战，明确需要人工智能的原因。如：人们遇到的问题和期望达到的结果是什么？人工智能是否是应对该问题的最佳途径？谁在寻求人工智能解决方案？人工智能相对于其他解决方案的优势是什么？从多个角度阐明待解决的问题，确保人工智能只部署在必要之处、成为周围社会的共同愿望，并确保项目从开始设计时即具备包容性。鉴于此，为确保人工智能系统的设计有利于社会福祉，可以采取干预措施。人工智能通常用于优化目标变量，例如收入、生活质量或对医疗等服务的获取。举例而言，如果一家公司想要瞄准更广泛的客户群体，该公司可能考虑增加产品功能，面向需求不同的客户。增加的功能可能包括多语种支持、专门为盲人或视障人士设计的声卡、为帮助行动障碍人士而设计的预约功能或能寻找他们所需资源的功能。然而，有些目标变量，如生产效率，有时可以充当收入指标，最终结果会导致劳动者感到受到剥削或对收入不满。诚实、诚信、公开透明地确定目标变量，有利于团队规避潜在危害。从项目开始的最初阶段就划分责任和监督也至关重要。这包括，要了解每个机构或个人所具备必要的专业知识和资源，从而确保在人工智能系统出现危害时能够加以管控，并建立相关问责机制。在对问题和人工智能解决方案有了清晰的了解后，则需重点关注人工智能系统在生命周期内会产生的预期、非预期、积极、恶意的影响。如，微软的社会群体陪审团通过与社会群体合作，弄清相关方需求，了解人工智能对业务、技术结果以及对人类和环境的潜在影响。定期发现需要改进的领域并做出相应更改，有助于确保设计出的人工智能系统能够有效衡量自身生命周期内的价值和影响，达到所有利益相关方要求的同时，且不会造成预期之外的伤害。专栏1：人工智能和大数据产生的非预期结果人工智能和大数据的滥用和政治化有可能引发区域动荡。2022年第二季度，印度尼西亚雅加达发生了大规模示威游行活动。印尼政治、法律和安全部长卢胡特·潘贾伊坦Panjaitan）表示，大数据分析显示，超过1亿的印尼人希望推迟本国总统选举，总统佐科·维多多（Joko的内阁也因此延长了任期。政府领导人尚未能够检索和公布数据，得出透明的结论并公之于众。还有另一个例子，政客新闻网详述了荷兰税务局使用的算法涉嫌利益欺诈的行为，使荷兰生活秩序陷入混乱。荷兰这一丑闻警示了欧洲使用算法的风险。2021年月，https://www.kas.de/documents/278334/278383/Final+Report.pdf/bd12d617-e562-4d30-cfae-1cc7ede12fd1?version=1.0&t=1620083064637.2、实施包容性社会群体参与措施，特别面向未被充分代表或受保护的群体如上所述，有必要在人工智能项目的最初阶段就确立利益相关方参与的方式，并将其运用到人工智能系统的整个生命周期。但随着各方参与并成为设计过程的一部分，各机构必须吸纳这些意见，为想要参与的各方构想出安全的（由未被充分代表或受保护的群体所定义、包容的、可使用的以及能做出文化响应的方法。吸纳不同声音的意见，可以为各机构和各群体建立持续、有意义的关系，形成深刻的见解，并创造互惠互利的机会。如果执行不当，则会产生相反的效果，如摧毁信任、增加排斥、限制参与、伤害未被充分代表和受保护的群体。应考虑的重点路径包括以下几个方面：1、发展包容性社会群体参与的框架或行为准则各机构可以通过明确社会群体参与的预期结果来主动应对包容性问题。步骤包括：确定群体代表所需的能力，明确相关方参与的预期水平和合作模式（如签订保密协议）的潜在影响，指定他们在参与和反馈过程中的作用和责任，详细说明如何确保个人自由、安全的参与、确定对来自未被充分代表的群体或边缘人群参与者的补偿，并提供资源支持参与的社会群体成员。2、让每个机构为包容性社会群体参与做好准备各机构应致力于落实有效的社会群体参与，与相关群体培养牢固、有意义、互惠的关系以随时获得群体见解。投入的时间和资源应包括员工在沟通、隐性偏差、系统性不平等、同盟关系以及与边缘群体成员互动方面的培训与评估。尽管关系经理或参与专家可以支持外部参与的设计、规划、记录、存储和监督，但社会群体参与责任最好分配至各级员工，以便社会群体代表有机会直接同企业决策制定者分享自己的需求。3、设计包容性社会群体参与属感，理解并解决每个参与群体的参与障碍也极为重要。这些障碍包括对制度与安全（人身、情绪和政治安全）的长期不信任，与社会群体间缺少联系，时间、能力和资源存在限制，以析。以上这些措施均有利于促进来自不同背景的团体和个人的参与。此外，在采取这些措施之前，各机构应确保其有意向参与的群体代表已经批准了设计的群体参与方法，并通过有效的反馈机制提供相关监督，接受参与者的意见，并告知参与者参与结果。4、实现包容性的社会群体参与在实施社会群体参与流程之前，必须确保该流程纳入了所有设计元素和偏好，并确保场地和资源的可获得性，且能反映参与之前社会群体反馈的内容。在将群体参与成果实施到人工智能项目时，各机构必须持续重点关注那些最边缘人群的声音和经历。专栏2：案例研究：哈利斯科《拉丁美洲和加勒比地区人工智能公平》哈利斯科《拉丁美洲和加勒比地区人工智能公平》是由美洲开发银行、CMinds行动库、蒙特雷理工学院和墨西哥哈利斯科政府发起的一项倡议，是拉丁美洲第一个关于人工智能的生活实验室，旨在研究学术界、政府、公民社会、产业界四大伙伴关系的影响。该倡议有诸多目标，其中包括将负责任的人工智能用于公共部门的试点项目。这项工作的核心是关注利益相关方在生命周期每个阶段的包容性和多样性。该倡议的其中一个用例是寻找更有效、更具包容、更好方法来诊断糖尿病视网膜病变。该项目利用可行性指南和人工智能系统的风险分析，对人工智能对受益人群和环境的适宜性进行了早期评估，可行性指南和风险分析都可用于CMinds同项目伙伴共同开发的社会公益用例。在试点项目的整个生命周期中，其工作重点是确保通过设计实现包容性。（二）包容性模型设计模型设计并迭代模型设计并迭代发现数据需求或潜力，确定相关数据要求与利益相关方合作共同设计3C5EFGHIJ与社会群体和受影响的利益相关方共同设计既要包括现有的相关方，也要包括未来潜在的利益相关方。一项成功的系统设计首先要确保“为什么设计、为谁设计、由谁设计”等关键问题得到相应解答，并确保在整个开发过程中不断评估系统。与相关方和受影响群体代表的合作可以使这一过程更清晰、透明。当然，确保人工智能设计团队的成员本身能够代表潜在的受影响的利益相关方，有利于提前解决与包容相关的许多潜在危害，并增加机构中外部利益相关方的信任。首先，人工智能系统的核心是根据机器学习模型数据而确定的数学方程，可能存在多个参数。因此，人工智能系统无论在理论上还是实践上，都有“无限”可能的最终产品设计，通常比其他产品更加灵活。设计决策应当权衡多个方面，包括系统的预测准确性、不同环境的公平结果、可靠性、通用性、可解释性、可说明性和透明度。人工智能的灵活性和复杂性既可能成为创造更好的人工智能系统的机会，也可能变成一种风险，导致解决方案不公平或在不同人群和环境中表现不同。的价值观（和文化，因此需要积极考虑来自多个利益相关方和人群的关于设计权衡的看法。对此，可以主动整合不同利益相关方的要求，确保开发团队具有认知多样性和其他多样性，从而有效反映系统的最终用户和利益相关方的多样性，确定相关指标，确保所有设计选项具有端到端透明性。此外，需要尽早决定在遇到非预期或恶意用例时该怎么做，怎样让用户知情同意，以及如果方便让用户选择不受人工智能的影响，该怎样给能系统遵循这些要求。（三）包容性数据收集明确更具包容性的数据收集路径，实现稳健治理和隐私保护数据收集数据收集确保人口统计学数据集包容性和多样性3K5LNO对于线上数据的便利传递，人们开始顾虑线上数据能否保护隐私和机密，关心都有谁掌握着数据。对此，人工智能系统应该竭力推行有关数据收集、存储和使用的隐私和伦理实践，尤其在管理来自边缘人群的数据时，保护数据隐私更加重要。收集与人类主体相关的数据时，研究人员必须先确定收集的目的是什么、怎样收集、由谁收集，随后再确定从人口统计学上看，他们培养的数据集能够代表人工智能系统将运用的社会群体。采用某种数据收集方法时，设计人员应找到受影响的利益相关方代表并与之合作。对于模拟训练和模型应用所搜集的数据，选择方法也很重要。此外，定性数据和定量数据同等重要，因此团队在发现现有的数据集不完全有代表性时或获得新的信息时，应返回最初阶段重新收集。无论从理论上还是实践上而言，在使用、管理和掌握人工智能来收集、分析和传播有价值或敏感的数据时，数据主权都至关重要。从操作上讲，数据主权指的是生态系统内利益相关者的代表，来自这些群体之外的代表将在整个数据和人工智能生命周期中作为合作伙伴加入。对有些人来说，数据主权这一概念涉及某一国家法律应当适用于哪条数据、不适用于哪条数据，尤其是来自一个国家的数据怎样受另一个国家的法律约束，还涉及隐私、安全和知情同意。如果将数据视为一种可分配资源，能在现在和未来造福于全人类和整个地球，那么为实现这个目的，人们将通过人工智能创造和使用数据。但如果收集、使用数据的目的是为了获得经济效益，那么数据就会像消费者经济学中的其他资产或“被拥平和排外的结果。因此，人工智能生态系统应具有可供选择性。此外，人们可能也会对数据库，包括储存数据的基础设施抱以担忧。构建云或其他数据存储基础设施的能力教育通常由政府和企业进行，数据主权运动有潜力促进未被充分代表的社会群体创造服务、产品、系统和机构，促进资源正确分配到当地用户和利益相关方。专栏专栏3：发展中国家的数据收集在许多中低收入国家，用结构化和电子化的方式收集数据的做法备受限制。例如在印度尼西亚，大多数政府机构仍然更倾向于硬拷贝数据，这使得未来的数据处理变得更加困难。此外，现有的电子数据文件既没有集中到一起，也没有得到有序的储存，因此很难获取或进行检索。因为数字化转型程度不足，现场数据科学家能利用的数据很有限，往往无法代表全部人口。（四）公平性、包容性的模型开发和测试实施开发团队问责机制确定相关多样化指标实施开发团队问责机制确定相关多样化指标评估模型（指标随时间变化）跟踪/回应对不同社群的影响测试组部署技术验证、用户验收测试/校验、调试测试引入新的利益相关方，开展开发/测试迭代模型开发3P5QR透明度、隐私性的优先事项及衡量指标。此外，各机构应优化人工智能相关的实践，落实追踪责任制。要实现公平的人工智能部署，就需要有远见地收集所有用于开展公平测试的人口统计数据。各机构应当引入新的利益相关方，重复进行几轮开发和测试，并安排测试组进行部署测试，以便于产品团队评估技术功能及包容性。这些团队必须将这些具备不同需求和能力的用户群体纳入训练数据、用户测试和产品开发中，从而能在充分部署前发现偏差。应把从测试中发现的问题反馈给开发团队，并根据需要对其重新评估和设计，包括进行技术验证、用户验收性测试和校验、调试以及设置包容性和伦理的优先衡量指标。开发团队应确定合适且多样化指标来评估可能随时间不断变化的模型。一旦团队开发、测试并验证了产品，就应该获取受影响的利益相关方对开发的产品特征的知情同意。这一建议对于跟踪和反映技术对不同社会群体的影响至关重要，如果上述过程中有新的问题和建议产生，开发人员应做出改变、调整或者回到最初阶段。专栏4：用不同的视角纠正过去当前，与面部识别系统相关的前六大道德担忧包括种族偏见和错误信息、执法过程中的种族歧视，隐私、缺少知情同意和透明度、大众监控、数据泄露和低效的法律支持。从2019年202124个州或地方政府通过了限制人脸识别的法律。使用新的思考方式能避免发布缺少多样化观点的人工智能工具，应在典型的人工智能技术公司之外创建一个多样化的资源网络，以积极探索对边缘化社会群体的潜在影响。在产品触及所有社会群体的生活之前，也可以利用员工资源组（ERGs）和外部利益相关方的观点来创建更具包容性的人工智能。通过在人工智能生命周期的早期阶段进行更多样化和包容性的训练，可以避免发布有缺陷的人工智能工具。（五）公平部署可信赖的人工智能系统并监测其对社会群体的影响确保考虑新利益相关方或用户，并重新训练确保考虑新利益相关方或用户，并重新训练监测/非常关注实施开发团队问责机制部署3S5TQUVW&X1、人工智能部署的公平和包容性实践人工智能系统部署评估须经历前、中、后三个阶段。要在反复测试和调试人工智能系统之后，再进行部署，随后为涉及的利益相关方群体进行系统功能的演练。在最终部署前，应给予利益相关方一个最后审查和签署的机会。此外，对于可能对利益相关方生活和服务产生的任何影响，应仔细考虑公共沟通的畅通度和透明度。如发现任何偏差或不同影响，机构内部应对启动后的监测进行调整、明确可获得的升级程序。开发团队应明确并清晰了解个人或团队对特定结果负有的责任。2、监测和重复训练必须考虑到新出现的利益相关方和用户包容性的人工智能系统，逐渐也可能会做出不公平的决策，使得一些人群无法获得信贷、医疗服务、教育机会和工作机会等资源。因此，人工智能系统一经部署，其自身和其运行环境都应该持续接受监测，并使用正确的衡量指标，如对用户和气候（如能源消耗）造成的影响，以及合适的流程来应对发现的问题。同时，还应该积极向用户提供能发现并报告有害和可疑的人工智能事件的机制，并将所有相关信息与利益相关方共享，必要时包括监管机构、执法机构和其他政府机构。可以给利益相关方提供事件和申诉管理过程，并且便于让每个没有数据素养、未接受数据教育且可能受到人工智能系统不利影响的人都有能力报告这类事件，以便及时矫正。应持续将反馈纳入人工智能系统的更新中并提供给有关利益相关方。在人工智能系统整个生命周期内，问责必须是重点工作，要对其适当管理。此外，还需要相关措施以便及时发现人工智能运行环境的变化。变化包括可能出现新的用户群体，他们可能会被人工智能系统以不同的方式对待。例如，在大城市资源丰富的医院训练出的医疗人工智能系统可能不适用于农村的小医院。同时，需要继续监测人工智能系统影响不同利益相关方群体的方式，这些是在人工智能开发和测试过程中以及整个系统使用过程中需要跟踪的指标。最后，当人工智能系统需要大量计算资源时，需要跟踪和管理其对环境的影响。（六）实现人工智能生命周期的循环发展吸取经验教训并做出调整，提升系统包容性各机构和企业必须投入资源和时间，审查所吸取的经验教训并做出必要改变，提高人工智能生命周期内所有阶段的包容性。这不仅仅要求对技术本身逐步实施技术调整，还要求批判地检查当前过程中的利益相关方、用例、设计实践、社会群体协作与衡量指标，从而重塑生命周期。项目团队和利益相关方通过反思以下问题能够回顾他们取得的进步和面临的挑战：1、在这个生命周期中出现了哪些公平和包容的成功实践？2、哪些实践可能不再服务于项目小组和利益相关方？3、在这个生命周期中是否实现了公平和包容的最初愿景？4、用例和用户群的定义是否公平？5、在这个生命周期的每个阶段中主动促进包容的方法都是最重要的吗？6、谁的观点被过度代表？谁的观点未被充分代表？7、什么对这个生命周期明确的