人工智能伦理导论 课件 lecture6-偏见歧视问题

偏见歧视问题Lecture62024/7/231人工智能伦理-古天龙2024/7/232平等一旦遭到破坏，最可怕的混乱就会随之而来。富人和穷人之间相互劫掠，他们不受约束的欲望压制了天然的同情心的声音，也使得很脆弱的公正受到严重打击，它们带给人们的只有贪婪、野心和邪恶。——卢梭（Jean-JacquesRousseau）人工智能伦理-古天龙偏见与歧视概念目录偏见歧视案例算法歧视歧视歧视的类型偏见偏见的类型1232024/7/233偏见与歧视概念4偏见歧视治理人工智能伦理-古天龙歧视的概念5.1偏见与歧视概念2024/7/234歧视（Discrimination）指的是不平等看待，是直接针对某个特殊群体成员的行为。它是人对人就某个缺陷、缺点、能力、出身以不平等的眼光对待，使之得到不同程度的损失，多带贬义色彩，属于外界因素引发的一种人格扭曲。维基百科将歧视定义为：基于人类所属的特殊群体、阶级或被认为的其它属性类别，对人类作出的不合理区别的行为。人们可能会因种族、性别、年龄、宗教或性取向以及其它属性而受到歧视。歧视尤其发生在个人或群体，因其实际或被认为是某些群体或社会类别的成员，而受到比其他人更为恶劣的不公正待遇。它包括限制一个群体的成员享有另一个群体成员可以享有的机会或特权。国际劳工组织的《消除就业与职业歧视公约》中界定：“基于种族、肤色、性别、宗教、政治见解、民族、血统或社会出身的任何区别、排斥或特惠，其效果是取消或损害就业或职业方面的机会平等或待遇平等。”另外，“有关成员在同雇主代表组织或工人代表组织——如果这种组织存在——以及其它有关机关磋商后可能确定其效果为取消或损害就业或职业方面的机会平等或待遇平等的其他区别、排斥或特惠”，也是歧视。“包含得到职业培训的机会、得到就业的机会、得到在特殊职业就业的机会以及就业条件。”人工智能伦理-古天龙5.1偏见与歧视概念2024/7/235歧视的概念从社会的角度看，歧视是不同利益群体间发生的一种情感反应及行为。歧视一般由歧视方和被歧视方两个利益群体构成。一般情况下，歧视方由于担忧被歧视方对自己的地位、权利、利益、习惯、文化等造成威胁或挑战，而在言论或行为上对被歧视方，进行丑化、中伤、隔离、甚至伤害。歧视实际上是歧视方在寻找说不出口的理由，使不合理、不合法、不公平、不正义的事情维持下去，以达到维护歧视方的地位、权利、利益、习惯、文化的目的。受保护属性/敏感属性：法律规定基于某些特征或属性的歧视行为是违法的，这些特征通常被认为是“受保护的”或“敏感的”属性。美国《公平住房法案》（TheFairHousingAct，FHA）将肤色、残疾、家庭状况、性别、婚姻状态、国籍、种族、宗教等列为受保护的属性；《平等信贷法案》（EqualCreditOpportunityAct，ECOA）将年龄、肤色、婚姻状态、国籍、种族、宗教、政府援助等列为受保护的属性。人工智能伦理-古天龙5.1偏见与歧视概念2024/7/236歧视的类型歧视可以由三个层次的从属概念来刻画：①

什么行为？②

什么情况下？③

对谁造成了歧视？行为是歧视的表现形式；情况是歧视的作用领域或场景；歧视的理由描述了受到歧视的对象的特征。从造成歧视的理由是否有明确表述的角度，歧视呈现直接性歧视（DirectDiscrimination）和间接性歧视（IndirectDiscrimination）两种主要形式。直接性歧视：由于受保护属性明显导致了某个人或某特殊群体的利益受到损失，由此产生的歧视称为直接性歧视，也称为不平等对待（DisparateTreatment）。因为某个人的宗教信仰特征，房屋户主拒绝将房屋出租给该租房客。这一行为违犯了《公平住房法案》，是一种直接性歧视。间接性歧视:基于看似中立和不受保护的属性来对待某个人或某群体，然而，由于其受保护属性的隐性效应的间接影响，该个人或群体仍然会受到不公正的对待，由此产生的歧视称为间接性歧视，也称为不平等影响（DisparateImpact）。尽管邮政编码似乎是一个不敏感的属性，但它可能与族群有关，因为邮政编码对应居民住宅区，某一居民住宅区的人口往往具有一定的族群属性，这样，某个人的住宅区的邮政编码在用于贷款申请等决策过程时，就可能导致族群歧视。某俱乐部规定进入人员必须出示驾驶证来证明身份，这样就存在对视力受损人员的歧视，因为盲人不可能会持有驾照的，这也是一种间接性歧视。人工智能伦理-古天龙5.1偏见与歧视概念2024/7/237歧视的类型从歧视的行为是否能够被解释角度，歧视分为可解释性歧视（ExplainableDiscrimination）和不可解释性歧视（UnexplainableDiscrimination）。在某些情况下，歧视可以通过某种正当理由或者某些类似案例得到合理解释，称为可解释性歧视或者可解释的。在UCI（UniversityofCaliforniaIrvineMachineLearningRepository）数据集中，男性平均年收入高于女性平均年收入。然而，这是因为女性每周平均工作时间少于男性每周平均工作时间所导致。每周工作时间是一个可以用来解释低收入的属性之一。如果我们在决策时不考虑每周工作时间，以至于男性和女性平均工资收入相同，这就会导致男性员工的工资低于女性员工工资的反向歧视。因此，该歧视是可解释性歧视，是可以接受的和合法的，因为它可以通过工作时间等其他属性来解释。与可解释性歧视相反，不可解释性歧视是指缺乏合理或正当理由来解释的歧视。不可解释性歧视是不合理、甚至非法的。一个不可解释性歧视，可能是一个直接性歧视，也可能是一个间接性歧视。雇主基于某求职申请者的性别，而拒绝为该申请者提供工作机会，这是一个不可解释性歧视，也是一个直接性歧视。某帆船爱好者俱乐部接收会员申请时，所使用的电子自动筛选系统根据某申请者家庭住址的邮政编码，拒绝了申请者的申请，因为该邮政编码对应的的居民区的常住居民为某一特殊族群，这是不可解释性歧视，也是间接性歧视。人工智能伦理-古天龙5.1偏见与歧视概念2024/7/238歧视的类型系统性歧视（SystematicDiscrimination）刻画了文化和习俗等方面的负面影响所带来的歧视，统计性歧视（StatisticalDiscrimination）刻画了社会成见的不良后果所导致的歧视。系统性歧视是受到根植于文化或政治制度中的某些政策和习俗的影响，所导致的对某些群体的长期或永久性的歧视。一家餐厅为了满足顾客的偏好要求，定位了自身餐厅经营的文化和特色，这样，绝大多数餐厅经理就青睐于选择与自己的餐厅文化相似的员工，这就对不具有这些特征而有能力从事餐厅服务工作的就业申请者产生了歧视，导致了对不符合餐厅文化要求的应聘者群体的歧视性选择，这就是一个系统性歧视。在一些金融、娱乐、健康等精英客户服务公司中，雇主对申请员工的招聘，很大程度上有赖于文化相关方面的匹配，导致了系统性歧视。借助于群体统计数据的平均特征，对属于该群体的个人进行评测并给出决策，由此所产生的歧视，称为统计性歧视。某些用人单位选择新员工的依据是他们所就读的大学，因为，依据统计数据，985、211大学的毕业生总体上工作能力较高，而且，由于各大学的学业成绩及综合评定的评分标准各有不同，很难对各校学生的学习成绩进行整体评估和比较。因此，更多地是根据学生的毕业学校而非成绩或实际能力来选聘。但是，非知名大学的毕业生中也有许多具备较强实际能力的学生。由此，基于就读学校的学生招聘导致了统计性歧视。人工智能伦理-古天龙5.1偏见与歧视概念2024/7/239歧视的类型从歧视所涉及的被歧视方的群体特征或者歧视所违反的受保护属性角度，歧视呈现多种形式，如：种族歧视、性别歧视、年龄歧视、地域歧视、价格歧视等。种族歧视是基于种族、肤色或民族的任何区别、排斥、限制或优惠，其目的或效果为取消或损害政治、经济、社会、文化或公共生活任何其他方面人权及基本自由在平等地位上的承认、享受或行使。种族歧视性别歧视指一种性别成员对另一种性别成员的不平等对待。尤其是男性对女性的不平等对待。两性之间的不平等，造成社会的性别歧视。但也可用来指称任何因为性别所造成的差别待遇。性别歧视价格歧视是指商品或服务的提供者在向不同的接受者提供相同等级、相同质量的商品或服务时，没有正当理由,在接受者之间实行不同的销售价格或收费标准。价格歧视地域歧视是基于地域差异而形成的一种“区别对待”。它是由地域文化差异、经济发展不平衡、人类心理活动等因素引发的，是“社会刻板印象”的一种体现，是从众心理和集体无意识的结果。地域歧视人工智能伦理-古天龙5.1偏见与歧视概念2024/7/2310偏见的概念偏见（Bias，Prejudice），顾名思义，是指片面的、偏颇的见解。偏见是对某人或团体所持有的一种不公平、不合理的消极否定态度，是人们脱离客观事实而建立起来的对人和事物的消极认识与态度。大多数情况下，偏见是仅仅根据某些社会群体的成员身份而对其成员形成的一种态度，并且往往是不正确的否定或怀有敌意的态度。美国人格心理学家奥尔波特在其《偏见的本质》中指出，“偏见是基于错误和顽固的概括而形成的憎恶感。”《中国大百科全书》对偏见的定义为，以不充分或不正确的信息为根据而形成的对某人、某群体或某事物的一种片面乃至错误的固定看法和态度。特点是以偏概全，不符合事实，先入为主和不易改变。偏见是一种看法或观念，是认知过程，也是一种态度，带有情感的体验。偏见是认知和情感的结合体。当偏见发展到严重程度时，它可能会通过不正当的行为表现出来。此时，行为成为严重偏见的释放形式。人工智能伦理-古天龙美国社会心理学家阿伦森界定偏见为：“人们依据有错误的和不全面的信息概括而来的、针对某个特定群体的敌对的或者负向的态度。”5.1偏见与歧视概念2024/7/2311偏见的概念偏见与态度有关，但偏见又不同于态度。迈尔斯（DavidG.Myers）认为态度（attitude）是对某物或者某人的一种喜欢或者不喜欢的评价性反应，涉及三个维度：认知、情感、行为。态度认知情感行为“不喜欢的评价性反应”是与认知成分相对应的刻板印象（stereotype），它代表着人们对其他团体的成员所持的共有信念。偏见（prejudice）是与情感成分相联系的倾向性，它对别人的评价建立在其所属的团体之上，而不是认识上。从这一点来看，偏见既不合逻辑，也不合情理。歧视（discrimination）是态度的行为成分体现。偏见一旦产生又不及时纠正，扭曲后或可演变为歧视。歧视源于偏见，是由偏见的认识和态度引起的，直接指向偏见目标或受害者的那些否定性的消极行为的表现。人工智能伦理-古天龙5.1偏见与歧视概念2024/7/2312偏见的概念偏见具有四个特征（1）偏见以有限或错误的来源为基础。（2）偏见的认知成份是刻板印象。（3）偏见有过度简化的倾向。（4）偏见含有先入为主的判断。偏见引发的负面行为（1）仇恨言论：大部分人会公开谈论他们的偏见（2）回避：以造成不便的代价，回避受偏见的群体中的成员（3）歧视：持有偏见的人，积极地区别对待受偏见的对象，并对该群体造成伤害（4）身体攻击：在情绪激化的情况下，偏见导致暴力行为或准暴力行为（5）种族清洗：以纳粹为代表，偏见的暴力表达的终极形式虽然大部分的偏见行为都停留在前两层，但是一旦到了歧视，再过渡到下一层往往也不会很难，一旦有一些情绪激化的“爆点”，很容易恶化到后面几层。鉴于偏见会引发大量的社会问题，所以我们要了解偏见，正视它可能造成的危害，避免被煽动，最终能够在某种程度上及时发现，并减缓偏见行为恶化的趋势。人工智能伦理-古天龙偏见的类型5.1偏见与歧视概念2024/7/2313数据类偏见算法类偏见人机交互类偏见人工智能伦理-古天龙偏见与歧视5.1偏见与歧视概念2024/7/2314偏见歧视含义偏见是对一个人的不公正和毫无根据的态度，仅因为他是一个社会团体的成员。歧视是指对一个人或一个群体的不公正或负面对待，因为他/她属于特定的阶级、群体或类别。本质抽象的误解，只在大脑中。偏见的外在表达。表现对个人或团体的负面态度（心理上的）。对个人或团体的不公平行为（行动上的）。性质无意识有意识和无意识诱因刻板印象偏见歧视行为往往源自态度上的偏见，但偏见性的态度并不一定滋生歧视行为。人工智能伦理-古天龙偏见与歧视概念目录偏见歧视案例算法歧视歧视歧视的类型偏见歧视的类型1232024/7/23154偏见歧视治理算法歧视概念算法歧视伦理人工智能伦理-古天龙算法歧视概念5.2算法歧视2024/7/2316算法（Algorithm）是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，能够对一定规范的输入，在有限时间内获得所要求的输出。算法是“有限的、抽象的、有效的、复合的控制结构，以在给定规则下完成特定的目的。其中，规则与目的是算法意向性的体现，约束着算法做什么或为我们带来什么。”算法偏见（AlgorithmBias）是在看似客观中立的算法程序的研发中，存在的研发人员的偏见，或者所采用数据的偏见。算法偏见是指算法程序在信息生产与分发过程中失去客观中立的立场，造成片面或者与客观实际不符的信息、观念的生产与传播，影响公众对信息的客观全面认知。算法歧视（AlgorithmDiscrimination）是由数据和算法分析导致的对特定群体的，系统的、可重复的、不公正的对待。算法歧视存在于人工智能技术应用的多个场域，对受害群体及整个社会有着多重不利影响。算法歧视的不利后果包括直接和间接两个层面。人工智能伦理-古天龙算法歧视概念5.2算法歧视2024/7/2317人工智能伦理-古天龙从直接层面来看，算法歧视的不利后果体现在三个方面：其一，算法歧视违背平等和公正的价值理念。平等与自由共同构成现代法治的基础，公正是现代文明国家的价值追求，算法歧视令特定群体遭遇系统性的不公正对待，在起点上违背平等的理念，在终点上导致不公正的后果，从根本上违背平等和公正的社会核心价值。其二，算法歧视违反宪法和法律规定。《中华人民共和国宪法》第33条第2款规定“中华人民共和国公民在法律面前一律平等”，《中华人民共和国劳动法》第13条规定“妇女享有与男子平等的就业权利”，《中华人民共和国电子商务法》第18条第1款规定“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项，尊重和平等保护消费者合法权益”，算法歧视违反了上述宪法和法律中相关条款要求和规定。其三，算法歧视侵犯社会个体的合法权益。就业领域的算法歧视侵犯受害者的平等就业权，电子商务领域的算法歧视侵犯受害者的公平交易权，刑事司法领域的算法歧视侵犯受害者的正当程序权，尽管不利后果的严重程度不同，但它们无一例外都侵犯受害者的合法权益。算法歧视概念5.2算法歧视2024/7/2318从间接层面来看，算法歧视的不利后果亦可归结为三个方面：其一，算法歧视不利于人机关系构建。在人工智能时代，机器扩展了人类能力，人类也在不断增强着机器能力，随着人工智能技术的扩大化应用，人工智能将渗透到人类生活各个方面，当人工智能成为生活必不可少的一部分，良好的人机关系就成为了美好生活的重要基础，而算法歧视令特定群体遭受系统性的不公正待遇，这种境况会加深人对机器的怀疑与不信任，不利于人工智能产业的健康发展，也不利于良好人机关系的构建与维护。人工智能伦理-古天龙其二，算法歧视加剧数字鸿沟。数字鸿沟是网络时代特有产物，随着人工智能与互联网加速融合，数据鸿沟会演变为社会阶层鸿沟，算法歧视将特定人群排除在社会参与之外，导致弱势群体进一步边缘化。其三，算法歧视固化既有的歧视，加深社会的分裂和不平等。由于种种历史原因，特定性别、地域或种族群体处于相对不利的地位，例如女性的就业率较男性偏低、黑人的犯罪率较白人偏高，大数据分析会如实归纳这些历史偏差，并将偏差反映在数据分析结果之中，这种结果，若不加干预，会固化和加剧历史原因造成的种族歧视、贫富分化、性别不平等、地域发展不均，当社会分化和极化到了一定程度，社会秩序和安定就会受到威胁。算法歧视概念5.2算法歧视2024/7/2319依据歧视的意图是否存在及其存在方式，算法歧视具有三种表现形式：显性歧视（ExplicitDiscrimination）指的是算法明确使用、分析受保护群体的种族、民族等相关特性，并将其作为算法决策的因素之一，进而导致不公平的对待。隐性歧视（ImplicitDiscrimination）指的是由于嵌入软件指令中的偏见、有偏差的数据集和工具使用，以及通过有目的地选择训练数据、设定标签、选取特征等掩蔽行为而产生的不平等对待。隐性歧视不直接依赖于受保护群体相关因素。差别性影响（DisparateImpact）指的是算法既未明确使用受保护群体的特征，也不存在掩蔽、潜意识偏见、有偏差的数据等，但算法决策的结果仍会倾斜于少数群体或受保护群体。显性歧视中算法设计者或使用者的“主观歧视意图（即意志的意图）”较为明显，而隐性歧视则利用算法将歧视意图隐藏的更深，因而这两者可统归为差别性对待或直接歧视。差别性影响虽无表面上主观的歧视意图，却由于其具有形式上的中立性与实践上歧视性，因而亦产生歧视后果。人工智能伦理-古天龙算法歧视概念5.2算法歧视2024/7/2320依据算法歧视是否关涉身份权可将其大致分为两类：关涉身份权的算法歧视。“身份性歧视是指对于某种身份存在偏见，它意味着社会对某些群体具有一种身份性的偏好，即使这些群体毫不逊色于其他群体，也会被主流社会排斥或拒绝。美国社会对黑人的种族歧视是典型的身份性歧视。”基于此，关涉身份权的算法歧视是指算法借助识别个体或群体的宗教、民族、种族、肤色、性别而施以的不平等对待。无涉身份权的算法歧视。无涉身份权的算法歧视则是指算法决策中的个体虽不受身份影响，仍遭到不平等的对待，例如大数据杀熟与价格歧视。此外，统计性歧视在某些情况下也可归为无涉身份权的算法歧视。人工智能伦理-古天龙统计性歧视的发生源于大数据与算法结合的环境下，“个人的‘涉己行为’同时也是‘涉他行为’。算法决策的重要环节之一就是分类，但分类不是固定不变的，而是临时的，即个体置身于临时群组之中，其实时行为数据可为临时群组提供新的信息，也可让算法更加了解同属该群组的其他成员的想法和行为，更会更改算法对这个临时群体的预测，进而对其他成员带来直接影响。如若某患者易患某种危险疾病，其健康信息将修正其所属群组的参数，以至其他成员也面临着拒绝受理医疗保险的风险。”算法歧视概念5.2算法歧视2024/7/2321算法歧视产生的根源可概括为三个方面：首先，数据中预先存在的偏见导致算法歧视。此类歧视通常在创建算法系统之前就已存在，算法只是将其反馈出来。换言之，先前存在的偏见不仅可以无意识地影响算法设计者选择使用哪些算法，还可以通过个人或机构有意识或无意识地进入算法，即通过定义目标变量而嵌入算法。其次，使用算法本身可能就是一种歧视。在算法系统中，基于算法分类进行的优先化排序、关联性选择和过滤性排除是一种直接歧视，涉及差别性地对待与不公正。其中，尤为明显的是“类标签”的确定。歧视风险不仅存在于类标签本身的定义中，也存在于随后其对规则的推断中。最后，算法决策中数据的抽样偏差及其所设置权重的不同也可能导致算法歧视。算法决策的客观性与正确性是建立在对所输入数据的两个假设之上的，即，数据客观正确且很好地表征了所要预测的个体。数据并非总是客观正确的，而可能裹挟着偏见。同时，算法所使用的数据也许并不能很好地表征个体，即数据的代表性不足。另外，算法设计者对不同因素的权重分配不当也会导致歧视。基于类标签的定义，数据主体被赋予了一种新的身份，即“算法身份（AlgorithmicIdentity）”。算法身份是通过识别IP地址、密码、网络行为足迹等信息性密符（InformationalShibboleths），进而使用统计模型自动确定一个人的阶级、性别、种族等信息。其中，统计性推断起着至关重要的作用，其内在逻辑在个人层面无法计算，而在集体层面上是可以计算的，当依据算法身份对主体进行判断时，就会将主体与一个虚拟的、概率性的群体或类联系起来，而这种联系不一定有任何合理的理由，且可能导致对主体的刻板印象和歧视。人工智能伦理-古天龙算法歧视伦理5.2算法歧视2024/7/2322在算法背景下讨论歧视问题，不仅需要研究到底存在何种歧视形式，更为重要的是阐明为什么要禁止它们。从伦理的角度而言，反对算法歧视的原因在于它涉及到算法公平与算法身份两大伦理问题。算法公平首先，算法歧视涉及到算法语境下对“公平”（Fairness）的诠释问题。学者对公平有诸多不同的理解，但在算法语境下讨论公平涉及到两个问题：其一，公平是否可以被量化、形式化？其二，如果公平可被量化、形式化，那么选择何种公平理论是恰当的？对于第一个问题，从当前各领域的研究成果来看，答案是肯定的。防止歧视的数据挖掘和算法公平俨然成为新兴的研究范式，试图借此发现并消除算法引发的不公平现象。人工智能伦理-古天龙算法歧视伦理5.2算法歧视2024/7/2323针对第二个问题，公平在算法中通常被量化、形式化为两种形式：群组公平（GroupFairness）与个体公平（IndividualFairness）。算法公平群组公平又被称为统计奇偶性（StatisticalParity），指的是接受正分类或负分类的人的比例与整个人口统计是相同的，旨在平等地对待所有群体，它要求通过算法而进行的决策结果在受保护群体与非受保护群体之间的比例相等。如，若某行业从业人口的男女比例为1:2，那么受雇佣的男女比例也应接近1:2。个体公平是平等地对待相似个体。德沃克通过测量在特定任务中个体之间的相似度而保证分类的公平性，以防止个体由于从属于某一群体成员而被歧视。人工智能伦理-古天龙德沃克（CynthiaDwork）等认为群组公平并不足以保证算法决策结果的公平性，因为就个人角度而言，它可能造成不公平。例如，在申请贷款中，群组公平并不能保证两个群体中信誉度相似的两个人获得相同的贷款概率。算法歧视伦理5.2算法歧视2024/7/2324事实上，在“群体公平”与“个体公平”选择的背后隐藏着设计者的不同世界观。“群体公平所隐含的是‘我们都是平等的’，即，在算法的特征选择过程中，个体所组成的群组之间并没有天生的差异，他们看起来都是一样的。或者说，即使存在差异，这些差异都是由个人控制之外的因素造成的，在算法决策过程中不应考虑这些因素。个体公平隐含的则是‘所见即所得’。也就是说，针对算法特征选取的观察方法能够较为真实地、准确地表征个体并作为算法的输入。”算法语境下公平的形式化仅是对公平阐释的内容之一，而非全部。对此，卡内基梅隆大学计算机伦理学家斯克潘（MichaelSkirpan）认为，算法语境下对公平的诠释需要重视两个问题：一是诠释算法公平时，公平更多的是一种公平构念（FairnessConstruct），即公平不是静态的，而是动态的，对其诠释依赖于算法所要解决的特定问题空间以及在训练和应用中对该诠释进行编码和测量的方法。二是需超越上述对技术方法之公平的关注，重视算法系统的公平性与结果的公平性。算法系统公平性即采用算法系统解决某个特定问题是否恰当。例如，算法驱动的路径导航自主实验系统不仅在缺乏用户知情同意的情况下开展实验，而且在实验过程中整个算法系统可能会更倾向于选择那些信息较少的用户作为实验对象，这就提出了如何在实验对象与非实验对象之间公平分配利益与风险的问题——结果的公平性，即，算法的结果是否公平。它可被理解为对算法歧视的事后控制，可以使用特殊的事后分析方法发现黑盒模型可能存在的不公平。算法公平人工智能伦理-古天龙算法歧视伦理5.2算法歧视2024/7/2325算法身份第一，算法歧视关涉个体被赋予何种算法身份。在算法决策中，个体被赋予一种新的身份，即，算法身份。但它并非静态、不可更改的，而是具有交互性、适应性和可跟踪性特征。一方面，算法身份可随时追踪个体与所属临时群组中其他人更新的信息，并依据这些新信息更改个体算法身份。另一方面，新的信息也在更新与重建算法本身。正如康奈尔大学吉尔斯皮（TarletonGillespie）教授所指出的，算法是偶然的、不稳定的，因为用户的每一个点击、新数据的增加等细微的变化都将调整与重塑算法。在此意义上，算法身份“就像信息流一般，新的判断、分数、风险评估等不断地被扔进其中。”由于算法身份是基于多种数据库、算法以及决策者交互而构建的，其对个体的理解及其算法身份的确定“不是依据个体的实际行为，而是依据算法所识别的个体与他人的关系”，加之数据偏差、不合理分类等原因，个体的算法身份可能与个体的现实状况并不相符，并被贴上某种标签而使其在算法决策中易受到歧视。即使算法在推断个体身份时能克服这些问题，那么，如果算法过于准确地推断受保护群体的成员资格，依然可能会据此确定算法身份，并在此基础上对他们进行歧视。人工智能伦理-古天龙算法歧视伦理5.2算法歧视2024/7/2326算法身份第二，一旦为个体算法身份贴上某种易于被歧视的标签，就会产生双重累积劣势。一方面，算法越是精准地推断受保护群体或少数群体中个体的成员资格并据此对其进行分类，其在决策结果中受到歧视的可能性就越大。累积优势/累积劣势是默顿（RobertKingMerton）对科学界职业分层中“马太效应”（MatthewEffect）现象提供的一种结构性解释。其中，累积优势指的是任何个体、群体或地区一旦在社会地位、信誉、经济状况等方面获得成功，就会产生一种累积优势，进而获得更多的机会和更大的成功；累积劣势则是对其相反状况的描述。人工智能伦理-古天龙“由于一系列复杂的因素，收入不平等在美国黑人之中很明显，它通常是经过几代人的劣势累积而形成的代际负担。身体健康等生活质量、政治参与程度以及社会理论家所言的信心、知识等‘社会资本’，不仅与美国黑人的收入状况相关联，而且会加剧其在地理上的孤立，并重生与扩展他们在收入中的劣势累积，进而导致他们所居住的社区成为风险状况的一个重要指标。这些因素都将以数据的形式输入算法并被呈现，进而导致美国黑人在生活福利和就业机会的分配中再次受到负面影响。”算法歧视伦理5.2算法歧视2024/7/2327算法身份另一方面，基于算法对受保护群体或少数群体中个体成员资格的推断，其决策结果带来教育、就业机会、医疗等方面的负面影响，可能在日后生活中进一步加剧，并导致自我应验预言的实现与污名化。“当一个算法评分系统表明，某个受保护群体的成员在特定环境下信用评分较低时，它会传达这样一种信息，即，该成员乃至这个群体所有成员在诸多情况下都是不值得信任。如此一来，其他人对该群体看法以及该群体内成员对自我的看法都会受到影响，这就是污名化与自我应验预言的实现。”事实上，这更深层次地涉及到了算法系统的记忆与遗忘问题。更准确地说，“是算法决策中的数据追溯与使用问题，即，个体数据应该保留多久、何时应该删除，应该使用过去多久的数据来合理地评价个体。破产法、青少年犯罪记录以及金融信用报告中都存在这样的规定：在规定年限之后，个体就有权要求制度上的遗忘，即将相关数据删除并消除其累积效应，进而能够‘重新开始’。”人工智能伦理-古天龙原因在于，基于算法身份的算法决策会产生关于个体的新推断，并影响个体行为，进而形成更多的数据，而这些新数据则会成为算法再一次对个体进行分类、确定算法身份并作出推断的数据基础。如此一来，劣势则会越累积越多。与此同时，算法在劣势累积影响下所作出的推断与决策结果，还将导致对少数群体或受保护群体负面成见。偏见与歧视概念目录偏见歧视案例算法歧视1232024/7/23284偏见歧视治理算法歧视概念算法歧视伦理机器学习的案例图像识别的案例语音识别的案例搜索引擎的案例推荐系统的案例人脸识别的案例歧视歧视的类型偏见歧视的类型人工智能伦理-古天龙机器学习的偏见歧视5.3算法歧视案例2024/7/2329人工智能伦理-古天龙AI招聘系统2014年，美国最大的电商品牌亚马逊（Amazon）开始提出试验性自动化招聘工具，初衷是通过系统的机器训练，让AI代替HR对候选人的简历进行初步筛选，帮助公司节省大量的劳动力，并且更有效地挑选出更合适的人才。亚马逊AI招聘工具投入使用不久便被发现无法对软件开发人员和其他技术职位的候选人进行性别中立的评估，因此被认定存在严重性别歧视问题。据监管文件显示，2015年6月，亚马逊公司的全球员工人数增加了两倍多，达到57.57万人。因此，亚马逊成立了由十多人组成的专门研发团队，目标是开发能够迅速在网络上搜索并发现有价值应聘者的AI系统。该团队通过利用过去10年来的求职简历训练关注特定工作职能和位置的500个AI模型，使其学会辨认从以往求职者简历中提取的5万个术语。这一AI招聘工具可以给应聘者打分，分数从一星到五星不等，就像购物者给亚马逊网站上的产品打分一样。亚马逊想将该AI招聘工具打造成能力强大的核心工具，例如，给它100份简历，它能够筛选出能力突出的前五人，供公司聘用。机器学习的偏见歧视5.3算法歧视案例2024/7/2330人工智能伦理-古天龙造成歧视的主要原因是亚马逊的AI招聘工具在训练时采用的是该公司10年来的应聘者简历，而过往的应聘者大多为男性（这也反映了男性在科技行业的主导地位），因此该AI招聘工具潜在认为男性候选人更可取，所以在挑选建立过程中就自动过滤掉了很多女性求职者。具体而言，当简历中出现“女子象棋俱乐部队长”“女子学院”等含有“女子”（women's）字样词汇时，该AI招聘工具便会系统性地对此简历作降级处理，给与较低的分数。据知情人士透露，该系统还降低了两所女子学院毕业生的评级。此外，该AI招聘工具有利于那些用男性工程师简历中常见的词汇描述自己的应聘者，例如“执行”（executed）和“捕获”（captured）。换言之，即便求职者简历上并没有标明其性别，系统在自动筛选过程中仍能偏向于男性。发现以上问题后，亚马逊工作人员重新编辑了AI招聘程序，使它们对某些特定的术语（如男性、女性）保持中立。但结果显示，这并不能保证AI招聘工具不会设计出其他可能被证明具有歧视性的应聘者筛选方法。由于公司对这个项目失去了希望，因此在2017年彻底停用了这一AI招聘工具，同时解散了相关研究团队。机器学习的偏见歧视5.3算法歧视案例2024/7/2331人工智能伦理-古天龙亚马逊拒绝就招聘引擎或其面临的挑战置评。据悉，亚马逊设法从失败的人工智能试验中挽回了一些教训：该公司现在使用“经过大量稀释版本”的招聘引擎，来帮助完成一些基本工作。卡内基梅隆大学教授沙阿（NiharShah）就此事件表示：“如何确保算法是公平的，如何确保算法是真正可说明和可解释的，还很遥远。”纽约大学坦登工程学院院长科瓦维（JelenaKovaevi）表示，如果企业的数据集没有明显的多样性，那么人工智能算法就不可能知道来自代表性不足群体在过去的表现。与其相反，其算法将偏向于数据集所代表的内容，并将所有未来的应聘者与其原型进行比较。“例如，如果黑人过去被系统排除在外，如果在过去没有女性参与其中，而基于这些创建算法则无法正确预测未来。如果只从‘常春藤盟校’招聘，那么真的不知道来自一个鲜为人知的学校的申请者会如何表现，所以将会产生多重偏见。”美国电子隐私信息中心的研究员温特斯（BenWinters）表示：“很难确保一款人工智能软件没有天生的偏见或有偏见的影响。虽然可以采取措施避免这种情况，但许多系统已经显示出基于种族和残疾人的偏见影响。”机器学习的偏见歧视5.3算法歧视案例2024/7/2332人工智能伦理-古天龙意大利户户送意大利户户送有限责任公司（DeliverooItaliaS.R.L.）自2015年起利用数字平台模式经营送餐到家的外卖业务。外卖骑手在手机上下载公司软件并注册后，可以选择用自助预定系统来预定下周的工作时间和区域。自助预定系统在每周一的三个时间点开放，分别是11:00、15:00与17:00，只有评分排名前15%的骑手才可以在11:00进入平台预定工作时间。骑手的评分由平台算法（根据可靠性和参与性两个参数）来确定：可靠性由骑手不在预定的时间里工作的次数决定，一旦骑手在周一预定了相应的工作时间及配送区域，只要在预定时间之前的24小时内没有取消，就必须进入预定区域并在15分钟之内登录，否则会失去分数；参与性则由骑手在周五至周日20:00-22:00的高峰时期送餐到家的次数决定。机器学习的偏见歧视5.3算法歧视案例2024/7/2333人工智能伦理-古天龙2019年12月16日，意大利总工会位于博洛尼亚（Bologna）的运输业劳动者工会、商业旅游与服务业劳动者工会以及非典型劳动者工会，将意大利户户送有限责任公司诉至博洛尼亚法院。原告认为，被告公司使用的算法具有集体歧视性，因为该算法在对骑手进行荣誉排名时并不考虑骑手不赴约原因，骑手可能因参加罢工、疾病或未成年子女需求等其它合法原因导致延迟取消预定或没有取消预定，从而造成其荣誉排名降低，丧失优先选择工作条件的机会。因此，原告请求法院对被告的歧视行为加以确认，并同时提出要求被告制定消除歧视的方案、修改自助预定系统、对上述歧视性行为给原告造成的非财产性损害进行赔偿、采取一切适当措施消除歧视性行为的影响等请求。被告答辩指出，原告工会组织缺乏起诉资格，同时否认算法具有歧视性。被告认为，自助预定系统只是一种选择性方案，骑手既可以使用自助预定系统来预定下周的工作，也可以直接进入系统接收订单。被告同时指出，导致本案争议的自助预定系统已经从2020年11月2日起不再被使用，因此原告提出的所谓的具有歧视性的制度已不复存在，原告请求采取的措施将无任何意义。机器学习的偏见歧视5.3算法歧视案例2024/7/2334人工智能伦理-古天龙2020年12月31日，博洛尼亚法院做出判决：法院支持原告请求，确定并宣布被告通过数字平台使用的算法具有歧视性；要求被告在其网站及平台的“常见问题”板块公布法院判决，以消除歧视行为的影响；被告在全国性日报《共和国报》（LaRepubblica）上刊登判决的摘要，并自己承担费用；被告向原告方支付5万欧元的损害赔偿金及法定利息，并向原告支付相关诉讼费用7254欧元。博洛尼亚法院在算法歧视问题的认定上进行了有益的尝试。无论在哪个国家、经济如何发展、用工形式如何变化，只有切实保障宪法与法律所保护的人的尊严与劳动者的合法权益，才会最终实现经济的发展与人类社会的进步，因为“所有的法都是为人而设立的”。人是目的，而不是工具，正像意大利总工会秘书长斯卡切蒂（TaniaScacchetti）所言：“骑手是具有权利的劳动者，并非机器。”图像识别的偏见歧视5.3算法歧视案例2024/7/2335人工智能伦理-古天龙谷歌照片应用2015年5月，谷歌更新了其照片应用，加入了一个自动标签功能。能够自动识别照片中内容、进行自动分类并打上标签，以协助用户管理和搜索照片。2015年6月，纽约布鲁克林的黑人程序员阿尔辛（JackyAlcine）惊讶地发现，她和一位黑人女性朋友的自拍照，竟然被谷歌照片打上了“Gorillas”(大猩猩)的标签。阿尔辛随即在推特上怒斥：“谷歌照片，你太混蛋了！我朋友不是大猩猩。”他质疑谷歌到底采样了什么图片数据进行训练，才做出这样的荒唐事，而且他伤心地表示，这是他和这位女性朋友目前唯一的合影，本指望关系更进一步，结果被谷歌搅黄了。他同时理性地表示，出现这样的技术性错误其实可以理解，但无法相信的是谷歌的管理太松懈了。图像识别的偏见歧视5.3算法歧视案例2024/7/2336人工智能伦理-古天龙谷歌社交主管尊盖（YonatanZunger）很快做出回应，称程序员正在以最高优先级解决这个问题，绝对不会再出现类似问题。但是很遗憾，阿尔辛发现经过所谓的修复后，还有两张类似的照片也出现了大猩猩标签。尊盖则说他们已经暂时禁止了大猩猩这个标签，正在全力查找问题根源，并表示这一问题可能是软件无法检测到人脸所导致的。这一尴尬的变通方案表明，谷歌和其他科技公司在推进图像识别技术方面仍旧面临着诸多困难，谷歌的AI系统或许没有“看过”足够多的大猩猩图片，未能了解具体差异，也无法明白这种错误的严重性。谷歌也很快发表了一份官方正式道歉信，并承认这种技术还在完善之中。谷歌表示，随着更多的图片加载到谷歌照片应用中，加之越来越多的人修复错误标签，这套照片归类算法的效果将逐步提升。谷歌表示，该公司之所以发布这款应用，一定程度上是为了让人们为其提供更多照片，以便提升整体识别率。图像识别的偏见歧视5.3算法歧视案例2024/7/2337人工智能伦理-古天龙在事件发生后，《连线》杂志在谷歌相册上测试了4万多张动物图片，发现即使是遇到真的大猩猩照片，也不会再有“Gorillas”(大猩猩)的标签提示，谷歌防止将任何图片标记为大猩猩、黑猩猩、猴子。在第二次测试中，《连线》上传了20张黑猩猩和大猩猩的照片，这些黑猩猩和大猩猩来自非营利组织“黑猩猩天堂”和“黛安·福西研究所”（DianeFosseyInstitute）。有些猩猩可以用使用“森林”、“丛林”或“动物园”等关键词来搜索到，但事实证明，其余的都很难被发现。结论是：在谷歌照片中，狒狒是狒狒，但猴子不是猴子。大猩猩和黑猩猩是不可见的。在第三次测试中，《连线》杂志上传了一组1万多张用于面部识别研究的图片。用“非洲裔美国人”这个词进行搜索，最后只出现了一幅羚羊的画面。输入“黑人男性”、“黑人女性”或“黑人”，谷歌的系统会返回黑白图像，按照性别正确排序，但不被种族过滤。对于肤色较深的人来说，可以使用“非洲式”（afro）和“非洲人”（African）等词进行搜索，尽管结果好坏参半，并不那么准确。图像识别的偏见歧视5.3算法歧视案例2024/7/2338人工智能伦理-古天龙AI选美大赛2016年著名的“青春实验室”（YouthLaboratories）发起了一场叫做Beauty.ai的网络选美大赛，比赛口号是“成为第一位由机器人评判的选美皇后或国王”。由于号称裁判都是人工智能，比赛吸引了6万参赛者。要参与这个比赛过程也十分简单，参与者只要下载应用，并上传一张素颜照片（不能化妆、没有面部须发和太阳镜遮挡）。随后机器人评审团将会对照片进行筛选和审核，最终交给人工智能进行评选。据主办方介绍。这次选美比赛并不是为了娱乐，其前身是一个运用人工智能来评估健康的项目。官方解释：“通常意义上，不论国籍和年龄，美丽的人都有着健康的面庞。而从‘选美’这一富有娱乐性的活动开始，我们可以让机器学会如何评判“健康”，这是人工智能的重要一步。”

本次选美使用了六个人工智能裁判，包括生物数据分析公司InsilicMedicine设计的人工智能算法AntiAgeist。此次选美评选了从18岁到69岁多个年龄组的用户自拍照，总数约6万张。AI算法通过评估肤色、皱纹、性别、脸部对称性、痘痘数量、种族和年龄在内的一系列元素，决定获胜者。不过，种族似乎成为了最大的决定因素，44位获胜者中，36人都是白人。虽然有11%的参与者是黑人，但没有一个黑人成为获胜者。图像识别的偏见歧视5.3算法歧视案例2024/7/2339人工智能伦理-古天龙“看起来颜色确实会影响机器的判断，”Beauty.ai的首席科技官亚历克斯·扎沃隆科夫指出。“对于一些人群而言，数据集缺少足够的样本训练深度神经网络。”解决之道就是更好的数据，如果算法看过了更多样化的人群，就能更好识别他们。

“如果一个系统所接受的照片训练里，绝大部分都是白人，它就会难以辨别非白人的脸，”微软研究院首席研究员凯特·克劳福德认为。“所以，包容性很重要，从设计者到公司所有者，再到各种伦理视角。否则，我们造出来的AI只会折射出一个狭隘的社会，带有各种陈旧偏见和刻板影响。”当裁判是一种从巨量数据中自动学习的人工智能时，它会慢慢学习不同脸部特征，并且在新照片中识别。但是，如果算法在训练主要看的是白人照片，遇到黑人照片时，其准确性就会下降。换句话说，照片里的人美不美是通过一个客观标准判断的，但是当这个客观标准来自于白人照片集合时，毫无疑问便会显示出对黑人的歧视。语音识别的偏见歧视5.3算法歧视案例2024/7/2340人工智能伦理-古天龙

2020年4月7日，斯坦福大学的研究人员在《美国科学院院报》（PNAS）上发表论文，指出亚马逊、苹果、谷歌、IBM和微软的语音识别系统（automatedspeechrecognition,ASR）存在显著的种族差异，对白人和黑人语音的识别率有高有低。研究人员对来自美国5个城市、不同年龄段、不同性别的42名白人和73名黑人进行了结构化访谈，通过对采访片段进行处理之后，构建了两个语音识别数据集：以上述数据集为基础进行实验后发现，当比较黑人和白人说出的相同短语时，五种语音识别系统都显示出明显的种族差异，虽然各系统测试结果存在差异（苹果语音识别系统最差，微软语音识别系统最优），但是每各系统中黑人语音的平均误字率（worderrorrate,WER）几乎都是白人的两倍。综合统计后得出，黑人说话者的平均误字率为35%，而白人说话者的平均误字率为19%，两者相差16%。1）非洲裔美国人语言语料库，主要在美国的普林斯维尔、罗切斯特和哥伦比亚特区进行数据采集，这些地区是以非洲裔美国人为主的社区，所使用语言被称为“非裔美国人地道英语”（AfricanAmericanVernacularEnglish，AAVE）；2）加州之音语料库，主要包含白人语音片段，采集于美国加州农村和城市地区。数据集中共保留2141个白人语音片段以及2141个黑人语音片段，每个片段的平均长度为17秒，总长度约为19.8小时；语音片段提供者的平均年龄为45岁，44%为男性。语音识别的偏见歧视5.3算法歧视案例2024/7/2341人工智能伦理-古天龙如果假设WER>0.5意味着一个文本不可用，那么23%的黑人语音片段是不可用的，而只有1.6%的白人语音片段是不可用，相差较为悬殊。对于每个语音片段，首先计算语音识别系统的平均误字率，然后根据采访地点对平均错误率进行分组，分布情况总结在上述箱形图中。使用灰色背景表示三个使用非裔美国人土语的地区（分别位于普林斯维尔、华盛顿特区和罗切斯特，意味着黑人更多）；使用白色背景表示白人更多的萨克拉门托地区和洪堡地区。不难发现，地区差异明显，语音识别系统在黑人占比高的地区的平均误字率也更高。研究者们在三个黑人地区（普林斯维尔、华盛顿特区和罗切斯特）中分别抽取50个语音片段，测量代表AAVE语言特征的方言密度（DDM，横轴）和平均误字率（AverageWER，纵轴）之间的关系。上图中，虚线表示每个位置的平均DDM，黑色实线与数据呈线性回归。以上实验结果表明，带有更多AAVE语言特征的语音具有更高的平均误字率，即识别效果越差。搜索引擎的偏见歧视5.3算法歧视案例2024/7/2342人工智能伦理-古天龙搜索引擎（SearchEngine）是指根据用户需求、运用特定策略从互联网上采集信息，在对信息进行组织和处理后，将检索的相关信息展示给用户的系统。搜索引擎旨在提高人们获取搜集信息的速度，为人们提供更好的网络使用环境。常见的搜索引擎有百度、谷歌、360、搜狗、搜搜、神马、雅虎、必应、AskJeeves、AolSearch、DuckDuckGo、WebCrawler等。搜索引擎在回应一个搜索请求后，返回的搜索结果带有一定的偏差和倾向。搜索引擎偏见意味从数据库中搜索出来的条目的平衡和代表性遭到破坏。放大性别偏见研究显示，使用Google搜索“CEO”的图片，其中只有11%的图片是女性，但实际上美国有27%的CEO是女性。近期使用百度、谷歌等搜索引擎进行搜索时，其给出的搜索结果中男性数量仍然占绝对优势。这与实际情况出入较大，被认为放大了社会中的性别偏见。百度搜索“CEO”谷歌搜索“CEO”搜索引擎的偏见歧视5.3算法歧视案例2024/7/2343人工智能伦理-古天龙研究显示，使用Google搜索“CEO”的图片，其中只有11%的图片是女性，但实际上美国有27%的CEO是女性。近期使用百度、谷歌等搜索引擎进行搜索时，其给出的搜索结果中男性数量仍然占绝对优势。这与实际情况出入较大，被认为放大了社会中的性别偏见。谷歌搜索“CEO”百度搜索“CEO”“这就是为什么当你搜索‘医生’时，大多数出现的图片都是白人男性”的文章，明确指出：如果你在谷歌搜索“doctor”，获得的结果中大部分都是白人男性。谷歌意识到了这一点，调整了搜索算法。目前“doctor”的搜索结果中，女性与男性比例基本平等；但对“护士”进行搜索时，几乎全部结果均为女性。在百度搜索中，对“医生”“护士”进行搜索时，搜索结果与上述结果类似。搜索引擎的偏见歧视5.3算法歧视案例2024/7/2344人工智能伦理-古天龙2018年2月，美国南加州大学助理教授诺布尔（SafiyaUmojaNoble）在《压迫的算法》一书中，讨论了黑人妇女和女孩形象是如何受到贬低和被过度夸张的形象所歪曲，揭示了种族主义和性别歧视是如何影响搜索结果的。《压迫的算法》一书的封面设计中，表现了在google搜索栏中键入“为什么黑人女性如此……”（whyareblackwomenso……）之后，搜索引擎自动补全了“愤怒、吵闹、诱人、懒惰”等带有负面意义的形容词。（注：目前，谷歌已修复该问题。）“这就是为什么当你搜索‘医生’时，大多数出现的图片都是白人男性”的文章，明确指出：如果你在谷歌搜索“doctor”，获得的结果中大部分都是白人男性。谷歌意识到了这一点，调整了搜索算法。目前“doctor”的搜索结果中，女性与男性比例基本平等；但对“护士”进行搜索时，几乎全部结果均为女性。在百度搜索中，对“医生”“护士”进行搜索时，搜索结果与上述结果类似。推荐系统的偏见歧视5.3算法歧视案例2024/7/2345人工智能伦理-古天龙大数据杀熟大数据杀熟，狭义上理解，是指同样商品或服务，老客户看到的价格，反而贵过新客户；广义上，就是指企业分析和预测消费者大数据，对不同对象收取不同价格的行为。“大数据杀熟”已呈泛化趋势，不局限于对熟客的“宰杀”。经营者通过大数据分析与用户画像，可以针对任何其所认为的“对价格不敏感”的用户实施差别定价。互联网企业掌握了大量个人信息、行为习惯等数据后，判断其偏好、用户黏合度、价格敏感度等，利用大数据技术实现“千人千面”，使不同用户看到不同价格或搜索到不同的结果，从而被“杀熟”，这也被称为“杀熟二代”。杀熟二代的“熟”，已经不是“熟客”，而是被平台充分掌握个人信息的“熟人”。“杀熟”往往对应着“贿（惠）新”，即用更优惠的价格将新用户吸引至平台。从营销学角度来看，这种“喜新厌旧”的差异化定价策略很好理解，因为老用户黏性强，而获取新用户则需要投入更多成本。经营者为吸引新客户而提供优惠无可厚非，但若对老客户定价普遍高于“正常价格”，甚至越是老客户价格越贵，则明显违背诚信原则与商业伦理。推荐系统的偏见歧视5.3算法歧视案例2024/7/2346人工智能伦理-古天龙滴滴“苹果税”2020年，复旦大学管理学院副教授孙某带领研究团队在五座城市打了800多趟车，花费50000多元，搜集到滴滴、曹操、首汽、美团和高德等多个渠道的数据。调查招募了20多名大学生作为调研员，对五城市（上海、北京、深圳、成都和重庆）、不同距离（近途：3公里以内，中途：3-10公里，远途：10公里以上）以及多个时间段（工作日早高峰、工作日晚高峰、日间非高峰、晚间非高峰）进行了抽样调查。获得总样本836个，有效样本821个，通过数据分析，最终形成“2020打车报告”。团队用“一键呼叫经济型+舒适型两档后被舒适型车辆接走的订单比”来判断“被舒适”的程度，数据表明，与非苹果手机用户相比，苹果手机用户更容易被舒适型车辆（比如专车、优享等）司机接单，这一比例是非苹果手机用户的3倍。除了手机品牌，平台也同时关注乘客手机价格。如果乘客使用的是苹果手机，那么就更容易被推荐舒适型车辆；如果乘客不是用苹果手机，那么就要看其手机价位，手机价位越高则越有可能被舒适型车辆接走。推荐系统的偏见歧视5.3算法歧视案例2024/7/2347人工智能伦理-古天龙美团“割韭菜”2020年12月，一篇名为《我被美团会员割了韭菜》的自媒体文章成为全网爆款，再次把大数据杀熟的问题推上风口浪尖，美团成为众矢之的。名叫“漂移神父”的网友爆料称，他在美团App购买驴肉火烧外卖时发现，在同一家店铺、同一个配送位置、同一个下单时间点的条件下，开通美团会员的账号所需的配送费，比未开通会员的账号所需的配送费高出整整4元。该网友多次亲身测试后指出，其所在位置附近几乎所有外卖商户，会员账号总是超出非会员账号1-5元不等的配送费。在反馈客服后，对方表示愿意补偿十元红包。电话客服主管则表示已超出他的处理范围，会向更高级管理人员反映。文章中还提到，不仅是一家店有这种情况，一部开通美团外卖会员的手机，附近几乎所有外卖商户的配送费，基本都要超出非会员配送费1-5元不等。换句话说，会员并未享受到平台所承诺的优惠待遇，只要多点几次外卖，额外支付的配送费甚至会超过会员所享的优惠。推荐系统的偏见歧视5.3算法歧视案例2024/7/2348人工智能伦理-古天龙信息茧房（InformationCocoons）

哈佛大学教授桑斯坦认为“信息茧房”以“个人日报”（TheDailyMe）形式呈现：伴随着网络技术的发达和信息的剧增，人们可以随意选择自己想关注的话题，可依据喜好定制报纸和杂志等，每个人都可为自己量身打造一份“个人日报”。当个人被禁锢在自我建构的信息环境中，生活必然变得程序化和定式化。在信息传播中，因公众自身的信息需求并非是全方位的，公众只注意自己选择的东西和使自己愉悦的通讯领域，久而久之，会将自身桎梏于像蚕茧一般的“茧房”中。“信息茧房”存在如下主要的危害：网络群体极化趋势会不断加强。“信息茧房”内部的人与外界之间的交流会变得越来越少，大家的观点在不断交互的过程中，同质化的倾向会越来越明显。降低了人们之间的交流和沟通，造成群体粘合度的下降。“信息茧房”可以满足人们各方面的信息需求，更多的人会选择“宅”，彼此之间的关心开始不断减少，人与人之间的温情也越来越淡薄，不利于社会的和谐发展。推荐系统的偏见歧视5.3算法歧视案例2024/7/2349人工智能伦理-古天龙今日头条，作为新闻聚合类客户端，在用户进入APP的时候就会引导他们去选择自己感兴趣的版块，明星、娱乐、政治、经济，还是本地化新闻，选取之后，还会结合用户的浏览习惯和内容，用大数据技术对用户的信息需求进行分析，继而推送出与用户兴趣相关的信息，久而久之每个人打开的今日头条都是不一样的，但是相对于个体而言，其关注领域还是处于“个人日报”的状态。抖音短视频平台，抖音以精确的个性内容推送俘获了大量的忠实用户。成功的秘诀就是充分利用数据挖掘技术，收集用户的浏览记录、点赞情况、用户人口统计学数据等等，对用户进行侧写，并推送符合用户“需求”的内容，但同时也造就了严重的“信息茧房”现象。一个爱好美食的用户，他的抖音“推荐”一栏中，推送的内容里美食类内容通常占绝大部分；喜欢旅游的人，则很少给他推荐除了美景以外的短视频。在大量同质信息的狂轰滥炸下，抖音的用户已经很难脱离APP给自己划定的圈子，外界的其他信息也再难进入视野。人脸识别的偏见歧视5.3算法歧视案例2024/7/2350人工智能伦理-古天龙2011年，在佐治亚理工学院攻读本科学位时，加纳裔美国计算机科学家乔伊·布奥兰维尼（JoyBuolamwini）发现，机器人无法陪她玩一把简单的躲猫猫游戏——因为机器无法识别她黑色的脸庞。2015年，麻省理工学院媒体实验室的硕士研究生布奥兰维尼参加了一个名为“AspireMirror”的科学艺术项目，在处理面部分析软件时