被算法控制的社会（三）

被算法控制的社会（三）美国加州大学詹娜·布瑞尔马里恩·弗尔卡德；上海社会科学院杨泽凡/译发布时间:2024-02-26（一）算法不平等在韦伯的分析框架中，最终塑造阶级（或阶级状况）的是财富和机会在各种制度领域内外的社会分配方式。无论算法如何分配奖励、机会或惩罚，它们都有能力改变个人的生活机会。算法机制实现这一目标的方式，主要是通过精确而理性地分配资源并通过其高效扩展的能力增加可能发生这种分配场所数量的方式。然而，通过这种方式，他们却暗自改变了社会阶级划分的过程。不同于以包容与排斥为基础（例如那些能获得信用与那些被排除在外的人之间的区分）的传统门槛机制，新的算法机制产生了一个滑动的分类情况，这个分类情况具有更加精细的职位差异化。例如，享有有利于信用风险评估的理想借款人将得到慷慨的信贷合同，不理想的借款人将面临深度高利率的合同，而位于两者之间的人将得到一系列或多或少有利的提议。与其完全排除不同，数字化因此可能促进各种形式的捕食性包容。由于这些常常会对种族少数群体造成不平等，所以种族资本主义的熟悉过程正被数字时代重新塑造。在理论上，算法分配被视为完美、准确和公平，但在实践中却存在多种问题。一个关键的问题是编码人员和模型构建者很少质疑他们使用的输入数据的质量，尽管模型构建中数据质量的问题正在得到解决。许多培训数据集生产时，对不同目标群体的代表性很少关注，他们或从用户或通过“众包”平台雇佣的工人获取的数据。例如，广泛使用的用于训练人脸识别系统的数据集，以及警务数据都很可能具有偏见和错误。这些错误和偏见会在领域内传播。就算警务数据被广泛应用于预测执法等领域，也并不意味着它们能够透明地反映犯罪行为。实际上，警方报告很可能反映制度化的自我呈现或个人和集体绕过官僚标准的策略。社会学家早就知道这一点，值得引起我们重视。正如奥尼尔（O’Neill）所指出的那样，结果就是基于那些可能是警务实践而不是犯罪评估的小违规行为来形成风险预测模型。在决策中，证明精算逻辑的一个重要前提是，“相信过去观察到的模式提供了关于未来可能发生的活动和事件的有用信息。”（28）但是在人类事务中，基于过去来预测未来的做法可能会进一步实化和再生产现有机构对待不平等的问题，并可能对其进行复制。由于人们的可见性受到数据收集引擎的社会组织的反对，数字编码成为种族、性别和阶级结构熟悉操作的新渠道。因此，针对有色社区的过度执法，再加上制度化的种族偏见的惯例，制定的犯罪数据集严重偏向于过度代表这些群体，并对这些群体的认知严重偏颇。社会服务资格自动化执法将最脆弱的家庭定罪，并使他们偏离他们应享受的福利。相反，针对主要以白人或主要以男性为数据集进行训练的算法可能根本无法看到被统治的群体。一个基于机器学习的算法审查工作申请者，发现了亚马逊存在男性招聘偏向的模式，并对包含女性候选人信号的申请给予低预测系统的其他陷阱，与概念不良或误用有关。虽然使用算法可以使决策更为客观，但这些系统中的目标函数往往反映出其他目标，尤其是机构成本优化和风险最小化。例如，一个被编程用于优化医疗支出的风险评估模型低估了黑人患者病情的严重程度，因为他们平均利用较少的医疗资源，则健康结果更差。（29）值得注意的是，通过动态调整的过程，机器学习模型也可能产生一种有害的反馈循环。例如，被预测的高犯罪区域或高风险个体将受到警方更多的关注，进而导致被逮捕率上升，并加剧对这些人的审查。类似地，对于黑人借款人来说，预测的更高信用违约率将导致贷款条件的不利，其结果是很可能导致更多的违约情况。此外，不成比例参与刑事司法系统以及不良的信用记录都会导致其他社会成本，包括就业、教育或住房的障碍，进而进一步造成经济损害。预测分析的超级表现创造了一种自我实现的预言，即使没有任何歧视意图，也会重复历史上的不利和结构性的不平等。最后，这些种类的劣势，可能更难以在政治上争议。因为它们是通过对个人而非群体行为的测量来进行渠道化的，所以它们被认为是公平的。而且，因为它们体现在数学公式中“被看作比之前的歧视系统更为客观或进步”30）因而可能更难被发现和挑战。但是，正如伯纳德·哈考特（BernardE.Harcourt）所指出的，将正义（和惩罚）简化为计算模型是根本性的问题。预测未来的犯罪行为过度决定了决策制定，而忽略了其他因素，如威慑、意图和伤害程度等。这构成了对刑事司法的“认识扭曲”。（31）公平性可能是当今机器学习领域最受争议的话题，这常常导致有关哪种统计标准最适合特定情况的复杂争论：假阴性与假阳性（falsenegativesversusfalsepositives）的争论，或者人口平衡性与预测率平衡性的争论。然而，有些批评者坚决反对在防止社会不公方面，数学的客观性在本质上比人类判断更好的观点，无论后者多么主观。弗吉尼亚·尤班克斯（VirginiaEubanks）坚持认为，在社会服务提供中，“同理心”起着基本作用：“对人类决策是不透明和不可访问的假设使我们放弃了社会承诺的承认，即努力理解彼此。”（32）弗兰克·帕斯夸雷（FrankPasquale）回应了这种情绪，并颠覆了韦伯的观点。他得出结论：一个以人为本的规则比机器的规则更能保障合法正当程序。（33）（二）算法支配个人信息的纳入已成为现代公民身份认定的必要条件。数字化的发展拓展了打击欺诈的雄心，同时也促使公民权益和福利向更精准化的方向定制（Fourcade2021）。这种趋势在全球范围内都存在：在不同的政治和历史背景下，信息化、现代化可能看起来既熟悉又截然不同。在印度，身份证是一个综合性身份识别系统，存储了每位公民的指纹和虹膜扫描数据以及人口统计数据，最初被宣传为反腐工具和高效提供福利服务的手段。然而，由于公共和私人机构之间沟通互动的需要，大量的基础性监控设施被迅速地建造出来。在南非，后种族隔离政府也试图实施全国性生物识别身份证系统，以提高社会福利津贴发放的一致性。政府以韦伯式典范宣称，该系统的通用性和标准化保证了平等待遇。尽管在南非历史上出现过令人压抑的信息基础设施，其中最著名的是存档系统，但这个新的公民数据库还是受到了后种族隔离时在中国，地方政府和中央政府都与私营部门合作发展面向个人和组织的社会信用体系，以增强其金融行为和公民意识。通过将算法生成的社会信用评分与实际结果（方便和特权、公开表扬或羞辱）进行关联，这些系统促进了规则遵从（例如，通过人行横道过马路）和遵守社会期望（例如照顾父母、做志愿工作）。尽管西方评论家对中国社会信用的发展多有诟病，但是有一点值得记住，其他地方的私有数据基础设施同样具有无法逃避的感觉。例如，奥尼尔描述了这样一种情况：一个求职者在美国零售行业的大部分工作岗位中被排除在外，原因是他未能通过由一家在该领域签有合同的软件公司设计的招聘预筛选测试。其他数据系统普遍跨越国界。例如，在自动识别欺诈的网络安全工具中嵌入了以欧洲为中心的假设，已经成为全球基础设施中普遍存在的一部分。在这些例子中，公平分配并不是唯一的问题。那些被强制管辖的人无法塑造算法统治的条款，或者规避代码的规则，这引发了关于民主和人类自主权的根本问题。编程精英们将其方法框架化为通用的领域和非特定的领域。但是，依赖单一逻辑来塑造跨机构的做法，导致的结果是潜在地会将人们困在自我强化的排斥循环中，包括工作、信用、教育、住房和社会权利的整个社会存在范围。不同的决策逻辑为那些在某些特别领域（例如个人金融35）中数据记录为不可预测或不具潜力的候选人，创造了机会和空间。这也是为什么美国监管机构在让车险公司使用信用评分来预测事故风险时持谨慎态度，以及雇主在处理信用报告数据时会小心翼翼地寻找差的数据背后的人性故事的原因。被一个不能感知或无情的系统支配或操纵，似乎违反了人类尊严和自主的基本概念。欧盟《通用数据保护条例》回应了这些情绪，规定了一项解释权，要求对算法决策进行人工审核。类似地，越来越多的人类学文献表明，人们在工作生活中悄悄地抵制算法的权威。在美国，“算法老板”已经输掉了重要的法律。在英国，针对2020年大学录取考试周期中使用机器学习来确定学生分数的抗议浪潮，伦敦区议会也取消了对“使用计算机算法来帮助决定福利申请和其他福利问题”的决定。这些民众的反抗活动与广泛的人种学证据相一致，表明配备了算法工具的专业人员在日常工作中也经常表达怀疑，或者推翻或者忽略它们。（36）最后，算法系统及其倡导者极有可能助战曾经被冯·哈耶克（VonHayek）谴责过的致命迷信，认为只有可测量的东西才是重要的。根据算法系统的技术能力构建社会的规范或法律的做法，可能会使我们看不到不可测量但必不可少的过程，或导致我们专注于错误的结果，或产生不值得回报的社会成本。特别是，一心一意地关注对狭窄任务的预测准确性，由于受到可用数据和可以提交的分类数据的限制，所以可以表达的政治或道德主张受到制约。正如奥斯卡·甘地（OscarH.Gandy）所说，在数字社会中，对风险的关注已经取代了我们对发现美好生活本质的兴趣，试图识别和控制那些可能使其遥不可及的事物。（37）因此，正确的批评必须从认识到算法是伦理政治实体开始，它们会产生自己的“善良、违法和社会应该是什么样子的想法”。（38）换句话说，算法正在改变我们道德直觉的本质——也就是说，我们与自己和他人关系的本质——以及在社会世界中存在的意义。下文将探讨这种不断变化的地形。四、量化分类及他者的不满专家系统，不论是人类还是机械，都对与其交互的普通人有特定的要求：人们必须让自己易于辨认，否则系统将无法识别他们；人们在与其交互时，必须遵守规则；而对系统的决策质疑能力通常也会受到限制。在传统官僚机构中，这些过程的最终仲裁者几乎总是一个人。但随着技术变得越来越自主化，人类处理器和决策者逐渐淡出，甚至这些步骤也可能会被机器引导。安德烈耶维奇（AndrejevicM.）认为，计算机通过强制人们进行预处理，标准化和碎片化信息、思想、身份和交互方式，以便机器识别，从而实现了一种社会技能下降。编程精英并非让机器增强人类智能，而是重新组织社会活动，以使人类支持计算机的操作。因此，在某种程度上人类被自动化了。具体而言，如果将人类的生活压缩成一堆数据包，通过执行分类功能的算法来过滤体验流，这意味着什么？通常认为，通过当代算法分类器实施的分类情况只在某些关键时刻才重要，例如允许信用检查以申请贷款。但是，数字基础设施的运作方式越来越全面、持续、动态。数字数据的痕迹不仅允许来自远离数据原始收集地的机构的入侵式探测（例如对房东和潜在恋人而言，信用数据很重要，警察部门渴望社交媒体数据），而且它们还通过反应性的、控制行为的网络反馈循环，在实时操作中实现指导或控制。一个人与数字系统互动得越多，他和社交生活的走向就越依赖于算法运算和选择。这不仅适用于上述重大决策的种类，而且也适用于琐碎的、瞬时的行动：例如，每次在线点击都潜在地揭示某种倾向或表明与以前的基准有所偏离。随着新的数据流入，类别和分类得到动态调整，基于这些类别采取的计算系统所采取的行动也得到了调整。这对于人们最终如何感知自己以及社会身份的形成具有重要意义。（一）身份认同的调和在现代数据提取和分析系统中，个人的属性往往是从行为痕迹推断出来的。每个有血有肉、有形体的人都有一个“双倍数据”，由这些痕迹构成的数据，是一个监视组合，其组成部分“在各种计算中心流通”（39）。这些个人行为的“切片”已经获得了金融产品的流动性，可以用于预测性档案管理。（40）即使是那些曾经被认为是在固定或几乎不会改变的身份方面，如性别、种族、公民身份、国籍，在虚拟化的方式下也变得可读。例如，网页浏览和其他数字活动的模式可以被挖掘，以确定一个人可能是女性还是男性。但是，这些评估（另一组基于算法推导的分类情况）总是灵活和临时的，它取决于数据流和分类器的特定组合。因此，算法推断性别认同可能随时发生改变。因此，技术正在建立并促进更广泛的文化转变，使性别认同可能更多元化和流动化，而不是二元化和稳定化。基于德勒兹（Deleuze）的理论，切尼·利波德（Cheney-Lippold）指出，算法身份具有调制的特性；也就是说，从行为痕迹中得出的特征，不断地受到改变和修正。德勒兹称之为控制的可模块化性，取代了纪律的僵化性，它将每个人塑造成相同的形态，就像组装线工人、经理和家庭主妇一样。算法对我们作出的推论往往通过可视化、评估、分数或建议反馈给我们，反过来又重新塑造了我们实时理解自己的方式。即使是差异——例如生物年龄和算法年龄之间的差异或性别自我认同和算法性别之间的差异——也可能不再被视为不完美技术系统的有趣错误，而是作为外部客观、不断波动的信号，告诉我们真正的身份是什么。它们甚至可以通过自我强化的反馈过程，如通过提供某种类型的广告或返回特定的搜索结果，帮助加强与测量类型的主观联系。虽然算法可以让亲身经历的真相变得外在和调节，并转移“我们在世界中取向的感觉”（41），但它们不太可能从根本上改变在世界中的运作的重要结构形态，例如性别或种族，正如在上文“精算主义及其不满”部分所讨论的那样。相反，可衡量类型的权力可能在用于合法化创造性表达和自我试验或改革机构分类系统时最为强大。通过斯诺登的曝光，我们知道，美国政府试图从数字信息中获取公民资料，以实现违法的数字通信监视，而这种行为被美国宪法所禁止。（42）在数据驱动的算法的帮助下，公民身份已经从一个二进制的机构类别转变为行为连续体。算法不断将我