被算法控制的社会（一）

被算法控制的社会（一）美国加州大学詹娜·布瑞尔马里恩·弗尔卡德；上海社会科学院杨泽凡/译发布时间:2024-02-22译者按：通过将数据集与代码进行配对（或算法处理）的方式，在大部分社会机构中都取得了发展。文章旨在研究这一现象所带来的社会结构的变化。首先，“编码精英”作为新职业阶层开始崛起，这一群体通过对数字生产手段的技术性控制，从“新边缘化”或未获得报酬的“网络无产者”（Cybertariat）中攫取劳动价值。其次，在社会各领域中被广泛应用的数字优化技术对于算法决策的主导地位的强化，不仅可能改变社会再生产以及社会流动的路径，还可能激起被管理者的抵抗。最后，文章分析了数字通信系统中普遍存在的算法中介是如何转变人们互动、交往和思考方式的。作者认为在谨慎对待人工智能所作出极端承诺的同时，也要认识到算法、社会结构以及个人主体性之间日益紧密的联系。关键词：算法社会，黑客伦理，编程精英，精算主义一、黑客伦理与硅谷精神在20世纪40年代，绵延起伏在圣何塞和旧金山间的圣克拉拉群山低谷，以其花果飘香、牛羊成群的果园和牧场而闻名。在电子工程学领域，尽管斯坦福大学是最早的开拓者之一，但其仍被称为“农场”——虽然这一叫法仍体现了“19世纪强盗大亨和他妻子多愁善感的淳朴”。①斯坦福大学从田园般的象牙塔彻底转变为全球经济的强大集团，源自冷战开始时政府大规模的投资活动。乘着科学的崇高语言“无尽边境”开发的东风（Bush1945），国防部的丰沛财力开始涌入大学，最终覆盖到西海岸。然而，与政府的联姻并非易事。越南战争和20世纪60年代“反文化运动”的兴起，使得军方赞助以及技术创新军事化，这日益引起居住在该地区的工程师和计算机科学家阶层的反对。他们急切地宣示自己的自治权，主张信息自由流通、社区政治优先以及平等互惠。在一次又一次的技术革命②的冲击下，“硅谷”（SiliconValley）这个永恒的神话开始逐渐凝结成晶。在帕洛奥尔托，许多大公司都是在车库和地下室里诞生的。高管们都是大学辍学生，没有人佩戴领带，企业的等级结构扁平化。工程师们通过壮观的文化形式如“火人节”来颂美这些价值原则以及他们自己。然而，他们粗鲁绝俗的伦理观念与无政府的自由主义政治关联在一起，便充当了意识形态的功能，而这也帮助他们消除联邦政府干预和推动这个行业开拓者依靠自己取得成功的商业史神话。尽管人们喜欢讨论社区政治和互惠交流，但科技领袖和普通员工都把个人主义、竞争和适者生存作为坚定的信仰。在2000年3月互联网泡沫破灭后，一场重要的转变开始了。硅谷处在了十字路口。当时，与互联网相关的企业虽然还是处于初创阶段，但是这些企业却在努力展示其长期的盈利能力。其中，幸存下来的初创企业，比如谷歌，至今仍在提供免费服务，但他们并没有明显的盈利策略。这是比较蹊跷的现象。改变人们对这一现象认识变化的原因，源于肖沙娜·祖博夫（ShoshanaZuboff）所称的“行为剩余”的偶然发现。这是祖博夫的功劳。突然间，她发现人们在网上闲逛和驻留时留下的数字记录痕迹，居然在没有利润的搜索、聊天、社交互动等业务中可以被广告商们利用。这样的事情也确实发生了。公司开始将它们所产生的偶发数据与新的机器学习算法技术相结合来预测人类行为。通常是开放和名义上免费的广告支持平台，开始取代昂贵的盒装软件的旧模式。现在似乎任何人都可以开发一个应用，而且任何人都能负担得起使用它。独立开发者可能会获得巨大利润，有些人也确实取得了成功。这种民主化的开放获取和发展的另一面，是对用户监视和操纵的加强。现在，对用户隐私或消费者福利的狡诈使用阻碍了业务的发展。创造收入越来越依赖于欺骗。为了吸引用户的注意力，开发人员采用了源于赌博行业的成瘾心理。与他们自己对开放、自由和社会联系的崇高赞美不同的是，这些公司现在专注于从更多人那里生成越来越多的数据，并巧妙地操纵它们以确保预期的结果：滑动、点击或者更好的购买行为。使这种“工具性权力”③的发展成为可能的办法，是采用现有法律来满足信息资本主义的需求。首先，科技公司将通过cookie和跟踪器把生成的个人数据确定为大量且免费获取。他们通过平台协议和看似良性的样板合同来获取数据，这些合同将该过程构建为互惠互利的交换。④其次，他们通过涉及专利的合法所有权和关于商业机密的争论来小心翼翼地保护他们的数据赏金。一旦其被标记为“法律特权的标志”，⑤那么，本应属于个人或公共领域的数据，就仿佛处于封闭或殖民的现代化进程之中，他们将被侵占并重新编码为私人资本或资产。今天，在对数字生产资料所有权前所未有的争夺中，一种新的阶级关系体系呼之欲出。本文分析了与科技产业崛起有关的社会分工以及通过算法——一组编写成代码并在计算机上运行的指令，对社会进程重组。⑥在下文“编程精英的崛起和大众的预自动化”中，本文将论证数字资本主义的核心分歧是编程精英和网络无产者之间的对立，编程精英掌握并控制着数据和软件，而网络无产者必须生产、精炼和处理供养或训练算法的数据，有时甚至将自己的工作自动化，使自己变得多余。同样，我们还表明这样的主张，即技术、经济效率以及公正是编程精英社会权力的重要组成部分。接下来，在“精算主义及其不满”这部分中，本文讨论了算法在零售、交通、保险、社会工作、医学、银行、警察和司法系统等职业领域的广泛影响。我们分析了算法工具在社会机构中普及带来的希望，同时也指出了其缺陷以及对社会阶级形成和不平等的影响。在“量化分类及他者的不满”这部分中，我们展示了算法过程构建了人们相互认识和联系的方式，并且技术中介与自我、社区的感知产生交叉。最后，我们思考了关于这种技术轨迹可能的未来路径的预测，提出了两个可能的方向。一个是回归一个具体的、但现在由算法增强的“赛博人格”（CyborgSelf）——一种带着我们回到一个以身体为基础的、但现在又经过算法增强的半人半机器的自我状态的途径。另一个是带我们进入一个平行的非物质社会的途径，在其中，我们的数据自我与制度监护者互动，其后果模糊而通过间接感知。二、编程精英的崛起和大众的预自动化对待这一议题，不必急于求成。让我们首先回到千禧年初的“世界技术容量存储，传递和处理信息能力”⑦的迅猛发展的重要性上。在各类机构中，对“数据要求”⑧的制度化是具有革命性影响的，不仅影响科技产业，也深刻影响了整个资本主义体系。商业杂志广告宣称数据是“新的石油”。每个小公司、每个公共或非营利性公司都可以参与其中，并尝试进行数据挖掘。针对这一目的，任何有编码能力的人都可以建立一个网站，开发一个应用程序，或者编写一个软件。任何一个网页都可以充斥着追踪器，而对收集数据进行分析则是实现货币化的途径之一。在互联网一荣一衰之后，硅谷实现了涅槃重生。由大数据和分析驱动的新生产模式正在兴起。这种信念让有希望的计算机科学家和工程师涌入了海湾地区，他们也希望能够骑上“独角兽”。由于不断增长的收入推高了当地房地产价值，所以工薪阶层开始不断离开他们的居住区，但同时也留下了许多流浪汉的露营地。这一地区的政治氛围仍然坚定地属于加州风格：原则上是进步的，但在实践中则于己无助。虽然硅谷的工程师们加入了激进的延长生命运动以及参加其他超人类主义追求的边缘主义运动中——通过食用代餐品以消除浪费时间的活动，或像他们黄金时期的前辈们一样设立了雄心勃勃的新慈善机构，但是越来越多的人正在挨饿，正露宿在圣何塞和旧金山街头。新冠病毒疫情远不止让这些人的生活捉襟见肘，反而进一步强化了技术“解决主义者”⑨的主张，同时在数字教育等方面催生新的不平等。城市中极端的富裕与贫困并存，是算法社会建立在新经济中最显著的特征。从传统马克思主义的视角来看，这种区别将最极端的资本所有者（主要是风险投资家、公司创始人和科技员工，其中许多人也拿到了股票）与为他们辛勤工作的人群（服务工人、分包商和临时工人）对立起来，后者承受着生活成本上涨的冲击，但没有享受任何福利。截至2018年，在加利福尼亚最不平等的圣马特奥县，最富裕的1%人口的收入比最底层的99%人口高出49.1倍。作为整体，旧金山湾区的收入差距增长是全国最快的地区之一：在1980年到2018年间，90%家庭收入增长了60%，而50%（中位数）和10%家庭的收入分别增长了24%和20%。在低收入层级和技术产业劳动力的底层社会，黑人和拉丁裔人占比也超过其他人种。2016年，主要技术公司员工中，白人或亚洲人占78%，而女性仅占30%（Tomaskovic-Devey&Han2018）。在数字资本主义发达的其他中心（如亚马逊和微软所在的西雅图），也具有类似的结构，并经历了类似的发展。（一）编程精英：庞大的权力卡尔·马克思把生产关系及其形成的意识形态与技术的发展密切联系在一起。在《哲学的贫困》一书中，马克思的一段名言清楚地阐明了这一观点：“社会关系和生产力密切相联。随着新生产力的获得，人们改变自己的生产方式，随着生产方式即谋生的方式的改变，人们也就会改变自己的一切社会关系。手推磨产生的是封建主的社会，蒸汽磨产生的是工业资本家的社会。人们按照自己的物质生产率建立相应的社会关系，正是这些人又按照自己的社会关系创造了相应的原理、观念和范畴。”⑩今天人们利用数据和由算法推动的软件系统进行生产，它带给我们一个软件资本的社会。一群精英占据了数字化社会的高层，这是一个新的阶级或者说是原初阶级，我们将之称为“编程精英”。这一称谓，是在致敬米尔斯意义上提出的。编程精英包括：软件开发人员、科技公司CEO、投资者、计算机科学和工程学教授，等等。在这些有影响力的角色之间，他们经常毫不费力地进行转换。在包括斯坦福大学在内的全国各地大学里，学术界和科技产业间的壁垒往往是很弱的，教授们可以在自己的创业公司、大型公司的重要职位、政府赞助的研究实验室和课堂之间转换。在这里的世界，最有价值的人是那些能接触和理解计算机代码的人。最有权势的人，是那些拥有代码并可以雇佣他人按照他们的意愿执行的人。在这里，掌握了计算技术，就意味着被赋予了特殊的权力。这些权力，体现在文化、政治以及经济等方面。在文化方面，编程精英们生活在可靠的数字世界中。因为，他们的形式逻辑在数学上是可以证明的，因此这些技术似乎具有普遍性，从而远离了混乱的人类政治世界。编程精英们将算法视为几乎可以开启包括社会学在内的所有学科的、可以改变政府行动每一个领域的、可以解决人类社会面临大多数问题的钥匙。但是，只有经过学习的人，才能穿透其隐晦的语言，并通过它来解决棘手的问题。在此过程中，他们提高了自己的社会地位。在政治方面，编程精英们生活在充满控制力的世界中。狭义上，为了将社会规范和法律规则从自然语言转化为计算机代码，计算机科学家必须执行解释性工作，这肯定会扭曲和简化社会规范和法律规则。但广义上来讲，代码指挥着世界，换言之，“代码即法律。”@这意味着两件事：一是代码使世界易于理解——它通过将人和物重新构建为可读取的机器实体来代表它们；二是代码是强制性的——像法律一样，它同样具有承认和排斥、分离和分配的权力。但是，与书面规定的法律必须由不同的机构——通常是人类，因此能行使自由裁量权——来执行不同，代码一旦被编译和运行，那么它就既规定了规则，又自动化了它们。在物质层面上，编程精英们处于赚钱的有利领域。对于风险投资家来说，数字技术行业企业产品最有吸引力的是它们的良好扩展性。例如，“Facebook”现在全球已经拥有超过26亿用户，每个用户都自愿地为该平台贡献核心内容。正如莫罗佐夫·耶夫根尼（EvgenyMorozov）所说：“在Facebook上，人越来越多，它的价值也就越来越高……这也适用于搜索引擎：使用谷歌的人越多，它就变得越好，因为每次搜索都是对服务进行调整和改进的某种形式。”这是第一个优势，可称其为网络效应。第二个优势是机器学习的工作方式所带来的直接结果：它以自动化反馈循环为动力，不断地吞噬新的数据并逐渐提高预测准确性（或者至少声称如此），从而扩大市场可能性。信息技术的悠久历史，或多或少是一种不断完善对劳动力控制的过程，是对源于工业革命中不断变化的原材料产地和市场的控制。伯里斯·贝弗利（BurrisH.Beverly）认为，这种内在的趋势，使得负责技术控制的专家阶层越来越独立于他们的官僚控制。计算机化的控制形式尤其如此。这种形式，往往有利于社会等级制度的扁平化、专家和非专家部门之间的组织两极分化，以及技术和管理职能之间的融合。正如贝弗利所说，“已经证明的专业知识和获得认证的证书，倾向于取代等级权威成为合法权力的基本来源。”⑫编程精英的权力完全在于他们对技术的控制，而非曾经的定义职业权力的制度化过程。值得注意的是，编程精英普遍对资格考试不屑一顾，他们普遍持有的理念是通过具体的应用证明自身技艺的价值。他们通过“更好更快地完成一项任务的纯粹能力”⑬来获得权力。必要时，他们还会依靠将“预言、壮观和承诺”的诱惑力嵌入技术演示中以获取权力。用科米萨·兰迪（KomisarRandy）的话说，“是浪漫，而不是金融，让业务值得追求。”⑭由管理大师、专业杂志和技术狂热者（负责传播特定技术的信念并建立忠实的追随者）组成的文化网络，进一步有助于这种组织的神话制造，并将权力巩固在能够实施和理解代码的人以及资助他们的机构和个人手中。在追求市场扩张的过程中，科技行业越来越多地削弱和宣称曾经作为专业判断领域受到保护的任务，这些任务曾涉及从商业管理、医疗和刑事司法系统到国防、教育和社会福利的各个职业领域。深植固有的权力和人为机构只不过是暂时性妥协，等待着他们的是最常规任务乃至工作领域的自动化。无论职业多么崇高或者入行的门槛多么高，都不能避免被二次算法意见所评判，甚至完全被其替代。合法性已从专业人士转移到了编程大师，而且的确越来越多地依赖于算在挑战专业领域的过程中，通过使用行为经济学或社会心理学作为论据，编程精英们通常会依靠人类决策者和算法工具之间的正式比较，但这些比较往往会偏向技术。工程师们借鉴了大量文献（其中一些已经被行业媒体和主流媒体滥用），而这些文献表明即使是最有声望的专业人士在客观性或最佳决策方面也会犯错误。他们以机器连贯的一致性对抗这些失败，相比于医生，“算法不需要休息，无论是在凌晨2点还是早上9点，它们的警觉度都相同。”⑮在他们看来，堆积如山的数据（有时被特别生成来用于训练机器学习算法），使人的决策不足；相反，人们应该使用算法来改革他们自己的理性推理实践。这里，其主要理念是：“