圆形监狱中的算法监控伦理问题

圆形监狱中的算法监控伦理问题

随着信息技术和网络技术的发展和融合，算法监测作为一种重要的认知和世界重建工具，以“无声润物”的形式渗透到人类社会的各个领域，对人类的生产和生活方式产生了重大影响。正如麦克卢汉所言，“我们塑造了工具，但工具反过来又会塑造我们”。算法监控在海量数据与强大算力的加持下虽然实现了工具理性的“胜利”,但也孕育了价值理性自我异化的基因，“数据控制”成为算法监控社会滥用的基本依据，《数据安全法》的颁布为算法监控的社会治理提供具体指南。一、“圆形监狱”的内涵在计算机科学界，算法常常被认为“是按照设计程序运营以期获得理想结果的一系列指令。”福柯意识到“圆形监狱”的规训意义，并在此基础上提出全景敞视主义，并认为“全景敞视主义是一种新的‘政治解剖学’的基本原则，其对象和目标不是军权的各种关系，而是规训的各种关系。”数字化“圆形监狱”是随着算法监控技术的发展而产生的一个数字式虚拟监狱，而非建筑学意义上的物理式圆形监狱。由此，在本体论上就形成了一个不同于“物理式监狱”的一个“新监狱”。相较于传统建筑学意义上的圆形监狱，其隐蔽性大大提高、渗透范围越来越广、监控程度越来越深，它带来的不仅是人们主动接受规训，还有人们被动接受惩罚。一方面，由抽象数字代码组成的算法具有不可见性，这种不可见性隐匿了时空结构对监控机制的限制，迫使人们自身产生一种有意识的“自我约束”状态，人们不知不觉就参与到算法监控对其自身的规训之中；另一方面，技术化存在的人时刻处于算法监控可见范围之内，人们在互联网上贡献的数据反过来会成为统涉人们自身物质生活、精神生活的“原罪”,成为数字化“圆形监狱”中的“数字难民”。可以说，“现代电子技术的发展已经使社会变成了一个数字化‘圆形监狱’,看似自由的现代社会密布着各种监视技术与力量。”二、式自动实施规训如上所述，算法监控构造的数字化“圆形监狱”以不可见的方式自动实施规训权力，以超时空控制的方式实现对人的算法谋划。算法监控具有追求权力与控制内在本质，使其与海德格尔所说的“座架”与芒福德所说的“巨机器”的分析联系到一起。(一)座架的技术因素算法监控在“座架”的支配下演进为算法霸权。“‘座架’是一种解蔽方式，这种解蔽方式在现代技术之本质中起着支配作用，而其本身不是什么技术因素。”(二)“巨机器”的本质特征算法监控是一个“新的巨机器”。美国技术哲学家刘易斯·芒福德在其《技术与文明》等著作中提出巨机器这一概念。这一概念最早起源于古埃及，一开始指的不是有形的机器，而是一个由人力组成的，为了追求绝对控制的社会组织形式。最早的巨机器由经过严格组织化的人力组成，受制于当时生产力的发展水平，它的效率很低。随着生产力的快速发展，“新的巨机器”(计算机、算法、大数据、人工智能等)被确立起来，传统巨机器逐渐脱离人们的视野。虽然新型巨机器与传统巨机器在形式上发生了巨大变化，但二者本质特征并没有发生改变，即追求权力与对他人的控制。芒福德用“巨机器”来表征现代社会技术的本质特征。所谓“巨机器”,“就是与生活技术、适用性技术、多元技术相反的一元化专制技术，其目标是权力和控制，其表现是制造整齐划一的秩序。”在“座架”与“巨机器”的支配下，算法通过监控数据预测人们未来行为，并在此基础上对人们进行规训与惩罚，主要表现在“信息茧房”与算法歧视等伦理风险。这些伦理风险与“圆形监狱”规训与惩罚的核心要义存在“逻辑共契”。这是因为，从一般意义上来讲，科学知识来源于对数据的分析与解释，算法凭借着强大的分析整合能力能够将海量数据转化为预测知识，在此意义上，算法监控构造的数字化“圆形监狱”,通过数据——权力相互作用来实现规训与惩罚的运行机制，与福柯眼中的“圆形监狱”通过知识——权力相互作用来实现规训与惩罚的运行机制相一致。三、算法监控:“人之所是”的“先行党建”凯斯·桑斯坦在《信息乌托邦》中详细阐述了“信息茧房”这一概念：“在当今网上环境中，人们可以自由地分析和获取大量的信息，但同时也使自己陷入了一个‘回音室’当中。因为公众自身的信息需求并非全方位的，人们习惯性地将自己包裹在由兴趣引导的信息中，从而将自身桎梏在一个‘茧房’中，这种现象被称为‘信息茧房’。”“信息茧房”产生的主要原因有两个方面：一是自身原因。人自身的思维惰性热衷于最熟悉的信息来源，这种思维习惯自然而然地会把自身困在“茧房”中；二是技术原因。数字平台为了能够在激烈的竞争中留住用户，就要依靠“投其所好”原则，放大与强化对用户社会需求的满足，不断地推送用户感兴趣的信息，提高用户满意度。数字平台利用算法来监控用户的数据足迹，并在此基础上进行“个性化推荐”,使得用户陷入它们编制的“小世界”中。“信息茧房”是随着个性化推荐算法的产生而诞生的，而个性化推荐算法是通过分析整合海量监控数据实现的。具体而言：一是基于内容的协同过滤算法下的“信息茧房”。算法通过对用户的数据浏览足迹进行跟踪与记录来发现用户的内在偏好，从而将与用户兴趣爱好相类似的新闻推送给用户。以“今日头条”为例，算法通过监控用户在使用“今日头条”过程中留下的数据足迹，分析与提取用户“爱好DNA”,然后精准推送用户感兴趣的新闻；二是基于用户的协同过滤算法下的“信息茧房”。对于感兴趣的商品或内容，用户一般都会产生点击、购买、收藏等行为，算法通过监控用户的此类行为来衡量用户之间的相似度。这类算法背后隐藏的逻辑前提为“人以类聚，物以群分”。它一方面是根据内容寻找用户之间的关系，当用户在某个平台上填写个人喜好的内容时，算法就能根据用户所填写的个人资料分析与其他用户之间的相关性，如果相关性较高，就会向用户推送与他具有相同爱好的用户所偏好的信息；另一方面是根据日常生活中的人际关系来建立用户之间的关系，算法通过监控用户在现实生活中所存在的人际关系网络来推荐关注对象。举例来说，算法通过分析微博上的点赞数和关系网来衡量用户之间的“友谊”。如果某个人发出的微博，另外一个人经常点赞，算法就会认为这两人“情比金坚”,就会给目标客户推荐关注对象。毫无疑问，无论是基于内容的协同过滤算法，还是基于用户的协同过滤算法都不约而同地把人们困在“茧房”之中，给人们造成不可估量的隐性危害，损害了人们的判断能力。从技术层面分析“信息茧房”产生的原因具有深刻的哲学反思意蕴。算法通过监控所得数据将人们包裹在“信息茧房”之中，在此意义上，数即是术，具有筹划性与主宰性。算法通过监控数据实现对“人之所是”的“先行领会”,达到算法筹划目的。也就是说，算法利用监控数据先行规定关于人的抽象存在，以“个性化推荐”的方式践行对人之规定的“先行领会”,深刻地改变了人的思维方式与生存环境。一方面，算法通过监控数据为个人定制“画像”,每个人都身处“信息茧房”之内，同质化数据扑面而来，使得人们始终追求自我以为正确的逻辑自洽，其思维方式必然将自己的偏见认为是真理；另一方面，算法监控倾向于将一切“理解”为数据，人与物被同化为二进制数据，成为算法整合分析的对象。数据关系成为数据时代最重要的社会关系之一。数据关系扩张的直接后果就是将人的一切行为举止转换为可以计算的数据，这使得人们的生存环境就像桎梏在蚕茧一般的“茧房”之中。当下阶段，算法监控塑造的“信息茧房”强调利用用户数据进行资本谋划，进而获取资本积累的目的性，而忽视了作为主体的人的丰富性，这表现出工具理性与价值理性的矛盾日益突出。可以说，算法监控的数据生产是影响其“价值理性”的重要因素。在大数据时代中，“信息茧房”以“个性日报”的形式产生影响。“个性日报”实际掩饰了数据企业深度数据挖掘的卑劣行径。算法通过个性化推送信息，看似迎合了不同用户的需求，实则确切断了我们与外界的交流。随着算法个性化推荐日益渗透在我们的日常生活，各大网络社交平台表面上看是信息自由交流的地方，却不知已经成了“信息茧房”成长的温床。看似自由的交流场域却在算法监控“数据垄断”的规训下内蕴对人们自由的禁锢。人们表面上可以自由地交流且自由做出选择，但本质上早已被数据——权力失衡的运行机制强加了种种不自由的选择。算法监控以推送的方式针对性地强化了用户阅读体验，让用户对某个感兴趣的信息得到几何倍数的增加，但那些对于用户不感兴趣的信息则被悄无声息地“遮蔽”了，用户只能接收到某一范围内的信息，进而减少用户信息相遇的概率，在人与人之间建构出一座座“信息孤岛”。在“个性日报”的助推下，算法操作信息供给，人们可能因此失去了解外界的权力，个人获取信息的渠道趋于窄化，从而影响个人全面的发展。“信息茧房”对人们的自主权也极具威胁。“信息多样性是人进行自主决策的前提条件，而个性化所造成的信息茧房则会排除主体不感兴趣的信息而只推送相关信息，进而阻碍主体进行自主决策。”四、算法歧视会更恶劣福柯将“圆形监狱”隐喻为现代的惩罚式社会。算法与监控的结合塑造的数字化“圆形监狱”以新的实践与形式延伸与强化了传统“圆形监狱”的惩罚功能，数据企业如同“上帝之眼”时刻审视目标客体，进而塑造目标客体的思维方式与预测目标客体的行为轨迹，其带来的这种惩罚会更加残酷，主要表现之一就是算法歧视。“算法歧视是指数据驱动的算法决策会导致歧视的做法和后果，换言之，算法决策可以再现已有的社会歧视模式，继承先前决策者的偏见从而加深流行的不平等。”(一)．算法设计缺乏歧视算法模型作为一种数学杀伤性武器可以被看成用“数学的方式表达的意见”,算法的运行需要一定的变量，而变量的赋值、分类都是由设计者人为设定的。算法编程人员可以通过道德物化的方式将人们撰写“剧本”中存在的偏见“嵌入”算法中。这主要表现在以下两个方面：一是价格歧视。算法设计者建立的算法模型能够通过监控消费者的消费记录、行动轨迹等行为数据，将同样的商品对不同的用户显示不同的价格，“大数据杀熟”就是典型的歧视性定价行为。二是结果偏袒。算法设计者根据其内在的偏好，使得算法模型对某些结果产生一定的偏袒，从而可能造成歧视行为的出现。进一步而言，就算编程人员没有故意将偏见嵌入算法模型中，但他们作为日常社会中生活的人，思想与行动都会受到当今社会意识形态和个人知识储备水平的影响，从而也很难保证无意识的偏见不被“嵌入”。(二)数据的碎片化数据作为算法“活的灵魂”,数据的质量影响算法决策的质量，然而数据具有无边界性、碎片化、滞后性特征，这些特征会导致出现算法歧视现象：一是数据具有无边界性特征。众所周知，数据源于人类的记录，苏轼在《赤壁赋》中说道，“耳得之为声，目遇之成色”,这些声色“取之不尽用之不竭”。这说明我们听到的、看到的一切对象都是没有边界、无穷无尽。换言之，可记录的现象是无穷无尽的，算法监控的数据也难免有遗漏，从而可能导致出乎意料的歧视。二是数据具有碎片化特征。“数据一经产生，就是碎片化的，数据就像玻璃，它从来都是断片的、不连续的，数据只能记录事实的一个或数个侧面，无论怎么记录，它从来都没有、有不可能形成一个完全记录的事实。”(三)．落后地区的人额度对司法的影响例如，贷款公司在训练其贷款算法时，把“邮政编码”等数据纳入其中，从表面上看并没有什么不妥，但从本质上来看，“邮政编码”表达了这么一种观点：某个落后地区的人贷款额度可以适当减少，其中就暗含了歧视。另外，有相关统计表明，美国黑人的犯罪率比白人更高，这个统计结果影响了美国司法部门几十年，让黑人很难得到与白人一样的司法权力。从本质上来看，这个统计结果掩盖了两者的因果关系。在现实社会中，黑人难以享受到跟白人一样的上学待遇，难以找到与白人一样的工作等，在某种程度上说，黑人的高犯罪率正是这种现实不平等带来的后果。算法歧视具有以下两个特征：1.所使用生产生产符号和拼接语法，无法突出低教育水平的原因例如，ZestFinance公司开发的一款算法把一些不寻常的观测值设置了较高的权重，比如申请者的贷款申请是否正确地使用了标点符号与拼写语法。标点符号和拼写错误表明了教育水平的高低，低教育水平又与阶级相关。当穷人不符合标准的语言水平时，算法会抬高他们的贷款利率，如果他们后来因为贷款利率高而导致还款困难，这反过来又会证实他们是高风险群体的假设。2.．犯罪率高与侵犯发生率高用有偏见的数据训练出来的算法模型，其输出的结果必然也带来偏见，然后这一输出结果通过对系统进行反馈，就会使偏见得到巩固与加强。例如，犯罪预测算法的训练数据是关于大量黑人的犯罪历史记录，通过对黑人进行身体歧视导致黑人无法得到与白人一样的公平待遇，黑人的犯罪率更高了。黑人居高不下的犯罪率又反过来又正好印证了算法的预言，故很难对算法进行质疑，算法对黑人的歧视进一步加强。五、“信息蝶房”与算法歧视的伦理风险算法与监控的秘密合谋塑造的数字化“圆形监狱”迫使人们接受数字化分析与预测，并在此基础上对人们进行规训与惩罚，使人们面临“信息茧房”与算法歧视的伦理风险。算法监控伦理风险的社会治理要以算法监控技术为反思、规范的对象，不仅要考虑算法监控技术本身的特性与结构，而且还要考虑算法监控与人和社会之间的关系——算法监控与设计者以及使用者的关系、其所带来的社会影响等，为此，我们要注意以下应对策略：(一)“慎言慎行”与“言行合一”目前，大多数人对语言功能的理解主要停留在“认识世界”,而非“改造世界”这一层面，把这习以为常的理解搬用到互联网上就会产生这样一种认识，认为只要在网上“君子动口不动手”就不会产生实际影响，从而在网络中随意发表言论。由于只需要赋予算法几条基本的指令，它就能最大限度地挖掘我们在网络上发布的信息，这些信息能带来“信息茧房”与算法歧视。我们必须改变对语言的功能仅为“知”的狭隘理解，要看到语言也能行驶“行”的作用。也就是说，我们要意识到数据能够决定我们做什么，从而在网上“谨言慎行”。而且，伴随着算法监控的塑造作用日益凸显，我们需要反思算法监控技术的社会角色，将人与机器的对立思维转换为协作思维，从人——机交织的框架下认识到算法监控的规范意蕴。(二)技术设计的伦理反思面对算法监控技术产生的伦理问题，最直接的办法就是挥舞着伦理大棒进行技术批判，随时对该技术的“越界”行为吹口哨，我们可称之为技术伦理研究的“外在主义”进路。“外在主义”进路试图将算法监控的社会应用限定在伦理规定的范围内，这一努力是正当的，因为人要为其创造的技术负责，但也有一定的局限性。算法监控并非是完全被动的“客体”,伴随着算法监控规范意蕴的日益凸显，不断塑形人类思维、行为方式。基于笛卡尔二元本体论的“外在主义”进路已不再适应当前技术实践的需要。拉图尔提出的“行动者网络理论”隐匿了“人”与“非人”的界限，将技术物视为与人地位相平等的“行动者”。鉴于技术物的“行动者”地位，在具体的技术实践中，技术设计者要与伦理学专家共同交流协作，促进“外在进路”与“内在进路”协调共进。通过具体的技术设计将公平、正义、法制等伦理观念“嵌入”算法监控技术之中，使之在使用情境发挥善的作用。“让科技的‘智能’与人的‘智慧’相结合”(三)相