ChatGPT 们难以复制的原因除了耗显卡还有水电费太贵

ChatGPT们难以复制的原因，除了耗显卡，还有水电费太贵？最近，出现了新的对于ChatGPT研究，比如AI耗电、排碳等，并非是在谴责或反对发展AIGC用资源去换取技术的改进。现如今AI能发展到如何，谁也说不准，但它有着无限的发展可能，需要我们去不断的探索。本篇文章推荐给对AI感兴趣的童鞋们阅读。一觉醒来，世界又变了。ChatGPT走入大众视野之后，AIGC行业迎来了爆发，尤其是上个月，仿佛每一天都可能是「历史性」的一天。以ChatGPT为代表的生成式AI，看似超前，但却以一种极其「古典」的交互形式出现在大众面前。它没有花里胡哨的图标，也没有深入人心的UI设计，而是用最简单的对话框来「震撼」世界。不过，如此简单的形式，却成为了当下网络上和现实里最火热的话题，果然「好看的皮囊千篇一律，有趣的灵魂万里挑一」。只是存在于一个个web网页，一条条简单的问答中，往往会让我们忽略不少问题。看似毫无负担的一个个「回答」，背后却用着世界上屈指可数的云算力。随着ChatGPT成为常态，隐藏在ChatGPT们背后的这些角落也逐步被报道出来。01烧钱费电，还喜欢喝水生成式AI耗费显卡这种情况，有些类似于「挖矿」。对大语言模型（LLMs）进行训练，参数越多，性能越好。2018年的LLM大约有1亿个参数，而到了现在，大约就要对2000亿个参数进行训练。运行他们需要算力更强的GPU，英伟达也在2020年推出了相对应的A100高性能GPU，并且也可以打包八张A100形成DGXA100服务器。这些计算服务器，或者说显卡组，最终被安放在所谓的云计算中心，比如说微软的就是Azure云服务。不光训练大语言模型需要大量算力，当每个用户请求一次，ChatGPT们回答一次，都要调用部分算力。流量就是金钱，我想OpenAI、微软应该有刻骨铭心的体会。根据Similarweb的数据，上个月ChatGPT吸引了全球16亿次访问，是一月时的近三倍。这种情况下，即便微软有所准备，给ChatGPT准备了一万多张A100，但面对如此的流量，OpenAI还是坚持不住了，出现了宕机、封号和暂停Plus会员的开通。有人做过预估，想要吃下当下的流量，微软还得买几万张A100、H100显卡，Azure现在的算力远远不够。但买更多的显卡，除了烧钱，也会衍生出许多问题。八张A100组成的DGXA100服务器大概售价19.9万美元，最高功率为6.5kW。按照一万张来算的话，光在硬件上微软就要花去2.5亿美元，运行一个月就要用掉585万度电。而按照国家统计局公开的数据，我国居民月度用电量大约是69.3度。ChatGPT运行一月，大概与我们8万人用电相当。除了显卡本身的价值，以及维持他们工作所需的电能外，给他们创造一个凉爽的环境，配置一套蒸发冷却装置。原理也比较简单，就是利用蒸发水来散热，但运行起来需要消耗大量的清水，并且在循环的过程里，大概会有1%～2%的水会作为细水雾被风吹走。虽然站在宏观角度，水仍然维持着动态平衡，但在冷却塔的小环境中，却是一种无形的消耗。结合AIGC需要庞大算力的计算中心，卡罗拉多大学与德克萨斯大学的研究人员就在论文里预估了在训练过程中所消耗的清水。以GPT-3为例，训练过程中所需的清洁淡水相当于填满核反应堆冷却塔所需的水量。果然AI最终还是要跟核电挂上钩。如果再具体点，则大约消耗了70万升，并且他们还算出，一个用户与ChatGPT进行25～50个问题的对话，大概就相当于请ChatGPT喝了500ml水。同时，他们也发现，蒸发冷却塔在工作时，平均每消耗一度电，就会让一加仑水（3.78L）消失。其实不仅是微软，Google在2019年为其三个数据中心使用了超过23亿加仑的清水。Google的数据计算中心图片来自：Google在美国本土，Google拥有14个数据中心，为其搜索和现在的LaMDA和Bard提供算力。且在训练LaMDA语言模型的过程要比GPT-3还耗能费水。原来，AI不止费显卡，住恒温的大house，胃口还出奇的好，大口吃电，大口喝水。02无处不在的AI鸿沟在AIGC行业里，一个简单的，能准确响应的对话框，背后不只是展示技术实力，也展示了雄厚的金钱实力。SashaLuccioni博士就表示，大型复杂的语言模型，世界上只有少数的公司和组织才有资源训练它们。还是以GPT-3为例，训练1800亿参数，成本大约是460万美元，还不包括后续的运行和迭代维护等等。这些有形和运行过程中带来的无形成本，很多公司很难承受。由此，在AIGC浪潮里，无形之中有了那么一个AI鸿沟，大概也分成了两类公司。一种是，花得起耗得起资金，能够训练先进复杂的大语言模型的大型科技公司。另一种就是无法承担成本的的非盈利组织和小型公司。在许多关于AIGC到底消耗了多少电力、资源的许多研究报告中，大多是以GPT-3，或者用「预估」等字眼。就像对训练GPT-3用了多少水的研究里，由于OpenAI并没有披露GPT-3训练所需的时间长度，因此研究人员只能从微软所公布的Azure计算中心冷却塔的数据来预估。而关于碳排放等一系列参考数据，也多是从2019年的Bert训练模型中预测而得。除了资金、GPU、数据中心、网络带宽等等硬实力，Google、微软也把大语言模型的训练算法、过程、时间、参数等等都列成了最高机密。我们想使用和了解它，只能通过提供的API，或者直接询问ChatGPT或者Bard本身。无形之中，这也成为了一个「AI鸿沟」。AIGC发展地如此迅速，并且能力也在无限扩大，许多国家地区和组织都在考虑如何给AIGC设立一些规范，免得它（产生自我意识，开始觉醒……）恣意妄为。但就如同相关的研究人员一般，目前AIGC（如GPT-4）几乎没有公开的信息，更像是一个黑盒。诚然对于大公司而言，AIGC可能就是下一个新时代的开端，塑造科技壁垒，无可厚非。但对于资源的消耗，无论是对于立法机构，还是对于大众，都该保持一些透明度，这也是AI在提供便利的同时，为何研究人员不断挖掘和道明相应的代价。03发展AI，其实也是人类的一次登月对于AI耗电、排碳，以及最新的费水等研究，并非是在谴责、或者说反对发展AIGC用资源去换取技术的改进。这些数据，其实是提供了AIGC行业的另外一个角度，在一条条符合人味儿回答的背后，到底我们或者说大型科技公司为此付出了什么。也并非是要呼吁Google、微软立刻做碳中和，并为耗费的水资源、电能和间接的一些环境问题买单，让它们变成GoogleGreen或者是绿软。AIGC的爆发，并不是一蹴而就，也不是简单开窍式的技术爆发，它背后涵盖了相当多的产业链，更像「水到渠成」。大公司云计算中心算力的增强，以及GPU对复杂算法的高效计算，以及大语言模型参数的复杂化，再加上AIGC企业本身一直在不计成本地投入。而在GPT-3出现之前，AI们的能力还显得比较稚嫩，大众也没意识到AI可能会改变世界。但随着GPT-4、MidjoureyV5等等涌现，AIGC也终于成为了硅谷宠儿。此时此刻，OpenAI、微软、Google等大企业对资源的消耗，对大算力的使用也有了一个初步的成果。同样地，当下的AIGC节点，有些类似于阿姆斯特朗刚踏上月球的那一刻。登月动用了当时相当的资金财力资源，但月