对话ChatGPT之父我们不是为了炫耀参数数量而存在

对话ChatGPT之父我们不是为了炫耀参数数量而存在对话ChatGPT之父我们对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第1页。·“我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小。”·“我认为对参数数量的关注度过高。”山姆·奥特曼在麻省理工学院（MIT）举办的活动中远程连线。ChatGPT开发机构OpenAI的CEO山姆·奥特曼4月曾在一个对话活动中称，他们没有在训练GPT-5，并提到“我们现在已经接近巨型模型时代的尾声”，正在寻找其他方式改进模型。这场名为“想象行动”的活动由麻省理工学院（MIT）举办，其完整对话内容在当地时间5月8日被主办方公布。奥特曼在对话中详细阐述了他的思路，认为模型规模不一定能带来最佳的效果，模型能力才是最重要的结果。奥特曼被问及基于大模型的商业思路，他坦承自己不是商业策略家，“很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。”以下是对话内容，略有删节：主持人：第一个我想问的是，如果AGI（通用人工智能）即将到来，那么我们现在正处于一个拐点。人类历史在AGI出现之前是一个段落，然后，从这里开始显然有一个完全不同的历史。所以在我看来，无论事态如何发展，你都将成为历史书中的焦点。你认为是这样吗？对话ChatGPT之父我们不是为对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第2页。主持人：关于历史将如何描述这个时刻，这个时刻是（人工智能）这个领域里的创新之年。奥特曼：我希望这会成为历史书中的一页或一章，但我认为在接下来的几十亿年里会发生如此多不可思议的事情，以至于这将只是其中的一个小部分。所以我认为，在我们面前会有更多新的、更大的、更令人兴奋的机遇和挑战。主持人：你能否给刚创业的公司一些快速建议，需要从一开始就做出哪些决定？从哪里开始？如何让它在任何特定的垂直用例中发挥作用？等等。奥特曼：没有什么能超过你为用户打造一个他们喜爱的产品的责任。你要非常了解你的用户，满足他们的需求，考虑长期可持续的商业策略。在平台转换期间，这实际上可能变得更加重要，而不是变得不那么重要。回想一下应用商店的推出，这可能是最近类似的例子，有很多公司用非常轻量级的东西构建了具有掠夺性机制的产品，但这并不是什么持久之计。这样的公司经历了令人难以置信的流星般的兴衰。而那些真正按照正常步骤去打造伟大企业的公司在过去15年里持续发展。所以你肯定希望成为后者。技术只是一个新的推动器，但你作为公司需要做的是建立一个具有长期复合战略优势的优秀公司。主持人：让我们开始谈谈基础大模型。回顾过去两年，开始的最好方法之一是采用现有的基础模型，添加一些层，然后针对垂直领域重新训练它。现在基础模型可能有一万亿个参数，规模要大得多。但是，在不重新对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第3页。奥特曼：最大的模型中大约有32000个，基础模型中有8000个。主持人：那么，基础模型未来会如何迭代？这应该相当快就会被推出了。奥特曼：我们仍在努力弄清楚，开发者在模型定制方面到底需要什么。我们愿意在这里做很多事情，我们也把开发者当作我们的用户。因此，我们的目标是让开发者非常满意，弄清楚他们需要什么。我们原以为这将是一个更精细的微调（finetune）的故事，我们一直在思考如何以不同的方式提供这种服务。但是，人们似乎更喜欢使用基础模型来完成一些非常了不起的事情，所以我们正在积极地重新考虑，要优先考虑哪些定制。因为用户需要的东西似乎在模型变得越来越好的情况下也在不断改进。随着模型越来越好，对微调的需求也越来越小，你可以在上下文中做越来越多的事情。主持人：当你说微调时，你是指改变参数权重。奥特曼：是的。我们肯定会在GPT里提供一些修改参数权重的功能，但就目前来看，与提供非常便宜的上下文能力相比，可能调整参数权重的使用频率会较低，如果我们能解决（可输入）100万个token的问题的话。主持人：我们来稍微深入了解一下。无论具体细节如何，趋势似乎是，随着模型变得越来越大，从1万亿到10万亿个参数，prompt提示工对话ChatGPT之父我们不是为对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第4页。奥特曼：从参数规模的角度，不成比例地增长，是的。但我认为我们现在已经接近这些巨型模型时代的尾声。我们将通过其他方式改进它们。我想说的是，它们和模型能力成比例地增长。主持人：关于基础模型的创建投资，在训练过程中可能需要5000万至1亿美元的规模？奥特曼：我们没有透露过具体金额，但实际上比这个数字要多得多。主持人：随着时间的推移，投资也在增加。那么，试图从零开始的人需要迎头赶上，他们可能要追赶一个巨大的差距。奥特曼：也许我们都很愚蠢，错过了一个重要的想法，所有这些或许并不像我们想象的那么困难或昂贵，可能将有一个完全新的范例取代我们。这对世界来说是好事，尽管对我们来说可能不是。主持人：让我听听你对这些事情的看法。保罗·格雷厄姆（美国风险投资家）称，你是他见过的最伟大的商业策略家。在场所有这些人都在努力应对他们的商业策略，思考到底要建立什么和在哪里建立。所以我一直在问你一些问题，这些问题或多或少地涉及到在GPT-4、ChatGPT以及即将到来的GPT-5等基础之上的垂直应用案例。但是，还有许多与之相邻的商业模式，如联合学习、数据调节或部署等。如果你只是投资于这个生态系统中的一类公司，那也是有趣的商业模式。关于哪里有更高回报、哪里有更快增长的商业模式，你有什么想法？奥特曼：我不认为保罗·格雷厄姆真的那样说过。我知道他说过类似的话，但无论如何，我不认为这是真的。对话ChatGPT对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第5页。我唯一懂得如何制定策略的方法就是，一次又一次地进行非常长期的、资本密集型的、困难技术相关的投资。而且我甚至不认为我在这方面特别擅长。我只是觉得没有太多人尝试这些，所以竞争很小，这种策略我认为没有太多竞争。但要利用像OpenAI这样的平台，构建一个新的、快速增长、有防御能力的消费者企业公司，我几乎一无所知。我知道所有的理论，但不了解实践。我会去寻找那些做过这些事情的人，并向他们寻求实践建议。主持人：关于底层技术平台，我有几个问题。自从参数数量还不到100万时，我就一直在自己构建神经网络。实际上，它们在许多商业应用中非常有用。然后我看着它们的参数数量增长到10亿，GPT-2大约是15亿个参数，接着是GPT-3，现在是GPT-4、我们不知道当前的参数数量，但我认为GPT-3中是1250亿。与GPT-2相比，它的差距简直令人难以置信，然后GPT-4更是让人难以置信地不同。听了英伟达的预测，参数数量似乎处于上升趋势，从1万亿到10万亿，然后英伟达说未来十年将达到10千兆。你认为这个数字是正确的吗？奥特曼：我认为对参数数量的关注度过高。参数数量肯定会上升，但这让我想起了上世纪90年代和21世纪初芯片中的兆赫兹竞赛。每个人都试图指向一个很大的数字，然后最后，你可能连自己的iPhone上有多少兆赫都不知道，但它很快。我们实际上关心的是能力。对话ChatGPT之父我对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第6页。我们想为世界提供最有能力、最有用、最安全的模型。我们不是为了炫耀参数数量而存在。主持人：但这类算法与我以前见过的任何算法相比，有一个绝对独特的地方，无论你是用参数数量还是其他方式来衡量，它都会让你惊讶于它的原始性能，它利用了规模的优势。今天早上我举的例子是，如果你有一个电子表格，你将其编码并在一台速度提高了10000倍的计算机上运行，它不会让你感到惊讶；它反应很好，但它仍然是一个电子表格。而这类算法在纯粹提高性能方面做了以前无法做到的事情（指AI大模型的智能涌现）。实际上我们风险投资基金的一位合伙人用GPT-2写了一本书。你可以在亚马逊上购买，书名叫《从这里开始》或《从这里开始：浪漫》，我想大概卖了10本，我买了其中的一本，所以可能只卖了9本。如果你读这本书，你会发现这本书并不好。这只是4年前。仅仅4年，从GPT-2、3到4，现在它已经从质量不怎么好，到有些合理，到现在有可能写出一本真正优秀的书。所以，如果底层基础设施越来越快，这类算法将在相对较短的时间范围内做出令人惊讶的事情。对话ChatGPT之父我们对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第7页。奥特曼：我认为，永远不要失去对愿景和长期目标的关注，要有非常紧密的反馈循环，关注哪些有效果，哪些无效果；做更多有效果的事情，少做无效果的事情。非常非常仔细的用户观察可以让我们走得很远。所以，我可以猜测想法，你们都可以猜测想法，但没有什么比把产品放出去，真正深入了解发生了什么，并且对其做出及时响应更有价值。主持人：你什么时候知道你的ChatGPT非常特别？是什么让你实现了其他人无法实现的事情？奥特曼：我们已经为此努力了很长时间，我们逐渐更有信心地知道这真的会奏效。这个公司已经成立了7年，事情需要很长时间。关于为什么其他人没有成功我们却成功了，就是因为我们一直在努力工作，长时间关注每一个细节，大多数人不愿意这么做。至于我们什么时候知道，ChatGPT特别是作为一款消费者产品会火起来的，大概是在发布后的48小时左右。主持人：我们在MIT，这里与马克斯·泰格马克（Ma某Tegmark，麻省理工学院教授）等人发起制定了一个“关于暂停AI发展6个月”的公开信。关于这封公开信，你有什么想法？对话ChatGPT之父我们不是为对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第8页。自从我们发布了GPT-4以来，很多人都说，哇，这不仅是OpenAI发布的最有能力的模型，而且是最安全、最有目标的模型。除非我尝试让它做坏事，否则它不会这样做。所以，我们完全同意（以上这点）。我还同意，随着AI能力变得越来越强大，安全标准也必须提高。但不幸的是，我认为这封信缺乏关于哪里需要暂停的技术细节。事实上，在信的早期版本中宣称我们OpenAI正在训练GPT-5，但事实并非如此。我们还需要一段时间。从这个意义上说，这封信有点可笑。山姆·奥特曼在对话中表示，OpenAI没有在训练GPT-5，“一段时间”内也不会训练。(02:03)我们正在GPT-4之上做一些其他事情，我认为有很多安全问题需要解决，而这封信却完全忽略了这些问题。所以，我认为谨慎行事，增加对安全问题的严格性非常重要，但这封信并不是解决问题的最佳途径。主持人：你一直非常开放，进行很多对话，非常诚实，而且OpenAI也是如此，而其他公司就相对封闭得多。这背后的理念是什么？你打算继续这样做吗？奥特曼：我们当然打算继续这样做。我们权衡的是，有时候我们会说一些愚蠢的话，说出一些事实上是错误的东西。我想很多其他公司在确定件事是正确之前都不想说出来。对话ChatGPT之父我对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第9页。即使我们有时候在公开场合会感到尴尬，不得不根据新数据改变想法，我们还是会继续这样做，因为我们认为这比任何替代方案都要好。OpenAI的一个重要目标是让世界参与其中，思考这个问题，逐步更新和建立新的制度，或者调整我们现有的制度，以便能够找出我们都希望建立的未来，这就是我们在这里的原因。主持人：我们只剩下几分钟了。我必须问你一个自从我13岁以来一直萦绕在我心头的问题。如果读过雷蒙德·库茨魏尔（RaymondKurzweil，美国作家、未来学家）或者这个领域的任何杰出人物的书籍，（都明白）在算法开始编写改进算法代码的那一天，就是一个关键的日子，这将使世界加速发展，直至无穷大。如今，很多我投资或者参与创立的公司开始使用AI模型进行代码生成。这些代码生成的提升范围相当广泛，从大约5%到20倍不等。这取决于你要做什么，要编写什么类型的代码，以及它需要多少上下文等等，很多与调整系统有关。所以问题有两个：首先，在OpenAI，你们在创建下一代代码时已经看到了多少效果倍增？对话ChatGPT之父我对话ChatGPT之父我们不是为了炫耀参数数量而存在全文共10页，当前为第10页。奥特曼：这是一个很好的问题。我认为，到