AI、AGI、时间线·

我为什么认为 AGI 不会很快到来 [译]

本文探讨了对于 AGI 发展的观点与时间预期,分析了当前大语言模型的局限性以及未来可能的突破。

「事情发生的时间往往比你想象的要长,但当它们发生时,又会比你想象的要快。」—— Rudiger Dornbusch

我在我的播客中进行了很多关于 AGI 时间线的讨论。一些嘉宾认为它离我们有 20 年之遥,而另一些人则认为只有 2 年。截至 2025 年 6 月,我的看法如下。

有时人们会说,即使所有 AI 进展完全停止,今天的系统依然会比互联网更加经济变革。我不同意这个观点。我认为当今的大型语言模型(LLMs)是神奇的。但财富 500 强公司不使用它们来转变工作流程的原因并不是因为管理层太守旧。相反,我认为从 LLMs 中获取正常的人类劳动力确实很困难,这与这些模型缺乏的一些基本能力有关。

我认为自己在 Dwarkesh 播客中是「前瞻性的 AI 观察者」。我可能已经花费了超过一百个小时尝试为我的后期制作设置构建小型 LLM 工具。试图让它们变得有用的过程延长了我的时间线。我会尝试让 LLMs 像人类一样重写自动生成的转录文本,以提高可读性。或者我会让它们从转录本中识别出片段进行推特发布。有时我会尝试让它们与我共同撰写一篇文章,逐段进行。这些都是简单、独立、短期的语言转换任务,应该是 LLMs 的核心任务。但它们的表现只能打 5/10。不要误解我的意思,这已经很令人印象深刻了。

但根本的问题是,LLMs 并不像人类在时间上反复学习的方式那样逐步变得更好。缺乏持续学习是一个巨大的问题。LLM 在许多任务上的基线可能高于普通人。但没有办法给模型提供高水平的反馈。你只能接受开箱即用的能力。你可以反复调整系统提示,但实际上这并不能产生任何接近人类员工体验的学习和改进。

人类之所以如此有用,主要并不是因为他们的智力,而是因为他们能够建立上下文、审视自己的失败,并在执行任务时不断拾取小的改进和效率。

你如何教一个孩子演奏萨克斯风?你让她试着吹一下,听听声音,然后进行调整。现在想象一下,如果是这样教萨克斯风:学生只尝试一次。她一犯错,就把她送走,并写下详细的说明,告诉她出错的原因。下一个学生看着你的笔记,试图冷不丁地演奏 Charlie Parker。当他们失败时,你会为下一个学生完善说明。

这根本行不通。无论你的提示有多么完善,没有哪个孩子能仅仅通过阅读说明学会演奏萨克斯风。但这就是我们作为用户「教」LLMs 所能采取的唯一方式。

是的,存在 RL 微调。但这并不是像人类学习那样的自发、适应性过程。我的编辑们变得非常出色。如果我们必须为他们工作的不同子任务构建定制的 RL 环境,他们就不会变得如此。他们自己注意到许多小细节,并认真思考与观众共鸣的内容、什么样的内容让我兴奋,以及他们如何改进日常工作流程。

现在,有可能想象某种更聪明的模型能够为自己构建一个专门的 RL 循环,从外部看起来非常自然。我给出一些高层反馈,模型提出一系列可验证的练习问题以进行 RL —— 也许甚至建立一个环境来复习它认为缺失的技能。但这听起来真的很难。我不知道这些技术能在不同类型的任务和反馈中产生多大的普遍性。最终,这些模型将能够以人类可以的方式进行在职学习。然而,考虑到当前这些 LLMs 的模型类型,没有明显的方法可以在其中加入在线、持续学习,我很难看出这一点会在接下来的几年中发生。

LLMs 实际上在一个会话的中间确实会变得有点聪明和有用。例如,有时我会和 LLM 共同撰写一篇论文。我会给它一个大纲,让它逐段起草论文。到第四段之前,它提出的所有建议都是糟糕的。所以我会完全从头重写整段,并告诉它:「嘿,你的内容太糟糕了。我写的是这个。」在那时,它实际上可以开始为下一段提供好的建议。但这种对我偏好和风格的微妙理解到会话结束时就消失了。

或许简单的解决方案是像 Claude Code 那样拥有一个长期的滚动上下文窗口,每 30 分钟将会话内存压缩成摘要。我只是觉得将所有丰富的隐性经验提炼为文本摘要在软件工程以外的领域将会比较脆弱(软件工程是非常基于文本的)。再想想试图用关于你学习内容的长文本摘要教别人如何演奏萨克斯风的例子。即使是 Claude Code,通常在我执行 /compact 之前会逆转我们共同设计的艰难优化,因为导致这一优化的解释没有进入摘要。

这就是我不同意 Sholto 和 Trenton 在我播客中说的内容的原因(这段引文来自 Trenton):

「即使 AI 进展完全停滞(你认为模型真的在波动,而且它们没有通用智能),它在经济上是如此有价值,收集这些不同白领工作任务的数据也足够简单,因此,引申到 Sholto 的观点,我们应该预计在未来五年内看到这些任务的自动化。」

如果 AI 进展立即停滞,我认为 <25% 的白领就业会消失。确实,许多任务将被自动化。Claude 4 Opus 在技术上可以为我重写自动生成的转录文本。但由于不可能让它随时间改进并学习我的偏好,我仍然会雇佣一个人来处理这个。即使我们获得更多数据,如果没有持续学习的进展,我认为我们的白领工作状况将基本没有改善 —— 是的,技术上 AIs 可能能够相对令人满意地完成许多子任务,但它们无法建立上下文,使得无法作为你公司的实际员工运作。

虽然这让我对未来几年变革性 AI 感到悲观,但我对未来几十年的 AI 表现得尤其乐观。当我们解决持续学习时,模型的价值将会出现巨大的不连续性。即使没有仅软件的奇点(模型迅速构建越来越聪明的后继系统),我们仍然可能会看到某种广泛部署的智能爆炸。AI 将在经济中广泛部署,执行不同的工作并在执行过程中学习,像人类一样。但与人类不同,这些模型可以在所有副本之间整合他们的学习。因此,一个 AI 基本上正在学习如何做世界上每一份工作。一种能够进行在线学习的 AI 可能在没有其他算法进展的情况下,迅速成为超智能

然而,我并不指望看到 OpenAI 的直播宣布持续学习已经完全解决。由于实验室有动力迅速发布任何创新,我们会在看到一个真正能像人类那样学习的东西之前,看到一个破碎的早期版本的持续学习(或称测试时训练 —— 无论你想怎样称呼它)。在这一重大瓶颈完全解决之前,我预期会有很多提前通知。

当我在播客中采访 Anthropic 的研究人员 Sholto Douglas 和 Trenton Bricken 时,他们表示,他们预计到明年年底会有可靠的计算机使用代理。我们现在已经拥有计算机使用代理,但它们相当糟糕。他们想象着一种截然不同的东西。他们的预测是到明年年底,你应该能够告诉 AI:「去帮我做税。」然后它会检查你的电子邮件、亚马逊订单和 Slack 消息,与你需要发票的所有人来回发送电子邮件,整理所有收据,决定哪些是商业费用,询问你对边缘情况的批准,然后提交 Form 1040 给 IRS。

我对此持怀疑态度。我并不是 AI 研究人员,所以我不想在技术细节上与他们相矛盾。但根据我所了解的,以下是我反对这一预测的原因:

  • 随着时间范围的加长,推演需要的时间也必须变长。AI 需要完成两个小时的代理计算机使用任务,才能看看它是否做对了。更不用说计算机使用还需要处理图像和视频,这已经更为计算密集,即使不考虑更长的推演时间。这似乎应该会减缓进展。
  • 我们没有大量的多模态计算机使用数据的预训练语料库。我喜欢 Mechanize 的帖子中关于自动化软件工程的引述:「在过去十年的扩展中,我们被互联网上的海量数据所宠坏,而这些数据是免费供我们使用的。这足以破解自然语言处理,但不足以让模型成为可靠、熟练的代理。想象一下在 1980 年训练 GPT-4 使用所有可用的文本数据 —— 即使我们有必要的计算,数据也远远不够。」

再次强调,我不在实验室里。也许仅通过文本训练已经为你提供了对不同用户界面的良好先验,并且了解不同组件之间的关系。也许 RL 微调是如此样本高效,以至于你不需要那么多数据。但我没有看到任何公开证据表明这些模型突然变得不那么需要数据,尤其是在这个领域,它们的练习程度明显较低。

或者,也许这些模型是如此优秀的前端编程者,能够为自己生成数百万个玩具用户界面进行练习。对此,我的反应见下一个要点。

  • 即便是在回顾上看似较为简单的算法创新,也需要很长时间才能完成。DeepSeek 在其 R1 论文中解释的 RL 程序从高层来看似乎很简单。但从 GPT-4 发布到 o1 发布整整花了 2 年。当然,我知道说 R1/o1 很简单是可笑的 —— 到达这一解决方案需要大量的工程、调试和剔除其它想法。但这正是我的观点!看到实现「训练模型去解可验证的数学和编码问题」这一想法花了多长时间,让我觉得我们低估了计算机使用这个更为棘手的问题的解决难度,因为你是在一个与其完全不同的模式中运作,同时数据量也少得多。

好吧,足够的冷水。我不打算像 Hackernews 上那些被宠坏的孩子一样,即使一只会下金蛋的鹅放在他们眼前,他们也会不断抱怨鹅叫得有多响。

你有看过 o3 或 Gemini 2.5 的推理追踪吗?这实际上是推理!它在分解问题、思考用户想要什么、对自己内部的独白进行反应,并在注意到自己朝着一个无益的方向发展时进行修正。我们怎么能理所当然地认为「哦,对,机器会思考一大堆东西,想出一大堆点子,然后带着聪明的答案回来。这就是机器所做的事。」

一些人过于悲观的部分原因是,他们没有去尝试一下在他们最有能力的领域中运行的最聪明的模型。给 Claude Code 一个模糊的规范,坐在那里等 10 分钟,直到它零次尝试出一个有效的应用,这是一种疯狂的体验。它是怎么做到的?你可以谈论电路、训练分布、RL 等等,但最直接、简明、准确的解释就是它是由婴儿版通用智能驱动的。在这一点上,你内心的一部分必须在想:「它实际上在工作。我们正在制造智能的机器。」

我的概率分布是非常广泛的。我想强调的是,我确实相信概率分布。这意味着为不对齐的 2028 ASI 做准备的工作仍然很有意义 —— 我认为这是一个完全可信的结果。

但以下是我愿意进行 50/50 赌注的时间线:

  • AI 可以像一个有能力的总经理在一周内那样,为我的小企业端到端地做税务:包括在不同网站上追踪所有收据,找到所有缺失的部分,与我们需要发票的任何人来回发送电子邮件,填写表格,并将其发送给 IRS:2028 年
    • 我认为我们现在处于计算机使用的 GPT-2 时代。但我们没有预训练语料库,模型需要使用它们不熟悉的行动原语,在更长的时间范围内优化更稀疏的奖励。话虽如此,基础模型还是相当聪明的,可能对计算机使用任务有良好的先验,加上世界上有更多的计算和 AI 研究人员,所以可能会平衡。为小企业准备税务对于计算机使用来说,就像 GPT-4 对于语言一样。从 GPT-2 到 GPT-4 花了 4 年。

澄清一下,我并不是说我们在 2026 年和 2027 年不会有真正酷炫的计算机使用演示(GPT-3 非常酷,但实际上不是那么有用)。我是说这些模型不会能够端到端地处理一个为期一周且相当复杂的涉及计算机使用的项目。

  • AI 在任何白领工作中都能像人类一样轻松、有机、无缝、快速地在职学习。例如,如果我雇佣一个 AI 视频编辑器,六个月后,它对我的偏好、我们的频道、什么对观众有效等等的可操作的深度理解,与人类一样多:2032 年
    • 虽然我没有看到将持续在线学习插入当前模型的明显方法,但 7 年是很长的时间!GPT-1 就是在 7 年前这个时候刚刚发布的。在接下来的 7 年中,我们找到某种方法让模型在职学习,这对我来说并不是不可能的。

你可能会反应:「等等,你对持续学习作为如此巨大的障碍大做文章。但然后你的时间线是我们距离至少是广泛部署的智能爆炸还有 7 年。」是的,你说得对。我预测在相对短的时间内会有一个相当疯狂的世界。

AGI 时间线是非常对数正态的。要么就是这个十年,要么就是破产。(不是真的破产,更像是每年更低的边际概率 —— 但这没那么朗朗上口)。过去十年的 AI 进展是由前沿系统的训练计算扩展推动的(每年超过 4 倍)。无论你看芯片、电力,甚至是用于训练的原始 GDP 份额,这都无法持续到这个十年之后。2030 年之后,AI 进展主要必须来自算法进展。但即使在那里,低垂的果实也会被摘取(至少在深度学习范式下)。所以 AGI 的年度概率会暴跌。

Image 1

这意味着如果我们最终落在我 50/50 赌注的较长一边,我们很可能会看到一个相对正常的世界,直到 2030 年代甚至 2040 年代。但在所有其他世界中,即使我们对 AI 的当前限制保持冷静,我们也必须期待一些真正疯狂的结果。

原文链接:https://www.dwarkesh.com/p/timelines-june-2025


© 2025 智人飞扬