AI Interview Wiki
主题综述

训练的数据效率：更少的数据买到更多能力 · Data Efficiency

主题综述

更新日志

主流共识

九篇访谈横跨前沿实验室（Anthropic、OpenAI、Google DeepMind）、Transformer 元老、数据策展公司和应用层创业者。在这个以分歧著称的话题上，有四件事几乎无人反对。

第一条共识：模型的数据/样本效率确实低于人类——没有一个人否认这一点，连最乐观的人也不例外。 量化的说法各有版本：swyx 的框架是人类约 5 个样本 vs 机器约 200 个；Yi Tay 说人认狗要 3-4 个例子、机器「classically you take 20」；swyx 又补了一刀——两岁小孩见过的数据比 LLM 少约八个数量级。Lukasz Kaiser 给了这个差距最有画面感的表述：

"people say like Americans will do the right thing after exhausting all other options and like LLMs, they will learn the concept. They will learn it. But after exhausting all other options, you need this trillion tokens, you need to like learn all the surface level things. And only when that doesn't explain something, they will finally learn the concept. That's not how we learn."
「人们说，像美国人一样，会在用尽所有其他选项后做出正确的选择，像大型语言模型一样，它们会学习这个概念。它们会学会它。但是在用尽所有其他选项之后，你需要一万亿个标记，你需要学习所有表面层次的东西。只有当这不能解释某些东西时，它们才会最终学习这个概念。这不是我们学习的方式。」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

Noam Brown 不但确认差距，还把它抬到了整个领域的高度：

"if you look at the amount of data these models are trained on and you compare it to like the amount of data that a human observes to get the same performance. I guess pre-training, it's a little hard to make an apples to apples comparison because like, I don't know, how many tokens does a baby actually absorb when they're developing? But I think it's a fair statement to say that these models are less data efficient than humans. And I think that that's an unsolved research question and probably one of the most important unsolved research questions."
「如果你看看这些模型训练所用的数据量，再和人类获得相同性能所观察到的数据量相比，预训练有点难做比较，因为，我不知道，一个婴儿在发育过程中到底吸收了多少 tokens？但我认为可以肯定地说，这些模型的数据效率不如人类。我认为我们将要讨论一个尚未解决的研究问题，而且可能是最重要的研究问题之一。」（英文补自 Latent Space 官方转录）
Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI

他还从自己的扑克研究里给出这个差距最干净的标尺——人类十几手，AI 一万手：

"And fundamentally it just comes down to AIs not being as sample efficient as humans. … If a human's playing poker, they're able to get a really good sense of the strengths and weaknesses of a player within a dozen hands. It's, like, honestly really impressive. And back when we were working on AI for poker in, like, the, you know, mid-2010s, these AIs would have to play, like, 10,000 hands of poker to, like, get a good profile of, like, who this player is. Like, how they're playing, where their weaknesses are. Now, I think with more recent technology, that has come down. But still, the sample efficiency has been a big challenge."
「我认为，从根本上说，问题在于 AI 的样本效率不如人类。……如果人类在玩扑克，他们能够很好地了解一个玩家的优势和劣势。玩十几手牌就能了解，这真的很令人印象深刻。当我们还在研究扑克 AI 的时候，大概是 2010 年代中期，这些 AI 必须玩大约 1 万手扑克牌，才能很好地了解这个玩家是谁，他们的玩法，以及他们的弱点在哪里。现在，我认为随着更新的技术出现，情况有所改善，但样本效率仍然是一个很大的挑战。」（英文补自 Latent Space 官方转录）
Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI

Rob Toews 把同一件事放到能源和资本的尺度上，作为他「LLM 已 plateau」判断的证据之一：

"If you zoom out, it's kind of crazy today that the way we train our most advanced AI models requires gigawatt scale data centers that consume the same amount of energy as all of the city of San Francisco. … It takes months and it costs hundreds of millions of dollars compared to the human brain and how energy efficient the human brain is and how sample efficient the human brain is. You see a few examples of something and you learn it."
「如果你放大来看，如今我们训练最先进的 AI 模型的方式非常疯狂，需要消耗与整个旧金山市相同能源的千兆瓦级数据中心。……与人脑相比，这需要花费数月时间和数亿美元，而人脑的能源效率和样本效率都很高。你看到一些例子就能学会。」
Rob Toews · AI Vibe Check: The Actual Bottleneck In Research, SSI's Mystique, & Spicy 2026 Predictions

第二条共识：RL/推理范式本身就被业内理解为一条数据效率路线——这是行业对策的第一层。 Noam Brown 透露的内部视角最有分量：外界以为推理范式是「测试时计算」的故事，内部很多人做它的动机其实是数据：

"So I think a lot of the researchers looked at reasoning and, and RL was not really about scaling test time compute. It was more about. Data efficiency, because, you know, the feeling was that, well, we have tons and tons of compute, but we actually are more limited by data. So there's, there's the data wall and we're going to hit that before we hit limits on, on the compute. So how do we make these algorithms more data efficient? They are more data efficient, but I think that also like, um, they are also just like the equivalent of scaling up compute also by a ton."
「所以我认为很多研究人员认为推理和 RL 实际上与扩展测试时间计算无关。更多的是关于数据效率。因为，你知道，感觉是，我们有大量的计算资源，但实际上我们更多地受到数据限制。所以存在数据墙。我们会在达到计算限制之前遇到它。那么我们如何使这些算法更具数据效率呢？它们更具数据效率。但我认为，它们也相当于大量地扩展了计算能力。」（英文补自 Latent Space 官方转录）
Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI

一线做后训练的人给了这条路线最直接的背书。Isa Fulford：

"One thing that's interesting is with reinforcement learning, training a model to be good at a specific capability is very data efficient. You don't need that many examples to teach it something new. … we're able to take the datasets that we've created for the frontier agent models and then contribute it back to the frontier reasoning models."
「有趣的一点是，通过强化学习，训练模型擅长某项特定能力是非常节省数据的。你不需要太多例子就能教会它新的东西。……这是因为我们能够将为前沿代理模型创建的数据集贡献回前沿推理模型。」
Isa Fulford · GPT-5 and Agents Breakdown – w/ OpenAI Researchers Isa Fulford & Christina Kim

Brendan Foody 用商业史反证了同一条：SFT 定制从未起飞，死因恰恰是数据效率——而 RFT 只要几百到几千个样本（Sarah Guo 给出的量级，Foody 确认），对比 SFT 时代堆到几万、几十万对样本仍拿不到能力：

"But the main issue and supervised fine-tuning customization never really took off because it wasn't very data efficient, like companies would create a few hundred and eventually try to scale it up to tens of thousands or hundreds of thousands of SFT pairs, but oftentimes wouldn't be able to get a lot of the capabilities that they were looking for. Whereas in reinforcement fine-tuning, you instead define the outcome that you care about."
「但主要问题是，监督微调定制从未真正流行起来，因为它效率不高，例如，公司会创建几百个，最终尝试将其扩展到数万甚至数十万个 SFT 对，但往往无法获得他们期望的许多功能。而在强化微调中，你定义的是你关心的结果。」
Brendan Foody · From Job Displacement to AI Trainers, Brendan Foody on Work in the AI Age

Sholto Douglas 把能力获取的单位从「静态数据量」改写成「反馈回路+练习机会」——并援引 Dario 指出 RL 吃到的计算相对预训练仍然很小，现有算力下杠杆还远未用完：

「在当前的算法空间中，这些模型需要考虑的一个重要问题是，如果它们对某件事有一个反馈循环，它们就能真正成为该方面的专家。它需要被允许进行一些练习，就像人类需要被允许练习一样。」(逐字稿仅中文)
— Sholto Douglas · Ep 66: Member of Technical Staff at Anthropic Sholto Douglas on Claude 4, Next Phase for AI Coding, and the Path to AI Coworkers

第三条共识：现有数据的价值远未榨干——质量与策展正在取代数量成为主要杠杆。 Ari Morcos 是这一阵营的旗手，他的起点是指出主流 scaling laws 的地基有裂缝：

"Even if you go and you look at the scaling laws work from Kaplan and Chinchilla and all these other things, they all assume IID data. Which is insane. We know that all data are not created equal, that garbaging garbage out is like the oldest adage in computer science."
「即使你去看 Kaplan 和 Chinchilla 以及所有其他人的 scaling laws 工作，他们都假设是独立同分布的数据（IID data）。这太疯狂了。我们知道所有的数据并非生来平等，"垃圾进，垃圾出" 是计算机科学中最古老的格言。」
Ari Morcos · Better Data is All You Need — Ari Morcos, Datology

他给出的硬数字是全部九篇里最具体的：不到 10% 的 tokens 达到 DCLM 收敛性能（约 12x）、同算力平均高 4–5 个绝对点（基线要多训 5–10 倍时长才追平）、参数不到一半的模型反超大模型，且他宣称已实现的 ~10x 背后至少还有 100x 空间：

"So we're able to now get to the same performance as DCLM about 12x faster. So in fewer than 10% of the tokens, we can match what you get from training to convergence."
「我们现在能够以大约 12 倍的速度达到与 DCLM 相同的性能。因此，在不到 10% 的 tokens 中，我们可以达到你训练到收敛所得到的结果。」
Ari Morcos · Better Data is All You Need — Ari Morcos, Datology

而且策展没法靠人的直觉做——DCLM 的 30 名研究生花两年设计过滤标准，连预测自家分类器的行为都做不到高于随机水平，所以这件事必须自动化：

"so they have these 30 grad students spend, you know, two years basically trying to design what are the optimal filtering criteria for these models, right? And they built a system that's pretty good at this. … They could not predict what the DCLM classifiers would say above chance."
「他们让这 30 名研究生花了大概两年时间来设计这些模型的最佳过滤标准，对吧？他们建立了一个非常擅长此道的系统。……他们无法预测 DCLM 分类器会说什么，概率高于随机。」
Ari Morcos · Better Data is All You Need — Ari Morcos, Datology

前沿实验室内部的声音与之呼应。Isa Fulford 的条件句值得注意——正因为学习算法高效了，数据质量反而更重要：

"I think all are very important, but especially now that we have such an efficient way of learning, high-quality data is even more important."
「我认为所有这些都很重要，但尤其是在我们现在拥有如此高效的学习方式的情况下，高质量的数据甚至更加重要。」
Isa Fulford · GPT-5 and Agents Breakdown – w/ OpenAI Researchers Isa Fulford & Christina Kim

Christina Kim 干脆自我标注阵营，并把 deep research 的成功和 GPT-5 前端编码的飞跃都归因于数据策展与审美打磨，而非架构或规模：

"My opinion, I'm very data-filled. I think data is very important. I think deep research was so good because Isa put so much thought and careful attention to the data curation that they did and thinking about all the different use cases she wanted to have represented. I'm on team data."
「我个人认为，我非常重视数据。我认为数据非常重要。我认为 deep research 非常出色，因为 Isa 在数据管理方面投入了大量的思考和细致的关注，并考虑了她想要呈现的所有不同用例。我站队数据。」
Christina Kim · GPT-5 and Agents Breakdown – w/ OpenAI Researchers Isa Fulford & Christina Kim

第四条共识：数据可得性决定能力落地的顺序；缺数据的领域，瓶颈转化为「能否造出可训练的表示」。 Sholto Douglas 的自动化时间表整个建立在这条轴上——白领工作数据充足、可在计算机上无限重试，所以 2027-28 年（最迟本十年末）几乎必然被自动化；机器人和生物学则因原生数据缺失而滞后：

"I think we're near guaranteed at this point to have effectively models that are capable of automating any white collar job by 2027, 2028 or near guaranteed end of decade. That being said, that's because those tasks are quite susceptible to our current suite of algorithms. You can try things on computers many times. There's a wealth of data available for this. The internet exists. But that same resource of data doesn't exist for, say, robotics or for biology."
「我认为我们几乎可以肯定，到 2027 年、2028 年，或者说在本十年末，我们就能拥有能够自动化任何白领工作的有效模型。也就是说，这是因为这些任务非常容易受到我们当前算法的影响。你可以在计算机上多次尝试。有大量可用的数据。互联网的存在，但对于机器人技术或生物学来说，并不存在同样的资源数据。」（英文补自 OfficeChai 对本期的逐字引文）

他接着补充（中文稿转述）：机器人数据得先有大量机器人、以不受限的方式去实际采集和操作，才谈得上存在。

— Sholto Douglas · Ep 66: Member of Technical Staff at Anthropic Sholto Douglas on Claude 4, Next Phase for AI Coding, and the Path to AI Coworkers

Kaiser 把同一判断推到极限：资本正在快速解决所有不缺数据的问题，所以剩下的瓶颈将全部是数据受限的，尤其是物理世界：

"given how quickly and with the whole investment in AI, the problems that are not data-limited get solved very rapidly. So very soon, all bottlenecks that remain will be quite data-limited or already are becoming. … The physical world, if you train on one robot hardware, it doesn't quite scale data the way the virtual or text worlds or internet worlds do."
「考虑到人工智能的快速发展和大量投资，非数据限制的问题将非常迅速地解决。所以很快，所有剩余的瓶颈将非常受数据限制，或者已经开始变得如此。…… 物理世界，如果你在一个机器人硬件上进行训练，数据的扩展方式与虚拟世界、文本世界或互联网世界并不完全相同。」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

而当数据在预训练语料里根本不存在时（计算机使用是共识样本），出路是主动造：Christina Kim 描述了这个缺口，Isa Fulford 补上解法——用已有的浏览/计算机使用模型 bootstrap 合成数据，加上更逼真的 RL 环境：

"so free training, it's based on like what data is available. Right. And so I think when we've done these free training, there's not much data out there to begin with, but people using computers, like computer usage is not really a thing that like, there's lots of like data out there. And this is something we actually have to like seek out now that this is a capability that we want."
「自由训练是基于可用的数据。对。所以我认为，当我们进行这些自由训练时，一开始就没有太多的数据，但是人们使用计算机，比如计算机的使用，并不是一件有很多数据的事情。现在我们想要这种能力，所以我们实际上必须去寻找。」
Christina Kim · GPT-5 and Agents Breakdown – w/ OpenAI Researchers Isa Fulford & Christina Kim

（注：该段 transcript 将 pre-training 误转写为 free training。）

这条共识在推理端还有一个镜像：窄能力所需的数据与算力远小于通用智能。Onyx 的 Maxim Bar Kogan 的监督架构完全建立在这一点上——不训练更聪明的模型，而是把「何时该叫聪明代理介入」的直觉蒸馏进只会一件事的极小模型（他的类比是顶级棋手：海量对局蒸出直觉走大多数棋，只在关键步深算）：

"And that's when actually what you want to do is you want to … train very smart models that are, actually let me correct myself, very not smart models, but models that are just good at one thing. They're very small. They almost can't do anything else other than be able to say, should I have a smarter agent? Look at this."
「这时候其实你想要做的是，你想要训练非常智能的模型，实际上，让我纠正一下，非常不智能的模型，但那些模型在某一方面很擅长。它们非常小。除了判断我是否应该有一个更智能的代理之外，它几乎什么都做不了。看看这个。」
Maxim Bar Kogan · Building an AI Guardian for Enterprise with Onyx Security CEO Maxim Bar Kogan

分歧在哪

共识到此为止。追问三个问题，阵营立刻裂开。

一、样本效率差距：要修的 bug，还是可以绕过的成本项？

这是最硬的对撞，而且双方都来自前沿实验室核心。Sholto Douglas 的立场是：差距真实，但「没关系」——并行规模可以买回来：

「到目前为止，我们还没有触及到我们能够教给模型的任务的智力上限。现在，它们似乎没有人类那么高效。这也没关系，因为我们可以并行运行成千上万个副本，它们可以与不同的任务变体交互。它们可以拥有终生的经验。因此，即使它们的效率较低也没关系。因为你仍然可以在该任务上获得专家级的人类可靠性和性能。」(逐字稿仅中文)
— Sholto Douglas · Ep 66: Member of Technical Staff at Anthropic Sholto Douglas on Claude 4, Next Phase for AI Coding, and the Path to AI Coworkers

他还有两根辅助支柱：监督成本随任务时长上升得比任务复杂度慢（验证几小时工作的最终结果即可，不必逐句反馈），以及生成器-验证器差距——模型评价比生成容易，理解力已足以为机器人等缺数据领域提供反馈信号、部分替代真实数据采集。整套论证的结论是：绕过差距，别修它。

Kaiser 站在正对面：这个差距正是他认为可能需要 post-transformer 架构的最根本理由。他的反例直指「堆数据绕行」的失败现场——数百万英里仿真买不来一个青少年都会的泛化：

"I'm sure just like millions of miles in simulation and quite some in real driving. And it still can't generalize to the construction zone on the highway. Like, this feels just off, right? I mean, I don't know what exactly didn't work there, but I certainly know, you know, no teenager has this problem."
「我相信在模拟中已经有数百万公里的驾驶，还有相当多的真实驾驶。而它仍然无法在高速公路的施工区进行概括。像，这感觉就是不对，对吧？我的意思是，我不知道那里究竟哪里出错了，但我肯定知道，你知道，没有青少年会遇到这个问题。」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

他把 Sholto 式的路线概括成「锤打堵洞」的循环，并指出理想解在别处：

"So there is every hole you have, you can kind of plug by hammering on it. … because also every hole you plug stops being a bottleneck. And then the bottlenecks that emerge are again, the holes that you have not plugged. And so we're in this interesting circle. But if we had this method, this brain-like method that would just not have so many holes that need plugging, wouldn't this be great?"
「所以你有的每个漏洞都可以通过敲打来弥补。…… 你堵住的每一个洞停止成为瓶颈。然后出现的瓶颈又是你尚未堵住的洞。所以我们处在这个有趣的循环中。但是如果我们有这种脑类似的方法，不需要有那么多需要堵住的洞，那不是很好吗？」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

但 Kaiser 的科学诚实值得记录——他自己给出了反方论点：transformer 从来都泡在万亿 token 里，从未被优化去用少数据训练，所以差距可能不是架构的错：

"you can say as a counter argument that these models always had a trillion tokens to train on and people never do. So we just didn't optimize them for training with less. And if you had the same amount of compute but limited data, you can tweak transformers to do much better than they do today."
「你可以说作为反驳，这些模型总是有一万亿个标记来训练，而人们则从未做到。所以我们只是没有优化它们，以便用更少的数据进行训练。如果你有同样的计算能力但数据有限，你可以调整变压器，使它们的表现要比现在好得多。」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

Yi Tay 则把双方的前提都掀了：差距是真的，但「bug 在哪」根本没人知道——甚至「人类看的数据更少」这个说法本身都可疑，人是 24/7 多模态输入，也许大脑只是在每个 token 上花了更多计算：

"But machines, classically you take 20. The efficiency of humans is definitely way higher than models. Yeah, the only question is that where does this thing come from? Is it actually like... putting more flops on every token? Like maybe it's like back to the question about whether the transformer is the optimal architecture, maybe it's backprop, is the weapon, maybe it's the off-policy-ness, maybe it's the, yeah, so what is the, like, when is the bug, right?"
「但机器，通常你需要 20 个。人类的效率肯定比模型高得多。是的，唯一的问题是，这东西从哪里来？实际上是不是... 在每个 token 上投入更多的 flops？也许就像回到关于 Transformer 是否是最优架构的问题一样，也许是反向传播，是武器，也许是离策略性，也许是... 那么，什么是 bug 呢，对吧？」
Yi Tay · Captaining IMO Gold, Deep Think, On-Policy RL, Feeling the AGI in Singapore — Yi Tay 2

他自己押的注是第三条路——既不绕、也不换架构，而是把数据效率重新定义为「每个 token 花更多 flops」：

"Yeah, so I think when it comes to like data efficiency, I think it's more like I'm believer of finding ways to spend more flops per token, right? Because you actually, basically, if you are data bound, you want higher data efficiency because you can learn more from every data point. You squeeze it, squeeze out more points, right?"
「是的，所以我认为当涉及到数据效率时，我更相信找到方法来在每个 token 上花费更多的 flops，对吧？因为实际上，基本上，如果你受数据限制，你想要更高的数据效率，因为你可以从每个数据点中学到更多。你挤压它，挤出更多的点，对吧？」
Yi Tay · Captaining IMO Gold, Deep Think, On-Policy RL, Feeling the AGI in Singapore — Yi Tay 2

注意张力的精确所在：Sholto 说的是经济命题（低效不妨碍到达专家级可靠性），Kaiser 说的是科学命题（低效暴露了学习机制的根本缺失），Yi Tay 说的是认识论命题（连缺失是什么、在哪一层都未确定——甚至可能是 feature 而非 bug）。三人没有在同一层面交战，但结论对实验室资源分配的指向完全相反：Sholto 指向更多并行 rollout，Kaiser 指向架构研究，Yi Tay 指向 flops-per-token 型算法。这场分歧不需要调和，它就是当前范式的路线图之争。

二、「RL 很省数据」到底成立到什么程度？——同一阵营内部的张力

这是本主题最微妙的一条裂缝，因为裂缝两侧的人都在 RL 范式阵营内，甚至都在前沿实验室做同类工作。一侧是 Isa Fulford 的「very data efficient」、Foody 的「profoundly data-efficient」（几百到几千个样本）；另一侧，Sholto 自己承认 RL 的可靠性缺口仍然巨大——单次成功率是短板，得靠采样量补：

「我们还没有 100% 达到可靠性。这些模型并非总是成功。当你要求模型做一次和要求它尝试 256 次时，模型性能之间仍然存在显著差距。在许多评估中，你可以通过多次尝试完全解决它们，但第一次尝试并不能保证成功。」(逐字稿仅中文)
— Sholto Douglas · Ep 66: Member of Technical Staff at Anthropic Sholto Douglas on Claude 4, Next Phase for AI Coding, and the Path to AI Coworkers

把这两个说法并排放着看：「教会一项新能力只要几百个样本」和「pass@1 与 pass@256 之间仍有显著差距、要靠成千上万并行副本积累终生经验」同时为真——那么「省数据」省的究竟是什么？Isa 自己给出了第一个限定：省数据不等于泛化，要真正擅长就得在那件事上训练，瓶颈变成能否把任务表示成可训练的形式：

"There's some generalization from training on one website to another, but if you want to get really, really good at something, the best thing to do is just train on that exact thing. I think we're definitely just constrained by things that we can represent in a way that we can train on."
「从一个网站的训练到另一个网站是有一些泛化，但如果你想在某个方面做得非常好，最好的办法就是在那个确切的东西上训练。我认为我们肯定受到一些限制，这些限制是指我们可以用一种可以训练的方式来表示的事物。」
Isa Fulford · GPT-5 and Agents Breakdown – w/ OpenAI Researchers Isa Fulford & Christina Kim

Morcos 给出第二个限定：RL 的样本效率是有前提的，只在模型能力恰好处于任务边缘的 Goldilocks zone 才成立：

"So it can't be too easy or too hard. It has to be just right. … So RL really works when you're at this edge of capability where the model knows enough to be dangerous, but not enough to actually solve the task effectively. I think what we've seen is that for things like coding, models have gotten to that right Goldilocks zone."
「所以它不能太容易或太难。必须恰到好处。……所以，强化学习（RL）只有当你处于这种能力的边缘时才真正有效，即模型知道的足够多，具有一定的危险性，但又不足以有效地解决任务。我认为我们已经看到，对于像编码这样的事情，模型已经达到了合适的最佳状态区域。」
Ari Morcos · AI Vibe Check: The Actual Bottleneck In Research, SSI's Mystique, & Spicy 2026 Predictions

Kaiser 给出第三个限定：任务一变长，RL 的样本经济学直接崩——必须跑完整 rollout，周级任务导致月级训练；而人类数学家的存在证明恰好相反：

"our current reinforcement learning methods, unluckily, need to run basically all rollouts on this. And if your rollouts are like weeks long, then your training starts to be months long. … Some mathematicians spend 20 years on one problem. That's their magnum opus. And that's it. So they did not have, you know, 200 problems 20 years long before to learn from and somehow they manage."
「就像我们现在的强化学习方法，不幸的是，基本上都需要在这上面运行所有的滚动。如果你的滚动长达几周，那么你的训练开始会持续几个月。…… 一些数学家在一个问题上花费 20 年。这就是他们的巅峰之作。就这样。所以他们没有，知道，之前有 200 个问题需要 20 年学习，他们以某种方式设法做到。」
Lukasz Kaiser · Ep 89: AI Research Legend's Honest Assessment of Where We Are

最后是成本会计的角度。Foody 把 RFT 的「省」讲成一次结构转换——变动成本换固定成本：

"if we classify knowledge work in two categories, one is like solving an end task, where it's sort of a variable cost of like, you need to do that repeatedly. And the other is creating an eval to teach a model how to solve that task, which is like a fixed cost that you do one time. It does seem structurally more efficient for work to trend away from the variable cost of like doing it repeatedly towards this fixed cost"
「如果我们将知识工作分为两类，一类是解决最终任务，这是一种可变成本，例如，你需要重复地做这件事。另一类是创建评估来教模型如何解决该任务，这是一种一次性完成的固定成本。从结构上看，工作从重复执行的可变成本转向……固定成本，似乎效率更高。」
Brendan Foody · From Job Displacement to AI Trainers, Brendan Foody on Work in the AI Age

但他自己立刻承认这笔固定成本有多大——「几百个样本」的轻盈背后，是以年计的 eval 建设：

"And that is the largest barrier to automating most knowledge work in the economy."
「这是自动化经济中大多数知识工作的最大障碍。」
Brendan Foody · From Job Displacement to AI Trainers, Brendan Foody on Work in the AI Age

在随后被追问「该从哪里开始」时，他把这笔固定成本的时间尺度说得更重——即使是可验证领域，也是以年计的建设：

"All the things that go into making a good software engineer, that's gonna be really hard to do. Like, I think it's going to be a year's long build out for even some of the verifiable domains"
「成为一名优秀的软件工程师所需要的一切，这将很难做到。我想，即使是一些可验证的领域，也需要（数）年的时间才能构建出来」
Brendan Foody · From Job Displacement to AI Trainers, Brendan Foody on Work in the AI Age

Christina Kim 的「算法已经够强，现在任务/数据更重要、好任务需要好 RL 环境」是同一笔账的实验室版本；swyx 在 Yi Tay 那期透露实验室为一个 RL 环境向外部创业公司支付七位数美元，Mercor 为顶级实验室雇佣数千名专家、六个月做到 $100M 营收 run rate——这些数字就是「省下的数据」被重新计价后的样子。这条裂缝不该被调和：Isa/Foody 计量的是「梯度更新所需的样本数」，Sholto/Kaiser 计量的是「达到可靠性所需的总尝试数」，两个口径都叫「数据效率」，而它们的差值恰好是这个行业新的成本中心（eval、环境、专家信号）。

三、数据墙：真墙、远墙，还是伪命题？

Yi Tay 代表「墙是真的」一方——他对数据效率重要性的整个论证就建立在墙上：

"I think in general, like learning more, like extracting more from every data point is definitely valuable. But I think that's also related to the fact that we're like running out of tokens in the world. So I don't work on data for pre-training and I think things that I say would..."
「我认为总的来说，更多地学习，比如从每个数据点中提取更多信息，绝对是有价值的。但我认为这也与我们似乎快要用完世界上的 tokens 有关。所以我不做预训练的数据，我认为我说的话会...」
Yi Tay · Captaining IMO Gold, Deep Think, On-Policy RL, Feeling the AGI in Singapore — Yi Tay 2

Noam Brown 的版本更结构化：墙不只是数量墙，还是质量墙——人类/互联网数据的天花板意味着纯预训练永远到不了超人水平：

"The first step in AlphaGo was you do large-scale pre-training. In that case, it was on human Go games. With LLMs, it's pre-training on, you know, tons of, like, internet data. And that gets you a strong model, but it doesn't get you... You know, an extremely strong model. You know, it doesn't get you a superhuman model."
「AlphaGo 的第一步是进行大规模的预训练。在 AlphaGo 的例子中，预训练是基于人类的围棋对弈数据。对于 LLM 来说，预训练是基于大量的互联网数据。这能让你得到一个强大的模型，但还不是一个极其强大的模型。这还不能让你得到一个超越人类的模型。」（英文补自 Latent Space 官方转录）
Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI

而且在撞到数据墙之前会先撞经济墙——他给数据效率的替代杠杆（行动前思考）标了价：等价于把模型放大 1,000–100,000 倍：

"Yeah. Like, you know, a thousand to a hundred thousand times, like it's the equivalent of a model that's like a thousand to a hundred thousand times bigger. And in language models, you weren't really seeing that, that the models would just respond instantly. Some people in the field in the LLM. We're like convinced that like, okay, we just keep scaling pre-training. We're going to get to super intelligence. And I was kind of skeptical of that perspective in late 2021. … Sure, we're going to scale these things up by a few more orders of magnitude. They're going to become more capable, but we're not going to see super intelligence from just that. And like, yes, if we had a quadrillion dollars to train these models, then maybe we would, but like, you're going to hit the limits of what's economically feasible before you get to super intelligence, unless you have a reasoning paradigm."
「是的，比如 1,000 到 100,000 倍。这相当于一个大 1,000 到 100,000 倍的模型。在语言模型中，你并没有真正看到这一点，模型只是立即做出反应。LLM 领域的一些人确信，只要我们不断扩大预训练的规模，我们就能达到超级智能。我对这种观点持怀疑态度。……我们将把这些东西扩大几个数量级。它们会变得更强大。但我们不会仅仅从那之中看到超级智能。就像，是的，如果我们有 1 万亿美元来训练这些模型，那么也许我们可以。但是，在你达到超级智能之前，你将会触及经济上可行的极限。除非你有一个推理范式。」（英文补自 Latent Space 官方转录；注：原文为 "a quadrillion dollars"（千万亿美元），中文稿的「1 万亿美元」系 podwise 误译）
Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI

Morcos 对墙的存在性发起了正面攻击。他直接点名 Ilya 的「预训练已死」：

"Even if you look at the first kind of prognostication from Ilya that pre-training is dead last year at NeurIPS, that was entirely based on the idea that the reason that pre-training as we know it will die is because we have run out of data. That was the whole idea that the internet is a finite resource and we have exhausted it. I think that is a very nearsighted way of thinking about this problem."
「即使你看看 Ilya 去年在 NeurIPS 上提出的第一个预测，即预训练已经过时，那也完全基于这样一种想法：我们所知的预训练将会消亡，因为我们已经耗尽了数据。整个想法是互联网是一种有限的资源，我们已经耗尽了它。我认为这是看待这个问题非常短视的方式。」
Ari Morcos · AI Vibe Check: The Actual Bottleneck In Research, SSI's Mystique, & Spicy 2026 Predictions

他的核心比喻——墙的前提是「榨干了」，而我们还在手榨时代：

"But like this whole idea assumes that we have maximally abstracted all the juice out of the Internet and out of our existing data sets. And that is just so patently false. The analogy I like to use here is imagine trying to hand juice an orange. … And then you go to a juicer and like you get three times as much juice out of the same orange by doing that. We are in the hand-juicing era of using our modern data sets."
「但这个想法假设我们已经最大限度地从互联网和现有数据集中提取了所有的价值。而这显然是错误的。我喜欢用的类比是，想象一下试图用手榨橙汁。……然后你用榨汁机，同样一个橙子榨出的果汁是手榨的三倍。我们正处于使用现代数据集的手榨时代。」
Ari Morcos · AI Vibe Check: The Actual Bottleneck In Research, SSI's Mystique, & Spicy 2026 Predictions

他甚至宣布判决已下：

"I mean, has he already been proven wrong with Gemini 3? I think very explicitly he's been proven wrong by Gemini 3. And they did a lot on the data side."
「我的意思是，Gemini 3 难道没有证明他是错的吗？我认为 Gemini 3 已经非常明确地证明他是错的。而且他们在数据方面做了很多工作。」
Ari Morcos · AI Vibe Check: The Actual Bottleneck In Research, SSI's Mystique, & Spicy 2026 Predictions

对合成数据他划了一条关键边界——净新生成是伪装的蒸馏、有坍缩风险，但 rephrasing 的信息来自源数据，弱模型即可生成教出更强模型的数据，这才是穿墙的路径：

"So that by doing this rephrasing effectively, you actually can break this data wall and now get models that are better than either of the models that generated the data."
「因此，通过有效地进行这种释义，你实际上可以打破这个数据墙，现在可以得到比生成数据的任何一个模型都更好的模型。」
Ari Morcos · Better Data is All You Need — Ari Morcos, Datology

他还给这场辩论加了一个制度经济学注脚：大实验室之所以撞墙，是因为无限资本让「买更多数据、堆更多算力」成了比攻克样本效率更快的路径，而被算力封锁的中国实验室反而被迫在 curation 上创新——「约束孕育创新」。顺着这条逻辑他给出了两个激进预测：专域前沿模型成本应降到 100 万美元以下（DeepSeek 已示范数百万美元量级），三年内大多数人使用的模型将是个位数 B 参数。

注意这场分歧其实有一个未被言明的调停点：Noam 说的墙是「原始人类数据的数量与质量上限」，Morcos 攻击的是「从现有数据提取的信息上限」——两者可以同时为真（原始数据有限，但提取率还有 10x 空间）。可是双方都没有说出对方成立的条件，Morcos 的「Gemini 3 证伪 Ilya」尤其值得存疑：数据侧投入大和「墙不存在」之间还差好几步论证。

都没说透的

我的看法

以下是我的判断。这九篇最大的发现是：「数据效率」一个词其实同时指三个进度完全不同的问题，几乎所有表面分歧都来自三层混用——

(a) 预训练语料的边际信息效率（Morcos 的战场）。证据最硬（12x、+4–5 点、参数减半反超都有具体实验），但全部在 ≤15T token、个位数 B 参数量级。我以中等把握相信前沿实验室在这一层还有 2–10x 可拿（Gemini 3 数据侧的重投入、Christina「GPT-5 前端飞跃归因于最好的数据」都是旁证），以较低把握相信 Morcos 的「还有 100x」。

(b) 后训练教一项具体能力所需的样本数（Isa/Foody 的战场）。「几百个样本教会新能力」我以较高把握相信为真——三个独立来源（OpenAI 后训练一线、Mercor 的商业数据、RFT 对 SFT 的替代史）指向一致。但这层的「省」是净成本转移：稀缺资源已从 token 变成信号（eval、环境、专家判断），Foody 的固定成本论是九篇里对这件事最诚实的表述。

(c) 学习算法与人类的根本差距（Kaiser/Noam/Yi Tay 的战场）。这是唯一称得上科学问题的层面，而现状是连 bug 的位置都没有共识（架构？backprop？off-policy？还是根本不是 bug？）。我以较低把握判断十年内出现范式级解；同时以中高把握判断 Sholto 式绕行在纯数字、可无限重试的领域经济上够用——pass@1 的短板可以用采样量和验证器买回来。

还有一条被低估的推论：Sholto 补偿论的适用边界恰好是它自己划出来的。并行重试只在数字环境里免费，机器人、生物学、物理世界不在其中——所以样本效率低下的真实代价不是 AGI 到得慢，而是自动化的顺序被锁死：数据充足的白领工作先走（2027-28），缺数据的物理世界殿后。差距不修，代价就以「顺序」而非「速度」的形式支付。这也解释了为什么三条分歧吵而不散：绕行派和修 bug 派其实在为不同的领域说话。

还想知道什么

取材

继续读
线索
阅读线索：agent 不到 9 nines 可靠，那应该卖给企业还是消费者
线索
阅读线索：如果 coding 是 commodity，AI startup 的护城河长在哪儿
线索
阅读线索：推理成本一年跌 10×，AI app 该按什么定价
线索
摘报
线索
摘报
线索
摘报