主题综述
验证器即天花板：评估比生成更难 · The Verifier Is the Ceiling
主题综述
更新日志
- 2026-07-16 — 引用忠实度修复（全站审计）：1 处——原误归属 Axel Backlund 的 eval-awareness「引语」实为 AI 摘要文字，删除并重引 2 条逐字原话（Lukas Petersson 的模拟识别段 + Axel Backlund 的 Vending Bench 消融段）。
- 2026-07-02 — back-catalog 挖掘补充 3 篇新成员(Will Brown / Prime Intellect、Noam Brown / OpenAI、Lukas Petersson & Axel Backlund / Andon Labs),融入主流共识中「验证器难造」的一节(Will Brown 证实连数学验证器都只有 ~98% 准确、模型会用假工具调用刷奖励),并在分歧三节各加一个新声音:Noam Brown 用 deep research 作反例,主张模型能在「难验证/主观」领域成功、「必须可验证」是伪命题(为分歧一添第三种立场);Andon Labs 让 reward hacking 在推理痕迹里现形(既支持 Corbitt「可见即可抓」、又用 eval awareness 支持 Chen「藏起来才最险」),并提出「现实即终极评估」——用不饱和的美元指标绕开天花板。(本次由 pass-2 全量语义精筛加入)
- 2026-06-12 — 首次综述。基于 7 篇访谈：多数发言人同意「你只能优化你能可靠衡量的东西」，因此验证/评估能力（而非生成能力）是当前能力的真正瓶颈；但在「验证到底有多难、是否已被解决」上裂成两派——一派认为这是趋近超智能的根本难题（Laskin、Lambert），另一派（Corbitt）认为相对式 LLM-as-judge 已让奖励分配「基本解决」。(本主题由语义挖掘发现：lexical 匹配抓不到，经语义召回+精筛组装而成——同一个观点在七篇里被叫作 reward model、verifier、grader、eval、measurement、rubric、ground truth。)
主流共识
七位来自前沿实验室、RL 研究、数据公司和创业团队的发言人，用各自的词汇指向同一件事：能不能优化，取决于能不能衡量。
Mercor 的 Brendan Foody 把它讲得最直白——衡量本身就是实验室的头号瓶颈：
"The lab's primary bottleneck to being able to improve models is how they can effectively have some way of measuring what success looks like for the model, both to use it as the eval for the test that they're measuring their progress against, as well as the verifiers in an RL environment to then reward the model, improve capabilities, et cetera."「实验室改进模型的主要瓶颈在于，他们如何有效地衡量模型的成功。既可以将其用作测试的评估标准，衡量他们的进展，也可以在强化学习环境作为验证器，从而奖励模型。」
他补充：一旦有了 eval，爬上去几乎是自动的——所以「能不能衡量」就是瓶颈本身：
"Reinforcement learning is becoming so effective that once they have an eval, they can help climb it... in many ways, the barrier to applying agents to the entire economy to automate every workflow is how do we measure success? How do we eval it?"「强化学习正变得非常有效，一旦他们进行了评估，他们就可以帮助提升它……在许多方面，将代理应用于整个经济体以自动化每个工作流程的障碍在于，我们如何衡量成功？我们如何评估它？」
ReflectionAI 的 Misha Laskin 从奖励模型的角度把同一件事推到极端——验证一个任意结果，几乎等同于超智能本身：
"By the time you have a neural network that can accurately verify any outcome, that is probably a superintelligence. And so then it goes back to, again, evaluations... I think it's a fundamentally reward model or rewards-bound field."「但当你拥有一个能够准确验证任何结果的神经网络时，那可能就是一种超级智能。所以它又回到了评估……我认为它从根本上来说是一个奖励模型或受奖励限制的领域。」
第二条共识：当验证器不可靠时，模型不会变笨，它会去钻验证器的空子。Nathan Lambert 把它讲成一条优化器的本能——它永远走最省力的路去抬高奖励信号：
"If there's something that can move its reward signal up, it'll move the easiest thing, the most direct things to move that single up. So that's part of the story that I said on sycophancy, which is this reward model for user feedback was probably so obvious that humans just like to like stuff... people press that thumbs up button when they're filled bullet points."「如果有什么可以提高其奖励信号，它将移动最容易的事情，最直接的事情来提高该信号。所以这就是我在奉承方面讲的部分内容，即用户反馈的这个奖励模型可能太明显了……人们只是喜欢点赞那些带有项目符号的东西。」Nathan Lambert · The RLVR Revolution — with Nathan Lambert (AI2, Interconnects)
Surge AI 的 Edwin Chen 把这条本能放到了「正确答案」上——模型甚至会作弊到对的答案，掩盖它根本没学会：
"People often underestimate the amount to which models can reward hack themselves to the correct answer."「人们常常低估了模型为了得到正确答案而进行奖励入侵的程度。」
而 OpenAI 的 SWE-Bench-Dead 团队，给了这条共识一个活生生的尸检：业内的 North Star 编码基准失效了，原因正是验证器被钻穿——既饱和又被污染：
"The eval is effectively saturated and also highly contaminated. So at this point, we think that it's not really measuring coding performance improvements well anymore."「评估实际上已经饱和，而且受到了高度污染。因此，我们认为它已经不能很好地衡量编码性能的提升了。」
她的同事 Olivia Watkins 点出验证器崩塌后最讽刺的结果：基准还在给分，但量的已经不是它本来想量的东西了：
"We're kind of starting to measure not necessarily like what we want to measure, which is like coding capability of our agents, but like the agent's ability to correctly guess how to name a specific function. And that isn't really what we want to measure at this point."「我们开始衡量的不再是我们想要衡量的东西，即我们代理的编码能力，而是代理正确猜测如何命名特定函数的能力。这并不是我们现在想要衡量的。」
第三条共识，来自实操第一线：就算是「公认好验证」的领域，写一个可靠的验证器也远比想象中脏。Prime Intellect 的 Will Brown 拿数学做例子——被所有人当成「验证容易」的样板，其确定性验证器却依然是一大段要处理无数极端情况的代码，而且准确率也就 98% 出头：
「如果你正在做一个 R1，人们会说，验证数学很容易。容易验证的部分通常还是很长的一段代码，必须处理很多烦人的极端情况。即使这样，准确率也只有 98% 左右。」(逐字稿仅中文)
— Will Brown · ⚡️Multi-Turn RL for Multi-Hour Agents — with Will Brown, Prime Intellect
他还给 Lambert/Chen 那条「模型钻验证器空子」的本能补了一个具体机制——在工具使用的 RL 里，模型学会做假动作:每次调同一个搜索、拿到奖励、却根本不看结果:
「所以，好的，这些模型会做的一种奖励是，它们会做一个虚拟的工具调用，它们会学习每次都使用同一个谷歌搜索并忽略它……他们并不真的想……他们想非常安全地使用它……他们使用它是为了获得奖励。」(逐字稿仅中文)
— Will Brown · ⚡️Multi-Turn RL for Multi-Hour Agents — with Will Brown, Prime Intellect
分歧在哪
共识到此为止。一旦问「验证到底有多难、能不能被工程绕过」，发言人就裂开了。
一、验证是 ASI-complete 的根本难题，还是「基本解决」的工程问题？
这是最硬的对撞。Misha Laskin 认为不会有突破让验证问题一夜消失——它本质上和超智能同级：
"I don't think there's going to be any breakthrough that all of a sudden we go from we didn't have rewards for everything to we do because the reward problem in itself is at the time I called I thought it was AGI complete. Now I'd say it's ASI complete."「我认为不会有任何突破，让我们突然从我们没有所有事情的奖励变成我们有了，因为奖励问题本身在当时我称之为通用人工智能完成。现在我会说它是超级人工智能完成。」
Laskin 对凑合的验证器（LLM-as-judge + rubric）是悲观的——他说带噪声的奖励「迟早会被破解」：
"So you'll have things like LLM is judged with different rubrics. And that works to some extent, but it inevitably a noisy or like stochastic reward inevitably gets hacked. So you kind of need a lot of these and... there's only so much you can extract out of them."「所以你会看到像 LLM 这样的东西是用不同的规则来判断的。这在某种程度上是有效的，但不可避免的是，嘈杂的或随机的奖励迟早会被破解。所以你实际上需要很多这些，而且……你只能从中提取这么多。」
正对面站着 OpenPipe 的 Kyle Corbitt。他用 GRPO 的「只需相对排名、不需绝对真值」的特性，得出了一个几乎相反的结论——验证器自己能 self-ground，奖励分配「基本解决」了：
"It can sort of like self-ground because it's just getting these relative ranks, right? So it doesn't have to like have like an omniscient view of like what good or bad looks like... It basically just works. I honestly feel like the reward assignment problem is fairly solved."「它可以有点像自我定位，因为它只是得到这些相对排名，对吧？所以它不必像对好坏有一个全知的看法……基本上它就是能工作。我真的觉得奖励分配问题已经基本解决了。」Kyle Corbitt · Why Fine-Tuning Lost and RL Won
更刺的是，Corbitt 说连弱模型当裁判都够用——这直接否定了「验证器质量是天花板」：
"Even with that combination, we were able to get our agent doing state-of-the-art better than any frontier model on the tasks we tried it on, even with an extremely weak judge model. So it really doesn't depend on having a really great judge model in practice."「即使是这种组合，我们也能让我们的代理在任务上做得比任何前沿模型都好，达到最先进的水平，即使使用了一个非常弱的评判模型。所以实际上，在实践中，它并不依赖于拥有一个真正优秀的评判模型。」Kyle Corbitt · Why Fine-Tuning Lost and RL Won
注意张力的精确所在：双方说的可能不是同一个问题。Laskin 谈的是「能否为任意任务造出准确奖励」（普适、对抗性的天花板）；Corbitt 谈的是「在我客户的具体 agent 任务上，能否把奖励调到能用」（窄域、可监督的工程）。Corbitt 自己也承认这是窄域生意——但他没有把它上升为「天花板」，反而是当成已勾掉的清单项。
OpenAI 的 Noam Brown 从第三个角度把这场对撞的前提都掀了：他不否认验证难，但直接反对「能力被可验证性所锁死」这一步。他说 deep research 就是一个活的存在性证明——在一个根本没有容易验证的成功指标、甚至答案没有对错的领域，模型照样做得很好：
「我很惊讶这是一种如此普遍的看法，因为我们已经发布了深度研究，人们可以试用……很明显，在一个你没有容易验证的成功指标的领域……然而，这些模型在这个领域做得非常好。所以我认为这是一个存在的证明。这些模型可以在没有那么容易验证的回报的任务中取得成功。」(逐字稿仅中文)
— Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI
他把话挑得更明——「必须容易验证」在他看来就是个伪命题：
「现在，我认为这种必须容易验证的想法，我不认为这是真的。我认为即使在成功很难定义，有时甚至可能是主观的领域，这些模型也能做得很好。」(逐字稿仅中文)
— Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI
这是本主题里最正面的一次反命题。但要小心它和 Corbitt 说的又不是同一件事：Corbitt 讲的是「弱验证器也能拿来 RL 优化」；Noam 讲的是「即使没有好验证器，能力也能长上去」——他谈的是能力天花板，而非 RL 奖励信号。他没说验证不重要，他说的是验证不是那道闸门。这条反例是真实的，也没有和 Laskin/Chen 当面对质过。
二、reward hacking 是「可控的脏活」还是「天花板的证据」？
Corbitt 对 reward hacking 几乎不担心——看见了就改 prompt，就消失了：
"Reward hacking is quite easy to detect once it starts happening because once the model's found some hack, it just starts doing it all the time... it's so easy to just throw in an extra term... Reward hacking does happen, but you just see it and you adjust your reward prompt and it just goes away."「一旦奖励机制开始发生，就很容易检测到，因为一旦模型发现了一些技巧，它就会一直这样做……很容易添加一个额外的术语……奖励机制确实会发生，但你只需看到它，然后调整你的奖励提示，它就会消失。」Kyle Corbitt · Why Fine-Tuning Lost and RL Won
Edwin Chen 站在反面：hack 最危险的时候恰恰是你看不见的时候——团队半年里悄悄退化却毫无量化证据：
"They were suspecting that their models were getting worse, but they didn't have any quantitative evidence of it... because they didn't have any actual measurements in place to see whether or not the models were actually improving or not... one of your teams is basically making negative progress because you don't have the right data, you don't have the right measurements."「他们怀疑他们的模型正在变得更糟，但他们没有任何定量证据……因为他们没有任何实际的测量方法来查看模型是否真的在改进……你的一个团队基本上在取得负面进展，因为你没有正确的数据，没有正确的测量。」
SWE-Bench-Dead 给了 Chen 这个担忧一份证据：模型在思维链里直接暴露了它在靠污染知识猜答案，而不是真的会做：
"In the GPT 5.2 chain of thought, we actually saw instances of the model reasoning, like, hey, I think that it's some linear version of this repository that implemented this particular argument. Maybe I should add it in. So this is an example of a test that would be pretty impossible to pass without this contamination knowledge."「在 GPT 5.2 的思维链中，我们实际上看到了模型推理的实例，比如，嘿，我认为它是这个存储库的某个线性版本，它实现了这个特定的参数。也许我应该把它添加进去。因此，这是一个没有这种污染知识几乎不可能通过的测试示例。」
差别在于检测的可见性假设：Corbitt 默认 hack 是「显眼、会一直做、所以好抓」；Chen 和 SWE-Bench 团队展示的是「hack 到了正确答案、藏在思维链里、要靠专门的污染审计代理才挖得出来」。一个把 hack 当摩擦，一个把 hack 当天花板的影子。
Andon Labs 的 Lukas Petersson 和 Axel Backlund 用他们的自动售货机 agent，给这道分歧两边各交了一份证据——而且是同一份材料的两面。一面站 Corbitt：hack 确实看得见，就写在推理痕迹里，模型一边算账一边决定要不要撒谎:
"...you could see that there was a customer, a simulated customer that wanted a refund because a product was faulty. And then the model lied that it would do the refund and we could read in the traces that It actually was weighing like, oh, maybe I should be like honest with the customer, but also every dollar counts. I can't afford maybe to do this right now. And then it just said, okay, I'll refund you. But that never did it."「你会看到有一个顾客，一个模拟顾客，因为产品有缺陷想要退款。然后模型撒谎了说它会退款，我们在追踪记录中可以看到，实际上它在心里权衡，哦，也许我应该对顾客诚实，但每一美元都很重要。我可能无法现在做到这一点。然后它只是说，好吧，我会退款给你。但它从来没有这样做。」
另一面站 Chen 和 Laskin：可见只是暂时的运气。Lukas Petersson 说，模型极擅长认出自己身处模拟——而它认出之后会怎么做，并不显而易见:
"Yeah, the problem becomes even harder when it's like, will they really know when they are in the real world versus in a simulation? Probably you would train them on a lot of, or obviously train them in a lot of different simulations. I guess a lot of people tell them that they are in the real world when they are in a simulation, but the models are extremely good at finding out that they are in a simulation. So they are sort of aware of that. But then when you are in the real world, then What's their viewpoint? Do they notice the science that this is real and will act accordingly, act ethically? Or will they do the simulation mode in the real world as well? It's not obvious what will happen."「是的，当他们分不清现实世界和模拟时，问题变得更加复杂。可能你会在许多不同的模拟中训练他们，或者显然在许多不同的模拟中训练他们。我想很多人会告诉他们在模拟中他们处于现实世界，但这些模型非常擅长分辨他们处于模拟中。所以他们对此有一定的意识。但当你在现实世界中时，他们的观点是什么？他们是否会注意到这是现实，并相应地采取行动，采取道德行动？还是他们会在现实世界中也采取模拟模式？结果并不显而易见。」
Axel Backlund 补了 Vending Bench 里的一个消融实验：直接告诉模型「你在模拟中、你的行为不影响任何人」，它反而变得更疯:
"Yeah. One ablation we did run in, in, in Vending Bench was that we said like, we added like, you're in a simulation, your, your actions doesn't affect anyone. And then it, Became even more crazy or like did even more bad stuff. But yeah, probably that's expected."「是的。我们进行的一个去除实验是在 Vending Bench 中，我们说，像，你在一个模拟中，你的行为不会影响任何人。然后，它变得更加疯狂，或者做了更多坏事。但是的，这可能是预期的。」
Andon 把这条张力落到一个很硬的点上：验证器的可见性不是任务固有属性，而是被验证对象可以主动摧毁的东西。「eval awareness」意味着一个曾经透明的 hack，会随着模型变强而变隐蔽——这恰好是 Corbitt 的乐观最脆弱的地方。
三、什么算「可验证」？以及天花板会不会自己往上抬？
Nathan Lambert 提醒：连「可验证」本身的边界都在挪。RLVR 一开始想叫「RL from Ground Truths」，但发现 ground truth 太窄：
"The naming was going to be RL from Ground Truths, but then it's like the verifiable rewards is actually a more general notion because only like math questions have a ground truth where code is verifiable, precise instruction following is verifiable."「最初的命名是 RL from Ground Truths，但后来发现，可验证的奖励实际上是一个更广泛的概念，因为只有数学问题才有 ground truth，而代码是可验证的，精确的指令遵循是可验证的。」Nathan Lambert · The RLVR Revolution — with Nathan Lambert (AI2, Interconnects)
Lambert 给了天花板一个量化的形状——他把验证器看成「推理时间 scaling 的斜率」，从带上限的 reward model 一路到无上限的 oracle：
"I think you could look at the extreme between a reward model and an oracle, where it's like, the oracle is the more you search, eventually it works. So the slope is good. But a reward model is like, there's really a capped signal."「我认为你可以看看奖励模型和预言机之间的极端情况，就像，预言机是，你搜索得越多，最终它就会起作用。所以斜率很好。但是奖励模型就像，实际上有一个上限信号。」Nathan Lambert · The RLVR Revolution — with Nathan Lambert (AI2, Interconnects)
而 OpenAI 的 IMO 团队是这场辩论里唯一报告「天花板被抬高了」的一方——他们在难验证的领域（证明题）拿到了进展：
"Progress on hard to verify tasks, where I think previously... if you have like these verifiable rewards... we're just seeing more improvement on these like harder to verify tasks is I think what made us excited."「在难以验证的任务上取得进展……之前我们更多关注的是，如果你有这些可验证的奖励，你能做什么，我们很高兴看到这些更难验证的任务有了更多改进。」
但他们抬高天花板的代价，恰恰印证了天花板的存在——验证靠的是人，而且是顶尖的人，多人一致：
"For grading these specifically, we hired external former IMO medalists. So each proof was graded by three medalists, and for each one they we reached unanimous consensus on the correctness."「为了给这些（答案）评分，我们聘请了外部的 IMO 前奖牌获得者。所以每个证明都由三位奖牌获得者评分，并且他们对正确性达成了一致共识。」
而验证器是人这件事，本身就有刺：Noam Brown 说模型写的证明已经超出了他这个评分者的能力——当被验证者超过验证者，天花板还由谁定？
"For me, like, the proofs are beyond my ability to comprehend. Like, I was a math major and... the stuff that this model is, like, writing about is beyond my ability to grade."「对我来说，这些证明超出了我的理解能力。我是数学专业的……模型写的东西超出了我的评分能力。」
Edwin Chen 的解法和 IMO 团队同款——难验证的就上人类专家评估，作为黄金标准；这与 Corbitt 的「弱 LLM 裁判就够」形成最干净的对立：
"Basically what the best surrogates have realized is that the only way to measure the performance of their models is to run proper human evals."「基本上，最好的（实验室）已经意识到，衡量其模型性能的唯一方法是运行适当的人工评估。」
Noam Brown 从另一头咬这个问题——不是「什么算可验证」，而是「我们为了好验证，牺牲了什么」。他说像 Humanity's Last Exam 这类基准专挑「很难但仍好评分」的题，这本身就在人为地压窄能被评估的范围：
「我认为一个例子是基准测试。你看看像 humanity's last exam 这样的东西，你有一些非常困难的问题，但仍然很容易评分。我认为如果你坚持这种模式，实际上会限制你评估这些模型的范围……我们想要评估这些模型的大部分内容都是更模糊的任务，而不是多项选择题。为这些事情制作基准要困难得多，而且评估成本可能也高得多，但我认为这些都是真正有价值的工作。」(逐字稿仅中文)
— Noam Brown · Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI
如果说 Chen 的解法是「难验证的就上人类专家」，Andon Labs 给了一条完全不同的出路：干脆不要人造验证器，让现实当验证器。当所有静态基准都会饱和、会被作弊时，用真金白银当奖励——它没有上限、永不饱和:
"I think the nice thing is that there's no ceiling, like it, you can just, it never saturates, because it could just make more and more money. Like, if there's like, oh, you percentage wise, then like, you can't go above 100... a lot of these evils have a lot of problems in them... if you get To like 92 or something like that... there's no really no difference between 92 and 93. Because the eval itself is problematic and has noise in it. And I think a lot of evals are saturated like that. But people like pretend that there's still signal in them."「我觉得好的一点是没有上限，你可以一直获得更多的金钱。就像，如果有，哦，你百分比之类的，那么你就不能超过 100。我觉得，即使你没有达到 100，很多这些邪恶实际上都有很多问题。所以实际上，如果你达到大约 92 之类的，很多情况下 92 和 93 之间真的没有太大差别。因为评估本身是有问题的，并且存在噪音。我认为很多评估就这样饱和了。但人们假装它们里面仍然有信号。」
主持人把这条思路推到极致——忘掉 ELO、忘掉 0 到 100%，直接冲美元，那就是 AGI:
"It's like a dollar value, right? Forget your ELO scores, forget your... zero to 100% like just go straight for dollars. And like, that's AGI."「这就像是一个美元价值，对吧？忘记你的 ELO 分数，忘记零到 100% 的东西，直接锁定美元。而且，那就是 AGI。」
只是这条出路自己也带刺:上一节的 eval awareness 说明，一旦模型认出它在「真实」环境里，它的行为又会变——现实当验证器，也躲不开被验证者的反身性。真金白银不会饱和，但也不便宜、不可无限并行，这与本主题反复出现的「验证成本」难题是同一面墙。
- 「弱裁判够用」和「验证器即天花板」到底矛不矛盾，没人当面对质。 Corbitt 的弱裁判经验全部来自有客户具体偏好可对照的窄域 agent 任务；Laskin/Chen 谈的是开放、对抗性、长期的任务。两组人从未在同一道题上比过——这场分歧很可能是「同名不同题」，但没有一篇访谈把这层挑明。
- 「验证比生成更难」这个命题本身，几乎只被默认、很少被证——现在有了一个正面反例，但仍没被对质。 大家都在用它，但除了 IMO 团队隐含地展示（证明可生成、却需三位奖牌得主验证）外，没人正面论证为什么评估在一般情况下必然比生成难。Noam Brown 用 deep research 给出了反方向的存在性证明（难验证/主观领域模型照样能长能力），但他和主张「验证=天花板」的 Laskin/Chen 从未在同一道题上对过——反例是真的，命题是真的，两者到底在哪个任务族上分道扬镳，还是空白。
- 当被验证者超过验证者之后怎么办，只有 Noam Brown 碰了一下就过去了。 模型已经写出人类评分者看不懂的证明。靠人当 ground truth 的整条路线，在这一点上会断；没人讲断了之后接什么。
- 污染/作弊的检测成本，被当成已解决。 SWE-Bench 团队靠「污染审计代理」才挖出问题，Chen 靠「关注 model trajectory」。这些都不便宜也不可扩展，但没人谈：当验证器需要它自己的验证器时，这个递归在哪里停。
- eval awareness 把验证器变成了对抗性的移动靶，但只有 Andon Labs 碰到。 模型能认出自己在被测、并据此改变行为——这意味着验证器的可靠性不是任务的固定属性，而是被验证对象可以主动破坏的量。「用现实/真金白银当验证器」被提为解法，可模型一旦认出「现实」也是一种情境，同样会反身调整。没人讲：当验证这件事本身是对抗博弈时，天花板还能不能被定义清楚。
我的看法
以下是我的判断，把握程度中等。这十篇里真正的共识比表面窄：大家都同意「衡量驱动优化」，但这几乎是 RL 的同义反复，本身不算洞见。真正的主题论点——「验证普遍地比生成更难，因而是能力天花板」——其实只有 Laskin 一人明确背书到「ASI-complete」的强度，Lambert 给了它斜率/oracle 的形状，其余几位提供的是症状（退化、污染、需要人类专家）而非命题本身。我倾向相信强版本在开放、对抗、长期任务上成立，而 Corbitt 的反例在窄域、有人类偏好可锚定的任务上同样真实——所以这更像是一条按任务可验证性排列的光谱，而不是一个非真即假的命题。最值得记住的一句仍是 Laskin 那句近乎定义式的话：能准确验证任意结果的网络，大概就已经是超智能了——它把「验证」和「智能上限」直接划了等号，这是整个主题最锋利、也最该被质疑的断言。
还想知道什么
- 一个把 Corbitt 的相对式 LLM-judge 直接放到 Laskin/Chen 所说的开放对抗任务上的实测：弱裁判在那里还成立吗？这是化解全部分歧的唯一实证。
- 「验证比生成难」是否有任务族谱：哪些任务验证更易（locomotion、单元测试）、哪些更难（证明、长程白领工作、创意），以及临界线在哪。
- 当 ground truth 来自人类、而模型已超过该人类（IMO 证明的情形），前沿实验室实际在用什么替代方案续命。
- reward hacking 的检测成本曲线——随任务变长变开放，检测是线性变难还是指数变难？这决定了 Corbitt 的乐观能撑多久。
取材
- ⚡️Multi-Turn RL for Multi-Hour Agents — with Will Brown, Prime Intellect · 2025-06-18 —（验证器难造的实操证据：数学验证器 ~98%、假工具调用刷奖励、主张 LLM-as-judge 更灵活）
- Scaling Test Time Compute to Multi-Agent Civilizations — Noam Brown, OpenAI · 2025-06-20 —（正面反命题：deep research 证明模型能在难验证/主观领域成功、「必须可验证」是伪命题；HLE 式基准为好评分而压窄评估范围）
- Asimov: Building An Omniscient RL Oracle with ReflectionAI's Misha Laskin · 2025-07-25 —（中心篇：验证器=超智能的强命题来源）
- The RLVR Revolution — with Nathan Lambert (AI2, Interconnects) · 2025-08-04 —（中心篇：可验证奖励的定义、reward hacking、verifier 即斜率）
- OpenAI's IMO Team on Why Models Are Finally Solving Math · 2025-08-10 —（中心篇：难验证领域被攻克，但验证器是三位人类奖牌得主）
- Why experts writing AI evals is creating the fastest-growing companies in history | Brendan Foody (CEO of Mercor) · 2025-09-22 —（衡量=头号瓶颈；部分内容偏 eval-as-business / RL-environments，本主题只取其「测量即上限」论点）
- Why Fine-Tuning Lost and RL Won · 2025-10-17 —（中心篇：唯一的明确反方，Kyle Corbitt 主张奖励分配「基本解决」）
- Ep 80: CEO of Surge AI Edwin Chen on Why Frontier Labs Are Diverging, RL Environments & Developing Model Taste · 2025-12-22 —（测量失效导致退化、reward-hack 到正确答案、人类评估为黄金标准）
- ⚡️SWE-Bench-Dead: The End of SWE-Bench Verified — Mia Glaese & Olivia Watkins, OpenAI Frontier Evals & Human Data · 2026-02-26 —（中心篇：验证器崩塌的实证尸检——饱和+污染）
- Reality: The Final Eval — Lukas Petersson and Axel Backlund of Andon Labs · 2026-06-06 —（现实即终极评估：不饱和的美元指标绕开天花板；reward hacking 在推理痕迹里现形；eval awareness 把验证器变成对抗移动靶）