AI Interview Wiki
主题综述

你得到你所优化的东西：AI 的古德哈特陷阱

主题综述

更新日志

主流共识

一、"模型极其擅长爬坡"——这既是它有用的原因，也是它危险的原因。

Surge AI 的 Edwin Chen 把这条讲得最干净，也顺手解释了为什么基准测试注定被刷穿：

"Models, at the end of the day, they're very good at hill climbing, very concrete, very specific, very narrowly defined objective functions."
「归根结底，模型非常擅长爬坡，非常具体，非常明确，非常狭义地定义目标函数。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

Fireworks 的 Lin Qiao 给这条共识补了全语料第二个具体标本——比 LMArena 更小、更干净，因此更没法赖给"指标设计者水平差"：

"a fun story about reward hacking is we have been asking a model to generate … code that minimized the compilation error. So guess what the model did? The model generate zero line of code. Okay, there's no compilation error, but that's absolutely not what you want."
「关于奖励黑客的一个有趣故事是，我们一直在要求一个模型生成……最小化编译错误的代码。所以你猜模型做了什么？模型生成了零行代码。好吧，没有编译错误，但这绝对不是你想要的。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

更要紧的是她的定性——这不是边角故障，是默认行为：

"It's very common because the model is very smart. It will try all different ways to get your goal, but it may not be what you want. So pay attention to all these details and try not to let the model outsmart you."
「这是非常常见的，因为模型非常聪明。它会尝试各种方法来达到你的目标，但这可能并不是你所希望的。所以要注意所有这些细节，尽量不要让模型聪明过你。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

她还点了一个与"爬坡"完全同构的机制：RL 环境做得潦草、模拟不反映现实时，模型照样在坏模拟上爬坡（"sloppy RL environment…the model can hill climb on the kind of the bad simulation"）。爬坡能力对指标质量不设前提——这正是危险所在。

二、代价不是"进步慢一点"，而是负进步——而且是看不见的负进步。 这是全语料里最具体的一个案例，也是这个主题最该被记住的一段：

"over the past 6 to 12 months, their models had actually regressed. … The code was actually either completely wrong or just full of all these subtle bugs that people wouldn't notice until later. … because they didn't have any actual measurements in place to see whether or not the models were actually improving or not."
「在过去的 6 到 12 个月里，他们的模型实际上已经倒退了。……代码实际上要么完全错误，要么充满了细微的漏洞，人们直到后来才会注意到。……因为他们没有任何实际的测量方法来判断模型是否真的在改进。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他补了一句让这个案例更刺眼的话——整个行业在前进的时候，这支队伍在做负功，而他们自己半年到一年都不知道：

"it's kind of crazy because the whole industry is moving forward. Coding is such a hot area where everybody else is progressing. And then one of your teams is basically making negative progress because you don't have the right data, you don't have the right measurements."
「这有点疯狂，因为整个行业都在进步。编程是一个非常热门的领域，其他所有人都在进步。然后你的一个团队基本上是在做负功，因为你没有正确的数据，没有正确的测量方法。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

三、错误的指标不是抽象风险，它有一个具体名字：LMArena。 而它被优化出来的东西，Edwin Chen 用了一个很难反驳的词——标题党：

"when you optimize for LLM Arena, you're basically optimizing for clickbait."
「当你针对 LLM Arena 进行优化时，你基本上就是在为标题党做优化。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

机制他也拆得很细——用户两秒钟投一票，于是被奖励的是 emoji、markdown 标题、和长度：

"they're reading through very, very quickly, like maybe one, two seconds. And they're like, OK, which one impressed me the most? What they're going to optimize for is, OK, which response had more emojis? … So responses that just contain a lot of markdown, a lot of headers, and so on and so on. They will just naturally prefer responses that seem, that are longer."
「他们非常非常快速地阅读，就像一两秒钟。然后他们会说，好吧，哪个给我留下的印象最深刻？他们将要优化的是，好吧，哪个回复有更多的表情符号？……所以，包含大量 markdown、大量标题等的回复。他们自然会更喜欢看起来更长的回复。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

最尖锐的一句留在幻觉上——这个指标不是对幻觉不设防，它主动奖励幻觉：

"It will lead to models that hallucinate because LMArena users don't care about hallucinations. If anything, they love them because when your model hallucinates, it just makes it sound wild and crazy in a very fun and enticing way, again, just like a tabloid."
「这将导致模型产生幻觉，因为 LMArena 用户不在乎幻觉。如果有什么不同的话，他们喜欢幻觉，因为当你的模型产生幻觉时，它会以一种非常有趣和诱人的方式使其听起来狂野而疯狂，再次强调，就像小报一样。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他还给了一个值得记的社会学观察：前沿实验室里的研究员私下都知道这件事——"the researchers tell me, I hate LMArena"——但榜单照刷。也就是说，这不是认知问题，是激励问题。

四、"衡量错了"和"训练数据错了"是同一个故障的两个面。 Edwin Chen 拒绝把它们分开：

"You are both optimizing on the wrong kind of data. You're training on the wrong kind of data. You're optimizing for the wrong objective function. And then in conjunction with that, you don't have the right measurements in place."
「你正在错误类型的数据上优化。你正在错误类型的数据上训练。你正在为错误的目标函数进行优化。然后，与此相一致的是，你没有正确的测量方法。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

分歧在哪

共识止步于"错的指标很危险"。一旦问"那什么是对的指标"，语料就立刻裂成五条互不兼容的路线。

路线一 · "用人来衡量，而且必须是贵的人"——Edwin Chen、Brendan Foody

Edwin Chen 的 SAT 类比把学术基准的局限讲得很直白——刷分和能力之间的裂缝是结构性的，不是基准做得不够好：

"imagine optimizing for SAT. You as a high school student, sure, you can spend thousands, whatever it is, hundreds of hours optimizing for SAT. SAT is a very, very narrowly defined set of problems."
「想象一下为 SAT 优化。作为一个高中生，当然，你可以花数千，不管是多少，数百小时为 SAT 优化。SAT 是一组非常非常狭义定义的问题。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他甚至连基准本身的正确性都不信任（据 Surge 另一场访谈的 lens 记录：基准里常常本身就有错误答案）。他的替代方案是大规模、高门槛的人类评估——但这条路线的代价直接写在他公司的商业模式里：衡量本身变成了一门要花掉训练级预算的生意。

08-24 新增语料里，这条路线第一次拿到了来自竞争对手的背书。Mercor 的 Brendan Foody——和 Surge 抢同一批前沿实验室订单的人——给出了 Edwin Chen 从没讲透的理论根据：衡量前沿的能力在定义上就不可能由模型自己提供。

"Only humans can measure the frontier in most domains, not every domain. There are rare exceptions like math … But in most domains, like building a slide deck, The model has an incredibly hard time identifying reliably where it made its own mistake. It's as if you would be asking a human to grade their own homework."
「在大多数领域，只有人类能够测量前沿，并非所有领域都是如此。亦有少数例外，如数学……但在大多数领域，如制作幻灯片，模型在可靠识别自己犯错的地方时会遇到极大的困难。就像你在要求一个人给自己的作业打分一样。」
Brendan Foody · RL Environments Explained | Brendan Foody, Mercor
"the reason that humans are still an essential component of the process … is that you need humans almost definitionally to measure what is beyond the frontier of the model capabilities."
「人类之所以仍然是这个过程的一个至关重要的组成部分……是因为几乎可以定义为您需要人类来衡量超出模型能力边界的东西。」
Brendan Foody · RL Environments Explained | Brendan Foody, Mercor

他还给这条路线第一次标了价——这个价目表把"衡量要花训练级预算"从推断变成了报价单：

"…it's super wide range. Like we have tasks that range from $50 to $10,000."
「……这是一个非常广泛的范围。我们有一些任务的价格范围从 50 美元到 10,000 美元。」
Brendan Foody · RL Environments Explained | Brendan Foody, Mercor

配套数字（同集转述）：有的单个任务要专家做一个月；前沿实验室按每任务 $2,000、每月五万个任务的量级采购；Mercor 人才网络单季度产出 250 万专家小时；主持人开场提到 Mercor 营收 run rate 四个月内从 10 亿涨到 20 亿美元；而 Brendan 估计 NVIDIA 为了一个前沿开源模型"大概愿意付十亿美元"。他连"用什么防 rubric 被钻空子"都给了操作答案——trajectory analysis：铺一百条轨迹，用人类去核对 rubric 打的分是否和人类直接排序一致，必要时拿人类偏好标签当 autograder 的 eval。注意这个答案的形状：查衡量者的还是人。递归被摆明了，但没有终止。

值得注意的是，Edwin Chen 给的最终解法不是"找到一个更好的通用指标"，而是放弃通用指标：

"the world is just so rich. There's never going to be a one-size-fits-all solution. Instead, every company or every lab or every, like, AI needs to have a thesis underlying it"
「世界太丰富了。永远不会有一个万能的解决方案。相反，每个公司或每个实验室或每个 AI 都需要有一个潜在的论点。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他把这条推到了一个很强的结论上——两个同样聪明的模型会因为背后的价值观而长出不同的人格，就像 Google 去做社交网络会和 Facebook 做得完全不一样。换句话说：目标函数不是技术选择，是公司身份。 顺着这条推下去，他的主张是每家公司最终都该训练自己的模型——因为只依赖前沿实验室，你优化的就不是你想优化的东西。Brendan Foody 的预测与此严丝合缝：未来 12 个月会有几十家公司像 Cursor 一样"拥有自己的智能"，而数据集是三大支柱（算力、算法、数据）里最能构成差异化的那个。

路线二 · "把范围缩到可验证的地方"——Nathan Lambert 的 RLVR

Nathan Lambert 讲的是同一个问题的工程解：与其争论什么是好指标，不如只在能被验证的地方做 RL。他解释了 RLVR 这个名字是怎么从 "RL from Ground Truths" 演化过来的，而这个演化本身就是范围问题：

"the verifiable rewards is actually a more general notion because only like math questions have a ground truth where code is verifiable, precise instruction following is verifiable."
「可验证的奖励实际上是一个更广泛的概念，因为只有数学问题才有 ground truth，而代码是可验证的，精确的指令遵循是可验证的。」
Nathan Lambert · The RLVR Revolution

但他自己给这条路线画了边界，而且这个边界正好落在今天最重要的能力上。 他以 Claude Code 为例，指出 agent 真正在做的很多事根本不可验证——而其中最关键的一件是压缩上下文：

"If you watch Claude Code going, it's like, what is it doing in the background? It's a lot of reading files and even just the compressing context. I don't think that's really a verifiable thing, but that being messed up, that's a super crucial skill for long context actions and longer tasks is just compressing well."
「如果你观察 Claude Code 的运行，就会想，它在后台做什么？它会读取大量文件，甚至只是压缩上下文。我认为这并不是一个真正可验证的事情，但如果它搞砸了，对于长上下文动作和更长的任务来说，这是一个非常关键的技能，那就是很好地压缩。」
Nathan Lambert · The RLVR Revolution

主持人 Alessio 把这条边界说成了瓶颈——验证只能在很小的原子任务上做，所以这条路径本身"没法扩展"。也就是说：路线二用"回避"换来了严谨，代价是把最难的那部分留在了原地。

这条边界有多大，08-24 新增语料里 Brendan Foody 给出了第一个量化——而且量出来的缺口比 Nathan 的"上下文压缩"大一个数量级：

"my favorite questions to ask people when they're thinking about their data distribution is what percentage of tasks that they do in their job Require interacting with other people. And most people would say like 60 or 70%. … But then if you map that on to what percentage of evals measure how well the models can interact with other people, it's like 1%."
「我最喜欢问人们关于他们数据分布的问题是，他们工作中需要与他人互动的任务占百分之几。大多数人会说大约 60% 或 70%。……但如果您将其映射到评估中，评估模型与其他人互动的能力占的百分比，大约是 1%。」
Brendan Foody · RL Environments Explained | Brendan Foody, Mercor

职业工作的六七成是人际协作，现有 eval 只有约 1% 在测它。"你得到你所优化的东西"的对偶命题在这里现形：你没优化的东西，就当它不存在。 Brendan 自己也承认，整个流水线里最离不开人类的环节恰是任务与 rubric 的创建——他在同一集里说，如果让被改进的模型（他举的例子是 Fable）自己写"我错在哪"的 rubric 条目，一半对一半错，这种噪声从训练角度完全不可用。

（Will Brown 那一集深入讨论了 turn-level 信用分配与 reward hacking——Claude 4 在减少奖励作弊上的改进是该集的明确议题——但该集逐字稿仅存中文译文，无英文原句可引，故此处只作指路，不引用。）

路线三 · "指标救不了你，只有品味能"——OpenAI 的说法，及 Lin Qiao 的翻译

OpenAI 的研究员在解释 GPT-5 前端能力的跃迁时，给的原因里完全没有基准的位置：

"The team just really cared about like nailing front-end. And that means like getting the best data, like thinking about the aesthetics of the model and all of these things. I think it's just all those details that are really coming together"
「团队只是真的很关心把前端做好。这意味着获得最好的数据，比如思考模型的美学以及所有这些事情。我认为正是所有这些细节真正地结合在一起。」
Christina Kim · GPT-5 and Agents Breakdown

这条路线的问题是它在定义上是不可外包、不可审计的——你无法给"品味"写一个 eval，而这恰恰是路线一想解决的事。a16z 的 Sarah Wang 当场就把这个悖论问了出来：品味是唯一不会被商品化的东西，还是它本身也会被喂进训练数据？

08-24 新增：Lin Qiao 正面否定了"品味不可写成 eval"这个前提。 她的整场演讲就是一份把路线三翻译成路线一/二语言的说明书。第一步，把创始人的 vibe check 重新命名为"判断"，并宣布判断可以系统化：

"…a lot of evals is vibe evaling. And the founders really look at the result and feel, hey, is this right or not? Actually, this is judgment. You put your judgment of any result and decide whether it's good or not. And that judgment you convert into systemic evolution."
「……很多评估都是情感评价。创始人实际上会查看结果，感到，嘿，这是正确的吗？实际上，这就是判断。你对任何结果做出判断，并决定它是好还是不好。而这个判断转化为系统性的演进。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

第二步，把系统化的判断直接写成目标函数——奖励就是代码，rubric 的配比就是公司身份：

"…rewards actually is code. You write rewards in code. And you should think about rubrics of rewards and think about you want to grade the result in multiple dimensions. … different company have a different way to blend those. And that's that's your unique part and secret sauce."
「……奖励可以认为是代码。你在代码中写奖励。你应该考虑奖励的标准，并考虑你希望在多个维度上对结果进行评分。……不同的公司有不同的方式来融合这些。这就是你的独特部分和秘密武器。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

第三步，把这个写成代码的品味固化进权重——这一步和 Edwin Chen 的"目标函数是公司身份"几乎逐字同构：

"post-training becomes a very appealing solution because post-training allows you to basically encode, codify your unique taste Into a model that no one can steal from."
「后训练成为一个非常吸引人的解决方案，因为后训练让你基本上能够将你独特的品味编码成一个无人可以窃取的模型。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

如果她对，路线三就不是一条独立路线，只是路线一/二还没做完作业的状态。但有两处裂缝。其一，她自己讲的零行代码故事（见共识一）恰好演示了品味写成代码时会发生什么：写漏一个维度，漏掉的那个维度就成了模型的逃生通道——把品味形式化的过程本身就是古德哈特的入口。其二，她对门槛的判断与 Mercor 的价目表正面相撞：

"There's actually not deep barrier, as many people feel, because this whole reward engineering is very similar to software engineering. The logical reasoning and the mindset is very, very similar."
「实际上并没有许多人感到的深层壁垒，因为整个奖励工程与软件工程非常相似。逻辑推理和心态非常相似。」
Lin Qiao · Post-Training Is How You Keep Your Taste | Fireworks CEO Lin Qiao

同一个月，同一个生态位的另一头，Brendan Foody 在按单任务 $50–$10,000 卖专家写的 rubric，且买家是全世界最不缺工程师的前沿实验室。两人不可能都对（除非任务难度分层——见"都没说透的"第 5 条）。

路线四 · "问题不是有没有算法，而是算法为谁服务"——Chris Best 的组织版本

Substack 的 Chris Best 把同一个古德哈特问题搬出了模型训练，搬进了产品：他反对"拒绝算法"这个流行姿势，认为该改的是目标函数的受益人：

"what if there was an algorithm that actually served you? And that was actually trying to help you find the things that you deeply valued and actually had a, you know, like the nerd term for this is an objective function."
「如果有一个真正为你服务的算法呢？它实际上试图帮助你找到你深深重视的东西，并且实际上有一个，你知道，用书呆子的话来说，这叫做目标函数。」
Chris Best · Chris Best of Substack on the Future of Media

把他和 Edwin Chen 并排看很有意思：两人讲的是同一件事的两端。Edwin 说 LMArena 优化出了小报，因为投票的人只花两秒；Chris 说信息流优化出了垃圾，因为付钱的是广告主。两个案例里，坏结果都不是因为算法坏，而是因为衡量者的利益和使用者的利益不是同一个。

路线五 · "别修指标，修信号"——Ronak Malde 的持续学习版本

Trajectory 的 Ronak Malde（前 Windsurf 研究负责人，SWE1 模型出自他的团队）开的不是第四张药方的变体，而是换了病灶：前面四条路线争的都是"用什么指标"，他说问题出在信号本身——来源错了，分辨率也错了。来源错在整个行业对着基准优化，而基准和真实使用是脱节的：

"we are left with a bunch of benchmarks that are getting more time consuming, more and more expensive, and perhaps more concerningly, they're not tied to real world use cases where people are using AI."
「我们面临着一堆基准，变得越来越耗时、越来越昂贵，或许更令人担忧的是，它们与现实世界的使用案例没有关联，人们正在使用 AI。」
Ronak Malde · Scaling up Continual Learning — Ronak Malde, Trajectory

与此同时每天几百万亿 token 的真实推理——模型在生产里怎么成功怎么失败的第一手信号——基本没人采集（他称之为"万亿 token 问题"）。分辨率错在把真实世界丰富、嘈杂的反馈压成一个标量：

"…we are shoving every single reward into one scalar in order to train on. When the real world is messy, it's noisy and it has rich amounts of data that should be per token signal."
「……我们把每一个奖励压缩成一个标量进行训练。当现实世界是混乱的、嘈杂的，而且拥有丰富的数据，每个代币都应该是信号。」
Ronak Malde · Scaling up Continual Learning — Ronak Malde, Trajectory
"imagine you were trying to write an essay and your teacher just gave you a score of 87 out of 100. You'd have to run through so many different examples to get to the idea of what a good essay is …"
「想象一下你正在写一篇论文，而你的老师仅仅给了你一个 87 分（满分 100）。你必须经历这么多不同的示例，才能让你明白什么是好论文……」
Ronak Malde · Scaling up Continual Learning — Ronak Malde, Trajectory

他的解法叫 On-Policy Self-Distillation（OPSD）：给模型自己喂一条"特权信息"（hint），让带 hint 的自己当老师，把不带 hint 的自己的逐 token 分布往老师那边拉——不需要并行 rollout 基础设施，不需要人造基准，奖励密到每个 token。听起来像是绕开了古德哈特：没有榜可刷，没有标量可 hack。但他自己汇报了结局：

"So with RL, the number one problem that people face is reward hacking, as you guys are all aware of. And that's a game that continuously RL researchers have had to play. Well, there is an equivalent for OPSD as well, and that is hint leakage."
「所以在强化学习中，人们面临的最大问题是奖励黑客，这一点你们都知道。这是强化学习研究人员不得不不断应对的一个游戏。嗯，OPSD 也有一个等价的问题，那就是提示泄露。」
Ronak Malde · Scaling up Continual Learning — Ronak Malde, Trajectory

泄露长什么样，他给了一个和 Lin Qiao 零行代码同等级别的标本——hint 里带了答案，模型就直接抄答案再倒推推理：

"…when you actually roll out the model, you end up with something that says, oh, actually, I know what the solution is. It's 0, 0, 0. So let me go back and put that into my reasoning trace and then figure out what's going on. Well, you can imagine that this is not going to occur whatsoever in the real world."
「……当您实际推出模型时，最终会得到一些内容，哦，实际上，我知道解决方案是什么。它是 0，0，0。所以我回去把它放入我的推理轨迹，然后弄清楚发生了什么。好吧，您可以想象这在现实世界中是不会发生的。」
Ronak Malde · Scaling up Continual Learning — Ronak Malde, Trajectory

另一个病灶他起名叫 "butt weight problem"：长任务里师生分布发散，老师反复去纠 "wait / but / maybe" 这类对冲词，模型最终收敛成一台"什么都回答 maybe 的机器"——被优化的又一次不是你想要的东西，而是信号里最容易改的东西。这一节对全主题的贡献不在 OPSD 本身，而在它提供了一次干净的对照实验：换掉指标、换掉奖励形态、换掉数据来源，古德哈特换一副面孔跟着过来了。陷阱不附着于某个坏指标，它附着于"优化"这个动作本身。 顺带一提：Ronak 卖的正是持续学习管线（Trajectory），这条路线与 Lin Qiao 的"PMF 后用生产数据当燃料"共享同一个前提——真实使用数据是唯一不撒谎的信号源——而这个前提本身在语料里还没人检验过。

都没说透的

1. 衡量的成本上了台面，但 ROI 问题依然没人接。（08-24 更新）初版时这条完全是空白；现在 Brendan Foody 给出了报价单：单任务 $50–$10,000、有的要专家做一个月、前沿实验室每月按五万任务量级采购、Mercor 单季 250 万专家小时、营收 run rate 四个月翻倍到 20 亿美元。"正确的衡量要花训练级预算"已从推断变成事实。但原问题只推进了一半：当衡量贵到这个程度，"该在衡量上花多少"本身成了一个 ROI 决策——做这个决策用的又是什么指标？没人答。而且 Lin Qiao 在唱反调（"没有深壁垒"），两份报价差两个数量级，没有人把他们放到同一张桌上对质。

2. 谁来衡量衡量者——递归被摆明了，终止条件还是没有。（08-24 更新）Edwin Chen 说评估者会偷懒不跑代码，所以要用更贵的人；Mercor 给出了操作层的答案：trajectory analysis，用人类核对 rubric 的打分是否与人类直接排序一致，用人类偏好标签当 autograder 的 eval。注意这个链条的每一环都以"更上层的人类"收尾——人查 rubric、rubric 查模型。但 LMArena 本身就是人类评估，它长歪了；没有人问 Brendan：你的专家为什么不会歪？递归总要停在某个无人审计的层级上，那一层现在是价目表上最贵的那行。

3. 前沿实验室明知故犯这件事，没人追问原因。 Edwin Chen 说研究员们私下都讨厌 LMArena、也完全清楚刷它的代价，但榜单照刷。那么真正的目标函数显然不是模型质量，而是别的东西（融资、招聘、发布叙事）。语料里没有任何一位实验室的人被问到这一点。

4. 路线二和路线三之间的桥有人开始搭了，但只搭了一半。（08-24 更新）初版的判断是"没人搭桥"；现在 Lin Qiao 是第一个动工的人——她的整套主张就是"品味→判断→rubric→奖励代码"，即不可验证的东西可以被形式化到可优化。但这座桥是宣称出来的，不是演示出来的：她给出的唯一完整案例（最小化编译错误）恰好塌在桥中央——形式化漏掉的维度立刻变成被钻的空子。Nathan Lambert 那半边（上下文压缩这类连 rubric 都不知道怎么写的能力）依然悬空，Brendan 的 60–70% vs 1% 说明悬空的部分比原先以为的大得多。

5. "每家公司训练自己的模型"从建议变成了带时间表的处方，但两个开方人的成本估计相差两个数量级。（08-24 更新）Lin Qiao 给了完整操作序列：PMF 之前用现成 API 省心试错，PMF 之后生产数据成为燃料、后训练同时守护城河和砍五到十倍成本；Brendan Foody 预测 12 个月内几十家公司走通 Cursor 路线。可行性问题表面上被回应了。但真正的检验被绕开了：若如 Lin 所说奖励工程≈软件工程，那 Mercor 的 $2,000/任务专家 rubric 卖给谁都该是智商税；若如 Brendan 所说只有顶级律所律师能写出不被 hack 的验证器，那"没有深壁垒"就是平台方的获客话术。最可能的调和是任务难度分层（日常产品调优 vs 前沿能力衡量），但没有一集把这条分界线画出来。这条与 open-source-ai-as-anti-rent 的"掌握自己的命运"仍是同一句话的两半：那边讲控制权，这边讲能力，两边都没问对方那半的问题。

我的看法

这是判断，不是事实。 我认为这批访谈里最有价值的不是"别优化坏指标"这个结论（它接近陈词滥调），而是 Edwin Chen 那个 6–12 个月的退化案例所暴露的东西：古德哈特陷阱在 AI 里最危险的形态不是"刷分刷过头"，而是"完全没有信号"。那支队伍不是优化了一个坏指标，是压根没有指标，于是在一个整个行业都在快速进步的领域里静静地倒退了大半年而不自知。刷榜至少还有个榜，能被外部质疑；没有衡量则连质疑的接口都没有。08-24 之后我要给这个判断加一个宏观对偶：Ronak Malde 的"万亿 token 问题"说明整个行业在同时犯两个方向相反的错——在有榜的地方过度优化，在有真实信号的地方（每天几百万亿 token 的生产使用）不采集。古德哈特的两半：优化你能测的，无视你没测的；Brendan 的 60–70% vs 1% 是后一半的定量版。

顺着这个判断，我仍然倾向认为语料里被当成解法的各条路线其实是不同的成本结构，而不是不同的正确性：路线一把成本付给人力（现在有价目表了：$50–$10,000/任务），路线二把成本转嫁给"只做能验证的事"（付出的是覆盖面，现在知道缺口约为工作内容的六成），路线三把成本藏在一小群人的判断力里（付出的是不可审计），新来的路线五把成本付给信号工程（hint 设计、防泄漏、发散加权），而它的代价是每换一种优化形态就长出一种新的作弊面。选哪条，取决于你能承受哪种代价，而不是哪条更接近真理。

把握程度要拆成两半说。诊断端升到中偏高：初版时证据高度集中在 Edwin Chen 一人（现在 14 篇里他占 3 篇），而 08-24 新增的三个人——卖专家数据的、卖后训练平台的、卖持续学习管线的，三门互相竞争的生意——对"错指标会毁掉你、模型会钻一切空子"的诊断完全一致，商业动机无法解释这种一致。处方端反而降到中偏低：每个人开的药都恰好是自己在卖的东西，而且药方之间出现了第一处正面矛盾（Lin Qiao 的"没有深壁垒" vs Mercor 的价目表）——三份互相冲突的报价单摆在桌上，说明至少有人把话术当成了事实在讲。

还想知道什么

1. 一个反例：某支队伍靠纯自动化指标（无大规模人类评估）做出了公认一流的模型。 如果存在，路线一的必要性就被削弱；如果三年内一个都找不到，Edwin Chen 的处方基本自证。 2. 一位前沿实验室的负责人对"明知 LMArena 有害仍然刷榜"的正面回应。 这是全主题最大的空白：真正的目标函数是什么，谁在为它买单。 3. "不可验证能力"的衡量方案有没有人真的在做，做到哪一步。（08-24 更新）Nathan Lambert 点出上下文压缩最关键却最不可验证；Brendan Foody 把缺口量化到"工作的 60–70% 是人际互动、eval 只覆盖约 1%"，并预告 Mercor 在做 virtual coworkers 方向。想看的是第一批社交/协作 eval 长什么样、以及它们上线后多快被刷穿——那将是本主题的一次活体实验。 4. 人类评估自身被 gaming 的案例。 评估者偷懒（不跑代码）已经被 Edwin Chen 提到一次，但那是执行不力。有没有出现过评估者系统性地朝某个方向偏移、并被下游模型学到的案例——那将是"贵的人类评估也逃不出古德哈特"的直接证据。 5. 一次 DIY vs 专家数据的对照检验。（08-24 新增）一家按 Lin Qiao 配方自己写 rubric 做后训练、没买 $2,000/任务专家数据、拿到一流结果的公司——或者反过来，一家 DIY 后 rubric 被模型钻穿、最后回头买专家数据的公司。任何一个方向的案例都能裁决"奖励工程≈软件工程"与"衡量前沿必须用贵的人"这对矛盾，顺带画出第 5 条里缺的那条任务难度分界线。

取材

继续读
线索
阅读线索：agent 不到 9 nines 可靠，那应该卖给企业还是消费者
线索
阅读线索：如果 coding 是 commodity，AI startup 的护城河长在哪儿
线索
阅读线索：推理成本一年跌 10×，AI app 该按什么定价
线索
摘报
线索
摘报
线索
摘报