AI Interview Wiki
主题综述

你得到你所优化的东西：AI 的古德哈特陷阱

主题综述

更新日志

主流共识

一、"模型极其擅长爬坡"——这既是它有用的原因，也是它危险的原因。

Surge AI 的 Edwin Chen 把这条讲得最干净，也顺手解释了为什么基准测试注定被刷穿：

"Models, at the end of the day, they're very good at hill climbing, very concrete, very specific, very narrowly defined objective functions."
「归根结底，模型非常擅长爬坡，非常具体，非常明确，非常狭义地定义目标函数。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

二、代价不是"进步慢一点"，而是负进步——而且是看不见的负进步。 这是全语料里最具体的一个案例，也是这个主题最该被记住的一段：

"over the past 6 to 12 months, their models had actually regressed. … The code was actually either completely wrong or just full of all these subtle bugs that people wouldn't notice until later. … because they didn't have any actual measurements in place to see whether or not the models were actually improving or not."
「在过去的 6 到 12 个月里，他们的模型实际上已经倒退了。……代码实际上要么完全错误，要么充满了细微的漏洞，人们直到后来才会注意到。……因为他们没有任何实际的测量方法来判断模型是否真的在改进。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他补了一句让这个案例更刺眼的话——整个行业在前进的时候，这支队伍在做负功，而他们自己半年到一年都不知道：

"it's kind of crazy because the whole industry is moving forward. Coding is such a hot area where everybody else is progressing. And then one of your teams is basically making negative progress because you don't have the right data, you don't have the right measurements."
「这有点疯狂，因为整个行业都在进步。编程是一个非常热门的领域，其他所有人都在进步。然后你的一个团队基本上是在做负功，因为你没有正确的数据，没有正确的测量方法。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

三、错误的指标不是抽象风险，它有一个具体名字：LMArena。 而它被优化出来的东西，Edwin Chen 用了一个很难反驳的词——标题党：

"when you optimize for LLM Arena, you're basically optimizing for clickbait."
「当你针对 LLM Arena 进行优化时，你基本上就是在为标题党做优化。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

机制他也拆得很细——用户两秒钟投一票，于是被奖励的是 emoji、markdown 标题、和长度：

"they're reading through very, very quickly, like maybe one, two seconds. And they're like, OK, which one impressed me the most? What they're going to optimize for is, OK, which response had more emojis? … So responses that just contain a lot of markdown, a lot of headers, and so on and so on. They will just naturally prefer responses that seem, that are longer."
「他们非常非常快速地阅读，就像一两秒钟。然后他们会说，好吧，哪个给我留下的印象最深刻？他们将要优化的是，好吧，哪个回复有更多的表情符号？……所以，包含大量 markdown、大量标题等的回复。他们自然会更喜欢看起来更长的回复。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

最尖锐的一句留在幻觉上——这个指标不是对幻觉不设防，它主动奖励幻觉：

"It will lead to models that hallucinate because LMArena users don't care about hallucinations. If anything, they love them because when your model hallucinates, it just makes it sound wild and crazy in a very fun and enticing way, again, just like a tabloid."
「这将导致模型产生幻觉，因为 LMArena 用户不在乎幻觉。如果有什么不同的话，他们喜欢幻觉，因为当你的模型产生幻觉时，它会以一种非常有趣和诱人的方式使其听起来狂野而疯狂，再次强调，就像小报一样。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他还给了一个值得记的社会学观察：前沿实验室里的研究员私下都知道这件事——"the researchers tell me, I hate LMArena"——但榜单照刷。也就是说，这不是认知问题，是激励问题。

四、"衡量错了"和"训练数据错了"是同一个故障的两个面。 Edwin Chen 拒绝把它们分开：

"You are both optimizing on the wrong kind of data. You're training on the wrong kind of data. You're optimizing for the wrong objective function. And then in conjunction with that, you don't have the right measurements in place."
「你正在错误类型的数据上优化。你正在错误类型的数据上训练。你正在为错误的目标函数进行优化。然后，与此相一致的是，你没有正确的测量方法。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

分歧在哪

共识止步于"错的指标很危险"。一旦问"那什么是对的指标"，语料就立刻裂成三条互不兼容的路线。

路线一 · "用人来衡量，而且必须是贵的人"——Edwin Chen

他的 SAT 类比把学术基准的局限讲得很直白——刷分和能力之间的裂缝是结构性的，不是基准做得不够好：

"imagine optimizing for SAT. You as a high school student, sure, you can spend thousands, whatever it is, hundreds of hours optimizing for SAT. SAT is a very, very narrowly defined set of problems."
「想象一下为 SAT 优化。作为一个高中生，当然，你可以花数千，不管是多少，数百小时为 SAT 优化。SAT 是一组非常非常狭义定义的问题。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他甚至连基准本身的正确性都不信任（据 Surge 另一场访谈的 lens 记录：基准里常常本身就有错误答案）。他的替代方案是大规模、高门槛的人类评估——但这条路线的代价直接写在他公司的商业模式里：衡量本身变成了一门要花掉训练级预算的生意。

值得注意的是，他给的最终解法不是"找到一个更好的通用指标"，而是放弃通用指标：

"the world is just so rich. There's never going to be a one-size-fits-all solution. Instead, every company or every lab or every, like, AI needs to have a thesis underlying it"
「世界太丰富了。永远不会有一个万能的解决方案。相反，每个公司或每个实验室或每个 AI 都需要有一个潜在的论点。」
Edwin Chen · Ep 80: CEO of Surge AI Edwin Chen

他把这条推到了一个很强的结论上——两个同样聪明的模型会因为背后的价值观而长出不同的人格，就像 Google 去做社交网络会和 Facebook 做得完全不一样。换句话说：目标函数不是技术选择，是公司身份。 顺着这条推下去，他的主张是每家公司最终都该训练自己的模型——因为只依赖前沿实验室，你优化的就不是你想优化的东西。

路线二 · "把范围缩到可验证的地方"——Nathan Lambert 的 RLVR

Nathan Lambert 讲的是同一个问题的工程解：与其争论什么是好指标，不如只在能被验证的地方做 RL。他解释了 RLVR 这个名字是怎么从 "RL from Ground Truths" 演化过来的，而这个演化本身就是范围问题：

"the verifiable rewards is actually a more general notion because only like math questions have a ground truth where code is verifiable, precise instruction following is verifiable."
「可验证的奖励实际上是一个更广泛的概念，因为只有数学问题才有 ground truth，而代码是可验证的，精确的指令遵循是可验证的。」
Nathan Lambert · The RLVR Revolution

但他自己给这条路线画了边界，而且这个边界正好落在今天最重要的能力上。 他以 Claude Code 为例，指出 agent 真正在做的很多事根本不可验证——而其中最关键的一件是压缩上下文：

"If you watch Claude Code going, it's like, what is it doing in the background? It's a lot of reading files and even just the compressing context. I don't think that's really a verifiable thing, but that being messed up, that's a super crucial skill for long context actions and longer tasks is just compressing well."
「如果你观察 Claude Code 的运行，就会想，它在后台做什么？它会读取大量文件，甚至只是压缩上下文。我认为这并不是一个真正可验证的事情，但如果它搞砸了，对于长上下文动作和更长的任务来说，这是一个非常关键的技能，那就是很好地压缩。」
Nathan Lambert · The RLVR Revolution

主持人 Alessio 把这条边界说成了瓶颈——验证只能在很小的原子任务上做，所以这条路径本身"没法扩展"。也就是说：路线二用"回避"换来了严谨，代价是把最难的那部分留在了原地。

（Will Brown 那一集深入讨论了 turn-level 信用分配与 reward hacking——Claude 4 在减少奖励作弊上的改进是该集的明确议题——但该集逐字稿仅存中文译文，无英文原句可引，故此处只作指路，不引用。）

路线三 · "指标救不了你，只有品味能"——OpenAI 的说法

OpenAI 的研究员在解释 GPT-5 前端能力的跃迁时，给的原因里完全没有基准的位置：

"The team just really cared about like nailing front-end. And that means like getting the best data, like thinking about the aesthetics of the model and all of these things. I think it's just all those details that are really coming together"
「团队只是真的很关心把前端做好。这意味着获得最好的数据，比如思考模型的美学以及所有这些事情。我认为正是所有这些细节真正地结合在一起。」
Christina Kim · GPT-5 and Agents Breakdown

这条路线的问题是它在定义上是不可外包、不可审计的——你无法给"品味"写一个 eval，而这恰恰是路线一想解决的事。a16z 的 Sarah Wang 当场就把这个悖论问了出来：品味是唯一不会被商品化的东西，还是它本身也会被喂进训练数据？语料里没有给出答案。

路线四 · "问题不是有没有算法，而是算法为谁服务"——Chris Best 的组织版本

Substack 的 Chris Best 把同一个古德哈特问题搬出了模型训练，搬进了产品：他反对"拒绝算法"这个流行姿势，认为该改的是目标函数的受益人：

"what if there was an algorithm that actually served you? And that was actually trying to help you find the things that you deeply valued and actually had a, you know, like the nerd term for this is an objective function."
「如果有一个真正为你服务的算法呢？它实际上试图帮助你找到你深深重视的东西，并且实际上有一个，你知道，用书呆子的话来说，这叫做目标函数。」
Chris Best · Chris Best of Substack on the Future of Media

把他和 Edwin Chen 并排看很有意思：两人讲的是同一件事的两端。Edwin 说 LMArena 优化出了小报，因为投票的人只花两秒；Chris 说信息流优化出了垃圾，因为付钱的是广告主。两个案例里，坏结果都不是因为算法坏，而是因为衡量者的利益和使用者的利益不是同一个。

都没说透的

1. 衡量的成本从来没被摆上台面。 路线一的解法是"雇一大批高水平人类去评估"，而 Surge 的规模（不足百人做到十亿美元级收入）恰恰说明这门生意有多贵。没有一集问过：如果正确的衡量要花掉训练预算的同一个量级，那"该不该衡量"本身就成了一个 ROI 决策——而做这个决策用的又是什么指标？

2. 谁来衡量衡量者。 Edwin Chen 说基准里常有错误答案、评估者会偷懒不跑代码（那支队伍退化 6–12 个月正是因此），所以他主张用人。但人类评估同样是一个可以被优化的目标——LMArena 本身就是人类评估。语料里没有人回答：为什么"贵的人类评估"不会长出自己的古德哈特版本。

3. 前沿实验室明知故犯这件事，没人追问原因。 Edwin Chen 说研究员们私下都讨厌 LMArena、也完全清楚刷它的代价，但榜单照刷。那么真正的目标函数显然不是模型质量，而是别的东西（融资、招聘、发布叙事）。语料里没有任何一位实验室的人被问到这一点。

4. 路线二和路线三之间没人搭桥。 Nathan Lambert 说不可验证的部分（上下文压缩）恰恰最关键，OpenAI 说不可验证的部分靠品味解决。这两句话拼在一起是一个很尖锐的结论——最重要的能力目前只能靠一小群人的判断力来把关——但没有一集把它们放在一起说过。

5. "每家公司训练自己的模型"这条建议的可行性没被检验。 Edwin Chen 的逻辑很硬（用别人的模型 = 优化别人的目标函数），但它要求每家公司都具备定义并衡量自己目标函数的能力——而这正是这个主题里所有人都承认极难的事。这条与 open-source-ai-as-anti-rent 的"掌握自己的命运"是同一句话，但那边讲的是控制权，这边讲的是能力，两边都没问对方那半的问题。

我的看法

这是判断，不是事实。 我认为这批访谈里最有价值的不是"别优化坏指标"这个结论（它接近陈词滥调），而是 Edwin Chen 那个 6–12 个月的退化案例所暴露的东西：古德哈特陷阱在 AI 里最危险的形态不是"刷分刷过头"，而是"完全没有信号"。那支队伍不是优化了一个坏指标，是压根没有指标，于是在一个整个行业都在快速进步的领域里静静地倒退了大半年而不自知。刷榜至少还有个榜，能被外部质疑；没有衡量则连质疑的接口都没有。

顺着这个判断，我倾向认为语料里被当成解法的三条路线其实是三种不同的成本结构，而不是三种不同的正确性：路线一把成本付给人力，路线二把成本转嫁给"只做能验证的事"（付出的是覆盖面），路线三把成本藏在一小群人的判断力里（付出的是不可审计）。选哪条，取决于你能承受哪种代价，而不是哪条更接近真理。

把握程度：中等。这个主题的证据高度集中在 Edwin Chen 一个人身上（13 篇里他占 2 篇，而且是最有信息量的 2 篇），而他是卖人类评估数据的。他的诊断我认为大体可信——因为多个前沿实验室的研究员的私下态度与之一致——但他的处方（用更多更贵的人）显然和他的生意重合，这一点需要独立信源才能验证。

还想知道什么

1. 一个反例：某支队伍靠纯自动化指标（无大规模人类评估）做出了公认一流的模型。 如果存在，路线一的必要性就被削弱；如果三年内一个都找不到，Edwin Chen 的处方基本自证。 2. 一位前沿实验室的负责人对"明知 LMArena 有害仍然刷榜"的正面回应。 这是全主题最大的空白：真正的目标函数是什么，谁在为它买单。 3. "不可验证能力"（上下文压缩、长程判断）的衡量方案有没有人在做。 Nathan Lambert 点出它最关键却最不可验证；有没有实验室在尝试给它建评估，效果如何。 4. 人类评估自身被 gaming 的案例。 评估者偷懒（不跑代码）已经被 Edwin Chen 提到一次，但那是执行不力。有没有出现过评估者系统性地朝某个方向偏移、并被下游模型学到的案例——那将是"贵的人类评估也逃不出古德哈特"的直接证据。

取材

继续读
线索
阅读线索：agent 不到 9 nines 可靠，那应该卖给企业还是消费者
线索
阅读线索：如果 coding 是 commodity，AI startup 的护城河长在哪儿
线索
阅读线索：推理成本一年跌 10×，AI app 该按什么定价
线索
摘报
线索
摘报
线索
摘报