摘报

最近 14 天

这一批的主线不是"模型又变强了"，而是行业开始为"更强"付账单——账单以 token、以 compute、以被推翻的估值框架计价。三条主题相互咬合：评测在崩坏，因为能力已经变成"你愿意花多少钱"的函数；而这个函数一旦成立，推理成本就顺势成为产品、定价和风投的中心议题；于是所有人不约而同地退回到同一个工程答案——把任务在模型之间做路由。

本批次浮现的主题

1. "跑分格子"正在崩坏，因为能力已经是 compute 的函数

Noam Brown 和 Mark Chen（都在 OpenAI）从两个方向撞到同一堵墙。Noam 的论点最锋利：单一数字的 benchmark grid 已经失效，因为它不控制 test-time compute。他直接点破 5.5 发布时的质疑就是这么来的——

"Once you control for the amount of thinking time, actually you can see that 5.5 is a substantial jump over 5.4."
"一旦你把思考时间这个变量控制住，就能看出 5.5 相对 5.4 是一次实质性的跃升。"

而"那就让它想到 plateau 为止"这个直觉救不了跑分，因为"the point at which they plateau is simply too far out to reasonably test"（如今模型 scaffold 得当能连想数周才收敛，根本测不到头）。他把这称作一个"bad equilibrium"：厂商明知格子不完整，却因为公众预期而不得不继续发。Mark Chen 从供给侧确认了同一件事，措辞更狠——"evals crisis"：

"once a benchmark is out in the world, it is already not a good eval anymore."
"一个 benchmark 一旦公开，它就已经不是好的评测了。"

他的解法是把出题队和练模型的队在组织上隔离开，制造一个内部对抗过程。两人叠加起来是一个不太舒服的结论：如果能力是花钱多少的函数，那么连安全评估都失去了固定天花板——Noam 说得很直白，$10,000 预算和 $10M 预算下测出的危险能力"changes dramatically"，而现有的 preparedness framework 是 GPT-3 时代设计的，根本没定义这个预算变量。这是本批次最被低估的一句话。

2. 推理成本成了新的主角：token 账单、"Palantir 化"、和被推翻的风投黄金律

如果能力是 compute 的函数，那么下一个问题必然是"谁来付这笔 compute"。Harvey 的 Gabe Pereyra 和 Benchmark 的 Ev Randle 分别从卖方和买方讲了同一个故事。Harvey 已经撞上了拐点——过去一直是 capability constrained（只想用最大的模型），最近半年变成 cost constrained，单条 review query 能烧掉 $20,000。Pereyra 的预言很具体：

"companies are going to start getting these consumption bills of like $10 million. And they're going to be like, what did my agent do that cost me $10 billion?"
"客户会开始收到上千万美元的消费账单，然后问：我的 agent 到底干了什么，花了我一百亿？"

他的类比很有穿透力——token 计费会变得和"billable hour"一样复杂，因为按 token 卖的模型厂商"somewhat incentivized to have their agents use as many tokens as possible"（有动机让 agent 尽量多烧 token），于是必然催生一整套优化、审计、路由的生态。Randle 把这件事推到风投层面："spreadsheet investing" 时代结束了。他的反直觉判断值得摘出来——

"High gross margins are actually a red flag in AI because they often suggest no one is using your AI features, as inference costs are inherently high."
"在 AI 里高毛利反而是危险信号，因为它往往说明没人真在用你的 AI 功能——推理成本天然就高。"

更颠覆的是 scale 与风险的关系反转了：过去规模越大越安全，现在"the risk of impairment actually correlates positively with scale"（十亿美元营收也可能建在未验证的单位经济学上）。Noam 那句"capability is a function of how much money you put into it"，在这里落地成了整个资产类别的重新定价。

3. 大家嘴上分歧，手上却给了同一个答案：模型路由 / compound system

最有意思的趋同是没人刻意去谈、却四处冒出来的"不要什么都发给最大的模型"。它独立出现在四篇里，指向同一个工程现实：

• Harvey："not every task needs to be sent to the largest models"，正在把流量转给开源和 post-trained 小模型——"I probably don't need a trillion parameters if I just need the system to be good at diligence."
• Scott Wu（Cognition）：Devin 就是一个 compound model system，从 Anthropic / OpenAI / Google / 自研开源里动态挑模型，自称在各家实验室之间当"Switzerland"来优化 price-performance。
• Benchmark：专门点名独立的 orchestration / routing 平台是一个正在长出来的层。
• Engram（Dan Biderman & Jessy Lin）：给出了最激进的变体——干脆别 retrieve，把知识用 LoRA 内化进权重，"always training"，宣称能把 token 推理消耗降低最多两个数量级。

换句话说，主题 1 和 2 提出的成本压力，在工程上的收敛解就是别再迷信单一巨模型。Engram 是这条线上的异类押注：其他人在模型*之间*路由，它主张把上下文*塞进*模型本身。

必读（标出来这几篇）

• Why Traditional Benchmarks Fail Modern AI Models — Noam Brown — 本批次的思想枢纽。"能力 = compute 的函数"这一个论点同时解释了跑分为什么骗人、安全评估为什么失效、以及为什么他不信"一夜智能爆炸"。读它，其它几篇的成本焦虑都有了根。
• Harvey / Gabe Pereyra on the Token Pricing Reckoning — 唯一一篇从真实生产账单讲 token 经济学的。"$20,000 一次 review"、"token 计费会变成 billable hour"这类判断是从已经撞上拐点的一线传回来的，不是白板推演。
• Benchmark's AI Bets — Ev Randle — 和 Harvey 是同一枚硬币的两面。"高毛利是危险信号""规模与风险正相关""P×Q×M 拆解 AI 生意分类学"——把成本主题翻译成了估值语言。
• Memory and Continual Learning — Engram — 对"路由 vs 内化"这场隐性之争唯一给出反方案的。押注对不对另说，但它把"上下文该放哪"这个问题问到了别人没问的深度。

可以跳过

• Jack Altman on Product-Market Fit — 扎实但都是经典早期创业智慧（"钻石原石"招聘、创始人亲自下场销售、宽漏斗压时间线融资）。若你读过任何一轮 PMF 播客，边际信息不多。
• What's Next for Consumer AI — Josh Elman — retention 是北极星、10x 才能撼动习惯、从"省时间"转"花时间"——都对，但都是消费产品的老框架套上 AI 外壳，没有本批次的成本主线那种新意。

静悄悄的重要

• Mark Chen — Cooking with OpenAI's Research Chief — 被更抓眼球的 Noam"benchmark 崩坏"叙事盖过了，但它藏着一个组织级洞见半年后会变重要：把出题队和练模型队在制度上隔离、制造内部对抗，这是一套可复制的治理设计，而不只是一句"我们要更好的 evals"。当每家实验室都撞上 evals crisis 时，这会从"OpenAI 的做法"变成行业标准动作。

• What Happens to Design After AI? — 表面是设计圈闲谈，实际提前埋了两个概念：一是设计师用 LLM 效果好于工程师，源于他们掌握"negative space""vertical rhythm"这类能在潜空间里精确导航的专业词汇——这对所有想 steer 模型的人都是可迁移的方法论；二是 UX → AX（Agentic Experience）的转向，即软件的首要"读者"变成 agent。当主题 3 的 agent 编排成为常态，"给 agent 设计而非给人设计"会从边角话题变成核心工种。