AI Interview Wiki
主题综述

AI 自动化 AI 研究：递归循环的现实检验 · Automating AI Research

主题综述

更新日志

主流共识

一、研究工作的执行环节已经被大规模自动化——研究员的日常真的变了

这一条没有反对者，且证词来自最前沿的一线。OpenAI 推理团队的 Alexander Wei（IMO 金牌工作的核心成员）说得最直白：

"I think like so much of my work is now done by coding agents. Like I can I can just, like, do so much more. And I think that's been a sort of, like, magical feeling that, like, with AI, you're really starting now to feel like you can use AI to build AI faster."
「我认为我现在有很多工作都是由编码代理完成的。我可以，我真的可以做更多事情。我认为这是一种魔法般的感觉，觉得现在你真的可以利用人工智能更快地构建人工智能。」
Alexander Wei (OpenAI) · How a reasoning model cracked an 80-year-old math problem

OpenAI 研究负责人 Mark Chen 把这个变化命名为研究的"编排化"：

"I think both at OpenAI and at other labs, you're starting to see a lot of the work become mostly orchestration focused, right? Like the researchers coming up with ideas. And the model's great enough to do the implementation execution by itself."
「我认为在 OpenAI 和其他实验室，你开始看到很多工作主要集中在编排上，对吧？就是研究人员提出想法。而且模型足够优秀，能够自己完成实施执行。」
Mark Chen (OpenAI) · Cooking with OpenAI's Research Chief

Nathan Labenz 给了这条曲线上最硬的一个数字——OpenAI 研究工程师实际合入的 PR 中模型能完成的比例，在 o3 时代从个位数跳到约 40%：

"That's another data point, by the way, from, this was from the 03. System card, they showed a jump from like low to mid single digits to roughly 40%. Of PRs actually checked in by research engineers at OpenAI that the model could do. So prior to 03, not much at all. You know, low to mid single digits. As of 03, 40%."
「顺便说一句，这是来自 03 的另一个数据点。系统卡，他们显示从低到中等个位数跃升至大约 40%。实际上是由 OpenAI 的研究工程师签入的 PR 中，模型可以完成的比例。因此，在 03 之前，几乎没有。你知道，低到中等个位数。截至 03，40%。」
Nathan Labenz · Is AI Slowing Down?

Karpathy 的 AutoResearch 实验则提供了一个可复现的小样本：一个他手工调了很久、自认调得不错的训练仓库，被自动研究循环跑一晚就找到了他漏掉的超参：

"And I've gotten to a certain point and I thought it was like fairly well tuned. And then I let AutoResearch go for like overnight and it came back with like tunings that I didn't see. And yeah, I did forget like the weight decay on the value embeddings and my atom betas were not sufficiently tuned."
「我已经达到了一定的程度，并且我认为它已经调整得相当好了。然后我让 AutoResearch 运行了一个晚上，它返回了一些我没有看到的调整。是的，我确实忘记了值嵌入上的权重衰减，而且我的 atom betas 没有得到充分的调整。」
Andrej Karpathy · Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI

二、整个行业都在往这个方向押注——这不是边缘实验，是主线

Karpathy 点破了这一点（"所有前沿实验室都在做这件事"）：

"And fundamentally, what I'm more interested in is this idea of recursive self-improvement and to what extent you can actually have LLMs improving LLMs. Because I think all the Frontier Labs, this is like the thing for obvious reasons. And they're all trying to recursively self-improve, roughly speaking."
「从根本上说，我更感兴趣的是递归自我改进的想法，以及你实际上可以在多大程度上让 LLM 改进 LLM。因为我认为所有 Frontier Labs 都是为了这个，原因很明显。而且他们都在尝试递归地自我改进，大致来说是这样。」
Andrej Karpathy · 同上

OpenAI 首席科学家 Jakub Pachocki 把"自动化研究员"直接说成路线图的优先项，并给出了 AGI 的实际形态——一家大部分自动化的研究员公司：

"It is possible to automate. Most of this process, it is possible to have a big computer that is coming up with ideas that fundamentally change our understanding of the world. And I actually think that is not that far away."
「自动化是有可能实现的。这个过程的大部分都可以自动化，一台大型计算机可以提出从根本上改变我们对世界理解的想法。而且我真的认为那一天不远了。」
Jakub Pachocki (OpenAI) · Episode 5 - Defining AGI and the road ahead
"imagine a company of very capable researchers and engineers that is largely automated, right? … I think kind of like radically accelerate the pace of technical progress."
「想象一下，一家由非常有能力的研究人员和工程师组成的公司，它基本上是自动化的，对吧？……我认为这会大大加速技术进步的步伐。」
Jakub Pachocki (OpenAI) · 同上

供给侧也在按这个叙事重组自己——Turing 的 Jonathan Siddharth 干脆宣布行业换代：

"I think the era of data labelling companies is over and it's now the era of research accelerators."
「我认为数据标注公司的时代已经结束，现在是研究加速器的时代。」
Jonathan Siddharth (Turing) · 20VC: Scale, Surge, Turing, Mercor

Labenz 还提醒大家：这个赌注写进过 Anthropic 两年前泄露的融资材料——2025/26 年做出自动化研究员的公司将一骑绝尘。

三、但"把人移出循环"到目前为止极其困难——最响的警告恰恰来自最激进的实践者

Core Automation 的 Jerry Tworek（前 OpenAI 研究 VP，推理团队负责人）一边宣称要建"世界上最自动化的实验室"，一边给出了语料里对现状最冷的评估：

"removing humans from loops with models has been actually notoriously, notoriously difficult so far. We haven't come anywhere close to it. It's very, very hard for me to find any task where LLMs were able to get humans out in the loop. The human-LLM hybrid is really, really successful right now, but LLMs without humans, not so much, not at all."
「将人类从模型中的循环中移除至今实际上非常、非常困难。我们还没有接近这一点。对我来说，找到任何任务让 LLM 能够让人类出局非常非常困难。目前，人类与 LLM 的混合体非常成功，但没有人类的 LLM 就不是那么有效，根本没有。」
Jerry Tworek (Core Automation) · Building the Automated AGI Lab

他的联合创始人 Rohan Anil（前 Gemini 预训练负责人）给了一个具体到美元的能力边界——QR kernel 竞赛里，人+搜索循环+10 万美元的 coding agent 花销、四周，拿到 60 倍加速，而模型自己完全做不到：

"But it requires the high taste human, like there's maybe three people in the world, to spend about \$100,000 on these coding agents over a span of It took us four weeks to get to a solution that's 60x faster. So these models today are nowhere close to getting that 60x faster kernel and there is a real bottleneck."
「但是需要高素养的人，这个世界上可能只有三个人，花费约 100,000 美元在这些编码代理上。我们花了四周才找到一个比原来快 60 倍的解决方案。所以这些模型今天离实现那个 60 倍更快的内核还远着呢，确实存在一个瓶颈。」
Rohan Anil (Core Automation) · 同上

Karpathy 也给自己的热情加了两个明确的边界条件——可验证性是硬门槛，且模型仍然"处处开裂"：

"this is extremely well suited to anything that has objective metrics that are easy to evaluate. … A lot of things are a perfect fit for auto research, but many things will not be. If you can't evaluate it, then you can't auto research it."
「这非常适合任何具有易于评估的客观指标的事情。……很多事情都非常适合自动研究，但很多事情都不适合。如果你无法评估它，那么你就无法自动研究它。」
Andrej Karpathy · AutoResearch, and the Loopy Era of AI
"I simultaneously feel like I'm talking to an extremely brilliant PhD student who's been like a systems programmer for their entire life and a 10-year-old."
「我感觉自己同时在和一个极其聪明的博士生（他一辈子都在做系统程序员）和一个 10 岁的孩子说话。」
Andrej Karpathy · 同上

分歧在哪

分歧一 · 递归起飞：不远了，还是被实验算力锁死？

实验室阵营的时间表是激进的。Pachocki 说"不远了"；Mark Chen 的三年路线图终点是模型端到端做研究、发展出自己的研究品味；Tworek 在 Ep81 里甚至给出了一个更极端的框架——也许当前这代模型就是人类亲手做出的最后一代：

"There is one version of the world which is not completely impossible, although slightly pessimistic on humans, that says coding agents are so good right now, let's first Get them to the moment where they can automate AI research and then have the models like research better models because maybe we are at the last model that humans could have figured out. It's not a completely impossible framing."
「有一种世界版本并非完全不可能，虽然对人类来说有点悲观，但它认为编码代理现在非常出色，首先让他们达到能够自动化 AI 研究的时刻，然后让模型研究更好的模型，因为也许我们正处于人类能够弄清楚的最后一个模型。这并非完全不可能的构想。」
Jerry Tworek · Ep 81: Ex-OpenAI Researcher

Epoch AI 用支出数据正面反驳"纯软件奇点"：如果自动化研究员就能加速，实验算力就不该拿到比最终训练 run 多好几倍的钱——事实恰恰相反，说明研究离不开大规模实验，而实验受算力约束，自动化研究员绕不过去：

"But as far as we can tell, experimental compute, which you seem to need to do research, is receiving a similar amount of money and that, in fact, it's receiving many times more money than the final training runs that are actually of the models that are actually being released. I think this is, in my mind, is a strong update towards, oh, you need to do very large scale experiments to do research and that we don't really have good evidence that researchers and just researchers would be able to speed things up without doing more experiments."
「但就我们所知，做研究所需的实验计算，获得的资金量也差不多，事实上，它获得的资金比实际发布的模型最终训练运行的资金多得多。我认为这在我看来是一个强烈的信号，表明你需要做非常大规模的实验才能做研究，而且我们并没有很好的证据表明，研究人员，仅仅是研究人员，能够在不做更多实验的情况下加速研究。」
Yafah Edelman (Epoch AI) · The 2045 Superintelligence Timeline

Epoch 的众数时间点是 2045 年的超级智能——与实验室的"几年内"隔了一代人。David Owen 还点出了双方模型的差异所在：实验室的世界观本身就是"自动化 R&D → 快速起飞"派的。Turing 的 Siddharth 虽然商业上全押研究加速，但也站在慢起飞一边（"现在才第一局……把所有领域数据灌进模型需要很长时间"）。

Labenz 站在中间但方向向上——40% 的 PR 数据让他觉得正在进入 S 曲线陡段，而这让他不安而不是兴奋：

"The idea that we could go from these companies having A few hundred research engineer people to having, you know, unlimited overnight and like what would that mean in terms of how much things could change and also just our ability to steer that overall process. I'm not super comfortable with the idea of the companies tipping into a recursive self-improvement regime, especially given the level of control and the level of unpredictability that we currently see in the models."
「想象一下，这些公司从拥有几百名研究工程师，到拥有无限的人力，这意味着事情会发生多大的变化，以及我们控制整个过程的能力。我不太认同这些公司进入递归式自我完善机制的想法，特别是考虑到我们在模型中看到的控制水平和不可预测性。」
Nathan Labenz · Is AI Slowing Down?

分歧二 · 终点形态：把人移出循环，还是给每个人最大杠杆？

Karpathy 的版本最激进——研究员本人就是瓶颈，应该被移出去，连想法的执行权都不该留：

"you experiment on the smaller models, you try to make it as autonomous as possible, remove researchers from the loop. … They shouldn't be touching any of this really. … There is a queue of ideas and there's maybe an automated scientist that comes up with ideas based on all the archive papers and GitHub repos and it funnels ideas in. Or researchers can contribute ideas, but it's a single queue and there's workers that pull items and they try them out"
「在较小的模型上进行实验，尽量使其尽可能自主化，将研究人员从循环中移除。……他们真的不应该接触任何这些东西。……有一个想法队列，可能有一个自动科学家根据所有存档的论文和 GitHub 仓库提出想法，并将想法注入其中。或者研究人员可以贡献想法，但这是一个单一的队列，有工作人员提取项目并尝试它们」
Andrej Karpathy · AutoResearch, and the Loopy Era of AI

Tworek 的公司使命却是反向表述——自动化不是把人赶出循环，而是给每个人最大自主性（走路→自行车→汽车的杠杆类比）：

"the version of automation by Core Automation is about giving each human maximum level of agency in some way. We are not trying to really Get humans out of the loop, which is like one version to automate, but it is about give humans ability to do the most with their amount of time."
「核心自动化的自动化版本是以某种方式赋予每个人最高水平的自主权。我们并不想真正让人类脱离循环，这就是一种自动化的版本，但这是关于让人类能够利用他们的时间。」
Jerry Tworek (Core Automation) · Building the Automated AGI Lab

但注意 Tworek 内部的张力：他对 AGI 的定义又恰恰是"无需人类参与就能自我改进的模型"——公司使命说放大人，终局定义说移除人。这不是口误，而是这个主题的核心悬而未决处：放大是路径，移除是终点，还是放大本身就是终点？

数学家们给出第三种答案——AI 负责解题和跨域连接，人类保留理论建构：

"But Mathematics is really, really much more than problem solving. It's more about understanding the structure and building new theories, like Li Jie said. And I think we should try to figure out how to better use the model to help us in solving the problems that we met, and then try to accelerate the speed that we build new theory and come up with new understandings."
「但数学远远不止于解决问题。更重要的是理解结构和建立新理论，就像 Li Jie 说的那样。我认为我们应该尝试弄清楚如何更好地利用模型来帮助我们解决遇到的问题，然后加速我们建立新理论和形成新理解的速度。」
Hongxun Wu · How a reasoning model cracked an 80-year-old math problem

分歧三 · 卡在哪一层：品味、可验证性、架构，还是算力？

四个阵营各自认定了不同的瓶颈，而这决定了各自的下注方向：

这四种诊断不能同时为真到同等程度：如果品味是瓶颈，那 idea queue 模式（Karpathy）会撞墙；如果可验证性是瓶颈，那品味自动化的路线图（Mark Chen 的三年）过于乐观；如果算力是瓶颈，前两者都只是次级问题。语料里没有人把四层放在一起排序。

都没说透的

我的看法

判断（不是事实）：这个主题里"执行层自动化陡峭爬坡"是真的，但"软件奇点"叙事在偷换概念——它把执行加速（PR、超参、kernel 搜索）说成方向加速（选对问题、换对架构）。三个互相独立的阻尼证据——Epoch 的实验算力账、Rohan 的 kernel 故事、Mark Chen 亲口承认品味难教——都指向同一个结构：递归循环的内环（可验证、有指标）会越转越快，外环（问题选择、架构判断）仍由少数人类把持，而外环才是研究进展的一阶导数。所以我赌：未来 18 个月内不会出现"模型独立提出并验证一项被前沿实验室采纳的架构级改进"；如果出现了，这个判断作废，Epoch 的 2045 也该大幅前移。在那之前，"automated researcher"的真实形态更接近 Tworek 的杠杆版本（放大少数人）而非 Karpathy 的移除版本——不是因为理念，而是因为可验证性边界卡在那里。

把握程度：中等偏上。阻尼证据来自三个利益立场迥异的来源（预测机构、激进创业者、实验室研究负责人），且 Tworek 那句"notoriously difficult"是逆着自己叙事说的——逆利益证词可信度高。最弱的一环是 40% PR 数据的解读：如果那 40% 里已经包含中高难度任务（Labenz 猜"OpenAI 没多少简单问题"），S 曲线可能比我以为的更陡，外环失守会更快。

还想知道什么

取材

继续读
线索
阅读线索：agent 不到 9 nines 可靠，那应该卖给企业还是消费者
线索
阅读线索：如果 coding 是 commodity，AI startup 的护城河长在哪儿
线索
阅读线索：推理成本一年跌 10×，AI app 该按什么定价
线索
摘报
线索
摘报
线索
摘报