持续学习与记忆 · Continual Learning & Memory

主题综述

更新日志

• 2026-07-06 — 首次综述。基于 9 篇访谈：几乎所有人都同意"权重冻结、上下文有损有界"是当前范式的真瓶颈，但一旦追问"记忆该放哪儿"，语料立刻裂成两派——Engram 说必须写进权重（RAG killer），Gemini 的 Vinyals 说恰恰不该动权重、要用文件系统式非参数记忆；中间横着 Schulman 一条"短时程 in-context 赢、长时程 weight update 赢"的分界线。

主流共识

语料里几乎没有人为"模型能不能在岗学习"辩护——大家一致认为现状是缺陷，不是特性。分歧全在"缺的那块该怎么补"。共识大致有三层。

第一层：这是通往 AGI 的必经关卡，不是产品边角料。 前 OpenAI 研究副总裁 Jerry Tworek 把话说得最重：

"Probably the last thing I meaningfully updated on is that I don't think a static model can ever be AGI. That continual learning is a necessary element of what we are pursuing."

「我最近一次有意义的更新可能是，我不认为静态模型可以成为通用人工智能（AGI）。持续学习是我们追求的必要因素。」

Jerry Tworek · Ep 81 Ex-OpenAI Researcher On Why He Left

"Without it, it will never feel to me that intelligent. It will still be a tool that needs to be supervised by someone who has the ability to continuously learn."

「没有持续学习能力，在我看来，它永远不会是智能的。它仍然需要由具备持续学习能力的人来监督。」

Jerry Tworek · Ep 81 Ex-OpenAI Researcher On Why He Left

Engram 的 Jessy Lin 从另一头到达同一结论——不是"通不过定义"，而是"智能都做完了，剩下的就是这个"：

"the bottleneck for making these models more useful these days is not really raw intelligence, but understanding like new and evolving context."

「如今让这些模型更有用的瓶颈并不是真正的智力，而是理解新兴和不断演变的上下文。」

Jessy Lin · Memory and Continual Learning: Engram

第二层：现在的补丁（长上下文 + RAG + context engineering）大家都用，但都觉得不够。 连主张"别动权重"的 Vinyals 都承认，把知识塞进文件系统只是权宜，模型本身还没跟上：

"the mechanism that it's fairly good at the moment, but again, I don't think the weights of the model have caught up to this."

「目前的机制相当不错，但我仍然觉得模型的权重还没有跟上。」

Oriol Vinyals · Ep 87 Gemini Co-Lead

Engram 那句被反复引用的目标，其实是所有人心里"ChatGPT moment of memory"的画面——一个能越用越好的实习生：

"you have an intern that you can teach things over time, and it actually gets better... no matter how sophisticated the context engineering approaches are these days, they're not getting there."

「你有一个可以随着时间教授的实习生，而它实际上会变得更好……无论现在的上下文工程方法多么复杂，它们都没有达到那个水平。」

Jessy Lin · Memory and Continual Learning: Engram

第三层：类脑直觉（睡眠/巩固/反脆弱）反复出现，但都承认只是隐喻。 Engram 的 Dan Biderman 讲"做梦/巩固"，Tworek 讲人脑"反脆弱"，Schulman 用运动记忆/情景记忆/程序记忆分类——三个人各自从生物学里借了一个词，但都没把它变成算法。这本身是共识：当前系统在通用预训练那一步之外，几乎没有生物意义上的"消化"环节。

"current systems don't really have that beyond the generic pre-training step."

「当前系统在通用预训练步骤之外并没有真正做到这一点。」

Dan Biderman · Memory and Continual Learning: Engram

分歧在哪

真正的战场只有一个问题：新知识该沉到哪一层？ 权重、文件系统、还是上下文窗口。三派立场清楚，而且互相点名。

阵营一：写进权重 —— "RAG killer"（Engram: Dan Biderman / Jessy Lin）

Engram 的整个赌注是：外部记忆（RAG / 长上下文 / KV cache）是"怪物"，真记忆必须靠梯度下降压进权重。他们的核心论据不是省钱，而是只有内化才能产生"联想"——检索给不了你没问的东西：

"these kinds of associations can only happen in weights because they're not really about, you know, you asked me to search for this."

「这些关联只能在权重中发生，因为它们并不是真的要你让我搜索这个。」

Jessy Lin · Memory and Continual Learning: Engram

Biderman 把 RAG 的真痛点定位在"寻址"而非"存储"——你根本不知道该搜什么：

"the problem is not so much what to store and where to put it... the problem is like how to address it, like how to query the thing. Do you know what to look for even?"

「问题不在于存储什么和放在哪里……问题在于如何处理它，如何查询这个东西。你甚至知道该找什么吗？」

Dan Biderman · Memory and Continual Learning: Engram

他们诉诸信息论：KV cache 极其浪费，而梯度下降是把信息压进少量比特的"存在性证明"：

"a KV cache for a single like Wikipedia article... will be like 80 gigabytes of HBM memory on the GPU... And we have this proof of existence that gradient descent can pack a lot of information in very few numbers."

「一个 KV 缓存用于单个像维基百科文章……将在 GPU 上占用大约 80GB 的 HBM 内存……我们有这个存在性证明，梯度下降可以在非常少的数字中压缩大量信息。」

Dan Biderman · Memory and Continual Learning: Engram

代价换算成数字：内化上下文，推理端可省两个数量级 token（100 token 回答别人要 100,000 token 的问题）。他们也明确反对"事实 vs 技能"的二分——认为想抽象就得先内化事实：

"you can't really separate fact learning from like non fact learning or skill learning as some people would like to think."

「你实际上无法将事实学习与非事实学习或技能学习分开，尽管有些人想这样认为。」

Jessy Lin · Memory and Continual Learning: Engram

关键的世界观分歧：Engram 认为未来是每人一个自己的模型，而非一个通用 AGI——因为很多知识是私有的、甚至互相冲突的，进不了通用后训练集。

"a lot of the things that people want to learn are either private... or even conflicting, like, oh, the way that I want to do the task is different from how another company or another individual wants to."

「很多人想要学习的东西要么是私密的……要么是相互矛盾的，比如我想要执行任务的方式与其他公司或个人的方式不同。」

Jessy Lin · Memory and Continual Learning: Engram

阵营二：别碰权重，用文件系统 —— 非参数记忆（Gemini: Oriol Vinyals）

Vinyals 站在 Engram 的正对面。他也认同这是一种"持续学习"，但机制恰恰相反：episodic memory 应该落在文件系统这种非参数存储里，而不是权重里。理由一半是研究直觉，一半是极其现实的工程约束——一个模型要服务所有人，给每个用户配一份不同权重根本没法上规模：

"My intuition is that the solution lies in a non-parametric memory system, essentially using the computer's file system as a storage layer... This is more practical than trying to encode everything into the model's weights, which is difficult to serve at scale."

「我的直觉是，解决方案在于一种非参数记忆系统，基本上是使用计算机的文件系统作为存储层……这比试图将所有内容编码到模型的权重中更为实际，因为这在规模上是难以服务的。」

Oriol Vinyals · Ep 87 Gemini Co-Lead

"it would be really like painful to have to serve one model with different memories to users. So even from a practical point of view... this kind of file system style like nonparametric."

「服务一个具有不同记忆的模型对用户来说会非常痛苦。因此，即使从实际角度来看……这种文件系统风格的非参数化机制。」

Oriol Vinyals · Ep 87 Gemini Co-Lead

注意这里的直接对撞：Engram 说"per-team 权重才是圣杯"，Vinyals 说"per-user 权重是运维噩梦"。同一个事实（个性化权重难服务），一方当作要攻克的技术难关，另一方当作应该绕开的信号。Vinyals 留了一道门缝——如果硬件能支持个人权重，他也愿意做——但默认押注在"共享权重 + 个人知识库"上。

阵营三：分时程 —— in-context 与 weight update 各管一段（John Schulman）

Schulman 不选边，而是把问题切开。他给出全语料最锋利的一条边界判断：

"I would expect in-context learning to help in a very short horizon regime and to be really hard to beat over a short time horizon, but I would expect weight updates to win over a longer time horizon."

「我希望语境内学习在很短的时间范围内有所帮助，并且在很短的时间范围内很难被击败，但我希望权重更新能在更长的时间范围内获胜。」

John Schulman · John Schulman on dead ends, scaling RL

他也提醒：如果只是一直 scale，"随便写下什么指标都会继续改进"——换句话说，continual learning 可能被 scaling 顺手解决，也可能需要一条新的 scaling law。他对 LoRA 的定位是"叠在 in-context 之上"，而非取代它，且只在需要大容量、吸收大量知识的记忆类型上更优。这条分时程立场，恰好把阵营一和阵营二都收编成"各自在自己的时程上对"。

侧翼一：这是被低估、必须在大规模上做的研究赌注（Jerry Tworek）

Tworek（两场访谈）把 continual learning 和架构创新并列为"最被低估的两个方向"。他给出一个别人没提的机制诊断——当前训练过程"脆弱"，模型吃进新信息容易崩，而这正是 continual learning 的拦路虎：

"human learning is much more anti-fragile in a way. It can get itself... unstuck. I've often really marveled at how infrequent it is for humans to crash out and then start talking gibberish... while the AI models do that. They do that pretty frequently."

「人类的学习在某种程度上更具有反脆弱性。它可以自我摆脱困境。我经常惊讶于人类崩溃并开始胡说八道的情况是多么罕见……而 AI 模型却经常这样做。它们经常这样做。」

Jerry Tworek · Ep 81 Ex-OpenAI Researcher On Why He Left

他对"为什么还没被解决"的回答是社会学的而非技术的——这类研究大概率必须在大规模上做，而全世界有能力做的实验室屈指可数，且都忙着别的。这与 Engram"小团队 NeoLab 就能突破"的姿态形成微妙张力（虽然 Tworek 自己也离开大厂去追这个方向）。

侧翼二：这是范式已经 plateau 的证据（Rob Toews / Ari Morcos）

在 AI Vibe Check 里，Rob Toews 把 continual learning 当作"当前范式撞墙"的核心证据——不是一个待解的下一步，而是一个未被解决就说明 LLM 到顶了的根本缺陷：

"there are fundamental limitations that the current paradigm models have that aren't being addressed... things like continual learning or sample efficiency, those are fundamental problems that we're not seeing improvements happening in the current set of models. So I think there's no question that the models are plateauing."

「当前的范式模型存在一些根本性的局限性，而这些局限性没有得到解决……像持续学习或样本效率之类的问题，都是我们在当前模型中没有看到改进的根本问题。所以我毫不怀疑这些模型正在趋于平稳。」

Rob Toews · AI Vibe Check: The Actual Bottleneck

同场的 Ari Morcos 则把矛头调转——不是 AI plateau，是大家把 LLM 等同于 AI 太草率；continual learning 之外，视频模型/世界模型远没到顶。这是一条"别只盯着 LLM 找记忆解法"的旁敲。

侧翼三：微调回不回得来？（Kyle Corbitt vs Engram）

Engram 把 LoRA/adapter 微调当作 continual learning 的主力工具。但 OpenPipe 的 Kyle Corbitt——一个靠微调起家的人——给的现场经验要冷静得多：微调最主要的真实驱动力其实是"被迫用小模型（延迟）"，而不是"学新知识"；而且一旦上了微调，迭代就变慢、栈变僵。

"the main one I see that really drives fine-tuning is if you have to move to a smaller model, and it's typically for latency reasons."

「我看到真正推动微调的主要原因是，如果你必须转向较小的模型，这通常是出于延迟的原因。」

Kyle Corbitt · Why Fine-Tuning Lost and RL Won

不过 Corbitt 的北极星恰恰与 Engram 同向——让每个 agent 从真实经验里持续学——只是他押的载体是 RL / 环境，而非 adapter：

"building a world where every agent learns continually from real-world experience... the advantages are huge. They're clear. Everyone should just deploy their agents that way."

「构建一个每个 agent 都能从现实世界经验中持续学习的世界……优势是巨大的。它们很明显。每个人都应该以这种方式部署他们的代理。」

Kyle Corbitt · Why Fine-Tuning Lost and RL Won

推理厂商 Baseten 的 Tuhin Srivastava 则把它当成一个可产品化、快被抹平的基础设施问题——用 inference↔post-training 闭环加训练 API 把它"大致解决"，视角比研究者乐观得多：

"we'll create the best training APIs to make it so continual learning becomes somewhat of a solved problem. It's not just like a discrete."

「我们将创建最好的训练 API，使持续学习成为一个相对容易解决的问题。这不仅仅是一个离散的过程。」

Tuhin Srivastava · Baseten CEO on the AI Inference Crunch

值得留意的落差：一线研究者（Tworek、Schulman）把 continual learning 当作"没人破解的关卡"，而卖推理/训练的厂商（Baseten、OpenPipe）把它当作"接好 pipeline 就能收敛的工程"——这本身就是一条隐性分歧：它到底是缺一个研究突破，还是缺一套好用的基础设施？

都没说透的

• "内化 vs 外化"的判据谁都没给。 双方都爱举"家里密码要记住、一年前的酒店房间号不用"这类例子，但 Biderman 自己承认 "it's an unsolved problem. I don't think anyone has answered to it."——分界线到底怎么自动画出来，是空的。Vinyals 靠"能不能规模化服务"来切，Engram 靠"能不能产生联想"来切，两把尺子根本不在一个维度上。

• 灾难性遗忘几乎被绕过去了。 主题的经典难点——学新的会不会冲掉旧的——只有 Engram 一句"训练时 importantly 不能 destroy the model（很难）"，和 Jack Morris 关于 swappable/stackable adapter "without catastrophic forgetting" 的顺带一提。没有人正面讲他们怎么解决遗忘；Tworek 的"脆弱/崩溃"其实是同一枚硬币，但也停在诊断层面。

• 容量有没有硬上限，没接上讨论。 Jack Morris 量到了一个可测的模型容量（32-bit transformer 每参数约 3.6–3.9 bits，且记忆量随数据 scale 会 plateau）。如果权重容量是有限且会饱和的，那"把公司全部知识写进权重"这条路先天有天花板——但没有一场访谈把 Morris 的容量结果和 Engram 的权重内化主张对撞。这是语料里最明显的一处该碰没碰。

• 谁来评估"学对了"没人答。 Vinyals 反复说 "evals are so important always"、Corbitt 造 RULER 来解决 reward，但"模型悄悄改了自己的权重/记忆之后，怎么知道它学到的是对的而不是噪声"——这个 continual learning 特有的评估问题，全场空白。Engram 甚至明说要"尽量少用启发式"去过滤数据，等于把这个难题延后。

我的看法

（以下是判断，不是事实。） 我认为这场"权重 vs 文件系统"之争，短期内会以 Vinyals 那一侧的实用主义胜出、但不是因为他对——而是因为"服务侧不能给每人一份权重"是个此刻就成立的硬约束，Engram 那套要成立得先等硬件/服务架构变天。中期我更倾向 Schulman 的分时程框架是对的：in-context 管当天、adapter/权重管长期，二者不是竞争而是分工，今天吵得凶只是因为大家各自盯着自己那段时程。真正会决定胜负的，是两个语料里没接上的问题——Jack Morris 的权重容量上限（若权重会饱和，纯内化路线先天有顶）和灾难性遗忘 / Tworek 的训练脆弱性（若"学新不崩"没被攻克，continual learning 就还停在演示阶段）。我对"这是通往长时程 agent 的必经关卡"这个共识把握较高（多位一线研究者独立收敛）；但对"哪一派机制会赢"把握很低——因为决定性证据（容量、遗忘、真实部署学习）在这批访谈里恰好都是缺口。

还想知道什么

• 一场直接把 Jack Morris（容量/信息论）和 Engram（权重内化）放对面的对谈。 如果 32-bit transformer 每参数只存 ~3.6 bits 且会 plateau，那"把一家公司的全部演进知识持续写进 LoRA"能撑多久？这个对撞会立刻检验阵营一的天花板。

• 有人正面讲灾难性遗忘的现代解法。 现在全靠"importantly 别 destroy the model"和 anti-fragile 的隐喻带过。需要一场访谈把 continual fine-tuning 里遗忘到底怎么被压住讲清楚——这几乎是分歧一能否落地的开关。

• 真实部署学习（learn-from-deployment）的第一个可信案例。 Schulman 预期"从真实部署学"会回到 LLM 世界，Corbitt 想造它，但没人拿出"上线后真的越用越好、且没退化"的量化证据。一个带前后对比数字的案例，会把整张表从"信念"推到"事实"。

• 反方声音：有没有人认真论证"in-context 就够了、continual learning 被高估"？ 这批语料里几乎没有真正的怀疑派——最接近的 Ari Morcos 只是说"别只盯 LLM"。如果加入一位"长上下文 + 检索会一路吃掉这个需求"的强硬派，分歧一节才算完整；目前的共识可能有幸存者偏差（受访者多是押注记忆方向的人）。

取材

• Memory and Continual Learning: Engram's Dan Biderman and Jessy Lin · 2026-06-27 · 38cea6160e7181a498ccefad30236956
• Ep 87: Gemini Co-Lead on World Models, RL's Next Domains & Continual Learning (Oriol Vinyals) · 2026-05-25 · 36bea6160e71814d817ef4b66284a6cf
• Ep 81: Ex-OpenAI Researcher On Why He Left (Jerry Tworek) · id 2f9ea6160e71813c85c9cbd5e83c0a41
• He Left OpenAI To Think Bigger - EP 53 (Jerry Tworek) · id 2f1ea6160e718199be60df22d68ef204
• John Schulman on dead ends, scaling RL, and building research institutions · 2025-12-20 · 2cfea6160e71817c96a4e510a6a373dc
• Why Fine-Tuning Lost and RL Won (Kyle Corbitt / OpenPipe) · 2025-10-17 · 28fea6160e718186bfe4e90dde1d3a7d
• Information Theory for Language Models (Jack Morris) · 23bea6160e7181d7bc8fe8b7ee98a4ec
• AI Vibe Check: The Actual Bottleneck In Research (Rob Toews / Ari Morcos) · 2d1ea6160e718151b03de5b615a3a9fa
• Baseten CEO Tuhin Srivastava on the AI Inference Crunch · 35dea6160e718145a7a3c5263827a3bb

未纳入（主题着墨极少）：Vinod Khosla · Predicting the Future（254ea6160e7181949bc1d5f60ad75dcd）；How To Navigate Your Career · Elad Gil（254ea6160e7181f1b649d01875182370）；He Raised $800M Starting at 18（2b2ea6160e7181fe9f72d88b7cea078f）——这三篇未触及持续学习/记忆主题，未取材。