2026-11-10 · 16 min read

模型没有记忆,只有你拼给它的那份上下文

一份关于记忆与上下文设计范式的课程文稿整理。作者先摆出一个现场:上一课做出的个人助手功能齐全,但一用就露馅——不记得你是谁、说过的话要反复提、教过的流程第二遍就忘。根因是模型本身是静态的,它所谓「记住」全靠你塞进 message list 的那份东西。文章随后梳理三代范式:提示词工程(怎么说)、上下文工程(怎么管爆炸的工具结果)、以及现在的 harness 工程(怎么设计整个可探索环境)。最后落到核心技法:做减法,因为上下文一旦超过某个比例,性能会显著下降。

本文整理自课程文稿《18|从 Prompt 到 Harness:记忆与上下文的设计范式》。文稿末尾自注「内容由 AI 生成」,属整理稿而非逐字记录。

文中的研究结论与数值沿用文稿原述,未做外部核验。

这一讲是记忆模块的开篇,概念课,没有代码。

而它从一个很尴尬的现场开始。

那个助手失忆了

作者先问了句:上一课的东西消化得怎么样。

那一课做出了一个个人助手——工具齐全,能干很多事。但真正用起来,他说表现是「一个大型的失忆现场」。

三种症状,都很熟悉。

症状具体表现
不记得你是谁说过「写周报要先总结再计划」,下次还是老样子
说过的话要反复提昨天查过航班,今天问「上次航班几点」,答不上来
教过的流程会忘行情分析的步骤教了一遍,第二遍又不会了

你工具给得再多、能做的再强,但它记不住事儿。那这个助手完全不像你的——每一次都是你要重新认识的陌生人。

记忆的本质

这一节是全篇的地基,我觉得值得反复读。

他先破除一个直觉:

记忆最本质的东西,并不是模型真的记住了你之前说的话。

**为什么?因为模型是静态的。**它每一次请求和之前每一次都完全独立。

那它靠什么「记住」?

靠我们给它的那份 message list。

你的身份、你的偏好、你们共同经历过的事,全在那份清单里。 发过去,它才知道。

一个很准的类比

他把这套关系比作一台机器。

图表加载后显示;未启用 JavaScript 时可阅读下方流程源码。

flowchart LR
    A["模型<br/>CPU"] --> B["message list<br/>内存 / 缓存"]
    B --> C["外部存储<br/>硬盘"]
    C -->|"按需加载回来"| B

上图是这个分工。

  • 模型像 CPU——只做当下这一步运算,不存东西
  • message list 像缓存——容量有限,用完就没了
  • 真正的持久化在外部存储——你需要自己组织、自己加载回来

**其他所有记忆其实没有记忆,它只有信息流。**我如何把过去的信息放回 message list 里去。

**这句话我认为是整篇的题眼。**它把「给 Agent 做记忆」这件事,从「让模型记住」变成了「设计一份清单」。

三代范式

搞清本质之后,他梳理了一条演进线。这条线我很喜欢,因为它解释了「为什么 prompt engineering 会被说已死」。

第一代:提示词工程

时间:大约从 2022 年到 2024 年中。

产品形态:一问一答。

上下文长什么样:一条 system prompt,加上用户说的和助手说的,没有别的东西。

那时候的清单条数很少:一条 system、一条用户输入、一条回复,就三条。没有工具调用,也没有工具结果。

所以核心工作:怎么把这一次输入写好。用角色法、写思维链、精心选词。

因为输入是人敲的、粘的,所以功夫全花在这一句上。

第二代:上下文工程

转折点:函数调用出现了。

变化:模型不再是「回答问题的东西」,而是工作流里的一个节点。而那个 message list 开始被塞进大量工具调用结果。

再往后 ReAct 出现,自主 agent 每一轮都在往清单里追加东西。

图表加载后显示;未启用 JavaScript 时可阅读下方流程源码。

flowchart TB
    A["system + user + assistant"] --> B["+ 工具调用请求"]
    B --> C["+ 工具执行结果"]
    C --> D["+ 下一轮思考"]
    D --> B

上图是这个膨胀过程。清单开始爆炸。

于是第二代的工作变成了:怎么更有效地管理这份正在爆炸的清单——什么时候删、什么时候剪、工具该怎么调。

第三代:harness 工程

触发点:skill 出现。

这一代的变化最反直觉。

过去不管是 ReAct 还是工具,清单里的东西都是工具返回的。也就是说,我控制好工具就可以了。

而 skill 之后不一样了。

因为渐进式披露给了一个更广阔的探索环境:读到一份 skill,里面说「要那个知识就去读另一个文件」;读完那个文件,又说「碰到什么情况去加载某个脚本」——一层层无限衍生。

而这个过程你控制不了。

因为完全取决于模型当时的判断:它觉得该按需加载什么。

所以第三代要管的东西,从「工具」变成了「整个环境的架构」。

图表加载后显示;未启用 JavaScript 时可阅读下方流程源码。

flowchart LR
    A["一代<br/>管一句话"] --> B["二代<br/>管工具结果"]
    B --> C["三代<br/>管整个可探索环境"]

上图是这三代各自的对象。一层比一层大。

顺便回答了那个老问题

他补了一段,我觉得挺通透。

**为什么早期 prompt engineering 要搞那么复杂?**因为换个词,输出就不一样了。

**那为什么现在有人说它已死?**因为模型强了——换个说法不重要了,模糊的表述也能给出想要的结果。

所以过去的这部分不用再考虑,要考虑的变成了更系统的东西:工具的返回是什么样,skill 在探索中的结果是什么样。

paradigm 的变化,本质是「模型变强之后,人的注意力该往哪挪」。

Harness 到底包含什么

他引了一段研究,把 harness 工程拆成四块。

块内容
一message list 的上下文管理
二工具
三约束
四环境的清理

而它的核心思路是:把原来「用工作流或 ReAct、由工程手动管理上下文」的做法,转成让模型自主探索。

核心的逻辑支点是 skill。

加减法:一切归结为两件事

不管范式怎么变,他说管上下文只做两件事。

加法:给它什么

加什么例子
预加载的人设身份、规则、记忆索引、自我认知文件
工具返回工具结果与自动调用上下文
记忆检索以检索为引导拿知识
skill 按需加载让它自己决定加载什么

这些都在做加法,都是让模型能把当前任务办好。

减法:怎么让它别爆

只做加法不做减法,上下文会爆,而且会腐化。

在真正做企业级工程时,最需要掌握的技能是减法。

他给了四种手段。

手段做法
压缩对话太多就做摘要
截断近 10 轮的记录就够用,没必要读 20 轮
选择性遗忘低价值信息不再加回清单
多 agent 隔离主 agent 精简,子 agent 独立上下文

而这一篇后面几课,讲的全是减法。

为什么必须做减法

这一节是全文最硬的部分,因为它给了机制解释。

上下文腐烂

他说虽然现在有很长的上下文窗口,但研究结论是一致的:

上下文只要超过一定比例(原文口径是 100K 里的四成),模型性能会立刻显著下降。

更早的时候更极端:在 8,000 到 16,000 token 这个量级的窗口上,某些模型超过约 8,000 token 就基本不能用了。

而现在的模型做得更好,但下降依然存在。 从性能、成本、模型能力三个角度看,都有明显损失。

注意力是有形状的

他补了一个机制上的解释:开头和结尾的注意力更好,中间容易被迷失。

**「中间迷失」——你在中间放的东西基本上都会被忽略。**虽然你放进了上下文,但效果很差。

图表加载后显示;未启用 JavaScript 时可阅读下方流程源码。

flowchart LR
    A["开头<br/>注意力好"] --> B["中间<br/>容易迷失"]
    B --> C["结尾<br/>注意力好"]

上图是这条分布。它意味着:塞得越多,被浪费的越多。

所以他对长窗口的态度很明确

我现在不建议大家用太多长 token 的上下文模型。因为它让你容易无节制地使用。

最终塞满的效果,不如前面做好治理、精选出最关键的信息。

那些「失忆」是怎么被验证出来的

他说这一课没写代码,但失忆这件事本身就是上一课实测出来的。三组现象值得单独摆出来,因为它们各自对应一种缺失的方式。

现象缺的是什么判据
不记得你是谁缺预加载的稳定信息同一指令换个日子就不生效
昨天的事今天答不出缺跨会话的持久化换个 session 就问不出来
教过的流程第二遍就忘缺可复用的流程载体第一次学会、第二次退回原样

这三条的共同点:它们都不是模型能力问题。 三件事它都做得到,只是没被放进那份清单里。

一次没有剪掉的失败

作者很坦白地讲了「小炮」失败的样子,而且用的是第一人称的挫败感:

每一次都是你要重新认识的陌生人。这种感觉非常差。

他还给了一个可复现的细节:港股行情分析,他让助手先做这个、再做那个,每一步怎么做。好不容易教会了一遍,第二遍又傻了。

这个失败的价值在于它排除了「提示词写得不好」这种解释——他教得很具体,问题不在措辞,在于教完没有存下来。

图表加载后显示;未启用 JavaScript 时可阅读下方流程源码。

flowchart LR
    A["教一遍<br/>这次学会了"] --> B["会话结束"]
    B --> C["清单清空"]
    C --> D["下一轮从零开始"]
    D --> E["再教一遍"]
    E --> B

上图是那个循环。只要没有外部存储,每一轮都在原地打转。

之后的路线

他给了后面几课的地图,很清晰。

课内容
19上下文生命周期:bootstrap、剪枝、压缩
20记忆的存储:文件就是最好的方式
21搜索:少量记忆靠文件,海量记忆只能靠检索
22实战:把它升级成有长记忆的助手

第 20 课那个比喻我觉得很好:文件记忆像早期的门户网站——你需要一个东西,就在索引里找,点进子链接,再进子链接。

而第 21 课给了边界:文件搜索在少量记忆时非常有效,这也是为什么现在那些编码助手表现好——因为它的记忆量小。但企业级一旦成倍上升,唯一能取到知识的方式一定是搜索。

我的三点补充

以下是评注,不是原片内容;取舍由我负责。

第一,「记忆不在模型里,在清单里」这个转述,把一整类模糊需求变成了可施工的对象。 用户说「让它记住我」,听起来是要模型变聪明;但实际要做的是:设计一份文件、一份索引、一套加载时机。 这个转换的价值在于——它把不可控的部分(模型)换成了可控的部分(你拼什么给它)。

第二,三代范式其实是「上下文里最多能有什么」的三次扩容。 第一代只有人写的字;第二代多了工具返回值;第三代多了模型自己探索出来的知识。而每一次扩容都让「管理」难一层——因为第三代的内容不是你能预先枚举的。这也是为什么 harness 的核心从「写规则」变成了「设计环境」。

第三,「四成就下降」这个结论,反过来说才是它对工程的意义。 它不是让你去卡一个阈值,而是说:长上下文窗口是能力上限,不是工作区间。 你能塞进去,不代表它还能用得上——中间那段被迷失的内容,你不用付 token 的钱吗?


一句话总结:Agent 的记忆不在它脑子里,在你递给它那份清单里。 所以这件事从头到尾都是编辑工作——加什么、减什么、什么时候换。

搜索全站

输入关键词,查找项目与实践记录。