Agent 能力沉淀:上下文、代码与权重
Agent 指在循环中自主决定下一步行动、并能调用外部程序的模型系统。它的能力只能存放在三处:权重、上下文、外部代码。三者的区别,本质上是写入成本与使用成本、泛化与确定性之间的权衡。
起点:能力的三个存放位置
模型的一次计算可以写成 输出只由权重 和输入 决定。Agent 把这次计算放进循环,每一步根据状态 和上下文(context) 选择动作 动作可以是调用外部程序
因此,能力只有三个存放位置:
| 位置 | 符号 | 形式 |
|---|---|---|
| 权重 | 通过预训练、监督微调(Supervised Fine-Tuning,SFT)、强化学习(Reinforcement Learning,RL)、蒸馏写入 | |
| 上下文 | prompt、skill、记忆、检索结果、工具返回、对话历史 | |
| 外部代码 | 脚本、工具、API |
训练与推理:两条信息通道
训练改变函数本身,推理改变函数的输入。两者的根本区别在于信息进入系统的方式。训练时,信息经梯度写入权重:
推理时, 冻结,信息经上下文进入。两条通道的性质对比如下:
| 维度 | 训练 | 推理 |
|---|---|---|
| 信息进入方式 | 经梯度写入权重 | 经上下文输入,权重不变 |
| 通道特性 | 带宽低、含噪声,写入一个模式需要大量样本 | 带宽高、精确、即时生效 |
| 作用范围 | 写入后永久生效,对整个输入分布生效,并能泛化到未见过的样本 | 只对当次调用有效,下次需要重新提供 |
| 性质 | 一次学习,处处复用 | 每次提供,用完即弃 |
上下文的本质
上下文是推理时唯一的信息通道。它本质上是一条被注意力反复检索的 token 序列。
单一序列。 系统提示词、skill、记忆、检索结果、工具返回、对话历史,进入模型后都被拼接成同一条序列 模型内部没有指令和数据的物理区分,角色和优先级只依赖权重中习得的格式约定。这是提示词注入(prompt injection,在输入内容里夹带恶意指令、劫持模型行为的攻击)能够成立的根本原因。
作用机制。 每个位置通过注意力,按相关性从前文抽取信息[1]:
每生成一个 token,模型都要对全部上下文重新做一次加权检索。
物理形态。 上下文在模型中的物理形态是 KV cache:每个已处理的 token 在每一层保留一组 key 和 value。前缀不变时,KV cache 可以复用,这就是 prompt caching(跨调用复用相同前缀的 KV cache)的原理。
与权重的关系。 权重是长期记忆,上下文是工作记忆。上下文学习(in-context learning)是权重中已有的计算电路以上下文为参数,临时组合出新的行为,权重本身不变。
上下文的约束与工程原则
上下文是稀缺、昂贵、会被稀释的资源。所有上下文工程的目标,都是让有限窗口里每个 token 承载尽可能多的任务相关信息:相关性优先,密度其次。
这个问题可以写成带 token 预算的子集选择问题:从可用信息中选出子集 在长度不超过窗口长度 的条件下,使任务成功的概率最大:
| 标准 | 含义 |
|---|---|
| 相关性(第一标准) | 决定放入哪些信息,以它对当前决策的边际贡献衡量 |
| 密度(第二标准) | 在相关的前提下,用最少的 token 表达,即压缩 |
| 动态性 | 相关性随 Agent 每一步的决策变化,窗口内容需要随步骤更新 |
| 充分性与一致性 | 关键信息不能缺失,窗口里不能有互相矛盾的内容 |
上下文受四项约束:
| 约束 | 机制 |
|---|---|
| 容量有限 | 窗口长度 有上限,内容之间互相挤占 |
| 成本随长度增长 | KV cache 的显存随 线性增长,预填充(prefill)阶段的注意力计算随 增长,每次调用都要支付 |
| 注意力稀释 | softmax 权重之和为 1,内容越多,单条信息分得的注意力越少;表现为长上下文中段的信息被忽略[2]、指令遵循度下降 |
| 无持久性 | 调用结束即消失,需要重新提供 |
由这些约束可以得到六条工程原则:
| 原则 | 做法 |
|---|---|
| 按需加载 | 只常驻索引和描述,正文在触发时加载 |
| 压缩 | 长历史做摘要,工具结果只保留结论 |
| 外移 | 确定性计算交给代码执行,只把结果写回上下文 |
| 隔离 | 子任务交给子 Agent 在独立的窗口里展开,只返回摘要 |
| 排序 | 关键指令放在模型最容易关注的位置,通常是开头和结尾[2] |
| 淘汰 | 过时的、与当前步骤无关的内容主动移出窗口,而不只是压缩;只进不出的上下文即使做了摘要,仍会持续占用注意力 |
Skill:按需加载的结构化上下文
skill 是按需加载的结构化上下文。它的设计目标是:在提供操作规程的同时,尽量少占上下文。它分三层[3]:
| 层级 | 内容 | 存放位置 | 加载时机 |
|---|---|---|---|
| 描述 | 能力名称与适用场景 | 上下文 | 始终常驻 |
| 正文 | 操作步骤、判断标准、异常处理 | 上下文 | 触发时加载 |
| 附带脚本 | 确定性的执行逻辑 | 外部代码 | 被调用执行,只有结果进入上下文 |
skill 不是一种存放位置,而是一个打包单位,它的各部分在不同状态下处于不同位置。哪些步骤写成文档、哪些写成脚本,标准是这个步骤是否需要判断:需要判断的保留为文档,不需要的固化为脚本。
| 状态 | 正文 | 脚本 |
|---|---|---|
| 静止 | 只是磁盘上的文件,对模型没有作用,属于外部存储 | 只是磁盘上的文件,属于外部存储 |
| 作用 | 必须调入上下文,才能影响模型行为 | 经外部代码通道执行,只把结果写回上下文 |
所以,skill 影响模型的途径只有上下文和代码两条;就作用位置而言,它的文本部分属于上下文。skill 本身是一种把外部存储按需调入上下文的机制,与记忆、检索增强生成(Retrieval-Augmented Generation,RAG)本质相同:内容平时存在窗口之外,需要时检索进窗口。
层级关系与取舍
权重决定另外两层的上限:上下文只能激活和组合权重中已有的能力,代码也依赖权重来判断何时调用、如何传参。
三者的分工可以和计算机的执行体系对照:
| 位置 | 对应的计算机部件 | 说明 |
|---|---|---|
| 权重 | 解释器 | 运行 skill,同时承载直觉 |
| skill | 自然语言写成的源代码 | 运行时由权重解释执行 |
| 脚本 | 编译后的二进制 | 在确定性的硬件上直接运行 |
代码的即时生成。 代码不只是事先写好的静态工具。Agent 可以在推理中生成代码,在沙箱里执行,再根据输出或报错修正,形成“上下文推理 → 代码执行 → 结果回写上下文”的闭环。生成的代码先以输出 token 的形式存在于上下文中,执行时才进入外部代码通道。因此,从上下文到代码的转化,既可以发生在人工沉淀的长周期里,也可以在单次推理内完成。这样的代码执行是确定的,但它是否正确,仍取决于生成它的模型。
| 维度 | 权重 | 上下文(skill) | 代码 |
|---|---|---|---|
| 写入成本 | 高:需要数据、算力、评测 | 近乎为零 | 中等 |
| 单次使用成本 | 低 | 高:占用 token | 最低 |
| 确定性 | 低 | 低 | 完全确定 |
| 泛化能力 | 强 | 受限于权重 | 无 |
| 可编辑与可审计性 | 差 | 好 | 好 |
表达范围的包含关系。 可形式化的能力可以写成代码,可语言化的能力可以写成 skill,只能从样本中习得的能力只能进入权重。这是我们的归纳,不来自文献:
式 (5) 描述的是表达范围(能力能否存放在该载体里),不是执行精度(存放后能否被可靠地执行)。例如,精确的加密算法可以用语言完整描述,但模型按描述执行并不可靠;用样本训练进权重,也只能近似,无法保证精确。需要精确结果的场景,代码在可靠性上占绝对优势。
成本的摊销关系。 只看写入和使用时,总成本是 使用次数 越大,越值得用高写入成本换取低使用成本。计入维护和失败风险后,成本模型扩展为
维护成本是知识的变化频率 乘以单次修改的代价 规则频繁变动时,修改上下文或代码只需改几行,修改权重则要重新训练和评测,还伴随遗忘的风险。风险成本是失败概率 乘以失败损失 权重不透明、难以调试,失败时定位和修复的代价最高。因此,频繁变动、需要审计的规则,即使单次使用成本更高,也倾向于留在上下文或代码里。
能力生命周期
新能力在三个存放位置之间按成熟度流动,过程见图 1。
| 阶段 | 做法 | 作用 |
|---|---|---|
| 上下文阶段 | 新能力先以 prompt 或 skill 的形式出现 | 写入成本最低,用于探索和验证 |
| 下沉为代码 | 流程中无需判断的步骤固化为脚本 | 使用成本低,结果可复现 |
| 沉淀进权重 | 高频、稳定、难以形式化的部分,用筛选后的 Agent 轨迹做 SFT 或蒸馏 | 把携带长 skill 的行为训练成无 skill 的默认行为,即上下文蒸馏(context distillation)[4] |
这个过程构成闭环:推理侧负责探索和产出数据,训练侧把已验证的能力压缩为本能;权重增强后,又能支撑更复杂的 skill 和工具调用。
注意:未经验证的轨迹不能进入训练,否则会把错误固化为模型的默认行为。 上下文中的轨迹只有经过验证,才能下沉为代码或沉淀进权重。验证的来源包括单元测试通过、环境执行结果正确、人工确认。
自动 skill 发现。 验证通过的成功轨迹可以由 Agent 自动写回外部存储,形成持续扩张的 skill 库,不需要人工编码。代表性的工作是 Voyager,它把 Minecraft 中习得的行为存成可执行代码组成的 skill 库[5]。
结论
权重、上下文、代码是能力仅有的三个存放位置。三者的区别在于写入成本与使用成本、灵活性与确定性、泛化与可控性之间的权衡。
训练与推理是改变系统行为的两条通道:前者慢而持久,后者快而短暂。
上下文是推理侧的工作记忆。skill、记忆、RAG、子 Agent 等设计都在解决同一个问题:在有限的窗口里放入最有价值的信息。
系统设计不是在三者中选一个,而是让能力按成熟度在三者之间有序流动。
参考文献
- A. Vaswani et al., “Attention is all you need,” in Proc. NeurIPS, 2017. arXiv: 1706.03762
- N. F. Liu et al., “Lost in the middle: How language models use long contexts,” Trans. Assoc. Comput. Linguist., vol. 12, pp. 157–173, 2024. arXiv: 2307.03172
- B. Zhang, K. Lazuka, and M. Murag, “Equipping agents for the real world with Agent Skills,” Anthropic, Oct. 16, 2025. [Online]. Available: anthropic.com
- C. Snell, D. Klein, and R. Zhong, “Learning by distilling context,” 2022. arXiv: 2209.15189
- G. Wang et al., “Voyager: An open-ended embodied agent with large language models,” 2023. arXiv: 2305.16291