Agent 能力沉淀:上下文、代码与权重

2026-11-01笔记AgentHarness上下文工程

Agent 指在循环中自主决定下一步行动、并能调用外部程序的模型系统。它的能力只能存放在三处:权重、上下文、外部代码。三者的区别,本质上是写入成本与使用成本、泛化与确定性之间的权衡。

起点:能力的三个存放位置

模型的一次计算可以写成 y=fθ(x)y = f_\theta(x)输出只由权重 θ\theta 和输入 xx 决定。Agent 把这次计算放进循环,每一步根据状态 sts_t 和上下文(context)ctc_t 选择动作 ata_t动作可以是调用外部程序 gg

at=πθ(st,ct)a_t = \pi_\theta(s_t, c_t)

因此,能力只有三个存放位置:

位置符号形式
权重θ\theta通过预训练、监督微调(Supervised Fine-Tuning,SFT)、强化学习(Reinforcement Learning,RL)、蒸馏写入
上下文ccprompt、skill、记忆、检索结果、工具返回、对话历史
外部代码gg脚本、工具、API

训练与推理:两条信息通道

训练改变函数本身,推理改变函数的输入。两者的根本区别在于信息进入系统的方式。训练时,信息经梯度写入权重:

θ←θ−η∇θL\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}

推理时,θ\theta 冻结,信息经上下文进入。两条通道的性质对比如下:

维度训练推理
信息进入方式经梯度写入权重经上下文输入,权重不变
通道特性带宽低、含噪声,写入一个模式需要大量样本带宽高、精确、即时生效
作用范围写入后永久生效,对整个输入分布生效,并能泛化到未见过的样本只对当次调用有效,下次需要重新提供
性质一次学习,处处复用每次提供,用完即弃

上下文的本质

上下文是推理时唯一的信息通道。它本质上是一条被注意力反复检索的 token 序列。

单一序列。 系统提示词、skill、记忆、检索结果、工具返回、对话历史,进入模型后都被拼接成同一条序列 x=(t1,t2,…,tn)x = (t_1, t_2, \dots, t_n)模型内部没有指令和数据的物理区分,角色和优先级只依赖权重中习得的格式约定。这是提示词注入(prompt injection,在输入内容里夹带恶意指令、劫持模型行为的攻击)能够成立的根本原因。

作用机制。 每个位置通过注意力,按相关性从前文抽取信息[1]:

Attention(Q,K,V)=softmax(QK⊤d)V\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d}}\right)V

每生成一个 token,模型都要对全部上下文重新做一次加权检索。

物理形态。 上下文在模型中的物理形态是 KV cache:每个已处理的 token 在每一层保留一组 key 和 value。前缀不变时,KV cache 可以复用,这就是 prompt caching(跨调用复用相同前缀的 KV cache)的原理。

与权重的关系。 权重是长期记忆,上下文是工作记忆。上下文学习(in-context learning)是权重中已有的计算电路以上下文为参数,临时组合出新的行为,权重本身不变。

上下文的约束与工程原则

上下文是稀缺、昂贵、会被稀释的资源。所有上下文工程的目标,都是让有限窗口里每个 token 承载尽可能多的任务相关信息:相关性优先,密度其次。

这个问题可以写成带 token 预算的子集选择问题:从可用信息中选出子集 SS在长度不超过窗口长度 nn 的条件下,使任务成功的概率最大:

max⁡S  P(success∣S)s.t.∣S∣≤n\max_{S} \; P(\text{success} \mid S) \quad \text{s.t.} \quad |S| \le n
标准含义
相关性(第一标准)决定放入哪些信息,以它对当前决策的边际贡献衡量
密度(第二标准)在相关的前提下,用最少的 token 表达,即压缩
动态性相关性随 Agent 每一步的决策变化,窗口内容需要随步骤更新
充分性与一致性关键信息不能缺失,窗口里不能有互相矛盾的内容

上下文受四项约束:

约束机制
容量有限窗口长度 nn 有上限,内容之间互相挤占
成本随长度增长KV cache 的显存随 nn 线性增长,预填充(prefill)阶段的注意力计算随 n2n^2 增长,每次调用都要支付
注意力稀释softmax 权重之和为 1,内容越多,单条信息分得的注意力越少;表现为长上下文中段的信息被忽略[2]、指令遵循度下降
无持久性调用结束即消失,需要重新提供

由这些约束可以得到六条工程原则:

原则做法
按需加载只常驻索引和描述,正文在触发时加载
压缩长历史做摘要,工具结果只保留结论
外移确定性计算交给代码执行,只把结果写回上下文
隔离子任务交给子 Agent 在独立的窗口里展开,只返回摘要
排序关键指令放在模型最容易关注的位置,通常是开头和结尾[2]
淘汰过时的、与当前步骤无关的内容主动移出窗口,而不只是压缩;只进不出的上下文即使做了摘要,仍会持续占用注意力

Skill:按需加载的结构化上下文

skill 是按需加载的结构化上下文。它的设计目标是:在提供操作规程的同时,尽量少占上下文。它分三层[3]:

层级内容存放位置加载时机
描述能力名称与适用场景上下文始终常驻
正文操作步骤、判断标准、异常处理上下文触发时加载
附带脚本确定性的执行逻辑外部代码被调用执行,只有结果进入上下文

skill 不是一种存放位置,而是一个打包单位,它的各部分在不同状态下处于不同位置。哪些步骤写成文档、哪些写成脚本,标准是这个步骤是否需要判断:需要判断的保留为文档,不需要的固化为脚本。

状态正文脚本
静止只是磁盘上的文件,对模型没有作用,属于外部存储只是磁盘上的文件,属于外部存储
作用必须调入上下文,才能影响模型行为经外部代码通道执行,只把结果写回上下文

所以,skill 影响模型的途径只有上下文和代码两条;就作用位置而言,它的文本部分属于上下文。skill 本身是一种把外部存储按需调入上下文的机制,与记忆、检索增强生成(Retrieval-Augmented Generation,RAG)本质相同:内容平时存在窗口之外,需要时检索进窗口。

层级关系与取舍

权重决定另外两层的上限:上下文只能激活和组合权重中已有的能力,代码也依赖权重来判断何时调用、如何传参。

三者的分工可以和计算机的执行体系对照:

位置对应的计算机部件说明
权重解释器运行 skill,同时承载直觉
skill自然语言写成的源代码运行时由权重解释执行
脚本编译后的二进制在确定性的硬件上直接运行

代码的即时生成。 代码不只是事先写好的静态工具。Agent 可以在推理中生成代码,在沙箱里执行,再根据输出或报错修正,形成“上下文推理 → 代码执行 → 结果回写上下文”的闭环。生成的代码先以输出 token 的形式存在于上下文中,执行时才进入外部代码通道。因此,从上下文到代码的转化,既可以发生在人工沉淀的长周期里,也可以在单次推理内完成。这样的代码执行是确定的,但它是否正确,仍取决于生成它的模型。

维度权重上下文(skill)代码
写入成本高:需要数据、算力、评测近乎为零中等
单次使用成本低高:占用 token最低
确定性低低完全确定
泛化能力强受限于权重无
可编辑与可审计性差好好

表达范围的包含关系。 可形式化的能力可以写成代码,可语言化的能力可以写成 skill,只能从样本中习得的能力只能进入权重。这是我们的归纳,不来自文献:

Formalizable⊂Verbalizable⊂Learnable from examples\text{Formalizable} \subset \text{Verbalizable} \subset \text{Learnable from examples}

式 (5) 描述的是表达范围(能力能否存放在该载体里),不是执行精度(存放后能否被可靠地执行)。例如,精确的加密算法可以用语言完整描述,但模型按描述执行并不可靠;用样本训练进权重,也只能近似,无法保证精确。需要精确结果的场景,代码在可靠性上占绝对优势。

成本的摊销关系。 只看写入和使用时,总成本是 Ctotal=Cwrite+N⋅CuseC_{\text{total}} = C_{\text{write}} + N \cdot C_{\text{use}}使用次数 NN 越大,越值得用高写入成本换取低使用成本。计入维护和失败风险后,成本模型扩展为

Ctotal=Cwrite+NCuse+fchangeCrewrite+pfailLfailC_{\text{total}} = C_{\text{write}} + N C_{\text{use}} + f_{\text{change}} C_{\text{rewrite}} + p_{\text{fail}} L_{\text{fail}}

维护成本是知识的变化频率 fchangef_{\text{change}} 乘以单次修改的代价 CrewriteC_{\text{rewrite}}规则频繁变动时,修改上下文或代码只需改几行,修改权重则要重新训练和评测,还伴随遗忘的风险。风险成本是失败概率 pfailp_{\text{fail}} 乘以失败损失 LfailL_{\text{fail}}权重不透明、难以调试,失败时定位和修复的代价最高。因此,频繁变动、需要审计的规则,即使单次使用成本更高,也倾向于留在上下文或代码里。

能力生命周期

新能力在三个存放位置之间按成熟度流动,过程见图 1。

上下文 prompt · skill 代码 脚本 · 工具 权重 SFT · 蒸馏 固化无需判断的步骤 经验证后沉淀 权重增强,支撑更复杂的 skill 与工具调用
图 1 能力生命周期:三个存放位置,一个反馈环
阶段做法作用
上下文阶段新能力先以 prompt 或 skill 的形式出现写入成本最低,用于探索和验证
下沉为代码流程中无需判断的步骤固化为脚本使用成本低,结果可复现
沉淀进权重高频、稳定、难以形式化的部分,用筛选后的 Agent 轨迹做 SFT 或蒸馏把携带长 skill 的行为训练成无 skill 的默认行为,即上下文蒸馏(context distillation)[4]

这个过程构成闭环:推理侧负责探索和产出数据,训练侧把已验证的能力压缩为本能;权重增强后,又能支撑更复杂的 skill 和工具调用。

注意:未经验证的轨迹不能进入训练,否则会把错误固化为模型的默认行为。 上下文中的轨迹只有经过验证,才能下沉为代码或沉淀进权重。验证的来源包括单元测试通过、环境执行结果正确、人工确认。

自动 skill 发现。 验证通过的成功轨迹可以由 Agent 自动写回外部存储,形成持续扩张的 skill 库,不需要人工编码。代表性的工作是 Voyager,它把 Minecraft 中习得的行为存成可执行代码组成的 skill 库[5]。

结论

权重、上下文、代码是能力仅有的三个存放位置。三者的区别在于写入成本与使用成本、灵活性与确定性、泛化与可控性之间的权衡。

训练与推理是改变系统行为的两条通道:前者慢而持久,后者快而短暂。

上下文是推理侧的工作记忆。skill、记忆、RAG、子 Agent 等设计都在解决同一个问题:在有限的窗口里放入最有价值的信息。

系统设计不是在三者中选一个,而是让能力按成熟度在三者之间有序流动。

参考文献

  1. A. Vaswani et al., “Attention is all you need,” in Proc. NeurIPS, 2017. arXiv: 1706.03762
  2. N. F. Liu et al., “Lost in the middle: How language models use long contexts,” Trans. Assoc. Comput. Linguist., vol. 12, pp. 157–173, 2024. arXiv: 2307.03172
  3. B. Zhang, K. Lazuka, and M. Murag, “Equipping agents for the real world with Agent Skills,” Anthropic, Oct. 16, 2025. [Online]. Available: anthropic.com
  4. C. Snell, D. Klein, and R. Zhong, “Learning by distilling context,” 2022. arXiv: 2209.15189
  5. G. Wang et al., “Voyager: An open-ended embodied agent with large language models,” 2023. arXiv: 2305.16291