RSI 视角下训练与推理的关系
递归自我改进(Recursive Self-Improvement,RSI)指模型参与改进自身、且改进后的模型又能更好地执行下一轮改进的过程;它的几种实现方式见递归自我改进的循环。以下是我们从训练与推理分工出发给出的分析框架,主要结论如下。
- RSI 的每一轮改进可以分解为两个算子:推理侧负责产生改进(搜索、验证、探索),训练侧负责固化改进(摊销、泛化、持久化)。
- 两个算子单独都不构成递归:推理侧的改进不持久,成本随分布偏移量指数增长;训练侧在固定奖励下只做分布锐化,迭代收敛到不动点。
- RSI 的最小形式是两者的耦合迭代 即 Expert Iteration 结构。递归能否持续,取决于每轮是否扩展能力覆盖,而不只是提升集中度。
- 上下文是快权重,参数是慢权重。RSI 可以表述为改进在“上下文 → 记忆 / skill → adapter → 基座”这一存储层级中持续下沉的过程,训练与推理的边界随之下移。
- RSI 的“自我”属性体现为模型逐步接管改进循环中原本由人负责的环节,这些环节本质上都是推理侧任务。基座能力提升会非线性地扩大推理侧可以承担的环节,形成正反馈。
- 体系的上限由验证器质量决定。奖励与验证的自主构造,以及改进“改进流程”本身,是决定循环加速还是收敛的关键环节。
问题定义
1.1 RSI 的形式化
设第 轮的模型为 改进过程为
- 普通的迭代改进: 固定,由人设计。
- 递归自我改进:改进过程本身由模型执行,因此模型能力提升会让下一轮改进同步增强。
1.2 训练与推理的关系是 RSI 的核心
任何一轮改进都必须完成两件事:
- 发现更好的行为:在当前能力边界附近找到更优的输出、数据、代码或策略。
- 保留这一行为:让它在后续轮次中可以复用,并作为下一轮的起点。
在当前范式下,第 1 件事主要由推理侧完成,第 2 件事主要由训练侧完成。因此 RSI 的动力学由两者的分工、成本与耦合方式决定。
1.3 基础建模
把模型视为条件分布 对任务 记正确解的集合为 验证器为 能力由两个量刻画:
| 量 | 定义 | 含义 |
|---|---|---|
| 覆盖(coverage) | 是否位于 的有效支撑集内 | 多次采样能否触达正确解 |
| 集中度(concentration) | 即 pass@1,单次采样正确的概率 |
- 提升集中度:把“偶尔能做对”变为“稳定做对”。
- 扩展覆盖:把“做不到”变为“偶尔能做对”。
RSI 能否持续,取决于每轮是否扩展覆盖。 只提升集中度的迭代必然收敛。
推理侧:改进的发现算子
2.1 搜索成本:采样次数与成功率
假设各次采样独立、单次成功率为 验证器完美。 次采样中至少一次正确的概率为:
反解,并对小 取
取 时
| 近似 | 精确 | |
|---|---|---|
| 0.01 | 300 | 298 |
| 0.1 | 30 | 28.4 |
| 0.5 | 6 | 4.3 |
推论:推理侧只在 且不过小的区间内有效。 约束了推理侧能发现的改进范围,而 由当前权重决定。
2.2 推理侧对分布的作用:倾斜
Best-of-N(BoN)指从 独立采样 个候选,选出奖励最高的一个。设奖励连续、没有并列,定义奖励分位数 则:
也就是在基座分布上乘以一个随奖励排名单调递增的权重。由 得 所以推理侧对任一输出的概率放大存在硬上限。
2.3 推理侧的偏移量与成本
令 被选中样本的 服从密度 得到:
这里 KL 指 KL 散度(Kullback–Leibler divergence)。该式在连续、无并列的条件下精确成立,一般情况下是上界[1]。
截断保留比例为 的输出时,对应的 KL 是 据此把 KL 换算成等效保留比例
| KL(nats) | 等效保留比例 | |
|---|---|---|
| 2 | 0.19 | 约 83% |
| 16 | 1.83 | 约 16% |
| 64 | 3.17 | 约 4% |
| 1024 | 5.93 | 约 0.27% |
对一般的目标分布 精确采样(拒绝采样)的期望尝试次数为 并且:
因此单次请求的期望采样数
2.4 推理侧在 RSI 中的定位
| 属性 | 结论 | 对 RSI 的含义 |
|---|---|---|
| 发现能力 | 能在当前覆盖内找到低概率的正确解,能通过工具和环境引入新信息 | 改进的主要来源 |
| 成本 | 偏移量每增加 成本乘以 | 无法单独支撑持续深入的改进 |
| 持久性 | 结果存在于上下文中,序列结束即丢失 | 无法把改进传递到下一轮 |
| 复用性 | 计算不跨输入复用 | 每个新问题都要重新付出搜索成本 |
结论:推理侧是改进的发现算子,但单独不构成递归。
训练侧:改进的固化算子
3.1 与推理侧的目标同构
强化学习(Reinforcement Learning,RL)中常用的 KL 正则目标为:
最优解为:
BoN 与 形式同构,都是“基座分布 × 随奖励单调递增的权重”(推导见 KL 正则 RL 的贝叶斯后验视角)。Yang 等人证明: 时,BoN 与 KL 预算为 的最优 RL 解在期望奖励上渐近等价[2]。
| 推理侧(BoN) | 训练侧(KL 正则 RL) | |
|---|---|---|
| 权重依赖 | 奖励排名 | 奖励绝对值 |
| 权重上限 | 由 控制 | |
| 计算时机 | 每次推理 | 训练时一次完成 |
推理侧在线、逐样本地近似 训练侧离线地把 摊销进权重。
3.2 摊销
摊销推断(amortized inference)指复用过去的推断计算,与对每个查询独立求解的无记忆推断相对[3]。训练后的 就是一个推断网络:输入 直接输出对 的近似;训练成本一次付清,单次请求只需一次采样。
Variational BoN(vBoN)是一个直接的实例:它把 BoN 诱导的分布蒸馏进权重,在近似成功的程度上把推理成本降低 倍[4]。
代价是摊销间隙(amortization gap):共享参数无法对每个输入精确表示 [5]。vBoN 的效果接近但不及直接执行 BoN。
3.3 训练侧的固有限制:锐化而非扩展
由
目标分布不可能超出基座的支撑集。Yue 等人的实验与此一致[6]:可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)得到的模型在 较小时优于基座,在 较大时 pass@( 次采样中至少一次正确的概率)低于基座,其推理路径已经包含在基座的采样分布中;而蒸馏可以引入教师模型的新推理模式。
3.4 固定奖励下的迭代收敛
以上一轮结果作为下一轮的参考分布,用同一奖励重复训练:
轮迭代等价于一次 的更新。它只加大了对同一奖励信号的信任,不引入新信息,最终收敛到基座支撑集内奖励最高的输出。
3.5 训练侧在 RSI 中的定位
| 属性 | 结论 | 对 RSI 的含义 |
|---|---|---|
| 持久性 | 改进写入权重 | 可以传递到下一轮,作为下一轮搜索的起点 |
| 泛化 | 权重更新跨输入生效,存在组合泛化 | 训练侧扩展覆盖的唯一内生机制 |
| 成本 | 一次性支付,推理几乎没有增量 | 让推理侧在更高的起点上继续搜索 |
| 限制 | 固定奖励下只锐化,迭代收敛 | 需要推理侧持续提供新信号 |
结论:训练侧是改进的固化算子,但单独不构成递归。
耦合:RSI 的最小形式
4.1 Expert Iteration 结构
这一结构就是 Expert Iteration[7]:树搜索负责规划,神经网络负责泛化;网络策略反过来引导搜索,让新的规划更强。在 RSI 语境下:
- 推理侧的搜索是专家:在 的能力边界附近发现改进。
- 训练侧的蒸馏是学徒:把改进摊销进权重,让 的搜索起点更高。
4.2 一轮循环的状态流转
| 步骤 · 执行侧 | 输入 | 输出 |
|---|---|---|
| 1 搜索 · 推理 | 任务集、 | 高质量轨迹、正确解 |
| 2 验证 · 推理 | 候选解、 | 筛选后的数据 / 奖励信号 |
| 3 外部沉淀 · 推理 | 有效改动 | 工具、skill、记忆 |
| 4 摊销 · 训练 | 筛选后的数据 / 奖励 | |
| 5 扩展任务与验证器 · 推理(目标) | 新任务集、 |
步骤 5 决定下一轮能否获得新信息。如果任务集与验证器固定,循环就退化为 3.4 的收敛过程。
4.3 持续增长的条件
记 为 在可承受的搜索成本下能触达的解集合。递归持续增长要求:
即每一轮都必须扩展覆盖,而不只是提升集中度。
4.4 覆盖扩展的三类来源及其归属
| 来源 | 机制 | 归属 |
|---|---|---|
| 引入新信息 | 环境交互、工具执行、检索、新数据 | 推理侧 |
| 组合泛化 | 权重更新改变大量未见序列的概率;A 类子技能让 B 类任务变得可达 | 训练侧 |
| 长链拆分 | 长度为 单步成功率为 的任务,整体成功率为 分步验证与回溯把指数级难度降到近似线性 | 推理侧 |
两侧对覆盖扩展各有不可替代的贡献,这是两者必须耦合、而不能相互替代的根本原因。
存储层级:改进在 RSI 中的流动路径
5.1 上下文即快权重
去掉 softmax 的线性注意力,第 步的输出为:
是由上下文以外积形式写入的权重矩阵,即快权重(fast weights)[8]。von Oswald 等人进一步证明,在线性回归任务上,一层线性注意力的前向计算可以精确实现一步梯度下降[9]。
把模型写成 其中 是上下文:
- 改变上下文 在 决定的函数族中选择一个函数。
- 改变参数 改变函数族本身。
上下文是快权重,参数是慢权重。推理侧的改进是快权重上的改进,训练侧的改进是慢权重上的改进。
5.2 分层存储体系
| 层级 | 时间尺度 · 载体 | 性质 |
|---|---|---|
| 上下文 / KV cache | 秒到分钟 · 当次推理 | 非参数、精确、不跨序列 |
| 外部记忆、skill、工具 | 天到周 · Agent 的 Harness | 显式、可检索、跨会话 |
| 快速权重、adapter、测试时训练(test-time training) | 小时到周 · 局部参数 | 梯度写入、局部泛化 |
| 基座权重 | 月 · 预训练与后训练 | 有损压缩、全局泛化 |
Agent 指能调用工具、多步执行任务的模型系统,Harness 指包在模型外面、管理工具、记忆和调度的框架。
5.3 RSI 是改进的逐层下沉
在这一体系下,RSI 可以表述为改进在层级中的持续下沉:
- 改进在上下文中被搜索得到。
- 验证有效后写入记忆或 skill。
- 高频复用后蒸馏进 adapter。
- 最终并入基座权重。
每一层下沉都是一次摊销:用写入成本换取后续复用的低成本与跨输入泛化。下沉之后,上层被释放出来,用于探索新的、更难的问题。
边界的动态:RSI 中训练与推理如何分工
6.1 静态判据
某类问题出现 次,单次推理的额外成本为 训练成本为 当
时,应该把这项改进写入权重:
- 高频、稳定、可泛化的能力 → 训练侧。
- 长尾、与实例相关、依赖测试时反馈的能力 → 推理侧。
这一关系与编译器和解释器的分工、即时编译(Just-In-Time,JIT)同构:热路径编译,冷路径解释。
6.2 验证器位置的约束
| 验证器可用的时机 | 改进的可行位置 |
|---|---|
| 只在训练时可用(有标准答案、有仿真,测试时拿不到) | 只能进入权重 |
| 只在测试时可用(当前代码库的测试、当前环境的状态) | 只能由推理侧使用 |
| 两者都可用 | 由式 (13) 的摊销判据决定 |
6.3 动态下移
在 RSI 循环中,边界不是固定的:
- 当前依赖推理侧搜索的能力,经过下一轮训练被摊销进权重。
- 推理侧从更高的起点出发,开拓更难的任务。
- 训练与推理的边界整体向更难的问题移动。
因此,推理侧始终位于能力前沿,训练侧持续收拢前沿之后的区域。RSI 的推进速度取决于前沿推进速度与收拢速度中较小的一个。
“自我”的来源:推理侧接管改进循环
7.1 一轮改进循环的角色分配
| 环节 · 执行侧 | 标准后训练 RL | 完整 RSI |
|---|---|---|
| 选择待提升的能力 · 推理 | 人 | 模型 |
| 构造任务与环境 · 推理 | 人(部分由模型合成) | 模型 |
| 定义奖励 / 验证器 · 推理 | 人 | 模型 |
| 生成候选解(rollout)· 推理 | 模型 | 模型 |
| 参数更新(算法、超参)· 训练 | 人设计,优化器执行 | 模型 |
| 评估改进是否有效 · 推理 | 人 | 模型 |
| 决定下一轮方向 · 推理 | 人 | 模型 |
| 改进“改进流程”本身 · 推理 | 人 | 模型 |
我们从表中得到两个观察:
- 在标准 RL 中,模型只承担 rollout 环节。一次 RL 相当于由人工闭合的一轮改进算子。
- 除了参数更新的执行,表中所有环节都是推理侧任务。RSI 的“自我”属性,本质上是推理侧能力对改进循环的覆盖程度。
7.2 一次 RL 何时构成 RSI 的一步
由 关键在于训练侧提升的能力是否被推理侧用于下一轮改进:
- 训练数学、问答:提升的能力不进入改进循环,属于普通的能力提升。
- 训练编码、实验设计、数据构造、奖励设计:提升的能力直接被推理侧用于下一轮研发,构成递归的一步。
也就是说,训练侧决定推理侧下一轮能做什么,推理侧决定训练侧下一轮学什么。这一双向依赖闭合时,递归才发生。
7.3 参照:自博弈
AlphaZero 类的自博弈是有边界的 RSI[10]:对手与数据由模型生成,奖励由规则自动给出,更强的模型产生更强的对手与更难的数据。它能闭环的前提是验证器免费且完美,因此表中“定义奖励 / 验证器”一环不需要模型承担。开放域缺少这类验证器,这一环就成为瓶颈。
正反馈:基座能力对推理侧的非线性放大
8.1 放大机制
- 可搜索范围扩大: 从 0.01 提升到 0.1,所需 降低一个数量级;原本 的任务进入可搜索区间。
- 长链任务的阈值效应:单步成功率的小幅提升,在长链上会被放大,见下表。
- 自我验证能力增强:判断、查错、编写测试的能力随基座提升,覆盖更多原本没有自动验证器的任务,直接缓解体系的瓶颈。
- 外部信息利用增强:工具调用、环境反馈、检索能力提升,也就是推理侧扩展覆盖的能力提升。
| 单步成功率 | 时的整体成功率 |
|---|---|
| 0.90 | 0.12 |
| 0.95 | 0.36 |
| 0.99 | 0.82 |
8.2 闭环
正反馈的闭环由四步组成:
- 训练侧:基座增强。
- 推理侧: 上升,验证器 的覆盖扩大。
- 推理侧:承担更多研发环节,产出数据、代码、奖励和工具。
- 训练侧:把这些产出摊销为更强的基座,回到第 1 步。
与 都是非线性关系,所以训练侧的线性提升在推理侧表现为可承担任务集合的非线性扩张。这是 RSI 可能加速的数学来源。
RSI 不依赖专门的“自我改进模块”,而是推理侧能力覆盖 AI 研发流程之后,训练与推理耦合迭代的自然结果。
加速还是收敛:约束分析
| 约束 | 机制 | 影响 |
|---|---|---|
| 验证器质量 | 推理侧的筛选与训练侧的奖励都依赖 有偏时,KL 越大越可能发生奖励过度优化 | 体系的上限 |
| 固定奖励的不动点 | 见 3.4:同一奖励的迭代等价于减小 | 不引入新任务与新验证器时必然收敛 |
| 摊销间隙与遗忘 | 权重是有损压缩,下沉过程会损失部分改进 | 降低每轮的净增益 |
| 推理侧成本 | 偏移量增加 成本乘以 | 限制单轮前沿推进的深度 |
| 可验证领域的偏置 | 代码、数学、有仿真的任务进展快;标准模糊的环节难以闭环 | 改进集中在可验证的子空间 |
| 改进流程本身 | 自主提出并验证新的训练方法与奖励设计,仍主要依赖人工 | 决定循环是否突破 L5 |
结论
- RSI 的每一轮改进由两个算子构成:推理侧发现改进,训练侧固化改进。两者优化同构的目标分布 前者在线逐样本近似,后者离线摊销进权重。
- 两个算子单独都不构成递归:推理侧不持久,成本随偏移量指数增长;训练侧在固定奖励下只锐化并收敛。
- RSI 的最小形式是 Expert Iteration 结构的耦合迭代,持续增长的条件是每轮扩展覆盖。覆盖扩展的来源分属两侧:新信息与长链拆分归推理侧,组合泛化归训练侧。
- 上下文是快权重,参数是慢权重;RSI 表现为改进在存储层级中的逐层下沉,训练与推理的边界随之持续向更难的问题移动。
- RSI 的“自我”属性来自推理侧对改进循环各环节的接管;训练侧决定推理侧下一轮能做什么,推理侧决定训练侧下一轮学什么。
- 基座能力的提升经 与 的非线性关系,放大为推理侧能力的扩张,构成正反馈;验证器质量、奖励与任务的自主扩展、改进流程本身的改进,决定这一反馈是持续加速还是收敛。
参考文献
- A. Beirami et al., “Theoretical guarantees on the best-of-n alignment policy,” 2024, arXiv: 2401.01879.
- J. Q. Yang, S. Salamatian, Z. Sun, A. T. Suresh, and A. Beirami, “Asymptotics of language model alignment,” 2024, arXiv: 2404.01730.
- S. J. Gershman and N. D. Goodman, “Amortized inference in probabilistic reasoning,” in Proc. CogSci, 2014. [Online]. Available: escholarship.org
- A. Amini, T. Vieira, E. Ash, and R. Cotterell, “Variational best-of-N alignment,” in Proc. ICLR, 2025, arXiv: 2407.06057.
- C. C. Margossian and D. M. Blei, “Amortized variational inference: When and why?,” 2023, arXiv: 2307.11018.
- Y. Yue et al., “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” in Proc. NeurIPS, 2025, arXiv: 2504.13837.
- T. Anthony, Z. Tian, and D. Barber, “Thinking fast and slow with deep learning and tree search,” in Proc. NIPS, 2017, arXiv: 1705.08439.
- I. Schlag, K. Irie, and J. Schmidhuber, “Linear transformers are secretly fast weight programmers,” in Proc. ICML, 2021, arXiv: 2102.11174.
- J. von Oswald et al., “Transformers learn in-context by gradient descent,” in Proc. ICML, 2023, arXiv: 2212.07677.
- D. Silver et al., “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play,” Science, vol. 362, no. 6419, pp. 1140–1144, 2018, doi: 10.1126/science.aar6404.