RSI 视角下训练与推理的关系

2026-10-31笔记递归自我改进大模型后训练强化学习Agent

递归自我改进(Recursive Self-Improvement,RSI)指模型参与改进自身、且改进后的模型又能更好地执行下一轮改进的过程;它的几种实现方式见递归自我改进的循环。以下是我们从训练与推理分工出发给出的分析框架,主要结论如下。

问题定义

1.1 RSI 的形式化

设第 tt 轮的模型为 πt\pi_t改进过程为 I\mathcal{I}

1.2 训练与推理的关系是 RSI 的核心

任何一轮改进都必须完成两件事:

  1. 发现更好的行为:在当前能力边界附近找到更优的输出、数据、代码或策略。
  2. 保留这一行为:让它在后续轮次中可以复用,并作为下一轮的起点。

在当前范式下,第 1 件事主要由推理侧完成,第 2 件事主要由训练侧完成。因此 RSI 的动力学由两者的分工、成本与耦合方式决定。

1.3 基础建模

把模型视为条件分布 π(y∣x)\pi(y \mid x)对任务 xx记正确解的集合为 C(x)\mathcal{C}(x)验证器为 V(x,y)V(x, y)能力由两个量刻画:

量定义含义
覆盖(coverage)C(x)\mathcal{C}(x) 是否位于 π\pi 的有效支撑集内多次采样能否触达正确解
集中度(concentration)p=π(C(x)∣x)p = \pi(\mathcal{C}(x) \mid x)即 pass@1,单次采样正确的概率

RSI 能否持续,取决于每轮是否扩展覆盖。 只提升集中度的迭代必然收敛。

推理侧:改进的发现算子

2.1 搜索成本:采样次数与成功率

假设各次采样独立、单次成功率为 pp验证器完美。NN 次采样中至少一次正确的概率为:

s=1−(1−p)Ns = 1 - (1-p)^N

反解,并对小 pp 取 ln⁡(1−p)≈−p\ln(1-p) \approx -p

N=ln⁡(1−s)ln⁡(1−p)≈−ln⁡(1−s)pN = \frac{\ln(1-s)}{\ln(1-p)} \approx \frac{-\ln(1-s)}{p}

取 s=0.95s = 0.95 时 N≈3/pN \approx 3/p

pp近似 N≈3/pN \approx 3/p精确 NN
0.01300298
0.13028.4
0.564.3

推论:推理侧只在 p>0p > 0 且不过小的区间内有效。pp 约束了推理侧能发现的改进范围,而 pp 由当前权重决定。

2.2 推理侧对分布的作用:倾斜

Best-of-N(BoN)指从 πref\pi_{\text{ref}} 独立采样 NN 个候选,选出奖励最高的一个。设奖励连续、没有并列,定义奖励分位数 F(y)=Py′∼πref(r(y′)≤r(y))F(y) = P_{y' \sim \pi_{\text{ref}}}(r(y') \le r(y))则:

πBoN(y)=πref(y)⋅N F(y)N−1⏟w(y)\pi_{\text{BoN}}(y) = \pi_{\text{ref}}(y) \cdot \underbrace{N\,F(y)^{N-1}}_{w(y)}

也就是在基座分布上乘以一个随奖励排名单调递增的权重。由 w(y)≤Nw(y) \le N 得 πBoN(y)≤N⋅πref(y)\pi_{\text{BoN}}(y) \le N \cdot \pi_{\text{ref}}(y)所以推理侧对任一输出的概率放大存在硬上限。

2.3 推理侧的偏移量与成本

令 u=F(y)u = F(y)被选中样本的 uu 服从密度 NuN−1N u^{N-1}E[log⁡u]=−1/N\mathbb{E}[\log u] = -1/N得到:

KL(πBoN ∥ πref)=log⁡N−N−1N\mathrm{KL}(\pi_{\text{BoN}} \,\Vert\, \pi_{\text{ref}}) = \log N - \frac{N-1}{N}

这里 KL 指 KL 散度(Kullback–Leibler divergence)。该式在连续、无并列的条件下精确成立,一般情况下是上界[1]。

截断保留比例为 ff 的输出时,对应的 KL 是 −ln⁡f-\ln f据此把 KL 换算成等效保留比例 f=e−KLf = e^{-\mathrm{KL}}

NNKL(nats)等效保留比例 ff
20.19约 83%
161.83约 16%
643.17约 4%
10245.93约 0.27%

对一般的目标分布 π∗\pi^*精确采样(拒绝采样)的期望尝试次数为 M=sup⁡yπ∗(y)/πref(y)M = \sup_y \pi^*(y)/\pi_{\text{ref}}(y)并且:

KL(π∗ ∥ πref)≤log⁡M\mathrm{KL}(\pi^* \,\Vert\, \pi_{\text{ref}}) \le \log M

因此单次请求的期望采样数 M≥eKL(π∗∥πref)M \ge e^{\mathrm{KL}(\pi^* \Vert \pi_{\text{ref}})}

2.4 推理侧在 RSI 中的定位

属性结论对 RSI 的含义
发现能力能在当前覆盖内找到低概率的正确解,能通过工具和环境引入新信息改进的主要来源
成本偏移量每增加 Δ\Delta成本乘以 eΔe^{\Delta}无法单独支撑持续深入的改进
持久性结果存在于上下文中,序列结束即丢失无法把改进传递到下一轮
复用性计算不跨输入复用每个新问题都要重新付出搜索成本

结论:推理侧是改进的发现算子,但单独不构成递归。

训练侧:改进的固化算子

3.1 与推理侧的目标同构

强化学习(Reinforcement Learning,RL)中常用的 KL 正则目标为:

max⁡π  Ey∼π[r(x,y)]−β KL(π ∥ πref)\max_\pi \; \mathbb{E}_{y \sim \pi}[r(x,y)] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}})

最优解为:

π∗(y∣x)∝πref(y∣x) exp⁡ ⁣(r(x,y)/β)\pi^*(y \mid x) \propto \pi_{\text{ref}}(y \mid x)\,\exp\!\left(r(x,y)/\beta\right)

BoN 与 π∗\pi^* 形式同构,都是“基座分布 × 随奖励单调递增的权重”(推导见 KL 正则 RL 的贝叶斯后验视角)。Yang 等人证明:N=eΔN = e^{\Delta} 时,BoN 与 KL 预算为 Δ\Delta 的最优 RL 解在期望奖励上渐近等价[2]。

推理侧(BoN)训练侧(KL 正则 RL)
权重依赖奖励排名奖励绝对值
权重上限NN由 β\beta 控制
计算时机每次推理训练时一次完成

推理侧在线、逐样本地近似 π∗\pi^*训练侧离线地把 π∗\pi^* 摊销进权重。

3.2 摊销

摊销推断(amortized inference)指复用过去的推断计算,与对每个查询独立求解的无记忆推断相对[3]。训练后的 πθ(y∣x)\pi_\theta(y \mid x) 就是一个推断网络:输入 xx直接输出对 π∗(⋅∣x)\pi^*(\cdot \mid x) 的近似;训练成本一次付清,单次请求只需一次采样。

Variational BoN(vBoN)是一个直接的实例:它把 BoN 诱导的分布蒸馏进权重,在近似成功的程度上把推理成本降低 NN 倍[4]。

代价是摊销间隙(amortization gap):共享参数无法对每个输入精确表示 π∗\pi^*[5]。vBoN 的效果接近但不及直接执行 BoN。

3.3 训练侧的固有限制:锐化而非扩展

由 π∗∝πref⋅er/β\pi^* \propto \pi_{\text{ref}} \cdot e^{r/\beta}

πref(y)=0  ⇒  π∗(y)=0\pi_{\text{ref}}(y) = 0 \;\Rightarrow\; \pi^*(y) = 0

目标分布不可能超出基座的支撑集。Yue 等人的实验与此一致[6]:可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)得到的模型在 kk 较小时优于基座,在 kk 较大时 pass@kk(kk 次采样中至少一次正确的概率)低于基座,其推理路径已经包含在基座的采样分布中;而蒸馏可以引入教师模型的新推理模式。

3.4 固定奖励下的迭代收敛

以上一轮结果作为下一轮的参考分布,用同一奖励重复训练:

πt+1∝πt er/β  ⇒  πT∝πref eTr/β\pi_{t+1} \propto \pi_t\, e^{r/\beta} \;\Rightarrow\; \pi_T \propto \pi_{\text{ref}}\, e^{T r/\beta}

TT 轮迭代等价于一次 β′=β/T\beta' = \beta / T 的更新。它只加大了对同一奖励信号的信任,不引入新信息,最终收敛到基座支撑集内奖励最高的输出。

3.5 训练侧在 RSI 中的定位

属性结论对 RSI 的含义
持久性改进写入权重可以传递到下一轮,作为下一轮搜索的起点
泛化权重更新跨输入生效,存在组合泛化训练侧扩展覆盖的唯一内生机制
成本一次性支付,推理几乎没有增量让推理侧在更高的起点上继续搜索
限制固定奖励下只锐化,迭代收敛需要推理侧持续提供新信号

结论:训练侧是改进的固化算子,但单独不构成递归。

耦合:RSI 的最小形式

4.1 Expert Iteration 结构

πt+1=Distill(Search(πt,Vt))\pi_{t+1} = \mathrm{Distill}\left(\mathrm{Search}(\pi_t, V_t)\right)

这一结构就是 Expert Iteration[7]:树搜索负责规划,神经网络负责泛化;网络策略反过来引导搜索,让新的规划更强。在 RSI 语境下:

RSI 的最小循环 左侧为当前模型 π_t;它和验证器 V_t 一起进入中间的推理侧搜索,产生改进;筛选后的数据与奖励进入右侧的训练侧摊销;摊销得到的 π_t+1 沿下方的回路作为下一轮的起点。 加上 V_t 数据 / 奖励 π_t+1 作为下一轮的起点 模型 π_t 当前权重 推理侧:搜索 专家,发现改进 训练侧:摊销 学徒,固化改进
图 1 RSI 的最小循环。推理侧在当前模型的能力边界附近搜索改进,训练侧把改进摊销进权重,得到的新模型作为下一轮搜索的起点。

4.2 一轮循环的状态流转

步骤 · 执行侧输入输出
1 搜索 · 推理πt\pi_t任务集、VtV_t高质量轨迹、正确解
2 验证 · 推理候选解、VtV_t筛选后的数据 / 奖励信号
3 外部沉淀 · 推理有效改动工具、skill、记忆
4 摊销 · 训练筛选后的数据 / 奖励πt+1\pi_{t+1}
5 扩展任务与验证器 · 推理(目标)πt+1\pi_{t+1}新任务集、Vt+1V_{t+1}

步骤 5 决定下一轮能否获得新信息。如果任务集与验证器固定,循环就退化为 3.4 的收敛过程。

4.3 持续增长的条件

记 Cov(π)\mathrm{Cov}(\pi) 为 π\pi 在可承受的搜索成本下能触达的解集合。递归持续增长要求:

Cov(πt+1)⊋Cov(πt)\mathrm{Cov}(\pi_{t+1}) \supsetneq \mathrm{Cov}(\pi_t)

即每一轮都必须扩展覆盖,而不只是提升集中度。

4.4 覆盖扩展的三类来源及其归属

来源机制归属
引入新信息环境交互、工具执行、检索、新数据推理侧
组合泛化权重更新改变大量未见序列的概率;A 类子技能让 B 类任务变得可达训练侧
长链拆分长度为 LL单步成功率为 qq 的任务,整体成功率为 qLq^L分步验证与回溯把指数级难度降到近似线性推理侧

两侧对覆盖扩展各有不可替代的贡献,这是两者必须耦合、而不能相互替代的根本原因。

存储层级:改进在 RSI 中的流动路径

5.1 上下文即快权重

去掉 softmax 的线性注意力,第 tt 步的输出为:

ot=∑i≤tvi (ki⊤qt)=(∑i≤tviki⊤⏟Wt) qto_t = \sum_{i \le t} v_i\,(k_i^\top q_t) = \Big(\underbrace{\sum_{i \le t} v_i k_i^\top}_{W_t}\Big)\,q_t

WtW_t 是由上下文以外积形式写入的权重矩阵,即快权重(fast weights)[8]。von Oswald 等人进一步证明,在线性回归任务上,一层线性注意力的前向计算可以精确实现一步梯度下降[9]。

把模型写成 f(x; θ, C)f(x;\,\theta,\,C)其中 CC 是上下文:

上下文是快权重,参数是慢权重。推理侧的改进是快权重上的改进,训练侧的改进是慢权重上的改进。

5.2 分层存储体系

层级时间尺度 · 载体性质
上下文 / KV cache秒到分钟 · 当次推理非参数、精确、不跨序列
外部记忆、skill、工具天到周 · Agent 的 Harness显式、可检索、跨会话
快速权重、adapter、测试时训练(test-time training)小时到周 · 局部参数梯度写入、局部泛化
基座权重月 · 预训练与后训练有损压缩、全局泛化

Agent 指能调用工具、多步执行任务的模型系统,Harness 指包在模型外面、管理工具、记忆和调度的框架。

5.3 RSI 是改进的逐层下沉

在这一体系下,RSI 可以表述为改进在层级中的持续下沉:

  1. 改进在上下文中被搜索得到。
  2. 验证有效后写入记忆或 skill。
  3. 高频复用后蒸馏进 adapter。
  4. 最终并入基座权重。

每一层下沉都是一次摊销:用写入成本换取后续复用的低成本与跨输入泛化。下沉之后,上层被释放出来,用于探索新的、更难的问题。

边界的动态:RSI 中训练与推理如何分工

6.1 静态判据

某类问题出现 nn 次,单次推理的额外成本为 cinfc_{\text{inf}}训练成本为 ctrainc_{\text{train}}当

n⋅cinf>ctrainn \cdot c_{\text{inf}} > c_{\text{train}}

时,应该把这项改进写入权重:

这一关系与编译器和解释器的分工、即时编译(Just-In-Time,JIT)同构:热路径编译,冷路径解释。

6.2 验证器位置的约束

验证器可用的时机改进的可行位置
只在训练时可用(有标准答案、有仿真,测试时拿不到)只能进入权重
只在测试时可用(当前代码库的测试、当前环境的状态)只能由推理侧使用
两者都可用由式 (13) 的摊销判据决定

6.3 动态下移

在 RSI 循环中,边界不是固定的:

因此,推理侧始终位于能力前沿,训练侧持续收拢前沿之后的区域。RSI 的推进速度取决于前沿推进速度与收拢速度中较小的一个。

“自我”的来源:推理侧接管改进循环

7.1 一轮改进循环的角色分配

环节 · 执行侧标准后训练 RL完整 RSI
选择待提升的能力 · 推理人模型
构造任务与环境 · 推理人(部分由模型合成)模型
定义奖励 / 验证器 · 推理人模型
生成候选解(rollout)· 推理模型模型
参数更新(算法、超参)· 训练人设计,优化器执行模型
评估改进是否有效 · 推理人模型
决定下一轮方向 · 推理人模型
改进“改进流程”本身 · 推理人模型

我们从表中得到两个观察:

  1. 在标准 RL 中,模型只承担 rollout 环节。一次 RL 相当于由人工闭合的一轮改进算子。
  2. 除了参数更新的执行,表中所有环节都是推理侧任务。RSI 的“自我”属性,本质上是推理侧能力对改进循环的覆盖程度。

7.2 一次 RL 何时构成 RSI 的一步

由 πt+1=Iπt(πt)\pi_{t+1} = \mathcal{I}_{\pi_t}(\pi_t)关键在于训练侧提升的能力是否被推理侧用于下一轮改进:

也就是说,训练侧决定推理侧下一轮能做什么,推理侧决定训练侧下一轮学什么。这一双向依赖闭合时,递归才发生。

7.3 参照:自博弈

AlphaZero 类的自博弈是有边界的 RSI[10]:对手与数据由模型生成,奖励由规则自动给出,更强的模型产生更强的对手与更难的数据。它能闭环的前提是验证器免费且完美,因此表中“定义奖励 / 验证器”一环不需要模型承担。开放域缺少这类验证器,这一环就成为瓶颈。

正反馈:基座能力对推理侧的非线性放大

8.1 放大机制

  1. 可搜索范围扩大:N≈−ln⁡(1−s)/pN \approx -\ln(1-s)/ppp 从 0.01 提升到 0.1,所需 NN 降低一个数量级;原本 p≈0p \approx 0 的任务进入可搜索区间。
  2. 长链任务的阈值效应:单步成功率的小幅提升,在长链上会被放大,见下表。
  3. 自我验证能力增强:判断、查错、编写测试的能力随基座提升,覆盖更多原本没有自动验证器的任务,直接缓解体系的瓶颈。
  4. 外部信息利用增强:工具调用、环境反馈、检索能力提升,也就是推理侧扩展覆盖的能力提升。
单步成功率 qqL=20L = 20 时的整体成功率 qLq^L
0.900.12
0.950.36
0.990.82

8.2 闭环

正反馈的闭环由四步组成:

  1. 训练侧:基座增强。
  2. 推理侧:ppqq 上升,验证器 VV 的覆盖扩大。
  3. 推理侧:承担更多研发环节,产出数据、代码、奖励和工具。
  4. 训练侧:把这些产出摊销为更强的基座,回到第 1 步。

N∝1/pN \propto 1/p 与 qLq^L 都是非线性关系,所以训练侧的线性提升在推理侧表现为可承担任务集合的非线性扩张。这是 RSI 可能加速的数学来源。

RSI 不依赖专门的“自我改进模块”,而是推理侧能力覆盖 AI 研发流程之后,训练与推理耦合迭代的自然结果。

加速还是收敛:约束分析

约束机制影响
验证器质量推理侧的筛选与训练侧的奖励都依赖 VVVV 有偏时,KL 越大越可能发生奖励过度优化体系的上限
固定奖励的不动点见 3.4:同一奖励的迭代等价于减小 β\beta不引入新任务与新验证器时必然收敛
摊销间隙与遗忘权重是有损压缩,下沉过程会损失部分改进降低每轮的净增益
推理侧成本偏移量增加 Δ\Delta成本乘以 eΔe^{\Delta}限制单轮前沿推进的深度
可验证领域的偏置代码、数学、有仿真的任务进展快;标准模糊的环节难以闭环改进集中在可验证的子空间
改进流程本身自主提出并验证新的训练方法与奖励设计,仍主要依赖人工决定循环是否突破 L5

结论

  1. RSI 的每一轮改进由两个算子构成:推理侧发现改进,训练侧固化改进。两者优化同构的目标分布 π∗∝πref er/β\pi^* \propto \pi_{\text{ref}}\,e^{r/\beta}前者在线逐样本近似,后者离线摊销进权重。
  2. 两个算子单独都不构成递归:推理侧不持久,成本随偏移量指数增长;训练侧在固定奖励下只锐化并收敛。
  3. RSI 的最小形式是 Expert Iteration 结构的耦合迭代,持续增长的条件是每轮扩展覆盖。覆盖扩展的来源分属两侧:新信息与长链拆分归推理侧,组合泛化归训练侧。
  4. 上下文是快权重,参数是慢权重;RSI 表现为改进在存储层级中的逐层下沉,训练与推理的边界随之持续向更难的问题移动。
  5. RSI 的“自我”属性来自推理侧对改进循环各环节的接管;训练侧决定推理侧下一轮能做什么,推理侧决定训练侧下一轮学什么。
  6. 基座能力的提升经 N∝1/pN \propto 1/p 与 qLq^L 的非线性关系,放大为推理侧能力的扩张,构成正反馈;验证器质量、奖励与任务的自主扩展、改进流程本身的改进,决定这一反馈是持续加速还是收敛。

参考文献

  1. A. Beirami et al., “Theoretical guarantees on the best-of-n alignment policy,” 2024, arXiv: 2401.01879.
  2. J. Q. Yang, S. Salamatian, Z. Sun, A. T. Suresh, and A. Beirami, “Asymptotics of language model alignment,” 2024, arXiv: 2404.01730.
  3. S. J. Gershman and N. D. Goodman, “Amortized inference in probabilistic reasoning,” in Proc. CogSci, 2014. [Online]. Available: escholarship.org
  4. A. Amini, T. Vieira, E. Ash, and R. Cotterell, “Variational best-of-N alignment,” in Proc. ICLR, 2025, arXiv: 2407.06057.
  5. C. C. Margossian and D. M. Blei, “Amortized variational inference: When and why?,” 2023, arXiv: 2307.11018.
  6. Y. Yue et al., “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” in Proc. NeurIPS, 2025, arXiv: 2504.13837.
  7. T. Anthony, Z. Tian, and D. Barber, “Thinking fast and slow with deep learning and tree search,” in Proc. NIPS, 2017, arXiv: 1705.08439.
  8. I. Schlag, K. Irie, and J. Schmidhuber, “Linear transformers are secretly fast weight programmers,” in Proc. ICML, 2021, arXiv: 2102.11174.
  9. J. von Oswald et al., “Transformers learn in-context by gradient descent,” in Proc. ICML, 2023, arXiv: 2212.07677.
  10. D. Silver et al., “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play,” Science, vol. 362, no. 6419, pp. 1140–1144, 2018, doi: 10.1126/science.aar6404.