KL 正则 RL 的贝叶斯后验视角

2026-10-31笔记强化学习大模型后训练贝叶斯推断

强化学习(Reinforcement Learning,RL)在大模型后训练中通常带一个 KL 散度(Kullback–Leibler divergence)正则项。设基座模型为 πref\pi_{\text{ref}}奖励为 r(y)r(y)KL 系数为 β>0\beta>0KL 正则 RL 的目标是:

max⁡π  Ey∼π[r(y)]−β KL(π ∥ πref)\max_\pi \; \mathbb{E}_{y\sim\pi}[r(y)] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}})

它的最优解记为 π∗\pi^*我们的核心结论是:π∗\pi^* 是一个贝叶斯后验,先验为基座模型 πref\pi_{\text{ref}}似然为 er/βe^{r/\beta}优化式 (1) 就是用 π\pi 去逼近这个后验。

KL 正则 RL 的贝叶斯视角 左侧为先验,即基座模型 π_ref;乘以似然 exp(r/β) 得到中间的后验 π*,即目标分布;右侧为实际训练的策略 π_θ,RL 通过最小化反向 KL(π_θ‖π*) 让它逼近后验。 贝叶斯更新 × exp(r/β) 最小化 KL(π_θ‖π*) 先验 π_ref 基座模型 后验 π* 目标分布 策略 π_θ 实际训练结果
图 1 KL 正则 RL 的贝叶斯视角。先验乘以似然得到后验,即优化目标;RL 让策略通过反向 KL 逼近后验。

从贝叶斯法则推出目标分布

贝叶斯法则写成:

p(y∣evidence)∝p(y)⋅p(evidence∣y)p(y \mid \text{evidence}) \propto p(y) \cdot p(\text{evidence} \mid y)

我们引入一个二值事件 OO表示“该输出是好的”,并规定它的似然为:

p(O=1∣y)∝er(y)/βp(O=1 \mid y) \propto e^{r(y)/\beta}

把先验 πref\pi_{\text{ref}} 和这一似然代入贝叶斯法则,得到:

p(y∣O=1)=πref(y) er(y)/βZ,Z=Eπref[er/β]p(y \mid O=1) = \frac{\pi_{\text{ref}}(y)\, e^{r(y)/\beta}}{Z}, \qquad Z = \mathbb{E}_{\pi_{\text{ref}}}\left[e^{r/\beta}\right]

这个分布就是 π∗\pi^*归一化常数 ZZ 对应贝叶斯推断中的证据 p(O=1)p(O=1)这种把“输出是好的”当作观测事件、把求最优策略改写成求后验的构造,在强化学习中称为 control as inference[1]。

符号贝叶斯角色含义
πref\pi_{\text{ref}}先验预训练学到的“什么样的输出是合理的”
exp⁡(r/β)\exp(r/\beta)似然奖励提供的“什么样的输出是好的”
β\beta似然强度的倒数对奖励证据的信任程度

RL 目标等价于变分推断

结论:最大化 KL 正则 RL 目标,等价于最小化 π\pi 到 π∗\pi^* 的反向 KL;RL 目标等于证据下界(Evidence Lower Bound,ELBO)的 β\beta 倍。

展开反向 KL:

KL(π ∥ π∗)=Eπ[log⁡π(y)πref(y) er(y)/β/Z]=KL(π ∥ πref)−1βEπ[r]+log⁡Z\begin{aligned} \mathrm{KL}(\pi \,\Vert\, \pi^*) &= \mathbb{E}_\pi\left[\log\frac{\pi(y)}{\pi_{\text{ref}}(y)\, e^{r(y)/\beta}/Z}\right] \\ &= \mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) - \frac{1}{\beta}\mathbb{E}_\pi[r] + \log Z \end{aligned}

两边乘以 −β-\beta 并移项,得到:

Eπ[r]−β KL(π ∥ πref)=βlog⁡Z−β KL(π ∥ π∗)\mathbb{E}_\pi[r] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) = \beta\log Z - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi^*)

log⁡Z\log Z 与 π\pi 无关,因此:

max⁡π  Eπ[r]−β KL(π ∥ πref)  ⟺  min⁡π  KL(π ∥ π∗)\max_\pi \; \mathbb{E}_\pi[r] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) \;\Longleftrightarrow\; \min_\pi \; \mathrm{KL}(\pi \,\Vert\, \pi^*)

KL 非负,所以式 (6) 的左侧始终不超过 βlog⁡Z\beta\log Z即 RL 目标是对数证据 log⁡Z\log Z 的下界(ELBO)的 β\beta 倍。Korbak、Perez 和 Buckley 据此指出:RL 规定“如何优化”,贝叶斯后验规定“优化目标”;目标在优化开始前就已由 πref\pi_{\text{ref}}rrβ\beta 唯一确定[2]。

五个推论

分布坍缩、多样性下降、无法超出基座、重复 RL 的效果,都可以由这一框架直接推出。

推论框架中的根源结论
分布坍缩β→0\beta\to0 时后验退化坍缩由目标设定决定,不是优化缺陷
RLVR 的目标二值奖励下的后验目标是以正确为条件的基座分布
多样性下降反向 KL 的寻模性实际训练集中到 π∗\pi^* 的少数峰
无法超出基座Cromwell 法则后验的支撑集不超出先验
重复 RL贝叶斯更新可以合并TT 轮等价于一次 β/T\beta/T 的更新

3.1 KL 系数决定后验形态,并解释分布坍缩

不加 KL 的纯 RL 对应 β=0\beta = 0目标本身就是退化分布。因此分布坍缩由目标设定决定,而不是优化缺陷;KL 正则让目标保持为非退化的后验。

3.2 RLVR 的目标是以正确为条件的基座分布

可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)使用二值奖励:正确为 1,错误为 0。记正确输出的集合为 C\mathcal{C}β\beta 较小时,错误输出的相对权重 e−1/βe^{-1/\beta} 趋于 0,后验变为:

π∗(y)=πref(y∣y∈C)\pi^*(y) = \pi_{\text{ref}}\left(y \mid y \in \mathcal{C}\right)

这就是“偶尔能做对”变成“稳定做对”的精确数学定义。

3.3 反向 KL 的寻模性解释多样性下降

实际训练最小化的是反向 KL KL(πθ∥π∗)\mathrm{KL}(\pi_\theta \Vert \pi^*)它的性质是寻模(mode-seeking):表达能力或优化不足时,πθ\pi_\theta 集中到 π∗\pi^* 的少数峰上。

3.4 后验无法超出先验:Cromwell 法则

Cromwell 法则是说:先验赋予零概率的假设,无论观测到多少证据,后验概率仍然是零。

πref(y)=0  ⇒  π∗(y)=0\pi_{\text{ref}}(y) = 0 \;\Rightarrow\; \pi^*(y) = 0

这是“RL 只能锐化、不能扩展”的严格表述:贝叶斯推断只在先验覆盖的假设之间重新分配信念。

3.5 重复 RL 等价于一次更强的更新

以上一轮的后验作为下一轮的先验,并使用同一个奖励:

πt+1∝πt er/β  ⇒  πT∝πref eTr/β\pi_{t+1} \propto \pi_t\, e^{r/\beta} \;\Rightarrow\; \pi_T \propto \pi_{\text{ref}}\, e^{T r/\beta}

TT 轮迭代等价于一次 β′=β/T\beta' = \beta/T 的更新。它只加大了对同一份证据的信任,不引入新信息,最终收敛到基座支撑集内奖励最高的输出。对递归自我改进(Recursive Self-Improvement,RSI)而言,持续改进要求每轮引入新证据:新奖励、新数据、新环境,或者通过蒸馏更换先验。

奖励过度优化即似然设定错误

奖励过度优化(reward hacking)在贝叶斯框架下对应似然函数设定错误。奖励模型与真实意图之间的偏差,相当于一个错误的似然;β\beta 越小,对这个似然的信任越强,后验就越自信地偏向错误方向。KL 正则的保护作用,就在于控制对可能有误的证据的信任程度。

框架局限

这一框架刻画的是理想目标,而不是实际训练结果。

  1. 实际优化达不到 π∗\pi^*网络表达能力、优化过程和探索策略都会造成偏离。摊销间隙(amortization gap)属于此类,它指一个网络为所有输入共用参数,与对每个输入单独求最优之间的差距。
  2. 许多 RLVR 实践去掉了 KL 项:理论目标随之退化,实际行为主要由初始化、学习率、训练步数等隐式正则决定。
  3. 泛化不在框架之内:贝叶斯视角描述的是单个输入上的目标分布,不刻画权重更新带来的跨输入泛化。RL 偶尔超出基座的 pass@kk可能源于这部分效应。

要点

  1. 把奖励视为似然、基座视为先验,KL 正则 RL 的目标 π∗\pi^* 就是贝叶斯后验,RL 目标是它的 ELBO。
  2. RLVR 的理想目标是以正确为条件的基座分布,这是“稳定做对”的精确定义。
  3. 分布坍缩、多样性下降、无法超出基座、重复 RL 收敛,分别归结为 β→0\beta\to0反向 KL 的寻模性、Cromwell 法则和贝叶斯更新的可合并性。
  4. 扩展能力必须改变先验或引入新证据;在同一份证据上反复优化不产生新能力。

参考文献

  1. S. Levine, “Reinforcement learning and control as probabilistic inference: Tutorial and review,” 2018, arXiv: 1805.00909.
  2. T. Korbak, E. Perez, and C. L. Buckley, “RL with KL penalties is better viewed as Bayesian inference,” in Findings of EMNLP, 2022, arXiv: 2205.11275.
  3. Y. Yue et al., “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” in Proc. NeurIPS, 2025, arXiv: 2504.13837v4.