KL 正则 RL 的贝叶斯后验视角 2026-10-31笔记 强化学习 大模型后训练 贝叶斯推断
强化学习(Reinforcement Learning,RL)在大模型后训练中通常带一个 KL 散度(Kullback–Leibler divergence)正则项。设基座模型为 π ref \pi_{\text{ref}} π ref , 奖励为 r ( y ) r(y) r ( y ) , KL 系数为 β > 0 \beta>0 β > 0 , KL 正则 RL 的目标是:
max π E y ∼ π [ r ( y ) ] − β K L ( π ∥ π ref ) \max_\pi \; \mathbb{E}_{y\sim\pi}[r(y)] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) π max E y ∼ π [ r ( y )] − β KL ( π ∥ π ref )
它的最优解记为 π ∗ \pi^* π ∗ 。 我们的核心结论是:π ∗ \pi^* π ∗ 是一个贝叶斯后验,先验为基座模型 π ref \pi_{\text{ref}} π ref , 似然为 e r / β e^{r/\beta} e r / β ; 优化式 (1) 就是用 π \pi π 去逼近这个后验。
KL 正则 RL 的贝叶斯视角
左侧为先验,即基座模型 π_ref;乘以似然 exp(r/β) 得到中间的后验 π*,即目标分布;右侧为实际训练的策略 π_θ,RL 通过最小化反向 KL(π_θ‖π*) 让它逼近后验。
贝叶斯更新
× exp(r/β)
最小化
KL(π_θ‖π*)
先验 π_ref
基座模型
后验 π*
目标分布
策略 π_θ
实际训练结果
图 1 KL 正则 RL 的贝叶斯视角。先验 乘以似然得到后验 ,即优化目标;RL 让策略 通过反向 KL 逼近后验。
从贝叶斯法则推出目标分布
贝叶斯法则写成:
p ( y ∣ evidence ) ∝ p ( y ) ⋅ p ( evidence ∣ y ) p(y \mid \text{evidence}) \propto p(y) \cdot p(\text{evidence} \mid y) p ( y ∣ evidence ) ∝ p ( y ) ⋅ p ( evidence ∣ y )
我们引入一个二值事件 O O O , 表示“该输出是好的”,并规定它的似然为:
p ( O = 1 ∣ y ) ∝ e r ( y ) / β p(O=1 \mid y) \propto e^{r(y)/\beta} p ( O = 1 ∣ y ) ∝ e r ( y ) / β
把先验 π ref \pi_{\text{ref}} π ref 和这一似然代入贝叶斯法则,得到:
p ( y ∣ O = 1 ) = π ref ( y ) e r ( y ) / β Z , Z = E π ref [ e r / β ] p(y \mid O=1) = \frac{\pi_{\text{ref}}(y)\, e^{r(y)/\beta}}{Z}, \qquad Z = \mathbb{E}_{\pi_{\text{ref}}}\left[e^{r/\beta}\right] p ( y ∣ O = 1 ) = Z π ref ( y ) e r ( y ) / β , Z = E π ref [ e r / β ]
这个分布就是 π ∗ \pi^* π ∗ 。 归一化常数 Z Z Z 对应贝叶斯推断中的证据 p ( O = 1 ) p(O=1) p ( O = 1 ) 。 这种把“输出是好的”当作观测事件、把求最优策略改写成求后验的构造,在强化学习中称为 control as inference[1] 。
建议:β 一行的“含义”写的是“对奖励证据的信任程度”,但 β 越大越不信任奖励(见 3.1),真正度量信任程度的是 1/β。可改为“β 越小,越信任奖励证据”。
符号 贝叶斯角色 含义 π ref \pi_{\text{ref}} π ref 先验 预训练学到的“什么样的输出是合理的” exp ( r / β ) \exp(r/\beta) exp ( r / β ) 似然 奖励提供的“什么样的输出是好的” β \beta β 似然强度的倒数 对奖励证据的信任程度
RL 目标等价于变分推断
结论:最大化 KL 正则 RL 目标,等价于最小化 π \pi π 到 π ∗ \pi^* π ∗ 的反向 KL;RL 目标等于证据下界(Evidence Lower Bound,ELBO)的 β \beta β 倍。
展开反向 KL:
K L ( π ∥ π ∗ ) = E π [ log π ( y ) π ref ( y ) e r ( y ) / β / Z ] = K L ( π ∥ π ref ) − 1 β E π [ r ] + log Z \begin{aligned}
\mathrm{KL}(\pi \,\Vert\, \pi^*) &= \mathbb{E}_\pi\left[\log\frac{\pi(y)}{\pi_{\text{ref}}(y)\, e^{r(y)/\beta}/Z}\right] \\
&= \mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) - \frac{1}{\beta}\mathbb{E}_\pi[r] + \log Z
\end{aligned} KL ( π ∥ π ∗ ) = E π [ log π ref ( y ) e r ( y ) / β / Z π ( y ) ] = KL ( π ∥ π ref ) − β 1 E π [ r ] + log Z
两边乘以 − β -\beta − β 并移项,得到:
E π [ r ] − β K L ( π ∥ π ref ) = β log Z − β K L ( π ∥ π ∗ ) \mathbb{E}_\pi[r] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) = \beta\log Z - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi^*) E π [ r ] − β KL ( π ∥ π ref ) = β log Z − β KL ( π ∥ π ∗ )
log Z \log Z log Z 与 π \pi π 无关,因此:
max π E π [ r ] − β K L ( π ∥ π ref ) ⟺ min π K L ( π ∥ π ∗ ) \max_\pi \; \mathbb{E}_\pi[r] - \beta\,\mathrm{KL}(\pi \,\Vert\, \pi_{\text{ref}}) \;\Longleftrightarrow\; \min_\pi \; \mathrm{KL}(\pi \,\Vert\, \pi^*) π max E π [ r ] − β KL ( π ∥ π ref ) ⟺ π min KL ( π ∥ π ∗ )
KL 非负,所以式 (6) 的左侧始终不超过 β log Z \beta\log Z β log Z , 即 RL 目标是对数证据 log Z \log Z log Z 的下界(ELBO)的 β \beta β 倍。Korbak、Perez 和 Buckley 据此指出:RL 规定“如何优化”,贝叶斯后验规定“优化目标”;目标在优化开始前就已由 π ref \pi_{\text{ref}} π ref 、 r r r 、 β \beta β 唯一确定[2] 。
五个推论
分布坍缩、多样性下降、无法超出基座、重复 RL 的效果,都可以由这一框架直接推出。
推论 框架中的根源 结论 分布坍缩 β → 0 \beta\to0 β → 0 时后验退化坍缩由目标设定决定,不是优化缺陷 RLVR 的目标 二值奖励下的后验 目标是以正确为条件的基座分布 多样性下降 反向 KL 的寻模性 实际训练集中到 π ∗ \pi^* π ∗ 的少数峰 无法超出基座 Cromwell 法则 后验的支撑集不超出先验 重复 RL 贝叶斯更新可以合并 T T T 轮等价于一次 β / T \beta/T β / T 的更新
3.1 KL 系数决定后验形态,并解释分布坍缩
β → ∞ \beta\to\infty β → ∞ : 不信任奖励,后验等于先验,π ∗ = π ref \pi^* = \pi_{\text{ref}} π ∗ = π ref 。
β → 0 \beta\to0 β → 0 : 完全信任奖励,后验坍缩到奖励最高的输出。
不加 KL 的纯 RL 对应 β = 0 \beta = 0 β = 0 , 目标本身就是退化分布。因此分布坍缩由目标设定决定,而不是优化缺陷;KL 正则让目标保持为非退化的后验。
3.2 RLVR 的目标是以正确为条件的基座分布
可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards,RLVR)使用二值奖励:正确为 1,错误为 0。记正确输出的集合为 C \mathcal{C} C 。 β \beta β 较小时,错误输出的相对权重 e − 1 / β e^{-1/\beta} e − 1/ β 趋于 0,后验变为:
建议:式 (8) 和下面“pass@1 即为 1”严格成立的是 β → 0 的极限;β 有限时 pass@1 = p·e^{1/β} / (p·e^{1/β} + 1 − p),小于 1。可在正文写明“β → 0 时”。
π ∗ ( y ) = π ref ( y ∣ y ∈ C ) \pi^*(y) = \pi_{\text{ref}}\left(y \mid y \in \mathcal{C}\right) π ∗ ( y ) = π ref ( y ∣ y ∈ C )
只要基座给出正确解的概率 p > 0 p > 0 p > 0 , π ∗ \pi^* π ∗ 的 pass@1(单次采样正确的概率)就为 1。
正确解之间的相对比例与基座一致,所以理想的 RLVR 保留基座在正确解之间的多样性。
这就是“偶尔能做对”变成“稳定做对”的精确数学定义。
3.3 反向 KL 的寻模性解释多样性下降
实际训练最小化的是反向 KL K L ( π θ ∥ π ∗ ) \mathrm{KL}(\pi_\theta \Vert \pi^*) KL ( π θ ∥ π ∗ ) , 它的性质是寻模(mode-seeking):表达能力或优化不足时,π θ \pi_\theta π θ 集中到 π ∗ \pi^* π ∗ 的少数峰上。
这与 Yue 等人的观测一致:RL 之后 pass@1 上升,而 k k k 较大时 pass@k k k (k k k 次采样中至少一次正确的概率)下降[3] 。
用 π ∗ \pi^* π ∗ 的样本做监督学习(如拒绝采样微调)优化的是正向 KL,属于覆盖型(mass-covering),更倾向于保留多样性。
3.4 后验无法超出先验:Cromwell 法则
Cromwell 法则是说:先验赋予零概率的假设,无论观测到多少证据,后验概率仍然是零。
π ref ( y ) = 0 ⇒ π ∗ ( y ) = 0 \pi_{\text{ref}}(y) = 0 \;\Rightarrow\; \pi^*(y) = 0 π ref ( y ) = 0 ⇒ π ∗ ( y ) = 0
这是“RL 只能锐化、不能扩展”的严格表述:贝叶斯推断只在先验覆盖的假设之间重新分配信念。
3.5 重复 RL 等价于一次更强的更新
以上一轮的后验作为下一轮的先验,并使用同一个奖励:
π t + 1 ∝ π t e r / β ⇒ π T ∝ π ref e T r / β \pi_{t+1} \propto \pi_t\, e^{r/\beta} \;\Rightarrow\; \pi_T \propto \pi_{\text{ref}}\, e^{T r/\beta} π t + 1 ∝ π t e r / β ⇒ π T ∝ π ref e T r / β
T T T 轮迭代等价于一次 β ′ = β / T \beta' = \beta/T β ′ = β / T 的更新。它只加大了对同一份证据的信任,不引入新信息,最终收敛到基座支撑集内奖励最高的输出。对递归自我改进(Recursive Self-Improvement,RSI)而言,持续改进要求每轮引入新证据:新奖励、新数据、新环境,或者通过蒸馏更换先验。
奖励过度优化即似然设定错误
建议:标题和正文写“奖励过度优化(reward hacking)”,中英文对应的不是同一个词:reward hacking 本站另一篇译作“奖励作弊”,“奖励过度优化”通常对应 reward overoptimization(如 Gao 等 2210.10760 )。建议统一术语,并考虑补这篇出处。
奖励过度优化(reward hacking)在贝叶斯框架下对应似然函数设定错误。奖励模型与真实意图之间的偏差,相当于一个错误的似然;β \beta β 越小,对这个似然的信任越强,后验就越自信地偏向错误方向。KL 正则的保护作用,就在于控制对可能有误的证据的信任程度。
框架局限
这一框架刻画的是理想目标,而不是实际训练结果。
建议:第 2 条“许多 RLVR 实践去掉了 KL 项”没有出处,可补一个例子,如 DAPO 2503.14476 去掉了 KL 惩罚。
待核实:第 3 条“RL 偶尔超出基座 pass@k”没有出处。可参考 ProRL 2505.24864 ,它报告长时间 RL 训练后部分任务的 pass@k 超过基座。
实际优化达不到 π ∗ \pi^* π ∗ : 网络表达能力、优化过程和探索策略都会造成偏离。摊销间隙(amortization gap)属于此类,它指一个网络为所有输入共用参数,与对每个输入单独求最优之间的差距。
许多 RLVR 实践去掉了 KL 项:理论目标随之退化,实际行为主要由初始化、学习率、训练步数等隐式正则决定。
泛化不在框架之内:贝叶斯视角描述的是单个输入上的目标分布,不刻画权重更新带来的跨输入泛化。RL 偶尔超出基座的 pass@k k k , 可能源于这部分效应。
要点
把奖励视为似然、基座视为先验,KL 正则 RL 的目标 π ∗ \pi^* π ∗ 就是贝叶斯后验,RL 目标是它的 ELBO。
RLVR 的理想目标是以正确为条件的基座分布,这是“稳定做对”的精确定义。
分布坍缩、多样性下降、无法超出基座、重复 RL 收敛,分别归结为 β → 0 \beta\to0 β → 0 、 反向 KL 的寻模性、Cromwell 法则和贝叶斯更新的可合并性。
扩展能力必须改变先验或引入新证据;在同一份证据上反复优化不产生新能力。
参考文献
S. Levine, “Reinforcement learning and control as probabilistic inference: Tutorial and review,” 2018, arXiv: 1805.00909 .
T. Korbak, E. Perez, and C. L. Buckley, “RL with KL penalties is better viewed as Bayesian inference,” in Findings of EMNLP , 2022, arXiv: 2205.11275 .
Y. Yue et al. , “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” in Proc. NeurIPS , 2025, arXiv: 2504.13837v4 .