前向 KL 与反向 KL:从拟合行为到 SFT、RL 与梯度估计 2026-10-25笔记 强化学习 生成模型 损失函数 大模型后训练
符号约定
符号 含义 p p p 目标分布(真实分布) q θ q_\theta q θ 待训练的模型分布 p data p_{\text{data}} p data 训练数据分布 π θ \pi_\theta π θ 策略(RL 中的模型分布) π ref \pi_{\text{ref}} π ref 参考策略(通常是 SFT 模型) π ∗ \pi^* π ∗ KL 正则 RL 的最优策略(目标分布) r ( y ) r(y) r ( y ) 奖励 β \beta β KL 惩罚系数(温度) f ( x ) f(x) f ( x ) 一般的待优化函数(奖励、目标) s ( θ ; x ) s(\theta; x) s ( θ ; x ) 得分函数 ∇ θ log p θ ( x ) \nabla_\theta \log p_\theta(x) ∇ θ log p θ ( x )
定义与拟合行为
1.1 定义
前向 KL:
D K L ( p ∥ q ) = E x ∼ p [ log p ( x ) q ( x ) ] D_{KL}(p\,\|\,q)=\mathbb{E}_{x\sim p}\left[\log\frac{p(x)}{q(x)}\right] D K L ( p ∥ q ) = E x ∼ p [ log q ( x ) p ( x ) ]
反向 KL:
D K L ( q ∥ p ) = E x ∼ q [ log q ( x ) p ( x ) ] D_{KL}(q\,\|\,p)=\mathbb{E}_{x\sim q}\left[\log\frac{q(x)}{p(x)}\right] D K L ( q ∥ p ) = E x ∼ q [ log p ( x ) q ( x ) ]
KL 不对称。两者的根本区别在于期望所依据的采样分布。
1.2 拟合行为
设 p p p 是双峰分布,q q q 只能是单峰高斯。
前向 KL:q q q 变宽,同时覆盖两个峰,两峰之间的低谷也被分配概率。这种行为称为 mode-covering(覆盖所有峰)。
反向 KL:q q q 变窄,只拟合其中一个峰。这种行为称为 mode-seeking(聚焦单个峰)。
1.3 原因
关键在于对数比值在何处发散。
前向 KL 按 p p p 取样。若某处 p > 0 p > 0 p > 0 而 q ≈ 0 q \approx 0 q ≈ 0 , 则 log ( p / q ) → ∞ \log(p/q) \to \infty log ( p / q ) → ∞ 。 因此 q q q 不能遗漏 p p p 的任何区域。这一性质称为零避免(zero-avoiding)。
反向 KL 按 q q q 取样。若某处 q > 0 q > 0 q > 0 而 p ≈ 0 p \approx 0 p ≈ 0 , 则惩罚极大。因此 p p p 没有质量的区域,q q q 也不会分配概率。q q q 遗漏一个峰不受惩罚,因为 q q q 不在该区域取样。这一性质称为零强制(zero-forcing)。
前向 KL ( p ∥ q ) (p\Vert q) ( p ∥ q ) 反向 KL ( q ∥ p ) (q\Vert p) ( q ∥ p ) 取样分布 p p p q q q 拟合行为 覆盖全部,偏平均 聚焦单个峰,偏尖锐 风险 生成两峰之间的模糊样本 丢失多样性(模式坍缩) 需要的信息 p p p 的样本q q q 的样本 + p p p 的密度(可差一个常数)
两者可概括为:前向 KL 宁可多覆盖,不可遗漏;反向 KL 宁可遗漏,不可错放。
1.4 与召回 / 精确率的类比
将 p p p 视为真实存在的对象,q q q 视为模型认为存在的对象。
前向 KL 惩罚“p p p 有而 q q q 没有”的情形,即漏检(假阴性),偏向召回。
反向 KL 惩罚“q q q 有而 p p p 没有”的情形,即误检(假阳性),偏向精确率。
生成模型评估中的“分布的 precision / recall”(Sajjadi 等,2018)[1] 采用同一思路:precision 对应样本质量,recall 对应样本多样性。
该类比有三个限定条件:
权衡只在模型容量不足时出现。若 q q q 能表示 p p p , 两种 KL 的最优解都是 q = p q = p q = p 。
KL 是软惩罚,按对数比值加权,而不是计数,因此只是倾向于召回或精确率。
前向 KL 对误检有间接惩罚:q q q 是归一化的,分配到低谷的概率会从峰上扣除。反向 KL 对漏检几乎没有惩罚,所以模式坍缩更明显。
模型容量与多峰
2.1 容量足够时没有权衡
吉布斯不等式:
D K L ( p ∥ q ) ≥ 0 , 当且仅当 q = p 时等于 0 D_{KL}(p\,\|\,q)\ge 0,\quad \text{当且仅当 } q=p \text{ 时等于 } 0 D K L ( p ∥ q ) ≥ 0 , 当且仅当 q = p 时等于 0
反向 KL 同理。若模型族中存在 q = p q = p q = p , 两种 KL 的最小值都是 0,最优解相同。1.2 中的权衡来自约束:单峰的 q q q 无法表示双峰的 p p p 。 将 q q q 换成两个高斯的混合,两种 KL 给出同一个解。
2.2 容量指分布形式,不是参数量
若网络输出一个高斯分布的均值和方差,无论参数量多大,对每个输入仍只能给出单峰分布。
能表示多峰的输出形式:
混合分布(混合高斯;多个锚点 / 候选 + 分类打分)
离散分布(语言模型的 softmax 词表)
自回归分解(逐步条件分布,整体多峰)
扩散 / 流匹配(每步是简单变换,多步组合可表示任意多峰分布)
2.3 实例:轨迹预测的模式平均
在路口处,真实数据中一半样本左转、一半样本右转,p p p 为双峰分布。用 MSE 回归单条轨迹,相当于令 q q q 为固定方差的单峰高斯并做最大似然(前向 KL)。q q q 覆盖两峰,均值落在两峰之间,即预测直行。解决方法是提高输出分布的表达能力:使用多模态输出头,或使用扩散 / 流匹配规划器。
2.4 容量足够时,反向 KL 仍可能丢峰
这是优化问题,而不是容量问题。反向 KL 按 q q q 取样。若 q q q 初始只位于左峰附近,则几乎无法采到右峰的样本,右峰不产生梯度,q q q 停留在局部最优。前向 KL 按 p p p 取样,所有峰的数据都会出现;q q q 在这些区域概率过低会受到重罚,梯度会推动 q q q 向这些区域移动。
监督训练与 RL 的统一
结论:两者都在将模型分布推向一个目标分布。若拥有目标的样本,使用前向 KL(监督训练);若只有打分器,使用反向 KL(RL)。
3.1 监督训练 = 前向 KL
L S F T = − E y ∼ p d a t a [ log π θ ( y ) ] = D K L ( p d a t a ∥ π θ ) + H ( p d a t a ) \mathcal{L}_{SFT}=-\mathbb{E}_{y\sim p_{data}}[\log\pi_\theta(y)]=D_{KL}(p_{data}\,\|\,\pi_\theta)+H(p_{data}) L S F T = − E y ∼ p d a t a [ log π θ ( y )] = D K L ( p d a t a ∥ π θ ) + H ( p d a t a )
H ( p data ) H(p_{\text{data}}) H ( p data ) 是常数。由于只有样本而没有 p data p_{\text{data}} p data 的密度,只能使用前向 KL。
3.2 两者的梯度形式相同
∇ L S F T = − E y ∼ p d a t a [ 1 ⋅ ∇ θ log π θ ( y ) ] \nabla\mathcal{L}_{SFT}=-\mathbb{E}_{y\sim p_{data}}[\,1\cdot\nabla_\theta\log\pi_\theta(y)\,] ∇ L S F T = − E y ∼ p d a t a [ 1 ⋅ ∇ θ log π θ ( y ) ]
∇ θ J = E y ∼ π θ [ r ( y ) ⋅ ∇ θ log π θ ( y ) ] \nabla_\theta J=\mathbb{E}_{y\sim\pi_\theta}[\,r(y)\cdot\nabla_\theta\log\pi_\theta(y)\,] ∇ θ J = E y ∼ π θ [ r ( y ) ⋅ ∇ θ log π θ ( y ) ]
样本来源 每个样本的权重 SFT 数据 1 RL 模型自身生成 r ( y ) r(y) r ( y ) 拒绝采样微调 模型自身生成 0 或 1
SFT 可视为奖励恒为 1、样本来自数据的 RL;RL 可视为在模型自身样本上按奖励加权的 SFT。
3.3 KL 正则 RL = 反向 KL
RLHF / PPO[2] / GRPO[3] 的目标:
max π θ E y ∼ π θ [ r ( y ) ] − β D K L ( π θ ∥ π r e f ) \max_{\pi_\theta}\ \mathbb{E}_{y\sim\pi_\theta}[r(y)]-\beta\,D_{KL}(\pi_\theta\,\|\,\pi_{ref}) π θ max E y ∼ π θ [ r ( y )] − β D K L ( π θ ∥ π r e f )
最优解:
π ∗ ( y ) = 1 Z π r e f ( y ) exp ( r ( y ) β ) , Z = ∑ y π r e f ( y ) e r ( y ) / β \pi^*(y)=\frac{1}{Z}\,\pi_{ref}(y)\,\exp\!\left(\frac{r(y)}{\beta}\right),\qquad Z=\sum_y\pi_{ref}(y)\,e^{r(y)/\beta} π ∗ ( y ) = Z 1 π r e f ( y ) exp ( β r ( y ) ) , Z = y ∑ π r e f ( y ) e r ( y ) / β
目标可改写为:
E π θ [ r ] − β D K L ( π θ ∥ π r e f ) = − β D K L ( π θ ∥ π ∗ ) + β log Z \mathbb{E}_{\pi_\theta}[r]-\beta D_{KL}(\pi_\theta\|\pi_{ref})=-\beta\,D_{KL}(\pi_\theta\,\|\,\pi^*)+\beta\log Z E π θ [ r ] − β D K L ( π θ ∥ π r e f ) = − β D K L ( π θ ∥ π ∗ ) + β log Z
所以最大化 RL 目标等价于最小化反向 KL ( π θ ∥ π ∗ ) (\pi_\theta\Vert\pi^*) ( π θ ∥ π ∗ ) 。 反解得:
r ( y ) = β log π ∗ ( y ) π r e f ( y ) + β log Z r(y)=\beta\log\frac{\pi^*(y)}{\pi_{ref}(y)}+\beta\log Z r ( y ) = β log π r e f ( y ) π ∗ ( y ) + β log Z
奖励定义了一个目标分布,它是目标分布的相对对数密度。
3.4 第一性原理:信息形式决定 KL 方向
可用信息 原则 KL 方向 目标的样本,没有密度 最大似然 前向 KL(按目标取样) 目标的未归一化密度(如奖励),没有样本 变分推断 反向 KL(按模型取样)
RL 场景中没有“最优回答”的样本,只有能为任意回答打分的奖励函数,所以只能使用反向 KL。这由信息形式决定,而不是设计选择。
3.5 行为差异
SFT 偏向召回:覆盖数据中的所有行为,包括质量平庸和错误的行为。
RL 偏向精确率:概率集中到高奖励模式。pass@1 提升,多样性下降,k k k 较大时 pass@k k k 可能不如基座模型[4] 。
暴露偏差:SFT 在数据的状态上训练,推理时却在模型自身生成的状态上运行。RL 在模型自身的样本上训练(on-policy),从而修正这一偏差。
3.6 先 SFT 再 RL 的原因
π ∗ ∝ π ref ⋅ exp ( r / β ) \pi^* \propto \pi_{\text{ref}}\cdot\exp(r/\beta) π ∗ ∝ π ref ⋅ exp ( r / β ) 。 π ref \pi_{\text{ref}} π ref 为 0 的地方,π ∗ \pi^* π ∗ 也为 0。RL 只能在参考模型的支撑集内重新分配概率,不能创造新模式;而且反向 KL 采不到的峰没有梯度。
预训练 + SFT(前向 KL):覆盖可能的好行为(召回)。
RL(反向 KL):在覆盖范围内筛选出高奖励部分(精确率)。
β \beta β 控制筛选的强度:
β → ∞ \beta \to \infty β → ∞ : π ∗ = π ref \pi^* = \pi_{\text{ref}} π ∗ = π ref , 策略不变。
β → 0 \beta \to 0 β → 0 : π ∗ \pi^* π ∗ 塌缩到奖励最高的单点,容易出现奖励作弊(reward hacking)。
π ref \pi_{\text{ref}} π ref 为均匀分布时:π ∗ = s o f t m a x ( r / β ) \pi^* = \mathrm{softmax}(r/\beta) π ∗ = softmax ( r / β ) , 即最大熵 RL 的玻尔兹曼策略。
闭式解的推导
y y y 取离散值(一个完整回答),用求和代替积分。
4.1 拉格朗日乘子法(求解)
J ( π ) = ∑ y π ( y ) r ( y ) − β ∑ y π ( y ) [ log π ( y ) − log π r e f ( y ) ] J(\pi)=\sum_y \pi(y)\,r(y)-\beta\sum_y \pi(y)\big[\log\pi(y)-\log\pi_{ref}(y)\big] J ( π ) = y ∑ π ( y ) r ( y ) − β y ∑ π ( y ) [ log π ( y ) − log π r e f ( y ) ]
约束为 ∑ y π ( y ) = 1 \sum_y \pi(y) = 1 ∑ y π ( y ) = 1 , 引入乘子 λ \lambda λ :
L = J ( π ) + λ ( ∑ y π ( y ) − 1 ) \mathcal{L}=J(\pi)+\lambda\Big(\sum_y\pi(y)-1\Big) L = J ( π ) + λ ( y ∑ π ( y ) − 1 )
对 π ( y ) \pi(y) π ( y ) 求偏导并令其为 0(π log π \pi\log\pi π log π 的导数为 log π + 1 \log\pi + 1 log π + 1 ):
r ( y ) − β [ log π ( y ) + 1 − log π r e f ( y ) ] + λ = 0 r(y)-\beta\big[\log\pi(y)+1-\log\pi_{ref}(y)\big]+\lambda=0 r ( y ) − β [ log π ( y ) + 1 − log π r e f ( y ) ] + λ = 0
log π ( y ) = log π r e f ( y ) + r ( y ) β + C , C = λ β − 1 \log\pi(y)=\log\pi_{ref}(y)+\frac{r(y)}{\beta}+C,\qquad C=\frac{\lambda}{\beta}-1 log π ( y ) = log π r e f ( y ) + β r ( y ) + C , C = β λ − 1
取指数,并由归一化条件得 e C = 1 / Z e^C = 1/Z e C = 1/ Z , 即得 π ∗ \pi^* π ∗ 。
解自动非负,无需 π ≥ 0 \pi \ge 0 π ≥ 0 约束。
J J J 对 π \pi π 是凹函数(线性项 + 负熵项),驻点即全局最大点。
4.2 配凑 KL(证明最优)
由 log π ∗ = log π ref + r / β − log Z \log\pi^* = \log\pi_{\text{ref}} + r/\beta - \log Z log π ∗ = log π ref + r / β − log Z :
D K L ( π ∥ π ∗ ) = D K L ( π ∥ π r e f ) − 1 β E π [ r ] + log Z D_{KL}(\pi\|\pi^*)=D_{KL}(\pi\|\pi_{ref})-\frac{1}{\beta}\mathbb{E}_\pi[r]+\log Z D K L ( π ∥ π ∗ ) = D K L ( π ∥ π r e f ) − β 1 E π [ r ] + log Z
两边乘以 − β -\beta − β 并移项,得到 3.3 中的等式。KL ≥ 0 \ge 0 ≥ 0 , 当且仅当 π = π ∗ \pi = \pi^* π = π ∗ 时为 0,所以 π ∗ \pi^* π ∗ 是全局最优,最大值为 β log Z \beta\log Z β log Z 。
4.3 闭式解存在时仍需训练的原因
Z Z Z 需要对所有可能的回答求和,空间大小为词表大小的长度次方,无法计算,π ∗ \pi^* π ∗ 也无法直接采样。
RL(PPO / GRPO):不计算 Z Z Z , 而是用 π θ \pi_\theta π θ 自身采样,最小化反向 KL ( π θ ∥ π ∗ ) (\pi_\theta\Vert\pi^*) ( π θ ∥ π ∗ ) 。 Z Z Z 是常数,不影响梯度。
DPO[5] :比较同一问题的两个回答时,奖励相减,β log Z \beta\log Z β log Z 抵消。无需计算 Z Z Z , 也无需奖励模型。
方法的层次与异同
5.1 不在同一层次
“SFT、最大似然、扩散 / 流匹配、RL、变分推断”混合了四个层次:
层次 回答的问题 例子 原则层 最小化什么量、采用哪个方向 最大似然(前向 KL)、变分推断(反向 KL)、对抗训练 问题层 学习信号的形式 监督学习(样本)、RL(奖励) 模型层 分布的表示形式 自回归、扩散 / 流匹配、VAE、GAN 流程层 训练流水线的阶段 预训练、SFT、RLHF、蒸馏
它们可以交叉组合,说明这些是正交维度:
扩散模型 + RL:DDPO[6] 、Flow-GRPO[7] 。
自回归模型 + 最大似然 = 预训练 / SFT;自回归模型 + RL = RLHF。
DDPM 的 loss 是 ELBO,内部使用变分推断。
RL 可以写成变分推断(RL as inference)[8] 。
修正后的对应关系:
可用信息 原则 KL 方向 实例 目标的样本 最大似然 前向 KL ( p ∥ q ) (p\Vert q) ( p ∥ q ) 预训练、SFT;扩散 / 流匹配的训练 目标的未归一化密度 变分推断 反向 KL ( q ∥ p ∗ ) (q\Vert p^*) ( q ∥ p ∗ ) RLHF、GRPO;VAE 编码器;扩散模型的 RL 微调
5.2 共同难点:对数密度与归一化常数
合法的密度必须归一化:q ( x ) = q ~ ( x ) / Z q(x) = \tilde q(x) / Z q ( x ) = q ~ ( x ) / Z 。 高维空间中 Z Z Z 通常无法计算。各方法的差异在于:模型的 log q \log q log q 如何获得,目标的 log p \log p log p 如何获得。
5.3 前向组:按数据取样
SFT / 预训练:自回归分解,每个 token 是 softmax,Z Z Z 即 softmax 的分母,log π \log\pi log π 可精确计算。SFT 与预训练的 loss 相同,只是数据不同(精选问答对,只在回答部分计算 loss)。
扩散:连续高维数据,log q θ \log q_\theta log q θ 无法计算。
ELBO 路线(DDPM[9] ):编码器固定的多层 VAE,每步 K L ( q ( x t − 1 ∣ x t , x 0 ) ∥ p θ ( x t − 1 ∣ x t ) ) \mathrm{KL}\big(q(x_{t-1}\mid x_t,x_0)\,\Vert\, p_\theta(x_{t-1}\mid x_t)\big) KL ( q ( x t − 1 ∣ x t , x 0 ) ∥ p θ ( x t − 1 ∣ x t ) ) 仍是前向 KL。
分数路线:学习 ∇ x log p \nabla_x \log p ∇ x log p , 求梯度后 Z Z Z 消失。噪声预测 MSE 即分数匹配;采用似然加权时,它是前向 KL 的上界[10] 。
流匹配:回归速度场。loss 是 MSE,严格说不是 KL;但训练点来自数据,所有数据区域都提供 loss,同样偏向召回。
扩散步数较多时,单步条件分布接近高斯,单峰已经足够;多步组合可以表示多峰分布。
5.4 反向组:按模型取样
两者的目标形式相同:
RL: E π [ r ] − β D K L ( π ∥ π r e f ) = − β D K L ( π ∥ π ∗ ) + 常数 \text{RL:}\ \mathbb{E}_\pi[r]-\beta D_{KL}(\pi\|\pi_{ref})=-\beta\,D_{KL}(\pi\|\pi^*)+\text{常数} RL : E π [ r ] − β D K L ( π ∥ π r e f ) = − β D K L ( π ∥ π ∗ ) + 常数
VI: ELBO = E q [ log p ( x , z ) − log q ( z ) ] = − D K L ( q ∥ p ( z ∣ x ) ) + log p ( x ) \text{VI:}\ \text{ELBO}=\mathbb{E}_q[\log p(x,z)-\log q(z)]=-D_{KL}(q\|p(z|x))+\log p(x) VI : ELBO = E q [ log p ( x , z ) − log q ( z )] = − D K L ( q ∥ p ( z ∣ x )) + log p ( x )
RL 变分推断(VAE 编码器) 目标的未归一化对数密度 log π ref + r / β \log\pi_{\text{ref}} + r/\beta log π ref + r / β log p ( x , z ) \log p(x, z) log p ( x , z ) 能否对样本求导 否(奖励是黑盒) 是 样本能否重参数化 否(离散 token) 是(z = μ + σ ⋅ ε z = \mu + \sigma\cdot\varepsilon z = μ + σ ⋅ ε ) 梯度估计 策略梯度,方差大 重参数化,方差小 降方差手段 baseline、PPO 裁剪、GRPO 组内归一化 一般不需要
5.5 VAE:两组的交汇
外层:在数据上最大化 log p θ ( x ) \log p_\theta(x) log p θ ( x ) 的下界,属于前向 KL(训练解码器)。
内层:编码器 q ( z ∣ x ) q(z\mid x) q ( z ∣ x ) 逼近后验 p ( z ∣ x ) p(z\mid x) p ( z ∣ x ) , 属于反向 KL(训练编码器)。内层偏向精确率,这解释了 VAE 的后验常常低估方差[11] 。
5.6 总表
方法 目标分布 · 取样来源 对数密度 梯度 SFT / 预训练 p data p_{\text{data}} p data · 数据softmax,可精确计算 直接反传 扩散 p data p_{\text{data}} p data · 数据 + 加噪用 ELBO 或分数代替 直接反传(MSE) 流匹配 p data p_{\text{data}} p data · 数据 + 噪声配对不计算,回归速度场 直接反传(MSE) RL π ref ⋅ exp ( r / β ) \pi_{\text{ref}}\cdot\exp(r/\beta) π ref ⋅ exp ( r / β ) · 模型自身奖励是黑盒,不可导 策略梯度 变分推断 p ( z ∣ x ) p(z\mid x) p ( z ∣ x ) · 模型自身log p ( x , z ) \log p(x,z) log p ( x , z ) 可导重参数化
扩散与流的采样
结论:训练时期望按数据取样,属于前向 KL;生成时由模型自身采样,但这些样本不进入训练 loss,不改变 KL 方向。当模型样本进入训练时,就变为反向 KL。
6.1 生成时的采样
扩散的反向 SDE[12] :
d x = [ f ( x , t ) − g ( t ) 2 ∇ x log p t ( x ) ] d t + g ( t ) d w ˉ dx=\left[f(x,t)-g(t)^2\,\nabla_x\log p_t(x)\right]dt+g(t)\,d\bar w d x = [ f ( x , t ) − g ( t ) 2 ∇ x log p t ( x ) ] d t + g ( t ) d w ˉ
概率流 ODE(边缘分布相同,去掉随机项):
d x d t = f ( x , t ) − 1 2 g ( t ) 2 ∇ x log p t ( x ) \frac{dx}{dt}=f(x,t)-\tfrac12 g(t)^2\,\nabla_x\log p_t(x) d t d x = f ( x , t ) − 2 1 g ( t ) 2 ∇ x log p t ( x )
流匹配[13] :
d x d t = v θ ( x , t ) , x t + Δ t = x t + Δ t ⋅ v θ ( x t , t ) \frac{dx}{dt}=v_\theta(x,t),\qquad x_{t+\Delta t}=x_t+\Delta t\cdot v_\theta(x_t,t) d t d x = v θ ( x , t ) , x t + Δ t = x t + Δ t ⋅ v θ ( x t , t )
扩散的概率流 ODE 是一种特殊的流。
6.2 训练不按模型取样
自回归语言模型 扩散 / 流 训练时的输入 真实前缀(teacher forcing) 真实数据加噪 生成时的输入 模型生成的前缀 模型前几步的输出 训练取样来源 数据 → 前向 KL 数据 → 前向 KL 暴露偏差 有 有
6.3 模型样本进入训练
RL 微调(DDPO、Flow-GRPO):策略梯度需要 log π \log\pi log π 和随机性。SDE 每步是高斯转移,对数概率有闭式解;ODE 是确定性的,没有探索,log p \log p log p 需要对散度积分,代价高。Flow-GRPO 将 ODE 改写为边缘分布相同的 SDE。
少步蒸馏(DMD[14] 等):生成器自身产生样本,最小化与教师分布的反向 KL,梯度用教师分数与生成器分布分数之差估计。样本清晰,多样性常低于教师。
6.4 少步生成更换目标的原因
步数少时,单步需要跨越较大距离,单步条件分布本身是多峰的。用 MSE(单峰、前向 KL)训练会产生模式平均,生成结果模糊。所以少步生成常用反向 KL 或对抗目标:宁可只拟合一个峰,也要保证样本清晰。
在线蒸馏(OPD)
学生模型自身生成序列,在每个 token 上最小化与教师的反向 KL[15] :
L O P D = E y ∼ π θ ∑ t D K L ( π θ ( ⋅ ∣ y < t ) ∥ π T ( ⋅ ∣ y < t ) ) \mathcal{L}_{OPD}=\mathbb{E}_{y\sim\pi_\theta}\sum_t D_{KL}\big(\pi_\theta(\cdot\,|\,y_{<t})\,\big\|\,\pi_T(\cdot\,|\,y_{<t})\big) L O P D = E y ∼ π θ t ∑ D K L ( π θ ( ⋅ ∣ y < t ) π T ( ⋅ ∣ y < t ) )
等价的逐 token 奖励:
r t = log π T ( y t ∣ y < t ) − log π θ ( y t ∣ y < t ) r_t=\log\pi_T(y_t|y_{<t})-\log\pi_\theta(y_t|y_{<t}) r t = log π T ( y t ∣ y < t ) − log π θ ( y t ∣ y < t )
7.1 对 RL 方差问题的作用
待核实:“部分实现为节省算力只用采到的 token(单样本估计)”和“常见实现忽略当前 token 对后续前缀的梯度项(折扣因子取 0)”描述的是具体实现,没有给出出处,未能核对。
稀疏 → 稠密:每个 token 有独立信号,信用分配问题基本消失。这是方差降低的主要来源。
黑盒 → 白盒:可以读取教师在整个词表上的分布,单个 token 上的 KL 可对全词表精确求和,不需要采样估计。部分实现为节省算力,只用采到的 token(单样本估计)。
仍然存在的部分:前缀 y < t y_{<t} y < t 由学生生成,仍需采样。常见实现忽略“当前 token 影响后续前缀”的梯度项(相当于折扣因子取 0),以少量偏差换取低方差。
SFT 蒸馏 RL OPD 取样来源 教师 学生 学生 KL 方向 前向 反向(对 π ∗ \pi^* π ∗ ) 反向(对 π T \pi_T π T ) 信号密度 逐 token 整条回答一个标量 逐 token 目标密度 不需要 黑盒 白盒,已归一化 暴露偏差 有 无 无 梯度方差 低 高 低
7.2 未解决的部分
上限是教师;RL 的奖励原则上可以超越现有模型。
仍是反向 KL,偏向精确率,可能丢失教师的少数模式。
需要共享分词器,每个 token 都需要教师做一次前向计算。
梯度估计:策略梯度与重参数化
两者都求:
∇ θ E x ∼ p θ [ f ( x ) ] \nabla_\theta\,\mathbb{E}_{x\sim p_\theta}[f(x)] ∇ θ E x ∼ p θ [ f ( x )]
θ \theta θ 位于采样分布中,“采到某个 x x x ” 这一步没有导数,因此需要先变形。
重参数化(路径梯度):把 θ \theta θ 从分布移到可导变换中,对 f f f 求导。每个样本自身提供方向(斜率)。
策略梯度(得分函数估计):f f f 只求值,对 log p θ \log p_\theta log p θ 求导,用 f f f 的数值加权。方向依靠多个样本的对比推断。
8.1 策略梯度的推导(对数导数技巧)
J ( θ ) = ∑ y π θ ( y ) r ( y ) , ∇ J = ∑ y ∇ π θ ( y ) r ( y ) J(\theta)=\sum_y \pi_\theta(y)\,r(y),\qquad \nabla J=\sum_y \nabla\pi_\theta(y)\,r(y) J ( θ ) = y ∑ π θ ( y ) r ( y ) , ∇ J = y ∑ ∇ π θ ( y ) r ( y )
用恒等式 ∇ π = π ∇ log π \nabla\pi = \pi\,\nabla\log\pi ∇ π = π ∇ log π :
∇ J = E y ∼ π θ [ r ( y ) ∇ θ log π θ ( y ) ] \nabla J=\mathbb{E}_{y\sim\pi_\theta}\big[r(y)\,\nabla_\theta\log\pi_\theta(y)\big] ∇ J = E y ∼ π θ [ r ( y ) ∇ θ log π θ ( y ) ]
r r r 不被求导,可以是黑盒;代价是必须能计算 log π θ ( y ) \log\pi_\theta(y) log π θ ( y ) 。
8.2 先变形的必要性
蒙特卡洛估计只适用于 ∑ y π ( y ) f ( y ) \sum_y \pi(y) f(y) ∑ y π ( y ) f ( y ) 的形式:按 π \pi π 采样时,出现频率自动充当权重 π ( y ) \pi(y) π ( y ) 。
∑ y ∇ π ( y ) ⋅ r ( y ) \sum_y \nabla\pi(y)\cdot r(y) ∑ y ∇ π ( y ) ⋅ r ( y ) 中的权重 ∇ π ( y ) \nabla\pi(y) ∇ π ( y ) 不是概率分布:它可以为负、总和为 0,而且是向量。直接按 π \pi π 采样并对 ∇ π ⋅ r \nabla\pi\cdot r ∇ π ⋅ r 取平均,得到的是 ∑ y π ⋅ ∇ π ⋅ r \sum_y \pi\cdot\nabla\pi\cdot r ∑ y π ⋅ ∇ π ⋅ r , 多乘了一个 π \pi π , 结果有偏。先乘以 π \pi π 再除以 π \pi π , 多余的 π \pi π 就被分母抵消。
最小例子:π ( A ) = θ \pi(A) = \theta π ( A ) = θ , π ( B ) = 1 − θ \pi(B) = 1 - \theta π ( B ) = 1 − θ , r ( A ) = 1 r(A) = 1 r ( A ) = 1 , r ( B ) = 0 r(B) = 0 r ( B ) = 0 。 真实梯度 ∇ J = 1 \nabla J = 1 ∇ J = 1 。
估计方法 每个样本 期望 结果 平均 ∇ π ⋅ r \nabla\pi\cdot r ∇ π ⋅ r A:1;B:0 θ \theta θ 错误 平均 ∇ log π ⋅ r \nabla\log\pi\cdot r ∇ log π ⋅ r A:1 / θ 1/\theta 1/ θ ; B:0 1 正确
因子 1 / θ 1/\theta 1/ θ 说明:稀有样本依靠大权重补偿,这是策略梯度方差大的直接来源之一。
8.3 重参数化的推导
x = g θ ( ε ) , ε ∼ q ( ε ) (与 θ 无关) x=g_\theta(\varepsilon),\qquad \varepsilon\sim q(\varepsilon)\ \text{(与 θ 无关)} x = g θ ( ε ) , ε ∼ q ( ε ) (与 θ 无关)
∇ θ E ε [ f ( g θ ( ε ) ) ] = E ε [ ∇ x f ( x ) ∣ x = g θ ( ε ) ⋅ ∇ θ g θ ( ε ) ] \nabla_\theta\,\mathbb{E}_{\varepsilon}\big[f(g_\theta(\varepsilon))\big]=\mathbb{E}_{\varepsilon}\Big[\nabla_x f(x)\big|_{x=g_\theta(\varepsilon)}\cdot\nabla_\theta g_\theta(\varepsilon)\Big] ∇ θ E ε [ f ( g θ ( ε )) ] = E ε [ ∇ x f ( x ) x = g θ ( ε ) ⋅ ∇ θ g θ ( ε ) ]
前提:采样可写为可导变换;f f f 对 x x x 可导,且导数可以获得。
8.4 方差对比
x ∼ N ( θ , 1 ) x \sim \mathcal{N}(\theta, 1) x ∼ N ( θ , 1 ) , f ( x ) = x 2 f(x) = x^2 f ( x ) = x 2 , θ = 0 \theta = 0 θ = 0 , 真实梯度为 0。
估计器 每个样本 方差 重参数化 2 x 2x 2 x 4 策略梯度 x 3 x^3 x 3 15
f ( x ) = x 2 + 100 f(x) = x^2 + 100 f ( x ) = x 2 + 100 (最优解不变):
估计器 每个样本 方差 重参数化 2 x 2x 2 x 4 策略梯度 ( x 2 + 100 ) ⋅ x (x^2 + 100)\cdot x ( x 2 + 100 ) ⋅ x 10615
重参数化只用斜率,不受常数平移影响;策略梯度直接乘以 f f f 的数值,因此需要 baseline。
8.5 适用条件
重参数化 策略梯度 需要 f f f 可导 是 否 需要采样可导 是 否 需要 log p \log p log p 可计算 否 是 每个样本提供的信息 方向(斜率) 一个数值 方差 低 高
LLM 的 RL 只能使用策略梯度:token 是离散的,采样不可导(Gumbel-softmax[16] 可以松弛,但有偏);奖励来自验证器、测试或人类偏好,不可导。而自回归模型的 log π \log\pi log π 最容易计算:
log π θ ( y ) = ∑ t log π θ ( y t ∣ y < t ) \log\pi_\theta(y)=\sum_t \log\pi_\theta(y_t\,|\,y_{<t}) log π θ ( y ) = t ∑ log π θ ( y t ∣ y < t )
场景 采样可导 · 目标可导 梯度估计 例子 变分推断 是 · 是 重参数化 VAE 编码器 可导奖励的扩散微调 是(ODE)· 是 重参数化 DRaFT[17] 、ReFL[18] 黑盒奖励的扩散微调 是 · 否 策略梯度 DDPO、Flow-GRPO LLM 的 RL 否 · 否 策略梯度 PPO、GRPO OPD 前缀否,单 token 内对全词表求和 · 是 混合 在线蒸馏
重参数化在扩散中的代价:长链反传占用显存大,梯度容易爆炸或消失(DRaFT 只对最后 K K K 步反传);可导的奖励模型容易被梯度针对性地利用。
8.6 扩散 SDE 单步对数概率
采样器每步:
x t − 1 = μ θ ( x t , t ) + σ t ε , ε ∼ N ( 0 , I ) x_{t-1}=\mu_\theta(x_t,t)+\sigma_t\,\varepsilon,\qquad \varepsilon\sim\mathcal{N}(0,I) x t − 1 = μ θ ( x t , t ) + σ t ε , ε ∼ N ( 0 , I )
DDPM 中:
μ θ ( x t , t ) = 1 α t ( x t − β t 1 − α ˉ t ε θ ( x t , t ) ) \mu_\theta(x_t,t)=\frac{1}{\sqrt{\alpha_t}}\Big(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\varepsilon_\theta(x_t,t)\Big) μ θ ( x t , t ) = α t 1 ( x t − 1 − α ˉ t β t ε θ ( x t , t ) )
σ t \sigma_t σ t 由噪声调度固定,所以 x t − 1 ∣ x t ∼ N ( μ θ , σ t 2 I ) x_{t-1}\mid x_t \sim \mathcal{N}(\mu_\theta, \sigma_t^2 I) x t − 1 ∣ x t ∼ N ( μ θ , σ t 2 I ) 。 d d d 维各向同性高斯的密度为:
N ( x ; μ , σ 2 I ) = ( 2 π σ 2 ) − d / 2 exp ( − ∥ x − μ ∥ 2 2 σ 2 ) \mathcal{N}(x;\mu,\sigma^2 I)=(2\pi\sigma^2)^{-d/2}\exp\!\Big(-\frac{\|x-\mu\|^2}{2\sigma^2}\Big) N ( x ; μ , σ 2 I ) = ( 2 π σ 2 ) − d /2 exp ( − 2 σ 2 ∥ x − μ ∥ 2 )
取对数:
log p θ ( x t − 1 ∣ x t ) = − ∥ x t − 1 − μ θ ( x t , t ) ∥ 2 2 σ t 2 − d 2 log ( 2 π σ t 2 ) \log p_\theta(x_{t-1}|x_t)=-\frac{\|x_{t-1}-\mu_\theta(x_t,t)\|^2}{2\sigma_t^2}-\frac{d}{2}\log(2\pi\sigma_t^2) log p θ ( x t − 1 ∣ x t ) = − 2 σ t 2 ∥ x t − 1 − μ θ ( x t , t ) ∥ 2 − 2 d log ( 2 π σ t 2 )
第二项与 θ \theta θ 无关。梯度为:
∇ θ log p θ ( x t − 1 ∣ x t ) = x t − 1 − μ θ σ t 2 ∇ θ μ θ = ε σ t ∇ θ μ θ \nabla_\theta\log p_\theta(x_{t-1}|x_t)=\frac{x_{t-1}-\mu_\theta}{\sigma_t^2}\,\nabla_\theta\mu_\theta=\frac{\varepsilon}{\sigma_t}\,\nabla_\theta\mu_\theta ∇ θ log p θ ( x t − 1 ∣ x t ) = σ t 2 x t − 1 − μ θ ∇ θ μ θ = σ t ε ∇ θ μ θ
奖励高时,梯度将 μ θ \mu_\theta μ θ 推向所采噪声 ε \varepsilon ε 的方向。ODE 相当于 σ t → 0 \sigma_t \to 0 σ t → 0 , 对数概率与梯度中的 1 / σ t 1/\sigma_t 1/ σ t 发散,单步对数概率没有定义。所以策略梯度需要 SDE。
得分函数(score function)
9.1 定义
s ( θ ; x ) = ∇ θ log p θ ( x ) s(\theta;x)=\nabla_\theta\log p_\theta(x) s ( θ ; x ) = ∇ θ log p θ ( x )
样本 x x x 固定,对参数 θ \theta θ 求导,求导对象是对数概率。其含义是:θ \theta θ 沿哪个方向变化时,x x x 的对数概率上升最快。对样本的对数概率关于参数求导,得到的就是得分函数。策略梯度即:
∇ θ J = E x ∼ p θ [ f ( x ) ⋅ s ( θ ; x ) ] \nabla_\theta J=\mathbb{E}_{x\sim p_\theta}\big[\,f(x)\cdot s(\theta;x)\,\big] ∇ θ J = E x ∼ p θ [ f ( x ) ⋅ s ( θ ; x ) ]
例:N ( μ , σ 2 ) \mathcal{N}(\mu, \sigma^2) N ( μ , σ 2 ) 对 μ \mu μ 的得分为 ( x − μ ) / σ 2 (x - \mu)/\sigma^2 ( x − μ ) / σ 2 。
9.2 三个易混淆的量
建议:“高斯位置参数下两者只差符号:∇_θ log p = x − θ”默认方差为 1;一般方差 σ² 下为 (x − θ)/σ²,可补上“方差为 1 时”。
写法 对谁求导 · 名称 用途 ∇ θ p θ ( x ) \nabla_\theta p_\theta(x) ∇ θ p θ ( x ) 参数 θ \theta θ · 密度对参数的梯度 策略梯度推导的中间步骤 ∇ θ log p θ ( x ) \nabla_\theta \log p_\theta(x) ∇ θ log p θ ( x ) 参数 θ \theta θ · 得分(费舍尔得分) 策略梯度、REINFORCE ∇ x log p ( x ) \nabla_x \log p(x) ∇ x log p ( x ) 数据 x x x · 得分(Stein 得分) 扩散模型、分数匹配
∇ θ log p = ∇ θ p / p \nabla_\theta \log p = \nabla_\theta p / p ∇ θ log p = ∇ θ p / p , 是相对变化率。
∇ θ log p θ ( x ) \nabla_\theta \log p_\theta(x) ∇ θ log p θ ( x ) : x x x 固定,移动分布。∇ x log p ( x ) \nabla_x \log p(x) ∇ x log p ( x ) : 分布固定,移动 x x x 。
高斯位置参数下两者只差符号:∇ θ log p = x − θ \nabla_\theta \log p = x - \theta ∇ θ log p = x − θ , ∇ x log p = − ( x − θ ) \nabla_x \log p = -(x - \theta) ∇ x log p = − ( x − θ ) 。 一般情况下两者维度不同,是不同的量。
DDPO 中两者同时出现:网络输出关于 x x x 的得分,用于去噪;RL 更新使用关于 θ \theta θ 的得分。
9.3 三个性质
1. 期望为零:
E x ∼ p θ [ s ( θ ; x ) ] = ∇ θ ∑ x p θ = 0 \mathbb{E}_{x\sim p_\theta}[s(\theta;x)]=\nabla_\theta\sum_x p_\theta=0 E x ∼ p θ [ s ( θ ; x )] = ∇ θ x ∑ p θ = 0
因此减去任意常数 baseline 不改变梯度的期望,只降低方差:
E [ ( f ( x ) − b ) s ] = E [ f s ] \mathbb{E}\big[(f(x)-b)\,s\big]=\mathbb{E}[f\,s] E [ ( f ( x ) − b ) s ] = E [ f s ]
2. 协方差是费舍尔信息,也是 KL 的局部曲率:
I ( θ ) = E [ s s ⊤ ] , D K L ( p θ ∥ p θ + δ ) ≈ 1 2 δ ⊤ I ( θ ) δ I(\theta)=\mathbb{E}\big[s\,s^\top\big],\qquad D_{KL}(p_\theta\,\|\,p_{\theta+\delta})\approx\tfrac12\,\delta^\top I(\theta)\,\delta I ( θ ) = E [ s s ⊤ ] , D K L ( p θ ∥ p θ + δ ) ≈ 2 1 δ ⊤ I ( θ ) δ
TRPO[19] / PPO 的 KL 约束与自然梯度都基于这一性质。
3. 最大似然的解满足数据上的得分之和为零:
∑ i s ( θ ; x i ) = 0 \sum_i s(\theta;x_i)=0 i ∑ s ( θ ; x i ) = 0
场景 得分函数的角色 SFT / 最大似然 梯度 = 数据样本上的平均得分 策略梯度 梯度 = 模型自身样本上的得分 × 奖励 baseline 依赖得分的期望为零 PPO / TRPO 的 KL 约束 依赖得分的协方差 = 费舍尔信息
要点
第一性原理层面只有一条分界:按数据取样(前向 KL),还是按模型取样(反向 KL)。前者偏向召回,后者偏向精确率。
取样来源由信息形式决定:有样本 → 前向 KL;只有打分器 → 反向 KL。
SFT 与 RL 的梯度形式相同,只差样本来源与权重。奖励定义了目标分布 π ∗ ∝ π ref ⋅ exp ( r / β ) \pi^* \propto \pi_{\text{ref}}\cdot\exp(r/\beta) π ∗ ∝ π ref ⋅ exp ( r / β ) 。
“容量”指输出分布的形式能否表示多峰,而不是参数量。容量足够时两种 KL 的最优解相同,但反向 KL 仍可能因采不到样本而丢峰。
密度能否计算、能否求导,决定了 loss 的形式(NLL、MSE、策略梯度)。
能获得 f f f 的斜率时用重参数化;只能获得 f f f 的数值时用策略梯度,并用 baseline 降低方差。
参考文献
M. S. M. Sajjadi, O. Bachem, M. Lucic, O. Bousquet, and S. Gelly, “Assessing generative models via precision and recall,” in Proc. NeurIPS , 2018, arXiv: 1806.00035 .
J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” 2017, arXiv: 1707.06347 .
Z. Shao et al. , “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300 .
Y. Yue et al. , “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” 2025, arXiv: 2504.13837 .
R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn, “Direct preference optimization: Your language model is secretly a reward model,” in Proc. NeurIPS , 2023, arXiv: 2305.18290 .
K. Black, M. Janner, Y. Du, I. Kostrikov, and S. Levine, “Training diffusion models with reinforcement learning,” in Proc. ICLR , 2024, arXiv: 2305.13301 .
J. Liu et al. , “Flow-GRPO: Training flow matching models via online RL,” in Proc. NeurIPS , 2025, arXiv: 2505.05470 .
S. Levine, “Reinforcement learning and control as probabilistic inference: Tutorial and review,” 2018, arXiv: 1805.00909 .
J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” in Proc. NeurIPS , 2020, arXiv: 2006.11239 .
Y. Song, C. Durkan, I. Murray, and S. Ermon, “Maximum likelihood training of score-based diffusion models,” in Proc. NeurIPS , 2021, arXiv: 2101.09258 .
D. M. Blei, A. Kucukelbir, and J. D. McAuliffe, “Variational inference: A review for statisticians,” J. Amer. Statist. Assoc. , vol. 112, no. 518, pp. 859–877, 2017, doi: 10.1080/01621459.2017.1285773 .
Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR , 2021, arXiv: 2011.13456 .
Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in Proc. ICLR , 2023, arXiv: 2210.02747 .
T. Yin et al. , “One-step diffusion with distribution matching distillation,” in Proc. CVPR , 2024, arXiv: 2311.18828 .
R. Agarwal et al. , “On-policy distillation of language models: Learning from self-generated mistakes,” in Proc. ICLR , 2024, arXiv: 2306.13649 .
E. Jang, S. Gu, and B. Poole, “Categorical reparameterization with Gumbel-softmax,” in Proc. ICLR , 2017, arXiv: 1611.01144 .
K. Clark, P. Vicol, K. Swersky, and D. J. Fleet, “Directly fine-tuning diffusion models on differentiable rewards,” in Proc. ICLR , 2024, arXiv: 2309.17400 .
J. Xu et al. , “ImageReward: Learning and evaluating human preferences for text-to-image generation,” in Proc. NeurIPS , 2023, arXiv: 2304.05977 .
J. Schulman, S. Levine, P. Moritz, M. Jordan, and P. Abbeel, “Trust region policy optimization,” in Proc. ICML , 2015, arXiv: 1502.05477 .