前向 KL 与反向 KL:从拟合行为到 SFT、RL 与梯度估计

2026-10-25笔记强化学习生成模型损失函数大模型后训练

符号约定

符号含义
pp目标分布(真实分布)
qθq_\theta待训练的模型分布
pdatap_{\text{data}}训练数据分布
πθ\pi_\theta策略(RL 中的模型分布)
πref\pi_{\text{ref}}参考策略(通常是 SFT 模型)
π∗\pi^*KL 正则 RL 的最优策略(目标分布)
r(y)r(y)奖励
β\betaKL 惩罚系数(温度)
f(x)f(x)一般的待优化函数(奖励、目标)
s(θ;x)s(\theta; x)得分函数 ∇θlog⁡pθ(x)\nabla_\theta \log p_\theta(x)

定义与拟合行为

1.1 定义

前向 KL:

DKL(p ∥ q)=Ex∼p[log⁡p(x)q(x)]D_{KL}(p\,\|\,q)=\mathbb{E}_{x\sim p}\left[\log\frac{p(x)}{q(x)}\right]

反向 KL:

DKL(q ∥ p)=Ex∼q[log⁡q(x)p(x)]D_{KL}(q\,\|\,p)=\mathbb{E}_{x\sim q}\left[\log\frac{q(x)}{p(x)}\right]

KL 不对称。两者的根本区别在于期望所依据的采样分布。

1.2 拟合行为

设 pp 是双峰分布,qq 只能是单峰高斯。

1.3 原因

关键在于对数比值在何处发散。

前向 KL (p∥q)(p\Vert q)反向 KL (q∥p)(q\Vert p)
取样分布ppqq
拟合行为覆盖全部,偏平均聚焦单个峰,偏尖锐
风险生成两峰之间的模糊样本丢失多样性(模式坍缩)
需要的信息pp 的样本qq 的样本 + pp 的密度(可差一个常数)

两者可概括为:前向 KL 宁可多覆盖,不可遗漏;反向 KL 宁可遗漏,不可错放。

1.4 与召回 / 精确率的类比

将 pp 视为真实存在的对象,qq 视为模型认为存在的对象。

生成模型评估中的“分布的 precision / recall”(Sajjadi 等,2018)[1]采用同一思路:precision 对应样本质量,recall 对应样本多样性。

该类比有三个限定条件:

  1. 权衡只在模型容量不足时出现。若 qq 能表示 pp两种 KL 的最优解都是 q=pq = p
  2. KL 是软惩罚,按对数比值加权,而不是计数,因此只是倾向于召回或精确率。
  3. 前向 KL 对误检有间接惩罚:qq 是归一化的,分配到低谷的概率会从峰上扣除。反向 KL 对漏检几乎没有惩罚,所以模式坍缩更明显。

模型容量与多峰

2.1 容量足够时没有权衡

吉布斯不等式:

DKL(p ∥ q)≥0,当且仅当 q=p 时等于 0D_{KL}(p\,\|\,q)\ge 0,\quad \text{当且仅当 } q=p \text{ 时等于 } 0

反向 KL 同理。若模型族中存在 q=pq = p两种 KL 的最小值都是 0,最优解相同。1.2 中的权衡来自约束:单峰的 qq 无法表示双峰的 pp将 qq 换成两个高斯的混合,两种 KL 给出同一个解。

2.2 容量指分布形式,不是参数量

若网络输出一个高斯分布的均值和方差,无论参数量多大,对每个输入仍只能给出单峰分布。

能表示多峰的输出形式:

2.3 实例:轨迹预测的模式平均

在路口处,真实数据中一半样本左转、一半样本右转,pp 为双峰分布。用 MSE 回归单条轨迹,相当于令 qq 为固定方差的单峰高斯并做最大似然(前向 KL)。qq 覆盖两峰,均值落在两峰之间,即预测直行。解决方法是提高输出分布的表达能力:使用多模态输出头,或使用扩散 / 流匹配规划器。

2.4 容量足够时,反向 KL 仍可能丢峰

这是优化问题,而不是容量问题。反向 KL 按 qq 取样。若 qq 初始只位于左峰附近,则几乎无法采到右峰的样本,右峰不产生梯度,qq 停留在局部最优。前向 KL 按 pp 取样,所有峰的数据都会出现;qq 在这些区域概率过低会受到重罚,梯度会推动 qq 向这些区域移动。

监督训练与 RL 的统一

结论:两者都在将模型分布推向一个目标分布。若拥有目标的样本,使用前向 KL(监督训练);若只有打分器,使用反向 KL(RL)。

3.1 监督训练 = 前向 KL

LSFT=−Ey∼pdata[log⁡πθ(y)]=DKL(pdata ∥ πθ)+H(pdata)\mathcal{L}_{SFT}=-\mathbb{E}_{y\sim p_{data}}[\log\pi_\theta(y)]=D_{KL}(p_{data}\,\|\,\pi_\theta)+H(p_{data})

H(pdata)H(p_{\text{data}}) 是常数。由于只有样本而没有 pdatap_{\text{data}} 的密度,只能使用前向 KL。

3.2 两者的梯度形式相同

∇LSFT=−Ey∼pdata[ 1⋅∇θlog⁡πθ(y) ]\nabla\mathcal{L}_{SFT}=-\mathbb{E}_{y\sim p_{data}}[\,1\cdot\nabla_\theta\log\pi_\theta(y)\,] ∇θJ=Ey∼πθ[ r(y)⋅∇θlog⁡πθ(y) ]\nabla_\theta J=\mathbb{E}_{y\sim\pi_\theta}[\,r(y)\cdot\nabla_\theta\log\pi_\theta(y)\,]
样本来源每个样本的权重
SFT数据1
RL模型自身生成r(y)r(y)
拒绝采样微调模型自身生成0 或 1

SFT 可视为奖励恒为 1、样本来自数据的 RL;RL 可视为在模型自身样本上按奖励加权的 SFT。

3.3 KL 正则 RL = 反向 KL

RLHF / PPO[2] / GRPO[3] 的目标:

max⁡πθ Ey∼πθ[r(y)]−β DKL(πθ ∥ πref)\max_{\pi_\theta}\ \mathbb{E}_{y\sim\pi_\theta}[r(y)]-\beta\,D_{KL}(\pi_\theta\,\|\,\pi_{ref})

最优解:

π∗(y)=1Z πref(y) exp⁡ ⁣(r(y)β),Z=∑yπref(y) er(y)/β\pi^*(y)=\frac{1}{Z}\,\pi_{ref}(y)\,\exp\!\left(\frac{r(y)}{\beta}\right),\qquad Z=\sum_y\pi_{ref}(y)\,e^{r(y)/\beta}

目标可改写为:

Eπθ[r]−βDKL(πθ∥πref)=−β DKL(πθ ∥ π∗)+βlog⁡Z\mathbb{E}_{\pi_\theta}[r]-\beta D_{KL}(\pi_\theta\|\pi_{ref})=-\beta\,D_{KL}(\pi_\theta\,\|\,\pi^*)+\beta\log Z

所以最大化 RL 目标等价于最小化反向 KL (πθ∥π∗)(\pi_\theta\Vert\pi^*)反解得:

r(y)=βlog⁡π∗(y)πref(y)+βlog⁡Zr(y)=\beta\log\frac{\pi^*(y)}{\pi_{ref}(y)}+\beta\log Z

奖励定义了一个目标分布,它是目标分布的相对对数密度。

3.4 第一性原理:信息形式决定 KL 方向

可用信息原则KL 方向
目标的样本,没有密度最大似然前向 KL(按目标取样)
目标的未归一化密度(如奖励),没有样本变分推断反向 KL(按模型取样)

RL 场景中没有“最优回答”的样本,只有能为任意回答打分的奖励函数,所以只能使用反向 KL。这由信息形式决定,而不是设计选择。

3.5 行为差异

3.6 先 SFT 再 RL 的原因

π∗∝πref⋅exp⁡(r/β)\pi^* \propto \pi_{\text{ref}}\cdot\exp(r/\beta)πref\pi_{\text{ref}} 为 0 的地方,π∗\pi^* 也为 0。RL 只能在参考模型的支撑集内重新分配概率,不能创造新模式;而且反向 KL 采不到的峰没有梯度。

  1. 预训练 + SFT(前向 KL):覆盖可能的好行为(召回)。
  2. RL(反向 KL):在覆盖范围内筛选出高奖励部分(精确率)。

β\beta 控制筛选的强度:

闭式解的推导

yy 取离散值(一个完整回答),用求和代替积分。

4.1 拉格朗日乘子法(求解)

J(π)=∑yπ(y) r(y)−β∑yπ(y)[log⁡π(y)−log⁡πref(y)]J(\pi)=\sum_y \pi(y)\,r(y)-\beta\sum_y \pi(y)\big[\log\pi(y)-\log\pi_{ref}(y)\big]

约束为 ∑yπ(y)=1\sum_y \pi(y) = 1引入乘子 λ\lambda

L=J(π)+λ(∑yπ(y)−1)\mathcal{L}=J(\pi)+\lambda\Big(\sum_y\pi(y)-1\Big)

对 π(y)\pi(y) 求偏导并令其为 0(πlog⁡π\pi\log\pi 的导数为 log⁡π+1\log\pi + 1

r(y)−β[log⁡π(y)+1−log⁡πref(y)]+λ=0r(y)-\beta\big[\log\pi(y)+1-\log\pi_{ref}(y)\big]+\lambda=0 log⁡π(y)=log⁡πref(y)+r(y)β+C,C=λβ−1\log\pi(y)=\log\pi_{ref}(y)+\frac{r(y)}{\beta}+C,\qquad C=\frac{\lambda}{\beta}-1

取指数,并由归一化条件得 eC=1/Ze^C = 1/Z即得 π∗\pi^*

4.2 配凑 KL(证明最优)

由 log⁡π∗=log⁡πref+r/β−log⁡Z\log\pi^* = \log\pi_{\text{ref}} + r/\beta - \log Z

DKL(π∥π∗)=DKL(π∥πref)−1βEπ[r]+log⁡ZD_{KL}(\pi\|\pi^*)=D_{KL}(\pi\|\pi_{ref})-\frac{1}{\beta}\mathbb{E}_\pi[r]+\log Z

两边乘以 −β-\beta 并移项,得到 3.3 中的等式。KL ≥0\ge 0当且仅当 π=π∗\pi = \pi^* 时为 0,所以 π∗\pi^* 是全局最优,最大值为 βlog⁡Z\beta\log Z

4.3 闭式解存在时仍需训练的原因

ZZ 需要对所有可能的回答求和,空间大小为词表大小的长度次方,无法计算,π∗\pi^* 也无法直接采样。

方法的层次与异同

5.1 不在同一层次

“SFT、最大似然、扩散 / 流匹配、RL、变分推断”混合了四个层次:

层次回答的问题例子
原则层最小化什么量、采用哪个方向最大似然(前向 KL)、变分推断(反向 KL)、对抗训练
问题层学习信号的形式监督学习(样本)、RL(奖励)
模型层分布的表示形式自回归、扩散 / 流匹配、VAE、GAN
流程层训练流水线的阶段预训练、SFT、RLHF、蒸馏

它们可以交叉组合,说明这些是正交维度:

修正后的对应关系:

可用信息原则KL 方向实例
目标的样本最大似然前向 KL (p∥q)(p\Vert q)预训练、SFT;扩散 / 流匹配的训练
目标的未归一化密度变分推断反向 KL (q∥p∗)(q\Vert p^*)RLHF、GRPO;VAE 编码器;扩散模型的 RL 微调

5.2 共同难点:对数密度与归一化常数

合法的密度必须归一化:q(x)=q~(x)/Zq(x) = \tilde q(x) / Z高维空间中 ZZ 通常无法计算。各方法的差异在于:模型的 log⁡q\log q 如何获得,目标的 log⁡p\log p 如何获得。

5.3 前向组:按数据取样

扩散步数较多时,单步条件分布接近高斯,单峰已经足够;多步组合可以表示多峰分布。

5.4 反向组:按模型取样

两者的目标形式相同:

RL: Eπ[r]−βDKL(π∥πref)=−β DKL(π∥π∗)+常数\text{RL:}\ \mathbb{E}_\pi[r]-\beta D_{KL}(\pi\|\pi_{ref})=-\beta\,D_{KL}(\pi\|\pi^*)+\text{常数} VI: ELBO=Eq[log⁡p(x,z)−log⁡q(z)]=−DKL(q∥p(z∣x))+log⁡p(x)\text{VI:}\ \text{ELBO}=\mathbb{E}_q[\log p(x,z)-\log q(z)]=-D_{KL}(q\|p(z|x))+\log p(x)
RL变分推断(VAE 编码器)
目标的未归一化对数密度log⁡πref+r/β\log\pi_{\text{ref}} + r/\betalog⁡p(x,z)\log p(x, z)
能否对样本求导否(奖励是黑盒)是
样本能否重参数化否(离散 token)是(z=μ+σ⋅εz = \mu + \sigma\cdot\varepsilon
梯度估计策略梯度,方差大重参数化,方差小
降方差手段baseline、PPO 裁剪、GRPO 组内归一化一般不需要

5.5 VAE:两组的交汇

5.6 总表

方法目标分布 · 取样来源对数密度梯度
SFT / 预训练pdatap_{\text{data}} · 数据softmax,可精确计算直接反传
扩散pdatap_{\text{data}} · 数据 + 加噪用 ELBO 或分数代替直接反传(MSE)
流匹配pdatap_{\text{data}} · 数据 + 噪声配对不计算,回归速度场直接反传(MSE)
RLπref⋅exp⁡(r/β)\pi_{\text{ref}}\cdot\exp(r/\beta) · 模型自身奖励是黑盒,不可导策略梯度
变分推断p(z∣x)p(z\mid x) · 模型自身log⁡p(x,z)\log p(x,z) 可导重参数化

扩散与流的采样

结论:训练时期望按数据取样,属于前向 KL;生成时由模型自身采样,但这些样本不进入训练 loss,不改变 KL 方向。当模型样本进入训练时,就变为反向 KL。

6.1 生成时的采样

扩散的反向 SDE[12]:

dx=[f(x,t)−g(t)2 ∇xlog⁡pt(x)]dt+g(t) dwˉdx=\left[f(x,t)-g(t)^2\,\nabla_x\log p_t(x)\right]dt+g(t)\,d\bar w

概率流 ODE(边缘分布相同,去掉随机项):

dxdt=f(x,t)−12g(t)2 ∇xlog⁡pt(x)\frac{dx}{dt}=f(x,t)-\tfrac12 g(t)^2\,\nabla_x\log p_t(x)

流匹配[13]:

dxdt=vθ(x,t),xt+Δt=xt+Δt⋅vθ(xt,t)\frac{dx}{dt}=v_\theta(x,t),\qquad x_{t+\Delta t}=x_t+\Delta t\cdot v_\theta(x_t,t)

扩散的概率流 ODE 是一种特殊的流。

6.2 训练不按模型取样

自回归语言模型扩散 / 流
训练时的输入真实前缀(teacher forcing)真实数据加噪
生成时的输入模型生成的前缀模型前几步的输出
训练取样来源数据 → 前向 KL数据 → 前向 KL
暴露偏差有有

6.3 模型样本进入训练

6.4 少步生成更换目标的原因

步数少时,单步需要跨越较大距离,单步条件分布本身是多峰的。用 MSE(单峰、前向 KL)训练会产生模式平均,生成结果模糊。所以少步生成常用反向 KL 或对抗目标:宁可只拟合一个峰,也要保证样本清晰。

在线蒸馏(OPD)

学生模型自身生成序列,在每个 token 上最小化与教师的反向 KL[15]:

LOPD=Ey∼πθ∑tDKL(πθ(⋅ ∣ y<t) ∥ πT(⋅ ∣ y<t))\mathcal{L}_{OPD}=\mathbb{E}_{y\sim\pi_\theta}\sum_t D_{KL}\big(\pi_\theta(\cdot\,|\,y_{<t})\,\big\|\,\pi_T(\cdot\,|\,y_{<t})\big)

等价的逐 token 奖励:

rt=log⁡πT(yt∣y<t)−log⁡πθ(yt∣y<t)r_t=\log\pi_T(y_t|y_{<t})-\log\pi_\theta(y_t|y_{<t})

7.1 对 RL 方差问题的作用

  1. 稀疏 → 稠密:每个 token 有独立信号,信用分配问题基本消失。这是方差降低的主要来源。
  2. 黑盒 → 白盒:可以读取教师在整个词表上的分布,单个 token 上的 KL 可对全词表精确求和,不需要采样估计。部分实现为节省算力,只用采到的 token(单样本估计)。
  3. 仍然存在的部分:前缀 y<ty_{<t} 由学生生成,仍需采样。常见实现忽略“当前 token 影响后续前缀”的梯度项(相当于折扣因子取 0),以少量偏差换取低方差。
SFT 蒸馏RLOPD
取样来源教师学生学生
KL 方向前向反向(对 π∗\pi^*反向(对 πT\pi_T
信号密度逐 token整条回答一个标量逐 token
目标密度不需要黑盒白盒,已归一化
暴露偏差有无无
梯度方差低高低

7.2 未解决的部分

梯度估计:策略梯度与重参数化

两者都求:

∇θ Ex∼pθ[f(x)]\nabla_\theta\,\mathbb{E}_{x\sim p_\theta}[f(x)]

θ\theta 位于采样分布中,“采到某个 xx这一步没有导数,因此需要先变形。

8.1 策略梯度的推导(对数导数技巧)

J(θ)=∑yπθ(y) r(y),∇J=∑y∇πθ(y) r(y)J(\theta)=\sum_y \pi_\theta(y)\,r(y),\qquad \nabla J=\sum_y \nabla\pi_\theta(y)\,r(y)

用恒等式 ∇π=π ∇log⁡π\nabla\pi = \pi\,\nabla\log\pi

∇J=Ey∼πθ[r(y) ∇θlog⁡πθ(y)]\nabla J=\mathbb{E}_{y\sim\pi_\theta}\big[r(y)\,\nabla_\theta\log\pi_\theta(y)\big]

rr 不被求导,可以是黑盒;代价是必须能计算 log⁡πθ(y)\log\pi_\theta(y)

8.2 先变形的必要性

蒙特卡洛估计只适用于 ∑yπ(y)f(y)\sum_y \pi(y) f(y) 的形式:按 π\pi 采样时,出现频率自动充当权重 π(y)\pi(y)

∑y∇π(y)⋅r(y)\sum_y \nabla\pi(y)\cdot r(y) 中的权重 ∇π(y)\nabla\pi(y) 不是概率分布:它可以为负、总和为 0,而且是向量。直接按 π\pi 采样并对 ∇π⋅r\nabla\pi\cdot r 取平均,得到的是 ∑yπ⋅∇π⋅r\sum_y \pi\cdot\nabla\pi\cdot r多乘了一个 π\pi结果有偏。先乘以 π\pi 再除以 π\pi多余的 π\pi 就被分母抵消。

最小例子:π(A)=θ\pi(A) = \thetaπ(B)=1−θ\pi(B) = 1 - \thetar(A)=1r(A) = 1r(B)=0r(B) = 0真实梯度 ∇J=1\nabla J = 1

估计方法每个样本期望结果
平均 ∇π⋅r\nabla\pi\cdot rA:1;B:0θ\theta错误
平均 ∇log⁡π⋅r\nabla\log\pi\cdot rA:1/θ1/\thetaB:01正确

因子 1/θ1/\theta 说明:稀有样本依靠大权重补偿,这是策略梯度方差大的直接来源之一。

8.3 重参数化的推导

x=gθ(ε),ε∼q(ε) (与 θ 无关)x=g_\theta(\varepsilon),\qquad \varepsilon\sim q(\varepsilon)\ \text{(与 θ 无关)} ∇θ Eε[f(gθ(ε))]=Eε[∇xf(x)∣x=gθ(ε)⋅∇θgθ(ε)]\nabla_\theta\,\mathbb{E}_{\varepsilon}\big[f(g_\theta(\varepsilon))\big]=\mathbb{E}_{\varepsilon}\Big[\nabla_x f(x)\big|_{x=g_\theta(\varepsilon)}\cdot\nabla_\theta g_\theta(\varepsilon)\Big]

前提:采样可写为可导变换;ff 对 xx 可导,且导数可以获得。

8.4 方差对比

x∼N(θ,1)x \sim \mathcal{N}(\theta, 1)f(x)=x2f(x) = x^2θ=0\theta = 0真实梯度为 0。

估计器每个样本方差
重参数化2x2x4
策略梯度x3x^315

f(x)=x2+100f(x) = x^2 + 100(最优解不变):

估计器每个样本方差
重参数化2x2x4
策略梯度(x2+100)⋅x(x^2 + 100)\cdot x10615

重参数化只用斜率,不受常数平移影响;策略梯度直接乘以 ff 的数值,因此需要 baseline。

8.5 适用条件

重参数化策略梯度
需要 ff 可导是否
需要采样可导是否
需要 log⁡p\log p 可计算否是
每个样本提供的信息方向(斜率)一个数值
方差低高

LLM 的 RL 只能使用策略梯度:token 是离散的,采样不可导(Gumbel-softmax[16] 可以松弛,但有偏);奖励来自验证器、测试或人类偏好,不可导。而自回归模型的 log⁡π\log\pi 最容易计算:

log⁡πθ(y)=∑tlog⁡πθ(yt ∣ y<t)\log\pi_\theta(y)=\sum_t \log\pi_\theta(y_t\,|\,y_{<t})
场景采样可导 · 目标可导梯度估计例子
变分推断是 · 是重参数化VAE 编码器
可导奖励的扩散微调是(ODE)· 是重参数化DRaFT[17]、ReFL[18]
黑盒奖励的扩散微调是 · 否策略梯度DDPO、Flow-GRPO
LLM 的 RL否 · 否策略梯度PPO、GRPO
OPD前缀否,单 token 内对全词表求和 · 是混合在线蒸馏

重参数化在扩散中的代价:长链反传占用显存大,梯度容易爆炸或消失(DRaFT 只对最后 KK 步反传);可导的奖励模型容易被梯度针对性地利用。

8.6 扩散 SDE 单步对数概率

采样器每步:

xt−1=μθ(xt,t)+σt ε,ε∼N(0,I)x_{t-1}=\mu_\theta(x_t,t)+\sigma_t\,\varepsilon,\qquad \varepsilon\sim\mathcal{N}(0,I)

DDPM 中:

μθ(xt,t)=1αt(xt−βt1−αˉt εθ(xt,t))\mu_\theta(x_t,t)=\frac{1}{\sqrt{\alpha_t}}\Big(x_t-\frac{\beta_t}{\sqrt{1-\bar\alpha_t}}\,\varepsilon_\theta(x_t,t)\Big)

σt\sigma_t 由噪声调度固定,所以 xt−1∣xt∼N(μθ,σt2I)x_{t-1}\mid x_t \sim \mathcal{N}(\mu_\theta, \sigma_t^2 I)dd 维各向同性高斯的密度为:

N(x;μ,σ2I)=(2πσ2)−d/2exp⁡ ⁣(−∥x−μ∥22σ2)\mathcal{N}(x;\mu,\sigma^2 I)=(2\pi\sigma^2)^{-d/2}\exp\!\Big(-\frac{\|x-\mu\|^2}{2\sigma^2}\Big)

取对数:

log⁡pθ(xt−1∣xt)=−∥xt−1−μθ(xt,t)∥22σt2−d2log⁡(2πσt2)\log p_\theta(x_{t-1}|x_t)=-\frac{\|x_{t-1}-\mu_\theta(x_t,t)\|^2}{2\sigma_t^2}-\frac{d}{2}\log(2\pi\sigma_t^2)

第二项与 θ\theta 无关。梯度为:

∇θlog⁡pθ(xt−1∣xt)=xt−1−μθσt2 ∇θμθ=εσt ∇θμθ\nabla_\theta\log p_\theta(x_{t-1}|x_t)=\frac{x_{t-1}-\mu_\theta}{\sigma_t^2}\,\nabla_\theta\mu_\theta=\frac{\varepsilon}{\sigma_t}\,\nabla_\theta\mu_\theta

奖励高时,梯度将 μθ\mu_\theta 推向所采噪声 ε\varepsilon 的方向。ODE 相当于 σt→0\sigma_t \to 0对数概率与梯度中的 1/σt1/\sigma_t 发散,单步对数概率没有定义。所以策略梯度需要 SDE。

得分函数(score function)

9.1 定义

s(θ;x)=∇θlog⁡pθ(x)s(\theta;x)=\nabla_\theta\log p_\theta(x)

样本 xx 固定,对参数 θ\theta 求导,求导对象是对数概率。其含义是:θ\theta 沿哪个方向变化时,xx 的对数概率上升最快。对样本的对数概率关于参数求导,得到的就是得分函数。策略梯度即:

∇θJ=Ex∼pθ[ f(x)⋅s(θ;x) ]\nabla_\theta J=\mathbb{E}_{x\sim p_\theta}\big[\,f(x)\cdot s(\theta;x)\,\big]

例:N(μ,σ2)\mathcal{N}(\mu, \sigma^2) 对 μ\mu 的得分为 (x−μ)/σ2(x - \mu)/\sigma^2

9.2 三个易混淆的量

写法对谁求导 · 名称用途
∇θpθ(x)\nabla_\theta p_\theta(x)参数 θ\theta · 密度对参数的梯度策略梯度推导的中间步骤
∇θlog⁡pθ(x)\nabla_\theta \log p_\theta(x)参数 θ\theta · 得分(费舍尔得分)策略梯度、REINFORCE
∇xlog⁡p(x)\nabla_x \log p(x)数据 xx · 得分(Stein 得分)扩散模型、分数匹配

9.3 三个性质

1. 期望为零:

Ex∼pθ[s(θ;x)]=∇θ∑xpθ=0\mathbb{E}_{x\sim p_\theta}[s(\theta;x)]=\nabla_\theta\sum_x p_\theta=0

因此减去任意常数 baseline 不改变梯度的期望,只降低方差:

E[(f(x)−b) s]=E[f s]\mathbb{E}\big[(f(x)-b)\,s\big]=\mathbb{E}[f\,s]

2. 协方差是费舍尔信息,也是 KL 的局部曲率:

I(θ)=E[s s⊤],DKL(pθ ∥ pθ+δ)≈12 δ⊤I(θ) δI(\theta)=\mathbb{E}\big[s\,s^\top\big],\qquad D_{KL}(p_\theta\,\|\,p_{\theta+\delta})\approx\tfrac12\,\delta^\top I(\theta)\,\delta

TRPO[19] / PPO 的 KL 约束与自然梯度都基于这一性质。

3. 最大似然的解满足数据上的得分之和为零:

∑is(θ;xi)=0\sum_i s(\theta;x_i)=0
场景得分函数的角色
SFT / 最大似然梯度 = 数据样本上的平均得分
策略梯度梯度 = 模型自身样本上的得分 × 奖励
baseline依赖得分的期望为零
PPO / TRPO 的 KL 约束依赖得分的协方差 = 费舍尔信息

要点

  1. 第一性原理层面只有一条分界:按数据取样(前向 KL),还是按模型取样(反向 KL)。前者偏向召回,后者偏向精确率。
  2. 取样来源由信息形式决定:有样本 → 前向 KL;只有打分器 → 反向 KL。
  3. SFT 与 RL 的梯度形式相同,只差样本来源与权重。奖励定义了目标分布 π∗∝πref⋅exp⁡(r/β)\pi^* \propto \pi_{\text{ref}}\cdot\exp(r/\beta)
  4. “容量”指输出分布的形式能否表示多峰,而不是参数量。容量足够时两种 KL 的最优解相同,但反向 KL 仍可能因采不到样本而丢峰。
  5. 密度能否计算、能否求导,决定了 loss 的形式(NLL、MSE、策略梯度)。
  6. 能获得 ff 的斜率时用重参数化;只能获得 ff 的数值时用策略梯度,并用 baseline 降低方差。

参考文献

  1. M. S. M. Sajjadi, O. Bachem, M. Lucic, O. Bousquet, and S. Gelly, “Assessing generative models via precision and recall,” in Proc. NeurIPS, 2018, arXiv: 1806.00035.
  2. J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” 2017, arXiv: 1707.06347.
  3. Z. Shao et al., “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300.
  4. Y. Yue et al., “Does reinforcement learning really incentivize reasoning capacity in LLMs beyond the base model?,” 2025, arXiv: 2504.13837.
  5. R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn, “Direct preference optimization: Your language model is secretly a reward model,” in Proc. NeurIPS, 2023, arXiv: 2305.18290.
  6. K. Black, M. Janner, Y. Du, I. Kostrikov, and S. Levine, “Training diffusion models with reinforcement learning,” in Proc. ICLR, 2024, arXiv: 2305.13301.
  7. J. Liu et al., “Flow-GRPO: Training flow matching models via online RL,” in Proc. NeurIPS, 2025, arXiv: 2505.05470.
  8. S. Levine, “Reinforcement learning and control as probabilistic inference: Tutorial and review,” 2018, arXiv: 1805.00909.
  9. J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” in Proc. NeurIPS, 2020, arXiv: 2006.11239.
  10. Y. Song, C. Durkan, I. Murray, and S. Ermon, “Maximum likelihood training of score-based diffusion models,” in Proc. NeurIPS, 2021, arXiv: 2101.09258.
  11. D. M. Blei, A. Kucukelbir, and J. D. McAuliffe, “Variational inference: A review for statisticians,” J. Amer. Statist. Assoc., vol. 112, no. 518, pp. 859–877, 2017, doi: 10.1080/01621459.2017.1285773.
  12. Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR, 2021, arXiv: 2011.13456.
  13. Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in Proc. ICLR, 2023, arXiv: 2210.02747.
  14. T. Yin et al., “One-step diffusion with distribution matching distillation,” in Proc. CVPR, 2024, arXiv: 2311.18828.
  15. R. Agarwal et al., “On-policy distillation of language models: Learning from self-generated mistakes,” in Proc. ICLR, 2024, arXiv: 2306.13649.
  16. E. Jang, S. Gu, and B. Poole, “Categorical reparameterization with Gumbel-softmax,” in Proc. ICLR, 2017, arXiv: 1611.01144.
  17. K. Clark, P. Vicol, K. Swersky, and D. J. Fleet, “Directly fine-tuning diffusion models on differentiable rewards,” in Proc. ICLR, 2024, arXiv: 2309.17400.
  18. J. Xu et al., “ImageReward: Learning and evaluating human preferences for text-to-image generation,” in Proc. NeurIPS, 2023, arXiv: 2304.05977.
  19. J. Schulman, S. Levine, P. Moritz, M. Jordan, and P. Abbeel, “Trust region policy optimization,” in Proc. ICML, 2015, arXiv: 1502.05477.