Flow-GRPO 中的逆时 SDE:从概率流 ODE 到高斯策略

2026-10-14笔记生成模型Flow Matching强化学习GRPO

Flow-GRPO[1] 把 GRPO[2] 用到 Flow Matching 模型上。GRPO 需要每一步动作的对数概率,而 Flow Matching 的常规采样是确定性的常微分方程(Ordinary Differential Equation,ODE),没有转移概率。Flow-GRPO 把 ODE 改写成边缘分布相同的随机微分方程(Stochastic Differential Equation,SDE),再离散成每步一个高斯策略。推导分三步:

步骤使用的工具得到的结果
ODE 改写为 SDEFokker-Planck 方程式 (12):含 score 的逆时 SDE
消去 score条件 score、后验平均、插值关系式 (19):只含速度场的 SDE
离散Euler-Maruyama式 (20):每步一个各向同性高斯策略

设定:插值路径与边缘分布

大写 Xt\boldsymbol{X}_t 表示随机变量,小写 xt\boldsymbol{x}_t 表示它的一次具体取值;pt(xt)p_t(\boldsymbol{x}_t) 是 Xt\boldsymbol{X}_t 在点 xt\boldsymbol{x}_t 处的密度。条件期望里竖线左边是被平均的随机变量,竖线右边和函数参数是具体值。

符号含义
x0∼pdata\boldsymbol{x}_0\sim p_{\text{data}}数据
x1∼N(0,I)\boldsymbol{x}_1\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I})插值路径上的噪声端点
ϵ∼N(0,I)\boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I})SDE 采样时每一步注入的噪声
c\boldsymbol{c}条件生成时的提示词
ptp_t时刻 tt 的边缘分布

修正流(Rectified Flow)[3]把加噪数据定义为数据和噪声的线性插值:

xt=(1−t) x0+t x1,x1∼N(0,I),t∈[0,1]\boldsymbol{x}_t=(1-t)\,\boldsymbol{x}_0+t\,\boldsymbol{x}_1,\qquad \boldsymbol{x}_1\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I}),\quad t\in[0,1]

t=0t=0 是数据,t=1t=1 是噪声。训练时在 [0,1][0,1] 上随机取 tt 构造 xt\boldsymbol{x}_t采样时从 t=1t=1 走到 t=0t=0步长 Δt<0\Delta t<0

注意:不同论文的时间约定可能相反。 Lipman 等人的 Flow Matching[4]以 t=0t=0 为噪声、t=1t=1 为数据。判断方法是看插值式中噪声乘的是 tt 还是 1−t1-t

速度场是给定当前位置时“噪声减数据”的条件期望:

vt(xt)=E[X1−X0 ∣ Xt=xt]\boldsymbol{v}_t(\boldsymbol{x}_t)=\mathbb{E}\big[\boldsymbol{X}_1-\boldsymbol{X}_0 \,\big|\, \boldsymbol{X}_t=\boldsymbol{x}_t\big]

确定性采样就是求解概率流 ODE[5]:

dxt=vt(xt) dt,t:1→0\mathrm{d}\boldsymbol{x}_t=\boldsymbol{v}_t(\boldsymbol{x}_t)\,\mathrm{d}t,\qquad t:1\to 0

ODE 采样只有起点 x1\boldsymbol{x}_1 随机。SDE 采样每一步都注入噪声,轨迹 τ=(x1,…,x0)\tau=(\boldsymbol{x}_1,\dots,\boldsymbol{x}_0) 的概率是一连串条件分布的乘积:

p(τ)=p1(x1)∏每一步πθ(xt+Δt∣xt,c)p(\tau)=p_1(\boldsymbol{x}_1)\prod_{\text{每一步}}\pi_\theta(\boldsymbol{x}_{t+\Delta t}\mid\boldsymbol{x}_t,\boldsymbol{c})

GRPO 通过调整每一步的策略 πθ\pi_\theta 来改变这个轨迹分布。

条件分布与边缘分布

固定数据点 x0\boldsymbol{x}_0 时,由式 (1),xt\boldsymbol{x}_t 是均值为 (1−t)x0(1-t)\boldsymbol{x}_0标准差为 tt 的高斯:

pt(x∣x0)=N((1−t)x0, t2I)p_t(\boldsymbol{x}\mid\boldsymbol{x}_0)=\mathcal{N}\big((1-t)\boldsymbol{x}_0,\ t^2\boldsymbol{I}\big)

对数据积分得到边缘分布,即噪声水平为 tt 时所有样本整体的分布:

pt(x)=∫pt(x∣x0) pdata(x0) dx0p_t(\boldsymbol{x})=\int p_t(\boldsymbol{x}\mid\boldsymbol{x}_0)\,p_{\text{data}}(\boldsymbol{x}_0)\,\mathrm{d}\boldsymbol{x}_0

两个端点上 p0=pdatap_0=p_{\text{data}}p1=N(0,I)p_1=\mathcal{N}(\boldsymbol{0},\boldsymbol{I})Flow 论文中说“边缘分布”时,指的就是 pt(x)p_t(\boldsymbol{x})

逆时 SDE:边缘分布不变

ODE dx=vt dt\mathrm{d}\boldsymbol{x}=\boldsymbol{v}_t\,\mathrm{d}t 的密度演化由连续性方程描述:

∂tpt=−∇⋅(vt pt)\partial_t p_t=-\nabla\cdot(\boldsymbol{v}_t\,p_t)

SDE dx=f dt+σt dw\mathrm{d}\boldsymbol{x}=\boldsymbol{f}\,\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w} 的密度演化由 Fokker-Planck 方程描述:

∂tpt=−∇⋅(f pt)+σt22Δpt\partial_t p_t=-\nabla\cdot(\boldsymbol{f}\,p_t)+\frac{\sigma_t^2}{2}\Delta p_t

利用 Δp=∇⋅(p ∇log⁡p)\Delta p=\nabla\cdot(p\,\nabla\log p)式 (8) 可以改写为

∂tpt=−∇⋅[(f−σt22∇log⁡pt)pt]\partial_t p_t=-\nabla\cdot\Big[\Big(\boldsymbol{f}-\frac{\sigma_t^2}{2}\nabla\log p_t\Big)p_t\Big]

和式 (7) 比较,只要漂移项满足下式,两者的边缘分布就完全相同:

f=vt+σt22∇log⁡pt\boldsymbol{f}=\boldsymbol{v}_t+\frac{\sigma_t^2}{2}\nabla\log p_t

这是 tt 增大方向的结果。生成过程是 t:1→0t:1\to 0令 s=1−ts=1-tODE 写成 dx=−vt ds\mathrm{d}\boldsymbol{x}=-\boldsymbol{v}_t\,\mathrm{d}s在 ss 上套用式 (10):

dx=(−vt+σt22∇log⁡pt)ds+σt dwˉ\mathrm{d}\boldsymbol{x}=\Big(-\boldsymbol{v}_t+\frac{\sigma_t^2}{2}\nabla\log p_t\Big)\mathrm{d}s+\sigma_t\,\mathrm{d}\bar{\boldsymbol{w}}

代回 ds=−dt\mathrm{d}s=-\mathrm{d}t漂移项变号;布朗增量关于方向对称,噪声项形式不变:

dxt=(vt(xt)−σt22∇log⁡pt(xt))dt+σt dw\mathrm{d}\boldsymbol{x}_t=\Big(\boldsymbol{v}_t(\boldsymbol{x}_t)-\frac{\sigma_t^2}{2}\nabla\log p_t(\boldsymbol{x}_t)\Big)\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w}

其中 dt<0\mathrm{d}t<0注入噪声会使分布扩散,score 修正项抵消这部分扩散。σt\sigma_t 可以自由选择,σt=0\sigma_t=0 时退化为原 ODE,所以一个 ODE 对应一族边缘分布相同的 SDE[5]。

用速度场表示 score

score ∇log⁡pt(x)\nabla\log p_t(\boldsymbol{x}) 是边缘分布对数密度的梯度。式 (12) 中的 score 不是模型的输出,需要换成速度场。

条件 score

高斯 N(μ,s2I)\mathcal{N}(\boldsymbol{\mu},s^2\boldsymbol{I}) 的 score 是 −(x−μ)/s2-(\boldsymbol{x}-\boldsymbol{\mu})/s^2代入式 (5),再由式 (1) 得分子为 t x1t\,\boldsymbol{x}_1

∇log⁡pt(xt∣x0)=−xt−(1−t)x0t2=−x1t\nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)=-\frac{\boldsymbol{x}_t-(1-t)\boldsymbol{x}_0}{t^2}=-\frac{\boldsymbol{x}_1}{t}

条件 score 是这次所加噪声取反、再缩放 1/t1/t采样时 x0\boldsymbol{x}_0 和 x1\boldsymbol{x}_1 都未知,所以它不能直接使用。给定 xt\boldsymbol{x}_t 后,约束 (1−t)x0+tx1=xt(1-t)\boldsymbol{x}_0+t\boldsymbol{x}_1=\boldsymbol{x}_t 把两者绑定,后验 p(x1∣xt)p(\boldsymbol{x}_1\mid\boldsymbol{x}_t) 不再是标准高斯,而取决于数据分布。

边缘 score:后验平均

对式 (6) 求梯度,并利用 ∇p=p ∇log⁡p\nabla p=p\,\nabla\log p

∇pt(xt)=∫pt(xt∣x0) pdata(x0) ∇log⁡pt(xt∣x0) dx0\nabla p_t(\boldsymbol{x}_t)=\int p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)\,p_{\text{data}}(\boldsymbol{x}_0)\,\nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)\,\mathrm{d}\boldsymbol{x}_0

两边除以 pt(xt)p_t(\boldsymbol{x}_t)由贝叶斯公式,积分权重变为后验 p(x0∣xt)p(\boldsymbol{x}_0\mid\boldsymbol{x}_t)因此边缘 score 等于条件 score 的后验期望[6]:

∇log⁡pt(xt)=E[∇log⁡pt(xt∣X0) ∣ Xt=xt]\nabla\log p_t(\boldsymbol{x}_t)=\mathbb{E}\big[\nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{X}_0)\ \big|\ \boldsymbol{X}_t=\boldsymbol{x}_t\big]

代入式 (13)。给定 xt\boldsymbol{x}_t 后 X0\boldsymbol{X}_0 与 X1\boldsymbol{X}_1 一一对应,期望可以改为对 X1\boldsymbol{X}_1 取:

∇log⁡pt(xt)=−1t E[X1∣Xt=xt]\nabla\log p_t(\boldsymbol{x}_t)=-\frac{1}{t}\,\mathbb{E}\big[\boldsymbol{X}_1\mid\boldsymbol{X}_t=\boldsymbol{x}_t\big]

高斯加噪下后验均值与 score 的这一关系通常称为 Tweedie 公式[7]。

换成速度场

式 (1) 可以写成 xt=x1−(1−t)(x1−x0)\boldsymbol{x}_t=\boldsymbol{x}_1-(1-t)(\boldsymbol{x}_1-\boldsymbol{x}_0)对 Xt=xt\boldsymbol{X}_t=\boldsymbol{x}_t 取条件期望,并利用式 (2):

E[X1∣xt]=xt+(1−t) vt(xt)\mathbb{E}[\boldsymbol{X}_1\mid\boldsymbol{x}_t]=\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t)

代入式 (16):

∇log⁡pt(xt)=−xt+(1−t) vt(xt)t\nabla\log p_t(\boldsymbol{x}_t)=-\frac{\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t)}{t}

再代入式 (12),两个负号相消:

dxt=[vt(xt)+σt22t(xt+(1−t) vt(xt))]dt+σt dw\mathrm{d}\boldsymbol{x}_t=\Big[\boldsymbol{v}_t(\boldsymbol{x}_t)+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t)\big)\Big]\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w}

离散:每步一个高斯策略

Euler-Maruyama 离散

对式 (19) 做一阶 Euler-Maruyama 离散[8]:dt\mathrm{d}t 换成 Δt\Delta t布朗增量 dw\mathrm{d}\boldsymbol{w} 换成 Δt ϵ\sqrt{\Delta t}\,\boldsymbol{\epsilon}因为 wt+Δt−wt∼N(0,Δt I)\boldsymbol{w}_{t+\Delta t}-\boldsymbol{w}_t\sim\mathcal{N}(\boldsymbol{0},\Delta t\,\boldsymbol{I})真实速度场换成网络 vθ(xt,t)\boldsymbol{v}_\theta(\boldsymbol{x}_t,t)简写为 vθ\boldsymbol{v}_\theta得到采样更新式:

xt+Δt=xt+[vθ+σt22t(xt+(1−t) vθ)]Δt+σtΔt ϵ\boldsymbol{x}_{t+\Delta t}=\boldsymbol{x}_t+\Big[\boldsymbol{v}_\theta+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_\theta\big)\Big]\Delta t+\sigma_t\sqrt{\Delta t}\,\boldsymbol{\epsilon}

三项依次是原速度、score 修正项和噪声项。常规 ODE 采样 xt+Δt=xt+vθ Δt\boldsymbol{x}_{t+\Delta t}=\boldsymbol{x}_t+\boldsymbol{v}_\theta\,\Delta t 只有第一项。整个过程使用同一个预训练模型,不需要重新训练。

注意:采样时 Δt<0\Delta t<0噪声项严格应写为 σt∣Δt∣ ϵ\sigma_t\sqrt{|\Delta t|}\,\boldsymbol{\epsilon} 式 (20) 沿用 Flow-GRPO 原文的简写。

Flow-GRPO 的噪声调度取 σt=at/(1−t)\sigma_t=a\sqrt{t/(1-t)}aa 控制噪声水平[1]。该式在 t=1t=1 处发散,实际采样从略小于 1 的时刻开始。

噪声项把样本向外扩散。score 修正项等于 −σt22∇log⁡pt-\frac{\sigma_t^2}{2}\nabla\log p_t乘上 Δt<0\Delta t<0 后沿 score 方向把样本拉回高密度区域。两者平衡,所以 ODE 与 SDE 的单条轨迹不同,式 (4) 的轨迹分布也不同,但每个时刻的边缘分布都是 ptp_tt=0t=0 时的生成分布不变。

各向同性高斯策略

式 (20) 可以拆成均值加高斯噪声。均值为

μθ=xt+[vθ+σt22t(xt+(1−t) vθ)]Δt\boldsymbol{\mu}_\theta=\boldsymbol{x}_t+\Big[\boldsymbol{v}_\theta+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_\theta\big)\Big]\Delta t

每一步的策略是协方差为标量乘单位矩阵的各向同性高斯:

πθ(xt+Δt∣xt,c)=N(μθ, σt2∣Δt∣ I)\pi_\theta(\boldsymbol{x}_{t+\Delta t}\mid\boldsymbol{x}_t,\boldsymbol{c})=\mathcal{N}\big(\boldsymbol{\mu}_\theta,\ \sigma_t^2|\Delta t|\,\boldsymbol{I}\big)

这带来两个好处。第一,log⁡πθ\log\pi_\theta 可以直接写出,从而能算 GRPO 所需的重要性比率;ODE 采样没有转移概率,做不到这一点。第二,协方差相同的两个高斯之间,KL 散度只剩均值差一项:

DKL(πθ ∥ πref)=∥μθ−μref∥22σt2∣Δt∣D_{\mathrm{KL}}(\pi_\theta\,\|\,\pi_{\mathrm{ref}})=\frac{\|\boldsymbol{\mu}_\theta-\boldsymbol{\mu}_{\mathrm{ref}}\|^2}{2\sigma_t^2|\Delta t|}

代入式 (21),xt\boldsymbol{x}_t 项相互抵消:

μθ−μref=(1+σt2(1−t)2t)Δt (vθ−vref)\boldsymbol{\mu}_\theta-\boldsymbol{\mu}_{\mathrm{ref}}=\left(1+\frac{\sigma_t^2(1-t)}{2t}\right)\Delta t\,\big(\boldsymbol{v}_\theta-\boldsymbol{v}_{\mathrm{ref}}\big)

平方后与分母约去一个 ∣Δt∣|\Delta t|再把 σt2\sigma_t^2 拆进括号:

DKL=∣Δt∣2(σt(1−t)2t+1σt)2∥vθ(xt,t)−vref(xt,t)∥2D_{\mathrm{KL}}=\frac{|\Delta t|}{2}\left(\frac{\sigma_t(1-t)}{2t}+\frac{1}{\sigma_t}\right)^2\big\|\boldsymbol{v}_\theta(\boldsymbol{x}_t,t)-\boldsymbol{v}_{\mathrm{ref}}(\boldsymbol{x}_t,t)\big\|^2

KL 就是两个模型预测速度之差的平方,乘一个只依赖 tt 的系数。

SDE 采样让每一步有了可算的对数概率和闭式 KL,是 Flow-GRPO 的使能条件;真正提升模型的是 GRPO 根据奖励对策略的优化。

参考文献

  1. J. Liu et al., “Flow-GRPO: Training flow matching models via online RL,” in Proc. NeurIPS, 2025, arXiv: 2505.05470.
  2. Z. Shao et al., “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300.
  3. X. Liu, C. Gong, and Q. Liu, “Flow straight and fast: Learning to generate and transfer data with rectified flow,” in Proc. ICLR, 2023, arXiv: 2209.03003.
  4. Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in Proc. ICLR, 2023, arXiv: 2210.02747.
  5. Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR, 2021, arXiv: 2011.13456.
  6. P. Vincent, “A connection between score matching and denoising autoencoders,” Neural Comput., vol. 23, no. 7, pp. 1661–1674, 2011, doi: 10.1162/NECO_a_00142.
  7. B. Efron, “Tweedie’s formula and selection bias,” J. Amer. Statist. Assoc., vol. 106, no. 496, pp. 1602–1614, 2011, doi: 10.1198/jasa.2011.tm11181.
  8. P. E. Kloeden and E. Platen, Numerical Solution of Stochastic Differential Equations. Berlin, Germany: Springer, 1992.