Flow-GRPO 中的逆时 SDE:从概率流 ODE 到高斯策略 2026-10-14笔记 生成模型 Flow Matching 强化学习 GRPO
Flow-GRPO[1] 把 GRPO[2] 用到 Flow Matching 模型上。GRPO 需要每一步动作的对数概率,而 Flow Matching 的常规采样是确定性的常微分方程(Ordinary Differential Equation,ODE),没有转移概率。Flow-GRPO 把 ODE 改写成边缘分布相同的随机微分方程(Stochastic Differential Equation,SDE),再离散成每步一个高斯策略。推导分三步:
步骤 使用的工具 得到的结果 ODE 改写为 SDE Fokker-Planck 方程 式 (12):含 score 的逆时 SDE 消去 score 条件 score、后验平均、插值关系 式 (19):只含速度场的 SDE 离散 Euler-Maruyama 式 (20):每步一个各向同性高斯策略
设定:插值路径与边缘分布
大写 X t \boldsymbol{X}_t X t 表示随机变量,小写 x t \boldsymbol{x}_t x t 表示它的一次具体取值;p t ( x t ) p_t(\boldsymbol{x}_t) p t ( x t ) 是 X t \boldsymbol{X}_t X t 在点 x t \boldsymbol{x}_t x t 处的密度。条件期望里竖线左边是被平均的随机变量,竖线右边和函数参数是具体值。
符号 含义 x 0 ∼ p data \boldsymbol{x}_0\sim p_{\text{data}} x 0 ∼ p data 数据 x 1 ∼ N ( 0 , I ) \boldsymbol{x}_1\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I}) x 1 ∼ N ( 0 , I ) 插值路径上的噪声端点 ϵ ∼ N ( 0 , I ) \boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I}) ϵ ∼ N ( 0 , I ) SDE 采样时每一步注入的噪声 c \boldsymbol{c} c 条件生成时的提示词 p t p_t p t 时刻 t t t 的边缘分布
存疑:草稿把下式称为修正流(Rectified Flow)的定义。修正流原文 2209.03003 以 t=0 为噪声、t=1 为数据;t=0 为数据、t=1 为噪声的写法见 SD3 2403.03206 ,Flow-GRPO 沿用后者。建议改为“Flow-GRPO 采用的修正流写法”。
修正流(Rectified Flow)[3] 把加噪数据定义为数据和噪声的线性插值:
x t = ( 1 − t ) x 0 + t x 1 , x 1 ∼ N ( 0 , I ) , t ∈ [ 0 , 1 ] \boldsymbol{x}_t=(1-t)\,\boldsymbol{x}_0+t\,\boldsymbol{x}_1,\qquad \boldsymbol{x}_1\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I}),\quad t\in[0,1] x t = ( 1 − t ) x 0 + t x 1 , x 1 ∼ N ( 0 , I ) , t ∈ [ 0 , 1 ]
t = 0 t=0 t = 0 是数据,t = 1 t=1 t = 1 是噪声。训练时在 [ 0 , 1 ] [0,1] [ 0 , 1 ] 上随机取 t t t 构造 x t \boldsymbol{x}_t x t ; 采样时从 t = 1 t=1 t = 1 走到 t = 0 t=0 t = 0 , 步长 Δ t < 0 \Delta t<0 Δ t < 0 。
注意:不同论文的时间约定可能相反。 Lipman 等人的 Flow Matching[4] 以 t = 0 t=0 t = 0 为噪声、t = 1 t=1 t = 1 为数据。判断方法是看插值式中噪声乘的是 t t t 还是 1 − t 1-t 1 − t 。
速度场是给定当前位置时“噪声减数据”的条件期望:
v t ( x t ) = E [ X 1 − X 0 ∣ X t = x t ] \boldsymbol{v}_t(\boldsymbol{x}_t)=\mathbb{E}\big[\boldsymbol{X}_1-\boldsymbol{X}_0 \,\big|\, \boldsymbol{X}_t=\boldsymbol{x}_t\big] v t ( x t ) = E [ X 1 − X 0 X t = x t ]
确定性采样就是求解概率流 ODE[5] :
d x t = v t ( x t ) d t , t : 1 → 0 \mathrm{d}\boldsymbol{x}_t=\boldsymbol{v}_t(\boldsymbol{x}_t)\,\mathrm{d}t,\qquad t:1\to 0 d x t = v t ( x t ) d t , t : 1 → 0
ODE 采样只有起点 x 1 \boldsymbol{x}_1 x 1 随机。SDE 采样每一步都注入噪声,轨迹 τ = ( x 1 , … , x 0 ) \tau=(\boldsymbol{x}_1,\dots,\boldsymbol{x}_0) τ = ( x 1 , … , x 0 ) 的概率是一连串条件分布的乘积:
p ( τ ) = p 1 ( x 1 ) ∏ 每一步 π θ ( x t + Δ t ∣ x t , c ) p(\tau)=p_1(\boldsymbol{x}_1)\prod_{\text{每一步}}\pi_\theta(\boldsymbol{x}_{t+\Delta t}\mid\boldsymbol{x}_t,\boldsymbol{c}) p ( τ ) = p 1 ( x 1 ) 每一步 ∏ π θ ( x t + Δ t ∣ x t , c )
GRPO 通过调整每一步的策略 π θ \pi_\theta π θ 来改变这个轨迹分布。
条件分布与边缘分布
固定数据点 x 0 \boldsymbol{x}_0 x 0 时,由式 (1),x t \boldsymbol{x}_t x t 是均值为 ( 1 − t ) x 0 (1-t)\boldsymbol{x}_0 ( 1 − t ) x 0 、 标准差为 t t t 的高斯:
p t ( x ∣ x 0 ) = N ( ( 1 − t ) x 0 , t 2 I ) p_t(\boldsymbol{x}\mid\boldsymbol{x}_0)=\mathcal{N}\big((1-t)\boldsymbol{x}_0,\ t^2\boldsymbol{I}\big) p t ( x ∣ x 0 ) = N ( ( 1 − t ) x 0 , t 2 I )
对数据积分得到边缘分布,即噪声水平为 t t t 时所有样本整体的分布:
p t ( x ) = ∫ p t ( x ∣ x 0 ) p data ( x 0 ) d x 0 p_t(\boldsymbol{x})=\int p_t(\boldsymbol{x}\mid\boldsymbol{x}_0)\,p_{\text{data}}(\boldsymbol{x}_0)\,\mathrm{d}\boldsymbol{x}_0 p t ( x ) = ∫ p t ( x ∣ x 0 ) p data ( x 0 ) d x 0
两个端点上 p 0 = p data p_0=p_{\text{data}} p 0 = p data , p 1 = N ( 0 , I ) p_1=\mathcal{N}(\boldsymbol{0},\boldsymbol{I}) p 1 = N ( 0 , I ) 。 Flow 论文中说“边缘分布”时,指的就是 p t ( x ) p_t(\boldsymbol{x}) p t ( x ) 。
逆时 SDE:边缘分布不变
ODE d x = v t d t \mathrm{d}\boldsymbol{x}=\boldsymbol{v}_t\,\mathrm{d}t d x = v t d t 的密度演化由连续性方程描述:
∂ t p t = − ∇ ⋅ ( v t p t ) \partial_t p_t=-\nabla\cdot(\boldsymbol{v}_t\,p_t) ∂ t p t = − ∇ ⋅ ( v t p t )
SDE d x = f d t + σ t d w \mathrm{d}\boldsymbol{x}=\boldsymbol{f}\,\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w} d x = f d t + σ t d w 的密度演化由 Fokker-Planck 方程描述:
∂ t p t = − ∇ ⋅ ( f p t ) + σ t 2 2 Δ p t \partial_t p_t=-\nabla\cdot(\boldsymbol{f}\,p_t)+\frac{\sigma_t^2}{2}\Delta p_t ∂ t p t = − ∇ ⋅ ( f p t ) + 2 σ t 2 Δ p t
利用 Δ p = ∇ ⋅ ( p ∇ log p ) \Delta p=\nabla\cdot(p\,\nabla\log p) Δ p = ∇ ⋅ ( p ∇ log p ) , 式 (8) 可以改写为
∂ t p t = − ∇ ⋅ [ ( f − σ t 2 2 ∇ log p t ) p t ] \partial_t p_t=-\nabla\cdot\Big[\Big(\boldsymbol{f}-\frac{\sigma_t^2}{2}\nabla\log p_t\Big)p_t\Big] ∂ t p t = − ∇ ⋅ [ ( f − 2 σ t 2 ∇ log p t ) p t ]
和式 (7) 比较,只要漂移项满足下式,两者的边缘分布就完全相同:
f = v t + σ t 2 2 ∇ log p t \boldsymbol{f}=\boldsymbol{v}_t+\frac{\sigma_t^2}{2}\nabla\log p_t f = v t + 2 σ t 2 ∇ log p t
这是 t t t 增大方向的结果。生成过程是 t : 1 → 0 t:1\to 0 t : 1 → 0 。 令 s = 1 − t s=1-t s = 1 − t , ODE 写成 d x = − v t d s \mathrm{d}\boldsymbol{x}=-\boldsymbol{v}_t\,\mathrm{d}s d x = − v t d s , 在 s s s 上套用式 (10):
d x = ( − v t + σ t 2 2 ∇ log p t ) d s + σ t d w ˉ \mathrm{d}\boldsymbol{x}=\Big(-\boldsymbol{v}_t+\frac{\sigma_t^2}{2}\nabla\log p_t\Big)\mathrm{d}s+\sigma_t\,\mathrm{d}\bar{\boldsymbol{w}} d x = ( − v t + 2 σ t 2 ∇ log p t ) d s + σ t d w ˉ
代回 d s = − d t \mathrm{d}s=-\mathrm{d}t d s = − d t , 漂移项变号;布朗增量关于方向对称,噪声项形式不变:
待核实:下式及后文的式 (19)、(20) 对应 Flow-GRPO 论文中的式 (7)、(8)、(9),编号沿用草稿,未对照论文正文核对。
d x t = ( v t ( x t ) − σ t 2 2 ∇ log p t ( x t ) ) d t + σ t d w \mathrm{d}\boldsymbol{x}_t=\Big(\boldsymbol{v}_t(\boldsymbol{x}_t)-\frac{\sigma_t^2}{2}\nabla\log p_t(\boldsymbol{x}_t)\Big)\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w} d x t = ( v t ( x t ) − 2 σ t 2 ∇ log p t ( x t ) ) d t + σ t d w
其中 d t < 0 \mathrm{d}t<0 d t < 0 。 注入噪声会使分布扩散,score 修正项抵消这部分扩散。σ t \sigma_t σ t 可以自由选择,σ t = 0 \sigma_t=0 σ t = 0 时退化为原 ODE,所以一个 ODE 对应一族边缘分布相同的 SDE[5] 。
用速度场表示 score
score ∇ log p t ( x ) \nabla\log p_t(\boldsymbol{x}) ∇ log p t ( x ) 是边缘分布对数密度的梯度。式 (12) 中的 score 不是模型的输出,需要换成速度场。
条件 score
高斯 N ( μ , s 2 I ) \mathcal{N}(\boldsymbol{\mu},s^2\boldsymbol{I}) N ( μ , s 2 I ) 的 score 是 − ( x − μ ) / s 2 -(\boldsymbol{x}-\boldsymbol{\mu})/s^2 − ( x − μ ) / s 2 。 代入式 (5),再由式 (1) 得分子为 t x 1 t\,\boldsymbol{x}_1 t x 1 :
∇ log p t ( x t ∣ x 0 ) = − x t − ( 1 − t ) x 0 t 2 = − x 1 t \nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)=-\frac{\boldsymbol{x}_t-(1-t)\boldsymbol{x}_0}{t^2}=-\frac{\boldsymbol{x}_1}{t} ∇ log p t ( x t ∣ x 0 ) = − t 2 x t − ( 1 − t ) x 0 = − t x 1
条件 score 是这次所加噪声取反、再缩放 1 / t 1/t 1/ t 。 采样时 x 0 \boldsymbol{x}_0 x 0 和 x 1 \boldsymbol{x}_1 x 1 都未知,所以它不能直接使用。给定 x t \boldsymbol{x}_t x t 后,约束 ( 1 − t ) x 0 + t x 1 = x t (1-t)\boldsymbol{x}_0+t\boldsymbol{x}_1=\boldsymbol{x}_t ( 1 − t ) x 0 + t x 1 = x t 把两者绑定,后验 p ( x 1 ∣ x t ) p(\boldsymbol{x}_1\mid\boldsymbol{x}_t) p ( x 1 ∣ x t ) 不再是标准高斯,而取决于数据分布。
边缘 score:后验平均
对式 (6) 求梯度,并利用 ∇ p = p ∇ log p \nabla p=p\,\nabla\log p ∇ p = p ∇ log p :
∇ p t ( x t ) = ∫ p t ( x t ∣ x 0 ) p data ( x 0 ) ∇ log p t ( x t ∣ x 0 ) d x 0 \nabla p_t(\boldsymbol{x}_t)=\int p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)\,p_{\text{data}}(\boldsymbol{x}_0)\,\nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{x}_0)\,\mathrm{d}\boldsymbol{x}_0 ∇ p t ( x t ) = ∫ p t ( x t ∣ x 0 ) p data ( x 0 ) ∇ log p t ( x t ∣ x 0 ) d x 0
两边除以 p t ( x t ) p_t(\boldsymbol{x}_t) p t ( x t ) , 由贝叶斯公式,积分权重变为后验 p ( x 0 ∣ x t ) p(\boldsymbol{x}_0\mid\boldsymbol{x}_t) p ( x 0 ∣ x t ) 。 因此边缘 score 等于条件 score 的后验期望[6] :
∇ log p t ( x t ) = E [ ∇ log p t ( x t ∣ X 0 ) ∣ X t = x t ] \nabla\log p_t(\boldsymbol{x}_t)=\mathbb{E}\big[\nabla\log p_t(\boldsymbol{x}_t\mid\boldsymbol{X}_0)\ \big|\ \boldsymbol{X}_t=\boldsymbol{x}_t\big] ∇ log p t ( x t ) = E [ ∇ log p t ( x t ∣ X 0 ) X t = x t ]
代入式 (13)。给定 x t \boldsymbol{x}_t x t 后 X 0 \boldsymbol{X}_0 X 0 与 X 1 \boldsymbol{X}_1 X 1 一一对应,期望可以改为对 X 1 \boldsymbol{X}_1 X 1 取:
∇ log p t ( x t ) = − 1 t E [ X 1 ∣ X t = x t ] \nabla\log p_t(\boldsymbol{x}_t)=-\frac{1}{t}\,\mathbb{E}\big[\boldsymbol{X}_1\mid\boldsymbol{X}_t=\boldsymbol{x}_t\big] ∇ log p t ( x t ) = − t 1 E [ X 1 ∣ X t = x t ]
高斯加噪下后验均值与 score 的这一关系通常称为 Tweedie 公式[7] 。
换成速度场
式 (1) 可以写成 x t = x 1 − ( 1 − t ) ( x 1 − x 0 ) \boldsymbol{x}_t=\boldsymbol{x}_1-(1-t)(\boldsymbol{x}_1-\boldsymbol{x}_0) x t = x 1 − ( 1 − t ) ( x 1 − x 0 ) 。 对 X t = x t \boldsymbol{X}_t=\boldsymbol{x}_t X t = x t 取条件期望,并利用式 (2):
E [ X 1 ∣ x t ] = x t + ( 1 − t ) v t ( x t ) \mathbb{E}[\boldsymbol{X}_1\mid\boldsymbol{x}_t]=\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t) E [ X 1 ∣ x t ] = x t + ( 1 − t ) v t ( x t )
代入式 (16):
∇ log p t ( x t ) = − x t + ( 1 − t ) v t ( x t ) t \nabla\log p_t(\boldsymbol{x}_t)=-\frac{\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t)}{t} ∇ log p t ( x t ) = − t x t + ( 1 − t ) v t ( x t )
再代入式 (12),两个负号相消:
d x t = [ v t ( x t ) + σ t 2 2 t ( x t + ( 1 − t ) v t ( x t ) ) ] d t + σ t d w \mathrm{d}\boldsymbol{x}_t=\Big[\boldsymbol{v}_t(\boldsymbol{x}_t)+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_t(\boldsymbol{x}_t)\big)\Big]\mathrm{d}t+\sigma_t\,\mathrm{d}\boldsymbol{w} d x t = [ v t ( x t ) + 2 t σ t 2 ( x t + ( 1 − t ) v t ( x t ) ) ] d t + σ t d w
离散:每步一个高斯策略
Euler-Maruyama 离散
对式 (19) 做一阶 Euler-Maruyama 离散[8] :d t \mathrm{d}t d t 换成 Δ t \Delta t Δ t ; 布朗增量 d w \mathrm{d}\boldsymbol{w} d w 换成 Δ t ϵ \sqrt{\Delta t}\,\boldsymbol{\epsilon} Δ t ϵ , 因为 w t + Δ t − w t ∼ N ( 0 , Δ t I ) \boldsymbol{w}_{t+\Delta t}-\boldsymbol{w}_t\sim\mathcal{N}(\boldsymbol{0},\Delta t\,\boldsymbol{I}) w t + Δ t − w t ∼ N ( 0 , Δ t I ) ; 真实速度场换成网络 v θ ( x t , t ) \boldsymbol{v}_\theta(\boldsymbol{x}_t,t) v θ ( x t , t ) , 简写为 v θ \boldsymbol{v}_\theta v θ 。 得到采样更新式:
x t + Δ t = x t + [ v θ + σ t 2 2 t ( x t + ( 1 − t ) v θ ) ] Δ t + σ t Δ t ϵ \boldsymbol{x}_{t+\Delta t}=\boldsymbol{x}_t+\Big[\boldsymbol{v}_\theta+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_\theta\big)\Big]\Delta t+\sigma_t\sqrt{\Delta t}\,\boldsymbol{\epsilon} x t + Δ t = x t + [ v θ + 2 t σ t 2 ( x t + ( 1 − t ) v θ ) ] Δ t + σ t Δ t ϵ
三项依次是原速度、score 修正项和噪声项。常规 ODE 采样 x t + Δ t = x t + v θ Δ t \boldsymbol{x}_{t+\Delta t}=\boldsymbol{x}_t+\boldsymbol{v}_\theta\,\Delta t x t + Δ t = x t + v θ Δ t 只有第一项。整个过程使用同一个预训练模型,不需要重新训练。
注意:采样时 Δ t < 0 \Delta t<0 Δ t < 0 , 噪声项严格应写为 σ t ∣ Δ t ∣ ϵ \sigma_t\sqrt{|\Delta t|}\,\boldsymbol{\epsilon} σ t ∣Δ t ∣ ϵ 。 式 (20) 沿用 Flow-GRPO 原文的简写。
待核实:“该式在 t=1 处发散,实际采样从略小于 1 的时刻开始”是由公式得出的推断,未对照 Flow-GRPO 官方实现确认具体做法。
Flow-GRPO 的噪声调度取 σ t = a t / ( 1 − t ) \sigma_t=a\sqrt{t/(1-t)} σ t = a t / ( 1 − t ) , a a a 控制噪声水平[1] 。该式在 t = 1 t=1 t = 1 处发散,实际采样从略小于 1 的时刻开始。
噪声项把样本向外扩散。score 修正项等于 − σ t 2 2 ∇ log p t -\frac{\sigma_t^2}{2}\nabla\log p_t − 2 σ t 2 ∇ log p t , 乘上 Δ t < 0 \Delta t<0 Δ t < 0 后沿 score 方向把样本拉回高密度区域。两者平衡,所以 ODE 与 SDE 的单条轨迹不同,式 (4) 的轨迹分布也不同,但每个时刻的边缘分布都是 p t p_t p t , t = 0 t=0 t = 0 时的生成分布不变。
各向同性高斯策略
式 (20) 可以拆成均值加高斯噪声。均值为
μ θ = x t + [ v θ + σ t 2 2 t ( x t + ( 1 − t ) v θ ) ] Δ t \boldsymbol{\mu}_\theta=\boldsymbol{x}_t+\Big[\boldsymbol{v}_\theta+\frac{\sigma_t^2}{2t}\big(\boldsymbol{x}_t+(1-t)\,\boldsymbol{v}_\theta\big)\Big]\Delta t μ θ = x t + [ v θ + 2 t σ t 2 ( x t + ( 1 − t ) v θ ) ] Δ t
每一步的策略是协方差为标量乘单位矩阵的各向同性高斯:
π θ ( x t + Δ t ∣ x t , c ) = N ( μ θ , σ t 2 ∣ Δ t ∣ I ) \pi_\theta(\boldsymbol{x}_{t+\Delta t}\mid\boldsymbol{x}_t,\boldsymbol{c})=\mathcal{N}\big(\boldsymbol{\mu}_\theta,\ \sigma_t^2|\Delta t|\,\boldsymbol{I}\big) π θ ( x t + Δ t ∣ x t , c ) = N ( μ θ , σ t 2 ∣Δ t ∣ I )
这带来两个好处。第一,log π θ \log\pi_\theta log π θ 可以直接写出,从而能算 GRPO 所需的重要性比率;ODE 采样没有转移概率,做不到这一点。第二,协方差相同的两个高斯之间,KL 散度只剩均值差一项:
D K L ( π θ ∥ π r e f ) = ∥ μ θ − μ r e f ∥ 2 2 σ t 2 ∣ Δ t ∣ D_{\mathrm{KL}}(\pi_\theta\,\|\,\pi_{\mathrm{ref}})=\frac{\|\boldsymbol{\mu}_\theta-\boldsymbol{\mu}_{\mathrm{ref}}\|^2}{2\sigma_t^2|\Delta t|} D KL ( π θ ∥ π ref ) = 2 σ t 2 ∣Δ t ∣ ∥ μ θ − μ ref ∥ 2
代入式 (21),x t \boldsymbol{x}_t x t 项相互抵消:
μ θ − μ r e f = ( 1 + σ t 2 ( 1 − t ) 2 t ) Δ t ( v θ − v r e f ) \boldsymbol{\mu}_\theta-\boldsymbol{\mu}_{\mathrm{ref}}=\left(1+\frac{\sigma_t^2(1-t)}{2t}\right)\Delta t\,\big(\boldsymbol{v}_\theta-\boldsymbol{v}_{\mathrm{ref}}\big) μ θ − μ ref = ( 1 + 2 t σ t 2 ( 1 − t ) ) Δ t ( v θ − v ref )
平方后与分母约去一个 ∣ Δ t ∣ |\Delta t| ∣Δ t ∣ , 再把 σ t 2 \sigma_t^2 σ t 2 拆进括号:
D K L = ∣ Δ t ∣ 2 ( σ t ( 1 − t ) 2 t + 1 σ t ) 2 ∥ v θ ( x t , t ) − v r e f ( x t , t ) ∥ 2 D_{\mathrm{KL}}=\frac{|\Delta t|}{2}\left(\frac{\sigma_t(1-t)}{2t}+\frac{1}{\sigma_t}\right)^2\big\|\boldsymbol{v}_\theta(\boldsymbol{x}_t,t)-\boldsymbol{v}_{\mathrm{ref}}(\boldsymbol{x}_t,t)\big\|^2 D KL = 2 ∣Δ t ∣ ( 2 t σ t ( 1 − t ) + σ t 1 ) 2 v θ ( x t , t ) − v ref ( x t , t ) 2
KL 就是两个模型预测速度之差的平方,乘一个只依赖 t t t 的系数。
SDE 采样让每一步有了可算的对数概率和闭式 KL,是 Flow-GRPO 的使能条件;真正提升模型的是 GRPO 根据奖励对策略的优化。
参考文献
J. Liu et al. , “Flow-GRPO: Training flow matching models via online RL,” in Proc. NeurIPS , 2025, arXiv: 2505.05470 .
Z. Shao et al. , “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300 .
X. Liu, C. Gong, and Q. Liu, “Flow straight and fast: Learning to generate and transfer data with rectified flow,” in Proc. ICLR , 2023, arXiv: 2209.03003 .
Y. Lipman, R. T. Q. Chen, H. Ben-Hamu, M. Nickel, and M. Le, “Flow matching for generative modeling,” in Proc. ICLR , 2023, arXiv: 2210.02747 .
Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR , 2021, arXiv: 2011.13456 .
P. Vincent, “A connection between score matching and denoising autoencoders,” Neural Comput. , vol. 23, no. 7, pp. 1661–1674, 2011, doi: 10.1162/NECO_a_00142 .
B. Efron, “Tweedie’s formula and selection bias,” J. Amer. Statist. Assoc. , vol. 106, no. 496, pp. 1602–1614, 2011, doi: 10.1198/jasa.2011.tm11181 .
P. E. Kloeden and E. Platen, Numerical Solution of Stochastic Differential Equations . Berlin, Germany: Springer, 1992.