从 Score Matching 到 Flow Matching:扩散模型的关系与脉络

2026-10-03笔记生成模型扩散模型Flow Matching文献综述

SDE、ODE、score、flow、DDPM、DDIM、Flow Matching 这些概念在文献里常被混用。下面先界定各概念所属的层次,再梳理三条研究线如何汇合,然后按训练和采样两个阶段给方法分类,最后给出重点论文和阅读顺序。

三条研究线与共同问题

这些概念针对的是同一个问题:怎样把简单的噪声分布变换成复杂的数据分布。它们来自三条相互独立的研究线,经过两次汇合,最终形成了统一的框架。

三条研究线的汇合图 score 线从 2005 年的 score matching 经 denoising score matching 发展到 2019 年的 NCSN;变分线从 2015 年的扩散模型发展到 2020 年的 DDPM 和 DDIM;两条线在 2021 年的 Score SDE 汇合。flow 线从归一化流发展到 2018 年的 Neural ODE。Score SDE 经由概率流 ODE 与 flow 线在 2022 年的 Flow Matching 汇合,此后发展出少步与一步生成方法。 线 A · score 线 线 B · 变分线 线 C · flow 线 训练需反复求解 ODE,代价高 PF-ODE Score Matching 2005 Denoising SM 2011 NCSN 2019 Diffusion 2015 DDPM 2020 DDIM 2020 归一化流 2015 起 Neural ODE 2018 Score SDE 2021 · 汇合 ① Flow Matching 2022 · 汇合 ② 少步生成 2023–25
图 1 三条研究线的汇合。赭色为 score 线,浅墨色为变分线,墨色为 flow 线,青色为汇合点。score 线与变分线在 Score SDE 合并;Score SDE 提出的概率流 ODE 将其与 flow 线相连;Flow Matching 完成最终的统一。

三条研究线概览

研究线学习目标演进汇合点
A · score 线数据分布的对数梯度(score)Score Matching,2005 → Denoising SM,2011 → NCSN,2019Score SDE(汇合 ①)
B · 变分线逐步去噪过程中的噪声 ε\varepsilonDiffusion,2015 → DDPM → DDIM,2020Score SDE(汇合 ①)
C · flow 线将噪声连续变换为数据的速度场归一化流,2015 起 → Neural ODE,2018Flow Matching(汇合 ②)

Score SDE 证明了线 A 和线 B 属于同一框架。Flow Matching 进一步把这个框架和线 C 统一起来,并解决了线 C 训练代价过高的问题。后面各论文表中,标题加粗的是必读,其余是选读。

概念的层次划分

这些概念容易混淆,主要是因为它们分属不同层次:有的是数学工具,有的是网络的学习目标,有的是训练方法,有的是具体模型。层次分清了,概念之间的关系也就清楚了。

概念一览

按层次可分为五类。

类别概念定义数学形式
数学工具随机微分方程(Stochastic Differential Equation,SDE)含随机项的微分方程,状态在漂移项与扩散项的共同作用下随机演化dx=f(x,t) dt+g(t) dwdx = f(x,t)\,dt + g(t)\,dw
数学工具常微分方程(Ordinary Differential Equation,ODE)不含随机项的微分方程;给定初值后,解轨迹唯一确定dxdt=v(x,t)\frac{dx}{dt} = v(x,t)
学习目标score(分数函数)对数概率密度关于输入的梯度,指向概率密度增长最快的方向∇xlog⁡pt(x)\nabla_x \log p_t(x)
学习目标速度场(velocity field)定义在各位置与各时刻上的向量场,给出该点的瞬时运动方向与速率ut(x)u_t(x)
演化结果flow(流)初始点沿速度场积分所得的映射。速度场描述瞬时运动,flow 描述累积位移ddtψt(x0)=ut(ψt(x0))\frac{d}{dt}\psi_t(x_0) = u_t\big(\psi_t(x_0)\big)
训练方法score matching(分数匹配)训练网络 sθs_\theta 拟合真实 score 的目标函数—
训练方法flow matching(流匹配)训练网络 vθv_\theta 拟合速度场的目标函数;其名称虽为 flow matching,回归对象实为速度场—
模型与采样器DDPM网络预测所加噪声 ε\varepsilon采样时沿马尔可夫链逐步随机去噪,称为祖先采样(ancestral sampling)—
采样器DDIM沿用 DDPM 训练所得的网络,改用确定性采样过程,因而无需重新训练—

五条关键关系

图 2 概括了上表各概念之间的关系。

概念关系图 上层为两种训练目标:score matching 学习 score,flow matching 学习速度场,二者采用同一条件化技巧。中层为网络的三种学习目标:噪声 ε、score 与速度场;ε 与 score 相差一个系数,score 与速度场在高斯情形下可线性互换。下层为两种采样方程:反向 SDE(DDPM 的祖先采样)与概率流 ODE(DDIM),二者在各时刻的边缘分布相同。 ⑤ 同一技巧 学习 学习 ① 相差系数 ④ 线性互换 右端为速度场 ② 各时刻边缘分布相同 score matching 训练目标 flow matching 训练目标 噪声 ε DDPM 的学习目标 score ∇ log p 速度场 FM 的学习目标 反向 SDE DDPM 的祖先采样 概率流 ODE(PF-ODE) DDIM 的采样路径 ③
图 2 概念关系图。上层为训练目标,中层为网络的学习目标,下层为采样方程。将 score 代入反向 SDE 或 PF-ODE 即可采样。
编号关系依据出处
①DDPM 预测噪声,等价于学习 score,二者仅相差一个系数∇xlog⁡pt(x)=−εσt\nabla_x \log p_t(x) = -\frac{\varepsilon}{\sigma_t}Score SDE
②SDE 与某一 ODE 产生完全相同的分布演化。因此同一个 score 模型既可用于随机的 SDE 采样,也可用于确定性的 ODE 采样。该 ODE 称为概率流 ODE(probability flow ODE,PF-ODE)二者在各时刻的边缘分布相同Score SDE
③DDIM 的采样过程即沿 PF-ODE 求解,因此它只替换采样器,不改变模型DDIM 是 PF-ODE 的一阶解法Score SDE、DDIM
④Flow Matching 直接学习 ODE 的速度场。在高斯噪声下,速度场与 score 可线性互换,因此 FM 与 diffusion 的学习结果等价xt=αtx+σtεx_t = \alpha_t x + \sigma_t\varepsilonFlow Matching
⑤score matching 与 flow matching 采用同一技巧:当真实目标不可计算时,对单个数据点做条件化,得到可计算的目标条件目标与真实目标的梯度相同DSM、Flow Matching

score 线:学习数据分布的对数梯度

这条研究线要解决的问题是:分布的归一化常数算不出来时,怎样仍然学到这个分布。它的思路是不直接学概率密度,而是学密度的 score。

核心机制:逐步解决前一步遗留的问题

问题方法遗留问题论文
1. 能量模型 p(x)=e−E(x)/Zp(x)=e^{-E(x)}/Z 在高维情形下,ZZ 几乎无法计算不学习概率密度,转而学习 score。对数运算后求梯度,ZZ 即被消去:∇xlog⁡p(x)=−∇xE(x)\nabla_x \log p(x) = -\nabla_x E(x)已知 score 即可采用 Langevin 动力学(Langevin dynamics)采样真实 score 未知,无法直接拟合—
2. 真实 score 未知Hyvärinen 利用分部积分消去对真实 score 的依赖需计算雅可比矩阵(Jacobian)的迹,高维时计算代价过高Score Matching
3. 雅可比矩阵的迹计算代价过高去噪分数匹配(denoising score matching):先加噪 x~=x+σε\tilde x = x + \sigma\varepsilon加噪后的条件 score 具有解析形式,且其梯度与“学习加噪分布的真实 score”相同问题转化为预测所加噪声,但噪声尺度难以选取DSM
4. 噪声过小时,数据稀疏区域估计不准;噪声过大时,分布被过度平滑同时训练多个噪声水平,采样时由大噪声逐级过渡到小噪声取连续极限即得到扩散模型中的时间 ttNCSN

第 3 步的训练目标为:

LDSM=E ∥sθ(x~)+εσ∥2\mathcal L_{\text{DSM}} = \mathbb E\,\Big\| s_\theta(\tilde x) + \frac{\varepsilon}{\sigma} \Big\|^2

代表论文

论文类别核心贡献
Estimation of Non-Normalized Statistical Models by Score Matching(University of Helsinki · JMLR 2005) jmlr.org训练目标提出 score matching,规避归一化常数
A Connection Between Score Matching and Denoising Autoencoders(Université de Montréal · Neural Computation 2011) 10.1162/NECO_a_00142训练目标denoising score matching:加噪后学习 score
Sliced Score Matching(Stanford · UAI 2019) 1905.07088训练目标以随机投影估计雅可比矩阵的迹
NCSN: Generative Modeling by Estimating Gradients of the Data Distribution(Stanford · NeurIPS 2019) 1907.05600模型多噪声水平 score 估计与退火 Langevin 采样,score 模型首次生成高质量图像

变分线:逐步加噪与逐步去噪

这条研究线从概率图模型出发:先定义一条逐步加噪的马尔可夫链,再训练网络学习它的反向过程。

核心机制:加噪、训练与采样

环节方法公式步数
前向加噪任意时刻的带噪样本均可一步写出,ε∼N(0,I)\varepsilon\sim\mathcal N(0,I)xt=αˉt x0+1−αˉt εx_t = \sqrt{\bar\alpha_t}\,x_0 + \sqrt{1-\bar\alpha_t}\,\varepsilon—
训练由变分下界(Evidence Lower Bound,ELBO)推导,最终简化为噪声预测的回归问题。该目标即加权的 denoising score matching,构成线 A 与线 B 的第一个联系见下方 Lsimple\mathcal L_{\text{simple}}—
采样:DDPM祖先采样:从纯噪声 xTx_T 出发,沿马尔可夫链依次采样 xT−1,…,x0x_{T-1},\dots,x_0每一步均从高斯条件分布中抽样,因而每步都引入噪声—约 1000
采样:DDIM训练目标仅依赖各时刻的边缘分布,与相邻时刻之间的转移方式无关,因此可替换为一族非马尔可夫过程,且模型无需重新训练。参数 η=0\eta=0 时过程完全确定:先估计干净数据与噪声,再按下一噪声水平重新组合xt′=αˉt′ x^0+1−αˉt′ ε^x_{t'} = \sqrt{\bar\alpha_{t'}}\,\hat x_0 + \sqrt{1-\bar\alpha_{t'}}\,\hat\varepsilon约 50
Lsimple=Ex0,ε,t ∥ε−εθ(xt,t)∥2\mathcal L_{\text{simple}} = \mathbb E_{x_0,\varepsilon,t}\,\big\|\varepsilon - \varepsilon_\theta(x_t,t)\big\|^2

代表论文

论文类别核心贡献
Deep Unsupervised Learning using Nonequilibrium Thermodynamics(Stanford · ICML 2015) 1503.03585模型最早提出“加噪后学习去噪”的扩散模型
DDPM: Denoising Diffusion Probabilistic Models(UC Berkeley · NeurIPS 2020) 2006.11239模型将训练目标简化为噪声预测,图像生成质量显著提升
DDIM: Denoising Diffusion Implicit Models(Stanford · ICLR 2021) 2010.02502采样器非马尔可夫过程与确定性采样,步数由 1000 降至约 50
Improved Denoising Diffusion Probabilistic Models(OpenAI · ICML 2021) 2102.09672模型余弦噪声表与可学习方差,提升似然与采样速度

flow 线:可逆变换的直接构造

这条研究线不用“加噪—去噪”的思路,而是直接构造可逆变换,把噪声分布映射成数据分布。

核心机制:从离散变换到连续 ODE

阶段方法优点局限
归一化流(normalizing flow)以一系列可逆变换将噪声映射为数据由换元公式可计算精确似然每层须可逆且雅可比行列式易于计算,网络结构因此受限
连续归一化流(Continuous Normalizing Flow,CNF)以连续 ODE dxdt=vθ(x,t)\frac{dx}{dt} = v_\theta(x,t) 取代离散的变换层结构不再受限,任意网络均可作为速度场采用最大似然训练,每一步都需求解 ODE 并反向传播,训练缓慢且不稳定,难以扩展至大规模模型。该问题直至 Flow Matching 提出才得到解决

代表论文

论文类别核心贡献
Variational Inference with Normalizing Flows(DeepMind · ICML 2015) 1505.05770模型系统提出归一化流
Neural Ordinary Differential Equations(University of Toronto · NeurIPS 2018) 1806.07366模型以 ODE 实现连续变换,提出 CNF
FFJORD(University of Toronto · ICLR 2019) 1810.01367模型以随机迹估计将 CNF 扩展至更高维度

两次汇合:三条研究线的统一

第一次汇合把 score 线和变分线统一成 SDE 框架。第二次汇合用 ODE 速度场统一了全部三条研究线,并解决了 flow 线的训练难题。

核心机制:两次汇合的过程

步骤内容关键公式结果
汇合 ①:Score SDE将加噪过程表述为连续时间 SDE。NCSN 对应方差爆炸型(VE),DDPM 对应方差保持型(VP),二者是同一框架的两种离散化。反向 SDE 仅依赖 scoredx=[f−g2 ∇xlog⁡pt(x)] dt+g dwˉdx = \big[f - g^2\,\nabla_x\log p_t(x)\big]\,dt + g\,d\bar w线 A 与线 B 合并
关联:概率流 ODE对同一 SDE,存在一个确定性 ODE,其在各时刻的分布与该 SDE 完全相同dxdt=f−12 g2 ∇xlog⁡pt(x)\frac{dx}{dt} = f - \tfrac12\,g^2\,\nabla_x \log p_t(x)右端即为速度场,因此 score 模型可直接作为 CNF 使用;DDIM 亦可重新解释为该 ODE 的一阶解法
汇合 ②:Flow Matching边缘速度场不可计算,所以对单个数据点做条件化。以直线路径 xt=(1−t) x0+t x1x_t = (1-t)\,x_0 + t\,x_1 为例,可证明条件目标与边缘目标的梯度相同LCFM=E ∥vθ(xt,t)−(x1−x0)∥2\mathcal L_{\text{CFM}} = \mathbb E\,\big\Vert v_\theta(x_t,t) - (x_1 - x_0)\big\Vert^2训练归结为回归问题,无需求解 ODE,线 C 的难题由此解决
等价性高斯情形下,所有路径均可写作 xt=αtx+σtεx_t = \alpha_t x + \sigma_t\varepsilon给定 xtx_t 时,噪声、干净数据、score 与速度四者可线性互换—diffusion 的路径仅是 FM 可选路径中的若干特例
FM 的额外自由度源分布可为非高斯分布;噪声与数据可自定义配对;可选用直线路径—轨迹更直,所需步数更少,这些是 diffusion 框架所不具备的

代表论文

论文类别核心贡献
Score-Based Generative Modeling through Stochastic Differential Equations(Stanford / Google · ICLR 2021) 2011.13456理论统一以 SDE 统一 NCSN 与 DDPM;提出 PF-ODE 与 predictor–corrector 采样
Flow Matching for Generative Modeling(Meta · ICLR 2023) 2210.02747训练目标以 simulation-free 方式训练 CNF;diffusion 路径为其特例
Flow Straight and Fast: Rectified Flow(UT Austin · ICLR 2023) 2209.03003训练目标直线路径;以 reflow 迭代拉直轨迹
Building Normalizing Flows with Stochastic Interpolants(NYU · ICLR 2023) 2209.15571训练目标同期独立提出“插值加速度回归”的思路
Stochastic Interpolants: A Unifying Framework(NYU · arXiv 2023) 2303.08797理论统一同时学习速度与 score,涵盖 FM 与 Score SDE

汇合之后:设计空间与少步生成

框架统一之后,研究重点转到两件事上:一是弄清楚哪些设计选择对生成效果起决定作用,二是把采样步数降到几步甚至一步。

核心机制:五个研究方向

方向方法是否需要重新训练效果
设计空间(EDM)噪声表、参数化方式(预测 ε\varepsilonx0x_0 或 vv与时间采样分布,本质上均为对不同噪声水平分配训练权重需要系统梳理各项设计选择
高阶 ODE 解法(DPM-Solver)模型不变,仅替换为高阶解法不需要步数降至 10–20
拉直轨迹(reflow、最优传输配对(OT-CFM))不同样本的直线路径相互交叉,导致真实轨迹弯曲;减少交叉可使轨迹更直需要大步长下仍保持精度
直接学习映射(Consistency Models、MeanFlow)不学习瞬时速度,而直接学习 flow 本身或区间平均速度需要一步生成
条件引导(CFG)无分类器引导(Classifier-Free Guidance,CFG)将条件预测与无条件预测外推组合。由于各参数化方式可相互转换,该方法对 score、噪声与速度均适用训练与采样均涉及条件生成的标准方法

代表论文

论文类别核心贡献
EDM: Elucidating the Design Space of Diffusion-Based Generative Models(NVIDIA · NeurIPS 2022) 2206.00364设计空间系统梳理噪声、预处理、加权与 Heun 采样
Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation(Google · NeurIPS 2023) 2303.00848设计空间证明不同参数化等价于不同的加权方式
DPM-Solver(清华大学 · NeurIPS 2022) 2206.00927采样器利用半线性结构的高阶 ODE 解法,10–20 步
Classifier-Free Diffusion Guidance(Google · NeurIPS Workshop 2021) 2207.12598条件生成无需分类器的条件引导,已成为标准方法
Progressive Distillation for Fast Sampling of Diffusion Models(Google · ICLR 2022) 2202.00512少步生成步数逐次减半;提出 v-prediction
Improving and Generalizing Flow-Based Generative Models with Minibatch Optimal Transport(Mila · TMLR 2024) 2302.00482少步生成mini-batch 最优传输配对,使轨迹更直
Consistency Models(OpenAI · ICML 2023) 2303.01469少步生成学习 ODE 轨迹上任一点到终点的映射,实现一步生成
Scaling Rectified Flow Transformers for High-Resolution Image Synthesis(Stability AI · ICML 2024) 2403.03206工程应用大规模采用 Rectified Flow;研究时间采样分布
Mean Flows for One-step Generative Modeling(CMU / MIT · arXiv 2025) 2505.13447少步生成学习区间平均速度,实现一步生成

训练与采样:两个阶段的划分

前面各节的方法混在一起讨论,很难分清哪些改变了模型、哪些只改变了模型的用法。这一节按训练和采样两个阶段重新给它们分类。

核心原则:两个阶段相互解耦

训练与采样两个阶段 训练阶段学习 score、噪声或速度,得到训练好的网络;采样阶段利用该网络求解 SDE 或 ODE,生成数据。修改训练阶段需要重新训练,修改采样阶段无需重新训练。 训练 学习 score、噪声或速度 训练所得网络 两阶段之间唯一的接口 采样 求解 SDE 或 ODE 数据 生成样本 修改此阶段需重新训练 修改此阶段无需重新训练
图 3 两个阶段仅通过网络相连。训练决定网络的学习目标,采样决定网络的使用方式。配色与图 2 一致。

训练阶段决定网络学什么量、怎么学;采样阶段决定怎样用这个网络把噪声一步步变换成数据。两个阶段只通过网络相连,所以可以分别修改:

所以判断一种方法属于哪个阶段,标准是:用这种方法是否需要重新训练。

概念按阶段分类

阶段概念作用
训练score、噪声 ε\varepsilon速度场网络的学习目标
训练score matching、flow matching训练目标函数
训练概率路径、噪声表决定训练样本 xtx_t 的构造方式
训练损失加权、时间采样分布决定训练资源在各噪声水平上的分配
采样PF-ODE确定性采样方程
采样flow采样时沿速度场积分所得的结果
采样祖先采样、Langevin 采样随机采样方法
采样Euler、Heun 及高阶解法ODE 的数值解法
训练与采样SDE、ODE前向 SDE 定义训练路径;反向 SDE 或 ODE 用于采样
训练与采样CFG训练时随机丢弃条件;采样时将条件预测与无条件预测外推组合

论文按阶段分类

表中“—”表示该论文没有修改相应阶段。

论文训练阶段的改动采样阶段的改动
Score Matching jmlr.org训练目标:学习 score—
Denoising Score Matching 10.1162/NECO_a_00142训练目标:加噪后学习 score—
Neural ODE 1806.07366提出 CNF 模型类及其训练方法—
FFJORD 1810.01367将 CNF 训练扩展至更高维度—
Sliced Score Matching 1905.07088训练目标:降低计算量—
Improved DDPM 2102.09672噪声表、可学习方差—
Flow Matching 2210.02747训练目标:回归速度场—
Rectified Flow 2209.03003直线路径;reflow 需重新训练—
OT-CFM 2302.00482训练时噪声与数据的配对方式—
Understanding Diffusion Objectives as the ELBO 2303.00848解释不同的损失加权—
Scaling Rectified Flow Transformers(SD3) 2403.03206大规模训练方案—
NCSN 1907.05600多噪声水平训练退火 Langevin 采样
DDPM 2006.11239噪声预测祖先采样
Score SDE 2011.13456统一的训练框架提出 PF-ODE 与 predictor–corrector 采样
EDM 2206.00364预处理、损失加权Heun 采样器
CFG 2207.12598训练时随机丢弃条件采样时外推组合
DDIM 2010.02502—确定性采样,无需重新训练
DPM-Solver 2206.00927—高阶 ODE 解法,无需重新训练

上表分三部分:只改训练阶段、两个阶段都改、只改采样阶段。

易混淆之处:少步生成

注意:“减少采样步数”不一定属于采样阶段。少步生成的目的都是加快采样,但实现方式分两类,判断标准仍然是是否需要重新训练。

实现方式方法是否需要重新训练所属阶段
采用更好的 ODE 解法DDIM、DPM-Solver、EDM 的 Heun 采样器不需要采样
训练可少步生成的新模型Progressive Distillation、Consistency Models、reflow、MeanFlow需要训练

第二类方法的目的是加快采样,但手段是训练新模型,所以归入训练阶段。

阅读路线

建议先读综述建立整体印象,再按时间顺序读主线原文,每读完一篇就对照图 1 找到它的位置。

推荐顺序

  1. Luo 综述:建立 DDPM 与 score 的统一视角。
  2. DDPM:掌握最经典的训练与采样方案。
  3. DDIM:理解“只替换采样器,不改变模型”。
  4. NCSN:理解 score 线与多噪声水平。
  5. Score SDE:理解前两条研究线的合并过程与 PF-ODE。
  6. Neural ODE:了解 flow 线的起点,阅读前半部分即可。
  7. Flow Matching 与 Rectified Flow:理解三条研究线的最终统一。
  8. Diffusion Meets Flow Matching 博客:检验对全部内容的理解。

综述与教程

下面的综述和教程,读原文之前或之后都可以参考。

论文类别核心贡献
Understanding Diffusion Models: A Unified Perspective(Google · arXiv 2022) 2208.11970综述由 ELBO 逐步推导至 score,统一变分线与 score 线
Diffusion Meets Flow Matching: Two Sides of the Same Coin(Google DeepMind · 博客 2024) diffusionflow.github.io综述图示 diffusion 与 FM 的等价关系
Generative Modeling by Estimating Gradients of the Data Distribution(Stanford · 博客 2021) yang-song.net综述score 线作者的讲解,从 NCSN 到 Score SDE
Flow Matching Guide and Code(Meta · arXiv 2024) 2412.06264教程FM 原作者撰写的完整教程与代码库

总结

回到开头的问题:怎样把噪声变换成数据。三条研究线给出了不同的回答,最后被证明是同一个答案的不同形式。

score 线与变分线在 Score SDE 汇合;SDE 经由概率流 ODE 与 flow 线相连;Flow Matching 最终将三者统一为“学习一个速度场,并沿 ODE 将噪声变换为数据”。