从 Score Matching 到 Flow Matching:扩散模型的关系与脉络
SDE、ODE、score、flow、DDPM、DDIM、Flow Matching 这些概念在文献里常被混用。下面先界定各概念所属的层次,再梳理三条研究线如何汇合,然后按训练和采样两个阶段给方法分类,最后给出重点论文和阅读顺序。
三条研究线与共同问题
这些概念针对的是同一个问题:怎样把简单的噪声分布变换成复杂的数据分布。它们来自三条相互独立的研究线,经过两次汇合,最终形成了统一的框架。
三条研究线概览
| 研究线 | 学习目标 | 演进 | 汇合点 |
|---|---|---|---|
| A · score 线 | 数据分布的对数梯度(score) | Score Matching,2005 → Denoising SM,2011 → NCSN,2019 | Score SDE(汇合 ①) |
| B · 变分线 | 逐步去噪过程中的噪声 | Diffusion,2015 → DDPM → DDIM,2020 | Score SDE(汇合 ①) |
| C · flow 线 | 将噪声连续变换为数据的速度场 | 归一化流,2015 起 → Neural ODE,2018 | Flow Matching(汇合 ②) |
Score SDE 证明了线 A 和线 B 属于同一框架。Flow Matching 进一步把这个框架和线 C 统一起来,并解决了线 C 训练代价过高的问题。后面各论文表中,标题加粗的是必读,其余是选读。
概念的层次划分
这些概念容易混淆,主要是因为它们分属不同层次:有的是数学工具,有的是网络的学习目标,有的是训练方法,有的是具体模型。层次分清了,概念之间的关系也就清楚了。
概念一览
按层次可分为五类。
| 类别 | 概念 | 定义 | 数学形式 |
|---|---|---|---|
| 数学工具 | 随机微分方程(Stochastic Differential Equation,SDE) | 含随机项的微分方程,状态在漂移项与扩散项的共同作用下随机演化 | |
| 数学工具 | 常微分方程(Ordinary Differential Equation,ODE) | 不含随机项的微分方程;给定初值后,解轨迹唯一确定 | |
| 学习目标 | score(分数函数) | 对数概率密度关于输入的梯度,指向概率密度增长最快的方向 | |
| 学习目标 | 速度场(velocity field) | 定义在各位置与各时刻上的向量场,给出该点的瞬时运动方向与速率 | |
| 演化结果 | flow(流) | 初始点沿速度场积分所得的映射。速度场描述瞬时运动,flow 描述累积位移 | |
| 训练方法 | score matching(分数匹配) | 训练网络 拟合真实 score 的目标函数 | — |
| 训练方法 | flow matching(流匹配) | 训练网络 拟合速度场的目标函数;其名称虽为 flow matching,回归对象实为速度场 | — |
| 模型与采样器 | DDPM | 网络预测所加噪声 采样时沿马尔可夫链逐步随机去噪,称为祖先采样(ancestral sampling) | — |
| 采样器 | DDIM | 沿用 DDPM 训练所得的网络,改用确定性采样过程,因而无需重新训练 | — |
五条关键关系
图 2 概括了上表各概念之间的关系。
| 编号 | 关系 | 依据 | 出处 |
|---|---|---|---|
| ① | DDPM 预测噪声,等价于学习 score,二者仅相差一个系数 | Score SDE | |
| ② | SDE 与某一 ODE 产生完全相同的分布演化。因此同一个 score 模型既可用于随机的 SDE 采样,也可用于确定性的 ODE 采样。该 ODE 称为概率流 ODE(probability flow ODE,PF-ODE) | 二者在各时刻的边缘分布相同 | Score SDE |
| ③ | DDIM 的采样过程即沿 PF-ODE 求解,因此它只替换采样器,不改变模型 | DDIM 是 PF-ODE 的一阶解法 | Score SDE、DDIM |
| ④ | Flow Matching 直接学习 ODE 的速度场。在高斯噪声下,速度场与 score 可线性互换,因此 FM 与 diffusion 的学习结果等价 | Flow Matching | |
| ⑤ | score matching 与 flow matching 采用同一技巧:当真实目标不可计算时,对单个数据点做条件化,得到可计算的目标 | 条件目标与真实目标的梯度相同 | DSM、Flow Matching |
score 线:学习数据分布的对数梯度
这条研究线要解决的问题是:分布的归一化常数算不出来时,怎样仍然学到这个分布。它的思路是不直接学概率密度,而是学密度的 score。
核心机制:逐步解决前一步遗留的问题
| 问题 | 方法 | 遗留问题 | 论文 |
|---|---|---|---|
| 1. 能量模型 在高维情形下, 几乎无法计算 | 不学习概率密度,转而学习 score。对数运算后求梯度, 即被消去:已知 score 即可采用 Langevin 动力学(Langevin dynamics)采样 | 真实 score 未知,无法直接拟合 | — |
| 2. 真实 score 未知 | Hyvärinen 利用分部积分消去对真实 score 的依赖 | 需计算雅可比矩阵(Jacobian)的迹,高维时计算代价过高 | Score Matching |
| 3. 雅可比矩阵的迹计算代价过高 | 去噪分数匹配(denoising score matching):先加噪 加噪后的条件 score 具有解析形式,且其梯度与“学习加噪分布的真实 score”相同 | 问题转化为预测所加噪声,但噪声尺度难以选取 | DSM |
| 4. 噪声过小时,数据稀疏区域估计不准;噪声过大时,分布被过度平滑 | 同时训练多个噪声水平,采样时由大噪声逐级过渡到小噪声 | 取连续极限即得到扩散模型中的时间 | NCSN |
第 3 步的训练目标为:
代表论文
| 论文 | 类别 | 核心贡献 |
|---|---|---|
Estimation of Non-Normalized Statistical Models by Score Matching(University of Helsinki · JMLR 2005) jmlr.org | 训练目标 | 提出 score matching,规避归一化常数 |
A Connection Between Score Matching and Denoising Autoencoders(Université de Montréal · Neural Computation 2011) 10.1162/ | 训练目标 | denoising score matching:加噪后学习 score |
Sliced Score Matching(Stanford · UAI 2019) 1905.07088 | 训练目标 | 以随机投影估计雅可比矩阵的迹 |
NCSN: Generative Modeling by Estimating Gradients of the Data Distribution(Stanford · NeurIPS 2019) 1907.05600 | 模型 | 多噪声水平 score 估计与退火 Langevin 采样,score 模型首次生成高质量图像 |
变分线:逐步加噪与逐步去噪
这条研究线从概率图模型出发:先定义一条逐步加噪的马尔可夫链,再训练网络学习它的反向过程。
核心机制:加噪、训练与采样
| 环节 | 方法 | 公式 | 步数 |
|---|---|---|---|
| 前向加噪 | 任意时刻的带噪样本均可一步写出, | — | |
| 训练 | 由变分下界(Evidence Lower Bound,ELBO)推导,最终简化为噪声预测的回归问题。该目标即加权的 denoising score matching,构成线 A 与线 B 的第一个联系 | 见下方 | — |
| 采样:DDPM | 祖先采样:从纯噪声 出发,沿马尔可夫链依次采样 每一步均从高斯条件分布中抽样,因而每步都引入噪声 | — | 约 1000 |
| 采样:DDIM | 训练目标仅依赖各时刻的边缘分布,与相邻时刻之间的转移方式无关,因此可替换为一族非马尔可夫过程,且模型无需重新训练。参数 时过程完全确定:先估计干净数据与噪声,再按下一噪声水平重新组合 | 约 50 |
代表论文
| 论文 | 类别 | 核心贡献 |
|---|---|---|
Deep Unsupervised Learning using Nonequilibrium Thermodynamics(Stanford · ICML 2015) 1503.03585 | 模型 | 最早提出“加噪后学习去噪”的扩散模型 |
DDPM: Denoising Diffusion Probabilistic Models(UC Berkeley · NeurIPS 2020) 2006.11239 | 模型 | 将训练目标简化为噪声预测,图像生成质量显著提升 |
DDIM: Denoising Diffusion Implicit Models(Stanford · ICLR 2021) 2010.02502 | 采样器 | 非马尔可夫过程与确定性采样,步数由 1000 降至约 50 |
Improved Denoising Diffusion Probabilistic Models(OpenAI · ICML 2021) 2102.09672 | 模型 | 余弦噪声表与可学习方差,提升似然与采样速度 |
flow 线:可逆变换的直接构造
这条研究线不用“加噪—去噪”的思路,而是直接构造可逆变换,把噪声分布映射成数据分布。
核心机制:从离散变换到连续 ODE
| 阶段 | 方法 | 优点 | 局限 |
|---|---|---|---|
| 归一化流(normalizing flow) | 以一系列可逆变换将噪声映射为数据 | 由换元公式可计算精确似然 | 每层须可逆且雅可比行列式易于计算,网络结构因此受限 |
| 连续归一化流(Continuous Normalizing Flow,CNF) | 以连续 ODE 取代离散的变换层 | 结构不再受限,任意网络均可作为速度场 | 采用最大似然训练,每一步都需求解 ODE 并反向传播,训练缓慢且不稳定,难以扩展至大规模模型。该问题直至 Flow Matching 提出才得到解决 |
代表论文
| 论文 | 类别 | 核心贡献 |
|---|---|---|
Variational Inference with Normalizing Flows(DeepMind · ICML 2015) 1505.05770 | 模型 | 系统提出归一化流 |
Neural Ordinary Differential Equations(University of Toronto · NeurIPS 2018) 1806.07366 | 模型 | 以 ODE 实现连续变换,提出 CNF |
FFJORD(University of Toronto · ICLR 2019) 1810.01367 | 模型 | 以随机迹估计将 CNF 扩展至更高维度 |
两次汇合:三条研究线的统一
第一次汇合把 score 线和变分线统一成 SDE 框架。第二次汇合用 ODE 速度场统一了全部三条研究线,并解决了 flow 线的训练难题。
核心机制:两次汇合的过程
| 步骤 | 内容 | 关键公式 | 结果 |
|---|---|---|---|
| 汇合 ①:Score SDE | 将加噪过程表述为连续时间 SDE。NCSN 对应方差爆炸型(VE),DDPM 对应方差保持型(VP),二者是同一框架的两种离散化。反向 SDE 仅依赖 score | 线 A 与线 B 合并 | |
| 关联:概率流 ODE | 对同一 SDE,存在一个确定性 ODE,其在各时刻的分布与该 SDE 完全相同 | 右端即为速度场,因此 score 模型可直接作为 CNF 使用;DDIM 亦可重新解释为该 ODE 的一阶解法 | |
| 汇合 ②:Flow Matching | 边缘速度场不可计算,所以对单个数据点做条件化。以直线路径 为例,可证明条件目标与边缘目标的梯度相同 | 训练归结为回归问题,无需求解 ODE,线 C 的难题由此解决 | |
| 等价性 | 高斯情形下,所有路径均可写作 给定 时,噪声、干净数据、score 与速度四者可线性互换 | — | diffusion 的路径仅是 FM 可选路径中的若干特例 |
| FM 的额外自由度 | 源分布可为非高斯分布;噪声与数据可自定义配对;可选用直线路径 | — | 轨迹更直,所需步数更少,这些是 diffusion 框架所不具备的 |
代表论文
| 论文 | 类别 | 核心贡献 |
|---|---|---|
Score-Based Generative Modeling through Stochastic Differential Equations(Stanford / Google · ICLR 2021) 2011.13456 | 理论统一 | 以 SDE 统一 NCSN 与 DDPM;提出 PF-ODE 与 predictor–corrector 采样 |
Flow Matching for Generative Modeling(Meta · ICLR 2023) 2210.02747 | 训练目标 | 以 simulation-free 方式训练 CNF;diffusion 路径为其特例 |
Flow Straight and Fast: Rectified Flow(UT Austin · ICLR 2023) 2209.03003 | 训练目标 | 直线路径;以 reflow 迭代拉直轨迹 |
Building Normalizing Flows with Stochastic Interpolants(NYU · ICLR 2023) 2209.15571 | 训练目标 | 同期独立提出“插值加速度回归”的思路 |
Stochastic Interpolants: A Unifying Framework(NYU · arXiv 2023) 2303.08797 | 理论统一 | 同时学习速度与 score,涵盖 FM 与 Score SDE |
汇合之后:设计空间与少步生成
框架统一之后,研究重点转到两件事上:一是弄清楚哪些设计选择对生成效果起决定作用,二是把采样步数降到几步甚至一步。
核心机制:五个研究方向
| 方向 | 方法 | 是否需要重新训练 | 效果 |
|---|---|---|---|
| 设计空间(EDM) | 噪声表、参数化方式(预测 或 与时间采样分布,本质上均为对不同噪声水平分配训练权重 | 需要 | 系统梳理各项设计选择 |
| 高阶 ODE 解法(DPM-Solver) | 模型不变,仅替换为高阶解法 | 不需要 | 步数降至 10–20 |
| 拉直轨迹(reflow、最优传输配对(OT-CFM)) | 不同样本的直线路径相互交叉,导致真实轨迹弯曲;减少交叉可使轨迹更直 | 需要 | 大步长下仍保持精度 |
| 直接学习映射(Consistency Models、MeanFlow) | 不学习瞬时速度,而直接学习 flow 本身或区间平均速度 | 需要 | 一步生成 |
| 条件引导(CFG) | 无分类器引导(Classifier-Free Guidance,CFG)将条件预测与无条件预测外推组合。由于各参数化方式可相互转换,该方法对 score、噪声与速度均适用 | 训练与采样均涉及 | 条件生成的标准方法 |
代表论文
| 论文 | 类别 | 核心贡献 |
|---|---|---|
EDM: Elucidating the Design Space of Diffusion-Based Generative Models(NVIDIA · NeurIPS 2022) 2206.00364 | 设计空间 | 系统梳理噪声、预处理、加权与 Heun 采样 |
Understanding Diffusion Objectives as the ELBO with Simple Data Augmentation(Google · NeurIPS 2023) 2303.00848 | 设计空间 | 证明不同参数化等价于不同的加权方式 |
DPM-Solver(清华大学 · NeurIPS 2022) 2206.00927 | 采样器 | 利用半线性结构的高阶 ODE 解法,10–20 步 |
Classifier-Free Diffusion Guidance(Google · NeurIPS Workshop 2021) 2207.12598 | 条件生成 | 无需分类器的条件引导,已成为标准方法 |
Progressive Distillation for Fast Sampling of Diffusion Models(Google · ICLR 2022) 2202.00512 | 少步生成 | 步数逐次减半;提出 v-prediction |
Improving and Generalizing Flow-Based Generative Models with Minibatch Optimal Transport(Mila · TMLR 2024) 2302.00482 | 少步生成 | mini-batch 最优传输配对,使轨迹更直 |
Consistency Models(OpenAI · ICML 2023) 2303.01469 | 少步生成 | 学习 ODE 轨迹上任一点到终点的映射,实现一步生成 |
Scaling Rectified Flow Transformers for High-Resolution Image Synthesis(Stability AI · ICML 2024) 2403.03206 | 工程应用 | 大规模采用 Rectified Flow;研究时间采样分布 |
Mean Flows for One-step Generative Modeling(CMU / MIT · arXiv 2025) 2505.13447 | 少步生成 | 学习区间平均速度,实现一步生成 |
训练与采样:两个阶段的划分
前面各节的方法混在一起讨论,很难分清哪些改变了模型、哪些只改变了模型的用法。这一节按训练和采样两个阶段重新给它们分类。
核心原则:两个阶段相互解耦
训练阶段决定网络学什么量、怎么学;采样阶段决定怎样用这个网络把噪声一步步变换成数据。两个阶段只通过网络相连,所以可以分别修改:
- 只改采样阶段,不需要重新训练,例如关系 ③ 中的 DDIM。
- 只要改了训练阶段,就要重新训练。
所以判断一种方法属于哪个阶段,标准是:用这种方法是否需要重新训练。
概念按阶段分类
| 阶段 | 概念 | 作用 |
|---|---|---|
| 训练 | score、噪声 速度场 | 网络的学习目标 |
| 训练 | score matching、flow matching | 训练目标函数 |
| 训练 | 概率路径、噪声表 | 决定训练样本 的构造方式 |
| 训练 | 损失加权、时间采样分布 | 决定训练资源在各噪声水平上的分配 |
| 采样 | PF-ODE | 确定性采样方程 |
| 采样 | flow | 采样时沿速度场积分所得的结果 |
| 采样 | 祖先采样、Langevin 采样 | 随机采样方法 |
| 采样 | Euler、Heun 及高阶解法 | ODE 的数值解法 |
| 训练与采样 | SDE、ODE | 前向 SDE 定义训练路径;反向 SDE 或 ODE 用于采样 |
| 训练与采样 | CFG | 训练时随机丢弃条件;采样时将条件预测与无条件预测外推组合 |
论文按阶段分类
表中“—”表示该论文没有修改相应阶段。
| 论文 | 训练阶段的改动 | 采样阶段的改动 |
|---|---|---|
Score Matching jmlr.org | 训练目标:学习 score | — |
Denoising Score Matching 10.1162/ | 训练目标:加噪后学习 score | — |
Neural ODE 1806.07366 | 提出 CNF 模型类及其训练方法 | — |
FFJORD 1810.01367 | 将 CNF 训练扩展至更高维度 | — |
Sliced Score Matching 1905.07088 | 训练目标:降低计算量 | — |
Improved DDPM 2102.09672 | 噪声表、可学习方差 | — |
Flow Matching 2210.02747 | 训练目标:回归速度场 | — |
Rectified Flow 2209.03003 | 直线路径;reflow 需重新训练 | — |
OT-CFM 2302.00482 | 训练时噪声与数据的配对方式 | — |
Understanding Diffusion Objectives as the ELBO 2303.00848 | 解释不同的损失加权 | — |
Scaling Rectified Flow Transformers(SD3) 2403.03206 | 大规模训练方案 | — |
NCSN 1907.05600 | 多噪声水平训练 | 退火 Langevin 采样 |
DDPM 2006.11239 | 噪声预测 | 祖先采样 |
Score SDE 2011.13456 | 统一的训练框架 | 提出 PF-ODE 与 predictor–corrector 采样 |
EDM 2206.00364 | 预处理、损失加权 | Heun 采样器 |
CFG 2207.12598 | 训练时随机丢弃条件 | 采样时外推组合 |
DDIM 2010.02502 | — | 确定性采样,无需重新训练 |
DPM-Solver 2206.00927 | — | 高阶 ODE 解法,无需重新训练 |
上表分三部分:只改训练阶段、两个阶段都改、只改采样阶段。
易混淆之处:少步生成
注意:“减少采样步数”不一定属于采样阶段。少步生成的目的都是加快采样,但实现方式分两类,判断标准仍然是是否需要重新训练。
| 实现方式 | 方法 | 是否需要重新训练 | 所属阶段 |
|---|---|---|---|
| 采用更好的 ODE 解法 | DDIM、DPM-Solver、EDM 的 Heun 采样器 | 不需要 | 采样 |
| 训练可少步生成的新模型 | Progressive Distillation、Consistency Models、reflow、MeanFlow | 需要 | 训练 |
第二类方法的目的是加快采样,但手段是训练新模型,所以归入训练阶段。
阅读路线
建议先读综述建立整体印象,再按时间顺序读主线原文,每读完一篇就对照图 1 找到它的位置。
推荐顺序
- Luo 综述:建立 DDPM 与 score 的统一视角。
- DDPM:掌握最经典的训练与采样方案。
- DDIM:理解“只替换采样器,不改变模型”。
- NCSN:理解 score 线与多噪声水平。
- Score SDE:理解前两条研究线的合并过程与 PF-ODE。
- Neural ODE:了解 flow 线的起点,阅读前半部分即可。
- Flow Matching 与 Rectified Flow:理解三条研究线的最终统一。
- Diffusion Meets Flow Matching 博客:检验对全部内容的理解。
综述与教程
下面的综述和教程,读原文之前或之后都可以参考。
| 论文 | 类别 | 核心贡献 |
|---|---|---|
Understanding Diffusion Models: A Unified Perspective(Google · arXiv 2022) 2208.11970 | 综述 | 由 ELBO 逐步推导至 score,统一变分线与 score 线 |
Diffusion Meets Flow Matching: Two Sides of the Same Coin(Google DeepMind · 博客 2024) diffusionflow.github.io | 综述 | 图示 diffusion 与 FM 的等价关系 |
Generative Modeling by Estimating Gradients of the Data Distribution(Stanford · 博客 2021) yang- | 综述 | score 线作者的讲解,从 NCSN 到 Score SDE |
Flow Matching Guide and Code(Meta · arXiv 2024) 2412.06264 | 教程 | FM 原作者撰写的完整教程与代码库 |
总结
回到开头的问题:怎样把噪声变换成数据。三条研究线给出了不同的回答,最后被证明是同一个答案的不同形式。
score 线与变分线在 Score SDE 汇合;SDE 经由概率流 ODE 与 flow 线相连;Flow Matching 最终将三者统一为“学习一个速度场,并沿 ODE 将噪声变换为数据”。