生成与学习的六个轴
任何训练都在做同一件事:只用目标能提供的信息和模型能算出的量,让模型逼近目标。决定一个算法形态的是六个选择,我们称为六个轴。下面先从训练的定义推出这六个轴,再逐轴展开。
训练问题
目标
这里的目标(target)指训练要让模型逼近的对象。目标通常是一个概率分布,记作 少数方法的目标是一个函数,例如最优价值函数
从第一性原理推出定义
训练是改变模型参数 的过程。要让这个过程有确定的方向,必须先回答三个问题:
| 问题 | 回答 |
|---|---|
| 模型应该变成什么 | 目标 |
| 怎样衡量模型离目标有多远 | 差异度量 损失函数是 的可计算形式 |
| 怎样获得目标的信息 | 目标通常无法完整写出,只能通过一个接口获得部分信息,例如样本、打分或 score |
记模型表示的分布为 把三者合起来,训练可以写成
其中 只能用接口提供的信息来估计。接口是轴 1 的内容,度量是轴 3 的内容。
目标的性质
目标有四个性质:无法直接获得、可以由其他信息构造、可以随训练变化、可以不显式存在。无法直接获得有两种原因:统计上未知,或计算上不可处理。
| 性质 | 说明 | 实例 |
|---|---|---|
| 无法直接获得:统计上未知 | 真实分布的形式不可知,只能用有限样本估计。训练实际最小化的是模型与经验分布 的差异,它与真实分布之间的差距即泛化误差。有限样本不能唯一确定高维分布,因此估计必须依赖归纳偏置。 | 预训练、监督微调(Supervised Fine-Tuning,SFT) |
| 无法直接获得:计算上不可处理 | 目标的公式已知,但归一化常数无法计算,也无法采样。这类问题缺的是算力,不是信息。 | 变分推断中的后验、基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)中的 |
| 可以由其他信息构造 | 奖励本身不是目标。RLHF 的目标是由奖励和参考模型合成的分布 | RLHF |
| 可以随训练变化 | 目标由模型自身或另一个正在训练的网络给出(轴 6)。 | 自举类和博弈类方法 |
| 可以不显式存在 | 只规定哪些输入的表征应该相近,不规定输出应服从的分布。 | 对比学习、JEPA |
两种无法直接获得的情况下,训练都只能通过样本或逐点打分接触目标(轴 1)。
常见训练场景中的目标
| 场景 | 目标 | 获得目标信息的接口 |
|---|---|---|
| 预训练 | 真实文本分布 | 语料(样本) |
| SFT | 专家回答的分布 | 标注数据(样本) |
| 知识蒸馏 | teacher 的输出分布 | teacher 的概率或 logits |
| RLHF、GRPO | 奖励模型或判题器的打分 | |
| DPO | 与 RLHF 相同的 | 偏好对 |
| 变分推断 | 后验 | 未归一化的联合分布 |
| 扩散模型 | 图像数据分布 | 数据集(样本) |
| SDS、DMD | 预训练扩散模型表示的分布 | teacher 的 score |
| Q-learning | 最优价值函数 (不是分布) | 转移样本和奖励,通过 Bellman 方程间接给出 |
| 对比学习、JEPA | 无显式目标分布 | 输入之间的对应关系 |
形式化定义
设 为参数空间, 为目标所在的空间(概率分布空间或函数空间)。
定义(训练问题) 一个训练问题由六元组 规定,六个元素依次对应轴 1 到轴 6:
| 元素 | 对应的轴 | 含义 |
|---|---|---|
| 目标预言机(oracle) | 轴 1 目标信息 | 训练过程关于目标 可获得的全部信息,例如样本 未归一化密度 奖励 偏好、score |
| 参数化 | 轴 2 参数化对象 | 映射 记 它决定模型能提供的量,例如采样、score |
| 差异泛函 | 轴 3 差异度量 | 满足 |
| 采样分布 | 轴 4 采样来源 | 损失在其上取期望的分布。它可以依赖 (on-policy),也可以不依赖(静态数据) |
| 梯度估计器 | 轴 5 梯度估计 | 随机向量,满足 或在可控偏差内近似成立; 是 在 上的经验形式 |
| 目标更新算子 | 轴 6 优化结构 | 规定目标如何随迭代变化 |
训练过程按下式迭代:
可行性约束 必须能仅用 与 提供的量无偏或一致地估计。轴 3 末尾的“度量与所需信息”表就是这一约束的展开。
的四种取值对应轴 6 中的四种优化结构:
| 的取值 | 优化结构 | 实例 |
|---|---|---|
| 恒等映射 | 固定目标的最小化 | 最大似然 |
| E 步 | 交替最小化 | EM、拒绝采样微调(Rejection sampling Fine-Tuning,RFT) |
| 由 自身给出 | 不动点迭代 | 时序差分(Temporal Difference,TD)学习、BYOL |
| 由对手网络给出 | 极小极大博弈 | GAN |
的定义域取 而不是分布空间,是为了纳入目标为函数的情形。例如 Q-learning 的目标是 差异是 Bellman 残差。
六个轴的依赖关系
六个轴里最根本的是轴 1 和轴 2:目标能提供什么(样本、密度还是奖励),模型能算出什么(能否采样、能否计算对数概率)。两者一交叉,能用的差异度量就基本确定了;前向 KL 与反向 KL 只是轴 3 上的两个取值。六个轴按依赖关系排序,每个轴只受编号更小的轴约束,分为三组:
信息:可获取的量
- 轴 1 目标信息 · 可向目标查询的量
- 轴 2 参数化对象 · 模型输出的量
目标函数:比较的对象与依据的分布
- 轴 3 差异度量 · 衡量模型与目标差异的量
- 轴 4 采样来源 · 训练数据的来源
优化:梯度计算与收敛性
- 轴 5 梯度估计 · 期望梯度的计算方式
- 轴 6 优化结构 · 目标是否随训练移动
因果方向:轴 1 和轴 2 决定能用哪些度量(轴 3);度量中的期望所依据的分布即采样来源(轴 4);采样分布是否依赖参数,决定梯度的计算方式(轴 5);度量是否引用模型自身、采样是否来自当前模型,决定目标是否随训练变化(轴 6)。
目标信息
目标信息指可向目标查询的量,即六元组中的 目标分布 本身无法直接获得,只能通过某种接口访问;接口不同,可行的方法也不同。这一轴是可行性的源头。
| 接口 | 说明 | 实例 |
|---|---|---|
| 样本(samples) | 只能获得数据点本身:可知哪些数据出现过,但不知道每个点的概率值。这是最常见的接口。 | 图片数据集、文本语料;扩散和流的训练数据属于此类。 |
| 未归一化密度(unnormalized density) | 可对任意点计算一个数值 它和概率成正比。因此能准确比较两个点的相对可能性,但不知道归一化常数 需要对所有可能的 求和,计算上不可行。该接口不提供样本。 | 物理系统中的 贝叶斯后验的分子(先验 × 似然)。 |
| 奖励(reward) | 对一个完整输出给出评分,只反映优劣,不描述分布。它和未归一化密度是同一信息的不同包装:实际区别在于奖励通常是黑箱、单点查询。需注明奖励是否可导:只有可导时才能使用重参数(轴 5)。 | 代码单测通过率(不可导)、数学答案校验器(不可导)、美学打分网络(可导)。 |
| 偏好(preference) | 只给出“A 优于 B”的比较结果。它比奖励更弱:只包含奖励之差,不包含绝对值。所有奖励加同一个常数,偏好不变。Bradley-Terry 模型[1]写成 | RLHF 中由人类标注两个回答中较优的一个。 |
| score( | 某点上密度上升最快的方向。其作用在于:对对数求梯度时常数 消失,因此不需要归一化。 | 物理力场 扩散:单个数据点没有 score,但给定 后,加噪点的条件 score 是已知的 |
| 结构关系(structural relations) | 不提供数值,只规定哪些对象应当相关:哪些相同、谁在谁之后、哪部分能预测哪部分。 | 同一张图的两种裁剪是同一物体;视频的下一帧由上一帧发展而来;图文配对。 |
| 可交互环境(environment) | 可主动执行动作,由环境返回下一状态和奖励。它与奖励的区别在于:奖励只评判已有输出,环境则允许试错并产生新数据。是否具备环境决定了能否在线采样(轴 4),这也是离线 RL 与在线 RL 的根本区别。 | 游戏模拟器、代码沙箱、机器人仿真。 |
参数化对象
参数化对象指模型输出的量,由六元组中的 决定。模型必须给出一个可与轴 1 所提供的量相比较的量,因此这一轴是轴 1 的对偶。
| 对象 | 说明 | 实例 |
|---|---|---|
| 归一化密度(normalized density) | 模型对每个 给出概率,总和为 1。优点是可以直接计算 代价是架构必须保证归一化。 | GPT 每步 softmax,再用链式法则相乘;normalizing flow 用变量替换公式。 |
| 能量(energy) | 模型对每个 给出一个数值 越低越可能,不要求归一化,架构完全自由。代价是 未知,既不能直接采样,也不能计算似然。 | 能量模型(EBM)。 |
| score / 速度场(score / velocity field) | 模型在每个位置、每个时间输出一个方向向量。采样过程从噪声出发,沿该方向逐步推进(积分 ODE 或 SDE)。score 指向密度上升方向;速度场指向“噪声 → 数据”的移动方向。密度是隐式的。 | 扩散(DDPM)预测噪声 等价于 score;流(Rectified Flow)直接预测速度。同一条高斯路径上两者可互换:[2]。 |
| 采样器(sampler) | 输入随机噪声,输出样本。不提供任何概率值,因此只能采用样本与样本之间的比较。 | GAN 生成器;从扩散或流蒸馏出的一步生成器。 |
| 价值函数(value function) | 输入状态(或状态 + 动作),输出未来累积奖励的期望,记作 或 需要它的原因是:奖励往往滞后,单步决策需要估计长期后果。 | DQN 的 Q 网络、PPO 的 critic。 |
| 密度比 / 判别器(density ratio / discriminator) | 输入 判断它来自 还是 最优判别器满足 等价于已知比值 需要它的原因是:两侧都只有样本时,仍能估计该比值,从而计算 -散度。 | GAN 判别器、NCE。 |
| 近似后验(approximate posterior) | 在隐变量模型中,给定观测 输出隐变量的分布 需要它的原因是:真后验 需要对所有 积分,计算上不可行,因此用一个网络近似。 | VAE 编码器。 |
| 表示(representation) | 将 映射为一个向量。它不描述概率,只要求相关对象的向量彼此接近。它是“结构关系”的对偶。 | CLIP 嵌入、JEPA 编码器。 |
| 目标给(轴 1) | 模型给(轴 2) | 自然得到的度量(轴 3) | 代表方法 |
|---|---|---|---|
| 样本 | 归一化密度 | 前向 KL | 最大似然 |
| 未归一化密度 / 奖励 | 采样器 + 密度 | 反向 KL | 变分推断、RL |
| 样本 | 采样器 + 判别器 | JS、Wasserstein、MMD | GAN |
| score(经加噪间接得到) | score | Fisher 散度 | 扩散模型 |
| 结构关系 | 表示 | 对比损失 | CLIP、SimCLR |
| 奖励 + 可交互环境 | 价值函数 | Bellman 残差 | DQN |
差异度量
差异度量指衡量模型与目标差异的量,即六元组中的 它由轴 1 和轴 2 共同约束:度量公式中出现的量,目标和模型都必须能够计算。
f-散度
在每个点比较密度比 再加权平均:要求两分布在同一区域都有质量,否则比值是 0 或无穷。
| 散度 | 说明 | 实例 |
|---|---|---|
| 前向 KL( | 在目标样本上衡量模型给出的概率偏低的程度。最小化它就是最大似然。目标有质量而模型没有质量的区域惩罚为无穷大,因此模型倾向于覆盖所有模式(mode covering),生成结果偏模糊。需要目标样本和模型密度。 | 语言模型预训练;DDPM 原论文从 ELBO 推导损失[3],ELBO 是负对数似然的上界。 |
| 反向 KL( | 在模型样本上衡量模型概率高于目标的程度。模型将质量放在目标密度低的区域会受到重罚,因此倾向于聚焦少数模式(mode seeking)。需要模型样本和目标未归一化密度; 是常数,不影响梯度。 | 变分推断;RLHF 目标就是对 的反向 KL;扩散蒸馏 DMD 让一步生成器最小化对教师分布的反向 KL,梯度用两个 score 之差估计[4]。 |
| JS 散度(Jensen-Shannon) | 两个分布分别与平均分布 计算 KL,再取平均。它是对称的,上界为 缺点是两分布完全不重叠时恒为 梯度为零。 | 原始 GAN 在判别器最优时最小化 JS[5]。 |
| 散度(chi-squared) | 比值偏离 1 的平方的平均,大比值被重罚。它等于重要性采样权重的方差,因此可以衡量 off-policy 修正的不稳定程度。 | LSGAN 对应 Pearson [6];off-policy 估计的方差分析。 |
| -散度(alpha-divergence) | 用一个参数 连续调节,两端分别退化为前向 KL 和反向 KL。用于在覆盖与聚焦之间折中。 | 变分推断中替代 KL 的折中选择。 |
IPM(积分概率度量)
在测试函数类中比较各函数 在两个分布下的均值,取最大差值:它只需要两个分布的样本,在两分布不重叠时仍有意义。
| 度量 | 说明 | 实例 |
|---|---|---|
| Wasserstein 距离(optimal transport) | 将分布 的概率质量搬运为分布 所需的最小运输量。对偶形式中 是 1-Lipschitz 函数。两个分布相距较远时,该距离仍随分布的移动平滑变化,因此梯度不会消失。 | WGAN[7]。流:minibatch OT 配对让路径更直[8];在光滑性假设下,速度回归误差能控制生成分布与数据分布的 Wasserstein 距离上界[9]。 |
| MMD(maximum mean discrepancy) | 用核函数把样本映射到特征空间,比较两个分布特征均值之间的距离。它有闭式解,不需要对抗训练。缺点是效果依赖核的选择,高维下区分力弱。 | MMD-GAN、两样本检验。 |
其他度量
| 度量 | 说明 | 实例 |
|---|---|---|
| Fisher 散度(Fisher divergence) | 在每个点比较两个分布 score 之差的平方:它只比较方向,因此 消失。难点是目标 score 一般未知;解决办法是去噪分数匹配:加噪后的条件 score 是已知的 [10]。 | 扩散:简化损失(预测 的 L2)就是在所有噪声等级上加权求和的 Fisher 散度。流:速度场的 L2 回归形式相同,只是比较的对象是速度场而不是 score;它本身不是 -散度,也不是 IPM。 |
| 对比损失(InfoNCE / NCE) | 给定一个正样本和若干负样本,要求模型识别出正样本。其本质是分类:区分相关的样本对与随机组合的样本对。InfoNCE 是多选一[11];NCE 区分数据与噪声,也可用于训练未归一化模型[12]。 | CLIP、SimCLR。 |
| Bellman 残差(Bellman residual) | 当前估计 与单步奖励加下一步估计 之差。它不比较两个分布,而是检验模型与其向前一步的估计是否一致,度量的是自洽性。 | TD 学习、DQN[13]。 |
| 度量 | 需要目标提供 | 需要模型提供 |
|---|---|---|
| 前向 KL | 样本 | 归一化密度 |
| 反向 KL | 未归一化密度 | 样本 + 密度 |
| JS / / | 样本 | 样本 + 判别器(估计比值) |
| Wasserstein / MMD | 样本 | 样本 |
| Fisher 散度 | score(或加噪样本) | score |
| 对比损失 | 正负配对 | 表示 |
| Bellman 残差 | 奖励 + 状态转移 | 价值函数 |
采样来源
采样来源指训练数据的来源。损失是一个期望 采样来源即六元组中的分布 训练时的 与使用时模型实际面对的分布不一致,就会产生分布偏移。采样来源可用以下三个相互独立的问题刻画。
问题一:数据由谁生成
| 来源 | 说明 | 实例 |
|---|---|---|
| 当前模型(on-policy) | 用当前参数采样,训练分布与使用分布一致,不存在偏移。代价是每次更新都需要重新采样,成本高,且只能覆盖模型已具备的行为。反向 KL 天然要求这种来源。 | REINFORCE、GRPO[14]。 |
| 旧模型(near-policy) | 用前几步的参数采样,目的是复用数据、降低采样成本。偏差用重要性比 修正,PPO 再对比值做裁剪,限制每步的更新幅度[15]。 | PPO 用一批数据训练多个 epoch;Rectified Flow 的 reflow 用上一轮模型生成的(噪声,输出)配对训练下一轮[16]。 |
| 其他策略(off-policy) | 数据来自与模型无关的策略,例如带探索噪声的策略或其他模型。两者差距较大时重要性权重会发散,因此常改用不需要权重的方法,例如学习 Q 函数后取最大值。 | DQN 回放池。 |
| 人类数据(human data) | 由人撰写或标注的数据。质量高,但与模型自身的输出分布不同。 | 预训练语料、SFT 数据、示范轨迹;扩散和流的数据端(噪声端是已知高斯,不需要采集)。 |
| MCMC / 提议分布(MCMC / proposal) | 目标只提供未归一化密度时获取样本的两种方法。MCMC 让一条马尔可夫链逐步走向目标分布;提议分布先从简单分布采样,再按权重 修正。 | EBM 用 Langevin 动力学生成负样本;重要性采样。 |
问题二:是否刷新
| 方式 | 说明 | 实例 |
|---|---|---|
| 固定(static) | 数据集在训练前确定,之后保持不变。它稳定、可复用,但无法纠正模型新出现的错误。语言模型以 teacher forcing 训练、生成时却以自身输出为前缀,即属于这种偏移(exposure bias)。 | 预训练、离线 RL;扩散和流的训练集。 |
| 持续更新(refreshed) | 训练过程中持续加入新样本,能够覆盖模型当前的行为;代价是数据分布持续变化,训练不稳定。 | 在线 RL、滚动的回放池。 |
问题三:怎样加工
| 方式 | 说明 | 实例 |
|---|---|---|
| 原样使用(as is) | 数据不经变换,直接用于训练。 | 语言模型预训练。 |
| 构造中间分布(interpolation path) | 人为将数据构造成一系列由易到难的分布,例如按噪声等级加噪。原因是直接学习数据分布困难,而学习相邻两级之间的小步变换较为容易。 | 扩散的加噪 流的线性插值 其关键作用在于:单个样本没有 score 或速度,但在构造的路径上,条件 score / 条件速度有闭式解,于是“学分布”变成“逐点回归”。 |
| 经搜索或过滤改进(improvement operator) | 先从模型采样,再筛选优质样本或通过搜索改进,得到优于当前模型的分布,并以其作为训练目标。它将在线采样与监督学习结合起来。 | best-of-N、拒绝采样、AlphaZero 的 MCTS、STaR。 |
梯度估计
梯度估计指期望梯度 的计算方式,即六元组中的 难点在于 可能依赖 梯度无法直接穿过采样这一步。具体方法由轴 4 和奖励是否可导决定。
| 估计 | 说明 | 实例 |
|---|---|---|
| 解析梯度(analytic) | 采样分布不依赖参数,或期望能精确算出(小的离散空间)。直接反向传播。 | 语言模型预训练、DPO;扩散和流的训练:噪声、数据点都独立于参数采样,回归目标是闭式的。 |
| 重参数(pathwise) | 将随机性从参数中分离,写成 是与参数无关的噪声。梯度沿 传回。要求 连续、 对 可导。方差低。 | VAE[17]、SAC;用可导奖励微调扩散模型时,沿去噪链反传(如 DRaFT[18])。 |
| 连续松弛(relaxation) | 离散采样不可导,有两种绕法。Gumbel-softmax 用平滑分布近似 one-hot,温度越低越接近;直通估计是前向用离散值,反向当作恒等函数传梯度。有偏,但方差低。 | VQ-VAE(直通估计)。 |
| score function(REINFORCE) | 用恒等式 只要求模型的对数概率可导, 可以是黑箱, 可以离散。代价是方差大,需要减去基线。 | REINFORCE、PPO;GRPO 用组内平均奖励作基线;奖励不可导时,把去噪链当作策略做 RL 微调(如 DDPO[19])。 |
| 学习的替身(learned surrogate) | 信号是黑箱且方差太大时,先训练一个可导网络近似该信号,再对该网络反向传播,以偏差换取方差。风险在于模型会利用替身的误差(reward hacking)。 | DDPG 的 critic 给出 GAN 判别器;奖励模型。 |
选择规则 采样分布不依赖参数 → 解析梯度;连续且可导 → 重参数;离散但想要低方差 → 连续松弛;黑箱 → score function;黑箱且方差太大 → 学习的替身。
优化结构
优化结构指训练目标是否随训练移动,即六元组中的目标更新算子 取什么形式。收敛理论依赖于存在一个持续下降的固定量;目标随模型变化越多,收敛保证越弱。优化结构由轴 3 和轴 4 的选择决定。
| 结构 | 说明 | 实例 |
|---|---|---|
| 固定目标的最小化(fixed objective) | 损失函数不随参数变化。标准 SGD 理论适用,能收敛到驻点。 | 最大似然;扩散和流的训练。 |
| 交替最小化(EM / coordinate) | 参数分两块,轮流固定一块、优化另一块,两块共享同一个目标。每一步都不会使目标变差,因此单调收敛到局部最优。 | EM(E 步算隐变量后验,M 步更新参数)、k-means。 |
| 双层优化(bilevel) | 外层目标依赖内层优化的结果,内外层目标不同(这是它与交替最小化的区别)。外层梯度需要穿过整个内层优化过程,计算代价高。 | MAML、超参优化、数据集蒸馏。 |
| 不动点迭代(bootstrapping) | 训练目标由模型自己的旧版本算出。只有当更新是压缩映射时才保证收敛;函数近似 + off-policy + 自举同时出现时可能发散(“致命三角”[20])。缓解方法是使用目标网络或 EMA,使目标缓慢变化。 | DQN、BYOL / JEPA、consistency model;Rectified Flow 多轮 reflow:每轮内部是固定目标,但下一轮数据由上一轮模型产生,整体收敛到路径最直的配对。 |
| 极小极大博弈(min-max) | 双方对抗,一方使目标下降,另一方使目标上升。不存在始终下降的量,梯度下降-上升可能出现循环而不收敛。 | GAN、对抗训练、带约束优化的拉格朗日方法。 |
来源 度量引用模型自身(Bellman 残差)→ 不动点;度量用变分对偶估计(判别器求 sup)→ 极小极大;从当前模型采样 → 即使损失形式固定,数据分布也会变化。
收敛保证从强到弱 固定目标 > 交替最小化 > 不动点(需压缩性)> 极小极大(一般无保证)。
把熟悉的方法放到六个轴上
轴 4 按“数据由谁生成 · 是否刷新 · 怎样加工”书写,原样使用时省略加工项。
| 方法 | 轴 1 目标信息 | 轴 2 参数化对象 | 轴 3 差异度量 |
|---|---|---|---|
| LM 预训练 | 样本 | 归一化密度 | 前向 KL |
| VAE | 样本 | 归一化密度(解码器)+ 近似后验 | 前向 KL 的下界(ELBO) |
| DDPM | 样本 | score | Fisher(去噪分数匹配) |
| Rectified Flow | 样本 | 速度场 | 速度场 L2 回归 |
| GAN | 样本 | 采样器 + 判别器 | JS / Wasserstein |
| CLIP | 结构关系 | 表示 | 对比损失(InfoNCE) |
| RLHF-PPO | 偏好 → 奖励模型 | 归一化密度 + 价值函数 | 反向 KL |
| GRPO | 奖励(可验证) | 归一化密度 | 反向 KL |
| DPO[21] | 偏好 | 归一化密度 | 反向 KL 的闭式解 → 分类 |
| DQN | 奖励 + 可交互环境 | 价值函数 | Bellman 残差 |
| AlphaZero[22] | 奖励(胜负)+ 可交互环境 | 归一化密度 + 价值函数 | 前向 KL 到 MCTS 分布 |
| 方法 | 轴 4 采样来源 | 轴 5 梯度估计 | 轴 6 优化结构 |
|---|---|---|---|
| LM 预训练 | 人类数据 · 固定 | 解析 | 固定目标 |
| VAE | 人类数据 · 固定 | 重参数 | 固定目标 |
| DDPM | 人类数据 · 固定 · 构造中间分布 | 解析 | 固定目标 |
| Rectified Flow | 人类数据 · 固定 · 构造中间分布;reflow 轮改用旧模型配对 | 解析 | 固定目标(多轮 reflow 为不动点) |
| GAN | 人类数据 + 当前模型 · 持续更新 | 替身 + 重参数 | 极小极大 |
| CLIP | 人类数据 · 固定 | 解析 | 固定目标 |
| RLHF-PPO | 旧模型 · 持续更新 | score function + critic 基线 | 固定目标(critic 部分是不动点) |
| GRPO | 当前 / 旧模型 · 持续更新 | score function + 组均值基线 | 固定目标 |
| DPO | 人类数据 · 固定 | 解析 | 固定目标 |
| DQN | 其他策略(回放池)· 持续更新 | 解析(半梯度) | 不动点 |
| AlphaZero | 当前模型 · 持续更新 · 搜索改进 | 解析 | 不动点(策略迭代) |
扩散和流只在轴 2、轴 3 有差别,而这两处在高斯路径下能互相换算。决定性的一步在轴 4:构造中间分布,让后面的轴都落在最简单的子项上。
读表方法 考察某个方法在某一轴上的选择时,追问其原因;答案几乎总能追溯到编号更小的轴。
例:DPO 能用固定数据和解析梯度,是因为它把反向 KL 的最优解写成了闭式( 用 表示),再代入 Bradley-Terry 似然,从而转化为普通的分类问题,由此绕开了“反向 KL 需要当前模型采样”的约束(轴 3 → 轴 4)。
例:AlphaZero 和 DQN 都是不动点,原因不同。DQN 的度量引用了模型自身(Bellman 残差);AlphaZero 是训练目标(MCTS 分布)由当前模型经搜索产生(轴 4 → 轴 6)。
参考文献
- R. A. Bradley and M. E. Terry, “Rank analysis of incomplete block designs: I. The method of paired comparisons,” Biometrika, vol. 39, no. 3/4, pp. 324–345, 1952, doi: 10.2307/2334029.
- Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR, 2021, arXiv: 2011.13456.
- J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” in Proc. NeurIPS, 2020, arXiv: 2006.11239.
- T. Yin et al., “One-step diffusion with distribution matching distillation,” in Proc. CVPR, 2024, arXiv: 2311.18828.
- I. J. Goodfellow et al., “Generative adversarial nets,” in Proc. NeurIPS, 2014, arXiv: 1406.2661.
- X. Mao, Q. Li, H. Xie, R. Y. K. Lau, Z. Wang, and S. P. Smolley, “Least squares generative adversarial networks,” in Proc. ICCV, 2017, arXiv: 1611.04076.
- M. Arjovsky, S. Chintala, and L. Bottou, “Wasserstein generative adversarial networks,” in Proc. ICML, 2017, arXiv: 1701.07875.
- A. Tong et al., “Improving and generalizing flow-based generative models with minibatch optimal transport,” Trans. Mach. Learn. Res., 2024, arXiv: 2302.00482.
- J. Benton, G. Deligiannidis, and A. Doucet, “Error bounds for flow matching methods,” Trans. Mach. Learn. Res., 2024, arXiv: 2305.16860.
- P. Vincent, “A connection between score matching and denoising autoencoders,” Neural Comput., vol. 23, no. 7, pp. 1661–1674, 2011, doi: 10.1162/NECO_a_00142.
- A. van den Oord, Y. Li, and O. Vinyals, “Representation learning with contrastive predictive coding,” 2018, arXiv: 1807.03748.
- M. Gutmann and A. Hyvärinen, “Noise-contrastive estimation: A new estimation principle for unnormalized statistical models,” in Proc. AISTATS, 2010, pp. 297–304. [Online]. Available: proceedings.mlr.press
- V. Mnih et al., “Human-level control through deep reinforcement learning,” Nature, vol. 518, no. 7540, pp. 529–533, 2015, doi: 10.1038/nature14236.
- Z. Shao et al., “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300.
- J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” 2017, arXiv: 1707.06347.
- X. Liu, C. Gong, and Q. Liu, “Flow straight and fast: Learning to generate and transfer data with rectified flow,” in Proc. ICLR, 2023, arXiv: 2209.03003.
- D. P. Kingma and M. Welling, “Auto-encoding variational Bayes,” in Proc. ICLR, 2014, arXiv: 1312.6114.
- K. Clark, P. Vicol, K. Swersky, and D. J. Fleet, “Directly fine-tuning diffusion models on differentiable rewards,” in Proc. ICLR, 2024, arXiv: 2309.17400.
- K. Black, M. Janner, Y. Du, I. Kostrikov, and S. Levine, “Training diffusion models with reinforcement learning,” in Proc. ICLR, 2024, arXiv: 2305.13301.
- R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, 2nd ed. Cambridge, MA, USA: MIT Press, 2018.
- R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn, “Direct preference optimization: Your language model is secretly a reward model,” in Proc. NeurIPS, 2023, arXiv: 2305.18290.
- D. Silver et al., “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play,” Science, vol. 362, no. 6419, pp. 1140–1144, 2018, doi: 10.1126/science.aar6404.