生成与学习的六个轴

2026-10-25笔记生成模型强化学习机器学习损失函数

任何训练都在做同一件事:只用目标能提供的信息和模型能算出的量,让模型逼近目标。决定一个算法形态的是六个选择,我们称为六个轴。下面先从训练的定义推出这六个轴,再逐轴展开。

训练问题

目标

这里的目标(target)指训练要让模型逼近的对象。目标通常是一个概率分布,记作 pp少数方法的目标是一个函数,例如最优价值函数 Q∗Q^*

从第一性原理推出定义

训练是改变模型参数 θ\theta 的过程。要让这个过程有确定的方向,必须先回答三个问题:

问题回答
模型应该变成什么目标
怎样衡量模型离目标有多远差异度量 DD损失函数是 DD 的可计算形式
怎样获得目标的信息目标通常无法完整写出,只能通过一个接口获得部分信息,例如样本、打分或 score

记模型表示的分布为 qθq_\theta把三者合起来,训练可以写成

θ∗=arg⁡min⁡θ D(p,qθ)\theta^* = \arg\min_\theta\ D(p, q_\theta)

其中 DD 只能用接口提供的信息来估计。接口是轴 1 的内容,度量是轴 3 的内容。

目标的性质

目标有四个性质:无法直接获得、可以由其他信息构造、可以随训练变化、可以不显式存在。无法直接获得有两种原因:统计上未知,或计算上不可处理。

性质说明实例
无法直接获得:统计上未知真实分布的形式不可知,只能用有限样本估计。训练实际最小化的是模型与经验分布 p^N=1N∑iδxi\hat p_N = \frac{1}{N}\sum_i \delta_{x_i} 的差异,它与真实分布之间的差距即泛化误差。有限样本不能唯一确定高维分布,因此估计必须依赖归纳偏置。预训练、监督微调(Supervised Fine-Tuning,SFT)
无法直接获得:计算上不可处理目标的公式已知,但归一化常数无法计算,也无法采样。这类问题缺的是算力,不是信息。变分推断中的后验、基于人类反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)中的 p∗p^*
可以由其他信息构造奖励本身不是目标。RLHF 的目标是由奖励和参考模型合成的分布 p∗∝πref⋅er/βp^* \propto \pi_{\text{ref}}\cdot e^{r/\beta}RLHF
可以随训练变化目标由模型自身或另一个正在训练的网络给出(轴 6)。自举类和博弈类方法
可以不显式存在只规定哪些输入的表征应该相近,不规定输出应服从的分布。对比学习、JEPA

两种无法直接获得的情况下,训练都只能通过样本或逐点打分接触目标(轴 1)。

常见训练场景中的目标

场景目标获得目标信息的接口
预训练真实文本分布语料(样本)
SFT专家回答的分布标注数据(样本)
知识蒸馏teacher 的输出分布teacher 的概率或 logits
RLHF、GRPOp∗∝πref⋅er/βp^* \propto \pi_{\text{ref}}\cdot e^{r/\beta}奖励模型或判题器的打分
DPO与 RLHF 相同的 p∗p^*偏好对
变分推断后验 p(z∣x)p(z\mid x)未归一化的联合分布 p(x,z)p(x, z)
扩散模型图像数据分布数据集(样本)
SDS、DMD预训练扩散模型表示的分布teacher 的 score
Q-learning最优价值函数 Q∗Q^*(不是分布)转移样本和奖励,通过 Bellman 方程间接给出
对比学习、JEPA无显式目标分布输入之间的对应关系

形式化定义

设 Θ\Theta 为参数空间,Y\mathcal{Y} 为目标所在的空间(概率分布空间或函数空间)。

定义(训练问题) 一个训练问题由六元组 (O,φ,D,μ,g^,T)(\mathcal{O}, \varphi, D, \mu, \hat g, \mathcal{T}) 规定,六个元素依次对应轴 1 到轴 6:

元素对应的轴含义
目标预言机(oracle)O\mathcal{O}轴 1 目标信息训练过程关于目标 y∗∈Yy^* \in \mathcal{Y} 可获得的全部信息,例如样本 x∼px \sim p未归一化密度 p~(x)\tilde p(x)奖励 r(x)r(x)偏好、score ∇xlog⁡p(x)\nabla_x \log p(x)
参数化 φ\varphi轴 2 参数化对象映射 φ:Θ→Y\varphi: \Theta \to \mathcal{Y}记 qθ=φ(θ)q_\theta = \varphi(\theta)它决定模型能提供的量,例如采样、log⁡qθ\log q_\thetascore
差异泛函 DD轴 3 差异度量D:Y×Y→[0,∞]D: \mathcal{Y} \times \mathcal{Y} \to [0, \infty]满足 D(y,y′)=0  ⟺  y=y′D(y, y') = 0 \iff y = y'
采样分布 μ\mu轴 4 采样来源损失在其上取期望的分布。它可以依赖 θ\theta(on-policy),也可以不依赖(静态数据)
梯度估计器 g^\hat g轴 5 梯度估计随机向量,满足 E[g^]=∇θL(θ)\mathbb{E}[\hat g] = \nabla_\theta L(\theta)或在可控偏差内近似成立;LL 是 DD 在 μ\mu 上的经验形式
目标更新算子 T\mathcal{T}轴 6 优化结构规定目标如何随迭代变化

训练过程按下式迭代:

θk+1=θk−ηk g^(θk; yk, μθk),yk+1=T(yk,θk+1)\theta_{k+1} = \theta_k - \eta_k\, \hat g(\theta_k;\, y_k,\, \mu_{\theta_k}), \qquad y_{k+1} = \mathcal{T}(y_k, \theta_{k+1})

可行性约束 L(θ)L(\theta) 必须能仅用 O\mathcal{O} 与 φ\varphi 提供的量无偏或一致地估计。轴 3 末尾的“度量与所需信息”表就是这一约束的展开。

T\mathcal{T} 的四种取值对应轴 6 中的四种优化结构:

T\mathcal{T} 的取值优化结构实例
恒等映射固定目标的最小化最大似然
E 步交替最小化EM、拒绝采样微调(Rejection sampling Fine-Tuning,RFT)
yk+1y_{k+1} 由 qθq_\theta 自身给出不动点迭代时序差分(Temporal Difference,TD)学习、BYOL
由对手网络给出极小极大博弈GAN

DD 的定义域取 Y\mathcal{Y} 而不是分布空间,是为了纳入目标为函数的情形。例如 Q-learning 的目标是 Q∗Q^*差异是 Bellman 残差。

六个轴的依赖关系

六个轴里最根本的是轴 1 和轴 2:目标能提供什么(样本、密度还是奖励),模型能算出什么(能否采样、能否计算对数概率)。两者一交叉,能用的差异度量就基本确定了;前向 KL 与反向 KL 只是轴 3 上的两个取值。六个轴按依赖关系排序,每个轴只受编号更小的轴约束,分为三组:

信息:可获取的量

目标函数:比较的对象与依据的分布

优化:梯度计算与收敛性

因果方向:轴 1 和轴 2 决定能用哪些度量(轴 3);度量中的期望所依据的分布即采样来源(轴 4);采样分布是否依赖参数,决定梯度的计算方式(轴 5);度量是否引用模型自身、采样是否来自当前模型,决定目标是否随训练变化(轴 6)。

目标信息

目标信息指可向目标查询的量,即六元组中的 O\mathcal{O}目标分布 pp 本身无法直接获得,只能通过某种接口访问;接口不同,可行的方法也不同。这一轴是可行性的源头。

接口说明实例
样本(samples)只能获得数据点本身:可知哪些数据出现过,但不知道每个点的概率值。这是最常见的接口。图片数据集、文本语料;扩散和流的训练数据属于此类。
未归一化密度(unnormalized density)可对任意点计算一个数值 p~(x)=Z⋅p(x)\tilde p(x) = Z\cdot p(x)它和概率成正比。因此能准确比较两个点的相对可能性,但不知道归一化常数 ZZZZ 需要对所有可能的 xx 求和,计算上不可行。该接口不提供样本。物理系统中的 e−E(x)e^{-E(x)}贝叶斯后验的分子(先验 × 似然)。
奖励(reward)对一个完整输出给出评分,只反映优劣,不描述分布。它和未归一化密度是同一信息的不同包装:p~(x)=pref(x)⋅er(x)/β\tilde p(x) = p_{\text{ref}}(x)\cdot e^{r(x)/\beta}实际区别在于奖励通常是黑箱、单点查询。需注明奖励是否可导:只有可导时才能使用重参数(轴 5)。代码单测通过率(不可导)、数学答案校验器(不可导)、美学打分网络(可导)。
偏好(preference)只给出“A 优于 B”的比较结果。它比奖励更弱:只包含奖励之差,不包含绝对值。所有奖励加同一个常数,偏好不变。Bradley-Terry 模型[1]写成 P(A≻B)=σ(rA−rB)P(A\succ B) = \sigma(r_A - r_B)RLHF 中由人类标注两个回答中较优的一个。
score(∇xlog⁡p(x)\nabla_x \log p(x)某点上密度上升最快的方向。其作用在于:对对数求梯度时常数 ZZ 消失,因此不需要归一化。物理力场 −∇E-\nabla E扩散:单个数据点没有 score,但给定 x0x_0 后,加噪点的条件 score 是已知的 −ε/σ-\varepsilon/\sigma
结构关系(structural relations)不提供数值,只规定哪些对象应当相关:哪些相同、谁在谁之后、哪部分能预测哪部分。同一张图的两种裁剪是同一物体;视频的下一帧由上一帧发展而来;图文配对。
可交互环境(environment)可主动执行动作,由环境返回下一状态和奖励。它与奖励的区别在于:奖励只评判已有输出,环境则允许试错并产生新数据。是否具备环境决定了能否在线采样(轴 4),这也是离线 RL 与在线 RL 的根本区别。游戏模拟器、代码沙箱、机器人仿真。

参数化对象

参数化对象指模型输出的量,由六元组中的 φ\varphi 决定。模型必须给出一个可与轴 1 所提供的量相比较的量,因此这一轴是轴 1 的对偶。

对象说明实例
归一化密度(normalized density)模型对每个 xx 给出概率,总和为 1。优点是可以直接计算 log⁡q(x)\log q(x)代价是架构必须保证归一化。GPT 每步 softmax,再用链式法则相乘;normalizing flow 用变量替换公式。
能量(energy)模型对每个 xx 给出一个数值 EE越低越可能,q∝e−Eq \propto e^{-E}不要求归一化,架构完全自由。代价是 ZZ 未知,既不能直接采样,也不能计算似然。能量模型(EBM)。
score / 速度场(score / velocity field)模型在每个位置、每个时间输出一个方向向量。采样过程从噪声出发,沿该方向逐步推进(积分 ODE 或 SDE)。score 指向密度上升方向;速度场指向“噪声 → 数据”的移动方向。密度是隐式的。扩散(DDPM)预测噪声 ε\varepsilon等价于 score;流(Rectified Flow)直接预测速度。同一条高斯路径上两者可互换:v=f(t)⋅x−12g(t)2⋅sv = f(t)\cdot x - \tfrac12 g(t)^2\cdot s[2]。
采样器(sampler)输入随机噪声,输出样本。不提供任何概率值,因此只能采用样本与样本之间的比较。GAN 生成器;从扩散或流蒸馏出的一步生成器。
价值函数(value function)输入状态(或状态 + 动作),输出未来累积奖励的期望,记作 V(s)V(s) 或 Q(s,a)Q(s,a)需要它的原因是:奖励往往滞后,单步决策需要估计长期后果。DQN 的 Q 网络、PPO 的 critic。
密度比 / 判别器(density ratio / discriminator)输入 xx判断它来自 pp 还是 qq最优判别器满足 D=p/(p+q)D = p/(p+q)等价于已知比值 p/qp/q需要它的原因是:两侧都只有样本时,仍能估计该比值,从而计算 ff-散度。GAN 判别器、NCE。
近似后验(approximate posterior)在隐变量模型中,给定观测 xx输出隐变量的分布 q(z∣x)q(z\mid x)需要它的原因是:真后验 p(z∣x)p(z\mid x) 需要对所有 zz 积分,计算上不可行,因此用一个网络近似。VAE 编码器。
表示(representation)将 xx 映射为一个向量。它不描述概率,只要求相关对象的向量彼此接近。它是“结构关系”的对偶。CLIP 嵌入、JEPA 编码器。
目标给(轴 1)模型给(轴 2)自然得到的度量(轴 3)代表方法
样本归一化密度前向 KL最大似然
未归一化密度 / 奖励采样器 + 密度反向 KL变分推断、RL
样本采样器 + 判别器JS、Wasserstein、MMDGAN
score(经加噪间接得到)scoreFisher 散度扩散模型
结构关系表示对比损失CLIP、SimCLR
奖励 + 可交互环境价值函数Bellman 残差DQN

差异度量

差异度量指衡量模型与目标差异的量,即六元组中的 DD它由轴 1 和轴 2 共同约束:度量公式中出现的量,目标和模型都必须能够计算。

f-散度

在每个点比较密度比 p/qp/q再加权平均:Df(p∥q)=Eq[f(p/q)]D_f(p\Vert q) = \mathbb{E}_q[f(p/q)]要求两分布在同一区域都有质量,否则比值是 0 或无穷。

散度说明实例
前向 KL(KL(p∥q)\mathrm{KL}(p\Vert q)在目标样本上衡量模型给出的概率偏低的程度。最小化它就是最大似然。目标有质量而模型没有质量的区域惩罚为无穷大,因此模型倾向于覆盖所有模式(mode covering),生成结果偏模糊。需要目标样本和模型密度。语言模型预训练;DDPM 原论文从 ELBO 推导损失[3],ELBO 是负对数似然的上界。
反向 KL(KL(q∥p)\mathrm{KL}(q\Vert p)在模型样本上衡量模型概率高于目标的程度。模型将质量放在目标密度低的区域会受到重罚,因此倾向于聚焦少数模式(mode seeking)。需要模型样本和目标未归一化密度;ZZ 是常数,不影响梯度。变分推断;RLHF 目标就是对 pref⋅er/βp_{\text{ref}}\cdot e^{r/\beta} 的反向 KL;扩散蒸馏 DMD 让一步生成器最小化对教师分布的反向 KL,梯度用两个 score 之差估计[4]。
JS 散度(Jensen-Shannon)两个分布分别与平均分布 (p+q)/2(p+q)/2 计算 KL,再取平均。它是对称的,上界为 log⁡2\log 2缺点是两分布完全不重叠时恒为 log⁡2\log 2梯度为零。原始 GAN 在判别器最优时最小化 JS[5]。
χ2\chi^2 散度(chi-squared)比值偏离 1 的平方的平均,大比值被重罚。它等于重要性采样权重的方差,因此可以衡量 off-policy 修正的不稳定程度。LSGAN 对应 Pearson χ2\chi^2[6];off-policy 估计的方差分析。
α\alpha-散度(alpha-divergence)用一个参数 α\alpha 连续调节,两端分别退化为前向 KL 和反向 KL。用于在覆盖与聚焦之间折中。变分推断中替代 KL 的折中选择。

IPM(积分概率度量)

在测试函数类中比较各函数 ff 在两个分布下的均值,取最大差值:sup⁡f∈F∣Epf−Eqf∣\sup_{f\in\mathcal{F}} |\mathbb{E}_p f - \mathbb{E}_q f|它只需要两个分布的样本,在两分布不重叠时仍有意义。

度量说明实例
Wasserstein 距离(optimal transport)将分布 qq 的概率质量搬运为分布 pp 所需的最小运输量。对偶形式中 F\mathcal{F} 是 1-Lipschitz 函数。两个分布相距较远时,该距离仍随分布的移动平滑变化,因此梯度不会消失。WGAN[7]。流:minibatch OT 配对让路径更直[8];在光滑性假设下,速度回归误差能控制生成分布与数据分布的 Wasserstein 距离上界[9]。
MMD(maximum mean discrepancy)用核函数把样本映射到特征空间,比较两个分布特征均值之间的距离。它有闭式解,不需要对抗训练。缺点是效果依赖核的选择,高维下区分力弱。MMD-GAN、两样本检验。

其他度量

度量说明实例
Fisher 散度(Fisher divergence)在每个点比较两个分布 score 之差的平方:Ep∥∇log⁡p−∇log⁡q∥2\mathbb{E}_p\Vert\nabla \log p - \nabla \log q\Vert^2它只比较方向,因此 ZZ 消失。难点是目标 score 一般未知;解决办法是去噪分数匹配:加噪后的条件 score 是已知的 −ε/σ-\varepsilon/\sigma[10]。扩散:简化损失(预测 ε\varepsilon 的 L2)就是在所有噪声等级上加权求和的 Fisher 散度。流:速度场的 L2 回归形式相同,只是比较的对象是速度场而不是 score;它本身不是 ff-散度,也不是 IPM。
对比损失(InfoNCE / NCE)给定一个正样本和若干负样本,要求模型识别出正样本。其本质是分类:区分相关的样本对与随机组合的样本对。InfoNCE 是多选一[11];NCE 区分数据与噪声,也可用于训练未归一化模型[12]。CLIP、SimCLR。
Bellman 残差(Bellman residual)当前估计 Q(s,a)Q(s,a) 与单步奖励加下一步估计 r+γ⋅Q(s′,a′)r + \gamma\cdot Q(s',a') 之差。它不比较两个分布,而是检验模型与其向前一步的估计是否一致,度量的是自洽性。TD 学习、DQN[13]。
度量需要目标提供需要模型提供
前向 KL样本归一化密度
反向 KL未归一化密度样本 + 密度
JS / χ2\chi^2 / α\alpha样本样本 + 判别器(估计比值)
Wasserstein / MMD样本样本
Fisher 散度score(或加噪样本)score
对比损失正负配对表示
Bellman 残差奖励 + 状态转移价值函数

采样来源

采样来源指训练数据的来源。损失是一个期望 Ex∼μ[ℓ(x)]\mathbb{E}_{x\sim \mu}[\ell(x)]采样来源即六元组中的分布 μ\mu训练时的 μ\mu 与使用时模型实际面对的分布不一致,就会产生分布偏移。采样来源可用以下三个相互独立的问题刻画。

问题一:数据由谁生成

来源说明实例
当前模型(on-policy)用当前参数采样,训练分布与使用分布一致,不存在偏移。代价是每次更新都需要重新采样,成本高,且只能覆盖模型已具备的行为。反向 KL 天然要求这种来源。REINFORCE、GRPO[14]。
旧模型(near-policy)用前几步的参数采样,目的是复用数据、降低采样成本。偏差用重要性比 πθ/πold\pi_\theta/\pi_{\text{old}} 修正,PPO 再对比值做裁剪,限制每步的更新幅度[15]。PPO 用一批数据训练多个 epoch;Rectified Flow 的 reflow 用上一轮模型生成的(噪声,输出)配对训练下一轮[16]。
其他策略(off-policy)数据来自与模型无关的策略,例如带探索噪声的策略或其他模型。两者差距较大时重要性权重会发散,因此常改用不需要权重的方法,例如学习 Q 函数后取最大值。DQN 回放池。
人类数据(human data)由人撰写或标注的数据。质量高,但与模型自身的输出分布不同。预训练语料、SFT 数据、示范轨迹;扩散和流的数据端(噪声端是已知高斯,不需要采集)。
MCMC / 提议分布(MCMC / proposal)目标只提供未归一化密度时获取样本的两种方法。MCMC 让一条马尔可夫链逐步走向目标分布;提议分布先从简单分布采样,再按权重 p~/q\tilde p/q 修正。EBM 用 Langevin 动力学生成负样本;重要性采样。

问题二:是否刷新

方式说明实例
固定(static)数据集在训练前确定,之后保持不变。它稳定、可复用,但无法纠正模型新出现的错误。语言模型以 teacher forcing 训练、生成时却以自身输出为前缀,即属于这种偏移(exposure bias)。预训练、离线 RL;扩散和流的训练集。
持续更新(refreshed)训练过程中持续加入新样本,能够覆盖模型当前的行为;代价是数据分布持续变化,训练不稳定。在线 RL、滚动的回放池。

问题三:怎样加工

方式说明实例
原样使用(as is)数据不经变换,直接用于训练。语言模型预训练。
构造中间分布(interpolation path)人为将数据构造成一系列由易到难的分布,例如按噪声等级加噪。原因是直接学习数据分布困难,而学习相邻两级之间的小步变换较为容易。扩散的加噪 q(xt∣x0)q(x_t\mid x_0)流的线性插值 xt=(1−t)⋅x0+t⋅x1x_t = (1-t)\cdot x_0 + t\cdot x_1其关键作用在于:单个样本没有 score 或速度,但在构造的路径上,条件 score / 条件速度有闭式解,于是“学分布”变成“逐点回归”。
经搜索或过滤改进(improvement operator)先从模型采样,再筛选优质样本或通过搜索改进,得到优于当前模型的分布,并以其作为训练目标。它将在线采样与监督学习结合起来。best-of-N、拒绝采样、AlphaZero 的 MCTS、STaR。

梯度估计

梯度估计指期望梯度 ∇θEx∼μ[f(x)]\nabla_\theta \mathbb{E}_{x\sim \mu}[f(x)] 的计算方式,即六元组中的 g^\hat g难点在于 μ\mu 可能依赖 θ\theta梯度无法直接穿过采样这一步。具体方法由轴 4 和奖励是否可导决定。

估计说明实例
解析梯度(analytic)采样分布不依赖参数,或期望能精确算出(小的离散空间)。直接反向传播。语言模型预训练、DPO;扩散和流的训练:tt噪声、数据点都独立于参数采样,回归目标是闭式的。
重参数(pathwise)将随机性从参数中分离,写成 x=μθ+σθ⋅εx = \mu_\theta + \sigma_\theta\cdot\varepsilonε\varepsilon 是与参数无关的噪声。梯度沿 f→x→θf \to x \to \theta 传回。要求 xx 连续、ff 对 xx 可导。方差低。VAE[17]、SAC;用可导奖励微调扩散模型时,沿去噪链反传(如 DRaFT[18])。
连续松弛(relaxation)离散采样不可导,有两种绕法。Gumbel-softmax 用平滑分布近似 one-hot,温度越低越接近;直通估计是前向用离散值,反向当作恒等函数传梯度。有偏,但方差低。VQ-VAE(直通估计)。
score function(REINFORCE)用恒等式 ∇Eq[f]=Eq[f(x)⋅∇log⁡qθ(x)]\nabla \mathbb{E}_q[f] = \mathbb{E}_q[f(x)\cdot\nabla \log q_\theta(x)]只要求模型的对数概率可导,ff 可以是黑箱,xx 可以离散。代价是方差大,需要减去基线。REINFORCE、PPO;GRPO 用组内平均奖励作基线;奖励不可导时,把去噪链当作策略做 RL 微调(如 DDPO[19])。
学习的替身(learned surrogate)信号是黑箱且方差太大时,先训练一个可导网络近似该信号,再对该网络反向传播,以偏差换取方差。风险在于模型会利用替身的误差(reward hacking)。DDPG 的 critic 给出 ∇aQ\nabla_a QGAN 判别器;奖励模型。

选择规则 采样分布不依赖参数 → 解析梯度;连续且可导 → 重参数;离散但想要低方差 → 连续松弛;黑箱 → score function;黑箱且方差太大 → 学习的替身。

优化结构

优化结构指训练目标是否随训练移动,即六元组中的目标更新算子 T\mathcal{T} 取什么形式。收敛理论依赖于存在一个持续下降的固定量;目标随模型变化越多,收敛保证越弱。优化结构由轴 3 和轴 4 的选择决定。

结构说明实例
固定目标的最小化(fixed objective)损失函数不随参数变化。标准 SGD 理论适用,能收敛到驻点。最大似然;扩散和流的训练。
交替最小化(EM / coordinate)参数分两块,轮流固定一块、优化另一块,两块共享同一个目标。每一步都不会使目标变差,因此单调收敛到局部最优。EM(E 步算隐变量后验,M 步更新参数)、k-means。
双层优化(bilevel)外层目标依赖内层优化的结果,内外层目标不同(这是它与交替最小化的区别)。外层梯度需要穿过整个内层优化过程,计算代价高。MAML、超参优化、数据集蒸馏。
不动点迭代(bootstrapping)训练目标由模型自己的旧版本算出。只有当更新是压缩映射时才保证收敛;函数近似 + off-policy + 自举同时出现时可能发散(“致命三角”[20])。缓解方法是使用目标网络或 EMA,使目标缓慢变化。DQN、BYOL / JEPA、consistency model;Rectified Flow 多轮 reflow:每轮内部是固定目标,但下一轮数据由上一轮模型产生,整体收敛到路径最直的配对。
极小极大博弈(min-max)双方对抗,一方使目标下降,另一方使目标上升。不存在始终下降的量,梯度下降-上升可能出现循环而不收敛。GAN、对抗训练、带约束优化的拉格朗日方法。

来源 度量引用模型自身(Bellman 残差)→ 不动点;度量用变分对偶估计(判别器求 sup)→ 极小极大;从当前模型采样 → 即使损失形式固定,数据分布也会变化。

收敛保证从强到弱 固定目标 > 交替最小化 > 不动点(需压缩性)> 极小极大(一般无保证)。

把熟悉的方法放到六个轴上

轴 4 按“数据由谁生成 · 是否刷新 · 怎样加工”书写,原样使用时省略加工项。

方法轴 1 目标信息轴 2 参数化对象轴 3 差异度量
LM 预训练样本归一化密度前向 KL
VAE样本归一化密度(解码器)+ 近似后验前向 KL 的下界(ELBO)
DDPM样本scoreFisher(去噪分数匹配)
Rectified Flow样本速度场速度场 L2 回归
GAN样本采样器 + 判别器JS / Wasserstein
CLIP结构关系表示对比损失(InfoNCE)
RLHF-PPO偏好 → 奖励模型归一化密度 + 价值函数反向 KL
GRPO奖励(可验证)归一化密度反向 KL
DPO[21]偏好归一化密度反向 KL 的闭式解 → 分类
DQN奖励 + 可交互环境价值函数Bellman 残差
AlphaZero[22]奖励(胜负)+ 可交互环境归一化密度 + 价值函数前向 KL 到 MCTS 分布
方法轴 4 采样来源轴 5 梯度估计轴 6 优化结构
LM 预训练人类数据 · 固定解析固定目标
VAE人类数据 · 固定重参数固定目标
DDPM人类数据 · 固定 · 构造中间分布解析固定目标
Rectified Flow人类数据 · 固定 · 构造中间分布;reflow 轮改用旧模型配对解析固定目标(多轮 reflow 为不动点)
GAN人类数据 + 当前模型 · 持续更新替身 + 重参数极小极大
CLIP人类数据 · 固定解析固定目标
RLHF-PPO旧模型 · 持续更新score function + critic 基线固定目标(critic 部分是不动点)
GRPO当前 / 旧模型 · 持续更新score function + 组均值基线固定目标
DPO人类数据 · 固定解析固定目标
DQN其他策略(回放池)· 持续更新解析(半梯度)不动点
AlphaZero当前模型 · 持续更新 · 搜索改进解析不动点(策略迭代)

扩散和流只在轴 2、轴 3 有差别,而这两处在高斯路径下能互相换算。决定性的一步在轴 4:构造中间分布,让后面的轴都落在最简单的子项上。

读表方法 考察某个方法在某一轴上的选择时,追问其原因;答案几乎总能追溯到编号更小的轴。

例:DPO 能用固定数据和解析梯度,是因为它把反向 KL 的最优解写成了闭式(rr 用 β⋅log⁡(π/πref)\beta\cdot\log(\pi/\pi_{\text{ref}}) 表示),再代入 Bradley-Terry 似然,从而转化为普通的分类问题,由此绕开了“反向 KL 需要当前模型采样”的约束(轴 3 → 轴 4)。

例:AlphaZero 和 DQN 都是不动点,原因不同。DQN 的度量引用了模型自身(Bellman 残差);AlphaZero 是训练目标(MCTS 分布)由当前模型经搜索产生(轴 4 → 轴 6)。

参考文献

  1. R. A. Bradley and M. E. Terry, “Rank analysis of incomplete block designs: I. The method of paired comparisons,” Biometrika, vol. 39, no. 3/4, pp. 324–345, 1952, doi: 10.2307/2334029.
  2. Y. Song, J. Sohl-Dickstein, D. P. Kingma, A. Kumar, S. Ermon, and B. Poole, “Score-based generative modeling through stochastic differential equations,” in Proc. ICLR, 2021, arXiv: 2011.13456.
  3. J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” in Proc. NeurIPS, 2020, arXiv: 2006.11239.
  4. T. Yin et al., “One-step diffusion with distribution matching distillation,” in Proc. CVPR, 2024, arXiv: 2311.18828.
  5. I. J. Goodfellow et al., “Generative adversarial nets,” in Proc. NeurIPS, 2014, arXiv: 1406.2661.
  6. X. Mao, Q. Li, H. Xie, R. Y. K. Lau, Z. Wang, and S. P. Smolley, “Least squares generative adversarial networks,” in Proc. ICCV, 2017, arXiv: 1611.04076.
  7. M. Arjovsky, S. Chintala, and L. Bottou, “Wasserstein generative adversarial networks,” in Proc. ICML, 2017, arXiv: 1701.07875.
  8. A. Tong et al., “Improving and generalizing flow-based generative models with minibatch optimal transport,” Trans. Mach. Learn. Res., 2024, arXiv: 2302.00482.
  9. J. Benton, G. Deligiannidis, and A. Doucet, “Error bounds for flow matching methods,” Trans. Mach. Learn. Res., 2024, arXiv: 2305.16860.
  10. P. Vincent, “A connection between score matching and denoising autoencoders,” Neural Comput., vol. 23, no. 7, pp. 1661–1674, 2011, doi: 10.1162/NECO_a_00142.
  11. A. van den Oord, Y. Li, and O. Vinyals, “Representation learning with contrastive predictive coding,” 2018, arXiv: 1807.03748.
  12. M. Gutmann and A. Hyvärinen, “Noise-contrastive estimation: A new estimation principle for unnormalized statistical models,” in Proc. AISTATS, 2010, pp. 297–304. [Online]. Available: proceedings.mlr.press
  13. V. Mnih et al., “Human-level control through deep reinforcement learning,” Nature, vol. 518, no. 7540, pp. 529–533, 2015, doi: 10.1038/nature14236.
  14. Z. Shao et al., “DeepSeekMath: Pushing the limits of mathematical reasoning in open language models,” 2024, arXiv: 2402.03300.
  15. J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, “Proximal policy optimization algorithms,” 2017, arXiv: 1707.06347.
  16. X. Liu, C. Gong, and Q. Liu, “Flow straight and fast: Learning to generate and transfer data with rectified flow,” in Proc. ICLR, 2023, arXiv: 2209.03003.
  17. D. P. Kingma and M. Welling, “Auto-encoding variational Bayes,” in Proc. ICLR, 2014, arXiv: 1312.6114.
  18. K. Clark, P. Vicol, K. Swersky, and D. J. Fleet, “Directly fine-tuning diffusion models on differentiable rewards,” in Proc. ICLR, 2024, arXiv: 2309.17400.
  19. K. Black, M. Janner, Y. Du, I. Kostrikov, and S. Levine, “Training diffusion models with reinforcement learning,” in Proc. ICLR, 2024, arXiv: 2305.13301.
  20. R. S. Sutton and A. G. Barto, Reinforcement Learning: An Introduction, 2nd ed. Cambridge, MA, USA: MIT Press, 2018.
  21. R. Rafailov, A. Sharma, E. Mitchell, S. Ermon, C. D. Manning, and C. Finn, “Direct preference optimization: Your language model is secretly a reward model,” in Proc. NeurIPS, 2023, arXiv: 2305.18290.
  22. D. Silver et al., “A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play,” Science, vol. 362, no. 6419, pp. 1140–1144, 2018, doi: 10.1126/science.aar6404.