标签:生成模型
- 笔记 前向 KL 与反向 KL:从拟合行为到 SFT、RL 与梯度估计
从期望所依据的采样分布出发比较前向 KL 与反向 KL 的拟合行为,统一 SFT 与 KL 正则 RL 并推导闭式最优策略,讨论扩散、流匹配与在线蒸馏中的 KL 方向,以及策略梯度与重参数化两种梯度估计。
- 笔记 生成与学习的六个轴
把训练定义为六元组:目标信息、参数化对象、差异度量、采样来源、梯度估计、优化结构,逐轴说明各轴的选项,并据此对照最大似然、扩散、流、GAN、RLHF、DQN 等方法。
- 笔记 Flow-GRPO 中的逆时 SDE:从概率流 ODE 到高斯策略
推导 Flow-GRPO 用到的边缘分布不变的逆时 SDE:用 Fokker-Planck 方程构造 SDE,在修正流下用速度场表示 score,经 Euler-Maruyama 离散得到每步高斯策略,并给出对数概率与 KL 的闭式。
- 笔记 从 Score Matching 到 Flow Matching:扩散模型的关系与脉络
梳理 SDE、ODE、score matching、flow matching、DDPM、DDIM 的关系,以及 score 线、变分线、flow 线三条研究线的汇合,并给出重点论文与阅读路线。