标签:大模型后训练
- 笔记 RSI 视角下训练与推理的关系
把递归自我改进的每一轮拆成推理侧的发现算子和训练侧的固化算子,推导两者的成本、上限与耦合方式,讨论改进在存储层级中的下沉、训练与推理边界的移动,以及决定循环加速还是收敛的约束。
- 笔记 KL 正则 RL 的贝叶斯后验视角
从贝叶斯法则推出 KL 正则 RL 的目标分布是以基座为先验、以奖励为似然的后验,RL 目标是它的 ELBO;由此解释分布坍缩、多样性下降、无法超出基座和重复 RL 的效果,并说明框架的局限。
- 笔记 前向 KL 与反向 KL:从拟合行为到 SFT、RL 与梯度估计
从期望所依据的采样分布出发比较前向 KL 与反向 KL 的拟合行为,统一 SFT 与 KL 正则 RL 并推导闭式最优策略,讨论扩散、流匹配与在线蒸馏中的 KL 方向,以及策略梯度与重参数化两种梯度估计。
- 笔记 强化学习梳理:从经典算法到 GRPO
梳理强化学习的背景与核心公式、经典算法与里程碑论文、应用与挑战,并重点说明大模型时代从 RLHF 到 RLVR、从 PPO 到 GRPO 及其变体的演进,附学习资料。