标签:机器学习
- 笔记 生成与学习的六个轴
把训练定义为六元组:目标信息、参数化对象、差异度量、采样来源、梯度估计、优化结构,逐轴说明各轴的选项,并据此对照最大似然、扩散、流、GAN、RLHF、DQN 等方法。
- 笔记 损失函数的概率解释:从贝叶斯推断到轨迹生成中的 MSE 与交叉熵
说明先验、似然、后验的关系,最大似然、最大后验与 MSE、交叉熵的推导,以及分类中交叉熵梯度优于 MSE 的原因;讨论两类损失在轨迹生成中的适用范围:多峰分布、混合密度、赢者通吃、轨迹词表与自回归。
把训练定义为六元组:目标信息、参数化对象、差异度量、采样来源、梯度估计、优化结构,逐轴说明各轴的选项,并据此对照最大似然、扩散、流、GAN、RLHF、DQN 等方法。
说明先验、似然、后验的关系,最大似然、最大后验与 MSE、交叉熵的推导,以及分类中交叉熵梯度优于 MSE 的原因;讨论两类损失在轨迹生成中的适用范围:多峰分布、混合密度、赢者通吃、轨迹词表与自回归。