自动驾驶、世界模型与强化学习
最新
- 笔记 Agent 能力沉淀:上下文、代码与权重
说明 Agent 的能力只能存放在权重、上下文和外部代码三处,比较三者的写入成本、使用成本、确定性与泛化,并讨论上下文的约束、skill 的结构,以及能力从上下文下沉为代码、沉淀进权重的过程。
- 笔记 多 Agent 系统:身份、权限隔离、信息共享与运行期防御
说明多 Agent 系统的两条约束:执行权限按最小化原则隔离,信息按任务需要结构化流通;以及身份、权限、隔离、信息共享的做法,和熔断、回滚、分级审批等运行期检测与恢复机制。
- 笔记 RSI 视角下训练与推理的关系
把递归自我改进的每一轮拆成推理侧的发现算子和训练侧的固化算子,推导两者的成本、上限与耦合方式,讨论改进在存储层级中的下沉、训练与推理边界的移动,以及决定循环加速还是收敛的约束。
- 笔记 KL 正则 RL 的贝叶斯后验视角
从贝叶斯法则推出 KL 正则 RL 的目标分布是以基座为先验、以奖励为似然的后验,RL 目标是它的 ELBO;由此解释分布坍缩、多样性下降、无法超出基座和重复 RL 的效果,并说明框架的局限。
- 笔记 前向 KL 与反向 KL:从拟合行为到 SFT、RL 与梯度估计
从期望所依据的采样分布出发比较前向 KL 与反向 KL 的拟合行为,统一 SFT 与 KL 正则 RL 并推导闭式最优策略,讨论扩散、流匹配与在线蒸馏中的 KL 方向,以及策略梯度与重参数化两种梯度估计。
- 笔记 生成与学习的六个轴
把训练定义为六元组:目标信息、参数化对象、差异度量、采样来源、梯度估计、优化结构,逐轴说明各轴的选项,并据此对照最大似然、扩散、流、GAN、RLHF、DQN 等方法。
- 笔记 风格描述词:用一个名称调整模型的写作风格
按简洁、严谨、直观、画图、思考角度五类列出常用的风格描述词和效果,说明组合使用的方法和按文章类型挑选的参考文章,并用“注意力为什么除以根号 d_k”演示 16 种写法。
- 笔记 Flow-GRPO 中的逆时 SDE:从概率流 ODE 到高斯策略
推导 Flow-GRPO 用到的边缘分布不变的逆时 SDE:用 Fokker-Planck 方程构造 SDE,在修正流下用速度场表示 score,经 Euler-Maruyama 离散得到每步高斯策略,并给出对数概率与 KL 的闭式。
- 笔记 递归自我改进:概念、结构、发展层级与爆发条件
说明递归自我改进与元学习、AutoML、自我对弈等相近概念的区别,闭环结构与其中关键的独立评估器,发展层级、各级所需的模型能力与当前所处层级,以及与人类的对比和可能爆发的原因。
- 笔记 强化学习梳理:从经典算法到 GRPO
梳理强化学习的背景与核心公式、经典算法与里程碑论文、应用与挑战,并重点说明大模型时代从 RLHF 到 RLVR、从 PPO 到 GRPO 及其变体的演进,附学习资料。
- 笔记 Agent 与 Harness:框架、原理及其在驾驶行为挖掘中的应用
说明 Agentic 与 Harness 的分工、闭环设计原则与适用条件,并以驾驶行为挖掘为例给出三层结构设计,整理自动驾驶中适合 Agent 的环节与开源项目。
- 笔记 损失函数的概率解释:从贝叶斯推断到轨迹生成中的 MSE 与交叉熵
说明先验、似然、后验的关系,最大似然、最大后验与 MSE、交叉熵的推导,以及分类中交叉熵梯度优于 MSE 的原因;讨论两类损失在轨迹生成中的适用范围:多峰分布、混合密度、赢者通吃、轨迹词表与自回归。
- 笔记 机器人、AI、自动驾驶、强化学习与认知科学的重要会议与期刊
整理五个领域的主要会议与期刊,区分优先关注与常用补充两类,并给出会议的全年时间表,便于安排投稿与阅读,并按领域检索。
- 笔记 Agentic 与 Harness:核心概念和学习资源
说明 Agentic 的核心是自主决策的循环,Harness 是模型之外的全部组成部分,以及二者的分工、典型实例与相关的课程、视频和博客。
- 笔记 AI 经典论文与优质博客导读
按 12 个细分领域整理 39 篇经典论文与 24 个技术博客,给出原文编号与地址,并另列视频与播客来源,供系统阅读与检索。
- 笔记 从 Score Matching 到 Flow Matching:扩散模型的关系与脉络
梳理 SDE、ODE、score matching、flow matching、DDPM、DDIM 的关系,以及 score 线、变分线、flow 线三条研究线的汇合,并给出重点论文与阅读路线。
- 笔记 端到端规划技术谱系
端到端自动驾驶规划的三条主线(轨迹生成、打分选择、RL 后训练)与六条扩展线(感知与表示、模仿与蒸馏、世界模型、VLA、捷径与时序一致性、评测):机制、关键公式与代表论文。