端到端规划技术谱系
端到端规划的研究可以归纳为三条主线,它们是同一个闭环里的三个环节:生成器提出候选轨迹;打分器评估候选轨迹,结果既用来选轨迹,也可以当作奖励;RL 后训练用奖励把生成器推向高质量轨迹。主线之外,我们还梳理了六条扩展线:感知与场景表示、模仿与蒸馏、世界模型、VLA、捷径与时序一致性、评测。
研究线总览
端到端模型可以写成策略 九条研究线分别回答这个策略的四个问题:
- 输入:模型的观测 怎么表示。
- 决策:策略 怎么输出轨迹、怎么选轨迹。
- 训练:参数 用什么训练信号。
- 验证:怎样判断模型学得对不对。
| 层次 | 研究线 | 核心问题 |
|---|---|---|
| 输入 · 观测表示 | ⓪ 感知与场景表示 | 表示单元为位置(稠密 BEV)还是物体(稀疏 query)。二段式是其极端情形:感知模块冻结,接口经过量化。 |
| 决策 · 轨迹输出 | ① 轨迹生成(主线) | 输出参数化、生成范式、多模态机制、推理代价 |
| 决策 · 轨迹选择 | ② 打分 / 选择(主线) | 打分器的监督来源:与真值轨迹的距离,或规则子指标 |
| 训练 · 奖励信号 | ③ RL / 后训练(主线) | 奖励来源;优化算法;单步开环或真闭环 |
| 训练 · 教师信号 | ④ 模仿与蒸馏 | 学生出错后进入新的状态,如何在这些状态上纠正学生 |
| 训练 · 自监督 | ⑤ 世界模型 | 预测未来能否弥补轨迹监督的稀疏性;世界模型能否作为环境与评论家 |
| 决策 · 模型形式 | ⑥ VLA | 大模型负责理解与推理,动作专家输出轨迹;大模型部署于车端,或在云端作为教师 |
| 验证 · 诊断 | ⑦ 捷径与时序一致性 | 模型是否仅外推自车状态;rollout 是否横向摆动 |
| 验证 · 度量 | ⑧ 评测 | 开环、伪仿真与闭环评测各自能发现哪些问题;不同论文的数值是否可比 |
各论文表中,标题加粗的是该研究线的重点必读论文,“阅读顺序”一节建议先读这些。
感知与场景表示线:规划头的输入信息
规划头只能用到输入里以可用形式存在的信息。这条研究线的核心问题是选什么作为表示单元,主要有两种:
- 按位置划分网格:稠密 BEV。
- 按物体分配 query:稀疏表示。
二段式是这条线的极端情形:感知模块冻结,接口由人工量化成结构化结果。
核心机制
两种表示单元
| 表示 | 单元 | 相机特征的提取方式 | 代价与权衡 |
|---|---|---|---|
| 稠密 BEV | 位置(网格),例如 覆盖 每格 | LSS(前向):每个像素预测深度分布,特征沿射线提升至 3D 后压平至网格。BEVFormer(反向):每个网格单元作为一个 query,投影回图像以提取特征 | 计算量随感知范围增长。优点:易于对齐多传感器与多帧数据。局限:大部分网格单元仅为空旷路面 |
| 稀疏 query | 物体:锚点 为一个 3D 框 | 在框上取关键点 投影至第 个相机(以提取特征,再修正锚点(示意)。数百个 query 逐层更新,并传递至下一帧 | 计算量随物体数量增长。优点:检测与跟踪采用同一机制。局限:形状不规则的障碍物需以占用栅格(OCC)补充 |
query 来自 DETR。匈牙利匹配求解 把 个 query 和真值一一对应,表示单元就从“每个位置”变成了“每个物体”。规划里的 trajectory query 是同一个概念,区别在于每个 query 对应一个驾驶意图。
冻结与接口:从一段式到二段式
完全端到端 → 部分冻结 / LoRA → 冻结编码器 → 二段式
| 因素 | 决定的内容 |
|---|---|
| 冻结 | 特征能否针对规划任务优化 |
| 量化(置信度阈值、NMS、人工定义的字段) | 可传递至规划头的信息量。二段式的性能上限通常由量化决定 |
二段式的好处是:容易诊断;可以在结构化状态上做仿真;可以直接套用规则。
软接口:接口除了结构化结果,还传递置信度、低于阈值的候选或 query 特征。UniAD 和 SparseDrive 的模块之间传的就是 query。
代表论文
| 论文 | 表示 | 核心贡献 |
|---|---|---|
PointPillars(nuTonomy · CVPR 2019) 1812.05784 | LiDAR 柱状 BEV | 将点云划入柱状网格,转换为 BEV 伪图像 |
Lift-Splat-Shoot(NVIDIA / 多伦多大学 · ECCV 2020) 2008.05711 | 相机 BEV(前向) | 按深度分布提升特征,再压平至网格 |
BEVFormer(上海 AI Lab 等 · ECCV 2022) 2203.17270 | 相机 BEV(反向) | BEV query 投影回图像以提取特征;引入时序 BEV |
BEVFusion(MIT · ICRA 2023) 2205.13542 | 多传感器 BEV | 在统一的 BEV 空间中融合相机与 LiDAR |
DETR(Meta · ECCV 2020) 2005.12872 | query | 以匈牙利匹配实现以物体为单元的表示 |
UniAD(上海 AI Lab 等 · CVPR 2023) 2212.10156 | BEV + 任务 query | 以规划为目标,用 query 串联检测、跟踪、建图、预测、占用与规划 |
VAD(华科 / 地平线 · ICCV 2023) 2303.12077 | 向量化 | 以矢量地图与矢量轨迹取代栅格,显著提高推理速度 |
Sparse4D v3(地平线 · arXiv 2023) 2311.11722 | 稀疏 4D query | 沿用 v1/v2 的锚点关键点采样;检测与跟踪采用同一机制 |
SparseDrive(清华 / 地平线 · ICRA 2025) 2405.19620 | 全稀疏 | 对称的稀疏感知;运动预测与规划并行;考虑碰撞的重打分 |
SSR(中科院自动化所等 · ICLR 2025) 2409.18341 | 少量隐 token | 依据导航信息选出少量稀疏 token;以隐世界模型监督;无需感知标注 |
轨迹生成线:规划头的轨迹输出方式
轨迹头有四个设计维度:输出参数化(A)、生成范式(B)、多模态机制(C)和推理代价(D)。多数论文只改其中一个维度,所以读论文时先确定它改的是哪个维度。B 和 C 最容易混淆:
- 生成范式:用什么方法生成单条轨迹。
- 多模态机制:多条候选轨迹从哪里来,以及怎样让候选轨迹覆盖不同意图,而不是挤在同一个意图上。
维度 A · 输出参数化
| 表示 | 形式 | 代表方法 | 特点 |
|---|---|---|---|
| 绝对航点 | UniAD, VAD | 形式最直接。远端误差大,损失主要由远端贡献。 | |
| 增量 + cumsum | 多数 query 规划器 | 轨迹平滑。误差沿时间累积;早期点的梯度被放大 倍。 | |
| 相对参考的残差 | ResAD | 参考轨迹为惯性外推,模型仅学习相对参考轨迹的偏离。 | |
| 低维基 / token | PCA 系数、离散 token | 轨迹必然平滑。探索空间小,适用于 GRPO。 | |
| 贝塞尔控制点 | — | 解析形式的低维基,与 PCA 属于同一类。轨迹必然平滑;端点可施加硬约束;导数仍为贝塞尔曲线。在控制点空间中做 RL 探索,所得轨迹仍保持平滑。 | |
| 控制量 | 曲率 + 加速度 | CarPlanner 等 | 保证运动学可行性。开环指标偏低。 |
维度 B · 生成范式
生成范式是模型生成单条轨迹的方法,它决定模型能否表示多峰分布。
| 范式(代表方法) | 能否表示多峰分布 | 特点 |
|---|---|---|
| 直接回归(UniAD,单条输出) | 取决于输出头。单条输出配合 L2 损失时不能:平方 L2 损失的最优解为条件均值,多个模态被平均为一条实际不存在的中间轨迹。输出多条假设(WTA)或 GMM 参数(NLL 损失)时能,如 MTR。此类方法的多峰能力来自输出结构,而非回归本身(见维度 C)。 | 单次前向输出一条轨迹,结构最简单,速度最快。 |
| 词表分类(VADv2) | 能。输出为词表上的离散分布,左转与直行可同时获得高概率。 | 词表由数据离线构建,包含数千条典型轨迹。训练采用交叉熵;推理取最高分或 top-k。精度受词表粒度限制,模型无法生成词表外的轨迹。 |
| 自回归 token(VLA 类方法,见 ⑥ VLA 线“统一为语言生成”) | 能。每一步输出一个分布,通过采样或 beam search 获得不同模态。 | 轨迹先离散化为 token(量化坐标、动作 token 或文本数字),再逐个解码。延迟随 token 数线性增长。该方法与语言生成采用同一机制,因而是 VLA 输出轨迹最自然的方式。 |
| 扩散(DiffusionDrive、ResAD) | 理论上能。不同的初始噪声收敛至不同模态。但在驾驶场景中,从纯噪声采样易发生模式塌缩。 | 推理时从噪声出发迭代去噪。若从锚点出发并截断,步数可降至约 2 步(DiffusionDrive 与 ResAD 均采用 2 步)。 |
| flow matching(GoalFlow) | 能。与扩散相同,不同起点对应不同模态。 | 模型学习速度场,推理时沿速度场积分(求解 ODE)。采用线性插值路径时,路径更直,所需积分步数更少;但路径是否更直取决于路径设计与样本配对,并无保证。GoalFlow 以目标点(goal)为条件。 |
| drift(CLEAR) | 能。对多个噪声采样,得到多条候选轨迹。条件系数 控制多样性与接近真值轨迹两个目标之间的平衡。 | 单次前向将噪声直接映射为样本,无需迭代,因而延迟最低。CLEAR 在 VAE 隐空间中完成这一步:轨迹先编码至隐空间,模型单步生成隐变量后再解码。自适应调度器选择 与采样数 最终由交叉注意力打分器选出一条轨迹。 |
维度 C · 多模态机制
多模态机制回答两个问题:多条候选轨迹从哪里来;怎样保证候选轨迹覆盖不同意图。机制决定模型实际上怎样得到多个模态,以及能不能覆盖全部模态。
| 机制 | 核心公式 | 方法 | 说明 |
|---|---|---|---|
| 多 query + Winner-Takes-All(MTR 系列) | 仅最接近真值的 获得回归梯度 | 其余 query 几乎得不到监督,这是后文“负模态缺乏监督”问题的成因 | |
| 多锚点(DiffusionDrive 的锚定截断扩散) | 去噪从“锚点加少量噪声”开始,而非纯高斯噪声,相当于采用以锚点为中心的 GMM 先验,去噪仅需约 2 步 | 锚点不限定生成范式:采用回归时,每个锚点回归一个偏移量;采用扩散时,每个锚点作为一个去噪起点 | |
| 扰动参考(ResAD 的 IRP) | 对惯性参考的速度施加 次扰动,得到 条不同的参考轨迹;每条参考轨迹分别去噪得到残差,从而产生不同意图 | IRP 亦为一种锚点:无需固定词表;锚点并非 k-means 聚类所得的固定集合,而是依据自车状态生成 | |
| 多 goal / 多次采样 | — | GoalFlow:先对候选目标点打分并选出 goal,再以 goal 为条件做 flow matching,以避免模态平均。CLEAR:冻结编码器,单步 drift 解码器一次生成多条候选轨迹,由交叉注意力打分器选出待执行轨迹 | 自回归 token 方法通过采样或 beam search 获得多条轨迹 |
DiffusionDrive 的锚点是从数据聚类得到的典型轨迹。去噪的起点已经接近最终结果,所以只需约 2 步,候选轨迹就能覆盖左转、直行和右转等不同意图。
生成范式与多模态机制的关系
生成范式与多模态机制是两个不同的维度:同一范式可采用不同机制,同一机制也可以用于不同范式。
| 生成范式 | 多模态机制 | 实例 |
|---|---|---|
| 回归 | 多 query + WTA | MTR |
| 回归 | 单 query(无多模态) | UniAD |
| 词表分类 | 词表即模态集合 | VADv2 |
| 扩散 | 随机噪声多次采样 | 原始扩散策略 |
| 扩散 | 锚点 + 截断扩散 | DiffusionDrive |
| 扩散 | 扰动惯性参考 | ResAD |
| flow matching | goal 条件 | GoalFlow |
| 自回归 token | 采样 / beam search | VLA 类方法 |
但两个维度并不完全独立:范式决定上限,机制决定模型能不能真正达到这个上限。
- 回归:必须引入显式结构(多 query、多锚点)才能得到多模态。
- 词表分类:范式与机制几乎重合,词表即模态集合。
- 扩散、flow 与自回归:能表示多峰分布,不等于实际能得到多峰结果。DiffusionDrive 发现,驾驶场景里直接从随机噪声采样容易模式塌缩,所以引入锚点来保证覆盖。
把两个维度分开看,DiffusionDrive 这类工作的贡献主要在机制,而不在范式。
从先验强度看,ResAD 的惯性参考、DiffusionDrive 的锚点和 GoalFlow 的 goal 都是生成时用的先验,分别属于维度 A 和维度 C。先验越强,生成器要学的东西越少,但上限也越受先验质量的制约。
维度 D · 推理代价
DDPM ~1000 → DDIM ~20 → 截断扩散 2 → 残差扩散 2 → 单步 1
步数只对迭代式生成器(扩散、flow)有意义。车端部署受的是总延迟的约束,不只是步数,要综合考虑三项:
- 迭代步数(扩散、flow)
- 自回归 token 数
- 候选数 直接决定 ② 打分器的计算量
在车端芯片(Orin / Thor)上,扩散头只有在 2 步及以下时才有实用价值。这一节没有展开另一个维度:规划是否与他车运动预测联合或迭代进行(例如 SparseDrive 的并行运动规划)。这个维度决定生成器处理交互场景(如汇入、博弈和让行)的能力。
代表论文
| 论文 | 生成范式 / 多模态机制 / 改变的维度 | 核心贡献 |
|---|---|---|
MTR(MPI / CUHK · NeurIPS 2022) 2209.13508 | 回归 · 意图 query + WTA · C | 意图 query 与局部精修;WTA 范式的来源(运动预测) |
VADv2(华科 / 地平线 · arXiv 2024) 2402.13243 | 词表分类 · 词表即模态集合 · B · C | 在大规模轨迹词表上输出概率分布,以离散化实现多模态 |
DiffusionDrive(华科 / 地平线 · CVPR 2025) 2411.15139 | 扩散 · 锚点 + 截断扩散 · C · D | 锚定截断扩散与级联解码器(88.1 PDMS) |
GoalFlow(地平线等 · CVPR 2025) 2503.05689 | flow matching · goal 条件 · C | goal 打分与以 goal 为条件的 flow matching |
ResAD(华科 / 地平线 / 武大 · CVPR 2026) 2510.08562 | 扩散 · 扰动惯性参考(IRP) · A · C | 惯性参考残差、PRNorm 与 IRP;两步去噪(88.8 PDMS · 85.5 EPDMS) |
CLEAR(arXiv 2026.06) 2606.06219v1 | drift · 单步生成多条候选轨迹 + 打分器选择 · B · D | 单步 drift 解码器与交叉注意力打分(93.7 PDMS) |
NAVSIM v1 的 PDMS 和 v2 的 EPDMS 不能直接比较。SparseDriveV2 还指出 v2 有修正版 EPDMS,引用数值时要确认用的是哪个协议。CLEAR 的 arXiv v2(2026-09-28)改名为 Vault,方法描述也有变化,这里引用的是 v1。
打分 / 选择线:候选轨迹的生成与评估
这条研究线的关键区别在于打分器的监督信号来源:
- 只用与真值轨迹的距离来监督时,打分器学到的是轨迹与人类驾驶的相似程度。
- 用规则子指标监督时,打分器学到的是规则对轨迹的评价。
核心机制
Hydra-MDP:多目标蒸馏(本研究线的基本范式)
对每个场景和词表里的每条候选轨迹 离线用 PDM 规则算出子指标标签 (NC、DAC、TTC、EP、Comfort 等)。训练目标为:
第一项是模仿头的损失,软标签为 第二项是各规则头的二元交叉熵损失。
推理时,对各头的对数输出加权求和,再取 argmax:
要点是:每个子指标由独立的头监督,而不是先把子指标合成一个标量再回归。模仿头保留人类驾驶风格,规则头负责安全性和可行性。
候选轨迹的来源
| 来源 | 覆盖范围 | 粒度 | 代表方法 |
|---|---|---|---|
| 静态词表 | 大 | 粗 | Hydra-MDP、ZTRS |
| 动态提议 | 小 | 细 | 扩散或 query 的输出 |
| 混合 | 大 | 细 | GTRS 以超密词表与 dropout 训练;推理时同时评估词表轨迹与扩散提议 |
| 因子化 | 大 | 细 | SparseDriveV2 将轨迹分解为几何路径与速度曲线两个因子,先粗后细打分,词表密度提高 32 倍 |
测试时优化(TOAD)
“先生成、后打分”的方法,上限受候选集质量制约。TOAD 把打分器 当作奖励,用交叉熵方法在提议附近搜索:
其中 表示 中按 得分最高的 条轨迹。
TOAD 不需要重新训练,可以直接用在现有规划器上,在六个基础规划器上都有提升。
代表论文
| 论文 | 候选 / 监督 | 核心贡献 |
|---|---|---|
Hydra-MDP(NVIDIA · arXiv 2024) 2406.06978 | 词表 / 规则蒸馏 | 多目标 Hydra 蒸馏;每个 PDM 子指标由独立的头监督(NAVSIM 2024 挑战赛第一名) |
Hydra-MDP++(NVIDIA · arXiv 2025) 2503.12820 | 词表 / 扩展指标 | 专家引导的蒸馏;指标更多 |
Hydra-NeXt(NVIDIA · arXiv 2025) 2503.12030 | 词表 | 以开环训练获得闭环鲁棒性 |
WoTE(中科院自动化所 · ICCV 2025) 2504.01941 | BEV 世界模型推演 | 先将候选轨迹推演至未来,再打分 |
iPad(arXiv 2025) 2505.15111 | 迭代提议 | 以候选轨迹为中心迭代精修 |
DriveSuprim(NVIDIA 等 · arXiv 2025) 2506.06659 | 由粗到细 | 在相似的候选轨迹之间做精确选择 |
GTRS(NVIDIA · arXiv 2025) 2506.06664 | 词表 + 扩散混合 | 以词表 dropout 提高泛化能力;传感器增广;细粒度精修(NAVSIM v2 挑战赛冠军) |
R2SE(arXiv 2025) 2506.09800 | 打分 + RL 精修 | 强化精修与自感知扩展 |
SparseDriveV2(清华 / 地平线 · ECCV 2026) 2603.29163 | 因子化超密词表 | 将轨迹分解为路径与速度两个因子;证明词表越密效果越好,且尚未饱和(92.0 PDMS · 90.1 EPDMS) |
TOAD(arXiv 2026.06) 2606.07170 | 测试时 CEM | 以打分器为奖励做测试时搜索(94.7 PDMS) |
RL / 后训练线:超越模仿学习
模仿学习只有正样本,所以有三个问题:
- 模型无法学到哪些动作会导致碰撞。
- 模型容易走捷径,只根据自车状态外推轨迹。
- 闭环运行时,误差逐步累积。
RL 研究线可以拆成两个相互独立的维度:奖励来源和优化算法。另外要区分两类 RL:
- 单步开环 RL:对单次规划打分,不做 rollout。
- 真闭环 RL:需要环境,例如仿真器、3D 重建或世界模型。
核心机制
GRPO:组内相对优势
GRPO 不需要 critic,适合“同一场景采样多条轨迹”的设定,关键在于组 怎么划分。
例如,一个场景采样 8 条轨迹:4 条由左转锚点生成,4 条由直行锚点生成。左转更难,左转轨迹的奖励整体偏低。如果 8 条轨迹分成一组,所有左转轨迹的优势都是负的,梯度只传达“少左转”,分不出左转轨迹之间谁好谁坏。按锚点分组后,每组里都有正有负的优势,模型就能在每种意图内部学到轨迹的相对优劣。
DiffusionDriveV2 对 GRPO 的三项改进
| 改进 | 方法 | 原因 |
|---|---|---|
| 乘性、尺度自适应的探索噪声 | 远端点扰动大,近端点扰动小 | 探索所得轨迹仍保持平滑;加性高斯噪声会导致轨迹抖动 |
| 锚点内 GRPO | 组 由同一锚点生成的样本构成 | 仅在同一意图内比较 |
| 锚点间截断 GRPO | 引入跨锚点的全局比较,同时剔除不合理的跨意图比较 | 例如左转与直行不应相互比较 |
对于扩散策略, 由去噪链各步高斯转移的对数概率求和得到。
其他两种方法:枚举梯度与极简奖励
| 方法 | 核心公式 | 说明 |
|---|---|---|
| EPO:枚举式策略优化(ZTRS) | 当动作空间为可枚举的词表时,无需采样,可直接对全部候选轨迹计算期望梯度( 为基线,示意)。EPO 解决了纯 RL 的冷启动问题,完全无需人类示范 | |
| 奖励设计:CaRL 的极简奖励 | 或直接终止 | 复杂的加和式 shaped reward 存在一个问题:mini-batch 较大时 PPO 无法对其优化。CaRL 改用以路线完成度为主、对违规施加乘性惩罚的奖励,使 PPO 可扩展至数亿样本 |
奖励来源
| 奖励来源 | 代表方法 | 优点 | 主要风险 |
|---|---|---|---|
| 规则指标(PDMS / EPDMS) | DiffusionDriveV2, ReCogDrive, ZTRS | 可靠;成本低 | 策略利用规则漏洞:过度保守,EP 下降 |
| 学习型打分器 | RAD-2 判别器, R2SE | 稠密;可微;可泛化 | 策略利用打分器的盲区 |
| 世界模型评论家 | AD-R1 | 可推演动作的后果 | 乐观偏差:世界模型仅见过安全数据,因而预测出不真实的安全未来 |
| 重建仿真(3DGS) | RAD, RAD-2, World Engine | 真闭环;画面逼真 | 重建成本高;新视角存在伪影 |
| 传统仿真(特权输入) | CaRL | 样本量可达数亿 | 仿真与真实世界之间存在差距(sim-to-real) |
代表论文
| 论文 | 奖励 / 算法 | 核心贡献 |
|---|---|---|
RAD(华科 / 地平线 · NeurIPS 2025) 2502.13144 | 3DGS 环境 / PPO + IL 正则 | 在真实场景的数字孪生中做大规模试错(碰撞率降至 IL 的 1/3) |
AlphaDrive(华科 / 地平线 · arXiv 2025) 2503.07608 | 规则 / GRPO | 首个将 GRPO 用于驾驶规划的工作(VLM) |
CaRL(Tübingen · CoRL 2025) 2504.17838 | 仿真 / PPO | 以简单奖励使 PPO 具备可扩展性(nuPlan Val14 91.3) |
ReCogDrive(华科 / 小米等 · ICLR 2026) 2506.08052 | 规则 / diff-GRPO | VLM 与扩散规划头;扩散版 GRPO |
DriveDPO(中科院自动化所 · arXiv 2025) 2509.17940 | 偏好 / 安全 DPO | 用安全偏好对做 DPO |
ZTRS(NVIDIA 等 · arXiv 2025) 2510.24108 | 规则 / EPO | 无需人类示范,仅以奖励训练词表打分器(Navhard SOTA) |
AD-R1(CVPR 2026 Findings) 2511.20325 | 世界模型 / 闭环 RL | 合成反事实负样本,训练能够如实预测危险的世界模型 |
DiffusionDriveV2(华科 / 地平线 · arXiv 2025.12) 2512.07745 | 规则 / 分组 GRPO | 锚点内与锚点间 GRPO,以及乘性探索噪声 |
RAD-2(华科 / 地平线 · arXiv 2026.04) 2604.15308 | 判别器 / TC-GRPO | 扩散生成器与经 RL 优化的判别器重排序;BEV-Warp 高吞吐仿真 |
World Engine(OpenDriveLab · 2026) opendrivelab.com | 重建 + 安全关键场景合成 | 量产规模的后训练(基座模型使用 8 万小时数据);碰撞率 −45.5% |
RAD-2:三条主线的组合
| 主线 | 在 RAD-2 中的作用 |
|---|---|
| 线 1 · 生成 | 扩散生成器输出候选轨迹 |
| 线 2 · 打分 | Transformer 判别器对候选轨迹重新排序 |
| 线 3 · RL | 判别器以时间一致的 GRPO 从闭环反馈中学习;低奖励的 rollout 被转换为纵向优化信号,生成器据此做 on-policy 更新 |
RAD-2 的核心观点是:不要把稀疏的标量奖励直接作用在高维轨迹空间上,先训练一个判别器,优化会更稳定。
常见错误
- 跨意图比较优势:左转样本和直行样本在同一组里,两者的梯度方向互相冲突。
- 加性高斯探索噪声:会让轨迹抖动,抖动的轨迹又会误导打分器。
- 缺少 IL 或 KL 约束:策略偏离人类驾驶分布,最后钻奖励的漏洞。RAD 引入 IL 正则就是为了防止这个问题。
- 奖励只考虑安全:策略会退化成停着不动,需要加进度项来平衡。
- 世界模型的乐观偏差:如果世界模型只用专家数据训练,拿它当评论家时会高估危险轨迹。
模仿与蒸馏线:从行为克隆到 on-policy 蒸馏
纯模仿学习只覆盖人类正常驾驶时的状态。实际运行时,一点小偏差就会让车辆进入训练数据没覆盖的状态,偏差随之越来越大。这条研究线解决的是状态分布问题:在学生出错后到达的状态上纠正它。
它和打分线、RL 线的区别在于监督信号:
- 蒸馏:教师直接给出目标动作。
- 打分:教师给出评价标准。
- RL:只有标量奖励。
核心机制
| 对比 | 公式 | 说明 |
|---|---|---|
| 行为克隆与 DAgger:误差累积 | 为时域长度, 为单步模仿误差, 为累计代价(Ross 等人的经典结论,示意)。行为克隆中,单步错误即会将学生带入未见过的状态,因而误差随时域的平方增长 | |
| on-policy 蒸馏与 on-policy RL | vs | 两个目标的外层期望均取自学生自身的状态分布 内层则不同:前者为教师动作(稠密),后者为标量奖励(稀疏)。蒸馏的样本效率高,但上限约等于教师;RL 需要探索,但有可能超越教师 |
训练信号的两个维度:状态来源 × 监督形式
| 教师给出动作(稠密) | 教师对候选轨迹评分 | 仅有标量奖励(稀疏) | |
|---|---|---|---|
| 日志中的状态(off-policy) | 行为克隆、离线蒸馏(Alpamayo 云端教师生成标签) | Hydra-MDP、GTRS、SparseDriveV2(线 2) | 开环 GRPO(DiffusionDriveV2)、ZTRS 的 EPO(线 3) |
| 学生 rollout 到达的状态(on-policy) | DAgger、LBC、Roach(本线) | RAD-2 判别器(以闭环反馈训练) | CaRL、RAD(闭环 PPO) |
开环 GRPO 里,动作由当前模型采样,但状态来自人类日志。所以开环 GRPO 能让模型在同一状态下选更好的动作,但解决不了误差累积。
on-policy 数据的来源:仿真的四个保真度等级
| 等级 | 方法 | 是否严格 on-policy | 适用范围 |
|---|---|---|---|
| 0 · 仅扰动 | ChauffeurNet 的方法:平移日志中的自车位姿,由教师给出返回原路线的轨迹 | 否,为近似 | 无需仿真即可实施;同时减少自车状态捷径 |
| 1 · 仅自车闭环 | 日志回放:他车按日志行驶,自车按学生输出推演,再重建结构化 token | 对自车而言是 | 仅训练规划器时基本够用。rollout 须较短(2–4 s)。注意:后车可能追尾自车,产生虚假碰撞。 |
| 2 · 他车具有反应 | 他车由 IDM 等规则控制(nuPlan 的 reactive 模式) | 是 | 交互密集的场景 |
| 3 · 传感器仿真 | 以 3DGS 重建或世界模型渲染新视角;BEV-Warp 在特征层实现,属于折中方案 | 是 | 一段式模型 |
代表论文
| 论文 | 形式 | 核心贡献 |
|---|---|---|
DAgger(CMU · AISTATS 2011) 1011.0686 | on-policy 数据聚合 | 学生驾驶,教师在学生到达的状态上标注,误差界由 降至 |
ChauffeurNet(Waymo · RSS 2019) 1812.03079 | 扰动合成 | 平移自车位姿,监督车辆返回原路线,无需仿真即可近似获得 on-policy 数据 |
LBC(UT Austin / Intel · CoRL 2019) 1912.12294 | 特权教师 → 学生 | 先以真值感知训练特权教师,再蒸馏至使用传感器输入的学生 |
Roach(ETH · ICCV 2021) 2108.08265 | RL 教师 | 教师在特权输入上以 RL 训练;学生做 on-policy 蒸馏 |
PlanT(Tübingen · CoRL 2022) 2210.14222 | 目标级输入规划器 | 以目标级 token 为输入的规划 Transformer,是结构化输入规划器的代表 |
Hydra-MDP(NVIDIA · arXiv 2024) 2406.06978 | 蒸馏评价函数 | 蒸馏规则评分而非动作(详见线 2) |
世界模型线:稠密监督与模拟环境
一条轨迹只有几十个数值,却要监督上亿个参数,DriveVLA-W0 把这个问题叫作“监督赤字”。世界模型有两种用法:
- 训练阶段:作为稠密的自监督信号。
- RL 中:作为环境与评论家。
核心机制
| 用途 | 方法 | 要点 |
|---|---|---|
| 训练阶段:隐空间自监督(LAW 类方法) | 模型以当前隐特征与动作预测下一帧的隐特征; 表示 stop-gradient(示意) | 无需感知标注即可使编码器习得场景动态。SimWAM 更进一步:视频分支仅在训练时使用,训练后删除,因而不增加推理延迟 |
| RL 中:作为评论家 | 世界模型推演动作的后果,并对轨迹打分 | 须注意乐观偏差:若世界模型仅以专家数据训练,则从未见过事故,对危险轨迹会预测出安全的未来(障碍物消失,或忽略道路边界)。AD-R1 的方法是以程序合成碰撞、越界等负样本,使世界模型能够如实预测危险,再将其作为 RL 的内部评论家 |
代表论文
| 论文 | 用途 | 核心贡献 |
|---|---|---|
GAIA-1(Wayve · arXiv 2023) 2309.17080 | 生成式 | 早期大规模驾驶视频世界模型 |
Vista(港大 / OpenDriveLab 等 · NeurIPS 2024) 2405.17398 | 生成式 | 高保真、可控的驾驶世界模型 |
Think2Drive(上交 · ECCV 2024) 2402.16720 | 环境 | 在隐世界模型的模拟中训练 RL 策略(CARLA) |
LAW(中科院自动化所 · ICLR 2025) 2406.08481 | 训练信号 | 以未来隐特征预测作为自监督,降低对感知标注的依赖 |
WoTE(中科院自动化所 · ICCV 2025) 2504.01941 | 评估器 | 先将候选轨迹推演至未来,再打分(详见线 2) |
DriveVLA-W0(中科院自动化所等 · ICLR 2026) 2510.12796 | 训练信号 | 提出“监督赤字”;引入未来图像预测后,性能随数据量持续提升 |
SimWAM(arXiv 2026.08) 2608.07468 | 训练信号 | 视频分支仅作为训练信号,训练后删除,得到低延迟规划器(91.5 PDMS) |
AD-R1(CVPR 2026 Findings) 2511.20325 | 评论家 | 合成反事实负样本,训练能够如实预测危险的世界模型(详见线 3) |
VLA 线:大模型参与驾驶决策
语言模型负责高层的理解和推理,动作专家负责输出轨迹。工业界越来越多地把大模型放在云端当教师,而不是直接部署到车端。
双系统(慢思考 + 快系统) → 统一为语言生成 → VLM 与生成式规划头对齐 → GRPO + 推理 → 自适应 / 隐式推理 → 云端教师与蒸馏
要点
大模型难以部署到车端的原因:
- 10B 参数量级模型的推理延迟较高,难以满足实时规划的要求。
- 文本推理链有助于理解长尾场景的语义,但对轨迹几何精度的提升有限。
- 因此,Alpamayo 1.5 的官方用途之一是生成推理过程和轨迹标签,再蒸馏出能部署到 DRIVE 车端平台的小模型。
代表论文
| 论文 | 阶段 | 核心贡献 |
|---|---|---|
DriveVLM(理想 / 清华 · CoRL 2024) 2402.12289 | 双系统 | VLM 负责慢思考;端到端模型作为快系统 |
Senna(华科 / 地平线 · IJCV 2026) 2410.22313 | 双系统 | VLM 输出高层决策;端到端模型输出轨迹 |
EMMA(Waymo · TMLR 2025) 2410.23262 | 语言生成 | 将检测、建图与规划统一表示为文本,由单一多模态大模型生成 |
ORION(小米 / 华科 · ICCV 2025) 2503.19755 | 对齐规划头 | 将 VLM 的推理空间与生成式规划头的动作空间端到端对齐 |
AlphaDrive(华科 / 地平线 · arXiv 2025) 2503.07608 | GRPO + 推理 | 首个将 GRPO 用于驾驶规划的 VLM 工作 |
AutoVLA(UCLA · NeurIPS 2025) 2506.13757 | 自适应推理 | 依据场景决定是否推理;以强化微调优化 |
LaST-VLA(arXiv 2026) 2603.01928 | 隐式推理 | 将推理从文本 CoT 转移至隐式时空空间 |
Alpamayo 1.5(NVIDIA · 2026) huggingface.co | 云端教师 | 8.2B 推理骨干与 2.3B 动作专家;RL 后训练;支持导航引导与可变相机数量 |
捷径与时序一致性线:模型所学规律的有效性
这条研究线关注两个问题。两个问题都无法从开环指标发现,只在实车运行时才暴露。
- 捷径:自车状态信息没有噪声又容易利用,“保持当前运动”几乎总是对的,所以模型可能忽略场景,直接外推自车状态。
- 时序一致性:每一帧的预测都平滑,但连续执行得到的 rollout 会横向摆动。
核心机制
| 问题 | 诊断方法 | 成因 |
|---|---|---|
| 捷径 | 推理时将自车历史置零或施加扰动,测量指标 的下降量:按场景分别统计:惯性场景(如匀速跟车)与需偏离惯性的场景(如起步、前车切入、路口转弯)。指标几乎不下降,说明模型未使用自车状态;仅在惯性场景上大幅下降,说明模型存在捷径(示意) | 一段式模型更为严重:从像素学习场景的难度更高,而监督仅为一条低维轨迹,使“学习场景”与“外推自车状态”之间的难度差距更大。即使移除自车状态输入,多帧 BEV 对齐与 LiDAR 运动补偿仍会间接泄露自车运动信息 |
| 时序一致性 | 计算相邻两帧规划在重叠时段上的差异,作为帧间一致性指标(示意): | 开环 L2 与 PDMS 均仅评估单帧规划,不惩罚该差异。rollout 一词源自西洋双陆棋,原指“掷骰子将一局棋走完”,此处指策略逐步执行所得的结果,区别于单帧的 planned trajectory |
改进方法如下:
| 问题 | 层面 | 改进方法 |
|---|---|---|
| 捷径 | 表示 | 对自车状态施加 dropout 或噪声,迫使模型关注场景;缩短历史长度,减少可外推的信息;延迟注入,使规划 query 先与场景交互,再在后续层引入自车状态;残差参数化,由参考轨迹承担惯性外推(ResAD,线 1) |
| 捷径 | 训练与评测 | 辅助感知监督;世界模型自监督;评测去偏(NAVSIM 的设计目的之一) |
| 时序一致性 | 模型与训练 | MomAD 引入轨迹动量与感知动量;RAD-2 的时间一致 GRPO(线 3) |
摆动的原因是:车辆只执行每条规划开头的一小段,下一帧就重新规划。如果相邻两帧的规划弯向不同的一侧,即使每帧规划都平滑,执行出来的 rollout 仍会横向摆动。
代表论文
| 论文 | 问题 | 核心贡献 |
|---|---|---|
Causal Confusion(Berkeley 等 · NeurIPS 2019) 1905.11979 | 捷径 | 揭示一个反直觉现象:输入信息越多,模仿效果反而越差,是捷径问题的理论起点 |
Limitations of BC(CVC / TRI · ICCV 2019) 1904.08980 | 捷径 | 系统分析行为克隆的分布偏移、惯性问题与训练方差 |
AD-MLP(百度 · arXiv 2023) 2305.10430 | 捷径 | 仅使用自车状态的 MLP 在 nuScenes 开环指标上接近当时的 SOTA |
Is Ego Status All You Need(NVIDIA / 南大 · CVPR 2024) 2312.03031 | 捷径 | 证明 UniAD、VAD 等一段式模型的规划性能主要源自自车状态,其诊断方法可直接复用 |
Hidden Biases(Tübingen · arXiv 2024) 2412.09602 | 捷径 | 从数据集角度分析端到端驾驶中的隐藏偏差 |
CausalVAD(arXiv 2026) 2603.18561 | 捷径 | 以因果干预消除混淆 |
MomAD(CVPR 2025) 2503.03125 | 时序一致性 | 在 SparseDrive 上引入轨迹动量与感知动量,减少前后帧规划的跳变 |
目前专门研究时序一致性的工作较少。
评测线:结果的可比性与改进的有效性
三类评测能发现的问题各不相同:
- 开环 L2:偏向外推行为,无法发现行为层面的问题。
- 伪仿真:把轨迹放进非反应式仿真,按规则打分。
- 闭环评测:能发现误差累积和时序问题。
评测协议决定了其他各研究线的数值能不能相互比较。
nuScenes 开环 L2 → nuPlan 闭环 → NAVSIM v1(PDMS) → NAVSIM v2(EPDMS)/ Navhard → Bench2Drive / HUGSIM 闭环 → 工业闭环平台
核心机制
PDMS(NAVSIM v1)
无碰撞(NC)和可行驶区域合规(DAC)是乘性惩罚,任一项为 0,总分就是 0。进度(EP)、碰撞时间(TTC)与舒适度(C)取加权平均。v2 的 EPDMS 增加了交通规则、车道保持与扩展舒适度等项,还有修正版。
注意:解读数值时要核查四点。
- v1 PDMS、v2 EPDMS 和闭环驾驶分之间不能相互比较。
- v1 的分数已经到了 93–95,越来越难区分方法的优劣。
- 开环评测(包括 NAVSIM)没有状态漂移,所以体现不出 on-policy 蒸馏和时序一致性方法的收益。
- 要确认论文是否用了特权输入、backbone 多大,以及是否用了模型集成。
代表论文
| 论文 | 类型 | 核心贡献 |
|---|---|---|
CARLA(Intel / CVC · CoRL 2017) 1711.03938 | 仿真闭环 | 学术界最常用的开源驾驶仿真器 |
nuScenes(Motional · CVPR 2020) 1903.11027 | 开环 | 早期端到端开环评测的主要数据集,其局限性推动了后续基准的建立 |
nuPlan(Motional · arXiv 2021) 2106.11810 | 闭环 | 面向学习型规划的闭环基准;支持他车反应式回放 |
PDM(Tübingen · CoRL 2023) 2306.07962 | 指标来源 | 规则规划器 PDM-Closed 优于学习方法;PDM score 源自该论文(详见线 2) |
NAVSIM(Tübingen / NVIDIA 等 · NeurIPS 2024) 2406.15349 | 伪仿真 | 非反应式伪仿真与 PDMS;目前生成线与打分线的多数结果均在 NAVSIM 上报告 |
Bench2Drive(上交 · NeurIPS 2024) 2406.03877 | 闭环 | 基于 CARLA 的闭环端到端基准,按能力分项评测 |
HUGSIM(浙大等 · arXiv 2024) 2412.01718 | 重建闭环 | 基于 3DGS 的实时照片级闭环仿真器 |
阅读顺序
各研究线的必读论文
选择标准:读完这篇就能理解该研究线的核心思路,而且这条线的后续工作大多在它的基础上改进。
| 研究线 | 必读 | 选择理由 |
|---|---|---|
| ⓪ 感知与表示 | SparseDrive 2405.19620 | 清晰阐明稀疏 query 感知与规划的衔接方式;DiffusionDrive(nuScenes 版)、MomAD 与 SparseDriveV2 均以其为基础 |
| ① 轨迹生成 | DiffusionDrive 2411.15139 | 锚点与截断扩散是生成线的核心;ResAD 与 DiffusionDriveV2 均直接以其为基础 |
| ② 打分 / 选择 | Hydra-MDP 2406.06978 | 确立了“每个规则子指标由独立的头监督”的范式;GTRS 与 SparseDriveV2 均在其基础上扩展 |
| ③ RL 后训练 | DiffusionDriveV2 2512.07745 | 直接对规划头应用 GRPO,具体阐明分组方式与探索噪声等关键问题;宜在 DiffusionDrive 之后阅读 |
| ④ 模仿与蒸馏 | ChauffeurNet 1812.03079 | 以扰动合成近似 on-policy 数据,无需仿真;同时阐明了误差累积问题及其实用解决方法 |
| ⑤ 世界模型 | DriveVLA-W0 2510.12796 | 提出“监督赤字”,并以实验证明世界模型监督能够放大数据规模的收益,最清晰地论证了世界模型的必要性 |
| ⑥ VLA | ORION 2503.19755 | 将 VLM 推理与生成式规划头端到端对齐,是目前阐述 VLA 与传统规划头结合方式最清晰的工作 |
| ⑦ 捷径与时序 | Is Ego Status All You Need 2312.03031 | 证明主流一段式模型的规划性能主要源自自车状态,其诊断方法可直接复用 |
| ⑧ 评测 | NAVSIM 2406.15349 | 生成线与打分线的多数结果均在 NAVSIM 上报告,是理解其他论文中 PDMS 数值的前提 |
建议的阅读顺序:
- 先读 NAVSIM 和 Is Ego Status,弄清指标的含义,并意识到模型结果可能有误导性。
- 再依次读主干论文:SparseDrive → DiffusionDrive → Hydra-MDP → DiffusionDriveV2。
- 最后读 ChauffeurNet、DriveVLA-W0 和 ORION。
也可以替换:想了解三条主线怎样组成完整系统,可以把 ③ 换成 RAD-2;想先读更简单的版本,⑤ 可以先读 LAW。如果三条主线只读最新的代表工作,可以选 ResAD(改进生成头最简洁的方法)、SparseDriveV2(打分线当前的性能上限,以及因子化词表)和 RAD-2。
各研究线的完整阅读路径
| 研究线 | 阅读路径 |
|---|---|
| ⓪ 感知与表示 | LSS → BEVFormer → DETR → Sparse4D v3 → SparseDrive → SSR |
| ① 生成 | MTR → VADv2 → DiffusionDrive → GoalFlow → ResAD → CLEAR |
| ② 打分 | Hydra-MDP → GTRS → SparseDriveV2 → TOAD |
| ③ RL | CaRL → RAD → DiffusionDriveV2 → ZTRS → RAD-2 → AD-R1 |
| ④ 模仿与蒸馏 | DAgger → ChauffeurNet → LBC → Roach → PlanT |
| ⑤ 世界模型 | LAW → WoTE → DriveVLA-W0 → SimWAM |
| ⑥ VLA | DriveVLM → ORION → AlphaDrive → AutoVLA → Alpamayo 1.5 |
| ⑦ 捷径与时序 | Causal Confusion → AD-MLP → Is Ego Status → MomAD |
| ⑧ 评测 | PDM → NAVSIM → Bench2Drive → HUGSIM |
文中数值都是各论文自己报告的。标注“示意”的公式用了简化记号,细节以原文为准。
内容涵盖截至 2026-09 的公开 arXiv 和会议信息。