端到端规划技术谱系

2026-09-30笔记自动驾驶端到端规划文献综述

端到端规划的研究可以归纳为三条主线,它们是同一个闭环里的三个环节:生成器提出候选轨迹;打分器评估候选轨迹,结果既用来选轨迹,也可以当作奖励;RL 后训练用奖励把生成器推向高质量轨迹。主线之外,我们还梳理了六条扩展线:感知与场景表示、模仿与蒸馏、世界模型、VLA、捷径与时序一致性、评测。

研究线总览

端到端模型可以写成策略 τ∗=πθ(⋅∣o)\tau^{*}=\pi_\theta(\cdot\mid o)九条研究线分别回答这个策略的四个问题:

层次研究线核心问题
输入 · 观测表示⓪ 感知与场景表示表示单元为位置(稠密 BEV)还是物体(稀疏 query)。二段式是其极端情形:感知模块冻结,接口经过量化。
决策 · 轨迹输出① 轨迹生成(主线)输出参数化、生成范式、多模态机制、推理代价
决策 · 轨迹选择② 打分 / 选择(主线)打分器的监督来源:与真值轨迹的距离,或规则子指标
训练 · 奖励信号③ RL / 后训练(主线)奖励来源;优化算法;单步开环或真闭环
训练 · 教师信号④ 模仿与蒸馏学生出错后进入新的状态,如何在这些状态上纠正学生
训练 · 自监督⑤ 世界模型预测未来能否弥补轨迹监督的稀疏性;世界模型能否作为环境与评论家
决策 · 模型形式⑥ VLA大模型负责理解与推理,动作专家输出轨迹;大模型部署于车端,或在云端作为教师
验证 · 诊断⑦ 捷径与时序一致性模型是否仅外推自车状态;rollout 是否横向摆动
验证 · 度量⑧ 评测开环、伪仿真与闭环评测各自能发现哪些问题;不同论文的数值是否可比

各论文表中,标题加粗的是该研究线的重点必读论文,“阅读顺序”一节建议先读这些。

K 条候选 argmax ③ RL:分数 / 规则 / 世界模型 → 奖励 → 更新生成器 测试时优化(TOAD):以打分器在候选附近搜索 ⓪ 场景编码 稀疏 / BEV / 冻结 ViT ① 生成器 query / 词表 / 扩散 / flow ② 打分器 多目标子指标 / 世界模型 输出轨迹
图 1 三条主线构成闭环:生成器提出候选轨迹,打分器选择轨迹。两条虚线表示两种反馈:上方为测试时优化,下方为以 RL 更新生成器。

感知与场景表示线:规划头的输入信息

规划头只能用到输入里以可用形式存在的信息。这条研究线的核心问题是选什么作为表示单元,主要有两种:

二段式是这条线的极端情形:感知模块冻结,接口由人工量化成结构化结果。

核心机制

两种表示单元

表示单元相机特征的提取方式代价与权衡
稠密 BEV位置(网格),例如 200×200×256200\times200\times256覆盖 ±50 m\pm 50\,\text{m}每格 0.5 m0.5\,\text{m}LSS(前向):每个像素预测深度分布,特征沿射线提升至 3D 后压平至网格。BEVFormer(反向):每个网格单元作为一个 query,投影回图像以提取特征计算量随感知范围增长。优点:易于对齐多传感器与多帧数据。局限:大部分网格单元仅为空旷路面
稀疏 query物体:qi=(bi,fi)q_i=(b_i,f_i)锚点 bib_i 为一个 3D 框在框上取关键点 kmk_m投影至第 cc 个相机(Πc\Pi_c以提取特征,再修正锚点(示意)。数百个 query 逐层更新,并传递至下一帧计算量随物体数量增长。优点:检测与跟踪采用同一机制。局限:形状不规则的障碍物需以占用栅格(OCC)补充

query 来自 DETR。匈牙利匹配求解 σ^=arg⁡min⁡σ∑iLmatch(yi,y^σ(i))\hat\sigma=\arg\min_{\sigma}\sum_{i}\mathcal{L}_{\text{match}}(y_i, \hat y_{\sigma(i)})把 NN 个 query 和真值一一对应,表示单元就从“每个位置”变成了“每个物体”。规划里的 trajectory query 是同一个概念,区别在于每个 query 对应一个驾驶意图。

冻结与接口:从一段式到二段式

完全端到端 → 部分冻结 / LoRA → 冻结编码器 → 二段式

因素决定的内容
冻结特征能否针对规划任务优化
量化(置信度阈值、NMS、人工定义的字段)可传递至规划头的信息量。二段式的性能上限通常由量化决定

二段式的好处是:容易诊断;可以在结构化状态上做仿真;可以直接套用规则。

软接口:接口除了结构化结果,还传递置信度、低于阈值的候选或 query 特征。UniAD 和 SparseDrive 的模块之间传的就是 query。

代表论文

论文表示核心贡献
PointPillars(nuTonomy · CVPR 2019) 1812.05784LiDAR 柱状 BEV将点云划入柱状网格,转换为 BEV 伪图像
Lift-Splat-Shoot(NVIDIA / 多伦多大学 · ECCV 2020) 2008.05711相机 BEV(前向)按深度分布提升特征,再压平至网格
BEVFormer(上海 AI Lab 等 · ECCV 2022) 2203.17270相机 BEV(反向)BEV query 投影回图像以提取特征;引入时序 BEV
BEVFusion(MIT · ICRA 2023) 2205.13542多传感器 BEV在统一的 BEV 空间中融合相机与 LiDAR
DETR(Meta · ECCV 2020) 2005.12872query以匈牙利匹配实现以物体为单元的表示
UniAD(上海 AI Lab 等 · CVPR 2023) 2212.10156BEV + 任务 query以规划为目标,用 query 串联检测、跟踪、建图、预测、占用与规划
VAD(华科 / 地平线 · ICCV 2023) 2303.12077向量化以矢量地图与矢量轨迹取代栅格,显著提高推理速度
Sparse4D v3(地平线 · arXiv 2023) 2311.11722稀疏 4D query沿用 v1/v2 的锚点关键点采样;检测与跟踪采用同一机制
SparseDrive(清华 / 地平线 · ICRA 2025) 2405.19620全稀疏对称的稀疏感知;运动预测与规划并行;考虑碰撞的重打分
SSR(中科院自动化所等 · ICLR 2025) 2409.18341少量隐 token依据导航信息选出少量稀疏 token;以隐世界模型监督;无需感知标注

轨迹生成线:规划头的轨迹输出方式

轨迹头有四个设计维度:输出参数化(A)、生成范式(B)、多模态机制(C)和推理代价(D)。多数论文只改其中一个维度,所以读论文时先确定它改的是哪个维度。B 和 C 最容易混淆:

维度 A · 输出参数化

表示形式代表方法特点
绝对航点τ={pt}t=1T\tau=\{p_t\}_{t=1}^{T}UniAD, VAD形式最直接。远端误差大,损失主要由远端贡献。
增量 + cumsumpt=∑s≤tΔsp_t=\sum_{s\le t}\Delta_s多数 query 规划器轨迹平滑。误差沿时间累积;早期点的梯度被放大 T−t+1T-t+1 倍。
相对参考的残差τ=τref+Δ\tau=\tau^{\text{ref}}+\DeltaResAD参考轨迹为惯性外推,模型仅学习相对参考轨迹的偏离。
低维基 / tokenτ=μ+Uc,  c∈Rd\tau=\mu+Uc,\;c\in\mathbb{R}^{d}PCA 系数、离散 token轨迹必然平滑。探索空间小,适用于 GRPO。
贝塞尔控制点τ=BP, Bij=(nj)si j(1−si)n−j\tau=BP,\ B_{ij}=\tbinom{n}{j}s_i^{\,j}(1-s_i)^{n-j}—解析形式的低维基,与 PCA 属于同一类。轨迹必然平滑;端点可施加硬约束;导数仍为贝塞尔曲线。在控制点空间中做 RL 探索,所得轨迹仍保持平滑。
控制量曲率 κt\kappa_t + 加速度 ata_tCarPlanner 等保证运动学可行性。开环指标偏低。

维度 B · 生成范式

生成范式是模型生成单条轨迹的方法,它决定模型能否表示多峰分布。

范式(代表方法)能否表示多峰分布特点
直接回归(UniAD,单条输出)取决于输出头。单条输出配合 L2 损失时不能:平方 L2 损失的最优解为条件均值,多个模态被平均为一条实际不存在的中间轨迹。输出多条假设(WTA)或 GMM 参数(NLL 损失)时能,如 MTR。此类方法的多峰能力来自输出结构,而非回归本身(见维度 C)。τ^=fθ(o), L=∥τ^−τgt∥22\hat\tau=f_\theta(o),\ \mathcal{L}=\lVert\hat\tau-\tau^{gt}\rVert_2^2单次前向输出一条轨迹,结构最简单,速度最快。
词表分类(VADv2)能。输出为词表上的离散分布,左转与直行可同时获得高概率。p(τk∣o)=softmax(sθ(o))kp(\tau_k\mid o)=\mathrm{softmax}\big(s_\theta(o)\big)_k词表由数据离线构建,包含数千条典型轨迹。训练采用交叉熵;推理取最高分或 top-k。精度受词表粒度限制,模型无法生成词表外的轨迹。
自回归 token(VLA 类方法,见 ⑥ VLA 线“统一为语言生成”)能。每一步输出一个分布,通过采样或 beam search 获得不同模态。p(τ∣o)=∏ip(ai∣a<i,o)p(\tau\mid o)=\prod_i p(a_i\mid a_{<i},o)轨迹先离散化为 token(量化坐标、动作 token 或文本数字),再逐个解码。延迟随 token 数线性增长。该方法与语言生成采用同一机制,因而是 VLA 输出轨迹最自然的方式。
扩散(DiffusionDrive、ResAD)理论上能。不同的初始噪声收敛至不同模态。但在驾驶场景中,从纯噪声采样易发生模式塌缩。τt=αˉt τ0+1−αˉt ϵ, L=∥ϵ−ϵθ(τt,t,o)∥2\tau_t=\sqrt{\bar\alpha_t}\,\tau_0+\sqrt{1-\bar\alpha_t}\,\epsilon,\ \mathcal{L}=\lVert\epsilon-\epsilon_\theta(\tau_t,t,o)\rVert^2推理时从噪声出发迭代去噪。若从锚点出发并截断,步数可降至约 2 步(DiffusionDrive 与 ResAD 均采用 2 步)。
flow matching(GoalFlow)能。与扩散相同,不同起点对应不同模态。τt=(1−t) ϵ+t τgt, L=∥vθ(τt,t,o)−(τgt−ϵ)∥2\tau_t=(1-t)\,\epsilon+t\,\tau^{gt},\ \mathcal{L}=\lVert v_\theta(\tau_t,t,o)-(\tau^{gt}-\epsilon)\rVert^2模型学习速度场,推理时沿速度场积分(求解 ODE)。采用线性插值路径时,路径更直,所需积分步数更少;但路径是否更直取决于路径设计与样本配对,并无保证。GoalFlow 以目标点(goal)为条件。
drift(CLEAR)能。对多个噪声采样,得到多条候选轨迹。条件系数 α\alpha 控制多样性与接近真值轨迹两个目标之间的平衡。单次前向将噪声直接映射为样本,无需迭代,因而延迟最低。CLEAR 在 VAE 隐空间中完成这一步:轨迹先编码至隐空间,模型单步生成隐变量后再解码。自适应调度器选择 α\alpha 与采样数 NN最终由交叉注意力打分器选出一条轨迹。

维度 C · 多模态机制

多模态机制回答两个问题:多条候选轨迹从哪里来;怎样保证候选轨迹覆盖不同意图。机制决定模型实际上怎样得到多个模态,以及能不能覆盖全部模态。

机制核心公式方法说明
多 query + Winner-Takes-All(MTR 系列)L=min⁡kℓ(τ^k,τgt)+CE(π,k∗)\mathcal{L}=\min_k \ell\big(\hat\tau_k,\tau^{gt}\big)+\mathrm{CE}\big(\pi,k^{*}\big)k∗=arg⁡min⁡k∥τ^k−τgt∥k^{*}=\arg\min_k\lVert\hat\tau_k-\tau^{gt}\rVert仅最接近真值的 k∗k^{*} 获得回归梯度其余 query 几乎得不到监督,这是后文“负模态缺乏监督”问题的成因
多锚点(DiffusionDrive 的锚定截断扩散)τtk=αˉt ak+1−αˉt ϵ\tau^{k}_{t}=\sqrt{\bar\alpha_t}\,a_k+\sqrt{1-\bar\alpha_t}\,\epsilont≤Ttrunc≪Tt\le T_{\text{trunc}}\ll T去噪从“锚点加少量噪声”开始,而非纯高斯噪声,相当于采用以锚点为中心的 GMM 先验,去噪仅需约 2 步锚点不限定生成范式:采用回归时,每个锚点回归一个偏移量;采用扩散时,每个锚点作为一个去噪起点
扰动参考(ResAD 的 IRP)δv,k∼N(0,Σ)\delta_{v,k}\sim\mathcal{N}(0,\Sigma)Σ=diag(σvx2,σvy2)\Sigma=\mathrm{diag}(\sigma_{v_x}^2,\sigma_{v_y}^2)k=1,…,Kk=1,\dots,K对惯性参考的速度施加 KK 次扰动,得到 KK 条不同的参考轨迹;每条参考轨迹分别去噪得到残差,从而产生不同意图IRP 亦为一种锚点:无需固定词表;锚点并非 k-means 聚类所得的固定集合,而是依据自车状态生成
多 goal / 多次采样—GoalFlow:先对候选目标点打分并选出 goal,再以 goal 为条件做 flow matching,以避免模态平均。CLEAR:冻结编码器,单步 drift 解码器一次生成多条候选轨迹,由交叉注意力打分器选出待执行轨迹自回归 token 方法通过采样或 beam search 获得多条轨迹

DiffusionDrive 的锚点是从数据聚类得到的典型轨迹。去噪的起点已经接近最终结果,所以只需约 2 步,候选轨迹就能覆盖左转、直行和右转等不同意图。

生成范式与多模态机制的关系

生成范式与多模态机制是两个不同的维度:同一范式可采用不同机制,同一机制也可以用于不同范式。

生成范式多模态机制实例
回归多 query + WTAMTR
回归单 query(无多模态)UniAD
词表分类词表即模态集合VADv2
扩散随机噪声多次采样原始扩散策略
扩散锚点 + 截断扩散DiffusionDrive
扩散扰动惯性参考ResAD
flow matchinggoal 条件GoalFlow
自回归 token采样 / beam searchVLA 类方法

但两个维度并不完全独立:范式决定上限,机制决定模型能不能真正达到这个上限。

把两个维度分开看,DiffusionDrive 这类工作的贡献主要在机制,而不在范式。

从先验强度看,ResAD 的惯性参考、DiffusionDrive 的锚点和 GoalFlow 的 goal 都是生成时用的先验,分别属于维度 A 和维度 C。先验越强,生成器要学的东西越少,但上限也越受先验质量的制约。

维度 D · 推理代价

DDPM ~1000 → DDIM ~20 → 截断扩散 2 → 残差扩散 2 → 单步 1

步数只对迭代式生成器(扩散、flow)有意义。车端部署受的是总延迟的约束,不只是步数,要综合考虑三项:

在车端芯片(Orin / Thor)上,扩散头只有在 2 步及以下时才有实用价值。这一节没有展开另一个维度:规划是否与他车运动预测联合或迭代进行(例如 SparseDrive 的并行运动规划)。这个维度决定生成器处理交互场景(如汇入、博弈和让行)的能力。

代表论文

论文生成范式 / 多模态机制 / 改变的维度核心贡献
MTR(MPI / CUHK · NeurIPS 2022) 2209.13508回归 · 意图 query + WTA · C意图 query 与局部精修;WTA 范式的来源(运动预测)
VADv2(华科 / 地平线 · arXiv 2024) 2402.13243词表分类 · 词表即模态集合 · B · C在大规模轨迹词表上输出概率分布,以离散化实现多模态
DiffusionDrive(华科 / 地平线 · CVPR 2025) 2411.15139扩散 · 锚点 + 截断扩散 · C · D锚定截断扩散与级联解码器(88.1 PDMS)
GoalFlow(地平线等 · CVPR 2025) 2503.05689flow matching · goal 条件 · Cgoal 打分与以 goal 为条件的 flow matching
ResAD(华科 / 地平线 / 武大 · CVPR 2026) 2510.08562扩散 · 扰动惯性参考(IRP) · A · C惯性参考残差、PRNorm 与 IRP;两步去噪(88.8 PDMS · 85.5 EPDMS)
CLEAR(arXiv 2026.06) 2606.06219v1drift · 单步生成多条候选轨迹 + 打分器选择 · B · D单步 drift 解码器与交叉注意力打分(93.7 PDMS)

NAVSIM v1 的 PDMS 和 v2 的 EPDMS 不能直接比较。SparseDriveV2 还指出 v2 有修正版 EPDMS,引用数值时要确认用的是哪个协议。CLEAR 的 arXiv v2(2026-09-28)改名为 Vault,方法描述也有变化,这里引用的是 v1。

打分 / 选择线:候选轨迹的生成与评估

这条研究线的关键区别在于打分器的监督信号来源:

核心机制

Hydra-MDP:多目标蒸馏(本研究线的基本范式)

对每个场景和词表里的每条候选轨迹 τi\tau_i离线用 PDM 规则算出子指标标签 ym,i∈[0,1]y_{m,i}\in[0,1](NC、DAC、TTC、EP、Comfort 等)。训练目标为:

L=−∑iyiimlog⁡softmax(sim)i+∑m∑iBCE(σ(sm,i), ym,i)\begin{aligned} \mathcal{L}={}&-\sum_i y^{\text{im}}_i\log\mathrm{softmax}(s^{\text{im}})_i\\ &+\sum_{m}\sum_i \mathrm{BCE}\big(\sigma(s_{m,i}),\,y_{m,i}\big) \end{aligned}

第一项是模仿头的损失,软标签为 yiim∝exp⁡(−∥τi−τgt∥2)y^{\text{im}}_i\propto\exp(-\lVert\tau_i-\tau^{gt}\rVert^2)第二项是各规则头的二元交叉熵损失。

推理时,对各头的对数输出加权求和,再取 argmax:

τ∗=arg⁡max⁡i  (wimlog⁡piim+∑mwmlog⁡σ(sm,i))\begin{aligned} \tau^{*}=\arg\max_i\;\Big(&w_{\text{im}}\log p^{\text{im}}_i\\ &+\sum_m w_m\log \sigma(s_{m,i})\Big) \end{aligned}

要点是:每个子指标由独立的头监督,而不是先把子指标合成一个标量再回归。模仿头保留人类驾驶风格,规则头负责安全性和可行性。

候选轨迹的来源

来源覆盖范围粒度代表方法
静态词表大粗Hydra-MDP、ZTRS
动态提议小细扩散或 query 的输出
混合大细GTRS 以超密词表与 dropout 训练;推理时同时评估词表轨迹与扩散提议
因子化大细SparseDriveV2 将轨迹分解为几何路径与速度曲线两个因子,先粗后细打分,词表密度提高 32 倍

测试时优化(TOAD)

“先生成、后打分”的方法,上限受候选集质量制约。TOAD 把打分器 SϕS_\phi 当作奖励,用交叉熵方法在提议附近搜索:

T={τ(j)∼N(μ,Σ)}μ,Σ←fit(top-eSϕ(T))\begin{gathered} \mathcal T=\{\tau^{(j)}\sim\mathcal N(\mu,\Sigma)\}\\ \mu,\Sigma\leftarrow\mathrm{fit}\big(\mathrm{top}\text{-}e_{S_\phi}(\mathcal T)\big) \end{gathered}

其中 top-eSϕ(T)\mathrm{top}\text{-}e_{S_\phi}(\mathcal T) 表示 T\mathcal T 中按 SϕS_\phi 得分最高的 ee 条轨迹。

TOAD 不需要重新训练,可以直接用在现有规划器上,在六个基础规划器上都有提升。

代表论文

论文候选 / 监督核心贡献
Hydra-MDP(NVIDIA · arXiv 2024) 2406.06978词表 / 规则蒸馏多目标 Hydra 蒸馏;每个 PDM 子指标由独立的头监督(NAVSIM 2024 挑战赛第一名)
Hydra-MDP++(NVIDIA · arXiv 2025) 2503.12820词表 / 扩展指标专家引导的蒸馏;指标更多
Hydra-NeXt(NVIDIA · arXiv 2025) 2503.12030词表以开环训练获得闭环鲁棒性
WoTE(中科院自动化所 · ICCV 2025) 2504.01941BEV 世界模型推演先将候选轨迹推演至未来,再打分
iPad(arXiv 2025) 2505.15111迭代提议以候选轨迹为中心迭代精修
DriveSuprim(NVIDIA 等 · arXiv 2025) 2506.06659由粗到细在相似的候选轨迹之间做精确选择
GTRS(NVIDIA · arXiv 2025) 2506.06664词表 + 扩散混合以词表 dropout 提高泛化能力;传感器增广;细粒度精修(NAVSIM v2 挑战赛冠军)
R2SE(arXiv 2025) 2506.09800打分 + RL 精修强化精修与自感知扩展
SparseDriveV2(清华 / 地平线 · ECCV 2026) 2603.29163因子化超密词表将轨迹分解为路径与速度两个因子;证明词表越密效果越好,且尚未饱和(92.0 PDMS · 90.1 EPDMS)
TOAD(arXiv 2026.06) 2606.07170测试时 CEM以打分器为奖励做测试时搜索(94.7 PDMS)

RL / 后训练线:超越模仿学习

模仿学习只有正样本,所以有三个问题:

RL 研究线可以拆成两个相互独立的维度:奖励来源和优化算法。另外要区分两类 RL:

核心机制

GRPO:组内相对优势

Ai=ri−mean({rj}j∈G)std({rj}j∈G)A_i=\frac{r_i-\mathrm{mean}(\{r_j\}_{j\in G})}{\mathrm{std}(\{r_j\}_{j\in G})} L=−Ei[min⁡(ρiAi,clip(ρi,1 ⁣± ⁣ϵ)Ai)]+β KL(πθ∥πref)\begin{aligned} \mathcal L={}&-\mathbb E_i\Big[\min\big(\rho_iA_i,\\ &\qquad\mathrm{clip}(\rho_i,1\!\pm\!\epsilon)A_i\big)\Big]\\ &+\beta\,\mathrm{KL}\big(\pi_\theta\Vert\pi_{\text{ref}}\big) \end{aligned}

GRPO 不需要 critic,适合“同一场景采样多条轨迹”的设定,关键在于组 GG 怎么划分。

例如,一个场景采样 8 条轨迹:4 条由左转锚点生成,4 条由直行锚点生成。左转更难,左转轨迹的奖励整体偏低。如果 8 条轨迹分成一组,所有左转轨迹的优势都是负的,梯度只传达“少左转”,分不出左转轨迹之间谁好谁坏。按锚点分组后,每组里都有正有负的优势,模型就能在每种意图内部学到轨迹的相对优劣。

DiffusionDriveV2 对 GRPO 的三项改进

改进方法原因
乘性、尺度自适应的探索噪声远端点扰动大,近端点扰动小探索所得轨迹仍保持平滑;加性高斯噪声会导致轨迹抖动
锚点内 GRPO组 GG 由同一锚点生成的样本构成仅在同一意图内比较
锚点间截断 GRPO引入跨锚点的全局比较,同时剔除不合理的跨意图比较例如左转与直行不应相互比较

对于扩散策略,ρi\rho_i 由去噪链各步高斯转移的对数概率求和得到。

其他两种方法:枚举梯度与极简奖励

方法核心公式说明
EPO:枚举式策略优化(ZTRS)∇θJ=∑i=1n∇θ πθ(ai∣s) (r(ai,s)−b(s))\nabla_\theta J=\sum_{i=1}^{n}\nabla_\theta\,\pi_\theta(a_i\mid s)\,\big(r(a_i,s)-b(s)\big)当动作空间为可枚举的词表时,无需采样,可直接对全部候选轨迹计算期望梯度(bb 为基线,示意)。EPO 解决了纯 RL 的冷启动问题,完全无需人类示范
奖励设计:CaRL 的极简奖励r=RC⋅∏jλj 1[违规j]r=\mathrm{RC}\cdot\prod_{j}\lambda_j^{\,\mathbb 1[\text{违规}_j]}λj∈(0,1)\lambda_j\in(0,1) 或直接终止复杂的加和式 shaped reward 存在一个问题:mini-batch 较大时 PPO 无法对其优化。CaRL 改用以路线完成度为主、对违规施加乘性惩罚的奖励,使 PPO 可扩展至数亿样本

奖励来源

奖励来源代表方法优点主要风险
规则指标(PDMS / EPDMS)DiffusionDriveV2, ReCogDrive, ZTRS可靠;成本低策略利用规则漏洞:过度保守,EP 下降
学习型打分器RAD-2 判别器, R2SE稠密;可微;可泛化策略利用打分器的盲区
世界模型评论家AD-R1可推演动作的后果乐观偏差:世界模型仅见过安全数据,因而预测出不真实的安全未来
重建仿真(3DGS)RAD, RAD-2, World Engine真闭环;画面逼真重建成本高;新视角存在伪影
传统仿真(特权输入)CaRL样本量可达数亿仿真与真实世界之间存在差距(sim-to-real)

代表论文

论文奖励 / 算法核心贡献
RAD(华科 / 地平线 · NeurIPS 2025) 2502.131443DGS 环境 / PPO + IL 正则在真实场景的数字孪生中做大规模试错(碰撞率降至 IL 的 1/3)
AlphaDrive(华科 / 地平线 · arXiv 2025) 2503.07608规则 / GRPO首个将 GRPO 用于驾驶规划的工作(VLM)
CaRL(Tübingen · CoRL 2025) 2504.17838仿真 / PPO以简单奖励使 PPO 具备可扩展性(nuPlan Val14 91.3)
ReCogDrive(华科 / 小米等 · ICLR 2026) 2506.08052规则 / diff-GRPOVLM 与扩散规划头;扩散版 GRPO
DriveDPO(中科院自动化所 · arXiv 2025) 2509.17940偏好 / 安全 DPO用安全偏好对做 DPO
ZTRS(NVIDIA 等 · arXiv 2025) 2510.24108规则 / EPO无需人类示范,仅以奖励训练词表打分器(Navhard SOTA)
AD-R1(CVPR 2026 Findings) 2511.20325世界模型 / 闭环 RL合成反事实负样本,训练能够如实预测危险的世界模型
DiffusionDriveV2(华科 / 地平线 · arXiv 2025.12) 2512.07745规则 / 分组 GRPO锚点内与锚点间 GRPO,以及乘性探索噪声
RAD-2(华科 / 地平线 · arXiv 2026.04) 2604.15308判别器 / TC-GRPO扩散生成器与经 RL 优化的判别器重排序;BEV-Warp 高吞吐仿真
World Engine(OpenDriveLab · 2026) opendrivelab.com重建 + 安全关键场景合成量产规模的后训练(基座模型使用 8 万小时数据);碰撞率 −45.5%

RAD-2:三条主线的组合

主线在 RAD-2 中的作用
线 1 · 生成扩散生成器输出候选轨迹
线 2 · 打分Transformer 判别器对候选轨迹重新排序
线 3 · RL判别器以时间一致的 GRPO 从闭环反馈中学习;低奖励的 rollout 被转换为纵向优化信号,生成器据此做 on-policy 更新

RAD-2 的核心观点是:不要把稀疏的标量奖励直接作用在高维轨迹空间上,先训练一个判别器,优化会更稳定。

常见错误

模仿与蒸馏线:从行为克隆到 on-policy 蒸馏

纯模仿学习只覆盖人类正常驾驶时的状态。实际运行时,一点小偏差就会让车辆进入训练数据没覆盖的状态,偏差随之越来越大。这条研究线解决的是状态分布问题:在学生出错后到达的状态上纠正它。

它和打分线、RL 线的区别在于监督信号:

核心机制

对比公式说明
行为克隆与 DAgger:误差累积J(πBC)≤J(π∗)+O(T2ϵ)J(\pi_{\text{BC}})\le J(\pi^{*})+O(T^{2}\epsilon)J(πDAgger)≤J(π∗)+O(Tϵ)J(\pi_{\text{DAgger}})\le J(\pi^{*})+O(T\epsilon)TT 为时域长度,ϵ\epsilon 为单步模仿误差,JJ 为累计代价(Ross 等人的经典结论,示意)。行为克隆中,单步错误即会将学生带入未见过的状态,因而误差随时域的平方增长
on-policy 蒸馏与 on-policy RLmin⁡θ Es∼dπθ[ℓ(πθ(s),πT(s))]\min_\theta\ \mathbb{E}_{s\sim d^{\pi_\theta}}\big[\ell(\pi_\theta(s),\pi_{\text{T}}(s))\big] vs max⁡θ Eτ∼πθ[∑tγtrt]\max_\theta\ \mathbb{E}_{\tau\sim\pi_\theta}\big[\textstyle\sum_t\gamma^t r_t\big]两个目标的外层期望均取自学生自身的状态分布 dπθd^{\pi_\theta}内层则不同:前者为教师动作(稠密),后者为标量奖励(稀疏)。蒸馏的样本效率高,但上限约等于教师;RL 需要探索,但有可能超越教师

训练信号的两个维度:状态来源 × 监督形式

教师给出动作(稠密)教师对候选轨迹评分仅有标量奖励(稀疏)
日志中的状态(off-policy)行为克隆、离线蒸馏(Alpamayo 云端教师生成标签)Hydra-MDP、GTRS、SparseDriveV2(线 2)开环 GRPO(DiffusionDriveV2)、ZTRS 的 EPO(线 3)
学生 rollout 到达的状态(on-policy)DAgger、LBC、Roach(本线)RAD-2 判别器(以闭环反馈训练)CaRL、RAD(闭环 PPO)

开环 GRPO 里,动作由当前模型采样,但状态来自人类日志。所以开环 GRPO 能让模型在同一状态下选更好的动作,但解决不了误差累积。

on-policy 数据的来源:仿真的四个保真度等级

等级方法是否严格 on-policy适用范围
0 · 仅扰动ChauffeurNet 的方法:平移日志中的自车位姿,由教师给出返回原路线的轨迹否,为近似无需仿真即可实施;同时减少自车状态捷径
1 · 仅自车闭环日志回放:他车按日志行驶,自车按学生输出推演,再重建结构化 token对自车而言是仅训练规划器时基本够用。rollout 须较短(2–4 s)。注意:后车可能追尾自车,产生虚假碰撞。
2 · 他车具有反应他车由 IDM 等规则控制(nuPlan 的 reactive 模式)是交互密集的场景
3 · 传感器仿真以 3DGS 重建或世界模型渲染新视角;BEV-Warp 在特征层实现,属于折中方案是一段式模型

代表论文

论文形式核心贡献
DAgger(CMU · AISTATS 2011) 1011.0686on-policy 数据聚合学生驾驶,教师在学生到达的状态上标注,误差界由 T2T^2 降至 TT
ChauffeurNet(Waymo · RSS 2019) 1812.03079扰动合成平移自车位姿,监督车辆返回原路线,无需仿真即可近似获得 on-policy 数据
LBC(UT Austin / Intel · CoRL 2019) 1912.12294特权教师 → 学生先以真值感知训练特权教师,再蒸馏至使用传感器输入的学生
Roach(ETH · ICCV 2021) 2108.08265RL 教师教师在特权输入上以 RL 训练;学生做 on-policy 蒸馏
PlanT(Tübingen · CoRL 2022) 2210.14222目标级输入规划器以目标级 token 为输入的规划 Transformer,是结构化输入规划器的代表
Hydra-MDP(NVIDIA · arXiv 2024) 2406.06978蒸馏评价函数蒸馏规则评分而非动作(详见线 2)

世界模型线:稠密监督与模拟环境

一条轨迹只有几十个数值,却要监督上亿个参数,DriveVLA-W0 把这个问题叫作“监督赤字”。世界模型有两种用法:

核心机制

用途方法要点
训练阶段:隐空间自监督(LAW 类方法)L=Lplan+λ ∥z^t+1(zt,at)−sg(zt+1)∥2\mathcal{L}=\mathcal{L}_{\text{plan}}+\lambda\,\big\lVert\hat z_{t+1}(z_t,a_t)-\mathrm{sg}(z_{t+1})\big\rVert^{2}模型以当前隐特征与动作预测下一帧的隐特征;sg\mathrm{sg} 表示 stop-gradient(示意)无需感知标注即可使编码器习得场景动态。SimWAM 更进一步:视频分支仅在训练时使用,训练后删除,因而不增加推理延迟
RL 中:作为评论家世界模型推演动作的后果,并对轨迹打分须注意乐观偏差:若世界模型仅以专家数据训练,则从未见过事故,对危险轨迹会预测出安全的未来(障碍物消失,或忽略道路边界)。AD-R1 的方法是以程序合成碰撞、越界等负样本,使世界模型能够如实预测危险,再将其作为 RL 的内部评论家

代表论文

论文用途核心贡献
GAIA-1(Wayve · arXiv 2023) 2309.17080生成式早期大规模驾驶视频世界模型
Vista(港大 / OpenDriveLab 等 · NeurIPS 2024) 2405.17398生成式高保真、可控的驾驶世界模型
Think2Drive(上交 · ECCV 2024) 2402.16720环境在隐世界模型的模拟中训练 RL 策略(CARLA)
LAW(中科院自动化所 · ICLR 2025) 2406.08481训练信号以未来隐特征预测作为自监督,降低对感知标注的依赖
WoTE(中科院自动化所 · ICCV 2025) 2504.01941评估器先将候选轨迹推演至未来,再打分(详见线 2)
DriveVLA-W0(中科院自动化所等 · ICLR 2026) 2510.12796训练信号提出“监督赤字”;引入未来图像预测后,性能随数据量持续提升
SimWAM(arXiv 2026.08) 2608.07468训练信号视频分支仅作为训练信号,训练后删除,得到低延迟规划器(91.5 PDMS)
AD-R1(CVPR 2026 Findings) 2511.20325评论家合成反事实负样本,训练能够如实预测危险的世界模型(详见线 3)

VLA 线:大模型参与驾驶决策

语言模型负责高层的理解和推理,动作专家负责输出轨迹。工业界越来越多地把大模型放在云端当教师,而不是直接部署到车端。

双系统(慢思考 + 快系统) → 统一为语言生成 → VLM 与生成式规划头对齐 → GRPO + 推理 → 自适应 / 隐式推理 → 云端教师与蒸馏

要点

大模型难以部署到车端的原因:

代表论文

论文阶段核心贡献
DriveVLM(理想 / 清华 · CoRL 2024) 2402.12289双系统VLM 负责慢思考;端到端模型作为快系统
Senna(华科 / 地平线 · IJCV 2026) 2410.22313双系统VLM 输出高层决策;端到端模型输出轨迹
EMMA(Waymo · TMLR 2025) 2410.23262语言生成将检测、建图与规划统一表示为文本,由单一多模态大模型生成
ORION(小米 / 华科 · ICCV 2025) 2503.19755对齐规划头将 VLM 的推理空间与生成式规划头的动作空间端到端对齐
AlphaDrive(华科 / 地平线 · arXiv 2025) 2503.07608GRPO + 推理首个将 GRPO 用于驾驶规划的 VLM 工作
AutoVLA(UCLA · NeurIPS 2025) 2506.13757自适应推理依据场景决定是否推理;以强化微调优化
LaST-VLA(arXiv 2026) 2603.01928隐式推理将推理从文本 CoT 转移至隐式时空空间
Alpamayo 1.5(NVIDIA · 2026) huggingface.co云端教师8.2B 推理骨干与 2.3B 动作专家;RL 后训练;支持导航引导与可变相机数量

捷径与时序一致性线:模型所学规律的有效性

这条研究线关注两个问题。两个问题都无法从开环指标发现,只在实车运行时才暴露。

核心机制

问题诊断方法成因
捷径推理时将自车历史置零或施加扰动,测量指标 MM 的下降量:Δego=M(π;o)−M(π;o∖ego)\Delta_{\text{ego}}=M(\pi;o)-M(\pi;o\setminus\text{ego})按场景分别统计:惯性场景(如匀速跟车)与需偏离惯性的场景(如起步、前车切入、路口转弯)。指标几乎不下降,说明模型未使用自车状态;仅在惯性场景上大幅下降,说明模型存在捷径(示意)一段式模型更为严重:从像素学习场景的难度更高,而监督仅为一条低维轨迹,使“学习场景”与“外推自车状态”之间的难度差距更大。即使移除自车状态输入,多帧 BEV 对齐与 LiDAR 运动补偿仍会间接泄露自车运动信息
时序一致性计算相邻两帧规划在重叠时段上的差异,作为帧间一致性指标(示意):Ct=1K∑k=1K∥τt(t+kΔ)−τt−1(t+kΔ)∥\mathcal{C}_t=\frac{1}{K}\sum_{k=1}^{K}\lVert\tau_t(t{+}k\Delta)-\tau_{t-1}(t{+}k\Delta)\rVert开环 L2 与 PDMS 均仅评估单帧规划,不惩罚该差异。rollout 一词源自西洋双陆棋,原指“掷骰子将一局棋走完”,此处指策略逐步执行所得的结果,区别于单帧的 planned trajectory

改进方法如下:

问题层面改进方法
捷径表示对自车状态施加 dropout 或噪声,迫使模型关注场景;缩短历史长度,减少可外推的信息;延迟注入,使规划 query 先与场景交互,再在后续层引入自车状态;残差参数化,由参考轨迹承担惯性外推(ResAD,线 1)
捷径训练与评测辅助感知监督;世界模型自监督;评测去偏(NAVSIM 的设计目的之一)
时序一致性模型与训练MomAD 引入轨迹动量与感知动量;RAD-2 的时间一致 GRPO(线 3)

摆动的原因是:车辆只执行每条规划开头的一小段,下一帧就重新规划。如果相邻两帧的规划弯向不同的一侧,即使每帧规划都平滑,执行出来的 rollout 仍会横向摆动。

代表论文

论文问题核心贡献
Causal Confusion(Berkeley 等 · NeurIPS 2019) 1905.11979捷径揭示一个反直觉现象:输入信息越多,模仿效果反而越差,是捷径问题的理论起点
Limitations of BC(CVC / TRI · ICCV 2019) 1904.08980捷径系统分析行为克隆的分布偏移、惯性问题与训练方差
AD-MLP(百度 · arXiv 2023) 2305.10430捷径仅使用自车状态的 MLP 在 nuScenes 开环指标上接近当时的 SOTA
Is Ego Status All You Need(NVIDIA / 南大 · CVPR 2024) 2312.03031捷径证明 UniAD、VAD 等一段式模型的规划性能主要源自自车状态,其诊断方法可直接复用
Hidden Biases(Tübingen · arXiv 2024) 2412.09602捷径从数据集角度分析端到端驾驶中的隐藏偏差
CausalVAD(arXiv 2026) 2603.18561捷径以因果干预消除混淆
MomAD(CVPR 2025) 2503.03125时序一致性在 SparseDrive 上引入轨迹动量与感知动量,减少前后帧规划的跳变

目前专门研究时序一致性的工作较少。

评测线:结果的可比性与改进的有效性

三类评测能发现的问题各不相同:

评测协议决定了其他各研究线的数值能不能相互比较。

nuScenes 开环 L2 → nuPlan 闭环 → NAVSIM v1(PDMS) → NAVSIM v2(EPDMS)/ Navhard → Bench2Drive / HUGSIM 闭环 → 工业闭环平台

核心机制

PDMS(NAVSIM v1)

PDMS=NC×DAC×5 EP+5 TTC+2 C12\begin{aligned} \mathrm{PDMS}={}&\mathrm{NC}\times\mathrm{DAC}\\ &\times\frac{5\,\mathrm{EP}+5\,\mathrm{TTC}+2\,\mathrm{C}}{12} \end{aligned}

无碰撞(NC)和可行驶区域合规(DAC)是乘性惩罚,任一项为 0,总分就是 0。进度(EP)、碰撞时间(TTC)与舒适度(C)取加权平均。v2 的 EPDMS 增加了交通规则、车道保持与扩展舒适度等项,还有修正版。

注意:解读数值时要核查四点。

代表论文

论文类型核心贡献
CARLA(Intel / CVC · CoRL 2017) 1711.03938仿真闭环学术界最常用的开源驾驶仿真器
nuScenes(Motional · CVPR 2020) 1903.11027开环早期端到端开环评测的主要数据集,其局限性推动了后续基准的建立
nuPlan(Motional · arXiv 2021) 2106.11810闭环面向学习型规划的闭环基准;支持他车反应式回放
PDM(Tübingen · CoRL 2023) 2306.07962指标来源规则规划器 PDM-Closed 优于学习方法;PDM score 源自该论文(详见线 2)
NAVSIM(Tübingen / NVIDIA 等 · NeurIPS 2024) 2406.15349伪仿真非反应式伪仿真与 PDMS;目前生成线与打分线的多数结果均在 NAVSIM 上报告
Bench2Drive(上交 · NeurIPS 2024) 2406.03877闭环基于 CARLA 的闭环端到端基准,按能力分项评测
HUGSIM(浙大等 · arXiv 2024) 2412.01718重建闭环基于 3DGS 的实时照片级闭环仿真器

阅读顺序

各研究线的必读论文

选择标准:读完这篇就能理解该研究线的核心思路,而且这条线的后续工作大多在它的基础上改进。

研究线必读选择理由
⓪ 感知与表示SparseDrive 2405.19620清晰阐明稀疏 query 感知与规划的衔接方式;DiffusionDrive(nuScenes 版)、MomAD 与 SparseDriveV2 均以其为基础
① 轨迹生成DiffusionDrive 2411.15139锚点与截断扩散是生成线的核心;ResAD 与 DiffusionDriveV2 均直接以其为基础
② 打分 / 选择Hydra-MDP 2406.06978确立了“每个规则子指标由独立的头监督”的范式;GTRS 与 SparseDriveV2 均在其基础上扩展
③ RL 后训练DiffusionDriveV2 2512.07745直接对规划头应用 GRPO,具体阐明分组方式与探索噪声等关键问题;宜在 DiffusionDrive 之后阅读
④ 模仿与蒸馏ChauffeurNet 1812.03079以扰动合成近似 on-policy 数据,无需仿真;同时阐明了误差累积问题及其实用解决方法
⑤ 世界模型DriveVLA-W0 2510.12796提出“监督赤字”,并以实验证明世界模型监督能够放大数据规模的收益,最清晰地论证了世界模型的必要性
⑥ VLAORION 2503.19755将 VLM 推理与生成式规划头端到端对齐,是目前阐述 VLA 与传统规划头结合方式最清晰的工作
⑦ 捷径与时序Is Ego Status All You Need 2312.03031证明主流一段式模型的规划性能主要源自自车状态,其诊断方法可直接复用
⑧ 评测NAVSIM 2406.15349生成线与打分线的多数结果均在 NAVSIM 上报告,是理解其他论文中 PDMS 数值的前提

建议的阅读顺序:

  1. 先读 NAVSIM 和 Is Ego Status,弄清指标的含义,并意识到模型结果可能有误导性。
  2. 再依次读主干论文:SparseDrive → DiffusionDrive → Hydra-MDP → DiffusionDriveV2。
  3. 最后读 ChauffeurNet、DriveVLA-W0 和 ORION。

也可以替换:想了解三条主线怎样组成完整系统,可以把 ③ 换成 RAD-2;想先读更简单的版本,⑤ 可以先读 LAW。如果三条主线只读最新的代表工作,可以选 ResAD(改进生成头最简洁的方法)、SparseDriveV2(打分线当前的性能上限,以及因子化词表)和 RAD-2。

各研究线的完整阅读路径

研究线阅读路径
⓪ 感知与表示LSS → BEVFormer → DETR → Sparse4D v3 → SparseDrive → SSR
① 生成MTR → VADv2 → DiffusionDrive → GoalFlow → ResAD → CLEAR
② 打分Hydra-MDP → GTRS → SparseDriveV2 → TOAD
③ RLCaRL → RAD → DiffusionDriveV2 → ZTRS → RAD-2 → AD-R1
④ 模仿与蒸馏DAgger → ChauffeurNet → LBC → Roach → PlanT
⑤ 世界模型LAW → WoTE → DriveVLA-W0 → SimWAM
⑥ VLADriveVLM → ORION → AlphaDrive → AutoVLA → Alpamayo 1.5
⑦ 捷径与时序Causal Confusion → AD-MLP → Is Ego Status → MomAD
⑧ 评测PDM → NAVSIM → Bench2Drive → HUGSIM

文中数值都是各论文自己报告的。标注“示意”的公式用了简化记号,细节以原文为准。

内容涵盖截至 2026-09 的公开 arXiv 和会议信息。