Agent 与 Harness:框架、原理及其在驾驶行为挖掘中的应用

2026-10-06笔记自动驾驶AgentHarness驾驶行为挖掘

Agent 指模型与 Harness(模型之外的运行框架,包括工具、记忆、权限与验证)的组合;Agentic 指模型自主决定下一步行动的工作方式。二者的基本概念见《Agentic 与 Harness:核心概念和学习资源》。这篇先讲二者的分工、闭环的设计原则、Harness 的组成和适用条件,再以驾驶行为(左转、右转、路口转弯、变道)的挖掘为例,看这些原则怎样落到具体项目里。

核心概念与分工

方面要求具体做法
Harness:判据独立评分环境独立可信金标集与验证器固定,Agent 不能修改,也不能自行打分
Harness:结果可比每轮可横向比较每轮在同一批数据上运行,输出同样的指标
Harness:过程可回放退步时可回滚规则、提示词、指标、错例全部留痕
Agentic:错例驱动自主迭代查看错例,归纳失败模式,提出修改假设,自行修改、运行并依据指标决定保留或丢弃,再判断下一步攻克的问题或是否已经收敛

闭环的通用设计

  1. 先定义“完成”的判据。 每个目标需要可自动打分的验证器。没有独立的验证器时,Agent 等于自己给自己打分,闭环不成立。
  2. 循环保持简单。 每轮依次为:提出假设或查询,调用工具检索,验证,反思并调整策略,写入记录。每轮必须得到数值反馈,例如命中率、新颖度、单位成本。
  3. Agent 不该管的事交给 Harness。
    • 工具分为粗细两级:粗筛用 embedding 检索、元数据与规则,精筛才用代价更高的模型。
    • 外部状态(已完成的内容、有效的查询、失败原因)保存在文件或数据库中,不依赖上下文记忆。
    • 预算与停止条件:每轮设算力上限,连续若干轮没有新增时换方向或停止。
    • 完整日志,使每一轮可回放、可对比。
  4. 上下文中只保留摘要。 原始数据留在外部,Agent 只读取统计结果与少量样例。
  5. 设置去重与新颖度约束。 否则 Agent 会反复处理同一类容易命中的样本。
  6. 沉淀成果。 有效策略固化为规则或技能,样本回流到训练集与评测集。

Harness 的组成与设计要点

这一节依据 Barbaste 等人的论文 Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents(2026-07)[1]。这篇论文研究的是编码 Agent,没有做性能排名;下面针对其他任务的建议是我们的推论,不是论文的结论。

论文中的主要事实

七个子系统的设计要点

子系统要点
循环采用最简单的线性循环,并加入卡死检测:重复动作、连续报错、指标连续多轮不变
模型接入Agent 的模型与被调用的专用模型(如视觉语言模型 VLM)分开,后者只是被调用的工具,而非 Agent 本身。提示词纳入版本管理
工具少而精。只读工具可并行,写入的工具串行。返回摘要而非原始数据
记忆与上下文设阈值触发压缩。长期记忆写成文件:失败模式、有效规则、已验证无效的方向
安全与权限设轮数、费用、时间三个上限。权限写入配置,不写入提示词
编排先用单 Agent。仅在按场景分桶并行分析错例时才启用子 Agent,此时成本会明显上升
扩展每类任务的流程写成一个技能文件。运行前后用钩子执行固定检查,例如在金标集上回归

注意:论文关于“不用向量检索”的结论针对代码检索,视频或图像场景检索不一定适用,需要在实际数据上验证。 验证之前,粗筛优先用元数据和信号上的结构化查询,只在规则表达不了的语义场景里再引入向量检索。

适合 Agent 的任务条件

适合交给 Agent 的任务要满足八个条件:

  1. 有可自动计算的指标。
  2. 单次迭代成本低。
  3. 搜索空间开放。
  4. 离线且可回滚。
  5. 工作对象是可读写的工件。 Agent 操作的应是规则文件、配置、查询、提示词这类文本工件,并通过确定性工具读写,而不是直接处理原始视频。
  6. 验证与停止独立于 Agent。 “完成”不能由 Agent 自行宣布,需要外层验证循环放行或打回。
  7. 边界由机制强制,而非依靠提示词。 金标集只读、数据池只读、不能触及发布与车端,这些通过文件权限与沙箱实现,并写入配置。
  8. 全程事件留痕。 每次工具调用与结果都落盘,支持回放与从某一步分叉重跑。

下面这些任务不适合交给 Agent:

通用的 Agent 闭环范例

项目对应的部分要点
karpathy/autoresearch整体结构,最值得借鉴三个文件分工:评估与数据准备脚本固定不改(prepare.py),Agent 只修改一个文件(train.py),指令文档由人迭代(program.md)
az9713/autoresearch-prompt-optimization提示词优化将 autoresearch 框架用于提示词优化:Agent 针对固定评估集迭代提示词,由 git 自动保留或丢弃
codelion/openevolve规则与程序演化AlphaEvolve 的开源实现:初始程序加评估器脚本,级联评估,先便宜后昂贵
SWE-agent/mini-swe-agentAgent 循环本身Agent 类约一百行 Python,每个动作独立执行,便于沙箱与并行

套用到自己的任务时,评估脚本和金标集固定,待优化的文件交给 Agent 改,说明文档由人改,再把“训练五分钟看验证损失”换成目标任务的指标。不需要引入大型框架。

驾驶行为挖掘的设计

我们的目标是从驾驶日志里挖出左转、右转、路口左右转和变道等行为。这些行为大多能用运动学定义,所以 Agent 该改的是挖掘程序(规则、阈值、提示词),而不是一段段看视频、逐段判断;视频模型只处理规则判定不了的边界情况。这对应前面的第 5 个条件。

三层结构

层目标做法
候选生成高召回用自车信号编写运动学规则
精判高精度仅将候选送入 VLM,回答规则无法回答的问题
人工抽检校准每轮抽取少量样本,校准前两层

候选生成的规则可以这样写:

这些阈值只是经验初值,需要在金标集上标定。

VLM 精判需要回答两个问题:

闭环流程

重点难负例

Harness 提供的三个工具

  1. 运行挖掘规则
  2. 计算分桶指标
  3. 提取错例样本

Agent 只调用这三个工具,拿到的是统计结果和少量样例。工具本身是确定性代码,不需要智能。金标集和评分脚本靠只读权限固定,而不是在提示词里要求 Agent 别改。

前提条件

先确认数据里有没有自车信号(CAN、IMU、GPS)。如果只有视频,第一层就要改成从视频估计自车运动和车道线。

自动驾驶中适合 Agent 的环节

按前面的条件判断,自动驾驶的数据侧和模型侧有下面这些环节适合交给 Agent。

数据侧

  1. 场景与行为挖掘。 最成熟的落点,设计见上一节。
  2. 标注质检。 以模型预测与标注的分歧为信号,找出标错、漏标与前后帧不一致。
  3. 失败驱动的数据回流。 分析错例,生成挖掘条件,检索相似样本并补入训练集。这是数据闭环中价值最高的环节。
  4. 分布与覆盖分析。 按天气、时段、道路类型统计,找出稀缺的分桶。
  5. 数据管线排障。 时间戳错位、标定漂移、丢帧、格式异常。
  6. 仿真场景生成。 依据真实难例生成参数化变体。

模型侧

  1. 错例分析与分桶评测。 训练完成后自动生成报告,节省人力最多。
  2. 提示词与推理链优化。 在固定评测集上迭代 VLM 的判读提示词。
  3. 实验自动化。 小规模的超参数、数据增强策略、损失权重搜索,前提是有可靠的代理指标。
  4. 部署与推理优化。 量化掉点定位、算子回退排查、时延调优。
  5. 回归定位。 指标下降时做二分查找,定位到具体的数据或代码变更。

我们建议按这个顺序投入:错例分析报告、失败驱动的数据回流、部署优化。前两项可以和挖掘框架共用一套 Harness。

自动驾驶相关的 GitHub 项目

项目类别 · 用途说明
CainanD/RefAV场景挖掘 · 最相关CVPR 2026 Oral,Argoverse 2 场景挖掘数据集与基线(论文 2505.20981)。大模型调用人工编写的原子函数(如“转弯”“前方有物体”),组合出场景定义的代码。论文发现直接使用现成 VLM 的效果较差。2026 年挑战赛的全部场景描述均提供正、负样本
ailab-hanyang/HYU_OASIS场景挖掘 · 基于 RefAV2026 年挑战赛时空赛道第一名(64 支队伍)。由三个 Claude Agent 逐步缩小函数搜索空间,并总结了失败原因,例如感知轨迹噪声会抬高行为类误报
voxel51/fiftyone标注质检与数据整理用模型预测估计标注出错的可能性。新版本提供 Agent 生态,通过 MCP 工具与技能使 AI 助手直接操作数据集
javyduck/ChatScene仿真场景生成根据文字指令生成安全关键场景,在 CARLA 中运行
yifanlu0227/ChatSim仿真场景生成多 Agent 协作的可编辑驾驶场景仿真
Thinklab-SJTU/Awesome-LLM4AD、TUM-AVS/FM-AD-Survey索引大模型与基础模型在自动驾驶中的资源列表

错例分析报告、失败驱动的数据回流、部署优化与回归定位这四个环节,我们目前没找到成熟的自动驾驶专用开源项目,建议按 autoresearch 的结构自己搭。

后续工作

  1. 阅读 karpathy/autoresearch,采用其三文件结构。
  2. 阅读 RefAV 的原子函数设计与 HYU_OASIS 的失败分析。
  3. 建立金标集,每类数百条,含难负例。
  4. 实现三个工具:运行规则、计算分桶指标、提取错例。
  5. 确认数据中是否有自车信号,决定第一层的做法。

参考文献

  1. P. Barbaste, T. Darrigol, G. Vu, and T. Wiltberger, “Harness engineering: Anatomy, architecture, and evolution of coding agents—A source-code study of eleven systems,” 2026, arXiv: 2609.00006.