Agent 与 Harness:框架、原理及其在驾驶行为挖掘中的应用
Agent 指模型与 Harness(模型之外的运行框架,包括工具、记忆、权限与验证)的组合;Agentic 指模型自主决定下一步行动的工作方式。二者的基本概念见《Agentic 与 Harness:核心概念和学习资源》。这篇先讲二者的分工、闭环的设计原则、Harness 的组成和适用条件,再以驾驶行为(左转、右转、路口转弯、变道)的挖掘为例,看这些原则怎样落到具体项目里。
核心概念与分工
- Harness 的核心是可信的反馈,Agentic 的核心是依据反馈自主决定下一步。
- 闭环的质量取决于反馈信号,而不取决于 Agent 本身:Harness 决定闭环的上限,Agent 决定逼近上限的速度。
- 设计和投入的顺序是:金标集与验证器,其次是工具,再次是中间件(限制、压缩、卡死检测)与长期记忆,最后是提示词与策略。
| 方面 | 要求 | 具体做法 |
|---|---|---|
| Harness:判据独立 | 评分环境独立可信 | 金标集与验证器固定,Agent 不能修改,也不能自行打分 |
| Harness:结果可比 | 每轮可横向比较 | 每轮在同一批数据上运行,输出同样的指标 |
| Harness:过程可回放 | 退步时可回滚 | 规则、提示词、指标、错例全部留痕 |
| Agentic:错例驱动 | 自主迭代 | 查看错例,归纳失败模式,提出修改假设,自行修改、运行并依据指标决定保留或丢弃,再判断下一步攻克的问题或是否已经收敛 |
闭环的通用设计
- 先定义“完成”的判据。 每个目标需要可自动打分的验证器。没有独立的验证器时,Agent 等于自己给自己打分,闭环不成立。
- 循环保持简单。 每轮依次为:提出假设或查询,调用工具检索,验证,反思并调整策略,写入记录。每轮必须得到数值反馈,例如命中率、新颖度、单位成本。
- Agent 不该管的事交给 Harness。
- 工具分为粗细两级:粗筛用 embedding 检索、元数据与规则,精筛才用代价更高的模型。
- 外部状态(已完成的内容、有效的查询、失败原因)保存在文件或数据库中,不依赖上下文记忆。
- 预算与停止条件:每轮设算力上限,连续若干轮没有新增时换方向或停止。
- 完整日志,使每一轮可回放、可对比。
- 上下文中只保留摘要。 原始数据留在外部,Agent 只读取统计结果与少量样例。
- 设置去重与新颖度约束。 否则 Agent 会反复处理同一类容易命中的样本。
- 沉淀成果。 有效策略固化为规则或技能,样本回流到训练集与评测集。
Harness 的组成与设计要点
这一节依据 Barbaste 等人的论文 Harness Engineering: Anatomy, Architecture, and Evolution of Coding Agents(2026-07)[1]。这篇论文研究的是编码 Agent,没有做性能排名;下面针对其他任务的建议是我们的推论,不是论文的结论。
论文中的主要事实
- Agent 等于模型加 Harness。Harness 包含七个子系统:循环、模型接入、工具、记忆与上下文、安全与权限、编排、扩展。
- 约一百行的 Mini-SWE-Agent 实现了全部七个子系统,成绩与规模大三个数量级的系统处于同一区间。循环的复杂度不能预测效果。
- 十一个系统都没有使用通用 Agent 框架,也都没有用向量检索查找代码,而是采用手写循环与确定性检索。
- 论文引用的消融实验表明:提升来自工具、中间件与长期记忆,仅靠系统提示词不够。
- 三个月的源码对比显示,行为策略正从提示词文字迁移到配置。
- 出现了“外层验证循环”:结束时由独立的检查否决或放行;外层循环由触发、拓扑、验证器、停止规则组成。
- 成熟系统都有卡死检测与预算限制,连最小的系统也加入了时间上限与连续格式错误上限。
七个子系统的设计要点
| 子系统 | 要点 |
|---|---|
| 循环 | 采用最简单的线性循环,并加入卡死检测:重复动作、连续报错、指标连续多轮不变 |
| 模型接入 | Agent 的模型与被调用的专用模型(如视觉语言模型 VLM)分开,后者只是被调用的工具,而非 Agent 本身。提示词纳入版本管理 |
| 工具 | 少而精。只读工具可并行,写入的工具串行。返回摘要而非原始数据 |
| 记忆与上下文 | 设阈值触发压缩。长期记忆写成文件:失败模式、有效规则、已验证无效的方向 |
| 安全与权限 | 设轮数、费用、时间三个上限。权限写入配置,不写入提示词 |
| 编排 | 先用单 Agent。仅在按场景分桶并行分析错例时才启用子 Agent,此时成本会明显上升 |
| 扩展 | 每类任务的流程写成一个技能文件。运行前后用钩子执行固定检查,例如在金标集上回归 |
注意:论文关于“不用向量检索”的结论针对代码检索,视频或图像场景检索不一定适用,需要在实际数据上验证。 验证之前,粗筛优先用元数据和信号上的结构化查询,只在规则表达不了的语义场景里再引入向量检索。
适合 Agent 的任务条件
适合交给 Agent 的任务要满足八个条件:
- 有可自动计算的指标。
- 单次迭代成本低。
- 搜索空间开放。
- 离线且可回滚。
- 工作对象是可读写的工件。 Agent 操作的应是规则文件、配置、查询、提示词这类文本工件,并通过确定性工具读写,而不是直接处理原始视频。
- 验证与停止独立于 Agent。 “完成”不能由 Agent 自行宣布,需要外层验证循环放行或打回。
- 边界由机制强制,而非依靠提示词。 金标集只读、数据池只读、不能触及发布与车端,这些通过文件权限与沙箱实现,并写入配置。
- 全程事件留痕。 每次工具调用与结果都落盘,支持回放与从某一步分叉重跑。
下面这些任务不适合交给 Agent:
- 车端实时决策
- 安全验收的最终判定与金标定义
- 反馈周期长的环节,例如一次训练需要数天的大模型
- 指标本身无法清晰定义的问题,例如“驾驶是否舒适自然”
通用的 Agent 闭环范例
| 项目 | 对应的部分 | 要点 |
|---|---|---|
| karpathy/autoresearch | 整体结构,最值得借鉴 | 三个文件分工:评估与数据准备脚本固定不改(prepare.py),Agent 只修改一个文件(train.py),指令文档由人迭代(program.md) |
| az9713/autoresearch-prompt-optimization | 提示词优化 | 将 autoresearch 框架用于提示词优化:Agent 针对固定评估集迭代提示词,由 git 自动保留或丢弃 |
| codelion/openevolve | 规则与程序演化 | AlphaEvolve 的开源实现:初始程序加评估器脚本,级联评估,先便宜后昂贵 |
| SWE-agent/mini-swe-agent | Agent 循环本身 | Agent 类约一百行 Python,每个动作独立执行,便于沙箱与并行 |
套用到自己的任务时,评估脚本和金标集固定,待优化的文件交给 Agent 改,说明文档由人改,再把“训练五分钟看验证损失”换成目标任务的指标。不需要引入大型框架。
驾驶行为挖掘的设计
我们的目标是从驾驶日志里挖出左转、右转、路口左右转和变道等行为。这些行为大多能用运动学定义,所以 Agent 该改的是挖掘程序(规则、阈值、提示词),而不是一段段看视频、逐段判断;视频模型只处理规则判定不了的边界情况。这对应前面的第 5 个条件。
三层结构
| 层 | 目标 | 做法 |
|---|---|---|
| 候选生成 | 高召回 | 用自车信号编写运动学规则 |
| 精判 | 高精度 | 仅将候选送入 VLM,回答规则无法回答的问题 |
| 人工抽检 | 校准 | 每轮抽取少量样本,校准前两层 |
候选生成的规则可以这样写:
- 转弯:航向角累计变化 当 超过约 时记为候选。
- 变道:横向位移约为一个车道宽度(约 且前后航向基本不变,即
这些阈值只是经验初值,需要在金标集上标定。
VLM 精判需要回答两个问题:
- 车辆是否位于路口内。
- 该行为是变道,还是避让、汇入或沿弯道行驶。
闭环流程
- 准备固定的金标集,每类数百条,且必须包含难负例。
- Agent 每轮执行四步:运行规则,查看错例并聚类,修改规则、阈值或提示词,在金标集上回归。
- 只有精度和召回都不下降时才合入修改;规则和提示词全部纳入版本管理。
- 指标按场景分桶统计(夜间、雨天、弯道、匝道、环岛),因为整体数字会掩盖局部问题。
重点难负例
- 沿弯道行驶被误判为转弯
- 掉头与左转混淆
- 路口内的偏移、避让、汇入被误判为变道
- 连续变道被合并为一次或漏掉一次
- 环岛
Harness 提供的三个工具
- 运行挖掘规则
- 计算分桶指标
- 提取错例样本
Agent 只调用这三个工具,拿到的是统计结果和少量样例。工具本身是确定性代码,不需要智能。金标集和评分脚本靠只读权限固定,而不是在提示词里要求 Agent 别改。
前提条件
先确认数据里有没有自车信号(CAN、IMU、GPS)。如果只有视频,第一层就要改成从视频估计自车运动和车道线。
自动驾驶中适合 Agent 的环节
按前面的条件判断,自动驾驶的数据侧和模型侧有下面这些环节适合交给 Agent。
数据侧
- 场景与行为挖掘。 最成熟的落点,设计见上一节。
- 标注质检。 以模型预测与标注的分歧为信号,找出标错、漏标与前后帧不一致。
- 失败驱动的数据回流。 分析错例,生成挖掘条件,检索相似样本并补入训练集。这是数据闭环中价值最高的环节。
- 分布与覆盖分析。 按天气、时段、道路类型统计,找出稀缺的分桶。
- 数据管线排障。 时间戳错位、标定漂移、丢帧、格式异常。
- 仿真场景生成。 依据真实难例生成参数化变体。
模型侧
- 错例分析与分桶评测。 训练完成后自动生成报告,节省人力最多。
- 提示词与推理链优化。 在固定评测集上迭代 VLM 的判读提示词。
- 实验自动化。 小规模的超参数、数据增强策略、损失权重搜索,前提是有可靠的代理指标。
- 部署与推理优化。 量化掉点定位、算子回退排查、时延调优。
- 回归定位。 指标下降时做二分查找,定位到具体的数据或代码变更。
我们建议按这个顺序投入:错例分析报告、失败驱动的数据回流、部署优化。前两项可以和挖掘框架共用一套 Harness。
自动驾驶相关的 GitHub 项目
| 项目 | 类别 · 用途 | 说明 |
|---|---|---|
| CainanD/RefAV | 场景挖掘 · 最相关 | CVPR 2026 Oral,Argoverse 2 场景挖掘数据集与基线(论文 2505.20981)。大模型调用人工编写的原子函数(如“转弯”“前方有物体”),组合出场景定义的代码。论文发现直接使用现成 VLM 的效果较差。2026 年挑战赛的全部场景描述均提供正、负样本 |
| ailab-hanyang/HYU_OASIS | 场景挖掘 · 基于 RefAV | 2026 年挑战赛时空赛道第一名(64 支队伍)。由三个 Claude Agent 逐步缩小函数搜索空间,并总结了失败原因,例如感知轨迹噪声会抬高行为类误报 |
| voxel51/fiftyone | 标注质检与数据整理 | 用模型预测估计标注出错的可能性。新版本提供 Agent 生态,通过 MCP 工具与技能使 AI 助手直接操作数据集 |
| javyduck/ChatScene | 仿真场景生成 | 根据文字指令生成安全关键场景,在 CARLA 中运行 |
| yifanlu0227/ChatSim | 仿真场景生成 | 多 Agent 协作的可编辑驾驶场景仿真 |
| Thinklab-SJTU/Awesome-LLM4AD、TUM-AVS/FM-AD-Survey | 索引 | 大模型与基础模型在自动驾驶中的资源列表 |
错例分析报告、失败驱动的数据回流、部署优化与回归定位这四个环节,我们目前没找到成熟的自动驾驶专用开源项目,建议按 autoresearch 的结构自己搭。
后续工作
- 阅读 karpathy/autoresearch,采用其三文件结构。
- 阅读 RefAV 的原子函数设计与 HYU_OASIS 的失败分析。
- 建立金标集,每类数百条,含难负例。
- 实现三个工具:运行规则、计算分桶指标、提取错例。
- 确认数据中是否有自车信号,决定第一层的做法。
参考文献
- P. Barbaste, T. Darrigol, G. Vu, and T. Wiltberger, “Harness engineering: Anatomy, architecture, and evolution of coding agents—A source-code study of eleven systems,” 2026, arXiv: 2609.00006.