Auriga：面向零样本具身操作的任务无关智能体执行框架 Auriga Technical Report: A Task-Agnostic Agent Harness for Zero-Shot Embodied Manipulation
任务无关的智能体框架用预览-验证闭环弥合机器人操作的规划-执行鸿沟
前置知识
智能体框架（Agent Harness）
连接大模型与机器人的中间件：把模型意图翻译成具体运动、提供测量与观测工具、监控执行并在异常时停机，但自身不做任务决策。它决定了模型『看到什么』和『能做什么』，是模型能力与物理世界之间的接口层，其设计边界直接影响系统的可靠性与泛化性。
本文的贡献 Auriga 就是一个 harness。理解『框架只负责测量与验证、模型负责一切任务决策』的职责划分，是读懂其系统设计、三条设计规则和全部消融实验的前提。
VLA 与 WAM 策略
视觉-语言-动作（VLA）模型与世界动作模型（WAM）是端到端学习的机器人策略：前者从图像和指令直接映射动作序列，后者还建模未来观测以融入预测信号。它们可单独部署，也可由符号智能体调用，构成『Agent + 策略』混合系统。
RoboDojo 排行榜八强多为这类方法，RoboCasa365 基线把接触密集阶段交给 VLA 策略 RLDX-1 执行；理解它们与工具调用型 agent 的本质差异，才能看懂两组对比实验的设计意图。
零样本单次执行协议
一种严格评测协议，含三个条件：目标任务的任何布局上都不许预先探索或调试、评测时不给演示样例、每个案例只执行一次不许 reset 重跑，失败只能在当前物理状态下继续恢复。它衡量系统对未见任务的一次通过能力。
这是 Auriga 与 HexaShell、EmbodiedEvo、SEAR 等跨试次优化方法的本质分界线（Tab. 1 逐项对比），论文所有主结果都在该协议下取得，混用协议会导致错误解读数字。
任务信念与证据记录
任务信念 $B_t$ 是模型维护的紧凑可修订工作状态：当前计划、关注点清单、以及带 pending/supported/contradicted/unknown 四种状态的关键前提台账；证据记录 $E_t$ 是存于上下文之外的完整交互日志（请求、回执、观测），按需检索而非全部塞进上下文。
Auriga 的所有决策都以 $u_t \sim \pi_\theta(\cdot \mid g, B_t, E_t)$ 为条件。这对结构是解决长时程任务中上下文压缩后状态丢失、把『已发命令』误当『已验证结果』的关键机制。
末端执行器控制与阶段容差
传统机器人接口以腕部法兰位姿为运动目标；Auriga 改为以手指接触区域（指尖/指腹中心）为参考表达目标，并要求每个运动阶段声明到达容差 $\tau_k = (\delta_p, \delta_\theta)$（默认 10 mm、0.15 rad），执行中偏差 $\epsilon_k$ 越界即停机回报。
手指参考目标、阶段容差与双臂共享时间线是论文动作接口的三大机制，专属消融表 Tab. 7 和 Tab. 9 都围绕它们展开，不看懂这些符号就无法理解执行验证回路。
研究动机
现有视觉语言模型做机器人操作时，瓶颈不在任务理解而在物理执行。作者在 RoboDojo 基准全部 42 个任务上做了 210 集诊断实验（每任务 5 集）：同一个 GPT-6 Astra 模型，若改用一个特权动作——绕开机械臂、直接把物体沿模型选定的路径点移动，五维平均成功率达 76.2%；而通过基准配套的参考末端执行器接口 RoboProbe 驱动真实手臂时仅 22.5%。模型通常能选对物体和目标位置，但手臂会差几毫米抓空、运输途中掉落物体、或撞到容器边沿。现有两类范式都无法及时捕获这些错误：逐步/分块动作接口（参考框架与 VLA 策略）每步只从最新帧出发提交一条运动，从不提前看到整条轨迹，等模型读到下一帧发现碰撞时手臂已经动了；代码即策略范式把执行判断交给一个看不见场景的脚本，程序正常退出（exit 0）不代表预期的接触真的发生。而依赖重复试跑调参的方案又会过拟合单一布局，场景随机化后性能大跌。
本文的目标是本文目标是构建任务无关的智能体框架 Auriga，在零样本单次执行协议下弥合上述规划-执行鸿沟：无目标任务的预先探索或调试、无演示样例、每个案例只执行一次不许 reset 重跑，失败只能在当前物理状态下原地恢复。设计遵循三条硬约束：(1) 框架内不含任何任务特定代码、提示词或启发式，同一套配置跑全部 42 个任务与随机化布局；(2) 不暴露特权模拟器状态（隐藏物体位姿、模拟器深度、接触状态），只提供校准 RGB、机器人测量状态和公开的相机标定；(3) 框架只负责测量、检查与执行，所有任务决策与恢复策略由模型做出。作者以 13 轮跨任务能力迭代开发该框架（RoboDojo Score 从 21.5 升至 64.0），开发完成后冻结版本参加评测，量化目标可表述为把 22.5% 的参考接口成功率向 76.2% 的免臂上界推进。
与已有工作不同的是，独特切入在于重新划分『改进发生在哪个时间尺度』。已有递归自我改进方法（HexaShell、EmbodiedEvo、SEAR 等）属于 L0-L2 的任务内试错：在目标任务上反复 reset 调坐标偏移、脚本或失败笔记，提升局限于练过的布局，随机化后最多掉 33.9 个百分点 SR。Auriga 专注 L3-L5 的跨任务工具演化：开发期把插销卡住、布料抓滑这类失败诊断为 3D 定位、接触检查、手持状态追踪等共享能力的缺失，升级通用工具而非给单个场景打补丁；评测期框架完全冻结、零目标任务试验。另一差异化设计是单一准入网关 $\mathcal{A}$：无论动作来自直接工具调用还是模型写的 Python 程序，物理执行都走同一条预览-执行-验证路径，把代码即策略范式的执行风险重新收回到模型审查之下。同时以显式任务信念 $B_t$ 加上下文外的证据记录 $E_t$ 解决长时程状态追踪，而不依赖跨集记忆迁移。
核心方法
直觉上，Auriga 把『想』和『做』彻底分开，让每一次『做』在发生前可见、发生中被检查、发生后可追溯。模型（Cortex，覆盖整个 episode 的持久会话）负责全部任务决策；框架分为能力层（校准 3D 测量与动作工具）和准入网关 $\mathcal{A}$——通往机器人的唯一入口。决策形式化为 $u_t \sim \pi_\theta(\cdot \mid g, B_t, E_t)$，$g$ 为任务描述，$B_t$ 为任务信念，$E_t$ 为证据记录。深思型调用（观测、测量、预览）在模拟暂停时进行，世界不变 $s_{t+1} = s_t$；物理调用必须过网关 $(s_{t+1}, r_t, o_{t+1}) = \mathcal{A}(s_t, u_t)$。网关运行预览-执行-验证循环：先把多阶段双臂动作序列规划成完整轨迹，将路径、耗时和间隙警告渲染到相机图像上供模型审查；确认后逐字重放，执行中逐阶段测量偏差 $\epsilon_k = x_k - \hat{x}_k$，越出模型声明的容差 $\tau_k = (\delta_p, \delta_\theta)$（默认 10 mm、0.15 rad）即停机，返回记录已完成阶段、测量偏差、未执行阶段和停止点新视图的回执 $r_t$，模型据此原地恢复而不重置。
核心创新是用两条保证把执行判断权留在模型手里，本质区别于『先动后知』的逐步接口和『判断埋进脚本』的代码即策略。保证一（预览）：到达机器人的运动就是编译进预览的运动——每个物理请求先在暂停的世界里编译成完整轨迹预览，模型审查后不再重规划、逐字重放；自由空间中机器人紧贴预览轨迹，因此执行偏差几乎必然意味着发生了规划器未建模的接触。保证二（验证）：每次偏离超过容差都在当步运动结束时被捕获，回执报告失败的运动、偏差大小和未执行部分，并附停止点的新相机视图；模型可继续剩余阶段、从停止阶段重规划或更换接触/路径/目标/手臂/容差。由此『动作已发出』与『动作已成功』被解耦为可分别观测的事实——消融中代码即策略变体的程序发出 120 次物理动作后仍以 exit code 0 退出，而完整版每个动作都有回执。再配合任务信念 $B_t$（计划、关注点、带 pending/supported/contradicted/unknown 状态的前提台账）与按需检索的证据记录 $E_t$，模型不会把已发出的命令误认为已验证的结果，这是长时程 Memory 维度拿到 93.40 分的关键。
方法步骤详情
流程是 Fig. 5 的三层嵌套循环。第 1 步决策：模型依 $u_t \sim \pi_\theta(\cdot \mid g, B_t, E_t)$ 选工具调用。第 2 步深思（世界暂停）：robot_observe 取多相机 RGB 与机器人状态；geometry_query/stereo_guide 用标定把像素放到射线 $d = RK^{-1}(u,v,1)^\top$ 上，结合 VGGT-Omega 深度（按已知桌面高度缩放）与 SAM 3.1 分割给出物体 3D 位置/朝向/尺寸及可靠性；精细定位用射线-平面求交 $p = c + \frac{h - n^\top c}{n^\top d}\, d$ 或双视三角测量；另可检索历史、更新信念。第 3 步行动：模型提交完整多阶段双臂序列——目标以手指接触区为参考、每阶段声明容差与夹爪开度界限、双臂共享时间线可声明等待、近接触减速——或提交会发出此类请求的 Python 程序；两条路都汇入网关：预览→审查（可跳过）→逐字重放→逐阶段检查容差、夹爪开度与模型放置的检查点，越界即停。第 4 步评估（动作环）：模型对比回执与意图，先陈述原因假设，再选择继续剩余阶段、从停止处重规划或更换接触/路径/目标/手臂/容差，尽量让正常推进检验假设。第 5 步修订（信念环）：更新前提状态，必要时改计划；前提被反复反驳时更换机制（如顶抓改沿把手抓）。循环至评估器终止或预算耗尽。
技术新颖性
技术新颖性有五点。其一，把规划-执行鸿沟量化成可优化指标（免臂上界 76.2% 对参考接口 22.5%），全文改进都以此锚定，Auriga 弥合其中 68.3%（Score 维 70.6%）。其二，单一准入网关统一了直接调用与生成程序的执行路径：消融显示『程序只能算不能动』19/30、『代码即策略』（无预览无回执）20/30 且程序失败后照常正常退出，完整版 30/30、Score 100.0——证明关键不在程序本身，而在程序的动作也要过预览和回执。其三，手指参考目标与共享双臂时间线让模型用任务语言表达意图：换回腕部法兰目标每集多 3.42 个不可规划阶段，一次只动一只手臂每集多 1.14 个。其四，开发方法论上用 13 轮跨任务迭代升级共享工具（#2 运动预览 26.2 → #4 重构 45.5 → #9 阶段容差 53.4 → #12 VGGT-Omega/SAM 3.1 感知 64.0），评测期完全冻结，与评测期仍需试错的 HexaShell/EmbodiedEvo 形成方法论对照。其五，检查点由模型按需放置而非固定暂停——默认每个夹爪动作后都暂停反而打碎长任务（37/50 对 42/50），说明执行监控粒度本身是重要设计自由度。
实验结果
RoboDojo 主榜：Auriga（GPT-6 Astra，high effort）平均 Score 64.00、SR 57.74%（6300 集），总榜第一，超过最佳 Agent+WAM 组合 GO-3 Nano Preview（61.90/56.42%），并在 agent 块全部 12 列领先；同模型参考框架 RoboProbe 仅 28.97/22.48%。分维：Generalization 52.90/48.89%、Precision 46.30/38.50%、Long-Horizon 62.10/45.24%、Memory 93.40/92.99%、Open 65.40/63.08%；Precision/Long-Horizon 落后 GO-3（78.65、68.21），Memory 的 SR 领先次名 11.99pp。逐任务对 PyRUA-Lean 24 胜 17 负、对 RoboProbe 41 胜 1 负。鸿沟诊断：210 集上免臂上界 76.2%、RoboProbe 22.5%、Auriga 59.2%，弥合 68.3%（Score 维 70.6%）。随机化：标准 52.28% SR、随机 45.61%（-6.7pp，相对 -13%），$G = 46.27$ 全场最高；学习类策略 VPP2 掉 33.9pp、GO-3 掉 18.7pp（相对 -43%）。RoboCasa365：250 集 Overall 73.2%（Atomic-Seen 92.2%、Composite-Seen 67.5%、Composite-Unseen 57.5%、复合合计 62.5%），Overall 超 RPent 14.0pp，复合任务超 RPent/PyRUA-Lean 19.4/23.1pp，且无 VLA、无跨集记忆；67 个失败集 23 个因预算耗尽、44 个因模型自行停止。效率：每集 47.5 次调用、5.63M tokens（85.4% 缓存）、18.8 分钟；swap_T 对照中每集仅 3.1 次物理执行批次（每批 107.3 步），比 RoboProbe 的 33.4 次少 90.6%。工具使用：每集 38 次直接调用，Act 45%/Measure 24%/Compute 17%/Recall 15%，44% 的 robot_action 调用是纯预览，开场 5% 进度内 Measure 占 87%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboDojo 全 42 任务五维平均（6300 集） | Score (0-100) / SR (%) | 64.00 / 57.74% | 参考框架 RoboProbe（同模型，medium effort）28.97 / 22.48%；最佳对手 GO-3 Nano Preview 61.90 / 56.42% | 较 RoboProbe Score +35.03、SR +35.26pp；超最佳对手 +2.10 Score；agent 块 12 列全部第一 |
| 规划-执行鸿沟诊断（210 集，42 任务） | SR (%) | 59.2%（Score 64.6） | 免臂特权动作上界 76.2%（79.6）；RoboProbe 22.5%（28.5） | 弥合鸿沟的 68.3%（Score 维 70.6%） |
| RoboDojo 场景随机化（12 个 Generalization 任务） | 综合泛化分 G 与 SR 降幅 | G = 46.27（标准 52.28% SR / 随机 45.61% SR，-6.7pp） | PyRUA-Lean G = 43.87；VPP2 随机化掉 33.9pp、GO-3 Nano Preview 掉 18.7pp（相对 -43%） | G 全场第一（+2.4），且随机化下仍保持全场最高 SR |
| RoboCasa365 Target50 移动操作（250 集，未见厨房） | Overall SR (%) | 73.2%（Atomic-Seen 92.2、Composite-Seen 67.5、Composite-Unseen 57.5） | RPent（Agent+VLA）59.2%、PyRUA-Lean（Agent+VLA）56.4%、RLDX-1 30.0% | Overall +14.0pp；复合任务较 RPent/PyRUA-Lean +19.4/+23.1pp，且无 VLA、无跨集记忆 |
| swap_T 匹配场景细粒度对比（15 个标准场景） | SR (%) 与执行粒度 | 93.3%（14/15），每集 3.1 次物理执行批次、每批 107.3 原生步 | RoboProbe 20.0%（3/15），每集 33.4 批、每批 10.9 步 | SR +73.3pp，物理执行调用次数减少 90.6%，模型调用反而更少（25.4 对 36.6） |
局限与改进
作者承认的局限：Precision（38.5% SR）与 Long-Horizon（45.24% SR）仍落后 GO-3 Nano Preview（76.0%、53.5%），纯 VLM 决策在亚厘米级精细任务上不如专用世界模型组合；失败模式上，多体耦合的恢复会扰动已组装结构——stack_bowls 中扶正第三只碗把整摞碗带翻，800 步预算耗尽仅得 15 分；HeatKebabSandwich 中面包掉进烤炉丝网架下方，抽薄架轨反复打滑耗尽 100 次请求。我自己的观察：其一，每集 18.8 分钟、5.63M tokens、47.5 次调用的成本显著高于对手（PyRUA-Lean 12.7 分钟、25.7 次），准实时场景不可用；其二，所有结果绑定 GPT-6 Astra 一个前沿模型，RoboProbe 基线还是 medium reasoning effort，框架价值与模型空间推理能力的耦合程度未单独消融；其三，『暂停世界再预览』依赖仿真器能力，真实机器人的世界不会暂停；其四，59.2% 对上界 76.2% 说明仍有约 17 个百分点的鸿沟未弥合，剩余部分集中在需要精确力控的接触阶段；其五，容差 $\tau_k$ 由模型手工设定，设定不当会过严停机或过松漏检。
独立分析的弱点
独立分析的弱点：其一，3D 定位链路（VGGT-Omega 深度 + SAM 3.1 分割 + 桌面高度对齐）对反光、透明、细长物体和密集堆叠场景脆弱，射线-平面求交的平面假设 $n^\top p = h$ 在非平面支撑面上失效，改进方向是主动视点选择、多帧融合与不确定性加权的三角测量。其二，恢复动作本身可能破坏多体耦合结构（碗摞、丝网架），框架只能检测偏差而不能预测接触后果，可在预览阶段加入轻量前向物理预测或接触点估计，并把『支撑结构完整性』纳入前提台账自动监视。其三，成本与延迟：每集 47.5 次深思调用、18.8 分钟，可按风险分级审查预览、更激进地缓存提示前缀、用小模型预处理观测，把调用数压下来。其四，模型依赖单一：应在开源或更小模型上复测，量化各机制（预览、容差、回执）对不同能力水平模型的收益曲线，判断框架是否是对弱模型的更大补偿。其五，RoboCasa365 上 44/67 个失败源于模型连续数轮自行停止行动，需要预算感知的终止准则与更底层的『继续尝试』兜底机制。其六，成功判据完全依赖基准评估器的精确谓词，真实部署缺乏这种判定，需要自监督的成功检验工具。
未来方向
作者明确提出的方向有三个：连续力敏感操作（当前框架基于位置容差 $\tau_k$，无力觉闭环）、降低深思延迟（18.8 分钟/集距离实用尚远）、自动化跨任务工具合成（把 13 轮人工迭代变成自动的 L3-L5 工具演化）。基于成果可延伸的方向：把准入网关与底层 VLA/WAM 策略结合——GO-3 Nano Preview 在 Precision 上的优势（78.65 对 46.30）与 Auriga 在 Memory/Generalization 的优势高度互补，混合架构可兼得两者；将暂停世界预览替换为基于世界模型的预测式预览以走向真实机器人；从容差相关失败统计中自动整定 $\tau_k$ 与检查点位置；针对多体耦合场景建立结构感知的恢复策略；Composite-Unseen 57.5% 的剩余空间指向更长任务链与更开放指令；以及把证据记录 $E_t$ 与操作教训在符合协议的前提下跨任务复用，减少每个新任务的冷启动成本。
复现评估
复现评估：技术报告附 Project Page 与 GitHub 链接，VGGT-Omega、SAM 3.1、Isaac Sim、RoboDojo、RoboCasa365 均为公开资源；评测协议写得非常细（三种子 × 42 任务 × 每任务 50 案例 = 6300 集；RoboCasa365 为 50 任务 × 5 种子 = 250 集；首评计分、基础设施故障同配置重跑），默认容差 10 mm / 0.15 rad、每集上限 170 次模型响应、单动作上限 250 原生步等实现细节齐全，消融表还给出每机制的专属诊断统计（停机次数、不可规划阶段数、未审查运动数），可复现性设计良好。主要门槛是推理成本：无训练、纯推理，但每集 5.63M 输入 tokens、18.8 分钟，且依赖 GPT-6 Astra 级前沿模型，复现完整 6300 集排行榜约需 35B+ tokens 的 API 预算；小规模复现（单任务 50 案例消融或 swap_T 15 场景）成本可控。工程复杂度高（双臂控制、多相机标定、预览渲染、仿真器集成），适合有机器人仿真经验的团队。综合：协议可复现性强，难度中高，推理费用是最大障碍。
论文图表
以一个 episode 的六格时间线演示零样本协议：模型通过多视三角测量 + 深度 + 点云定位（视差 31°、重投影 0.7 px），预览 45 步计划（0 步已执行），抓空被夹爪开度护栏捕获（0 mm < 8 mm），原地修正后重新抓取，推进方块并检查，最终成功（158/200 原生步），全程同一场景、永不重置。右侧面板标注零样本协议三条件：无目标任务探索、无演示、每案例一次执行。
一图看懂零样本单次执行协议的含义，以及『预览—捕获失败—原地恢复』闭环在实际任务中的逐步运转，是全文问题定义的导览图。
两类预算耗尽失败案例（附逐步预算核算）：(a) stack_bowls 中模型恢复初始滑落后组成双碗堆（用 242 步剩 558 步），放置第三只碗后倾斜，第 440 步试图扶正时把整摞碗一起带起、滑落翻滚到一侧，后续支撑推动屡次再滚，800 步原生预算耗尽（Score 15/100）；(b) HeatKebabSandwich 中面包接触炉口滑落进烤炉丝网架下方（请求 41），必须抽出薄架轨才能暴露面包，架轨在请求 63–86 间反复打滑，100 请求预算耗尽前未能把面包放上烤架。
明确框架的能力边界：阶段验证与信念更新能可靠发现偏差，但恢复动作本身扰动耦合多体结构或引入次级障碍时，局部运动完成不等于全局任务进展。诚实的失败分析对评估方法边界至关重要。