系统评估 GPT-6 Astra 作为具身策略的能力边界 Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies
六域评测显示 Astra 善决策而弱控制：导航领先、混合操作强，直接灵巧控制与步态生成不可靠
前置知识
VLA 模型（视觉-语言-动作模型）
VLA 模型将摄像头图像、本体感知状态和自然语言指令直接映射为机器人动作序列，通过在大规模机器人演示数据上训练获得通用操作能力。本文中的 $\pi_{0.5}$ 是代表：输入观测后输出 50 步 $\times$ 14 维的关节空间动作序列，在 RoboDojo 上有任务微调版本，在 RoboLab 上用 DROID 预训练权重做零样本迁移。
本文 Hybrid 模式的核心就是让 Astra 审查 VLA 模型的动作提议，理解 VLA 的工作方式才能理解'谁生成动作、谁纠正动作'这一分工。
Direct 与 Hybrid 两种控制模式
Direct 指由 Astra 直接生成机器人命令（末端位姿、关节目标、导航原语等），经逆运动学（IK）或 PD 控制等解析方法执行；Hybrid 指学习策略或冻结的全身控制器参与执行，Astra 只接受策略提议的前缀、做局部数值纠正，或向控制器提供速度命令与运动参考。
这是全文的核心自变量：所有六个域的实验都在对比这两条控制路径，论文的能力结论（决策强、控制弱）正是从 Direct 与 Hybrid 的成绩差异中提炼出来的。
全身控制器（Whole-body Controller）
冻结的神经网络策略，把高层命令（如前进/侧移速度、偏航率、骨盆高度、手腕偏移或稀疏五点参考）转成人形机器人 29 个关节的协调运动，以 50Hz 运行在 500Hz 物理仿真之上。本文用 Humanoid-GPT 和 ScaleBFM 两个预训练控制器，权重全程不动。
人形实验的结论'Astra 会选命令但不该自己造运动'完全建立在全身控制器之上，不理解这一层就无法区分模型决策与控制器能力的贡献。
SPL（按路径长度加权的成功率）
Success weighted by Path Length：导航成功时按实际路径与最短路径之比对 1 折减，失败记 0。它能在成功的前提下惩罚绕路。本文中 Astra 在 HM3D ObjectNav 上成功率高达 82% 但 SPL 仅 43.69%，说明搜索过程存在大量无效绕行。
论文用 SR 与 SPL 的差距揭示'单看成功率会掩盖搜索低效'，这是导航章节最重要的分析手法，也是评测 LLM 导航策略的关键指标设计。
稠密运动参考与跟踪器
运动控制实验中，Astra 每次生成 0.5 秒、50Hz 的 25$\times$65 场景对齐参考（身体关键点位姿序列），冻结的 ScaleTrack 跟踪器负责让 G1 人形机器人跟随该参考。这一接口要求参考本身在运动学上连贯——根速度、肢体姿态及其演化必须彼此兼容，否则跟踪器会产生原地踏步、异常接触或摔倒。
运动控制是六个域中唯一完全失败的领域，理解稠密参考接口的苛刻要求才能明白为什么语言模型难以胜任体运动构造。
缓存与非缓存 token
LLM API 会把与之前请求重复的输入前缀计为缓存 token（费用低），新出现的部分为非缓存 token。本文严格区分二者：RoboDojo Hybrid 的 6.248 亿总 token 中 6.076 亿是缓存输入，真正的未缓存输入仅 1590 万。
具身决策每步都要带历史观测，输入随步数膨胀，缓存比例决定了成本结论；不理解这个口径就无法正确解读论文的资源审计数字。
研究动机
社区实验已经零散展示出 GPT-6 Astra 能生成数值机器人动作：从 3D 场景理解、real-to-sim 工作流到直接机器人操作。但这些演示彼此孤立，已有的初步评估（如 RoboDojo 上的早期评测）显示其操作性能在不同任务间极不均匀。更根本的问题是，'任务成功率'这一单一指标无法回答三个关键问题：模型到底承担了哪些控制职责？哪些能力其实来自命令接口和底层控制器或学习策略？反馈机制如何把二者连接起来？此外，以往具身评测几乎从不度量推理资源——而本文开头就给出反例：一次 30 秒的运动控制运行需要 250 次模型调用、单次平均延迟 39.86 秒，RoboDojo 上 50 个实例消耗 6.24 亿到 11.3 亿 token。不把这些因素纳入评估，'LLM 能否当具身策略'就只能停留在轶事层面，无法判断哪些成功属于模型、哪些属于系统其他部件。
本文的目标是本文目标是对 GPT-6 Astra 作为通用具身策略做一次系统、可审计的能力刻画。具体包括：在夹爪操作、灵巧手操作、移动操作、导航、运动控制、人形移动操作六个域上，统一区分 Direct（Astra 直接生成命令加解析控制）与 Hybrid（Astra 与学习策略或冻结全身控制器协作）两种控制路径；尽可能保留各基准的原生指标与协议，使每项结论的范围明确；除任务结果外，逐一报告动作来源占比、干预原因分类、失败模式、token 消耗与推理延迟。最终要画出一条清晰的能力边界：Astra 在哪里能做出有用的任务决策，在哪里无法可靠地产生和验证物理效果，以及委托执行能省下多少、又省不下什么。
与已有工作不同的是，本文的独特切入有四点。第一，配对评估协议：凡有可能，让对比方法从同一物理初始状态出发——RoboDojo 上 Direct 与 Hybrid 共享 50 个任务实例的场景配置与随机种子，RoboCasa 用 75 个共享初始状态指纹，手内操作共享保存的手/物体状态，使性能差异可以归因。第二，把'谁在执行动作'当作一等指标：统计每条轨迹中策略动作与 Astra 纠正的占比（如 RoboDojo Hybrid 的 42,750 个执行步骤中 85.6% 来自 $\pi_{0.5}$、14.4% 来自 Astra），把模型决策与系统能力解耦。第三，资源审计进入主报告：区分缓存/非缓存输入与输出 token，记录推理期间物理暂停。第四，严格区分开发轨迹与固定配置评估，避免把研究者在线调提示带来的进步误认为模型能力——这对快速迭代的闭源模型评测尤为关键。
核心方法
直觉上，与其争论'大模型能不能控制机器人'，不如把它放进统一的执行框架里逐域考试，并记录每一步动作是谁写的、花了多少算力。技术路线是构建一个决策闭环 harness：Astra 接收研究允许的观测（图像、本体状态、指令、执行历史），选择一个动作（末端位姿、关节增量、导航原语或运动参考），接口检查命令边界后由 IK/PD 控制器、学习策略或冻结全身控制器执行，环境返回反馈供下一步决策；工具支持计算、图像检查和笔记。模型权重全程固定，开发期研究者只修订提示、接口与控制器配置，随后冻结并在固定配置下评估，另设迁移试验检验行为能否扩展到新状态。六个域分别复用原生基准：RoboDojo/RoboLab（夹爪）、自建灵巧手基准与 DexJoCo（灵巧手）、RoboCasa365（移动操作）、VLN-CE 与 ObjectNav（导航）、PASSAGE/ScaleTrack（运动）、HumanoidBench 与 SIMPLE（人形），最后在 9.4 节汇总 token 与延迟成本。
核心创新是'控制分工 + 动作来源审计'的评估框架。与 SayCan（LLM 选择落地技能）、Code as Policies（LLM 写感知控制程序）、Natural Language as Policies（LLM 输出坐标级控制）不同，本文不提出新控制方法，而是系统比较两条路径并在动作粒度上记账：Direct 模式下 Astra 从当前观测构造完整 EEF 或关节命令；Hybrid 模式下 $\pi_{0.5}$ 提出候选轨迹（如 50$\times$14 关节序列），Astra 只能接受 1–15 步前缀或做 1–5 步局部纠正，两分支互斥。关键发现是干预的选择性：RoboDojo Hybrid 的 42,750 个执行步骤中 85.6% 原样执行策略动作，灵巧手基准上仅 11.98% 的步骤被修改，却把平均分从 44.2 提到 61.6——少量针对性纠错比全盘接管更有效。反向发现同样重要：委托动作生成并不等于委托审查成本，RoboCasa Hybrid 的模型请求数（8,941 次）反而高于 Direct（7,910 次）。
方法步骤详情
1) 夹爪：RoboDojo 按已发布 $\pi_{0.5}$ 成功率分层选十任务×五实例成对评估，Direct 输出双臂 EEF 目标经有界阻尼 IK 执行，Hybrid 审查微调 $\pi_{0.5}$ 的 50×14 关节提议，接受 1–15 步前缀或做 1–5 步纠正；RoboLab 单臂 Franka 十任务零样本对比三个策略。2) 灵巧手：自建 Sharpa 手十任务（每任务千条示范训练 $\pi_{0.5}$），0–100 部分评分，约 30Hz 审查前缀或纠正；DexJoCo 汉诺塔限 1500 步@50Hz 五对经验式试验；手内旋转/平移与四个冻结 RL 策略同起点配对。3) 移动操作：RoboCasa365 十五任务×五种子的 75 回合共享初始指纹，20 步@20Hz 段，Hybrid 可收前缀、自构动作或改写指令。4) 导航：四子集各 50 回合（R2R/RxR、MP3D/HM3D），单目 RGB 禁位姿与地图，0.25 米前进与 30° 转向，500 原语预算。5) 运动：Astra 替换 PASSAGE 生成器，输出 25×65 场景对齐参考、每段 0.5 秒@50Hz，同场五次序贯尝试；另设无 Astra 解析对照各 12 次。6) 人形：HumanoidBench 三十任务×两种子命令冻结 Humanoid-GPT；SIMPLE 官方协议六任务×十场景用 ScaleBFM。最后逐域汇总动作段、请求与 token 数。
技术新颖性
技术新颖性不在模型或算法，而在评估方法学本身。第一，这是对前沿通用模型在六个具身域上用统一 harness 做的固定权重系统审计，而非单基准点测。第二，首创动作来源占比统计与干预原因分类：灵巧手 50 次 Hybrid 试验的纠正决策被归入 9 类原因，其中'抓取失败/掉落恢复'占 33.33%、'放置失败恢复'占 20.90%，这类细粒度归因是以往 LLM 机器人评测没有的。第三，资源审计达到前所未有的精度：RoboDojo 每个条件的执行控制步数（42,750/38,221）、动作段数（3,776/7,729）、缓存/非缓存 token 全部列表，并用重放验证（90 个在线 episode 的 270 个 hash 校验）保证记录可信。第四，统计处理规范：Wilson 95% 区间、精确 McNemar 检验（RoboCasa 配对 $p=0.5235$）、公开分数按任务与场景混合重加权。第五，明确区分开发轨迹与冻结配置评估，并把'一次适应轨迹'与'独立试验'分开陈述（运动章节的 5 次尝试是同一条适应轨迹），避免了常见的评估注水。
实验结果
六域结果分化明显。夹爪操作：RoboDojo 上 Hybrid 成功率 48% 对 Direct 26%（Score 62.60 对 37.81），均超重加权公开基线（$\pi_{0.5}$ 仅 15.67%）；RoboLab 上 Direct 达 98%，反超 Hybrid 92% 与三个零样本策略。灵巧手：Hybrid 均分 61.6，高于 $\pi_{0.5}$ 的 44.2 与 Direct 的 16.6；DexJoCo 汉诺塔 5/10，约为最强公开策略两倍。手内直接控制完败 RL：圆柱旋转达标率 0.51% 对 76.90%，平移加旋转 0/5 对 4/5。移动操作：Hybrid 38.7% 超 Direct 33.3% 与 $\pi_{0.5}$ 22.7%，但未见组合 Direct 以 56% 反超（$p=0.5235$）。导航本地领先：RxR 成功率 92%、HM3D 82%、R2R 78%，但 MP3D 的 SPL 仅 22.43%，远低于 56% 成功率，暴露大量绕路。运动控制完全失败：PASSAGE 13.18 秒到达，Astra 五次序贯尝试均未到达，最好一次终距目标 6.519 米；无 Astra 的解析接口也 0/12 成功。人形：HumanoidBench 平均回报 581.9 超三个 RL 基线（最优 338.2），6 任务达原生阈值（Maze 1358.8）；SIMPLE 达 83.3%。资源面：RoboDojo Hybrid/Direct 耗 6.248 亿/11.32 亿 token，30 秒运动需 250 次调用、延迟 39.86 秒。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RoboDojo 双臂夹爪操作（10 任务×5 实例） | 最终成功率 | Astra+$\pi_{0.5}$ Hybrid 48%（24/50）；Astra Direct 26%（13/50） | 重加权 $\pi_{0.5}$ 15.67%；公开最优 Galaxea G0.5 30.95% | Hybrid 较 Direct +22 个百分点，较公开最优 +17.05 个百分点 |
| RoboDojo 双臂夹爪操作 | 部分完成 Score（0–100） | Hybrid 62.60；Direct 37.81 | 重加权 $\pi_{0.5}$ 24.43；Galaxea G0.5 38.26 | Hybrid 超最优公开方法 24.34 分 |
| RoboLab 单臂零样本操作（10 任务×5 次） | 最终成功率 | Direct 98%（49/50）；Hybrid 92%（46/50） | $\pi_{0.5}$ 36%、Cosmos3-Nano 36%、DreamZero 34% | Direct 超零样本策略 62 个百分点 |
| 灵巧手操作自建基准（Sharpa 手，10 任务×5 案例） | 子目标完成分（0–100 均值） | Hybrid 61.6；Direct 16.6 | 微调 $\pi_{0.5}$ 44.2 | Hybrid 较策略 +17.4 分、较 Direct +45.0 分 |
| DexJoCo 双臂汉诺塔盘堆叠（10 次经验引导试验） | 任务成功率 | Astra+$\pi_{0.5}$ 5/10（50%） | DP-T 24.7%、$\pi_{0.5}$ 23.3%、DP-C 12.7% | 约为最强公开策略的两倍 |
| 手内圆柱连续旋转（5 配对初始态，20s） | at-goal 步骤占比（四元数测地误差 < 0.1 rad） | Astra Direct 0.51% | 任务级 RL 76.90% | RL 领先 76.39 个百分点（Astra 误差 1.626 对 0.173 rad） |
| Allegro 平移+旋转联合（5 配对案例） | 联合成功率（位置 < 22.4mm 且旋转 < 10°） | Astra Direct 0/5（终误差 47.35mm、32.72°） | RL 同步数 4/5、15s 5/5 | RL 领先 4–5 个案例 |
| RoboCasa365 移动操作（15 任务×5 seeds=75 episodes） | 任务完成率 | Hybrid 38.7%（29/75）；Direct 33.3%（25/75） | $\pi_{0.5}$ 单独 22.7%（17/75） | Hybrid 较策略 +16.0 个百分点（未见组合上 Direct 56% 反超 Hybrid 36%） |
| VLN-CE / RxR 英文指令跟随（Val-Unseen 50 episodes） | SR / SPL | Astra 92% / 77.25 | 本地最优对比 LightNav-0 72% / 64.08 | SR +20 个百分点 |
| ObjectNav / HM3D 物体搜索（Val 50 episodes） | SR / SPL | Astra 82% / 43.69 | LightNav-0 66% / 37.75 | SR +16 个百分点（但 SPL 显示大量搜索绕路） |
| 运动控制障碍场（单场地 5 次序贯尝试） | 严格到达目标（平面误差 ≤ 0.5m） | Astra 0/5（最好一次终误差 6.519m） | PASSAGE 一次到达（13.18s，误差 0.495m） | 无提升，稠密参考接口完全失败 |
| HumanoidBench 全身人形（30 任务×2 seeds） | 平均原生回报（任务均分） | Astra+Humanoid-GPT 581.9 | TD-MPC2 338.2、SAC 42.7、DreamerV3 −41.9 | +243.7；13 任务超过三者最优，6 任务达原生阈值 |
| SIMPLE L2 人形移动操作（6 任务×10 场景） | 原生成功率 | 50/60（83.3%） | 官方代码库协议下无同级对比方法 | 桌面类 90% 最强，移动取放 70% 最弱 |
局限与改进
作者承认的局限：多数条件每任务仅 5 个样本、HumanoidBench 每任务仅 2 个种子，RoboCasa 上 Hybrid 与 Direct 的差异经精确 McNemar 检验 $p=0.5235$ 不显著；全部实验在仿真中完成，且推理期间物理暂停，掩盖了延迟对真实部署的影响；导航对比中各系统的相机配置与动作适配器不完全一致（LightNav-0 与 Uni-NaVid 被改用 Astra 的前视相机规格，OmniNav Flow 的三目属于不同观测制度），只能算本地而非官方排名；RoboDojo 公开分数需重加权到评测任务与场景混合，可能引入偏差；开发轨迹与固定配置评估并存，部分行为改进无法归因到单一因素。我自己的观察：核心依赖闭源的 GPT-6 Astra API，服务端行为可能随时间漂移，长期不可复现；每格 5 个样本使多数排名只是描述性的；任务选择按 $\pi_{0.5}$ 低成功率分层取样，天然放大了 Hybrid 的相对优势；SIMPLE 的 83.3% 缺少同条件基线，绝对值意义有限。
独立分析的弱点
第一，完成验证不可靠：鸡蛋放置案例中 Astra 宣布成功而鸡蛋仍在侧躺，SIMPLE 交接中手指闭合或纸盒倾斜被误认为抓稳——让动作生成器自检完成状态有系统性风险，应引入独立的视觉/力学验证器。第二，未见组合上策略先验有害：RoboCasa 未见组合 Direct 56% 对 Hybrid 36%，Hybrid 需要在线估计策略适用性并动态降级为直接控制。第三，接触协调是硬伤：手内旋转轴向速度趋零（0.51% at-goal），保持抓取反而阻止继续旋转所需的换指，值得设计接触图或力反馈专用接口。第四，成本收益不匹配：Hybrid 只把 token 从 11.3 亿降到 6.25 亿（相对省 44.8%），且审查提议本身贡献大量未缓存输入，可研究提议过滤与早期退出。第五，统计功效不足：每格 5 样本、2 种子无法支撑排名结论，McNemar 检验已提示不显著，应扩充样本或采用序贯检验。第六，物理暂停假设使 39.86s/次的延迟被掩盖，真机不可行，需要异步推理与动作缓冲设计。
未来方向
作者提出的方向：把文本经验适应（反馈摘要、演示参考、行走片段）转化为可持久化的技能库，并检验其向新状态的迁移；在真机上验证并解决推理延迟（异步执行、预测性动作缓冲）；设计更紧凑可靠的全身参考接口——他们的解析对照显示即使无 Astra，五点与 WholeBody-14 接口也 0/12 严格成功，说明接口设计本身尚未解决。基于本文成果可延伸的方向：训练轻量'完成判别器'解决误判成功问题（鸡蛋、交接案例）；构建成本分层架构——LLM 做离线轨迹诊断与规程生成、在线用小模型执行，把 6 亿级 token 压到可用范围；把图 3a 的干预原因分类（抓取失败占 33.33%）用作自动课程，针对性微调底层策略补短板；将动作来源审计（谁执行了哪一步）推广为 VLA+LLM 混合系统的标准报告维度；探索缓存友好的观测编码与历史压缩，从架构上降低具身决策的输入膨胀。
复现评估
复现难度中高。有利条件：所有基准公开（RoboDojo、RoboLab、RoboCasa365、DexJoCo、VLN-CE/ObjectNav、HumanoidBench、SIMPLE），对比策略权重公开（$\pi_{0.5}$、LightNav-0、Uni-NaVid 等，附源码 commit 与 checkpoint 表）；论文提供 37 张表级完整数字、重放验证（90 个在线 episode 的 270 个 hash 校验）及存档清单、提示与执行轨迹；摘要附代码仓 GPT-as-Policy 与项目页。主要障碍：核心依赖闭源 GPT-6 Astra API，无法本地复现行为且服务端可能随时间漂移；token 成本巨大——RoboDojo 单条件 6.25 亿至 11.3 亿 token、汉诺塔 10 次试验 6360 万、自我中心视频管线 2.17 亿，无 GPU 训练需求但有可观的 API 预算门槛；还需按附录复现各基准 harness 细节（IK 安全界限、20 步反馈段、相机规格等），工程量不小。
论文图表
