RoboColosseum：野外环境下大规模物理智能评测基准 RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild
跨4种本体、124个站点的分布式机器人实测基准，揭示VLA与前沿智能体的泛化与微调排名差异。
前置知识
VLA（视觉-语言-动作模型）
VLA 是在视觉-语言模型基础上接入动作生成模块的机器人基础模型：输入摄像头图像、本体状态和自然语言指令，直接输出机器人动作（如关节位置序列）。代表工作包括 OpenVLA、π0.5、GR00T 等，通常先在大规模多机器人演示数据上预训练，再针对目标平台和任务微调。
本文评测的五个策略全部是 VLA，理解其「预训练+微调」范式才能看懂 Fine-tune 赛道为何用固定 100 条演示做适配、为何不同模型允许使用各自的官方训练配方。
成对比较与 Bradley–Terry / Elo 排名
成对比较让两个系统在相同条件下背靠背执行，由评估者给出 A 胜 / B 胜 / 平局的判断。Bradley–Terry 模型假设每个系统有潜在实力分，胜负概率由分差经 logistic 函数决定，聚合所有配对结果即可估计全局排名；Chatbot Arena 的 Elo 分数即源于此类方法。
Open Track 的核心排名机制直接借用这套方法，论文还提出难度校准的 Rasch 变体（DCR），不懂成对比较的聚合逻辑就看不懂排行榜上的 Elo 数字从何而来。
Rasch 模型与项目反应理论（IRT）
IRT 是心理测量学工具：考生答对某题的概率建模为 $\sigma(\theta_{\text{考生}}-\beta_{\text{题目}})$，其中 $\theta$ 是考生能力、$\beta$ 是题目难度，从大量作答记录中联合估计两者。Rasch/1PL 是最简形式，还允许把专家给出的先验难度作为 $\beta$ 的正态先验。
Open Track 的 DCR 排名把「策略能力 $\theta_p$」与「任务难度 $\beta_t$」分开建模，并将评估者 1–10 分的人类难度评级作为先验，这是本文方法章节的数学核心。
遥操作演示与模仿学习微调
遥操作通过 GELLO、主从臂、VR 手柄等设备让人直接控制机器人并记录状态-动作序列，得到演示数据；模仿学习（如行为克隆）再用这些数据微调策略，使其复现人类操作。演示的数量与质量直接决定微调后性能，通常几百条内即可让小任务达到高成功率。
Fine-tune 赛道给每个模型完全相同的 100 条遥操作演示，「固定数据、比较学习能力」是该赛道的设计根基；四种本体各用不同遥操作接口也解释了数据采集的工程复杂度。
机器人本体（Embodiment）
本体指机器人物理形态与控制接口的组合：自由度数量、关节空间定义、夹爪配置、相机布局等。同一策略在不同本体上的动作维度与感知视野完全不同，因此通用策略通常需要本体专属检查点，跨本体泛化是机器人基础模型的核心难题之一。
本文横跨 SO-101、Franka、Bimanual-YAM、G1 四种本体，「模型排名是否随本体改变」（Kendall's $W=0.24$）正是论文最重要的实证发现之一。
成功率与进度分数
成功率（SR）只看任务是否完全完成，是二元指标；进度分数（PS）把任务拆成 $K$ 条渐进准则（如抓起→移动→放置→稳定释放），每次尝试得 $s_n\in\{0,\dots,K\}$，PS 为 $\frac{1}{N}\sum_n s_n/K$。卡在中间步骤的失败由此可以量化比较。
论文反复强调「仅看成功率会漏掉关键差异」：G1 人形上所有策略 SR=0 但进度介于 13.3%–23.2%，这一区分完全依赖进度分数这一指标设计。
研究动机
机器人策略的物理评测长期面临「不可比、不可复现、不可规模化」三重困境。其一，实测结果由策略、硬件装配、初始条件和环境的联合作用决定：即使名义上相同的任务，物体摆放、相机标定、光照和物体物理属性的差异都会让性能差异无法归因于模型能力；仿真虽然可扩展、可重置，但感知、标定、动力学与视觉外观的 sim-to-real 差距使仿真成绩难以预测真实表现。其二，真实评测需要大量人力做布置、复位、维护和执行，学术研究通常只有几十次 rollout，性能估计对试验选择高度敏感——例如 RoboArena 动员七所学术机构也只收集了 612 次配对比较，且仅覆盖单一 DROID/Franka 本体。其三，依赖学生和志愿者的分布式评测难以持续：设备维护、人员流动与科研竞争使长期运行几乎不可能。结果是机器人领域缺少类似 Chatbot Arena 那样大规模、可信、可持续的能力标尺，「哪些模型真正更强」很大程度上靠各公司精选的演示视频来判断。
本文的目标是本文要构建一个可持续运营、跨本体、跨环境的分布式真实世界评测基础设施，让通用机器人策略的能力可以被统计可靠地测量。具体目标包括四点：第一，用统一的硬件配置、任务定义和评估协议连接地理分布的站点，覆盖低成本单臂（SO-101）、研究级机械臂（Franka/DROID 配置）、双臂系统（Bimanual-YAM）和全尺寸人形（Unitree G1）四种本体；第二，设计两条互补赛道——Fine-tune 赛道在固定 100 条演示预算下比较模型的任务适配能力，Open 赛道在不做任何任务适配的条件下比较零样本泛化；第三，用渐进进度准则刻画部分完成程度，用难度校准的 Rasch 模型聚合跨任务、跨环境的配对比较，替代对环境完全一致的要求；第四，验证大规模分布式实测能否产生可复现的排名，并用主动配对采样降低物理试验成本。项目同时承诺向学术实验室提供 10,000 小时免费评测。
与已有工作不同的是，本文的独特切入是把「评测」本身当作需要工程化和运营化的长期科学基础设施来建设，而非一次性学术实验。与 RoboArena 依赖学术机构自愿参与、单本体、任务完全由评估者自由选择的开放设计不同，RoboColosseum 雇佣最多 30 名全职操作员、以超过 100 台机器人组成专业评测网络，使 41 天内完成 5,699 次物理配对实测成为可能。方法论上，它把 Chatbot Arena 的盲测配对、主动配对采样与 DataComp 的控制变量基准思想引入物理机器人：Fine-tune 赛道固定数据与评估协议、放开训练配方（与 DataComp 恰好方向相反），Open 赛道固定配对内的局部条件、放开全局多样性。此外，它首次把心理测量学的难度校准 Rasch 模型用于物理任务排名，将人类难度评级作为先验，并用渐进进度准则把「失败到什么程度」变成可测信号——这些要素在此前的机器人基准中没有同时出现过。
核心方法
先说直觉：要让分布在全球的真实机器人评测「可比」，不要求所有站点环境一致，只需保证每次比较内部公平、跨比较可聚合。技术路线分四层。第一层是物理基础设施：四种本体的观测与动作规范被固定（SO-101 为 6 维关节位置、1 外部+1 腕部相机；Franka 采用 DROID 配置 8 维、2 外部+1 腕部相机；Bimanual-YAM 14 维、1 顶部+2 腕部相机；G1 人形配平行夹爪），策略推理在本地 RTX 5090 笔记本或远程服务器端点完成，由路由服务器统一调度并测量推理与通信延迟。第二层是运营协议：站点覆盖新加坡校园与工业楼宇、马来西亚住宅、中国工厂等真实场景，最多 30 名全职操作员执行协议、复位环境并评分，录像经人脸模糊匿名化保护隐私。第三层是两条评估赛道：Fine-tune 赛道对 20 个任务（每本体 5 个）各收集 100 条遥操作演示，各模型按官方配方微调后每任务评估 25 次，报告成功率 SR 与归一化进度分数 $PS=\frac{1}{N}\sum_n s_n/K$；Open 赛道由站点自拟任务，两个匿名模型背靠背执行，评估者记录胜负、进度和 1–10 难度评级。第四层是统计聚合：DCR 模型联合估计策略能力与任务难度，主动配对优先采样不确定性最大的模型对以节省物理试验。
核心创新是「分层控制变量」的评测设计与难度感知的排名模型。已有工作要么固定一切（单实验室基准，牺牲环境多样性），要么放开一切（RoboArena 式自由评测，牺牲可归因性）；RoboColosseum 明确定义每次比较中「什么固定、什么可变」：Fine-tune 赛道固定演示数据、任务定义、成功/进度准则和评估流程，允许各模型使用自己的官方训练配方——这与 DataComp 固定流程、放开数据的方向相反，度量的是「从同一份数据里实际学到多少」。Open 赛道允许任务和环境跨比较自由变化，但配对内两模型必须在同一机器人、同一指令、同一初始布置和同一超时下背靠背执行，评估者全程不知模型身份。排名上，DCR 模型 $q_{p,t}=\sigma(\theta_p-\beta_t)$ 把「模型弱」与「任务难」解耦：任务难度以人类 1–10 评级为先验 $\beta_t\mid d_t=k\sim\mathcal{N}(\mu_k,\tau^2)$ 且 $\mu_1<\mu_2<\cdots<\mu_{10}$，于是双成功提供任务简单的证据、双失败提供任务困难的证据——纯胜负模型（如 Bradley–Terry–Davidson）无法利用这些信息。
方法步骤详情
Fine-tune 赛道四步：第一步建立任务卡，写明指令、物体、初始布置、成功准则、超时、评测地点和 $K$ 条渐进进度准则（例如 SO-101 的 stack_bowls：抓起→移到上方→放置未释放→稳定释放）；第二步在评测现场用本体专属遥操作接口采集 100 条演示——Bimanual-YAM 用 GELLO、SO-101 用主从臂关节控制、Franka 用 DROID Quest、G1 用 Pico VR 头显加全身控制器，数据全部公开；第三步每个 VLA 从预训练基座检查点（而非 Open Track 检查点）出发，按各自官方配方全量微调至收敛，共享设置包括 bf16 计算/fp32 主权重和绝对关节位置动作空间；第四步每模型每任务评估 $N=25$ 次，按 $K$ 条准则计 $s_n$ 分，报告 $PS=\frac{1}{N}\sum_n s_n/K$ 与 $SR=\frac{1}{N}\sum_n\mathbb{1}[\text{成功}]$，安全中止的尝试计 0 分。Open Track 流程：评估者用本地物体定义任务并给出指令；系统按主动配对公式 $P_t(a)\propto\sqrt{\hat\Sigma_{t,a,a}/n_a}-\sqrt{\hat\Sigma_{t,a,a}/(n_a+1)}$ 挑选一对匿名模型；两模型先后在同一配置执行，评估者记录胜负、进度、反馈与 1–10 难度；所有结果送入 DCR 联合推断，按后验均值 $s_p=\mathbb{E}[\theta_p\mid D]$ 排名，并以 $R_p=1500+\frac{400}{\ln 10}s_p$ 的 Elo 刻度展示。前沿智能体经 Inspect Robots 策略接入，每步收到 640×480 图像、本体状态与指令，通过 move/done/give_up 工具调用动作，每试次最多 30 次模型调用、800 个控制步、单次调用 120 秒截止。
技术新颖性
技术新颖性体现在四个方面。第一，规模与可持续性：41 天、124 个站点、5,699 次物理配对比较、20 个微调任务、超过 100 台机器人和最多 30 名全职操作员，比 RoboArena 的 612 次高出一个数量级，且首次覆盖从低成本 SO-101 到全尺寸人形 G1 的四种本体。第二，DCR 排名模型：把 IRT 引入机器人评测，用人类难度评级作先验解决「野外任务难度不可比」的问题，并与 Bradley–Terry–Davidson、sequential Elo 和平均配对得分做了对照验证。第三，渐进进度准则：把任务分解为 $K$ 条准则，既给出 PS 这样的连续指标，也支持失败阶段分解（Figure 8），显示不同模型在同一任务上卡在不同步骤——这是二元成功率完全看不到的诊断信息。第四，主动配对首次用于物理机器人试验：把 Chatbot Arena 的不确定性采样迁移到每次比较都要消耗真实人力与硬件成本的场景，实证可节省约一半试验量。此外，任务分类采用本地部署的 Qwen3-30B-A3B 模型自动完成（温度 0、确定性解码），体现了「评测流水线工程化」的系统思路。
实验结果
RQ1（开放世界能力）：5,699 次 Open Track 配对显示前沿智能体可与专用 VLA 抗衡：GPT-6 Astra 在 Franka 上 DCR 最高，Claude Opus 5.5 领先 SO-101 与 YAM；901 次配对中智能体进度更高 394 次、VLA 265 次、平 242 次，平均 +5.3 pp（Claude +12.1、GPT-6 +11.0、Grok −7.5）。但绝对能力普遍偏低：MolmoAct2 在六类任务 BTD 均领先 VLA（58%–77%）而成功率仅 6%–13%，无系统任何类别超 13%；成功率随难度从 30.7%（1–4 级）骤降至 0.4%（9–10 级），失败尝试的平均进度从 56.6% 跌至 3.5%。RQ2（任务适配）：同样 100 条演示微调后，GR00T N1.7 领先 SO-101（SR 82.4%），π0.5 领先 Franka（84.0%）与 YAM（93.6%）；同本体内部差异极端，如 Franka 上 LingBot 开抽屉 100%、插马克笔 0%，MolmoAct2 相反；G1 上五模型 SR 全为 0，进度 13.3%–23.2% 不等。RQ3（一致性）：跨赛道排名相关弱（ρ=−0.20/−0.40/0.20），π0.5 在 Franka 由第五跃居第一；跨本体微调排名 Kendall's W=0.24。RQ4（可靠性）：站点二分后 Franka/YAM 排名一致约 85%（ρ=0.82）、SO-101 仅 59%；主动配对 400–500 次即达全量排名 90% 一致，均匀采样需约 1,000 次。RQ5（规模效应）：平均 1,123 次达 90% 一致、4,755 次达 95%，高置信稳定仍需更大数据量。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Open Track 智能体 vs VLA（901 次配对） | 平均归一化进度差（百分点） | 前沿智能体整体 +5.3 pp（Claude Opus 5.5 +12.1，GPT-6 Astra +11.0） | 专用 VLA 策略 | 智能体进度更高的配对 394 次 vs VLA 265 次（平局 242 次）；但 Grok 4.7 为 −7.5 pp，优势并非均匀 |
| Fine-tune · SO-101（5 任务平均，各 25 试次） | 成功率 SR | GR00T N1.7 82.4%（PS 89.0） | 第二名 π0.5（SR 77.6%） | +4.8 pp |
| Fine-tune · DROID/Franka（5 任务平均） | 成功率 SR | π0.5 84.0%（PS 91.2） | 第二名 MolmoAct2（SR 54.4%） | +29.6 pp，任务级差异极端（如 open_drawer 上 LingBot 100% 而 MolmoAct2 0%） |
| Fine-tune · Bimanual-YAM（5 任务平均） | 成功率 SR | π0.5 93.6%（PS 97.2） | 第二名 G0.5（SR 75.2%） | +18.4 pp |
| Fine-tune · Unitree G1 人形（5 任务） | 成功率 / 进度分数 | 所有模型 SR=0%，进度 13.3%（G0.5）至 23.2%（LingBot-VLA v2） | 完全成功（SR=100% 才算完成） | 无一模型完成任何任务，但部分进度差异显著，凸显 PS 指标价值 |
| Open Track 排名效率 | 与全量 DCR 排名一致率达 90% 所需评估次数 | 主动配对约 400–500 次 | 均匀采样约 1,000 次 | 约 2 倍样本效率，物理试验成本减半 |
| Open Track 任务难度分层（人类评级 1–10） | 成功率 / 失败尝试平均进度 | 难度 1–4：30.7% / 56.6% | 难度 9–10：0.4% / 3.5% | 难度上升导致性能骤降，困难任务上失败发生在早期准则而非收尾 |
局限与改进
作者承认的局限：这是项目的初始快照而非穷尽评估，模型与本体的覆盖不均衡（参与取决于检查点和硬件兼容性，部分任务类别单元格因 $n<10$ 被标记为证据不足）；Fine-tune 赛道每本体只有 5 个任务；固定数据但允许官方训练配方，因此比较的是端到端实用适配效果，无法把差异干净地归因于架构本身；排名稳定性分析以当前完整数据集为参照，基准扩大后需重新检验。我自己的观察：其一，胜负、进度与难度判断均由各站点操作员给出，论文未报告评分者间一致性或金标准校验，主观性会直接进入 DCR；其二，Open Track 中智能体与 VLA 的控制节奏差异巨大（智能体每步一次 API 往返、最多 30 次调用、单次 120 秒截止），性能差异可能部分混淆了交互预算与推理速度；其三，人类 1–10 难度评级本身有噪声，且难度与本体外型、任务类别高度相关，难度-性能曲线是观察性的，不能做因果解读；其四，DCR 假设策略能力是单维标量，而操纵能力显然多维（抓取、铰接物体、可变形物体各不相同），单维模型可能掩盖类别专长；其五，两组安全中止事件（LingBot-VLA v2 的 YAM 抽屉任务 1 次后中止、GR00T N1.7 的微波炉任务 9 次后中止）说明高风险任务上有损评估不可避免。
独立分析的弱点
独立分析几点弱点。第一，评估者主观性未量化：偏好、进度和难度都由各站点操作员给出，跨站点标准漂移会系统性污染 DCR；改进方向是引入双人独立评分子样本并报告 Kappa/ICC 一致性，或用录制回放让多个评估者对同一 rollout 打分以估计评分噪声。第二，智能体与 VLA 的交互预算不对等：智能体受 30 次 LLM 调用和 120 秒单步截止限制，实际动作次数远少于以固定频率连续执行的 VLA，这既是工程现实也是混淆变量；改进是报告每试次实际动作数并做敏感性分析，或给两类系统匹配的执行时间预算。第三，模型覆盖偏斜：每模型遇到的任务分布由主动配对与站点生态决定，尽管 DCR 建模了难度，类别×本体的覆盖空洞（$n<10$ 的格）仍可能让类别级结论不稳；改进是按类别设最低采样配额。第四，Fine-tune 赛道每本体仅 5 个任务且允许各自训练配方，$W=0.24$ 的低一致性部分来自任务套件差异而非模型本质；改进是扩充任务数量，并加入「统一训练配方」消融以分离架构与配方的影响。第五，单维能力假设：可扩展到多维 IRT 或按类别分别估计能力——论文已按类别做了 BTD 分析，但 DCR 主榜仍是全局单维。第六，运营依赖专职团队与机构赞助（10,000 小时免费额度由创始成员资助），独立实验室难以复现全网规模的评测，长期可持续性取决于资金与组织。
未来方向
作者提出的方向：持续扩充模型、任务、本体和站点，承诺扩展 Fine-tune 数据集、开放更多真实环境、纳入更多机器人形态，并把 10,000 小时免费评测分配给学术伙伴；随数据增长重复排名稳定性与效率分析。基于其成果可延伸的研究：其一，多维或层次化 IRT，把「类别专长」显式建模为能力向量，回答「谁擅长可变形物体」而非只给总分；其二，跨本体迁移分析——同一基座模型在不同本体检查点上的能力相关性，可指导多本体训练数据配比；其三，把进度准则的自动生成（VLM 从演示视频提出准则）与自动评分（视觉语言模型判卷）结合，进一步降低人工评分成本与主观性；其四，把失败阶段分解（Figure 8）发展为标准诊断工具，驱动针对性的数据采集或架构改进；其五，用本基准校准仿真基准的预测力，量化仿真-实测排名相关性；其六，系统研究控制频率、推理延迟与成功率的关系，特别是前沿智能体「慢思考」在物理世界的收益边界（Claude/GPT-6 领先而 Grok 落后提示推理质量而非速度可能是关键）；其七，把 Fine-tune 赛道扩展为演示效率曲线（25/50/100/200 条演示下性能-数据量关系）。
复现评估
开源情况较好：代码在 github.com/Robocolosseum，模型与数据集在 huggingface.co/RobocolosseumNov，项目主页 robocolosseum.ai；Fine-tune 赛道的 100 条演示数据、任务卡（含工作区照片、地址、环境、超时、渐进准则）、共享与分模型超参数（Tables 3–4）以及智能体系统提示（Listing 1）全部公开，微调使用各模型官方仓库并固定 commit。算力需求分层：推理只需一台 RTX 5090 笔记本或远程端点；训练五个 VLA 全量微调（批大小 32–128）需要常规多卡 GPU，但论文未报告具体训练时长。真正的门槛是物理运营：全网规模需要多台 Franka 与 G1、双臂 YAM、跨国务站点和全职操作员队伍（41 天约 30 名操作员），个人或单实验室无法完整复现 Open Track；但单站点复现 Fine-tune 赛道完全可行——SO-101 属百美元级低成本硬件，每任务 100 条演示加 25 次评估即可跑通协议。综合评估：协议、数据与代码的可复现性好，全网规模复现难度高，外部团队最现实的参与方式是通过免费评测额度接入网络，而非自建整套设施。
论文图表