LIBERO-Industry：面向工业流程约束的机器人操作基准 LIBERO-Industry: Benchmarking Robotic Manipulation under Industrial Process Constraints
把产线约束变成可控评测变量，五个VLA仿真全零分，工业数据共训练提升真机迁移
前置知识
VLA（Vision-Language-Action 模型）
通用机器人策略的一种范式：将摄像头图像等视觉观测、机器人本体状态与自然语言指令一起送入大模型，直接输出机器人动作。代表工作包括自回归解码离散动作 token 的 RT-2、OpenVLA，以及用流匹配（flow-matching）动作头生成连续动作块的 π0、π0.5。它们在海量多任务数据上预训练，再微调到具体场景。
本文评测对象就是五个微调后的通用策略（π0.5、OpenVLA-OFT、UniVLA、X-VLA、Cosmos Policy），不理解 VLA 的输入输出接口就无法理解基准的语言条件化设计。
LIBERO 基准
机器人学习领域广泛使用的操作基准，研究终身学习与知识迁移，基于 robosuite 仿真环境，任务用 BDDL（行为描述定义语言）以区域关系（如 On、AlignedOn）形式化描述初始状态与目标谓词，并提供语言条件化的观测-动作接口和脚本专家示教。
LIBERO-Industry 直接构建在 LIBERO 之上，沿用其区域化目标谓词与 BDDL 任务序列化方式，任务生成、示教收集与评测协议都是对 LIBERO 流水线的扩展。
Sim-to-real 共训练
把仿真示教数据与少量真机示教数据按比例混合后共同微调同一个策略，以弥补真机数据昂贵、仿真数据存在 reality gap 的问题。本文固定 9:1 的仿真-真机帧采样比、3 万步训练，只更换仿真数据来源来隔离其贡献。
论文最实用的结论来自共训练对照实验：S1 用原始 LIBERO 仿真数据，S2 用 LIBERO-Industry 仿真数据，两者差异直接回答『领域匹配的仿真数据是否值得』。
世界动作模型（WAM）
在策略中耦合未来状态预测与动作生成的新一代模型：如 WorldVLA、DreamZero、Cosmos Policy 联合预测未来视觉状态和动作，VPP 用预测性视觉表征条件化动作预测，FLARE 把策略表征与未来观测的隐空间嵌入对齐，期望通过『想象未来』提升动作质量。
评测对象中 Cosmos Policy 就是一个 WAM，作者特意把 VLA 与 WAM 放在同一工业约束下比较，检验『预测未来』能否应对动态产线。
研究动机
柔性制造（如高混合、小批量的 HMLV 电子装配）要求机器人频繁适应变化的产品与生产条件，而传统固定式自动化每次变更都要重新编程、重新标定、重新示教甚至改造工作站，工程开销巨大。这种环境提炼出四大工业流程约束：产品变体、移动的物料流、有限的执行时间窗、严格的几何公差。作者指出现有两类评测都覆盖不了它们：一类是通用操作基准（LIBERO、CALVIN、Meta-World 及其鲁棒性变体 LIBERO-PRO/PLUS、VLA-Arena、LIBERO-X），把生产流程施加的时序、运动与放置要求完全抽象掉了；另一类是制造导向基准（ARIAC 2025、AI-CPS、RoboBPP），虽触及动态生产条件，但大多不做语言条件化评测、缺少执行时间窗与几何公差的系统变量，更不评测 VLA 这类通用策略。于是，移动的源/目的地、有限时间窗和几何公差如何影响通用策略的任务成功率、吞吐与分阶段失败，尤其是多物体作业下这些约束如何叠加，此前无人系统量化过。
本文的目标是本文的目标是构建 LIBERO-Industry：一个把工业流程约束操作化为『可控任务条件 + 可测成功判据』的基准。具体包括：(1) 基于 LIBERO 建立三个典型工业场景套件——静态到动态装载 S2D、动态到静态卸载 D2S、动态到动态转运 D2D，共 216 个任务（180 训练 + 36 评测），系统变化物体几何、传送带速度、交互窗口时长与几何接受区域大小；(2) 用同一微调与评测协议横向评测五个通用策略（四个 VLA 加一个世界动作模型 Cosmos Policy），报告任务成功率 SR 和两个部分完成率 PCR；(3) 在 AUBO-i5H 真机工作单元上做 D2S 实验，在完全对齐的条件下比较『用 LIBERO-Industry 仿真数据共训练』与『用原始 LIBERO 数据共训练』的迁移效果与鲁棒性，回答该基准数据是否更贴近产线需求。
与已有工作不同的是，本文的独特切入是不提出新算法，而是第一次把『生产线的运行条件』本身作为受控实验变量。Table 1 的对比矩阵显示：没有任何现有基准同时覆盖语言条件化策略评测、产品变体、物料流、执行时间窗、几何公差和真机验证这六个维度。方法论上有三个关键选择：其一，传送带速度被定义为操作变量而非成功率指标，避免把『跑得快的任务更难』误读为策略退化；其二，每个任务实例绑定由传输调度推导的预声明滚动预算 $K_{roll,m}$，而非统一步数上限，使时间压力成为任务定义的一部分；其三，扰动规范借用 ISO 9283 的位姿精度与位姿重复性术语，让『工业级公差』有可追溯的标准来源，而不是随意加噪声。
核心方法
直觉上，产线上的失败往往不是『拿不起』，而是『来不及』或『放不准』。LIBERO-Industry 保留 LIBERO 的语言条件化接口 $u_t \sim \pi_\theta(\cdot \mid o_{\le t}, \ell_m)$，把每个评测回合 $m$ 的任务实例形式化为 $T_m = \langle \ell_m, \mu_{0,m}, W_m, \xi^{src}_m, \xi^{dst}_m, C_m \rangle$，其中 $C_m$ 收集目标工件 $j$ 的时间机会窗口 $\{(a_{mj}, H_{mj})\}$ 与目标命题集合 $\mathcal{G}_m$。流程级条件有两条：传输条件规定连续源以速度 $V_s$ 运动、间歇目的地以 $V_d$ 在静止服务期之间运动；时间机会条件给出传输事件间隔——连续源为 $\tau_{src} = \frac{d_{src}}{|V_s|}$，脉冲索引目的地为 $\tau_{dst} = T_{dwell} + \frac{s_{slot}}{|V_d|}$。生成流水线是：BDDL 规范 → 布局采样 → 可行性门控 → 实例化 → 脚本专家 rollout → 完成性/运动学安全/回放三重准入门 → 存为带溯源的 HDF5 示教。
核心创新是把四大工业约束翻译成四个可独立调节、可组合叠加的任务变量：物体集合（产品变体）、传送带速度 $V_s/V_d$（物料流）、有界执行时长（时间窗，来自传输调度的 $[a_{mj}, H_{mj}]$ 窗口）、几何完成区域大小（公差）。这与已有工作的本质区别在于：LIBERO-PRO/PLUS/X 和 VLA-Arena 只做物体、视角、语言等鲁棒性扰动，DOMINO 和 DynamicVLA 的 DOM 基准只考虑移动物体本身，都没有把产线运行条件表述为可控评测变量；而 ARIAC、AI-CPS、RoboBPP 等制造基准不评通用策略。此外，成功判据是任务特定的放置谓词（如 AlignedOn 加上动态目的地要求运输途中保持驻留），难度由『精度 + 环境变化』联合递进：Level 1 宽托盘配标称工况，Level 2 物体匹配凹槽加规定朝向，Level 3 仿形内衬配更大扰动——同一高层目标下的约束累积，而非换一个新任务。
方法步骤详情
第一步，任务设计：按源-目的地动力学组织三套件——D2S（传送带→精密槽，卸载）、S2D（料板→动态槽，装载）、D2D（传送带→动态槽，转运），每套件 4 物体 × 3 速度 × 2 方向 × 3 难度 = 72 全组合，实例化 60 训练 + 12 评测任务，共 216。第二步，程序化生成：静态夹具带等级相关位姿扰动采样，移动源由方向、速度、到达间隔与偏移反投影，移动目的地由几何定槽距、由速度与驻留定服务间隔；布局连同初始谓词、传输条件与目标序列化为 BDDL，不可行布局（越界、不可达、底盘或夹具净空违规）重采样。第三步，时间预算：$T_{roll,m} = t_{start,m} + T_{event,m} + T_{complete,m} + t_{b,m}$，$K_{roll,m} = \lceil f_c T_{roll,m} \rceil$。第四步，示教收集：脚本专家从固定初始状态加种子 rollout，通过完成、运动学安全、回放三重准入门后存 HDF5。第五步，评测：$SR = \frac{1}{M}\sum_{m=1}^{M} Y_m$，$Y_m = \bigwedge_{g \in \mathcal{G}_m} E_m(g)$；部分完成率 $PCR_T = \frac{1}{M}\sum_m \frac{N_{transferred,m}}{N_{target,m}}$ 隔离目标转移进度，$PCR_S = \frac{1}{M}\sum_m \frac{N_{slotted,m}}{N_{target,m} + N_{base,m}}$ 同时惩罚碰移预置工件。
技术新颖性
新颖性有五点：(1) 首次把产品变体、物料流、时间窗、几何公差操作化为通用策略基准的可控变量，填平具身基准与制造评测的断层；(2) 任务空间按『源-目的地是静态还是动态』的传输动力学组织（S/D 组合出 S2D、D2S、D2D），比按任务语义分类更贴近产线物理；(3) 时间机会窗口 $[a_{mj}, H_{mj}]$ 与传输调度推导的回合预算把节奏约束写进任务定义，评测边界是预声明的 $K_{roll,m}$ 而非统一超时；(4) 双部分完成率设计巧妙：$PCR_T$ 只计新完成的转移，$PCR_S$ 计槽位占用，而 held-out 初始槽位基线 $PCR^{init}_S = 12.31\%$ 恰好解释各策略 11.2–12.5% 的 PCRS——说明它们基本只是没碰坏预置工件；(5) 共训练对照的变量隔离干净：S1 用 1724 条 LIBERO 仿真示教，S2 用 1412 条 LIBERO-Industry 仿真示教，共享同样 95 条真机示教、9:1 帧采样比、3 万步与模型配置，唯一差异是仿真数据源。
实验结果
仿真主结果（Table 3）非常刺眼：π0.5、OpenVLA-OFT、UniVLA、X-VLA、Cosmos Policy 在 36 个 held-out 任务、每策略 360 次 rollout 上全部 SR = 0.0%（0/360）。只有 π0.5 有非零目标转移完成率（PCRT = 0.4%，其中 S2D 1.1%），其 PCRS = 12.5% 虽最高，但与初始槽位基线 12.31% 几乎持平，说明其余策略的 11.2–12.2% 主要来自预置工件未被碰坏。压力递进（Figure 3）以 π0.5 逐级累积约束：D0 LIBERO-Spatial 参考 97.0% → D1 工业工作单元 74.0% → D2 几何公差 51.2% → D3 静态传送带 50.4% → D4 物料流 43.8% → D5 双物体骤降至 2.1% → D6 三物体 0.0%；D5/D6 的 reach 阶段失败占 132/240 与 202/240，定位瓶颈在多物体长序列而非抓取。真机（Figure 4）在 AUBO-i5H + CTAG2F90D 上做三工件 D2S 卸载：0.03 m/s 时 S2（LIBERO-Industry 共训练）PCRT 34.7%（25/72）对 S1（LIBERO 共训练）26.4%（19/72）；0.05 m/s 时 23.6%（17/72）对 4.2%（3/72）；完成第三件放置的比例 S2 为 16.7% 与 20.8%，S1 仅 4.2% 与 0.0%。鲁棒性上 S2 在光照、外观、相机、纹理等五种变化下全部领先 12.5–34.7 个百分点，相机变化下 34.7% 对 0.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 仿真评测集（36 个 held-out 任务 × 10 初始状态，每策略 360 rollouts） | 任务成功率 SR | 五个策略全部 0.0%（0/360），最佳部分进度为 π0.5 PCRT 0.4% | 同策略在 D0 LIBERO-Spatial 参考下 SR 达 97.0% | 揭示全部 SOTA 通用策略在完整工业约束下全军覆没，约束累积使 SR 从 97.0% 跌至 0.0% |
| 累积压力递进 D4（引入移动物料流） | SR（π0.5，n=240） | 43.8% | D0 97.0% / D3 静态传送带 50.4% | 几何公差与物料流共造成约 47 个百分点的退化，且退化呈渐进而非断崖 |
| 累积压力递进 D5→D6（2 物体→3 物体转移） | SR / PCRT（π0.5，n=240） | D5：SR 2.1%，PCRT 18.1%；D6：SR 0.0%，PCRT 11.5% | D4 单物体 43.8% | 定位主要瓶颈为多物体长序列（reach 阶段失败 132/240 与 202/240），而非单步操作能力 |
| 真机 D2S 三工件卸载 @ 0.03 m/s | PCRT（72 次计划放置） | S2（LIBERO-Industry 共训练）34.7%（25/72），第三次放置完成率 16.7% | S1（原始 LIBERO 共训练）26.4%（19/72），第三次放置 4.2% | +8.3 个百分点，慢速传送带下优势已现 |
| 真机 D2S 三工件卸载 @ 0.05 m/s | PCRT（72 次计划放置） | S2 23.6%（17/72），第三次放置 20.8% | S1 4.2%（3/72），第三次放置 0.0% | +19.4 个百分点，传送带越快领域匹配数据的优势越大 |
| 真机操作条件鲁棒性（相机配置变化） | PCRT | S2 34.7% | S1 0.0% | 五种变化（光照、外观、相机、纹理等）下 S2 全部领先 12.5–34.7 个百分点 |
局限与改进
作者自己承认三点：Figure 3 的压力递进是『诊断性而非因果性』的——每级保留前级修改，只能定位瓶颈不能归因单因素；有限机会窗口是对异构工厂需求的抽象，固定 allowances 是基准时限而非真实工厂节拍时间；结论仅覆盖测试过的工况。我补充几点观察：其一，仿真评测集可能过难——所有策略 SR 为 0 使主指标失去排序能力，只能靠 PCRT 的 0.4% 对 0.0% 区分，而每策略仅 360 rollouts、每任务 10 个初始状态，这样的差异缺乏显著性检验；其二，『LIBERO-Industry 共训练更好』的结论有一个混杂变量：S1 与 S2 的仿真示教规模不同（1724 对 1412 条），虽然方向上数据更少反而更好支持了作者论点，但严格说未完全隔离『领域匹配』与『任务匹配』；其三，真机只验证了 D2S 一个套件、单一机械臂、两种传送带速度，每条件 24 次试验样本也偏小；其四，Level 1–3 分难度结果与套件分解放在附录，正文难以判断难度维度的梯度是否平滑。
独立分析的弱点
第一，0% 平顶效应：五个策略全部零分意味着主指标 SR 在当前难度设置下没有鉴别力，基准退化成只看 PCR 的部分得分游戏。改进方向是在 D4 与 D5 之间增设单物体动态任务等级，或按套件×难度分级报告 SR，让量表覆盖从 97% 到 0% 的中间带。第二，脚本专家依赖：示教全部来自脚本 rollout 加回放引导精化，面对高动态、高扰动等级（L3 仿形内衬）可能覆盖率不足，扩展到新工件类别也需要重写脚本。改进方向是混入人类遥操作示教或学习型专家，并公开各任务示教成功率。第三，真机外部效度有限：只有 D2S、AUBO-i5H 一种臂、两种速度，无法回答 S2D/D2D 共训练是否同样受益。改进方向是至少在一个移动目的地的真机套件上重复对照。第四，PCRS 的可解释性差：必须借助 12.31% 的初始基线才能正确解读，容易被误读为策略有实质进展。改进方向是直接报告净增指标（如 PCRT 与预置工件保持率分开列）或把基线从指标中归一化掉。
未来方向
作者明确提出的方向包括：把评测推向生产标定设置——让周期时间与经验运行率挂钩，而不是抽象的有限窗口；测试重复物料到达、故障恢复事件与长时程吞吐；以及回答核心问题『通用策略能否在不牺牲生产率的前提下保持柔性』。在此基础上可以延伸：其一，把时间窗作为训练信号（时间感知策略、deadline-conditioned policy）而不只是评测约束，检验策略能否学会估计剩余机会；其二，加入测试时自适应与恢复策略（抓取失败后重试、错位后纠偏），工业部署中恢复能力往往比首次成功率更重要；其三，扩展指令空间，让语言描述工件属性与顺序约束，检验 VLA 的语义泛化在产线语义下是否保留；其四，在真机上覆盖 S2D 与 D2D 套件并引入多臂并行作业，逼近真实产线的吞吐评测；其五，用该基准做数据配比研究——多少领域仿真数据能兑换多少真机提升，本文 S1/S2 的 8–19 个百分点差距是一个可量化的起点。
复现评估
复现基础较好：基准构建在开源的 LIBERO/robosuite 之上，五个评测策略（π0.5、OpenVLA-OFT、UniVLA、X-VLA、Cosmos Policy）都有公开 checkpoint 与微调代码；项目页（IAIE-PhysicalAI.github.io/LIBERO-Industry）与附录提供了任务生成参数、各套件/等级/传输条件的固定时间预算、BDDL 规范例图、以及真机配置（AUBO-i5H 臂、RealSense D435i、CTAG2F90D 夹爪、传送带速度 0.03/0.05 m/s）。仿真评测只需单张消费级 GPU 跑 360 rollouts，门槛低；任务生成器若随代码开源，复现 216 个任务也直接。较高的门槛在真机部分：需要机械臂、传送带、定制夹具与托盘、约 95 条真机示教的采集能力和 3 万步微调的训练算力。总体评估：仿真侧复现难度中低，真机对照实验难度高；若官方不发布任务生成代码与示教数据，第三方只能近似重建，数值可能对不上。
论文图表
总览图：左侧列出四大工业流程条件（产品变体、物料流、执行时间窗 Δt、严格几何公差）及其工程后果（重编程、重标定、重示教、改造工作站，导致生产设置 A/B 间的高切换开销）；右侧展示这些条件被实例化为 216 个任务（180 训练 + 36 评测），按源-目的地动力学组织成 S2D 装载、D2S 卸载、D2D 转运三个套件，S=静态、D=动态。
一张图讲清全文动机与结构：约束从哪来（工厂痛点）、如何落地（任务变量）、任务如何分类（S/D 组合），是理解基准设计哲学的入口。