LIBERO-Para：面向 VLA 模型改写鲁棒性的诊断基准与评测指标 LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models

LIBERO-Para 的构建分四步：(1) 轴内生成：给定原始指令，LLM 在「只能改对象」或「只能改动作」约束下为每个变体类型生成改写；(2) 轴内验证：第二个 LLM 实例按 task compliance、semantic preservation、naturalness、format、lexical clarity 五条标准过滤，拒绝会与场景内其他物体（如 stove/bowl/plate）混淆的改写；(3) 跨轴合并：把通过验证的 action 改写和 object 改写两两组合，得到最多 $n \times m$ 条复合改写；(4) 合并验证：再次检验「对象和动作均发生变化」且组合后语法自然。统计上最终得到 259 条 object-only、870 条 action-only、2,963 条 compositional 改写，每条原始指令对应 386–423 条改写。PRIDE 的计算步骤为：先把原句和改写分别做依存分析，取内容词集合 $O=\{o_1,\dots,o_n\}$、$P=\{p_1,\dots,p_m\}$；用 Sentence-BERT 编码后按公式 $S_K(O,P) = \frac{1}{n}\sum_i \max_j \cos(e(o_i), e(p_j))$ 计算关键词相似度；用依存树节点标签为 POS、边为依存关系的树编辑距离 $TED(T_O, T_P)$，按 $S_T(T_O, T_P) = 1 - TED(T_O, T_P) / (|T_O|+|T_P|)$ 计算结构相似度；按 $PD = 1 - \alpha S_K - (1-\alpha) S_T$ 合成 Paraphrase Distance（$\alpha=0.5$）；最后用 $PRIDE = PD \cdot \mathbb{1}\{\text{success}\}$，即只有在该回合成功时才把 PD 计入。

技术新颖性体现在三个层面。第一，把 EPT 和 Ervin-Tripp 这两套成熟语言学分类系统性地映射到机器人操控指令上，并显式给出排除规则（如拒绝形态变化、被动语态、对立极性替换等不适合短祈使句的类别），用规则+LLM 验证的双重过滤保证 99.5% 的人工一致率（Gwet's AC1 = 0.854）。第二，PRIDE 把「任务关键性」显式编码到距离度量里：通用 NLP 距离把每个词等同对待，但 PRIDE 通过去除功能词、聚焦动作/对象内容词，把「stove → range」这种小词替换拉到距离 0.34–0.45，而把「carefully」这种副词添加的距离压到 0.00–0.05。第三，PRIDE 把「能解对多难的题」显式编码到评估里：连续 PD 与所有 7 个模型的 SR 呈强负相关（Pearson $r$ 介于 −0.671 与 −0.877，$p<.0001$），意味着它不只是事后度量，而是任务难度的预言器。这套「语言学分类 + 机器人特化距离 + 任务加权的成功度」组合，在 VLA 评测领域是首次系统化提出。

从论文外视角，本文至少存在以下可改进之处。弱点 1：基准的指令空间小且单一。LIBERO-Para 仅源自 10 条 LIBERO-Goal 指令、4 个核心物体（stove、bowl、plate、rack、cabinet、cream cheese、wine bottle 等）。一方面小物体集放大了「对象换」效应——模型连「stove → range」都撑不住，更别说真实家庭里几十种容器/工具的同义词；另一方面 10 条指令得到的结论在 130 任务规模的 OpenVLA-OFTmixed 训练中可能只是「冰山一角」，结论外推到大规模操控仍需更多证据。改进方向：扩展到 LIBERO-Spatial/Object/Long，或者构建跨仿真器（如 RLBench、ManiSkill2）的同款双轴基准。弱点 2：PRIDE 的关键词提取是启发式的。作者直接用「内容词 = 动作动词 + 对象名词」来代表任务关键性，没有做自动化关键词识别；这在短祈使句上可行，但遇到长指令（如多物体复合任务）时同一句可能含多个对象-动作配对，当前方法无法区分。改进方向：可引入 AMR（抽象意义表示）或 CCG 组合范畴文法，先解析出 (act, obj) 配对再计算 PRIDE。弱点 3：没有把改写鲁棒性同安全性、效率放在一起看。现实部署里，模型在「把牙刷放回杯子」时如果把杯子错认为碗，可能引发物品损坏；论文聚焦 SR 单一指标，缺少对「错误动作的代价」建模。改进方向：引入按后果严重度分级的评估，例如把「开抽屉」错执行成「推橱柜」单独计为严重失败。弱点 4：评测停留在二元 SR 上。即便有 PRIDE 加权，最终报告仍是 0–1 的成功率，没有给出连续的成功质量（如完成度百分比、轨迹偏差米数）。改进方向：参考 CALVIN 那种 0–5 序数评分，把 PRIDE 与序数成功度联合报告。

作者明确指出的未来方向有：把 LIBERO-Para 扩展到其它仿真平台和真实机器人；研究复合改写（多轴同时变化）以及数据增强策略；分析更大规模 VLA（如 > 10B）和不同预训练数据的影响。基于本文成果可延伸的方向还包括：1) 把 PRIDE 作为「在线难度调度器」，在微调阶段把不同 PD 桶的指令按比例采样，主动加难训练分布；2) 把 $S_K$ 从 Sentence-BERT 升级为视觉-语言联合嵌入（CLIP/SigLIP），使关键词相似度能反映「词-物」对齐程度，从而捕获 bowl/cup 在视觉上的真实相似性；3) 在 PRIDE 之外引入「对象-动作解耦损失」，显式鼓励模型把对象表征与动作表征分离，作为一种针对性的正则化；4) 把 Finding 3 的规划层失败结论推广到 VLM-only 设定：在无动作执行的情况下直接测量 VLM 在改写下的任务识别准确率，把规划失败和执行失败进一步分离；5) 探索用 LLM 自动改写做训练时增广的「留一域」协议——在某一轴上增广训练，在另一轴上保留测试，量化增广对各轴的迁移效应。

复现性总体较好。代码与基准已开源（https://github.com/cau-hai-lab/LIBERO-Para），数据生成用的 Gemini 2.5 Pro prompt 模板全部在论文附录 20–28 给出，可逐字复现。除 π0.5 expert-only 外的 6 个模型都直接用 Hugging Face/官方仓库的公开 checkpoint（Tab. 12），配合各模型原有 inference config 即可运行；π0.5 expert-only 的训练细节（AdamW、lr=5e-5、batch=256、30K 步、EMA=0.999、warmup=10K、grad clip 1.0）在 Tab. 15 给出，loss 曲线（图 15）显示 15K 步左右收敛。评测协议简单清晰：5 颗种子（7/8/9/10/11）、LIBERO 默认 episode 长度与成功判据，不做超参搜索。作者还报告了完整的 GPU 资源（Tab. 11：A6000 16GB 用于 OpenVLA-OFT，L40S 6.5–38GB 用于其它模型），合计 194 GPU·小时。潜在的复现障碍是：1) Gemini 2.5 Pro 作为改写生成器存在版本与不可控差异，作者虽做了人工校验（15 位标注者、AC1=0.854）但新版本可能产生略不同分布；2) Sentence-BERT 模型版本/语言可能影响 $S_K$ 数值；3) DTW 计算依赖 fastdtw 库和 K=50 重采样策略。综合来看，工作量与算力门槛对学术实验室基本可达（< 200 GPU·小时，单卡 L40S/A6000 即可），最关键的成本反而是 Gemini API 调用与人工标注。