ST-BiBench：评估多模态大语言模型双手协调能力的多层级基准框架 BiManiBench: A Hierarchical Benchmark for Evaluating Bimanual Coordination of Multimodal Large Language Models
提出多层次评估框架，揭示MLLMs在双手协调中「高级推理强、精细执行弱」的协调悖论
前置知识
多模态大语言模型（MLLMs）
能够同时处理视觉、语言、动作等多种模态信息的大型基础模型。这类模型通过在大规模图文数据上预训练，学习了跨模态的对齐表示，使得模型可以将抽象的语言指令与具体的视觉场景关联起来。在具身智能领域，MLLMs充当机器人的大脑，负责从感知输入中提取信息、进行推理规划并输出动作指令。典型代表包括GPT-5、Gemini-2.5-Pro、InternVL3等，参数规模从7B到235B不等。
本文的核心就是评估MLLMs在双手协调场景下的能力边界，理解MLLMs的基本架构和能力特点是理解全文实验设计和结论的基础
双臂协调（Bimanual Coordination）
指机器人使用两条机械臂协同完成复杂操作任务的能力。与单臂操作不同，双臂协调需要处理两个独立动作流之间的时空依赖关系：包括并行独立操作（两臂同时执行不同子任务）、顺序协作操作（一臂的输出作为另一臂的输入）和同步协作操作（两臂在同一时间窗口内同时动作）。这要求模型不仅要理解每个物体的属性和位置，还要理解两臂之间的运动学约束、工作空间限制和潜在碰撞风险。
这是本文评测的核心场景。论文发现从单臂到双臂的转变引入了多流协调的巨大挑战，这是现有基准未能覆盖的关键能力维度
视觉-语言-动作模型（VLA）
一类将视觉感知、语言理解和动作生成统一到单一架构中的模型。传统方法通常将这三者分离处理：视觉模块提取特征、语言模块解析指令、规划模块生成动作序列。VLA模型则尝试端到端地从原始视觉-语言输入直接生成连续的动作输出（如16维的末端执行器位姿）。这种范式的优势在于减少了信息传递中的损失，但对模型的跨模态融合能力提出了极高要求。
本文的Fine-Grained Action Control层级正是评估MLLMs作为VLA模型的能力，测试它们能否从原始视觉-文本token直接合成高维连续动作模态
高斯加权空间评分（Gaussian-Weighted Spatial Score）
本文提出的一种连续评估指标，用于量化模型在双臂场景中的空间感知能力。对于每个目标物体，系统首先确定哪只手臂在运动学上更接近（最优选择），然后根据物体到工作空间中心线的距离计算评分。如果模型选择了正确的手臂，得满分100分；如果选择了错误的手臂，则根据距离给予软惩罚：靠近边界的物体扣分较少（因为两臂都可能够到），远离边界的物体扣分更多（因为使用错误手臂会导致运动学奇点和执行崩溃）。这种设计比简单的二分类更细致地反映了模型对物理可行性的理解。
这个指标是Foundational Spatial Grounding层级的核心评估方式，它揭示了模型在邻近悖论中的具体表现：语义逻辑正确但空间可行性判断错误
研究动机
现有多模态大语言模型在具身AI领域取得了显著进展，但它们主要在单臂顺序操作的范式下被评估。当场景扩展到双臂协调时，一系列全新的挑战浮现出来：首先，双臂操作引入了多流协调问题——两个并发的动作流需要在共享工作空间中精确同步，同时避免自我碰撞；其次，现有的基准（如ALFWorld、ALFRED）专注于顺序推理，无法评估同时多流协调能力；第三，即使是最先进的VLA模型也主要在单臂场景下训练和评估，缺乏对双臂特有的时空约束的系统性考察。更具体地说，研究者在预实验中发现了一个关键现象：模型经常生成语义上合理的计划，但在最基本的手臂分配层面就失败了——强迫一只手臂超出其可达工作空间会触发运动学奇点，导致执行立即崩溃。这种邻近悖论表明，从语义规划到物理可行执行之间存在一个被现有基准忽视的关键断层。
本文的目标是本文的具体目标是构建一个系统性的多层级评估框架ST-BiBench，用于全面评估MLLMs在双手协调任务中的能力。框架设计遵循从高层推理到底层执行的渐进思路：首先评估模型的战略协调规划能力（能否将复杂指令分解为正确的动作序列），然后验证基础空间定位能力（能否根据视觉信息选择正确的手臂），最后测试细粒度动作控制能力（能否直接合成16维连续动作）。通过这个框架，研究者希望量化当前MLLMs的能力边界，识别双手协调中的关键瓶颈，并为未来的研究提供明确的改进方向。具体指标包括：在14个战略规划任务上的成功率、在3种空间场景下的空间评分、以及在5个精细控制任务上的执行成功率。
与已有工作不同的是，本文的独特切入角度在于将双手协调问题系统性地分解为三个互相关联但又可以独立评估的层次，并特别关注协调悖论——高级战略推理能力和精细物理执行能力之间的显著差距。与已有工作相比，本文抓住了几个被忽视的关键点：第一，引入邻近悖论的概念，揭示了语义逻辑和空间可行性之间的脱节；第二，将多流干扰（multi-stream interference）作为核心分析维度，发现额外的视觉输入有时反而会降低性能；第三，通过设计三个评估层级，能够精确定位失败发生在规划阶段、空间理解阶段还是动作执行阶段。此外，本文评估了30+个最先进模型（包括GPT-5、Gemini-2.5-Pro、Claude-sonnet-4.5等），提供了迄今为止最全面的双手协调能力画像。
核心方法
ST-BiBench的设计理念可以用一个类比来理解：就像评估一个厨师的能力不仅要看他能否设计菜单（战略规划），还要看他能否正确选择食材（空间定位），以及能否精确控制刀工（动作执行）。框架采用分层递进的结构，从抽象推理逐步深入到具体执行。在技术路线上，整个框架运行在SAPIEN仿真环境中，采用视觉驱动的代理架构：输入端整合多视角视觉流（自我中心视角和第三人称视角）、多模态元数据（精确坐标和关节偏移）和交互上下文（语言指令和历史反馈）；处理端采用描述-推理-规划流水线，确保思考流和动作流的对齐；执行端采用任务自适应截断机制，平衡开环推理效率和闭环执行鲁棒性。这种设计允许在不进行任务特定微调的情况下，评估MLLMs作为统一代理处理多流协调问题的零样本涌现能力。
本文最核心的创新在于发现了并系统性地量化了协调悖论（Coordination Paradox）——这是已有方法从未明确指出的现象。具体来说，即使是GPT-5、Gemini-2.5-Pro这样在通用推理任务上表现卓越的模型，在双手协调场景中也表现出一种分裂的能力模式：它们可以生成逻辑上完美无缺的战略计划，却频繁地在最基本的空间可行性判断上犯错。例如，GPT-5在战略规划任务中成功率达到67%，但在将抽象计划转化为精确连续动作时，成功率骤降；Gemini-2.5-Pro有更好的空间感知，却在处理双臂之间的时空依赖关系时出现系统性错误。这种现象揭示了一个本质问题：当前MLLMs的多模态融合能力在语义对齐维度上表现良好，但在空间接地维度上存在根本性缺陷。与已有方法相比，以往的基准要么只评估高层推理（如ALFWorld），要么只评估低层控制（如RLBench），都未能捕捉到这种跨层级的能力断裂。
方法步骤详情
ST-BiBench的评估流程分为三个层级，每个层级有独立的任务集和评估协议。第一层Strategic Coordination Planning包含14个任务，分为独立并行操作（如将5个方块排成十字形）和顺序协作操作（如将物体从一臂递交给另一臂）。MLLM作为高层规划器，接收任务指令和视觉观察，输出由7个参数化原子动作原语（Grasp、Place、Move等）组成的序列。系统通过API执行这些动作，并在运动学不可行时自动截断，给予模型反馈以重新规划。第二层Foundational Spatial Grounding测试模型的空间感知能力，给出桌面场景图像，要求模型为每个目标物体选择最优手臂（左或右）。评估在稀疏、密集和杂乱三种场景下进行，使用高斯加权空间评分。第三层Fine-Grained Action Control是最具挑战性的层级，要求模型直接从视觉输入合成16维连续动作（每臂7维位姿+1维夹爪状态）。系统提供丰富的上下文增强元数据（精确坐标、关节偏移等），测试模型融合稠密数值信号和原始视觉流的能力。整个流程通过任务自适应执行截断机制实现闭环：执行k个动作后重新观察环境，确保动作流与动态演化物理状态严格对齐。
技术新颖性
ST-BiBench的技术新颖性体现在三个关键方面。首先，它是首个专注于多流多模态协调的具身评估框架，不同于以往单流或顺序交互的基准（如ALFRED、VLABench），ST-BiBench显式建模了并发动作流之间的时空依赖关系。其次，框架设计了邻近悖论的专门测试——通过高斯加权空间评分定量衡量模型在语义正确性和空间可行性之间的权衡，这在以往工作中从未被系统研究过。第三，Fine-Grained Action Control层级将低层控制重构为极端稠密模态融合的压力测试，通过提供16维连续动作模态的合成任务，探索MLLMs在高保真跨模态合成中的极限。此外，框架还设计了任务自适应执行截断机制，平衡长程逻辑一致性与动态感知接地，这是一种在评估协议中平衡开环效率和闭环鲁棒性的新方法。
实验结果
本文对30+个最先进MLLMs进行了全面评估，揭示了双手协调能力的关键瓶颈和有趣规律。在Strategic Coordination Planning层级，GPT-5以平均67.00%的成功率领先，Gemini-2.5-Pro紧随其后（70.21%），而开源模型中InternVL3-78B达到43.36%。一个关键发现是存在清晰的推理阈值：7B级别的模型（如Qwen2.5-VL-7B，平均1.43%）在协作任务上几乎完全崩溃，而30B+级别的模型才能实现基本的双臂逻辑。在Foundational Spatial Grounding层级，闭源模型占据主导，Gemini-2.5-Pro达到95.01%，开源最佳的Qwen3-VL-32B为94.00%，但即使是最优秀的模型在杂乱场景下也会出现性能下降（InternVL3-78B从97.07%降至90.16%）。最引人注目的发现出现在Fine-Grained Action Control层级：GPT-5以66.80%领先，但开源最佳的InternVL3-78B仅27.60%，存在超过30%的鸿沟。这直接印证了协调悖论——高级推理能力不等于精细执行能力。一个特别有趣的发现是中等规模模型的效率峰值：InternVL3-38B（52.86%）和Qwen3-VL-32B（52.50%）在战略规划中超越了许多70B+甚至200B+的模型，表明架构效率和指令跟随对齐比单纯参数规模更重要。此外，多视角空间融合的效果呈现分化：高端模型（如Gemini-2.5-Pro在Place9上从39%提升到55%）能有效利用辅助视角，但较小模型（如Gemma-3-27B在Place8上从13%降至4%）则遭受信息过载，额外视觉输入反而成为干扰噪声。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 战略协调规划（Strategic Coordination Planning） | 平均成功率(%) | GPT-5: 67.00, Gemini-2.5-Pro: 70.21, InternVL3-78B: 43.36 | Qwen2.5-VL-7B: 1.43 | 闭源模型比7B开源模型提升约50-70个百分点 |
| 基础空间定位（Foundational Spatial Grounding） | 高斯加权空间评分(%) | Gemini-2.5-Pro: 95.01, GPT-5: 94.28, Qwen3-VL-32B: 94.00 | Qwen2.5-VL-7B: 73.46 | 闭源模型比7B模型提升约20个百分点 |
| 细粒度动作控制（Fine-Grained Action Control） | 平均成功率(%) | GPT-5: 66.80, Gemini-2.5-Pro: 60.20, InternVL3-78B: 27.60 | Gemma-3-27b-it: 6.20 | 闭源模型比开源模型提升约30-40个百分点 |
局限与改进
ST-BiBench存在几个重要的局限性。首先，框架目前完全基于仿真环境（SAPIEN），使用刚体物体进行评估，这可能无法完全反映真实世界交互的感知细微差异——传感器噪声、非均匀光照、机械延迟等因素都未被考虑。其次，MLLM的高推理延迟对实时协调构成重大障碍：高频闭环控制需要超过50Hz的控制频率，而当前MLLMs的推理速度远远达不到这一要求。第三，框架目前不支持自动化的子目标失败分析，错误诊断仍需人工介入。作者自己也承认，虽然提供了稳健的端到端基线，但框架尚未支持自动化的子目标失败分析。从我个人观察来看，实验设计中存在一些值得注意的问题：Manipulator Allocation Feedback机制虽然隔离了空间推理对规划评估的影响，但也可能掩盖了空间推理能力不足的真实影响；此外，16维连续动作合成任务被描述为极端压力测试而非现实场景，这限制了结果对实际部署的指导意义。最后，评估的任务多样性虽然覆盖了独立并行、顺序协作和同步协作三种模式，但仍然局限于桌面操作场景，缺乏更复杂的移动双臂操作和人机协作场景。
独立分析的弱点
经过独立分析，我发现ST-BiBench存在以下几个关键弱点及其改进方向。第一，邻近悖论的测试设计过于简化：高斯加权评分假设物体到中心线的距离是决定手臂选择的唯一因素，但在真实双臂场景中，还需要考虑物体高度、朝向、遮挡关系等多维因素。改进方向是设计更综合的空间可行性评估指标，整合运动学可达性、碰撞风险和力矩约束。第二，多视角融合实验的分析不够深入：虽然发现了信息过载现象，但没有探索更智能的视角选择或融合策略。可以引入注意力机制可视化，分析模型在处理多视角输入时的关注点分布。第三，错误分析主要集中在GPT-5和Gemini-2.5-Pro两个模型，对开源模型的失败模式缺乏细致分析。特别是，开源模型的非单调缩放现象（中等规模模型优于大模型）需要更深入的架构层面分析。第四，Fine-Grained Action Control层级的评估过于依赖元数据（精确坐标），这可能掩盖了模型真正的视觉-动作映射能力。建议设计渐进式元数据移除实验，测试模型在不同信息密度下的表现退化曲线。
未来方向
论文的附录A部分提出了六个有前景的研究方向，我在此基础上进行扩展分析。首先是多模态仿真-真实迁移（Sim-to-Real Gap）：当前框架在高保真仿真中运行，但真实部署需要处理传感器噪声、光照变化和机械延迟，未来工作应探索跨域多模态鲁棒性，利用域随机化确保MLLM导出的协调策略在非结构化物理环境中保持韧性。其次是从刚体到多感官整合：扩展到可变形物体操作（如折叠布料、线缆布线）将带来更高维度的时空推理挑战，同时引入触觉传感流作为与视觉并列的主模态是必要的。第三是多流对齐的架构创新：针对小型MLLMs的信息过载问题，设计专用的多流注意力机制或分层融合模块，让模型能选择性地加权来自不同视角的输入。第四是时间同步和延迟缓解：探索混合控制范式，将高层战略推理（MLLM）和低层反应执行（高速策略）分离。第五是社会-物理多流协调：将框架扩展到人机双臂协作场景，需要意图识别和安全物理交互能力。最后是基于视频生成的预测世界建模：将动作条件视频生成与MLLM整合，让代理在执行前通过想象模拟评估多种策略。
复现评估
从复现角度来看，ST-BiBench的复现难度中等偏低。论文提供了相对完整的评估协议：仿真环境基于SAPIEN（开源），任务设计和提示模板在附录中有详细记录，评估指标有明确的计算公式。然而，完全复现存在几个挑战：首先，需要调用多个闭源模型的API（GPT-5、Gemini-2.5-Pro、Claude-sonnet-4.5等），这会产生显著的API费用；其次，论文评估了30+个模型，每个任务100+个独立episode，总计算量相当大。好消息是，框架的核心设计理念（三层评估结构、高斯加权评分、任务自适应截断）可以被相对容易地应用到其他具身环境中。代码和数据的开源情况：论文网站（https://bimanibench.github.io/）提供了项目主页，但论文中未明确说明是否已开源完整代码。对于资源有限的研究者，建议优先复现Foundational Spatial Grounding层级，因为它计算成本最低且能揭示最核心的空间推理问题。
论文图表
