ReactHuman：面向具身多模态大模型的物理接地类人反应决策基准 ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs
首个物理接地基准：让多模态大模型对突发家庭危险即时决策接物或躲闪并实际执行打分
前置知识
多模态大语言模型（MLLM）
在语言模型基础上接入视觉编码器（把图像转为 token 与文本共同建模）的模型，能对图像或视频帧进行理解、推理并生成文本（或结构化 JSON）输出，代表如 GPT-5.5、Gemini 2.5 Flash、Qwen3-VL 等，通常可通过统一 API 零样本调用。
本文评测的七个对象全是 MLLM：它们作为机器人的'大脑'读入三个机位的观察帧并输出 JSON 反应计划，理解其输入输出形式才能理解冻结-预测协议。
具身智能（Embodied AI）
研究智能体在具有物理的虚拟或真实环境中，通过身体去感知与行动以完成任务的方向，典型评测任务是导航、操作、重排等长时程规划，常用环境包括 Habitat、AI2-THOR、ManiSkill、BEHAVIOR-1K 等仿真平台。
ReactHuman 属于具身评测家族，但瞄准前人未覆盖的'即时反应安全'时间尺度；了解既有具身基准的评测粒度，才能理解本文为何说现有工作测不到这种能力。
刚体物理仿真
把物体视为不可形变的刚体，物理引擎按固定步长积分求解重力、接触、摩擦与碰撞动力学。本文用的 Genesis 引擎以 240 Hz 步长仿真，可从任意时刻的仿真器状态精确导出物体位置、轨迹与撞击点等真值。
本文的真值（动作标签、三维撞击点、落地时间）全部来自 240 Hz 刚体仿真状态，'逐比特可复现'与'无标注精确真值'两大卖点都建立在刚体仿真的确定性之上。
视觉-语言-动作模型（VLA）
把视觉-语言骨干端到端微调为直接输出低层机器人控制信号的策略，如 RT-2、OpenVLA、π0；与'冻结 MLLM 做零样本规划、调用离散技能'的路线相对。VLA 通常需要机器人数据做动作微调。
论文把'冻结 MLLM + 预训练控制器'定位为介于两条路线之间的评测载具，并指出原生 VLA 可不经修改进入相同场景、真值与指标，这是理解其评测设计定位的关键。
脑-脊柱-身体解耦（brain–spine–body）
把具身决策拆成三层：MLLM 作为'大脑'输出任务级命令（行走速度命令加手部关键帧轨迹），预训练 RL 全身控制器作为'脊柱'把命令转成平衡与关节力矩，仿真人形身体（Unitree G1）在物理引擎中与物体真实交互。
该解耦让评测分数可归因于推理质量而非运动控制质量——这是 ReactHuman 能公平比较七个 MLLM、并声称'分数衡量推理'的前提设定。
研究动机
现有评测没有一个能测量'把物理理解转化为即时、安全攸关动作'的能力。物理推理基准（Physion、CLEVRER、IntPhys、ContPhy、PhysBench）都是被动的：让模型看视频做合理性判断或多选题问答；具身评测（Habitat、AI2-THOR、ManiSkill、BEHAVIOR-1K、HumanoidBench）则聚焦导航、操作、重排等长时程深思熟虑任务。两者都回答不了：当物体开始倒向观察者时，模型能否在半秒内正确反应？随着 MLLM 被放到家用机器人与具身助手的认知核心，这从能力测试变成部署刚需——反应要像称职的人一样安全（避开伤害）、合理（做有理智的人会选并辩护的动作）、物理接地（手真的及时碰到物体）。论文强调，一个选择接住落下的厨刀、或决定正确却抓在半米宽处的模型，在任何 VQA 基准上都不会暴露失败。此外答案式协议易被猜测攻破：在 141/156/9 的标注分布上永远答 Dodge 就能拿 51.0%。
本文的目标是本文要构建第一个物理接地、面向类人反应决策的基准 ReactHuman：让被评测的 MLLM 充当仿真人形机器人（Unitree G1）的大脑，在室内场景遭遇 17 类突发家庭事件（覆盖坠落、滑滚、倾倒、铰接、弹道、因果链六种运动原型），在事件演化到临界决策时刻、时间被冻结的瞬间输出结构化反应计划，然后在同一物理引擎中真实执行该计划，并沿'合理（reasonable）、安全（safe）、物理接地（physically grounded）'三条轴做细粒度打分。工程目标同样明确：全部场景由整数种子确定性生成、逐比特可复现；真值由仿真器状态自动导出、零人工标注；流水线可扩展到 10^4 以上场景，并可按可配置比例注入对抗样本。论文反复强调基准定位是细粒度诊断工具而非单一榜单排名。
与已有工作不同的是，ReactHuman 的独特切入是把评测单元从'答案'换成'带可观察物理后果的具身交互'，在三个维度同时偏离现有工作。其一，与最接近的 PhysBench 相比，模型输出不是选择题答案而是行走速度命令加手部关键帧轨迹的动作计划，选择有真实安全后果；其二，真值（动作标签、三维撞击点、落地时间）由 240 Hz 刚体仿真状态精确导出而非人工标注，使量化评测可无限扩展；其三，每个提交的计划都由仿真人形（预训练 RL 行走策略驱动）在同一个 Genesis 场景中执行——接住就是接住，够不着就是够不着。论文统计：模型说 Catch 但手的中位落点偏离真实撞击点 0.48 m、89% 落空、49% 的决策里机器人站在 0.8 m 之外手臂根本够不到，多重选择基准会把这全部判对。再加上'脑-脊柱-身体'解耦把分数归因于推理而非控制质量，以及外观与物理相矛盾的对抗物体探测（泡沫铁砧、钢苹果），构成了其他基准都不具备的诊断视角。
核心方法
整体思路是'冻结-预测-执行'（freeze-and-predict）：一场全物理仿真的突发家庭事件演化约 0.6 秒（$\Delta\approx 0.6$ s），从最多三个同步机位提供观察窗口；随后仿真时间冻结，被评测 MLLM 输出结构化反应计划——意图、置信度、行走速度命令与手部关键帧 $\mathbf{h}_i\in\mathbb{R}^3$，再由确定性规则分类为 Execute_Catch / Trigger_Dodge / No_Action 之一。冻结时间使所有模型面对同一决策问题、消除推理延迟混杂，打分完全确定。场景由三阶段流水线生成：冻结 LLM 做语义规划，整数种子随机化器独占全部物理参数，Genesis 以 240 Hz 刚体仿真渲染三视角，导出动作标签、撞击点 $\mathbf{p}_{impact}$ 与落地时间作真值。基准含 17 个事件族、1000+ 场景与含 14 个对抗变体的 82 物体库；评测取 306 场景、7 个模型共 2,138 次决策。
核心创新是把'反应式安全决策'本身变成可精确评测的对象，靠三个互相咬合的设计。第一，LLM 与随机数发生器分工：冻结 LLM 只贡献语义多样性（从自然语言描述解析物体、房间、事件路由），纯种子函数独占全部连续物理参数（初始速度、摩擦、恢复系数、几何、光照、相机位姿），使场景逐比特可复现、真值精确、零标注扩展到 10^4 场景——这是全 LLM 生成做不到的。第二，时间冻结：推理发生在暂停的仿真时间里，比较纯决策质量，不被 API 延迟污染。第三，物理执行：计划在恢复的仿真中由预训练 RL 行走策略（脑-脊柱-身体解耦）真实执行，模型无法靠'说对话'得分；真值按物体属性与运动学而非外观标注：轻、可抓、良性标 Catch；锋利、烫、碎裂、重、快标 Dodge。17 个事件族刻意隔离感知-推理-动作链的不同环节：object_drop 隔离语义选择，pendulum/bouncing 隔离时变拦截点估计，chain_reaction 要求先做因果传播，对抗物体（泡沫铁砧、钢苹果、铅芯网球）迫使模型从观测运动而非外观先验恢复正确动作。
方法步骤详情
场景生成分三阶段。Stage 1 LLM 语义规划：输入自然语言描述，输出经校验的事件族、物体、房间与族内提示，畸形输出自动重试；缺失物体从 Objaverse 按 LVIS 标签检索。Stage 2 种子物理随机化：纯种子函数采样初始速度、摩擦、恢复系数、几何与相机位姿；族内采样器编码物理先验，如斜坡角高于摩擦锥保证滑动。Stage 3 仿真与标注：Genesis 240 Hz 刚体仿真渲染三视角，导出动作标签、撞击点 $\mathbf{p}^{*}$ 与落地时间。评测流程：模型在 $\Delta\approx0.6$ s 观察窗后提交 JSON 计划，确定性规则分类动作，恢复仿真由 RL 行走策略执行，按五指标打分：SAA $=\mathbb{1}[\hat{a}=a^{*}]$；Safety 按 R1–R4 二值判定；末端距离 $d_{end}=\|\mathbf{h}_{final}-\mathbf{p}^{*}\|_2$；意图对齐 AIA 取 0/0.5/1；手部最近距离 $d_{min}=\min_i\|\mathbf{h}_i-\mathbf{p}^{*}\|_2$。
技术新颖性
技术新颖性可从与三类近邻的对比看清。对物理推理基准（Physion、CLEVRER、ContPhy、PhysBench）：ReactHuman 在两个轴上同时不同——输出是带安全后果的动作而非答案，且真值由仿真自动精确生成、可量化扩展；PhysBench 式多选 VQA 无法区分'选对动作但手放错位置'。对具身评测（Habitat、BEHAVIOR-1K、HumanoidBench）：首次评测'即时反应安全'这一无人覆盖的时间尺度，并用脑-脊柱-身体解耦保留具身性——分数归因于推理而非策略质量。对 LLM 辅助场景生成（RoboGen、Holodeck）：保留种子随机化对物理参数的独占控制，兼得语义多样性与标签精确性。指标设计上，五指标沿三轴组织并把失败解耦：SAA 高但违反安全规则 = 不合理却安全；SAA=0 而 AIA 高 = 读懂场景却写错计划；SAA 对但 $d_{end}$ 大 = 动作对而运动学不接地；HDE 进一步区分'路径游荡但终点接近'与'根本没朝目标移动'（89% 的抓取失误是够不着而非方向错）。这套确定性设计同时构成可扩展的训练信号。
实验结果
七个 MLLM 在 306 场景上共 2,138 次决策，总体均值 SAA 54.0%、安全 80.8%。GPT-5.5 的 SAA 最高（63.7%）；Gemma-3-27B 次之且安全最佳（88.2%）；Claude Opus 4.8 安全垫底（64.7%）。发现一：需要躲避时最易失败——Dodge 场景中 35.9% 决策违反安全规则，253/392 的错误是原地冻结；410 次违规以冻结（162）和该躲不躲（128）为主。发现二：行为由模型而非场景决定——六模型偏后退，Claude 相反（catch 67% 对 dodge 34%）。发现三：更大不更安全（Gemma-3-27B 反超旗舰）。分族看：弹跳球 66.7% 对倒塌罐塔 38.9%；天花板灯 91.3% 对投掷物 54.8%。'正确但够不着'：动作正确时手中位偏离 0.48 m、89% 落空、49% 站在 0.8 m 外。速度感知二元：最慢档冻结率 42% 对 21%，仅 27% 跨速度答案一致。投票：多数投票 62.1% 不敌最佳单模 63.7%。对抗探测：280 次决策无一质疑材质，钢罐与轻罐伸手率同为 39%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 突发危险反应决策（306 场景 × 7 模型） | 语义动作准确率 SAA（%） | GPT-5.5 63.7（七模型最佳） | 七模型平均 54.0；多数类猜测（永远 Dodge）51.0 | 较平均 +9.7pt，较多数类基线 +12.7pt，但绝对水平仍低（约三分之一危险处理错误） |
| 突发危险反应决策 | 安全有效性 Safety（%） | Gemma-3-27B 88.2（最佳） | 七模型平均 80.8；最差 Claude Opus 4.8 仅 64.7 | 较平均 +7.4pt；小模型反超旗舰，体现'更大不更安全' |
| 抓取末端物理接地 | 末端距离 d_end（米，越低越好） | Claude Opus 4.8 1.07（最佳） | 七模型平均 1.23；中位偏差 0.48 m 且 89% 落空 | 较平均 -0.16 m，但绝对偏差仍在米级，说明物理接地远未解决 |
| 动作-意图一致性 | AIA（0/0.5/1） | Gemma-3-27B 0.61（最佳） | 七模型平均 0.47；最差 Kimi K2.6 0.32 | 较平均 +0.14，说明小模型更常'说的和做的一致' |
| 手部轨迹趋近目标 | 最近手距 d_min（米，越低越好） | Claude Opus 4.8 1.06（最佳） | 七模型平均 1.21 | 较平均 -0.15 m，但所有模型的手部都从未真正接近撞击点 |
| 对抗外观-物理探测（40 场景 × 7 模型 = 280 决策） | 对伪装物材质/重量的质疑率 | 0%（无任何模型质疑） | 泡沫天花板 49/56 被躲避；钢罐伸手率 39% 与轻罐 39% 完全相同 | 无提升——外观先验 100% 主导决策，暴露外观依赖这一共性盲区 |
局限与改进
作者承认的限制：真值来自仿真器，刚体仿真不含变形与破碎，结论需在真实硬件上验证；决策按构造是开环的（一次冻结观察、一次提交计划），后续人形执行虽物理仿真但不做运动中重规划；被评测模型是移动靶，结果只反映特定 API 快照。我的补充观察：AIA 靠关键词匹配给意图打分，0/0.5/1 三级很粗糙，可能系统性低估表达方式不同的模型；动作标签由目录属性和运动学规则决定，在边界情形（中等重量、中速物体）可能武断；No_Action 仅有 9 个真值场景，该类别的结论统计功效很低，R3 规则实际主要由 156 个 Dodge 场景间接承担；行走策略的可达包络影响 $d_{end}$/$d_{min}$ 的解释——49% 失误源于 0.8 m 外站定，但这既可能是感知失败，也可能是规划器缺乏'先走近再伸手'的组合能力；每个设置仅单次采样、未报告跨种子方差；输入图像分辨率与压缩对表现的影响也未消融。
独立分析的弱点
独立分析的弱点：其一，AIA 用关键词匹配评分，无法处理同义改写，且与 SAA 部分耦合，改进方向是换用 NLI 模型或 LLM-as-judge 并报告与人工标注的一致性。其二，开环单步决策是最明显的简化——真实反应需要观察-行动循环（第一次伸手未中后还有第二次机会），可扩展为多轮冻结-预测、每轮解冻约 0.2 s。其三，动作空间只有行走命令加手部关键帧，没有抓取自由度、躯干姿态或步态参数，无法区分'不会抓'与'不会走近'，可加入可验证的接触目标。其四，类别严重失衡（Catch 141 / Dodge 156 / No_Action 9），关于 No_Action 的结论缺乏统计功效，应增采样'事件够不到观察者'的场景。其五，速度只有四个粗档且每档单场景，无法拟合反应准确率随速度的连续曲线。其六，对抗探测仅 40 场景、280 个决策，置信区间很宽，扩展到数百场景并加入对抗微调消融才有说服力。其七，'类人反应'缺少人类基线锚定，没有采集真人反应时间与选择分布做对照，'human-like'目前只是隐喻而非量化声明。
未来方向
作者提出的方向：闭环评测（重复观察-动作循环）；加入布料与流体等非刚体事件；把原生 VLA 策略放进相同场景、真值与指标做对比；面向部署的四个缓解——对冻结倾向用安全约束解码、用配对 catch-and-dodge 训练打破固定处置倾向、对速度与材质感知用运动接地的监督信号。基于成果可延伸的：把五指标直接用作 RL 奖励或 DPO 偏好信号做反应决策微调；利用逐比特可复现性构建课程学习（按警告时间 $\Delta$、速度档、对抗比例渐进加难）；扩展到多人/多智能体场景（有人在场的避让决策）；把 Objaverse 自动注册管线用于软体物体；用本基准诊断 VLA 在突发扰动下的分布外行为；以及 sim-to-real 验证——在真实桌面复现部分事件族，检验 $d_{end}$ 与人类安全间距的相关性。
复现评估
复现条件良好，属于难得的高可复现基准工作。数据集已在 HuggingFace 发布（Alan123/reacthuman-benchmark-scaled）；三阶段流水线的核心承诺是逐比特可复现：同一整数种子完整重跑得到相同仿真，每个场景自带完整 specification，并有 spec-仿真几何一致性校验器把关。评测代码随基准发布，含确定性动作分类规则与五指标实现。模型评测经由统一 OpenRouter API 复现（论文给出全部七个 model ID），成本主要是 API 调用费——2,138 次决策中 4 次因 API 错误丢失，提示需要重试逻辑；训练侧无需 GPU（所有模型零样本、冻结），仿真侧需要 Genesis 引擎与预训练 RL 行走策略（Rudin et al. 2022 / Unitree RL gym），单卡即可跑 240 Hz 刚体仿真与三相机 1280×720@60fps 渲染。扩展到 10^4 场景零标注成本，对抗样本注入率可配置。主要门槛是搭好 Genesis+控制器环境与支付前沿模型 API 费用，总体复现难度中等偏低。
论文图表