HumanCLAW：让冻结视觉语言模型通过身体行动的评测框架 HumanCLAW: Can Vision-Language Models Act Through a Body?

完整步骤如下。(1) Contextual Prompting：每步 VLM 接收 system prompt（控制蓝色人形机器人、egocentric 相机）、高层 instruction（如「找沙发坐下」）、可用 motion skill 列表与每个 skill 的使用规则、以及 recent steps 的文本 history（之前的 visual state、reasoning、selected action），history 是动作连贯性的关键 cue。(2) Ego-Perception and Spatial Understanding：VLM 输出格式化的 visual state，从左到右描述可见物体、近似距离、target 是否可见、immediate surrounding 是否有 obstacle 或 affordance（stairs、open space、sitting surface），把空间解释外化。(3) High-to-Mid-to-Low Reasoning：先 interpret 长 horizon instruction 在当前 visual state 下应 search/approach/align/interact；再 derive mid-level objective（如 move toward visible object、entering open area、aligning with stairs、turn before sit）——每步显式决定 inherit 还是 revise 前一步 mid-level 目标；最后 convert 为 low-level skill。(4) Low-Level Motion Skill Choice：从 skill pool 选 skill category（turn/sit 等）+ 连续参数，以结构化 JSON 输出。(5) Skill-Specific Spatial Response Verifier：motion generation 前应用 short-context verifier，检查 spatially unsafe 或 premature proposal——走时会撞障碍？stop 前已到 target？climb 无可见 stair？sit 从无效 pose？失败则用同 action pool 的 corrected skill 替换；这是为对抗 VLM 随 rollout context 变长 spatial reasoning 退化、planner hallucinate progress（声称到达却仍远）。(6) Skill-Conditioned Motion Generation：Motion Base DiT（38M 参数、10 层、8-head self-attention、30fps）输入 5 帧 clean history + 15 帧 noisy future 作为 motion token $u^\tau=[x_{t-4:t},\tilde{x}_{t+1:t+15}(\tau)]\in\mathbb{R}^{20\times d}$，$d=219$；flow time $\tau$ 由 sinusoidal MLP 经 adaLN-Zero 注入；预测速度场 $\hat{v}_\theta=G_\theta([x_{t-4:t},\tilde{x}_{t+1:t+15}(\tau)],\tau)_{t+1:t+15}$，仅保留 future token 输出。AMASS 上以 20-frame chunk 训练，先 calibrate 到 chunk-local frame 去除全局平移与 yaw。Flow matching 构造 $\tilde{x}(\tau)=(1-(1-\sigma_{min})\tau)\epsilon+\tau x_{fut}$、$v^\star=x_{fut}-(1-\sigma_{min})\epsilon$，最小化 $\|\hat{v}_\theta-v^\star\|_2^2$，推理用 30-step midpoint solver。(7) Plug-and-Play Skills as ControlNet：每个原子技能对应一个 ControlNet-style adapter，base DiT 冻结，$z^{\ell+1}=B_\ell(z^\ell,\tau)+W_\ell C_\ell(z^\ell+e_s(c_t),\tau)$，$W_\ell$ 零初始化；scalar 条件用 MLP，spatial 条件用 Fourier features 再投影；每个 adapter 独立训练（AdamW lr $3\times 10^{-4}$、batch 2048、5×10⁵ 到 1.5×10⁶ step），新增 skill 不需改其他 skill。(8) Half-physics Simulation：基于 AI Habitat + Bullet，把 0.5s pose 序列转成等价 root/joint velocities 作为人形唯一驱动信号。

技术新颖性集中在五点。第一，把「动作智能」精确定义为空间智能的 operational component——closed-loop、physical-grounded、且 body-state 是问题的一部分——比开环 spatial QA 或 generic planner 更窄但更准，使评测能定位 failure 在哪一层。第二，用 skill-conditioned motion generator + frozen VLM 实现「决策—执行解耦但 body 自由行动」，且新增 skill 只需训练新 ControlNet adapter，不动 base、VLM、sim 或其他 skill——可扩展性强。第三，high-to-mid-to-low reasoning harness + skill-specific verifier 这一 scaffold，把长 horizon composition 留给 VLM 推理而非 fuzzy command，verifier 用 compact 技能特定 prompt 反制 long-context 退化。第四，half-physics 把 balance 排除但保留 contact/collision/gravity/object dynamics，使 collision、推物、被墙挡等失败可归因到 action-level 决策。第五，不训练 decision maker——所有 composition 在 reasoning 里 zero-shot 发生，这背后是「generalizable action intelligence 源于推理而非拟合动作数据」的哲学承诺。

独立分析的弱点及改进方向：(1) Interaction 多样性不足——只 sit。改进：加 reach/grasp/open/push/drop 等 manipulation skill，每个新 ControlNet adapter 即可 plug-and-play，能 stress finer body placement，也会暴露 sit 之外的 body-awareness 缺陷。(2) 无 proprioceptive/tactile feedback 是 architectural limitation——body awareness 占 34% nav 失败和 81% interact 失败，可能核心是 missing input 而非 missing faculty。改进：把 contact sensor、joint position、IMU 注入 prompt 或作为额外 modality，做对照实验验证「输入缺失」vs「能力缺失」。(3) 未对比 fitted VLA。改进：在同一 bench 上跑 RT-2/π0/GR00T 类 VLA，直接验证「reasoning vs data」的哲学承诺，目前结论是「failures 在 decision 层」但缺少对照组。(4) simulation-only，无 sim-to-real。改进：把 decision maker 接到真实 humanoid 或 teleoperation rig，验证 half-physics 抽象是否过度乐观。(5) atomic skill vocabulary 固定为 8 种、参数语义预设。改进：让 VLM 自己 propose new skill parameterization（learn-to-call tools），或引入连续参数学习。(6) 评测仅单一 scene distribution（41 HSSD indoor house）。改进：跨 dataset（HM3D、MP3D、真实扫描）验证 generalization，并加 dynamic scene。(7) 长 context 退化仅靠 verifier patch。改进：persistent spatial memory 模块、calibrated termination head、internal body-state model从架构上根治。(8) failure attribution 是规则驱动，可能误分。改进：引入人工标注的样本验证规则准确率。

作者明确提出的方向：(1) richer interaction vocabulary 拓宽 interact stage；(2) 把 competent decision maker 迁到 physical humanoid（half-physics→full physics）；(3) targeted training for body awareness（作者认为是「tractable」open question）；(4) 加入 body-state/contact signal 作为输入，验证是否 missing input。基于成果可延伸的方向：(a) 把 HumanCLAW 框架扩到 manipulation（抓取/开门/整理），利用 plug-and-play adapter 的可扩展性；(b) 加入 persistent spatial memory、calibrated termination head、internal body model 来 close embodied self-awareness gap；(c) 在同一 bench 上跑 fitted VLA 对比 frozen reasoner，直接验证「reasoning vs data」bet；(d) multi-agent 协作（多人形共同任务）；(e) outdoor 与 dynamic scene、真实扫描场景的泛化；(f) 用 verifier 反例做 RL fine-tuning signal 训练 body awareness；(g) 把 action intelligence 定义推广到 7-DoF 机械臂之外更复杂 embodiment；(h) 把决策与 motor 控制的 boundary 设计成可调参数，研究不同 granularity 下归因变化。

Project page: https://human-claw.github.io。Motion generator 基于公开 AMASS/BABEL 数据，DiT 仅 38M 参数、训练细节明确（flow matching、30-step midpoint solver、AdamW lr $3\times 10^{-4}$、batch 2048、5×10⁵ 到 1.5×10⁶ step），中等规模 GPU 即可复现。Benchmark 基于公开 HSSD 41 validation house + AI Habitat + Bullet，1,218 episode 的配置明确（distance ≤3.5/≤8m、choice ≤2/≤5、obstacle ≤2.5/≤5 阈值；6 个 target category；sit 597 / nav 621 子集划分），难度分层规则透明。VLM 部分混合 proprietary API（GPT-5.5、Gemini-3.1、Claude-4.8）与 open weight（Gemma-4-31B、Qwen3.x、InternVL3.5-38B）——open 模型可复现，proprietary 版本结果可能随 API 更新漂移。Root-cause attribution 用 deterministic 规则（Table 7：navmesh geodesic distance、pelvis-object mesh contact、per-step egocentric render、action stream、model visible state），完全可从 log 复现且无人工标注，可复现性高。算力需求：motion generator 训练 batch 2048 需中等 GPU；inference 每 episode 约 78 步、每步一次 VLM API call，主要成本在 API token（Gemini-3.1 in 5890/out 311 per step）。整体难度中等偏上，主要卡点在 Habitat+Bullet 集成、AMASS 数据处理与 half-physics 的速度转换实现。