TARSphere：面向演化物理与社会环境的机器人长时程具身智能体全栈框架 TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

方法步骤完整描述如下。第一步，观察输入：Harness 每次决策接收当前自我中心 RGB 图像、机体系 LiDAR 扫描、公共事件与执行反馈，其中运动残差与碰撞方位角报告移动误差大小与接触方向。第二步，决策输出：模型经思维链推理（图 3 中有完整 示例）后通过统一技能接口提出 1–5 个动作，可选身体原语 $\mathrm{move\_body}(\Delta b)$、$\mathrm{move\_end\_effector}(\Delta\xi, g)$，操作技能 $\mathrm{grasp\_object}(o)$，导航技能 $\mathrm{navigate\_to\_entity}(e)$、$\mathrm{navigate\_to\_frontier}(\ell, d)$，以及社交动作 $\mathrm{ask}(h, q)$、$\mathrm{speak}(h, u)$、$\mathrm{remember\_entity}(e, m)$。第三步，物理执行：动作串行送入 Isaac Sim/PhysX，可在工具边界返回控制并取消剩余动作；行走由学习策略驱动，抓取由 SAM3 定位、GraspGenX 生成抓取位姿、cuRobo 规划臂运动，需物理获取并保持物体。第四步，社会交互：机器人询问 NPC 需满足邻近性与可见性（Robot→NPC: visible + near），NPC 语音仅在听力范围内可达（NPC→Robot: near），LLM 后端按授权话题返回回复。第五步，状态更新：FSM 在 DAG 前置条件与实时物理/交互条件满足时接受事件，NPC 动作经 Idle–Queued–Acting–Done 四态，确认完成与实际送达才提交任务转移（如 recipient: Elena→Marcus）。第六步，评测：五个依赖检查的阶段——任务理解、现场目标观察、现场完成、接收者观察、最终完成——按 $\mathrm{Prog}(e) = \frac{1}{5}\sum_{i=1}^{5} g_{e,i} q_{e,i}$ 计进度，$\mathrm{Succ}(e) = c_e (1 - u_e)$ 计成功，其中 $c_e$ 表示正确完整的报告送达预期接收者或正确物体被接受交接，$u_e$ 表示终局跌倒或物体丢失；路径效率 $\mathrm{Eff}$ 用骨盆 XY 位移积分 $L_{m,e}$ 除以标定路线长度 $d^\star_e$。数据构建侧同步进行：任务卡/NPC 档案/3D 场景输入 → 编码智能体按 SKILL.md 联合求解语义-因果-几何约束 → 多智能体审查（因果、对话、结局绑定、评分捷径、几何、多样性）+ 人工审核 → 仿真验证事件投递与物理执行。

技术新颖性体现在四个方面。(1) 事件驱动的任务状态机是评测中枢：只把'已确认的动作完成'与'实际送达的消息'作为状态提交凭据，评测器对五个依赖检查的结局按证据产生时生效的需求打分，任务更新事件本身不计分——这使'执行中改需求'首次成为可严格评测的维度。(2) 具身 NPC 不是布景：授权知识、可用性、邻近/可见/听力三重空间约束共同决定信息可得性，社会交互成为任务完成的必要环节（HC 需要他人的信息或现场协助，交接需接收者接受），而 GRBench 只做到了'可以对话'。(3) agent-in-the-loop 构建：用代码智能体按 SKILL.md 联合求解实体绑定、事件依赖与交互位置，多智能体审查六类问题（因果时序、对话自然度、结局绑定、评分捷径、几何间隙、任务覆盖）加人工审核加仿真验证，消融证明去掉多智能体审查可用率从 96.7% 暴跌至 45.0%（-51.7 点），说明该管线本身是可量化的贡献。(4) 受控干预研究方法论：把执行辅助（运动、附着、定位、建图四项）与五种能力条件交叉，用 $G_{ac} = S_{ac} - S_{a\mathrm{Base}}$ 与 $I_{ac} = G_{ac} - G^\mathrm{normal}_c$ 度量辅助是否缩小能力缺口，得出'执行增益不等于能力缺口缩小'的结论，这超越了聚合排名式评测。

独立分析的弱点与对应改进方向：(1) 任务族覆盖过窄——仅两种服务任务，无法检验多房间整理、烹饪等依赖链更长的任务，也缺少室外与移动操作场景，可扩展任务 DSL 与更深的因果 DAG 以提高难度上限。(2) Harness 结果可能与接口设计强耦合——消融显示去掉语义空间记忆反而让 PR/HC 成功从 41.7% 升至 58.3%，去掉 LiDAR 在导航 Base 上只掉到 41.7%，说明组件收益依赖任务分布；可引入元控制器或按模型自动搜索记忆/技能配置，报告'接口敏感性'作为模型评测的一部分。(3) 跌倒后恢复机制原始——定性案例中模型只会反复调用 stand_up，可加入专门的自恢复技能库、跌倒检测触发的人类求助策略，或把恢复行为交给低层策略。(4) NPC 行为脚本化——仅 Idle–Queued–Acting–Done 四态与授权话题问答，缺少多人同时在场、动态日程、误导信息等社会复杂度，可引入多人协商与信息可信度推理任务。(5) 评测指标对部分完成不敏感——Progress 五阶段均权，无法区分关键阶段（物理交接）与辅助阶段（计划质量）的权重，可引入依赖敏感加权或风险调整后的进度度量；同时碰撞/跌倒只作二元记录，可与任务进度联合构造安全-效率权衡曲线。

作者提出的方向：向 Mobile-Franka 真机迁移；用任务适配的 VLA、视觉语言导航与操作后端替换或增强图 3(e) 的控制器后端（该接口本就设计为可替换）。基于本文成果可自然延伸的方向：(1) 把失败机制标注（工具接口错误、任务状态错误、物理执行失败、未解决四类，共 2,535 次失败运行）作为针对性微调或提示优化的监督信号，直接修复'未获回答就标记完成'这类系统性缺陷；(2) 学习型记忆整合——让模型从执行反馈中沉淀可复用技能与场景先验（ASPIRE、Zetta 的技能积累思路），而非每个 episode 从零规划，尤其可缓解 TU/HC 缺口；(3) 安全感知规划——把碰撞方位角与运动残差升级为前馈风险预测，主动避开易碰撞区域、在跌倒风险高时减速，把 Safety 指标从被动记录变为主动优化目标；(4) 更深的社会智能——多 NPC 协作、意图冲突、信息不完全可信时的追问与交叉验证，可利用现有授权知识机制扩展；(5) 用 TARSphere 的物理反馈轨迹做闭环强化学习或偏好优化（DPO 式）的数据来源，训练既会推理又懂执行反馈的具身模型，回应该文'通用与具身能力需兼得'的发现。

复现评估：代码与项目页已公开（github.com/xuyicheng-zju/TARSphere，项目页 xuyicheng-zju.github.io/TARSphere），基准的 360 个 episode、agent-in-the-loop 构建管线（SKILL.md、多智能体审查、仿真验证流程）与五阶段评分器随框架发布。基础设施依赖 NVIDIA Isaac Sim/PhysX 与 GRScenes-100 场景资产（源自 GRBench），需要一台配 RTX 级 GPU 的工作站，仿真环境安装、资产配置与 G1 控制器接入有中等偏高的工程门槛。评测成本方面：8 个模型中 4 个是专有 API（GPT-5.6-Terra、Claude Sonnet-5、Gemini-3.8-Flash、Qwen3.7-Plus），按默认配置平均每个 episode 约 43.2 次决策、每次约 10.5k token，跑完 360 episode × 多条件会产生可观的 API 费用；开源模型（Qwen3.8-27B、Gemma-4-31B、RoboBrain2.0-32B、Hy-Embodied-VLM-1.0）需多卡 GPU 推理。数据构建侧若要自建新任务，需要编码智能体 + 多个审查 LLM + 人工审核的完整流程。综合判断：环境搭建难度中上，评测执行的主要成本在 API 与算力，复现单模型结果可行，完整复现 8 模型 × 360 episode 的主表需要较大预算；好在所有模型权重冻结、无训练环节，省去了训练算力。