SpatialCLI：先学会用空间工具推理，再脱离工具内化能力 SpatialCLI: Learning to Reason With Spatial Tools, Then Without Them

完整步骤见Algorithm 1。第一步Call：注册四个工具并定义Interact(π,x,U,B)循环——初始化历史H←(P_U,I,q)，每轮采样回复r=(z,u)；若u是终态答案则返回ξ=(I,q,τ,y)，否则解析为工具调用a_{k+1}、执行o_{k+1}=U(a_{k+1})、把(z,a_k,o_k)追加到轨迹τ并把剩余预算(上限10)加回H，耗尽后强制无工具产出答案。第二步Cold-Start SFT：用Qwen3.5-397B-A17B教师跑约5000任务，丢格式非法/失败/错误样本留约40%≈2000条，对模型生成的推理、工具调用、答案token算NLL，得π_SFT。第三步Agentic RL：从π_SFT出发，对每任务用GRPO采G=8条交互，按最终答案给奖励R_i=V(y_i,y*)(多选题匹配得1/0，BOPASK用点集Chamfer分数)，以非对称裁剪(ε_low=0.20,ε_high=0.28)、双裁剪C=3.0优化得π_RL。第四步Verbalization：对每条成功轨迹逐轮落地e_t=Ψ_ext(I,q,e_<t,z_t,a_t,o_t)、再全局c=Φ_verb(I,q,E_τ,y*)生成推理链，禁止引入E_τ外的实体/数值。第五步双视角训练：内化视角(I,q,c,y*)与工具视角原交互ξ(屏蔽工具返回token)联合最小化L_CI=L_internal+0.5·L_agentic。工具内部，Locate融合两模型(交叉确认框b_F=round((2b_L+b_D)/3)、去重IoU≥0.75)，Segment用Douglas-Peucker简化到≤16顶点且掩码IoU≥0.97，Depth在504px读深度像素，Pose对物体放大裁剪框10%喂Orient Anything V2、相机运动用VGGT算外参归一为有符号轴。

技术新颖性体现在四处。第一，'成功轨迹→内化监督'的闭环首次把空间专家工具的感知证据变成VLM自身能力，这是与SpaceTools/AlloSpatial只学工具、与SpatialVLM只直接微调的根本区别。第二，渐进式证据落地解决了长轨迹一次性verbalization会丢失跨轮依赖、又无法避免重复处理长上下文的难题：逐轮合并e_t保留依赖、全局verbalization整合，每条感知陈述都必须可追溯到当前工具结果或显式视觉观察或前一单元，并刻意扣住正确答案防止证据被答案污染。第三，双视角训练L_CI=L_internal+λL_agentic用一个权重λ优雅协调'内化'与'工具保留'两个目标，消融(Table 3、12)证明λ=0.5是最优平衡点、λ过大(1.5)会让CII从60.8掉到55.6。第四，配套SpatialCLI-Bench用私有oracle工具计划(平均3.81步、≤5步)从构造机制上强制每题组合≥2类能力，并通过两位研究生盲答独立审核(720候选留516，保留率71.67%)保证质量，这是首个系统评估组合空间感知的基准。此外结构化工具返回(坐标/多边形)优于可视化返回(Visual Only 45.9 vs Structured Only 66.5)的发现也指导了内化数据构造。

第一个弱点是工具与感知覆盖窄，改进方向是把工具从'感知'扩展到'行动'——作者自己也提到要集成VLA工具在VLM规划下做联合感知与动作，这能补上当前只到感知、不到控制的断层。第二个弱点是结构化返回限制了内化粒度，比如分割丢失孔洞、姿态丢失连续角度，可改进为用统一多模态模型(既能理解又能生成)把工具输出直接以图像/深度图形式回灌并内化，让模型学会生成像素级掩码与稠密深度而非离散标签。第三个弱点是单目深度的系统噪声会传染给内化模型(案例中无工具估计0.362m/0.615m与工具0.351m/0.637m接近，但若专家本身就错内化也会错)，改进方向是引入多视角或物理传感器做深度监督、或在verbalization阶段对置信度低的深度标注降权。第四个弱点是基准规模小(516)且与MindCube数据亲缘，改进方向是扩充更多视觉源、引入开放式答案与连续评分、并对'是否真需组合多能力'做更严格的oracle计划审计。第五个弱点是延迟高(单次工具2.916秒、最多10次调用)，改进方向是工具蒸馏(把6个专家蒸馏成1个多任务模型)、或在内化后自适应决定何时调用工具以减少调用次数。

作者明确提出两条未来方向：(1)用统一多模态模型把内化从结构化输出扩展到多模态输出，让模型能内化并生成图像、深度图、掩码图等非文本感知结果；(2)在VLM规划下集成VLA(视觉-语言-动作)工具，实现感知与动作的联合，向具身控制迈进。基于成果可延伸的方向还有：把'成功轨迹内化'范式推广到非空间领域(如检索、代码执行、GUI操作)的专家工具；研究内化的负迁移与遗忘——当专家被替换或升级后如何低成本更新内化模型；探索自适应工具调用(让内化后的模型自己判断当前任务需不需要工具、用哪个)，这与Table 11显示的训练后调用率从99.3%降到81.5%的趋势一致；以及在更大模型(27B/35B)上验证CII随容量继续上升的缩放规律，向物理世界原生基础模型推进。

复现评估整体较高。作者已开源代码(github.com/IANNXANG/SpatialCLI)、模型与数据集(HuggingFace ZYT-MFM/SpatialCLI-8B与SpatialCLI-Data)，这是重要加分项。训练细节透明：三阶段共用3.7万任务池(Vlaser 5000、MindCube-Train 10000、BOPASK两子集各10000、RefSpatial 2000)，SFT用397B教师约5000任务过滤留40%≈2000条，RL约1万任务、GRPO组G=8、非对称裁剪0.20/0.28、双裁剪C=3.0，内化约4.2万成功轨迹→约8.4万视角样本、λ=0.5，冷启动与内化用AdamW lr=2e-5、2 epoch、batch 64、ctx 32768，RL用lr=1e-6、batch 128，工具预算10、随机种子42，硬件为16块约96GB PPU-ZW810E、SFT与RL各4节点。主要复现难点有三：(1)算力门槛高，需4节点×16加速器；(2)依赖6个专业视觉模型的在线服务与两级缓存，部署工程量大；(3)冷启动SFT与verbalization都依赖397B闭源级教师，纯开源复现需找替代教师。基准构造虽详细(720候选→516留71.67%)但涉及人工双盲审核，重构造成本不低。综合看方法学复现度高、端到端完整复现需可观算力与工程投入。