Capek 0.5：面向具身智能的以执行为中心的视觉-语言模型 Capek 0.5: An Execution-Centric Vision-Language Model for Embodied Intelligence

第一步【能力数据构造】：把 30+ 个数据集的样本按执行角色重新归类，统一序列化格式（坐标统一映射到 $[0,1000]^2$ 像素系，时间输出起止秒）。状态验证这块全部基于 BEHAVIOR-1K 家庭操作轨迹，锚定到执行相关的原语/技能/任务检查点上，分两个层面——物理层面 PSV 用局部转换窗验证物体状态谓词，任务层面 PVE 用因果任务前缀估计进度并预测下一步动作。第二步【专家训练】：四个专家都从同一骨干出发，用 token 级 GRPO（公式 1-2）训练，奖励结构统一为 $R=\lambda_{ ext{fmt}}R_{ ext{fmt}}+\lambda_{ ext{acc}}R_{ ext{acc}}$，具体到每个能力有专门的 verifier，比如时序定位用 temporal IoU（公式 4），轨迹用归一化后的离散 Fréchet 距离配指数核 $R=\exp(-\lambda_{ ext{traj}}C)$（$\lambda_{ ext{traj}}=10$），进度用 25 个百分点截断的邻近度 $r_{ ext{value}}=\max(0,1-|\hat{p}-p|/25)$。还做了 rollout 样本筛选：组内奖励方差为 0 的 prompt 被下采样或审计。第三步【整合】：先用 TIES 算出 $ heta_{ ext{TIES}}= heta_0+\lambda\cdot ext{TIES}_ au(\{\Delta_e\})$（$ au=0.8$，$\lambda=1.0$）作为初始化，再做路由式 MOPD（公式 7），学生先采样 $y\sim\pi_ heta(\cdot|x)$，对应教师 $q_r$ 给出 token 对数概率算蒸馏优势（公式 8，带 stop-gradient 和裁剪），用 token 均值策略梯度更新。训练时专家和路由只在训练用，推理只用单一 checkpoint。

技术新颖性体现在三点。一是分类法的功能性：把异构输出（点/框/轨迹/时间区间/谓词/进度）按执行角色归并，而不是按输出形状归并，让同一专家内部能容纳多种互补格式，这降低了专家数量又保留了多样性。二是奖励体系的统一性：四个专家共享「格式奖励 + 任务准确率奖励」的二元结构，但每种输出格式都配了专门的规则化 verifier（temporal IoU、DFD 指数核、点 F1、目标掩码命中、最近邻对称分等），既统一又能精确反映任务对错。三是整合方法的选择性：单独用 TIES 会在 MindCube 和 StateBench-T 上退化，单独用 MOPD 时序能力保留得不够好，而 TIES+MOPD 组合取得最强综合权衡（7/8 项最佳或次佳），这种「权重合并给初始化 + 在线蒸馏做精修」的两阶段是经验上验证过的最佳配置。此外 Capek-StateBench（含 P/T 双 track，500 例）填补了状态验证评测空白。

第一个弱点是能力整合的固有损失，尤其时序类合并后损失最大（EgoTempo 从专家 50.80 跌到 44.60），改进方向是探索更细粒度的路由机制——比如推理时也用轻量路由器动态选择激活哪部分参数，而不是完全压扁成一个稠密策略。第二个弱点是状态验证能力偏弱且评测样本太少（Capek-StateBench 只有 500 例，T 轨 287 例），改进方向是把 StateBench 扩展到更多场景和物体类别，并引入更多失败/边界案例（如部分完成、错误顺序）。第三个弱点是评测停留在仿真且评测协议对自家 Qwen pair 严格、对外部模型用其推荐设置，比较不完全公平；改进方向是统一所有模型的解码配置（这点作者部分做了），并尽快上真机。第四个弱点是当前模型只输出中间推理结果（点、框、轨迹、谓词），并不直接闭环控制，下游控制器要把这些中间产物翻译成关节指令，这条翻译链路本身有误差累积；改进方向是把 Capek 扩展成 agentic brain，把工具调用、代码编排、动作技能都纳入执行循环（作者自己也在 Future Work 里提出了这个路线）。

作者明确提出的方向是把 Capek 0.5 从「统一具身推理器」升级成「agentic 具身大脑」：让模型能调用三类工具——感知工具获取任务相关证据、可执行代码作为长时程分解与恢复的编排层、动作工具暴露机器人技能而把底层控制留给专门策略；工具调用本身成为执行循环里的一等公民，模型要决定何时调用哪个工具、把调用组合成可执行工作流、解读反馈并在结果偏离预期时重规划。作者计划用同样的 specialist-to-unified 协议（新专家→合并→蒸馏）来获得这些能力，并把评测延伸到更长时程的交互任务和真实物理机器人。基于现有成果我自己觉得可延伸的方向还有：把路由式 MOPD 换成动态专家混合（MoE 风格的推理时路由）以减少能力损失；把 Capek-StateBench 的思路推广到「错误诊断」而不只是进度估计；把四能力分类法扩展到多机器人协作场景，新增协作时序与共享状态验证能力。

复现评估总体较好但门槛很高。有利因素：骨干 Qwen3.6-35B-A3B 和 Qwen3.5-2B 公开；评测用的是开源基准（多数公开，Capek-StateBench 作者也公开了 500 例和完整协议）；关键超参都有交代（TIES τ=0.8、λ=1.0，GRPO ε 裁剪、KL 系数 β，轨迹 λ_traj=10，进度 25 点截断，MOPD ε_max 裁剪，推理用 vLLM、128K 上下文、≤64 视频帧、temp 0.7、top-p 0.95、top-k 20、≤16384 token、thinking 开启）；评测用 DeepInsight 记录每次运行的配置、生成和分数，可审计。困难因素：（1）算力门槛极高，训练 35B MoE 专家 + 多教师蒸馏需要大规模 GPU 集群，普通团队难以复现；（2）数据工程量巨大，从 30+ 个数据集重新归类、过滤、统一坐标和序列化，工作量是论文的隐性大头；（3）BEHAVIOR-1K 仿真器和状态验证标注流程复杂；（4）部分数据源（如 SenseNova-SI-8M、RoboAfford++、OneThinker）是否完全公开需要核实；（5）论文未开源代码和最终 checkpoint（至少正文未明确给出 release 链接），想跑通要自己搭 TIES+MOPD 流水线。综合判断：方法学层面可复现（思路、公式、超参齐全），工程层面难复现（算力+数据+代码）。