RynnUnify：迈向统一具身大脑 RynnUnify: Towards Unified Embodied Brain

方法全流程分五步。第一步，数据构建：约 200 万通用理解样本（RynnBrain 语料 10% 子集）；规划数据 123.7 万条（人类/UMI 演示 55 万、机器人演示 60 万、RoboCasa365 8.68 万），感知与推理数据 19.66 万条；生成数据共 1,083,458 个 clip、约 1,370.1 小时。用 Qwen3.6-27B 对无子任务标注的长演示做时序切分与重标注（clip 尽量 2-10 秒），GPT-5.6-Terra 把子任务指令重写为基于 clip 的结构化视觉提示；GEU 数据（Phys 10,028 条 SFT + 1,553 条 RL 题、Spatial 10 万条、ActionReasoning 1.4 万条、Affordance+Area 3.38 万条、Trajectory 9,892 条）统一组织为“观测+问题→世界建模指令→视频→推理答案”的交错对话。第二步，Stage 1 推理器 SFT：以自回归损失 $\mathcal{L}_R=-\sum_{i\in\mathcal{I}_R}\log p_{\theta_R}(s_i\mid s_{<i})$ 只监督 assistant 响应 token，同时习得理解、定位、子任务规划与提示写作四种能力。第三步，Stage 2 生成器 SFT：冻结推理器，以流匹配损失 $\mathcal{L}_G$（仅在需预测的主视频位置上归一化）训练 8,000 步，AdamW 峰值学习率 2×10⁻⁵、前 800 步线性 warmup 后余弦衰减、梯度范数裁剪 0.3；self-forcing 中条件退化以概率 0.3 施加（高斯噪声 σ~U(0,0.15)，另有概率 0.5 施加下采样-上采样模糊），端点与历史替换使用一次性预生成的离线缓存。第四步，Stage 3 BCPO：在 22,007 道题上训练，每个可路由问题采样 4 条直接 + 4 条生成辅助轨迹（每批 64 题×8 rollouts=512 条），分支内用 GSPO 优势 $\hat{A}_{z,i}=(r_{z,i}-\mu_z)/(\sigma_z+\epsilon)$，分支间拟合软路由目标，总目标 $\mathcal{L}_{RL}=\mathcal{L}_{GSPO}+\lambda_{route}\mathcal{L}_{route}+\beta\mathcal{L}_{KL}-\eta H$；奖励 $r(\tau)=F(\tau)\cdot A_k$，连续塑形 $C(e)=\max(0,1-e/\delta)^3$（δ=0.30），agent 以恒定学习率 10⁻⁶ 训练 1 个 epoch，生成器全程冻结。第五步，WAM 三阶段：Stage I 用子任务/技能标注只训推理器语言层；Stage II 冻结推理器、以等权的视频+动作流匹配损失训生成器；Stage III 联合训练生成器与 18-block 动作头，损失 $\mathcal{L}_{III}=\mathcal{L}_{act}+0.01\,\mathcal{L}_{pose}+0.005\,\mathcal{L}_{rel}$（辅助相机位姿头提供几何监督）；机器人适配使用约 1,600 小时原子任务 + 177 小时复合任务的 RoboCasa365 轨迹，推理时 16 步欧拉积分产出 48 步动作块、执行前 16 步。

技术新颖性可从四处评估。第一，视觉条件组织方式：把场景记忆实现为“独立编码的 token 组 + 连续时间前缀”的双通道设计（公式 1），参考帧作为场景外观与布局的视觉锚点、前缀保留近期运动与交互上下文，二者共用生成器既有注意力层而无需新模块，是对 Cosmos3 条件机制的最小侵入式扩展。第二，self-forcing 的工程化改造：离线缓存只生成一次、训练全程不刷新，在“暴露于自身误差”与“算力开销”之间取得实用平衡；联合历史替换保证最近历史与起始观测来自同一次预测，消除了混合真值/生成历史时的分布割裂。第三，BCPO 是针对“分支条件路由”的具身 RL 框架：分支内 GSPO 学“沿每条路径怎么答”，分支间软目标学“要不要调用生成”，且生成器在 RL 中完全冻结、只更新 8B agent，把工具使用的决策成本与工具本身的训练解耦——据论文所述这是首个系统检验“生成是否、何时提升具身推理”的训练框架。第四，WAM 的动作表征：动作 token 作为 query 对相邻两层生成器视频特征做交叉注意力，把动作锚定在“预测中的世界”的层级化表征上，并辅以跨相机相对位姿一致性损失 $\mathcal{L}_{rel}$ 提供几何约束，这类“动作头读取世界模型隐状态”的设计在统一具身模型中尚属少见。

独立分析出以下弱点。第一，几何保真不足：Position/Distance/Size 在生成辅助后下降，改进方向是在生成训练中加入几何一致性监督（深度、位姿或光流约束），或让 agent 生成后调用确定性几何工具对预测进行校验再作答。第二，视觉质量反噬：Rynn-VP 的 VQ（77.53）低于 Cosmos 3 Nano（79.69），说明具身微调部分牺牲了画质，可引入感知质量正则项或冻结一部分生成器参数的低秩适配来缓解。第三，场景记忆是手工规则：固定 4 帧（初始 + 2 关键帧 + 最近）与启发式选帧没有学习能力，面对需要回溯远处状态的任务可能检索失败，方向是可学习的、任务驱动的记忆检索与压缩。第四，控制频率受限：动作块 48 步只执行前 16 步即重新推理（约 0.8 秒@20Hz），每次重规划都伴随视频生成开销，长任务闭环延迟大，可探索异步世界模型预测与动作执行并行、或自适应动作块长度。第五，路由决策过于二元：BCPO 只在“直接回答/调用生成”之间选择，未考虑部分生成、多次迭代生成或与其他工具（深度估计、分割）组合的复合策略。第六，Sim2Real 与失败恢复未讨论：真机适配从仿真原子任务模型初始化、只在少量真机演示上训生成器与动作头，域差与执行失败后的恢复策略没有系统评估。

作者提出的研究方向包括：提高生成视频的几何保真度并研究如何选择可靠的生成证据；研究 Rynn-VP 视觉规划分数与机器人真实执行结果之间的相关性，使规划评测成为控制能力的代理指标；以及降低交错生成在闭环控制中的计算成本。基于本文成果还可自然延伸：其一，把 Rynn-VP 风格的规划质量评估作为 WAM 训练的中间奖励信号，打通“规划→执行”的信用分配，实现规划与控制的联合强化学习；其二，主动感知——让 agent 生成“假设视角”的视频来决定下一步把身体或相机移到哪里，把视觉规划从被动预测升级为主动探索；其三，把 BCPO 的二分支路由扩展为多工具多分支（生成、几何工具调用、向人类询问），并研究工具组合策略；其四，记忆机制的可学习化：用检索或压缩模型替代固定 4 帧规则，支持跨房间、跨日期的长时程任务；其五，WAM 目前只取单步去噪的视频特征供动作头使用，可探索多步 rollout 的想象-执行交替训练，让动作决策建立在多步未来预测之上；其六，把 GEU 范式推广到更多“答案在输入中不可见”的任务类型（如可变形物体、流体、多物体因果链）。

开源情况良好：代码在 GitHub（alibaba-damo-academy/RynnUnify）、模型权重在 HuggingFace（Alibaba-DAMO-Academy/RynnUnify 集合）公开，并有项目主页；附录提供了较完整的复现细节——Table 8 给出推理器/生成器/WAM 三阶段的 SFT 超参数，Table 9 给出 Rynn-VP 的 PI/VR 评分标准与子项权重，Table 10 给出各任务奖励的精确定义，附录 D 还描述了 Rynn-VP 的人工校验流程。数据方面，训练语料大部分来自公开数据集（RynnBrain、HiFi-UMI、OpenAoE、AgiBot-Beta、RoboMIND、RoboCOIN、RoboTwin、RoboCasa365、ScanNet++、PhysInOne、RH20T 等），但构建管线重度依赖 Qwen3.6-27B 时序切分、GPT-5.6-Terra 提示重写、GPT-5.6-Luna 审计与链路标注、MiniMax-H3 生成 FL2V 训练视频、GPT-6-sol 执行 Rynn-VP 评判、Qwen3.8-27B-FP8 做 RL 语义判分——这些专有或前沿模型是完整复现数据与评测管线的最大障碍。算力方面论文未披露 GPU 规模，但 16B MoT 预训练、生成器 8,000 步微调、RL 阶段 22,007 题每题 8 条轨迹（512 条/批）、WAM 使用约 1,777 小时机器人数据，推测需要多节点高端 GPU 集群，从零复现门槛很高；相对务实的路径是使用开源权重，仅复现 BCPO（生成器冻结、只训 8B agent）或 WAM 后训练。