RynnBrain：开源具身智能基础模型 RynnBrain: Open Embodied Foundation Models
阿里达摩院开源具身智能基础模型，统一感知/推理/规划，四个核心能力全面超越SOTA
前置知识
Vision-Language Model (VLM) 视觉语言模型
视觉语言模型是一类能够同时处理图像和文本输入、并生成文本输出的多模态模型。其典型架构包括一个视觉编码器（如 ViT）将图像转换为视觉 token，一个投影层对齐视觉和语言特征空间，以及一个大型语言模型（LLM）骨干网络。VLM 通过大规模图文配对数据进行预训练，获得跨模态理解和推理能力。本文的基础模型 RynnBrain 正是建立在 Qwen3-VL 这一 VLM 之上。
RynnBrain 的核心架构是 decoder-only 的 VLM，理解 VLM 的基本工作方式是理解本文技术方案的前提。
Embodied Intelligence 具身智能
具身智能指机器人在物理环境中感知、推理和行动的能力。与纯视觉问答不同，具身智能强调物理世界的约束——机器人必须理解三维空间关系、物体可操作性（affordance）、物理动力学，并将高层语义推理转化为可执行的动作序列。这需要模型具备时空记忆、空间定位和物理一致性推理等能力。
本文的所有工作都是围绕提升具身智能展开的，理解具身智能的定义和挑战才能理解为什么需要 RynnBrain 这样的基础模型。
Mixture of Experts (MoE) 混合专家模型
MoE 是一种模型架构设计，通过在每一层设置多个「专家」子网络，每次推理时仅激活其中一部分（如 30B 总参数中只激活 3B），从而在大幅增加模型容量的同时控制计算成本。MoE 通过路由器（router）决定每个 token 由哪些专家处理。RynnBrain-30B-A3B 就是这种架构，其中 A3B 表示「激活参数为 3B」。
论文发布了三个规模的模型（2B、8B、30B-A3B MoE），理解 MoE 架构有助于理解不同规模模型的推理效率差异和性能差异。
Chain-of-Thought (CoT) 推理与 Chain-of-Point (CoP) 推理
Chain-of-Thought 是让模型在给出最终答案前先输出中间推理步骤的技术，已在 LLM 中证明对复杂推理有效。本文提出的 Chain-of-Point (CoP) 是 CoT 的一种扩展：在文本推理过程中交替插入空间定位信息（坐标、边界框、轨迹点），让推理过程锚定在物理环境的视觉证据上。这种方式可以减少幻觉，提高推理的物理一致性。
CoP 是本文最核心的创新之一，理解 CoT 和 CoP 的区别是理解本文方法论突破的关键。
Affordance 可操作性
在机器人学中，affordance 指物体上可以被交互的功能性位置，如门把手是「抓握」的 affordance，按钮是「按压」的 affordance。识别 affordance 对于机器人操作至关重要——它不仅要知道「这是杯子」，还要知道「应该抓杯子的哪个位置」。RynnBrain 将 affordance 定位作为一个核心任务，预测物体上的可交互点。
论文将 affordance 定位作为四大核心能力之一，理解这个概念才能理解论文中的 affordance 预测任务和评估指标。
研究动机
当前具身智能领域面临一个核心矛盾：通用视觉语言模型（VLM）具有强大的语义理解和泛化能力，但它们并非物理接地的（physically grounded），在时空一致性、物理推理和可执行规划方面表现较差。具体来说，现有 VLM 在三维空间推理中容易产生幻觉——例如当被问到「桌子和门之间的距离是多少」时，模型可能会给出一个完全不合理的数值。另一方面，那些专门在动作数据上训练的具身模型虽然能直接输出机器人控制信号，但又丧失了 VLM 从大规模多模态预训练中获得的高层语义抽象能力和广泛泛化能力。现有具身基础模型存在三个关键局限：第一，自我中心认知能力狭窄，训练通常局限于有限的任务类别或感知模态，限制了复杂环境中的鲁棒性；第二，空间推理通常基于静态图像输入，缺乏移动操作所必需的连贯时空表示；第三，高层推理和规划经常在纯文本空间中进行，导致幻觉和与物理约束的不一致。
本文的目标是RynnBrain 的目标是构建一个统一的、物理接地的具身基础模型，该模型将感知、推理和规划整合在真实的时空动态中。具体而言，它需要同时满足四项核心能力：全面的自我中心理解（包括空间理解、物体问答、计数、OCR等）、多样化的时空定位（物体、区域、affordance 和轨迹定位）、物理接地推理（推理过程锚定在视觉证据上）以及物理感知规划（将定位信息融入规划输出，为下游控制提供精确指导）。论文还追求模型的开放性和可扩展性——发布三种规模（2B、8B、30B-A3B）的基础模型和四个针对不同下游任务的后训练变体。
与已有工作不同的是，与近期的具身基础模型探索（如 RoboBrain 2.0、Robix 等）相比，RynnBrain 的独特切入角度在于三个方面。首先，它将图像和视频统一为相同的视觉模态处理，支持跨帧的时空记忆，而现有方法通常在单帧或短视频上工作。其次，它引入了离散坐标 token 将连续空间预测转化为分类问题，让模型使用与语言生成相同的自回归机制来输出精确的空间坐标。第三，它提出 Chain-of-Point 推理范式，将推理过程中的每个中间步骤锚定到具体的视觉证据，而非纯粹在文本空间推理。这种「交错推理」的设计让模型的每一步推理都有物理依据，从根本上减少了推理过程中的幻觉。
核心方法
RynnBrain 的核心设计思想可以用一个比喻来理解：就像一个人类在物理环境中完成复杂任务——先用眼睛观察环境（感知），再在脑海中定位目标物体的空间位置（定位），然后基于物理常识推理出应该怎么做（推理），最后将推理结果分解为具体的步骤指令（规划）。RynnBrain 将这四个认知阶段统一到一个 decoder-only 的视觉语言模型中。技术路线上，它基于 Qwen3-VL 进行架构扩展：使用共享的视觉编码器将输入图像/视频编码为视觉 token，通过投影层对齐视觉和语言特征空间，最后用一个 dense 或 MoE 的 LLM 骨干网络同时生成文本和空间坐标 token。关键设计是将所有空间实体（边界框、点、轨迹）归一化到 [0,1000] 范围并编码为整数 token，使得空间预测可以像语言生成一样进行自回归输出。
RynnBrain 最核心的创新是两个层面的设计。第一是统一的物理接地输出空间：不同于传统 VLM 把空间量当作自由文本处理，RynnBrain 引入离散坐标 token（归一化到 [0,1000] 的整数），将连续空间预测转化为分类问题。这意味着模型在预测「门把手在哪里」时，不是输出一段自然语言描述，而是直接输出像 : (450, 320), (550, 480) 这样的结构化坐标——这些坐标和文字 token 使用完全相同的自回归生成机制。第二是 Chain-of-Point (CoP) 推理：在推理过程中，模型不仅输出文字推理链，还会在关键实体处交替插入空间定位标注。例如当推理到「我需要拿起沙发上的枕头」时，模型会在「沙发」和「枕头」处分别标注它们的坐标和关键帧。这种设计的本质区别在于——现有推理方法在纯文本空间思考，容易产生空间幻觉；而 CoP 推理的每一步都锚定在物理位置上，从根本上保证了推理与环境的一致性。
方法步骤详情
RynnBrain 的构建分为预训练和后训练两个阶段。预训练阶段包含三个关键步骤：（1）统一时空表示：将图像和视频都视为帧序列，其中图像 T=1、视频 T>1，每帧编码为视觉 token 并附加时间位置编码，使模型能捕获跨帧的时间依赖和轨迹动态。（2）物理接地输出空间构建：引入离散坐标 token 表示空间位置，边界框 B、点 P 和轨迹路点 T 均归一化到 [0,1000] 并编码为整数 token，使用标准的 next-token prediction 目标进行端到端训练，损失函数为 L = -sum(log P(y_i | y_{<i}, V, Theta))。（3）在线负载均衡：针对训练数据序列长度分布高方差的特点，实现贪心近似算法将样本按长度降序分配到各数据并行 worker，同时采用 per-sample loss 减少策略避免额外通信开销。后训练阶段包含四个方向：RynnBrain-CoP（Chain-of-Point 推理，先用 SFT 冷启动再用 GRPO 强化学习）、RynnBrain-Nav（视觉语言导航，多轮对话格式微调）、RynnBrain-Plan（操作规划，多轮对话维护历史记忆）和 RynnBrain-VLA（视觉-语言-动作模型，使用 flow matching 预测动作 chunk）。
技术新颖性
RynnBrain 的技术新颖性体现在三个层面。首先在输出空间设计上，它不同于以往将空间预测视为回归任务或自由文本的做法，而是将其统一为离散 token 的自回归生成，这使得语言生成和空间定位可以使用完全相同的模型机制——这是实现「统一框架」的关键技术手段。其次在推理范式上，Chain-of-Point 相比传统 Chain-of-Thought 的本质区别是引入了物理锚点：传统 CoT 在纯文本空间推理容易产生视觉幻觉（例如推理出不存在的物体或错误的空间关系），而 CoP 的每一步推理都通过坐标标注指向具体的视觉证据，使推理过程可验证、可追溯。第三在数据飞轮上，论文设计了一种人机协作数据构建策略——利用预训练基础模型的先验知识生成初始标注，仅在关键决策点引入人工监督，这种策略在受限标注预算下将训练数据扩展到超过 2000 万样本，同时保持了数据质量。这种「模型辅助+人工把关」的模式对大规模具身数据的构建具有重要的方法论意义。
实验结果
RynnBrain 在 28 个基准测试上进行了全面评估，结果令人印象深刻。在具身认知方面，RynnBrain-8B 在 11 个具身认知任务中有 9 个超越了基模型 Qwen3-VL-8B。特别值得注意的是，在空间推理基准 VSI-Bench 上，RynnBrain-8B 达到 71.0 分，超越了之前最好的结果 60.3 分（提升 17.7%）；在 RoboSpatial 上超越了之前的最优方法 11.3 个百分点。RynnBrain-30B-A3B 表现更为突出，在 VSI-Bench 上达到 74.5，EgoTaskQA 上达到 78.9（比之前最好结果提升 10.5%），Open-X VQA 上达到 83.4（提升 6.6%）。在空间定位方面，RynnBrain-8B 在 RefSpatial-Bench 上达到 59.2（超越基模型 5.8%），在 Cornell-Grasp 上达到 26.6（大幅超越其他 8B 模型的 0.0-0.2）。在物理接地推理方面，RynnBrain-CoP-8B 平均得分 73.8，超越了 MiMo-Embodied-7B 的 65.8 和 Gemini-3-Pro 的 65.1，在 affordance 预测上以 90.3 的分数成为唯一突破 90 阈值的模型。在导航方面，RynnBrain-Nav-8B 在 R2R-CE 上的 SR 达到 58.6%（最佳），导航错误仅 4.92（最低）。预训练效果的消融实验显示，RynnBrain-Nav 2B 比 Qwen3-VL-Nav 2B 在 SR 上高出 7.2%，在 SPL 上高出 7.6%，证明了预训练的有效性。VLA 评估中，RynnBrain-VLA 的总体成功率 0.77 远超 pi0.5-Finetuned 的 0.47 和 Qwen3-VL-Finetuned 的 0.60。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 空间推理 VSI-Bench | Score | 71.0 (8B) / 74.5 (30B) | 60.3 (RoboBrain 2.0 7B) | +17.7% / +23.6% |
| 空间推理 RoboSpatial | Score | 73.1 (8B) / 70.0 (30B) | 61.8 (MiMo-Embodied 7B) | +18.3% / +13.3% |
| 自我中心问答 EgoTaskQA | Score | 72.5 (8B) / 78.9 (30B) | 68.4 (Gemini 3 Pro) | +6.0% / +15.4% |
| 物理接地推理（平均） | Avg Score | 73.8 (CoP-8B) | 65.8 (MiMo-Embodied 7B) | +12.2% |
| Affordance 预测 | Score | 90.3 (CoP-8B) | 85.3 (MiMo-Embodied 7B) | +5.9% |
| 导航 R2R-CE | SR / NE | 58.6% / 4.92 | 56.9% / 4.98 (StreamVLN) | +3.0% SR |
| VLA 抓取成功率 | Overall SR | 0.77 | 0.47 (pi0.5-Finetuned) | +63.8% |
| 物体定位 RefSpatial-Bench | Score | 59.2 (8B) | 53.4 (Qwen3-VL 8B) | +10.9% |
| 抓姿预测 Cornell-Grasp | Score | 26.6 (8B) / 33.6 (30B) | 21.2 (Qwen3-VL 8B) | +25.5% / +58.5% |
| 规划任务（Hard难度，OOD） | Task Progress | 100% (30B) | ~60% (Gemini 3 Pro) / <10% (Qwen3-VL) | 显著提升 |
局限与改进
尽管 RynnBrain 取得了显著进展，论文和我对实验结果的分析揭示了若干局限。首先，在轨迹预测方面，ShareRobot-Trajectory 指标上 RynnBrain 并未取得最佳——RynnBrain-2B 的 0.34 和 RynnBrain-8B 的 0.35 不及 MiMo-Embodied 7B 的 0.41，这暗示在精确的轨迹序列预测上仍有提升空间。其次，导航任务中虽然 Oracle Success Rate (OS) 达到 71.6%（远超所有对手），但实际 Success Rate 仅为 58.6%，两者之间的差距表明模型在粗粒度导航（到达目标附近）方面很强，但在精细的停止决策上仍不够精确。第三，MoE 架构（30B-A3B）在导航任务上的表现未能超越 8B dense 模型，说明稀疏激活机制在 VLN 任务上可能未被充分利用，或者需要不同的训练策略来发挥其缩放潜力。第四，规划任务评估仅在模拟和实验室环境（Franka 机械臂）中进行，未涉及真实家庭或杂乱环境的测试，现实场景的泛化能力尚待验证。此外，训练数据中约 2000 万样本的构建涉及大量人工标注和验证，虽然人机协作策略提高了效率，但标注成本仍然是一个潜在瓶颈。
独立分析的弱点
基于对论文的深入分析，我认为 RynnBrain 存在以下几个值得改进的弱点。首先，在精细轨迹规划方面，模型在 ShareRobot-Trajectory 上的表现未能超越部分基线方法，这可能是因为当前的轨迹表示方式（最多 10 个归一化路点）在捕捉复杂运动轨迹时精度不足——改进方向可以是引入更高分辨率的坐标离散化（如 [0,10000]），或采用分层预测策略（先预测粗轨迹再细化）。其次，导航任务中的「停止决策」是一个明显瓶颈——OS 和 SR 之间的 13% 差距说明模型知道目标在哪里但不知道何时停止，可以在训练中增加专门的停止决策数据，或引入基于目标距离的显式停止信号预测。第三，MoE 架构在导航任务上未展现出预期的缩放优势，这可能是因为 VLN 任务的梯度信号较稀疏，导致路由器难以学到有意义的专家选择策略——建议探索 MoE 专用的负载均衡损失或针对 VLN 任务的专家微调策略。第四，VLA 模块仅在单一的 Franka 机械臂和 6 个 pick-and-place 任务上验证，实验规模偏小——需要扩展到更多机器人平台（如双臂、移动操作）和更复杂的操作任务。最后，当前的 CoP 推理在推理速度上会有额外开销（因为需要生成更多的 token），论文未讨论推理延迟的量化分析，这对实际部署很重要。
未来方向
论文和实验结果暗示了多个值得探索的未来方向。作者在结论中提出了一个有远见的愿景：未来具身智能系统将包含一个完整的智能体栈，包括大脑（感知推理）、小脑（运动控制）、记忆模块和感觉运动接口，RynnBrain 可以作为大脑组件。基于论文的成果，我认为有几个具体方向值得深入：（1）探索 RynnBrain 与真正的低级控制器（而非 VLA）的端到端集成，实现更深度的感知-行动耦合；（2）将 CoP 推理扩展到多智能体场景——多个机器人共享视觉记忆并协作推理；（3）利用 RynnBrain 的空间定位能力构建自主探索系统，让机器人在未知环境中主动构建场景理解；（4）探索 RynnBrain 在仿真-真实迁移中的作用——利用其物理接地推理能力弥合 sim-to-real gap；（5）开发更高效的数据飞轮，利用模型自身生成的标注持续扩展训练数据的规模和多样性。
复现评估
从复现角度来看，RynnBrain 是目前开源程度最高的具身基础模型之一。论文明确声明所有代码、模型检查点和基准测试都已公开发布，在 GitHub、HuggingFace 和 ModelScope 上都可以找到。训练框架基于 HuggingFace Transformers 库，降低了使用门槛。在数据方面，论文详细列出了 19.89M 训练样本的构成和来源，包括公开数据集（如 LLaVA-Video、ActivityNet、COCO 等）和自采数据（RynnBrain-Object/Spatial/Counting 等），自采数据的关键构建流程也有详细描述。在算力方面，RynnBrain-2B 和 8B 使用 ZeRO-1 优化器和梯度检查点在单 GPU 上可训练；30B-A3B 使用 ZeRO-2 和专家并行（EP world size=2）也需要单 GPU。这意味着复现 2B 和 8B 模型对大多数研究团队是可行的，但 30B-A3B 的 MoE 训练需要更多的计算资源和更复杂的分布式训练配置。总体而言，论文的开源策略使得后续研究者可以在 RynnBrain 基础上进行各种后训练和微调实验。
论文图表
