RoboBrain 2.5：眼中有深度，心中有时间 RoboBrain 2.5: Depth in Sight, Time in Mind
具身AI基座模型，通过3D空间推理和密集时序估计实现精准操作
前置知识
Vision-Language-Action (VLA) 模型
VLA模型是一类将视觉感知、语言理解和动作生成统一在同一架构中的多模态模型。它接收视觉观测（如RGB图像）和自然语言指令作为输入，输出机器人可执行的动作序列。典型代表包括RT-2、OpenVLA等。这类模型的核心挑战在于如何将高层语义推理转化为物理可行的低层控制信号，即从'理解指令'跨越到'精确执行'。
RoboBrain 2.5正是在VLA模型的基础上进行升级，解决了现有VLA模型在空间精度和时序反馈上的根本缺陷
深度感知坐标预测 (Depth-Aware Coordinate Prediction)
传统的视觉定位（Visual Grounding）通常在2D像素坐标系下工作，输出的是图像平面上的(x, y)坐标。而深度感知坐标预测则额外引入深度信息d，输出(u, v, d)三元组，其中(u, v)是像素坐标，d是绝对深度值。通过相机内参矩阵，可以将(u, v, d)转换为3D世界坐标(x, y, z)。这种解耦表示的优势在于：不需要模型隐式学习相机几何，降低了学习难度。
本文的3D空间推理核心就是基于这种(u, v, d)解耦表示，使模型能从单目RGB图像预测绝对度量坐标
Hop-based 进度标注 (Hop-wise Progress Labeling)
在时序价值估计中，hop是一种归一化的相对进度度量。给定两个状态sp和sq，hop值H(sp, sq)衡量的是从sp到sq的进度变化相对于剩余任务距离的比例。如果sq在sp之后（前进），hop为正值，分母是到目标的剩余距离；如果sq在sp之前（回退），hop为负值，分母是已走过的距离。这种设计保证了hop值被归一化到[-1, 1]区间，且通过迭代hop重建的全局进度严格保持在[0, 1]内。
这是本文时序建模的核心创新，相比直接回归绝对进度值，hop标注提供了更稳定、有界的监督信号
多视角进度融合 (Multi-Perspective Progress Fusion)
为了降低单一预测模式的误差累积，本文从三个互补视角估计进度：增量预测（从上一步递推）、前向锚定预测（以初始状态为基准）、后向锚定预测（以目标状态为基准）。增量预测擅长捕捉局部动态但容易累积误差；前向预测提供稳定的全局参考；后向预测在任务完成附近有高灵敏度。三者取平均得到最终估计。
这种融合策略是保证时序估计鲁棒性的关键机制，使模型在不同视角和采样率下都能给出一致的进度信号
OOD幻觉与双向一致性检查
在强化学习的在线探索中，策略会访问训练数据未覆盖的状态空间区域（即分布外，Out-of-Distribution）。在这些OOD状态下，价值估计模型可能产生虚假的高奖励信号，导致'奖励黑客'（reward hacking）问题。双向一致性检查通过比较前向预测和后向预测的一致性来判断估计的可靠性：如果两者差异大，说明该状态可能是OOD，应该降低权重。
这是本文将密集价值估计安全应用于强化学习的关键防护机制，避免模型在未知状态下自欺欺人
研究动机
当前具身AI基座模型在从演示到实际部署的转化中面临严重的可靠性问题。在空间维度上，现有模型存在'度量盲视'（metric blindness）：空间定位通常局限于2D像素坐标或弱拓扑表示，缺乏绝对深度和尺度信息。这意味着模型无法保证毫米级的间隙约束，也无法生成无碰撞的3D轨迹——而这些恰恰是精确物理交互的基本要求。在时序维度上，现有模型通常是'开环'预测器，将动作生成视为静态序列预测任务，没有内在的机制来监控执行进度。它们依赖稀疏的外部监督（如成功/失败标签），对中间状态的滑移、回退等失败浑然不觉，使得长时程任务中的自适应恢复成为不可能。
本文的目标是本文的目标是将具身基座模型从语义推理器升级为物理接地的智能体（physically-grounded agent），实现两个精确的能力跃升：空间上从2D指向升级为精确3D规划，满足度量约束；时序上从开环生成升级为密集价值估计，确保闭环可靠性。具体而言，模型需要能够从单目RGB图像预测绝对度量坐标、生成无碰撞的3D操作轨迹，并能提供逐步的、对视角变化鲁棒的执行进度反馈。
与已有工作不同的是，本文的独特切入角度在于同时从空间和时序两个维度进行'物理化'升级，而此前的工作通常只关注其中一个。空间方面，不同于现有的2D grounding方法（如RefSpatial只输出像素坐标），本文通过(u, v, d)解耦表示直接预测3D绝对坐标，并将操作过程建模为有序关键点序列（trace）而非单一目标点。时序方面，不同于现有的稀疏奖励方法，本文通过hop归一化标签和多视角融合建立了密集的、有理论保证的进度估计机制。更重要的是，这两个能力被统一在同一个模型中，形成'眼中有深度，心中有时间'的协同效应。
核心方法
RoboBrain 2.5的方法可以类比为给机器人装上'3D眼睛'和'内部时钟'。3D眼睛（Precise 3D Spatial Reasoning）让模型不仅能'看到'物体在哪里（2D），还能'知道'物体有多远、多大、多高（3D），并规划出从起点到终点的完整操作路径。内部时钟（Dense Temporal Value Estimation）让模型能实时感知'我现在做得怎么样了'——是在前进、停滞还是倒退，就像一个内置的进度条。技术路线上，模型基于Qwen3-VL架构构建，通过两阶段渐进式训练：第一阶段建立基础的时空感知能力（8.3M样本），第二阶段注入精确的3D度量推理和密集时序估计能力（4.1M样本）。整个训练数据规模约12.4M高质量样本。
本文最核心的创新有两个。第一个是3D空间推理中的解耦(u, v, d)表示：不直接预测3D世界坐标(x, y, z)，而是分别预测像素坐标(u, v)和深度d，再通过相机内参转换。这种设计的精妙之处在于，它将复杂的3D几何推理分解为两个更简单的子任务，且(u, v)部分可以直接利用已有的2D定位数据进行共训练，大幅提升了数据利用效率。第二个是时序估计中的hop归一化标签：不是直接回归绝对进度值（容易漂移出[0,1]），而是预测相对进度比——前进时除以到目标的剩余距离，后退时除以已走过的距离。配合多视角融合和双向一致性检查，这一机制从理论上保证了重建的全局进度严格有界。这两个创新分别解决了空间精度和时序可靠性的根本问题。
方法步骤详情
模型的完整流程分为空间推理和时序估计两条线。空间推理线：(1) 输入单目RGB图像和自然语言指令（如'从左到右浇花，浇水壶悬停在每朵花上方1-5厘米'）；(2) 模型首先进行3D空间指代（3D Spatial Referring），定位指令中涉及的所有物体；(3) 然后进行3D空间测量（3D Spatial Measuring），估计物体的绝对度量属性（高度、距离等）；(4) 最后生成3D空间轨迹（3D Spatial Tracing），输出有序的关键点序列τ = {pt}，每个点pt = (ut, vt, dt)表示一个操作位置。时序估计线：(1) 给定任务指令、初始状态和目标状态的多视角图像，以及一对BEFORE/AFTER状态观测；(2) 通过hop标注公式计算相对进度标签；(3) 模型分别从增量、前向锚定、后向锚定三个视角预测进度；(4) 通过平均融合得到最终进度估计Φ*(st)；(5) 在线推理时，通过双向一致性检查动态调整置信权重wt，防止OOD状态下的奖励黑客攻击。
技术新颖性
与已有技术相比，RoboBrain 2.5的新颖性体现在三个层面。首先，在空间推理方面，现有的具身VLA模型（如OpenVLA、π0）通常只输出2D像素坐标或相对位姿增量，而RoboBrain 2.5直接输出绝对度量坐标和完整操作轨迹。更重要的是，它将轨迹生成建模为有序关键点序列预测，而非端到端的动作回归，这种中间表示更易于训练和泛化。其次，在时序建模方面，现有的奖励模型（如VLM-Reward）通常只提供稀疏的成功/失败信号，而本文的hop归一化方法提供了密集的、有界保证的进度信号，且通过数学证明保证了全局进度的有界性（附录B）。最后，在训练策略上，本文通过两阶段渐进式训练和15%数据回放策略，在注入精确物理能力的同时保持了通用视觉语言能力，避免了灾难性遗忘。
实验结果
RoboBrain 2.5在三大类基准测试中均取得了SOTA或接近SOTA的性能。在2D空间推理方面，模型在5个基准上的平均得分为75.82，大幅领先GPT-5.2（49.33）和Gemini-3-Pro-Preview（66.14）。特别值得注意的是在CrossPoint基准上的表现：RoboBrain 2.5达到75.40/76.30，而最强基线Gemini-3-Pro仅为38.60，提升接近一倍。在3D空间推理方面，模型在MSMU上达到64.17（超越Gemini的59.44），在TraceSpatial上实现了83/63/44的3D Start/End/Success指标（远超所有基线），在VABench-V上RMSE仅为0.1189（Gemini为0.1705）。在时序价值估计方面，模型的表现更是压倒性的：在LIBERO上VOC+/VOC-达到98.97/98.94，在RoboCasa上达到98.54/99.58，而GPT-5.2在RoboCasa上的VOC-仅为10.71。最关键的发现是：通用VLM（如GPT-5.2）虽然Forward VOC较高，但Reverse VOC极低（通常只有10-20），说明它们缺乏真正的时序理解能力；而RoboBrain 2.5的Forward和Reverse VOC高度一致，证明了hop标注和多视角融合的有效性。此外，模型在NVIDIA和Moore Threads两种硬件平台上训练的结果高度一致（差距在0.62%以内），验证了跨加速器训练的可行性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 2D空间推理（5基准平均） | AVG Accuracy | 75.82 | 66.14 (Gemini-3-Pro) | +14.6% |
| CrossPoint（跨视角点对应） | Accuracy | 75.40 | 38.60 (Gemini-3-Pro) | +95.3% |
| MSMU（3D度量测量） | Accuracy | 64.17 | 59.44 (Gemini-3-Pro) | +8.0% |
| TraceSpatial（3D轨迹生成） | 3D Start/End/Success | 83/63/44 | 30/20/6 (Qwen3-VL) | +176%/+215%/+633% |
| VABench-V（视觉轨迹） | RMSE (↓) | 0.1189 | 0.1705 (Gemini-3-Pro) | -30.3% |
| 时序估计-LIBERO | VOC+/VOC- | 98.97/98.94 | 98.42/76.31 (Gemini-3-Pro) | +29.6% (VOC-) |
| 时序估计-RoboCasa | VOC+/VOC- | 98.54/99.58 | 77.91/10.71 (GPT-5.2) | +828% (VOC-) |
局限与改进
尽管RoboBrain 2.5取得了显著进展，但仍存在几个值得注意的局限性。首先，模型的3D空间推理依赖于单目深度估计，而单目深度估计本身存在尺度模糊问题，虽然通过(u, v, d)解耦和相机内参缓解了这一问题，但在极端场景（如透明物体、镜面反射）下深度估计可能不可靠。其次，时序价值估计的训练数据主要来自特定的机器人平台（AgiBot、DROID等）和仿真环境（LIBERO、RoboCasa），在全新机器人形态或任务类型上的泛化能力尚需验证。第三，论文展示了定性的RL应用案例（Insert Block任务），但缺乏大规模RL训练的定量结果，密集价值估计在复杂长时程RL任务中的实际收益还需更充分的实验验证。此外，模型参数量为8B，在边缘设备上的实时推理可能面临挑战，论文虽提到未来计划发布轻量版本，但当前版本的推理延迟数据未被报告。最后，所有实验都在受控环境下进行，对于光照剧烈变化、严重遮挡等极端条件的鲁棒性有待进一步评估。
独立分析的弱点
从独立分析的角度，RoboBrain 2.5存在几个可以改进的弱点。第一，单目深度估计的精度瓶颈：模型使用UniDepth V2和WildeCamera进行深度估计，这些预训练模型的误差会直接传播到下游的空间推理中。改进方向是引入多视角几何约束或深度传感器融合，特别是在需要毫米级精度的操作场景中。第二，轨迹生成的实时性问题：模型输出的是有序关键点序列，但从关键点到实际机器人动作轨迹的转换（轨迹规划）在论文中未详细讨论。对于需要高频控制的任务（如抓取滑动物体），关键点之间的插值和避障策略需要更精细的设计。第三，时序估计的视角依赖性：虽然多视角融合提升了鲁棒性，但在单视角场景（如只有一个固定摄像头）下，模型的性能可能会有明显下降。改进方向是探索单视角下的时序一致性学习。第四，数据构建的自动化程度有待提高：3D空间推理数据依赖ScanNet、CA-1M等预构建的3D数据集，数据规模受限于这些数据集的覆盖范围。
未来方向
论文作者提出了四个未来研究方向，每个都具有重要价值。统一生成与理解范式：将RoboBrain扩展为兼具时空理解和生成能力的统一架构，通过图像/视频预测（next-stage prediction）使其成为具身世界模型，让智能体在执行前能在'脑海中'模拟动作结果。移动操作和人形机器人部署：在多样化的实际平台上验证模型，利用3D空间推理实现免训练操作泛化，利用密集时序估计作为高保真奖励信号驱动高效RL。可扩展模型家族：发布不同参数规模的模型系列，包括面向边缘设备的轻量版和解耦为'指令执行'（快速）与'思考推理'（深度）的版本。自进化数据引擎：建立闭环数据引擎，利用密集价值估计器自动过滤和标注大规模未整理视频，通过自监督学习实现模型的迭代自我提升。基于已有成果，还可以延伸探索：将3D空间推理能力扩展到动态场景中的运动物体跟踪；将hop标注方法推广到多任务共享的通用奖励模型；以及探索密集价值估计在模仿学习中的应用。
复现评估
论文在复现性方面做得相对不错。代码和模型检查点已在项目网站（https://superrobobrain.github.io）开源。训练数据方面，大部分数据来源是公开数据集（如LVIS、OpenImage、ScanNet、CA-1M、DROID等），但部分数据处理流程（如GPT-4o场景分析、QwQ问题生成）可能需要额外的API成本。训练基础设施方面，模型使用64-128个8-GPU节点（共512-1024张GPU）训练，这对大多数研究机构来说算力门槛较高。不过论文详细报告了训练配置（学习率、批大小、序列长度等），且证明了在NVIDIA和Moore Threads两种硬件上的等价性。数据构建流程虽然复杂但有详细描述，理论上可以复现。主要的复现难度在于：(1) 大规模算力需求；(2) 多阶段数据处理流程的工程复杂度；(3) 部分数据依赖闭源模型（GPT-4o）的标注。
论文图表
