RLDX-1：面向类人灵巧操作的通用视觉-语言-动作模型 RLDX-1 Technical Report

完整的方法流程分为四步。**第一步：VLM 编码**。给定 $K+1$ 帧视频观测 $o_{t-K:t}$ 和语言指令 $l_t$，先用 Qwen3-VL 8B 的原生分辨率视觉编码器（最多 64 token/帧）抽取视频特征，再拼接文本 token 和 64 个 cognition token $q$ 送入 LLM 主干，取**第 18 层**（共 28 层）隐藏状态作为 cognition 特征 $h_t$。Vision encoder 的第 9 层后插入 STSS motion 模块，计算时空自相似张量 $S_t$ 并残差更新为 $\tilde{v}^{(i)}_t = v^{(i)}_t + S_\theta(S_t)$；LLM 在第 4 层后用平均池化把过去帧压缩成一个 context token，仅保留当前帧，以适配 Qwen3-VL 的 DeepStack 设计。**第二步：记忆增强**。Memory Module 维护一个队列 $Q_t = [h_{t-3H}, h_{t-2H}, h_{t-H}]$，间隔等于动作块长度；把 $Q_t$ 与当前 $h_t$ 拼接后送入轻量 Transformer $M_\theta$，用 causal attention 得到记忆特征 $m_t$，和原 $h_t$ 一起送入动作模型。**第三步：MSAT 联合去噪**。构造噪声动作块 $a^\tau_{t:t+H}=\tau a_{t:t+H}+(1-\tau)\epsilon$（$\tau\in[0,1]$, $\epsilon\sim\mathcal{N}(0,I)$），按 flow-matching 目标 $\mathcal{L}=\|u_\theta(a^\tau_{t:t+H},\tau,c_t)-(a_{t:t+H}-\epsilon)\|^2$ 训练；同时构造噪声物理信号 $p^\tau_{t+1:t+L}$ 在 P 流里做同样的预测。当物理信号缺失时直接 mask P 流的注意力。**第四步：推理优化**。预先算好 RoPE 和 attention mask，把整个 forward 捕获成单个 CUDA Graph；再用 Nsight Compute 找出瓶颈算子组（RMSNorm+RoPE+Attention 等）手工写成 fused kernel，减少 HBM 往返。最终在 RTX 5090 上单步延迟 43.7 ms（1.63× 加速）。

RLDX-1 的技术新颖性可以从五个维度来分析。第一，**架构维度的流扩展**：MSAT 是首个把 MM-DiT 多流设计系统性地引入到机器人动作建模的工作，处理三类（甚至动态扩展到四类）异构模态，且支持物理信号缺失下的优雅降级。第二，**运动感知模块的精细化**：用 STSS（space-time self-similarity）在视觉编码器中间层（第 9/27 层）注入运动信息，并在 LLM 第 4 层后做视频压缩（区别于 Jang et al. 2025a 的第 2 层）以适配 Qwen3-VL DeepStack，这背后的"物理相关线索约 30% 深度"的设计直觉有 Joseph et al. 2026 的支撑。第三，**记忆模块的稀疏采样**：用动作块长度 $H+1$ 作为记忆采样间隔，比固定时间步更鲁棒，且默认 $n_{mem}=3$ 兼顾效率。第四，**合成数据的一致性过滤**：相比传统视频质量过滤，提出 motion-consistency filtering——在 V-JEPA2 冻结编码器上训练一个 cross-attention probe，让生成的合成视频与 IDM 预测动作在 simulator 中 rollout 出来的视频做对齐判别，得到的是端到端与动作匹配的合成样本。第五，**workload-aware kernel fusion**：观察到 RLDX-1 是短 prefill 工作负载（无自回归解码），compute-bound 与 memory-bound 算子交错，Torch Compile 的固定融合路径不奏效，因此手工融合 RMSNorm+RoPE+Attention 这种关键算子组，这是 VLA 工作负载上首次系统性的 kernel 优化实践。

独立分析 RLDX-1 的弱点及改进方向。**弱点一：物理信号的可获取性是部署瓶颈**。RLDX-1 在仿真上不需要任何物理传感器，但在真实机器人上必须依赖扭矩/触觉硬件。FR3+AnySkin 在大多数实验室并不普及；ALLEX 的扭矩要从电机电流反推，标定误差会直接影响 P 流预测。改进方向：探索自监督方式从本体感知+视觉推断虚拟触觉（visual-tactile cross-prediction），或者把 P 流设计成"可选"模态——在没触觉时仍能通过视觉+力矩推理近似输出。**弱点二：Memory Module 的固定窗口对超长任务不够**。Shell Game 只要求记 3 秒，传送带 PnP 也只关心当前运动；但像"清扫餐桌后摆盘"这种几分钟级任务需要语义级记忆而不是帧级特征队列。改进方向：用自然语言摘要（captioning）或场景图（scene graph）作为高层记忆载体，或者训练一个可微分的神经图灵机式外部记忆。**弱点三：合成数据生成对硬件平台迁移不友好**。整套合成流水线针对 ALLEX 做了大量工作（任务-场景联合增强、I2I+I2V+V2V、IDM 标注），迁移到新平台需要重做 VQA 提示、skill primitive 字典、IDM 微调。改进方向：把任务-技能 primitive 字典与硬件解耦，做成可配置的 YAML/JSON，让 pipeline 变成通用工具。**弱点四：MSAT 三流结构的训练稳定性**。论文提到"physics stream 的输出权重用接近零初始化"+"前 2K 步 alignment warmup"+"0.3 dropout"，这些 trick 表明新模态注入仍有脆弱性。改进方向：探索更稳定的模态注入方式，比如用 Mixture-of-Experts 让每种模态路由到独立专家，或用 LoRA 式低秩适配。**弱点五：推理延迟仍偏高**。43.7 ms 对应约 23 Hz，对传送带抓取等任务勉强够用，但对接触富集快速调整（比如滑倒恢复）反应可能过慢。改进方向：(a) 把 Euler 步数从 4 降到 2-3，配合一致性模型（consistency model）；(b) 用 speculative decoding 或动作块复用；(c) 在多 GPU 或专用 NPU 上做 tensor parallelism。

基于论文结果和作者明确提到的方向，未来工作可分为四类。**作者明确提到的方向**：(1) 把 RLDX-1 推广到更多形态（双手机器人、移动 manipulator、四足带臂）；(2) 扩大物理信号类型（FSR、肌电、声学事件）；(3) 把 RECAP RL 扩展到更多真实任务，并探索与人类反馈（RLHF）的结合。**基于成果自然延伸的方向**：(a) **多模态记忆**：把当前 cognition feature 队列替换为可微压缩的视频-语言摘要（如 VideoLLM 风格的 caption），让记忆跨越更长时序；(b) **sim-to-real 合成数据迁移**：既然合成数据在 GR-1 上从 41% 提升到 50.1%，可以考虑在仿真器中渲染 RLDX-1 rollout，配合动作-视觉一致性损失，构成一个 self-improvement 闭环；(c) **持续学习**：当部署到新环境时，用现有模型作为 teacher 收集失败轨迹，结合 DAgger/leverage self-improvement 在线更新；(d) **多机器人协作**：把 MSAT 的"流"扩展到"队友状态流"，让单台机器人看到队友的意图。**评测方向**：(e) 增加任务的长程性、组合性评测，比如 RoboCasa365 那种 composite 任务；(f) 把真实世界硬件开源化（至少公开 BOM 和校准流程），让社区能复现物理感知类任务的结果。**安全与可解释方向**：(g) 在 P 流中加不确定性估计，让模型在不确定时主动请求人类协助或停止。

复现评估总体上"中等偏难"。**优点**：(1) 模型权重、训练数据列表、超参数、benchmark 协议都公开（github.com/RLWRLD/RLDX-1, huggingface.co/collections/RLWRLD/rldx-12026），论文给出了 AdamW lr=1e-4、batch size=8192、100K 步预训练、64 H200、195 小时等关键数字，细节相对清晰；(2) VLM 用的是 Qwen3-VL 8B 开源版本，Qwen3 系列的 VLM 复现已经比较成熟；(3) 仿真 benchmark（LIBERO、SIMPLER、RoboCasa Kitchen、GR-1 Tabletop、RoboCasa365）全部公开可直接跑；(4) 推理优化代码可以在 NVIDIA RTX 5090 上直接验证单步延迟。**难点**：(1) **真实机器人平台门槛高**：ALLEX 是 48-DoF 内部人形机器人，硬件不公开；OpenArm+Inspire Hands 28-DoF 虽是公开平台，但 Inspire RH56F1 手在很多地区买不到；FR3+AnySkin 触觉传感器要求额外的传感器标定和数据采集流程；(2) **合成数据管线工程量巨大**：I2I 编辑（FLUX.2-dev）、I2V（NVIDIA）、V2V（Cosmos-Transfer2.5-2B）、IDM、VLM 质量过滤、motion-consistency classifier 五个模块，每个模块都依赖闭源或受限访问的视频生成模型，复现成本极高；(3) **算力门槛**：预训练要 195 小时 × 64 H200，相当于约 12480 H200·小时，普通实验室无法承担；中训练再加 15 小时 × 64 H200；还要在 RTX 5090 上做 kernel 优化（虽然单卡即可，但需要 Nsight Compute 等专业工具）；(4) **物理感知数据稀缺**：AnySkin 触觉和 ALLEX 扭矩数据都是小规模内部数据，即使开源也难以做大规模 pre-train；(5) **RECAP 训练流程**：依赖文本预测 critic，VLM 的数字 token 预测细节仅在 Appendix C 简述，复现时容易掉性能。综合来看，**仿真实验较易复现，真实机器人实验和合成数据 pipeline 几乎不可能完全复现**，但论文提供的设计原则（MSAT、Memory Module、Motion Module、P 流）即使在简化版本下也具有借鉴价值。