OmniStream：在连续流中统一感知、重建与行动 OmniStream: Mastering Perception, Reconstruction and Action in Continuous Streams

OmniStream 的方法流程可以分为以下步骤：（1）Tokenization：将视频流 $V_T \in \mathbb{R}^{T \times H \times W \times 3}$ 的每帧切分为 $p \times p$ 的非重叠 patch，产生 $h \times w$ 个 patch，线性投影后在每帧前添加特殊 token——1 个全局 [CLS] token、4 个 register token 和可选的 [CAM] token，输入序列 $z_0 \in \mathbb{R}^{T \times (N_s + hw) \times d}$。（2）因果时空注意力：在每个 Transformer block 中，对所有帧的 token 应用时空自注意力，配合因果掩码 $M$ 确保严格的时间因果性。（3）3D-RoPE 编码：将 DINOv3 的 2D RoPE 扩展为时空编码，采用 2:3:3 的维度分配，时间分量插入到原始 2D RoPE 的 $i \equiv 3 \pmod{4}$ 位置，并应用 RoPE-box jittering 增强鲁棒性。（4）流式推理：利用持久化 KV-cache，每来一帧新图像，只计算其 Q 并复用历史 K/V，逐帧输出特征。（5）多任务预训练：在 29 个数据集、约 2 亿帧上联合训练三个目标——静态与时间表征学习（$\mathcal{L}_{ssl} = \mathcal{L}_{DINO} + \mathcal{L}_{iBOT} + 0.1 \times \mathcal{L}_{KoLeo} + \mathcal{L}_{gram}$）、流式几何重建（$\mathcal{L}_{geo} = \mathcal{L}_{depth} + \mathcal{L}_{ray} + \mathcal{L}_{points} + \mathcal{L}_{camera}$）、视觉语言对齐（$\mathcal{L}_{cap}$ 基于自回归语言建模目标）。（6）下游适配：冻结骨干参数，仅训练任务特定的轻量头——图像线性探针、视频注意力池化、VLM 的 MLP 投影器、VLA 的 MLP 动作头。

OmniStream 的技术新颖性体现在以下几个层面。首先，在位置编码设计上，3D-RoPE 采用 2:3:3 的维度分配策略是一种精心设计的平衡——时间维度仅占 2/8，这在引入时间感知的同时最大程度保留了 DINOv3 预训练的空间位置先验，避免了从头训练时空位置编码的高昂代价。更关键的是，利用 RoPE 的外推特性，模型在仅用 $T=16$ 帧训练的情况下，推理时可以处理超过 110 帧的长序列。其次，在训练范式上，三大目标的协同效应是本文最重要的发现之一：去掉视频 SSL 导致 SSv2 从 69.3% 降至 63.0%，去掉 3D 几何导致 VSI-Bench 降低 4.8% 且 CALVIN 降低 0.46，去掉 captioning 导致 VSI-Bench 暴跌 12.4%。这种 1+1+1 大于 3 的协同效应表明，多任务训练不是简单的目标叠加，而是通过共享表征空间实现了跨任务的知识迁移。最后，在评估范式上，本文首次证明单一视觉编码器在严格冻结条件下可以同时在五个领域（图像、视频、3D 重建、VLM、VLA）达到与专用专家竞争的性能，这为通用视觉骨干的可能性提供了强有力的实证支持。

OmniStream 存在几个值得深入分析的弱点。第一，训练范式的数据规模与多样性虽大，但缺乏对数据质量的深入分析——29 个数据集中包含合成数据（Virtual Kitti 2、Aria Synthetic Environments）和真实数据的混合，合成数据与真实场景之间的域差距可能影响模型在真实世界中的泛化能力，未来可以研究更好的域自适应策略或数据筛选机制。第二，多任务损失的权重设置（$\lambda_{ssl}=0.1, \lambda_{geo}=\lambda_{cap}=1$）较为粗糙，三个目标之间的梯度冲突和平衡问题未被深入探讨，可以考虑使用动态权重调整（如 uncertainty weighting 或 gradient surgery）来优化训练稳定性。第三，3D-RoPE 的 2:3:3 维度分配是一种经验性选择，缺乏理论分析或系统性的消融实验来证明这是最优分配，不同的维度分配策略可能在不同任务上表现不同。第四，视觉语言对齐仅使用 Qwen3-0.6B 作为语言解码器进行 captioning/OCR/grounding 训练，这种轻量级对齐是否足以支撑更大规模的 LLM（如 7B、13B）的集成效果尚不明确。第五，消融实验仅在 Stage-1 的 224×224 分辨率下进行，512×512 高分辨率训练阶段各目标的贡献可能有所不同。

作者明确提出的未来方向是模型扩展（model scaling），认为更大的模型将进一步缩小与专用方法的差距。基于本文成果，还有多个值得探索的方向：（1）更长的上下文外推——当前在 $T=16$ 帧训练、$T=110$ 帧推理已展示外推能力，可以探索训练更长序列或使用更高效的注意力机制（如线性注意力）来处理更长的流；（2）真实机器人部署——在真实物理环境中验证 VLA 性能，解决 sim-to-real 的域差距问题；（3）多模态扩展——将音频、触觉等模态融入统一骨干，实现更全面的环境感知；（4）更高效的架构——当前的 Transformer 架构在长序列上仍有 $O(T)$ 的内存线性增长，可以探索 Mamba 等状态空间模型来实现恒定内存的流式处理；（5）端到端的流式 VLM——目前 VLM 仍采用冻结视觉 + LLM 的两阶段设计，未来可以探索在流式设置下的端到端训练；（6）开放词汇的 3D 理解——将语言对齐能力与几何重建结合，实现在流式 3D 场景中的开放词汇理解和交互。

从复现角度来看，OmniStream 的复现难度较高。好消息是作者承诺将发布模型和训练代码（页面和 GitHub 链接已提供），这将大大降低复现门槛。然而，训练所需的巨大算力是一个主要障碍：64 张 NVIDIA H200 GPU 的训练规模远超一般研究团队的资源。数据方面，29 个数据集（约 2 亿帧）的收集和预处理也需要大量工作，虽然大部分数据集是公开的（如 ImageNet-21K、Kinetics、ScanNet 等），但部分数据如 PE-Videos 和 OmniWorld-Games 可能需要额外获取。推理阶段的复现相对容易——骨干参数约 400M，KV-cache 在短序列（$T=16$）下仅需 3.60GB VRAM，单卡即可运行。总体而言，如果作者按承诺开源，复现的关键瓶颈将主要在于训练算力而非代码或数据。