Omni 模型中的上下文展开机制（Context Unrolling）

用上下文展开让统一多模态模型在推理时动态调用多模态原子能力。

前置知识

统一多模态模型（Unified Multimodal Model）

单一神经网络同时处理和生成多种模态（文本、图像、视频、3D）的范式，典型代表如 BAGEL、Janus 等。它通过共享的 token 表征空间，把不同模态都映射到同一潜空间，再用同一 Transformer 头解码。

本文 Omni 正是基于 BAGEL 的统一架构扩展而来，只有先理解统一模型的多任务共享机制，才能看懂 Context Unrolling 利用这种共享去构造上下文。

Mixture-of-Experts（MoE）

把 FFN 拆成多个专家子网络，每一层路由只激活其中一部分（如 3B/27B），总参数可很大但单次推理计算量较小。本文的 Omni 是 3B active 的 MoE 架构，与 Qwen3-VL-30B-A3B 等可比。

读懂实验对比的关键：作者强调 Omni 仅以 3B 的激活参数，与 30B 总参同规模模型在多项基准上相当，MoE 是实现这一效率比的核心。

原子原语（Atomic Primitive）与 Chain-of-Thought 思维链

CoT 通过在文本空间生成中间推理步骤来改善 LLM 输出；原子原语则更广义，把"描述、预测位姿、合成新视角"等都视作可调用的最小能力。本文把 CoT 视为原子原语之一的特例来扩展。

Context Unrolling 框架把这些原语当作可组合的算子，反复调用以逐步构建上下文，需要熟悉 CoT 才能体会从文本链到多模态链的演进。

新视角合成（NVS）与相机位姿估计

NVS 指给定若干输入视图生成同一场景新视角图像；相机位姿估计指从图像反推相机在 3D 空间中的位置朝向。两者是空间智能的核心能力，能为 3D 推理提供几何基础。

论文的 3D 文本/视觉上下文分别基于相机位姿与 NVS 来构造，是 Spatial Understanding 实验（Table 3）大幅提升的关键支撑。

扩散式生成与 Marigold 式深度估计

Marigold 等方法把深度估计重构为给定 RGB 的条件去噪扩散过程，可以看成"生成分布式深度图"。本文延续该思路，把深度图当作 Omni 的一个生成模态，置于多模态统一框架下。

理解 Table 10 时需要知道，Omni 在多项深度基准（KITTI 96.92% δ1、SINTEL 74.27% δ1）超过 VGGT 等专用方法，靠的是把深度当成生成模态并接入 Context Unrolling。

研究动机

近年统一多模态大模型（unified multimodal models）虽然在单一骨干网络内同时支持理解、生成、3D 等多种任务，但训练目标被简化为多个独立任务的拼接，导致各任务彼此孤立、缺少协同。具体来说，文本到图像在 GenEval2 等高组合度基准上随 prompt 复杂度提升而性能急剧下降（论文图 2 中 baseline 在高原子性下表现大幅劣化）；空间推理在涉及多视图几何歧义时（如 MMSI-Bench 上 Omni baseline 仅 27.14 分、positional relationship 仅 19.63）几乎失效；单目深度估计在物体边缘、墙面等场景下丢失细粒度结构。问题的根源不是"任务能力不够"，而是这些任务各自被当成 endpoint 在独立推理，缺乏共享、可组合的中间推理空间，使得多模态信息无法互补汇聚。

本文的目标是本文提出 Context Unrolling（上下文展开），把不同模态、3D 算子以及隐藏视觉表征都视作可调用的"原子原语"，在推理时通过迭代构造上下文 $C_t$，最终以条件解码 $y = \psi(x \mid C_T)$ 做出预测。具体目标包括：(i) 把统一模型从"多任务容器"改造为"多模态上下文机器"；(ii) 在 Omni 这一 3B active MoE 模型上同时提升理解、生成、空间推理和 3D 几何的指标；(iii) 验证文本链、视觉 token、相机位姿、NVS 等多种上下文在多个 benchmark 上可叠加复用。

与已有工作不同的是，之前工作（如 BAGEL）虽然通过 interleaved data 实现了图文双模态的混合训练，但推理时仍把每个任务视为从输入到输出的端到端映射。Qwen3-VL、InternVL3.5 等 MoE VLM 共享 backbone 但未把生成作为内部推理工具。VGGT、Cut3r 等 3D 专用模型虽强，却无法反过来用 3D 信息增强语言任务。Omni 的切入角度是：把这两种思路合一，在原生多模态训练中嵌入"thinking"与"imagination"机制，使每个原子原语既可独立评测，又能作为上下文供其它原语调用，从根本上释放统一模型跨任务协同的潜力。

核心方法

Omni 基于 BAGEL 架构扩展得到，参数 3B active / 总参更大的 MoE 形式，把模态从 image-text 一对拓展到 text、image、video、3D geometry、隐藏视觉表征五类共享同一 token 表征空间。其核心思想是把推理过程形式化为 $C_{t+1} = C_t \oplus \phi_t(x, C_t)$，其中 $C_t$ 是逐步累积的上下文，$\phi_t$ 是原子原语（如 text-think、视觉 token rollout、相机位姿估计、NVS、深度估计、详细描述生成等），$\oplus$ 是上下文组合算子，最终 $y = \psi(x \mid C_T)$ 解码出答案。于是"生图"不再是孤立 endpoint，而是"先用 text-think 写出细粒度描述 $\to$ rollout 视觉 token $\to$ 条件解码像素"；"回答空间题"则是"先估相机位姿得到 3D 文本上下文 $\to$ 再合成上下左右 NVS 视图 $\to$ 推理输出"，多模态上下文在每一次调用后被写回共享工作区，指导下一次推理。

把统一的真正价值定位为"context unrolling"而非简单的任务聚集。每个任务/原语都是一个可写入、读取共享上下文的算子，上下文本身在多步推理中不断扩展（长度变长、结构变丰富、可用性增强），从而把预测从"输入到输出的直接映射"变成"上下文条件下的解码"。这与已有方法的本质区别在于：Qwen3-VL 等纯 VLM 的"thinking"仍局限于文本链；BAGEL 的 interleaved 训练在推理时却没显式调用上下文；VGGT 等 3D 模型的"共享 encoder"只服务于 3D 输出。Omni 是首个把理解、生成、3D 几何都既看作 endpoint 又看作"上下文生产器"的统一框架，文本与视觉上下文互补，可任意叠加。

方法步骤详情

训练侧构建跨模态 interleaved 数据，统一文本/图像/视频/3D/隐藏表征的 next-token 目标。推理四路：(1) 视觉理解先 text-think 做 CoT 再答，Table 1 中 BLINK、AI2D 等涨 1-3 分；(2) 文到图先用 100/250 tokens 短/长 text-think 写属性与空间约束，再 rollout 视觉 token 后由 $C_T$ 解码像素，GenEval2 TIFAGM 从 29.25 升至 53.44，oracle 达 57.21；(3) 空间任务以相机位姿作 3D 文本上下文，再合成 NVS 作视觉上下文，Table 3 中 MMSI 由 27.14 升至 34.17；(4) 深度估计先以"depth caption"刻画几何约束，再 rollout 视觉 token 后做扩散式生成，Table 4 / Table 10 中 δ1 由 83.21% 升至 84.01%，并在 NYU 96.22、KITTI 96.92、SINTEL 74.27 等五项基准上整体刷新 SOTA。

技术新颖性

技术新颖性体现在三方面：第一，把"统一模型"从学术口号落地为可执行的算子框架，用 $C_{t+1} = C_t \oplus \phi_t(x, C_t)$ 给"unification"一个精确数学含义，使后续讨论都可基于该式展开；第二，提出"self-rollout"机制，让同一个 Omni 同时是上下文的生产者与消费者，避免引入额外专用网络（与依赖 Gemini-3 Pro 提供 oracle 文本的对比实验说明 self-rollout 虽然仍有差距，但已在 GenEval2 等任务上独立产出有效的细粒度描述与视觉 token）；第三，首次在单一 MoE 模型内实现"用 3D 几何服务语言任务"和"用生成式想象服务 3D 几何"的双向耦合，NVS 被证明比纯文本 CoT 在 MMSI 上提升 7.03 分，深度 caption 则比通用 detailed caption 更具约束作用，从而提示未来 multi-modal chain-of-thought 路线。

**Figure 2**: Context Unrolling. Multi-model model benefits from multi-granularity contexts

**Figure 3**: Illustration of Context Unrolling on Spatial Understanding

实验结果

T2I（Table 2）：GenEval2 TIFAGM 由 29.25 经"long text+visual"升至 53.44（+24.2），oracle 达 57.21，验证文本与视觉上下文互补。理解（Table 1）：BLINK 60.8→61.6、MMStar 59.4→66.5、AI2D 90.2→92.3，thinking 涨 1-3 分。空间（Table 3）MMSI 由 27.14 升至 34.17（+7.03）。深度（Table 4）δ1 由 83.21% 升至 84.01%；Table 10 在 NYU 96.22、KITTI 96.92、SINTEL 74.27 等五项基准整体刷新 SOTA。Table 5 多项超 30B-A3B 基线但 BLINK/MMStar 略逊；Table 6 GenEval2 54.12 远超 Z-Image 41.83；Table 8 FiVE Acc 72.41 远胜 Wan-Edit 46.97；Table 9 RealEstate10K AUC@30 88.32 取得 SOTA，CO3Dv2 75.21。

**Table 1**: Understanding with Self-Thinking

**Table 2**: Text-to-Image Generation on Benchmarks

**Table 3**: Spatial Understanding Evaluation

**Table 6**: Image Generation Evaluation

**Table 7**: Video Generation Evaluation

**Table 8**: Video Editing Results on FiVE Benchmark

**Table 9**: Camera Pose Estimation on RealEstate10K and CO3Dv2

**Table 10**: Monocular Depth Estimation

**Figure 4**: Depth Estimation with Different Contexts

查看结构化数据

任务	指标	本文	基线	提升
GenEval2 文本到图像生成（TIFAGM）	TIFAGM 得分	53.44（Omni + long + visual），oracle 57.21	29.25（Omni baseline）	+24.2（long + visual），+28.0（oracle 上下限）
空间理解 MMSI-Bench（downsampled）	Overall Score	34.17（+ visual contexts）	27.14（Omni baseline）	+7.03（约 +25.9%）
单目深度估计（SINTEL δ1）	δ1 ↑	74.27%	VGGT 66.11%, Depth-Anything 3 Giant 66.54%	+8 以上，显著领先所有专用方法
单目深度估计（KITTI AbsRel ↓）	AbsRel	0.0621	VGGT 0.0803，Depth-Anything 3 Giant 0.0824	AbsRel 下降约 0.0182
相机位姿（RealEstate10K AUC@30）	AUC@30 ↑	88.32	VGGT 88.23，Cut3r 85.32，Flare 84.42	+0.09（微超 VGGT）
视频编辑 FiVE（Acc ↑）	FiVE Acc	72.41	Wan-Edit 46.97，Pyramid-Edit 43.84	+25.44 / +28.57，大幅领先
视频生成 VBench 总分	Total Score	83.35	Wan2.1 83.69，Hunyuan Video 83.43	相当（略低 0.34），但 Semantic Score 84.29 反而最高
图像生成 GenEval2	GenEval2	54.12	Z-Image 41.83，Flux 34.59，Qwen-Image 30.67	+12.3 / +19.5 / +23.5
图像编辑 GEdit-Bench-EN（G_SC ↑）	G_SC	8.42	Qwen-Image-Edit 8.15，Step1X-Edit-v1.2 7.77	+0.27 / +0.65
多模态理解 RealWorldQA	Overall Acc	76.0	Qwen3-VL-30B-A3B 73.7，InternVL3.5-30B-A3B 72.3	+2.3 / +3.7

局限与改进

作者承认的局限主要有三点：(1) 视频生成仍只能输出 480×640、12 秒的短视频，与 Wan2.1 等专用模型距离明显；(2) 相机位姿在物体中心的 CO3Dv2 上 AUC@30 仅 75.21，落后 VGGT 约 11 分，作者把它归因于训练数据对 object-centric 场景覆盖不足；(3) 部分通用 VLM 指标（BLINK、MMStar、MMBench-v11）依然略逊于 Qwen3-VL-30B-A3B，说明未做重型 post-training 与蒸馏前原生训练仍有天花板。我个人的观察还包括：(a) Context Unrolling 在推理时引入多步调用，latency 与显存开销明显高于直接端到端 decoding，论文未给出 FLOPS/延迟统计；(b) self-rollout 的视觉 token 与文本中间产物可能引入错误累积（如 Table 2 显示与 oracle 仍有 4-5 点差距），缺少对错误传播的理论分析；(c) NVS 想象依赖模型的生成能力，本身在严重遮挡场景下容易幻觉，可能反过来误导空间推理；(d) 全文未公开权重，复现门槛较高。

独立分析的弱点

从独立视角看，本文存在几个值得关注的弱点。第一，"上下文展开"虽然展示了叠加效应，但每多一步原语调用都显著抬高 inference cost，整篇论文没有任何 latency、token 数或能耗的统计，读者无法判断 +7 MMSI 分的代价。第二，self-rollout 文本和视觉 token 可能引入错误传播，论文只在 GenEval2 上对比 oracle，没在空间、深度任务中讨论自我生成上下文的失败模式。第三，Context Unrolling 的形式化 $C_{t+1} = C_t \oplus \phi_t(x, C_t)$ 仍过于抽象，没有说明 $\oplus$ 如何实现——是真的拼接 token 序列还是引入可学习的融合器——这让"原子原语可组合"的论据稍显缺失。第四，视频生成分辨率被自身能力限制在 480×640，与文到图、3D 的高质量形成代差，拉低了统一模型形象。改进方向上，可以分别为不同上下文组合设计自适应加权融合器，引入 RL 对哪一步上下文构造进行剪枝，给 $\oplus$ 提供更具体的实现，并补充推理开销与失败案例分析。

未来方向

作者明确指出，unified context unrolling 与 post-training（RL 类优化）天然契合：未来可以让模型学习一个"在什么时候调用哪个原语"的策略，根据输入难度自适应决定 direct decoding 还是启用 text-think / 视觉 token / camera pose / NVS 等多步检查，从而在 domain shift 下保持鲁棒。基于论文给出的证据，更可延伸的方向包括：(1) 把多模态 CoT 拓展到"文本-图像-3D"的真正交错推理，而不是仅在单一模态内做 rollout；(2) 在多模态 chain-of-thought 框架下设计专门的 reward，鼓励几何一致性与指令跟随；(3) 利用 Omni 现有的 NVS 能力把 embodied AI / robotics 任务也作为原子原语加入，让空间任务闭环可训练；(4) 解决视频生成的尺度限制，借助更长视频 patch 与时序 attention 提升到 1080p / 秒级。

复现评估

论文作者明确表示构建于 BAGEL 之上，Omni 拥有 3B 激活参数，但截至目前（2026 年 6 月）全文未公开发布权重、训练代码或详细训练超参，只给出了项目页 omni-model.com。论文内的实验主要依靠：(i) 作者内部 downsampled 版本 MMSI-Bench 等基准（200 题样本，并非公开全部），(ii) GenEval2、VBench 等公开基准，(iii) VGGT、Depth-Anything 3（Giant）等已开源专用模型的对比。第三方复现主要难点在于：缺少 Modality-scaled pretraining 的数据规模与混合比例、未提供 RL 后训练配方、相机姿态用文本形式表达的具体序列化方法、NVS 提示词的构造细节，整体算力需求远高于消费级 GPU。综合判断复现难度：中等-偏高，研究者可借鉴思路但要复现完整数据 pipeline 与训练配方仍存在显著信息缺口。

Omni 模型中的上下文展开机制（Context Unrolling） Context Unrolling in Omni Models