Lance：通过多任务协同实现统一多模态建模 Lance: Unified Multimodal Modeling by Multi-Task Synergy
3B激活参数的统一多模态模型，覆盖图文视频理解/生成/编辑
前置知识
Flow Matching（流匹配）
流匹配是扩散模型的连续化推广，学习时变速度场把高斯噪声沿路径输运到真实数据。目标 $\|v_\theta(x_t, t) - (x_1 - x_0)\|_2^2$ 在采样步数与稳定性上优于 DDPM，是当前视频生成主流。
Lance 的生成专家采用流匹配而非 AR，是其在视频生成上突破的关键，区别于 Chameleon/Emu3 这类纯 AR 路线。
Mixture-of-Experts（混合专家）
MoE 把 Transformer 的 FFN 替换为多个专家子网络加路由器，使总参数大但每次前向只激活部分专家，在不显著增加推理成本前提下扩展模型容量。
理解 Lance 双专家的关键是它把「理解」和「生成」拆成两条 pathway，避免不同目标在同一参数上竞争。
3D-RoPE（三维旋转位置编码）
3D-RoPE 是 Qwen2.5-VL 等多模态模型采用的位置编码，将每个视觉 token 的时空坐标 $(t, h, w)$ 编码到 query/key 的旋转相位中，所有模态共享同一位置起点。
Lance 的 MaPE 正是对 3D-RoPE 的模态级扩展，是论文核心技术贡献之一。
3D Causal VAE（三维因果变分自编码器）
Wan2.2 提出的视频专用 VAE，空间下采样 16×、时间下采样 4× 得到紧致时空潜空间。3D 因果结构保证编码可处理任意长度视频并保持时间因果性。
Lance 直接复用 Wan2.2 的 VAE 作为生成侧视觉编码，使图/视频共享同一潜空间。
研究动机
当前多模态基础模型普遍存在两条根本缺陷：其一，理解任务需要与语言对齐的高层语义特征（如 SigLIP/Qwen2.5-VL ViT），而生成任务需要保留纹理、几何、时序结构的低层连续潜变量（如 Wan VAE），两类表征在特征空间上天然错配；其二，已有「统一模型」如 Chameleon、Janus、Emu3 多停留在图文域或子任务组合层面，对视频理解/生成、编辑、主体驱动生成等任务覆盖不足，且把多样化任务当作下游微调技巧，而非在统一多任务训练中系统优化。如表 1 所示，能同时覆盖 X2T/X2I/X2V 全谱系任务的模型寥寥无几，且任务覆盖越广越容易出现涌现泛化。
本文的目标是Lance 旨在以仅 3B 激活参数、128-GPU 训练预算，从零训练一个原生（native）统一多模态模型，系统性覆盖图像/视频的理解、生成、编辑 12 类任务；并在 GenEval、DPG-Bench、VBench、GEdit-Bench、MVBench 等主流基准上整体性能超过现有开源统一模型，同时维持强理解能力。论文作者希望以此证明「多任务协同」而非单纯能力堆叠是统一多模态模型进一步突破的关键机制。
与已有工作不同的是，论文的核心观察是任务覆盖广度与涌现泛化正相关（表 1 最右列）。现有工作把多任务看作能力累加，Lance 把它视为跨模态跨任务的迁移机制。其切入角度是「统一上下文建模 + 解耦能力路径」两端协同：用一个共享的交错多模态 token 序列承载跨任务上下文，把理解和生成拆到两条 MoE 专家上解决目标冲突，再配合 MaPE 解决异构视觉 token 的位置混淆。区别于 BAGEL/Janus，Lance 把多任务协同从经验技巧上升到训练范式设计。
核心方法
直觉上，可以把 Lance 想象成一座「多模态语言大学」：所有学生（任务）共用同一间大阶梯教室（统一交错上下文），但被分成「文科」（理解）和「艺术」（生成）两个院系，配专属教师（双专家）。在技术层面，Lance 把文本、ViT 语义 token、干净 VAE token、噪声 VAE token 组织成同一条序列 $S$，让两个独立的 LLM 专家（$\mathrm{LLM}_{\mathrm{UND}}$、$\mathrm{LLM}_{\mathrm{GEN}}$）共享这条序列：前者用自回归 next-token loss 做理解，后者用流匹配速度预测 loss 做图像/视频合成。配合 MaPE 在 t 轴上给三类视觉 token 加上模态感知偏移，避免位置混淆；训练上分 PT-CT-SFT-RL 四阶段渐进引入多任务。
Lance 的核心创新有两点。第一是「双流 MoE + 共享交错序列」：与 BAGEL 单流 MoE 不同，Lance 在 Qwen2.5-VL 3B 基础上初始化两个独立 FFN 专家，分别优化 AR 理解目标和流匹配生成目标，但又通过 Generalized 3D Causal Attention 共享全部上下文，使两类任务既能解耦参数又能跨任务交互。第二是 MaPE（模态感知 RoPE）：原始 3D-RoPE 对所有视觉 token 用同一组 $(t,h,w)$ 起点，当 ViT 语义、clean VAE、noisy VAE 三类 token 同时存在于一条序列时会出现位置歧义；MaPE 沿 t 轴施加 $\Delta t$ 间隔 $p^{m_i}_{t,h,w} = \hat{p}^{m_i}_{t,h,w} + [i \cdot \Delta t, 0, 0]$，把不同模态 token 在位置空间上隔开，又因偏移是同组常数保持视频时间结构不变。
方法步骤详情
训练分四个阶段。**PT 阶段**（1.5T tokens, 350k 步）：冻结 ViT 和 VAE，在 1B 图文对 + 140M 视频文本对上优化其余参数，建立基础理解与生成；图像-视频采样比 1:4，分辨率按 192p→360p→480p 渐进。**CT 阶段**（300B tokens, 80k 步）：引入 2.73M 交错理解样本、2.8M 图编辑、2.6M 视频编辑、3.6M 主体驱动图像、1M 主体驱动视频，按 CT-I/II/III 渐进提升难任务比例（编辑+主体驱动从 0% 升到 50%），同时引入任务级 system prompt。**SFT 阶段**（72B tokens, 15k 步）：在 190K 高质量图、5K 高质量视频及编辑/主体驱动精选数据上以 1/4 学习率精调。**RL 阶段**（0.5B tokens, 800 步）：用 20K 强调文字渲染的提示，GRPO + PaddleOCR 奖励优化图文一致性。推理时图 768×768，视频 480p@12fps，文本 CFG=4。
技术新颖性
对比 BAGEL/Janus/Show-o2：Janus 仍用统一视觉编码器做理解与生成，能力受限于单一表征；BAGEL 虽是 MoE，但只在生成侧做专家分化；Show-o2 走纯 AR 路线难以在视频保真度上突破。Lance 第一次在统一模型中系统地（a）让两个独立 LLM 专家分别承担 AR 理解与流匹配生成，（b）引入模态级 RoPE 偏移 MaPE，（c）通过四阶段训练把 12 类任务统一到一个 token 序列中。三者结合使 3B 模型在视频生成上超过 7B Show-o2/TUNA，也使视频理解超过 7B Show-o2。
实验结果
在图像生成上（表 5），Lance 在 GenEval 上以 0.90 总分追平 TUNA-2 和 Mogao 取得统一模型并列最佳，其中 1-Obj 1.00、Colors 0.97、Spatial 0.87、Attribute 0.81 均为统一模型最强；DPG-Bench 上 84.67 与 7B BAGEL（85.07）相当，Relation 子项 93.38 排名第一。视频生成上（表 6）VBench 总分 85.11 拿下统一模型 SOTA，比 TUNA 1.5B（84.06）高 1 分以上；多对象 93.86、空间关系 93.61、人类动作 92.61、场景 64.75 均显著领先。图像编辑（表 7）GEdit-Bench 7.30 超越 BAGEL（6.52）、InternVL-U（6.66）。视频理解 MVBench 62.0 比 Show-o2 7B 55.7 高 6.3 分。消融（表 9-10）显示多任务数据把 MVBench 从 57.99 提到 59.18，MaPE 带来 GenEval +0.38、VBench +0.86 的稳定提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像生成 | GenEval Overall | 0.90 | TUNA-2 0.87 / BAGEL 0.88 | +0.02 ~ +0.03 统一模型 SOTA |
| 图像生成 | DPG-Bench Overall | 84.67 | BAGEL 7B 85.07 | 相当，参数仅 3B |
| 视频生成 | VBench Total Score | 85.11 | TUNA 1.5B 84.06 / Show-o2 2B 81.34 | +1.05 / +3.77 统一模型最佳 |
| 图像编辑 | GEdit-Bench Avg/G_O | 7.30 | InternVL-U 6.66 / BAGEL 6.52 | +0.64 ~ +0.78 统一模型最佳 |
| 视频理解 | MVBench Avg | 62.0 | Show-o2 7B 55.7 / UniVideo 7B 46.3 | +6.3 / +15.7 统一模型最佳 |
局限与改进
作者明确指出的局限包括：1) 文本修改类编辑子项仅 4.46，远低于其他子项；2) 预训练与持续训练阶段未引入专门的文字渲染数据，导致精确文字排版仍是弱项；3) 视频编辑仅 9K 高质量样本，编辑粒度与一致性尚有提升空间。从独立观察看，3B 激活参数在长视频（>5s）和高分辨率（>480p）上仍未充分验证；图 14 显示 0.5T→1.5T 之间仍存在运动细节不稳定；表 6 中 Lance 在 Subject Consistency（94.52）、Background Consistency（94.28）反而低于 TUNA，提示时序一致性可能因解耦专家而付出代价。
独立分析的弱点
从工程角度看，Lance 有三处可改进。**弱点一：文本渲染**。GEdit 文本修改仅 4.46、RL 阶段才用 OCR 奖励，说明在 PT/CT 时缺乏专门 OCR+排版数据。改进方向：参考 Qwen-Image 把专门的文字渲染语料（合成渲染+OCR 标注）以独立任务形式注入 CT 阶段，并用字符级 OCR 奖励做 SFT。**弱点二：时序一致性**。VBench 主体一致性 94.52、背景一致性 94.28 都低于 TUNA，可能因双专家在视频帧间对干净/噪声 VAE token 的处理不够稳定。改进方向：可在 MaPE 的 t 轴偏移基础上额外引入时间相对位置编码，或在 SFT 阶段加入时序一致性损失。**弱点三：长上下文效率**。CT 阶段单 rank 序列 80K、上下文窗口 70K，但推理时仍是单帧/单段视频。改进方向：引入 Key-Value 缓存复用与视频流式编码，把 Lance 拓展到长视频理解与生成。
未来方向
作者在结论中给出 4 个方向：1) 后训练阶段引入更全面的视频感知奖励模型，做基于反馈的时序一致性优化；2) 数据治理，加入专门文字渲染数据；3) 模型与专家容量、上下文长度缩放；4) 把音频、语音、3D、深度等模态纳入 any-to-any 框架。基于成果还可延伸：把 MaPE 推广到 N 模态场景（不只 t 维度偏移，可对 h/w 也做模态感知）；把双专家结构拆成 N 个细粒度专家（如文生图、图编辑、视频编辑、主体驱动）让路由器自动选择；以及把 GRPO 与 MaPE 结合做几何一致性的强化学习。
复现评估
复现难度**中等偏高**。代码与模型权重未在论文中给出 release 链接（仅放项目页 lance-project.github.io），依赖闭源 Qwen2.5-VL 3B 与 Wan2.2 VAE 权重。数据规模惊人：PT 阶段 1.5T tokens、1B 图文 + 140M 视频；CT 阶段 300B tokens，含 2.73M 交错理解、2.8M 图编辑等。算力门槛高：训练需 128 张 GPU（论文未明确卡型但按 token 量推测 A100/H100 级别），单阶段最长 350k 步。利好是作者详细公布了所有超参（表 2：AdamW β=(0.9,0.95)，CT 损失权重 0.5:1，MaPE Δt=1000）、数据配比（表 3）、任务统计（表 4），并给出四阶段 task-specific system prompt（论文图 8-9 全文复刻），方便研究者在小规模上重现关键消融。个人复现建议：先以 1.5B 模型 + 50k CT 步验证 MaPE 表 10 的趋势，再考虑完整跑通。
论文图表
