UniPath：基于自适应路径协调的统一多模态理解与生成推理

规划器-执行器框架自适应选择理解-生成协调路径

前置知识

统一多模态模型 (Unified Multimodal Model, UMM)

在单一架构内同时具备视觉理解（如 VQA、captioning）和视觉生成（如 text-to-image）能力的模型。代表工作包括 BAGEL、Janus-Pro、Emu3.5、Show-o2 等，它们通常以 next-token prediction 或 diffusion/flow 头共享一个骨干网络。

本文的所有讨论都建立在 UMM 之上：作者观察到 UMM 同时拥有两种能力，但缺乏对'何时、以何种方式调用'这些能力的显式机制，因此提出路径级协调方案。

LoRA (Low-Rank Adaptation)

一种参数高效微调方法，在冻结的权重上注入两个低秩矩阵 A ∈ R^{d×r} 和 B ∈ R^{r×d}（r ≪ d），仅训练 A, B。本文用 LoRA chain 的形式对 BAGEL 进行了 4 个阶段、分别对应不同路径部件的微调。

LoRA 让 UMM 在不重训全部参数的情况下获得'按路径条件化'的行为，是 UniPath 训练路径条件化执行器的关键工程手段。

协调路径 (Coordination Path)

本文核心概念：一个由功能角色 (U/R/C/H/A) 组成的有序序列，规定模型从输入到答案要走几步、每步做什么。共定义 5 条代表性路径：p_A=(A), p_U=(U,A), p_R=(U,R,A), p_C=(U,R,C,R,A), p_H=(U,R,H,R,A)。

把'理解-生成如何协作'从连续的设计选择离散化为一个紧凑、可枚举、可监督的路径空间，是本文方法学的最核心抽象。

对齐的视觉思维 (Aligned Visual Thought)

本文为 C/H 角色设计的中间监督形式：视觉思维片段仍以可读文本形式出现在轨迹中，但该片段的池化隐状态 h̄_j 通过一个轻量投影头 g_φ 对齐到参考图像的视觉摘要 v_j，损失为 L_vis=(1/J)·Σ_j ‖g_φ(h̄_j) - v_j‖²。

它避免了显式生成中间图像带来的高成本和误差，也避免了直接插入原始视觉 latent 带来的粒度不匹配问题，是让 p_C, p_H 真正可训练的关键设计。

Chain-of-Thought / 多模态 CoT

通过显式中间推理步骤（文字或图文交错）提升模型推理能力的方法。在多模态场景中扩展为 interleaved reasoning-generation。本文将 CoT 视为 p_R=(U,R,A) 这一条特定路径，而非唯一选择。

读者需要知道'多步推理'在多模态领域已有的工作（UniCoT、IRG、AD-Loop），才能理解 UniPath 把它们纳入路径空间并加以统一的优势。

研究动机

现有多模态统一模型在协调'理解'与'生成'时存在两类极端。训练时耦合派（如 RecA、UniGame）通过自博弈或重建对齐提升一致性，但推理时没有显式的协调机制；显式协调派（如 IRG 的分析-起草循环、UniCoT 的交错推理生成、AD-Loop 的迭代环路）则把协调协议固化为训练和推理都遵循的单一模板。这两类方法都默认了'一种协调方式适合所有输入'。作者在 MMMU 上系统评估 BAGEL 在 5 条不同路径下的表现，发现：(1) 在学科层面，没有哪条路径在所有学科都占优——例如 MechEng 最优是 (U,A) 占 73%，Music 最优是 (U,R,C,R,A) 占 63%，差异显著；(2) 在实例层面，不同路径的正确率波动剧烈，许多样本只能被其中一条或少数几条路径解出；(3) Oracle（按样本挑最优路径）在 10 个学科上平均 74%，远超任何固定路径最高 48%——这意味着路径多样性是真实可利用的信号，而非冗余。

本文的目标是把多模态推理显式形式化为'协调路径的选择与执行'，并构建一个能按输入自适应挑选路径的系统。具体目标包括：(1) 定义一个紧凑、可监督的路径空间，覆盖从'直接作答'到'视觉思维构造'和'假设探索'的多种协调行为；(2) 训练一个路径条件化的执行器，使同一个 UMM 能可靠地执行多条路径；(3) 设计一个轻量规划器，根据输入动态选择路径，并在选择时结合学习分数与查询形式的结构先验。

与已有工作不同的是，现有方法在'设计协调协议'这一维度上做文章，却把'选哪条协议'当作隐式的次要问题。UniPath 的独特切入角度是把协调策略从'固定的协议模板'提升为一类'可学习、可枚举、可显式选择'的一阶对象。换句话说，本文不在某条单一协议里继续优化，而是把协议空间本身建模出来并加一个规划器，从而在论文图 1b/c 中展示出的'路径多样性'上做文章。这种视角在 UMM 文献中尚属首次。

核心方法

UniPath 整体上是一个 Planner-Executor 框架。先把已有工作里反复出现的'理解-推理-构造-假设-回答'5 个功能角色抽象出来，并据此定义 5 条代表性协调路径 P={p_A, p_U, p_R, p_C, p_H}，每条路径以一个核心角色为中心，只保留使其可执行的最小骨架，从而把搜索空间限制在可训练范围。执行器是 BAGEL UMM 本身，通过在角色对齐轨迹上做 4 阶段 LoRA 微调变成'路径条件化'的——给定输入 x 和路径标签 p，它能生成对应的角色标签轨迹和最终答案。规划器是一个轻量路由模块，输入也是 x，输出 5 条路径的得分 a_ψ(x,p)=σ(f_ψ(x)_p)，推理时再叠加一层基于查询形式（query form）的温度缩放和路径偏置做校准，从得分最高的路径中选出一条。直觉上，这等价于：先承认问题难度多样，然后显式地'按需分配思考深度'。

核心创新有两点。第一个是路径空间 + 角色对齐轨迹：把协调离散化为枚举的路径空间，把训练样本统一成带有 U/R/C/H/A 角色标签的轨迹，让一个 UMM 用同一套接口学会多种推理行为；这一点和 UniCoT、IRG 等把'多步推理'当成单一固定协议的训练范式有本质区别。第二个是对齐视觉思维 (Aligned Visual Thought)：对 C/H 这类需要视觉中间状态的角色，不要求模型真的画出图，而是让对应文本片段的隐状态在投影后对齐到参考图像的视觉摘要，损失为 L_vis=(1/J)·Σ_j ‖g_φ(h̄_j) - v_j‖²。这既避免了显式图像生成的高成本和不精确，又避免了直接插入原始视觉 latent 带来的粒度不匹配，是让 p_C, p_H 真正可学的关键。规划器侧，本文把'学习到的路径得分'与'查询形式 bucket 的先验'组合起来应对跨域泛化，也区别于直接把规划器当分类器的做法。

方法步骤详情

方法包含训练和推理两条主线。训练主线三步：(1) 构造角色对齐轨迹：把多模态样本转成输入 x + 路径标签 p + 按路径角色顺序排列的片段，对 U/R/A 角色片段直接做文本 token 监督，对 C/H 角色片段则同时做文本监督和 L_vis 视觉对齐监督；(2) 训练路径条件化执行器：固定 BAGEL 主干，训练 LoRA 适配器，按 4 阶段课程 (Stage 1: U-A/U-R-A, Stage 2: U-R-C-R-A/U-R-H-R-A, Stage 3: U-A/U-R-A, Stage 4: U-R-C-R-A/U-R-H-R-A) 依次激活不同路径，总损失为 L_exec = λ_text·L_text + λ_mse·L_latent + λ_vis·L_vis，文本部分采用角色加权的语言模型损失 L_text = -(1/Σ_t w_t)·Σ_t w_t·log π_θ(z_t|x,p,z_<t)；(3) 训练规划器：执行器训练完后在约 8k 校准样本上跑全部 5 条路径，记录每条路径是否解出该题得到多标签 r_{i,p}∈{0,1}，规划器用加权 BCE 损失 L_plan = (1/Σ_i ω_i)·Σ_i ω_i·(1/|P|)·Σ_p β_{i,p}·BCE(f_ψ(x_i)_p, r_{i,p})，其中少成功路径样本获得更大权重，p_A 之外的阳性标签被轻度上权重以避免坍缩。推理主线：先用查询形式 bucket 把输入分类，对每条候选路径用规划器打分并叠加 bucket 的温度缩放和偏置，只有当领先默认路径的 margin 超过阈值才采纳，否则退回默认。

技术新颖性

技术新颖性体现在三个层面。形式层面，'协调即路径选择'的抽象本身在 UMM 文献中是新的：之前的工作要么隐式耦合 (RecA/UniGame)，要么固化协议 (IRG/UniCoT/AD-Loop)，都没有把协调策略本身变成可枚举、可监督的对象。训练机制层面，角色对齐轨迹 + 对齐视觉思维的组合，让一个 UMM 在不重训主干的条件下获得'按路径条件化'的行为，并且首次让'中间视觉状态'的监督信号变得轻量、连续、可优化。规划机制层面，把学习到的路径得分与查询形式 bucket 的结构先验做校准，而非纯端到端学路由，是对'泛化能力'问题的实用回应——Table 3 显示 Model-only、Bucket-only 都弱于 Ours，验证了组合的必要性。综合看，本文不是某条协议内的小改进，而是给 UMM 推理提供了一个新的'协调策略'维度。

**Figure 2**: Overview of the training and inference process of UniPath.

实验结果

Table 1 是核心：在 5 个理解 benchmark 上 UniPath 全部超过 BAGEL 基底，平均从 70.06 提升到 72.85。具体到每个 benchmark：MMMU 51.90→54.11 (+4.3%)、MMBench-EN 82.65→86.31 (+4.4%)、MMBench-CN 80.94→83.57 (+3.2%)、MathVista 71.60→72.20 (+0.8%)、MMStar 63.20→68.07 (+7.7%)，其中 MMStar 的 +7.7% 提升最显著，作者归因于该 benchmark 题目的多模态特性差异大、可被多种路径差异化地利用；MathVista 提升最小 (+0.8%)，作者解释为该 benchmark 题型同质化，路径间差异难以被规划器可靠区分。与同代 BAGEL 派生方法相比，本文在 MMMU、MMBench-EN/CN 上取得 best，MathVista 与 UniCoT 持平 (72.20 vs 73.00 差 0.8 个点)，MMStar 上 IRG 更高 (70.00 vs 68.07)。生成侧：GenEval 78.81→80.00 (+1.5% 相对)、WISE 0.3989→0.4100 (+2.8% 相对)，因为生成任务在评估时只走执行器、不走规划器，这两个增益反映的是对齐视觉思维监督对生成能力的副作用——不但没掉，还略有提升。Table 2 的 UnifiedBench 一致性从 0.8346 升到 0.8380 (+0.4%)，支持'视觉思维携带了有用的视觉信息'。Figure 3 进一步分析规划器：MMMU 上 p_C 占主导 (56.6% 选中)，与该 benchmark 专家级、需要构造视觉思维的特性一致；MMBench-EN/CN 和 MMStar 上 p_A 占 70%–100%，与这些 benchmark 主要是识别/常识/选项匹配题相吻合；MathVista 路径分布最均衡，与该 benchmark 提升最小相互印证。Figure 4 的 token-accuracy trade-off 表明，UniPath 在 5 个理解 benchmark 上输出 token 数都明显少于 IRG/UniCoT，同时准确率相当或更高。Table 3 的规划器消融：固定路径 p_A–p_H 在 MMMU 上介于 50.11–52.33，Random 49.78，Model-only 52.22，Bucket-only 51.78，BAGEL 自己选 52.33，Ours 54.11；Adapted (针对目标域调过的配置) 56.11，Oracle 72.00——这说明两点：(a) 跨域通用规划器相对 Adapted 仍有约 2 个点的差距，(b) 即便最好的规划器距离 Oracle 还差 18 个点，留有显著空间。

**Table 1**: Main results on understanding and generation benchmarks. Missing entries indicate unavailable results. Relative-gain rows report improvements over the corresponding BAGEL baseline, with AD-Loop computed from the values reported in its paper.

**Table 2**: Understanding-generation consistency on UnifiedBench. Higher similarities are better.

**Table 3**: Planner analysis and ablations on understanding benchmarks. For this ablation, MMMU is evaluated on the full set, while MMBench-EN, MMBench-CN, MathVista, and MMStar use 200-example subsets to keep the cost of evaluating a wide range of planner variants manageable.

**Figure 3**: Planner behavior across benchmarks and validation transfer. (a) Selected path distribution. (b) Conditional accuracy on samples selected for each path. Missing entries indicate paths selected for zero samples. (c) Planner training validation utility versus routed MMMU accuracy for five planner checkpoints or configurations.

**Figure 4**: Accuracy versus average output-token cost on understanding benchmarks.

查看结构化数据

任务	指标	本文	基线	提升
MMMU (pro/val, 全集)	准确率 (%)	54.11	BAGEL 51.90	+4.3% 绝对 (相对 +8.3%)
MMBench-EN (dev)	准确率 (%)	86.31	BAGEL 82.65	+4.4% 绝对 (相对 +5.3%)
MMBench-CN (dev)	准确率 (%)	83.57	BAGEL 80.94	+3.2% 绝对 (相对 +4.0%)
MathVista (testmini)	准确率 (%)	72.20	BAGEL 71.60	+0.8% 绝对 (相对 +1.1%)
MMStar (val)	准确率 (%)	68.07	BAGEL 63.20	+7.7% 绝对 (相对 +12.2%)
GenEval	总体分	80.00	BAGEL 78.81	+1.5% 相对
WISE	总体分	0.4100	BAGEL 0.3989	+2.8% 相对
UnifiedBench (consistency)	Overall similarity	0.8380	BAGEL 0.8346	+0.4% 相对
平均 (5 个理解 benchmark)	准确率 (%)	72.85	BAGEL 70.06	+2.79 个百分点

局限与改进

作者明确指出的最核心局限是规划器泛化：在 200 题子集平均上，Ours 仅 73.99%，而 Adapted（针对目标域定制）达 78.72%、Oracle 达 87.80%，说明通用规划器在跨域稳健性上仍有约 5 个点的目标域特化空间和约 14 个点的 oracle 空间。作者把根因归为：(1) 路径标签在域间重叠，不同域里'成功'的路径定义不同；(2) 标注昂贵导致规划器训练样本有限。我自己观察到的额外局限包括：(a) 路径空间被硬性限制在 5 条，对需要多轮假设精炼或多次构造的复杂问题表达能力不够；(b) 对齐视觉思维用单向量 v_j 作为视觉摘要，丢失了空间结构信息，对几何/场景题可能欠优；(c) 查询形式 bucket 依赖 GPT-5.5 总结，引入外部模型依赖且对中文/小语种覆盖有限；(d) 4 阶段 LoRA 链训练对阶段顺序敏感，附录 G 给出训练诊断但并未给出对顺序扰动的鲁棒性分析。

独立分析的弱点

独立看，本文有 4 个相对薄弱的环节。其一，规划器学习信号来自 8k 校准样本上的'该路径是否解出'，这种信号很稀疏且受执行器性能天花板限制——如果某条路径当前执行器本来就弱，规划器就看不到该路径的潜力；改进方向是用反事实估计或 RL 探索来缓解稀疏性。其二，路径空间是离散且手工定义的，对真正的连续难度梯度建模能力差；可考虑用 latent path 或混合专家结构替代。其三，对齐视觉思维的投影头 g_φ 只对齐到单向量摘要，未利用 patch-level 视觉表征，对需要空间推理的几何题（图 1c 的几何题正确率最高 77%，仍不完美）可能损失信息；可改为对齐到 patch token embedding。其四，query-form calibration 用的 bucket 来自 GPT-5.5 总结，对语言和域敏感，并且无法在训练时端到端优化；改进方向是用可微结构或基于输入 embedding 的聚类替代手工 bucket。

未来方向

作者提到的未来方向是'学习一个跨域稳健的规划器'，并指出附录 J 有更深入讨论。基于论文成果可延伸的方向有：(1) 把规划器从分类器升级为条件生成器，让路径本身也可被改写或组合，例如先生成'先 U-R-C 再 U-R-H'这种复合路径；(2) 把对齐视觉思维扩展为对齐 patch 级视觉 token，让 C/H 角色保留空间结构信息；(3) 探索多模态规划器：当前规划器输入主要是 query 文本，Appendix E.3 显示规划器特征空间中图像信息没有被充分利用，可考虑把图像编码后作为规划器输入；(4) 把路径选择与执行端到端联合训练，避免执行器-规划器两段训练之间的信号滞后；(5) 在其他 UMM 主干（Janus-Pro、Emu3.5、Ovis-U1）上复现路径条件化训练，验证框架的 backbone 无关性。

复现评估

复现评估如下。代码：作者在 https://github.com/AIFrontierLab/TorchUMM/tree/main/src/umm/post_training/unipath 公开了 UniPath 在 TorchUMM 框架内的实现，附录 G 给出了 4 阶段 LoRA 链的训练细节和阶段诊断曲线。数据：执行器训练在路径对齐轨迹上进行（具体规模未在正文给出，附录 G/B 有补充），规划器训练依赖 8k 校准样本加上 MMBench 验证集与 MathVerse 子集；评估时用 MMMU 验证集全量，其它 4 个理解 benchmark 在 200 题子集上做消融，完整结果在 Table 1。算力：BAGEL 是 7B+7B 架构（理解 7B + 生成 7B），即使 LoRA 微调也需要多卡 GPU，作者未给出具体 GPU 数量与训练时长，附录 G 的阶段诊断曲线可帮助估算。难度：复现主要难点在 (a) 角色对齐轨迹的构造需要把多源数据统一到 U/R/C/H/A 标签下，依赖定制 pipeline；(b) 对齐视觉思维需要为每条 C/H 轨迹生成视觉摘要 v_j，通常要跑一个额外的视觉编码器；(c) GPT-5.5 总结出的 query-form bucket 较难完全复现其过程。整体复现门槛中等偏上，最稳的方式是基于公开 TorchUMM 代码 + 论文附录的诊断曲线来逐步对齐。

UniPath：基于自适应路径协调的统一多模态理解与生成推理 UniPath: Adaptive Coordination of Understanding and Generation for Unified Multimodal Reasoning