Unify-Agent：面向世界基础图像生成的统一多模态智能体 Unify-Agent: A Unified Multimodal Agent for World-Grounded Image Synthesis
首次提出端到端统一多模态智能体框架，通过Think-Research-Recaption-Generate四阶段流水线实现真实世界的知识密集型图像生成
前置知识
统一多模态模型
统一多模态模型是指在一个共享架构中同时支持视觉理解和图像生成的模型。如 Janus 家族和 Show-o，它们通过 Mixture-of-Transformers (MoT) 架构整合 ViT 编码器处理多模态输入，通过专用专家解耦理解和生成能力。理解路径采用自回归下一词预测任务，生成路径采用 VAE 潜在空间中的 rectified flow 方法。这种设计使语义理解和连续视觉合成能够有效协调。
本文基于 Bagel（一种 UMM）构建，理解 UMM 的架构原理对于理解 Unify-Agent 如何在统一框架中实现推理、检索和生成三者的紧密结合至关重要。
Rectified Flow
Rectified Flow 是一种生成建模方法，学习从噪声分布到目标分布的速度场。给定连续时间步 t 和潜在状态 z_t，模型通过最小化目标向量场与预测速度场之间的 L2 距离来优化。这种方法避免了扩散模型中的多步采样，可以实现更高效的生成。
Unify-Agent 基于 Bagel 架构，其图像生成分支使用 rectified flow 目标，理解这一目标函数有助于理解模型如何在潜在空间中进行图像生成。
认知缺口检测
认知缺口检测是指模型评估输入提示时，判断其中是否包含其内部参数化记忆中缺失或不可靠的视觉关键属性的过程。模型将缺失信息表示为一组知识单元 M(x)，每个元素表示提示本身未充分指定的身份关键或视觉后果属性，如面部结构、发型、签名外观等。当 M(x) 非空时，模型进入研究阶段以主动解决这些缺失变量。
这是 Unify-Agent 四阶段流水线的第一步，理解认知缺口检测机制有助于理解模型如何决定何时需要检索外部知识，实现从被动生成到主动智能体范式的转变。
证据基础重新标注
证据基础重新标注是指将检索到的多模态证据转换为结构化、面向生成的文本描述的过程。重新标注不是通用的图像标题或简单改写，而是整合三个方面信息：提示级别的组合约束（场景、姿态、服装、氛围、渲染风格）、用于身份消歧和背景一致性的文本证据语义上下文、基于选定参考图像的身份保留视觉线索。它作为结构化接口，将异构外部证据转换为适合生成的统一文本控制信号。
这是 Unify-Agent 的核心创新之一，它解决了原始检索证据直接注入带来的问题，是实现世界知识约束与用户创作意图平衡的关键机制。
研究动机
现有统一多模态模型虽然能统一视觉理解和图像生成，但仍主要依赖冻结的参数化知识，这使得它们在涉及长尾和知识密集型概念的真实世界图像生成中表现不佳。当面对罕见角色、场景或对象时，基础文本到图像模型通常不知道目标概念应该是什么样子，哪些属性是身份定义性的，以及这些属性如何在组合指令下实例化。这一缺陷的根本原因是世界知识嵌入在固定模型参数中，无法在推理时更新。作者在初步实验中验证了这一观察：在 FactIP 基准的 200 个样本上，直接使用 Bagel 的 Overall 得分仅为 50.9，其中 Relevance 得分仅为 44.9，表明缺乏世界知识导致身份一致性严重不足。
本文的目标是本文的具体目标是构建一个端到端统一多模态智能体，通过在推理时主动获取外部世界知识来解决真实世界图像生成中的知识不足问题。作者提出的 Unify-Agent 旨在：将文本到图像生成从被动映射转变为主动、推理时的顺序决策过程（Think、Research、Recaption、Generate）；在统一模型中实现认知缺口检测、跨模态证据基础和生成规划的紧密结合；在真实世界知识基准上达到接近最强闭源模型的能力，同时在开源统一模型中建立新的最优记录。
与已有工作不同的是，本文的独特切入角度在于将世界基础图像建模为一个交错的生成轨迹而非单一映射，引入四个中间变量桥接提示理解和视觉合成：认知缺口评估 g、文本证据轨迹 tau_t、视觉证据轨迹 tau_v 和证据基础重新标注 c。联合分布定义整体生成过程。与现有松散连接 LLM 规划器、检索工具和独立图像生成器的脆弱多阶段管道不同，Unify-Agent 是首个端到端统一多模态智能体框架，通过原生整合认知缺口检测、跨模态证据基础和生成规划，消除了对脆弱 API 管道的依赖。
核心方法
Unify-Agent 的方法整体思路是将世界基础图像生成从单一提示到图像的被动映射转变为主动的智能体流水线。该方法基于一个关键洞察：统一理解和生成可以创造相互增强的协同效应。具体而言，VAE 捕获低层次感知潜在（保留纹理、材质、结构几何等细节），而 ViT 捕获高层次语义标记（包括全局上下文和实体身份），这使得模型能够以更高保真度解释检索的视觉参考，并将其转换为用于生成的精确文本规范。方法包含四个紧密耦合的阶段：Think 阶段进行提示理解和认知缺口检测，评估提示并识别缺失的视觉关键属性；Research 阶段主动获取相关文本和视觉知识，首先进行文本研究以建立语义基础，然后进行视觉研究以获取身份相关和上下文兼容的参考图像；Recaption 阶段将检索知识转换为结构化文本指导，整合身份保留约束和场景组合约束；Generate 阶段基于证据基础重新标注和视觉锚点进行最终图像合成。
核心创新点在于在统一多模态模型框架中实现推理、检索和生成的端到端集成。与现有方法松散连接冻结的纯文本规划器、外部搜索工具和独立图像生成器不同，Unify-Agent 通过重新标注作为理解和生成之间的自然桥梁，将检索的多模态证据转换为生成就绪的表示。作者揭示了统一模型中生成可以反过来促进理解：在重新标注阶段，模型必须将检索的参考图像转换为既语义忠实又生成就绪的结构化文本规范，这实际上是一个多模态理解问题，需要模型识别图像中出现的什么、哪些属性是身份关键的，以及这些视觉线索应该如何为下游合成表达。这种设计使得 VAE 和 ViT 的并行架构能够在单个端到端框架中利用低层次生成潜在和高层次语义视觉表示的联合可用性，产生更好的重新标注，进而实现更好的基础图像合成。
方法步骤详情
方法步骤的完整描述如下：Think 阶段：给定用户提示 x，模型首先执行结构化提示理解，将指令分解为语义有意义的因素（目标身份、场景配置、风格意图、摄影要求）。基于此结构化表示，模型评估忠实合成是否依赖于其内部参数化记忆中缺失、模糊或不可靠的知识，生成认知缺口变量。当 M(x) 非空时，模型进入研究阶段。Research 阶段：条件于推断的缺口状态，模型首先构建文本查询并检索文本证据，然后条件于检索结果生成视觉查询并检索初始候选集，使用视觉评估器对每个候选评分并选择前两个图像作为最终视觉证据。Recaption 阶段：模型将收集的原始多模态证据转换为两类约束：身份保留约束（捕捉必须忠实于目标身份的视觉属性）和场景组合约束（编码提示指定的生成因素），然后整合为证据基础重新标注。Generate 阶段：给定证据基础重新标注和选定的视觉锚点，最终图像根据合成公式生成，该公式强制最终合成独立于噪声推理历史，确保生成先验严格由精炼约束指导。
技术新颖性
技术新颖性主要体现在三个方面：架构新颖性：Unify-Agent 是首个端到端统一多模态智能体框架，通过原生整合认知缺口检测、跨模态证据基础和生成规划，消除了对脆弱 API 管道的依赖，实现了真正的推理驱动生成。训练新颖性：作者构建了包含 143K 高质量智能体轨迹的数据集，覆盖整个智能体生成过程的监督，使得模型学习世界基础生成为多阶段过程：获取外部证据、重新组织为合成就绪的重新标注、生成既忠实于检索世界知识又忠实于用户组合意图的图像。评测新颖性：作者提出了 FactIP 基准，这是一个包含 2462 个精选提示的综合基准，专门评估罕见身份和文化重要长尾概念的身份一致性和事实忠实性，覆盖 12 个领域，包括名人、动画、游戏、漫画、神话、吉祥物、动物、食物、艺术、玩具、地标和节日。
实验结果
核心发现来自多个基准的实验结果。在作者提出的 FactIP 基准上，Unify-Agent 取得了 73.2 的 Overall 得分，显著超过其基线模型 Bagel（50.9）超过 22 个百分点，在关键 Relevance 维度上取得最大增益（44.9 到 72.4），表明 Unify-Agent 的主要优势在于更强的事实基础和身份保真度，而不仅仅是改善通用图像质量。在 WiSE 基准上，Unify-Agent 取得了 0.77 的 Overall 得分，在统一 MLLM 类别中排名第一，超过强基线 BAGEL+CoT (0.70)，在文化 (0.82)、生物 (0.72) 和化学 (0.70) 知识等大多数领域表现最强。在 KiTTEN 基准上，Unify-Agent 建立了新的最优记录，总体得分为 4.08，超过强基线 Imagen-3 (3.50)，在文本对齐 (4.22) 和实体对齐 (3.93) 方面都取得了最高总体得分。在 T2I-FactBench 上，Unify-Agent 在 SKCI (77.4) 和 MKCC (71.5) 上取得了最高总体得分，SKCM 概念得分为 69.2，与商业模型 DALLE-3 (55.5) 相当。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FactIP Benchmark | Overall Score | 73.2 | Bagel | +22.3 |
| FactIP Benchmark | Relevance Score | 72.4 | Bagel | +27.5 |
| WiSE Benchmark | Overall WiScore | 0.77 | BAGEL+CoT | +0.07 |
| KiTTEN Benchmark | Overall Score | 4.08 | Imagen-3 | +0.58 |
| T2I-FactBench | SKCI All Score | 77.4 | DALLE-3 | -3.1 |
| T2I-FactBench | MKCC All Score | 71.5 | DALLE-3 | -4.2 |
局限与改进
局限性分析包括作者承认的不足和作者自己的观察。作者承认当前开源统一多模态模型仍然明显弱于最强的闭源系统，例如 Bagel 的长上下文能力有限，在单个上下文中只能支持相对少量的图像，这限制了更复杂的智能体行为。此外，虽然作者展示了在 IP 和概念中心的世界基础合成方面的强大结果，但当前的管道仍然限于相对浅的单遍工作流，而不是更一般的迭代智能体行为，如交错文本-图像搜索、反思和重新规划，这对于旅行规划或学术报告生成等更难的开放世界任务至关重要。作者还观察到，尽管 Unify-Agent 在多个基准上取得了最先进的性能，但与最先进的商业模型（如 Nano Banana-2 在 FactIP 上得分为 88.5）相比仍有差距，表明开源统一模型在世界知识能力方面仍有改进空间。
独立分析的弱点
独立分析的弱点包括：长尾概念的泛化能力：虽然 Unify-Agent 在 FactIP 基准上表现良好，但该基准主要涵盖 12 个特定类别，对于真正的开放世界生成，模型可能需要处理更多样化和未见的实体类型，这需要更大规模的训练数据和更强的泛化能力。多概念组合的复杂性：尽管 Unify-Agent 在 T2I-FactBench 的 MKCC 任务上表现良好（71.5），但多个概念的复杂交互仍然是一个挑战，特别是在概念之间存在冲突或需要精细控制关系时。检索质量的依赖性：Unify-Agent 的性能很大程度上依赖于检索到的文本和视觉证据的质量，如果检索系统返回不相关或低质量的信息，最终的图像质量可能会受到影响。计算开销：四阶段智能体流水线需要多次推理步骤和外部工具调用，相比单次文本到图像生成，计算开销显著增加，这可能限制其在实时应用中的可用性。评估偏差：当前基准主要使用 MLLM 作为自动评估器，这可能与人类评估存在差异，特别是在细微的身份一致性和审美质量方面。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的：更强的统一骨干：作者计划在更强的统一骨干上验证这些发现，并扩展框架以支持更长地平线的规划、重复搜索和更复杂真实世界环境中的自适应推理。迭代智能体行为：从当前的单遍工作流向更一般的迭代智能体行为扩展，包括交错文本-图像搜索、反思和重新规划，这对于旅行规划或学术报告生成等更难的开放世界任务至关重要。更多样化的评测基准：构建覆盖更多领域和更复杂场景的基准，以更好地评估模型在开放世界中的泛化能力和鲁棒性。效率优化：研究如何优化智能体流水线的计算开销，例如通过并行化检索步骤、缓存检索结果或使用更高效的检索算法，以使系统适用于更广泛的应用场景。多模态交互：扩展 Unify-Agent 以支持更丰富的多模态交互，例如视频生成、3D 生成或音频生成，以及跨模态的推理和规划能力。
复现评估
复现评估：作者提供了 GitHub 仓库（https://github.com/shawn0728/Unify-Agent），这表明作者倾向于开源代码和模型，有利于复现。训练数据由作者自建，包含 143K 高质量轨迹-图像对，这些样本提供了不仅对最终合成目标，而且对导致它的完整证据基础推理路径的监督。训练使用 64 个 NVIDIA H20 GPU 进行，整个微调过程持续约 10 天，完成 10000 个梯度步骤，这表明需要相当大的计算资源。模型基于 Bagel-14B 架构，使用 SigLIP-SO400M-14 作为视觉编码器，FLUX VAE（冻结）作为视觉生成 VAE。评测基准包括 FactIP、WiSE、KiTTEN 和 T2I-FactBench，均使用 MLLM 作为自动评估器，其中 FactIP 使用 Seed 2.0 作为专家评估器，其他基准使用 GPT-4o。整体而言，复现难度中等偏高，主要挑战在于大规模训练数据和计算资源的需求，但开源的代码和模型权重将显著降低复现门槛。
论文图表
