ToolArtist: 面向智能体式图像生成的工具使用统一多模态模型 ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

训练分四步。(1) Rollout：教师 agent 按用户指令做多轮交互，调用 TextSearch（Google + Jina/LLM Reader 摘要并兜底）、ImageSearch（过滤不可下载页面、用 LLM Reader 判断相关性、返回可用参考图与来源摘要）和外部图像生成器，得到交替的『推理→搜索→再推理→画图』原始轨迹，搜索是增强版以稳定证据质量。(2) Convert：把原始轨迹改写成 UMM 监督样本——搜索返回的文本和图像保留在上下文里；外部生成步骤不再当工具输出，而是改写成『原生多模态生成』：调生成器的 prompt 写成 caption span，后接对应图像 token；若轨迹在终图前失败、或图像加载/分词/上下文长度校验失败，整条样本丢弃。(3) SFT：对转换后的 $D_\text{SFT}=\{(x_i,y_i)\}_{i=1}^N$，目标 $\mathcal{L}_\text{SFT}(\theta) = -\mathbb{E}\frac{\sum_j M_{i,j}\log P_\theta(u_{i,j}\mid u_{i,<j})}{\sum_j M_{i,j}}$，只监督 $\mathcal{T}$ 中的推理与动作 token。(4) RAD-GRPO：对每个 prompt 在线采样 $B$ 条与环境交互的轨迹，用意图奖励 $R_I$、质量奖励 $R_Q$（忠实度 0.1、视觉正确性 0.4、文字准确性 0.4、美学 0.1 加权，无文字任务文字项退回 0.5）、格式奖励、画图信号、长度惩罚、不画图惩罚合成最终奖励 $\hat{R}_i$，再用 token-归一化 GRPO 目标优化，KL 项把策略拉回冻结的 SFT 参考策略。推理时 policy 自主决定交互路径并终止于最后一次画图。

技术新颖性集中在四处。第一，把『原生图像生成』首次明确纳入 agent 的动作空间，并设计了『生成不终止交互、画完可继续搜与改』的多轮修订语义，这是对工作流与提示优化范式的根本性突破。第二，提出轨迹转换（convert）机制：通过隐藏外部生成器调用、保留生成结果作为原生 visual-token span，把教师『用外部工具画图』的蒸馏难题转化为 UMM 自生成监督，避免了显式策略蒸馏的复杂性。第三，提出 RAD-GRPO——首个为 UMM agentic 图像生成设计的 token-归一化 GRPO，用同一轨迹级优势 $\hat{A}_i$ 同时优化推理、搜索与图像 token，配合意图+质量双重奖励把结果反馈传到全链路。第四，设计了配套的『策略支持掩码』使 SFT 与 RL 都只学习 policy 自身生成的行为，并辅以画图信号与不画图惩罚防止策略坍缩为『只搜索不画图』，这些都是 agentic 多模态 RL 工程上的首次系统化处理。

独立审视有五个弱点。第一，搜索依赖外部黑箱（Google+Jina），结果稳定性与可重复性受限；改进方向是把搜索结果缓存与去重、并引入一个轻量的『知识置信度』估计，让 policy 在证据不足时主动追问用户而非硬画。第二，奖励完全靠 LLM-as-judge，存在判官偏置；改进方向是引入基于真实图像检索（如以图搜图取 ground truth）或人类标注抽检作为校准，或用多判官集成降低单点偏差。第三，SFT 仅 7132 条、且覆盖 11 个主题分布不均（Sports 仅 0.8%、Business 1.7%），长尾主题（体育、商业）样本稀少；改进方向是针对薄弱主题做定向数据采集或主动学习。第四，未在 WISE 的 Time/Space 类别取得领先，说明模型对『何时发生、物体相对位置』的推理弱；改进方向是在 RL 奖励中加入显式的时空一致性奖励（如要求画里出现时钟/季节/方位线索并由判官核验），或在 SFT 中混入更多时序-空间任务。第五，未报告推理延迟与成本，且每次 RL roll-out 都要走多轮搜索+画图，训练与推理都很贵；改进方向是引入『搜索预算自适应』——让 policy 学会用更少的工具调用达到同等质量，并对工具调用次数设软约束。

作者隐含的未来方向包括：扩展到更长的 agentic 轨迹、更多工具（除文本/图像搜索外的计算、地图、知识图谱工具）、以及更强的自我修订。基于此我可延伸四条：(1) 多模态工具扩展——加入视频搜索、3D 资产检索、文字渲染工具等，让 agent 能画含复杂可读文本或 3D 一致的图（当前 Text Accuracy 在无文字任务退回 0.5 暴露了文字渲染短板）。(2) 在线/持续学习——把 ToolArtist 接入实时知识源（新闻、维基更新），让模型对时效性 prompt（如『最近的某事件』）保持新鲜，并设计遗忘与漂移控制。(3) 更细粒度的奖励分解——把当前四维质量奖励扩展为按 checklist 项的稀疏奖励，让 policy 知道『缺了哪一项』并定向补搜补画，对应 WorldGenBench 的 KCS 协议。(4) 安全与可控性——设计机制让 agent 拒绝生成侵权 IP、隐私人物或误导性内容，并在 RL 中引入安全奖励，这是 agentic 图像生成走向部署的必经之路。

复现评估较高。开源情况：作者明确发布 SFT 训练数据（HuggingFace: bubble65/EMU-Agentic-PostTrain-Data）与完整 SFT+RL 基础设施（GitHub: bubble65/EMU-Agentic-PostTrain），还附带 Appendix A.1 的完整 prompt（教师 agent、ToolArtist 推理、LLM Reader）与 A.4 的原始 rollout 示例，工程细节透明。数据可获得性：WISE 与 WorldGenBench-Humanities 均公开；Emu3.5 基座开源；教师用的 gemini-3-pro-image-preview 与 Google/Jina 搜索需 API 配额，有商业化门槛但可替换。算力需求：论文未给确切数字，但 RL 阶段每个 prompt 要采样 $B$ 条多轮在线轨迹、每条都含若干次搜索与原生图像生成，叠加 Emu3.5 这一较大 UMM 的前向反向，预计需要多卡多日，且在线交互带来不可忽略的延迟。复现难度：SFT 相对直接（有数据与脚本），RAD-GRPO 是本文创新核心，需要正确实现 token 级 policy-support mask、轨迹级 group advantage、意图+质量双奖励判官，以及搜索/画图工具的环境封装，门槛高于普通 SFT；判官 LLM 与基线（Unify-Agent、GenSearcher）的复现也需要额外对齐。综合看，有经验的 agentic RL 团队可在中等算力下复现主表趋势，但要精确复刻所有数字仍需对判官与搜索栈做细致对齐。