Agent Banana：基于智能体思维与工具调用的高保真图像编辑 Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling
多智能体分层框架实现4K原生分辨率高保真多轮图像编辑
前置知识
指令式图像编辑
指令式图像编辑是指用户通过自然语言命令（如将背景改为蓝天）来修改图像的技术。传统方法依赖扩散模型（如 Stable Diffusion）或自回归变换器直接生成编辑结果，通常在单轮对话中完成。该领域的核心挑战在于如何精确理解用户意图、仅修改目标区域并保持非目标区域不变。近年来，GPT-4o、Gemini 2.5 Flash Image 等商业系统以及 Flux-1、Qwen-Image-Edit 等开源模型大幅提升了真实感和指令遵循能力，但它们大多局限于低分辨率单轮编辑，无法满足专业摄影、视觉特效、影视制作等场景的 4K 高分辨率多轮需求。
本文的核心任务就是指令式图像编辑，理解该领域的基本范式和现有瓶颈是理解本文动机和贡献的前提。
多智能体系统（Multi-Agent System）
多智能体系统是一种将复杂任务分解为多个角色协同完成的架构设计。在本文中，系统被拆分为 Planner（规划者）和 Executor（执行者）两个智能体：Planner 负责全局意图理解和任务分解，将用户的模糊指令拆解为可执行的原子子目标；Executor 负责具体的图像编辑操作，包括工具选择、参数配置和中间验证。这种分工使得系统既能进行长期推理规划，又能执行精细的视觉操作。ReAct 范式中的思考-行动循环为智能体提供了迭代推理和自我纠错的能力。
本文的 Agent Banana 框架采用多智能体架构，Planner-Executor 分工是理解系统设计的关键。
视觉语言模型（VLM）
视觉语言模型是同时具备视觉理解和语言推理能力的多模态模型，能够理解图像内容并以自然语言描述。在本文中，VLM 被用于图像内容描述（构建 ImageContext）、视觉验证（Quality Test）以及工具参数生成。论文采用 GPT-5-mini 作为基础 VLM，赋予智能体强大的图像理解、推理和工具调用能力。VLM 的视觉理解能力使得系统能够准确解析用户指令中的视觉语义（如颜色、材质、空间关系），并将其映射为具体的编辑操作。
VLM 是 Agent Banana 框架的核心驱动力，贯穿规划、执行和验证全流程。
上下文溢出与长期规划
在多轮交互式任务中，随着编辑轮次增加，智能体需要反复引用整个交互历史（包括文本和视觉信息），这会导致 token 数量指数级增长，迅速超出 LLM 的上下文窗口长度，并引入无关噪声，损害后续步骤的推理和规划质量。在图像编辑场景中，这一问题尤为突出，因为每轮编辑都涉及高维视觉信息的传递。传统方法通过简单截断或摘要来缓解这一问题，但往往丢失关键的状态信息。
Context Folding 机制正是为解决上下文溢出问题而设计的，理解该问题的严重性有助于认识该机制的价值。
Otsu 阈值分割与掩码评估
Otsu 方法是一种自适应图像阈值分割算法，通过最大化类间方差来自动确定最优分割阈值，将像素分为前景和背景两类。在本文的评估中，Otsu 被用于构造背景掩码：首先计算编辑前后图像的逐像素差异图，然后用 Otsu 方法确定阈值，选择差异低于阈值的像素作为背景区域，从而单独评估非编辑区域的保真度。这避免了全局指标（如 PSNR、SSIM）将有效的前景编辑和不期望的背景退化混为一谈的问题。
Otsu 掩码评估是本文评估协议的核心创新之一，理解其原理对理解实验结果至关重要。
研究动机
当前指令式图像编辑模型在专业工作流程中面临三个持续性挑战。首先是过度编辑（over-editing）问题：现有模型在执行用户指令时经常修改超出用户意图的内容，例如用户仅要求改变物体颜色，模型却同时改变了物体的形状、位置或周围背景。论文中以一个具体案例说明：用户指令仅为修改小冰箱颜色为海泡绿，但基线模型引入了不必要的结构变化。其次是多轮交互中的对象保真度退化：现有模型大多是单轮设计，缺乏跨轮次的状态追踪和回滚能力，当多个编辑指令顺序执行时，先前编辑过的对象容易发生语义漂移，非目标区域的像素质量逐轮累积退化。第三是评估分辨率与实际工作流不匹配：现有基准测试通常在约 1K 分辨率（约 100 万像素）下评估，而专业摄影、视觉特效和影视制作中的实际工作流通常在 4K 或更高分辨率（如 1180 万像素）下运行。如 Table 1 所示，现有数据集如 AnyEdit 仅有 0.4M 像素、GEdit-Bench 为 3.4M 像素，且大多是单轮交互，缺乏多轮依赖和可验证的中间目标。
本文的目标是本文的具体目标是构建一个能够满足专业级图像编辑需求的智能体系统，该系统需要具备四大核心能力：第一，意图理解与分解能力，将复杂的用户请求（尤其是模糊的 vibe 类型提示）分解为离散的、单一目标的子编辑步骤；第二，精确的局部编辑能力，确保编辑精确应用于目标区域，同时保持其余内容不变，且在原生分辨率下操作；第三，状态追踪与回滚能力，在多轮交互中保留中间步骤，使用户或智能体能够轻松回退到先前状态并重新规划后续步骤；第四，原生高分辨率编辑能力，直接在 4K 图像上操作，保留精细纹理和清晰边界，避免下采样导致的细节损失。为了支持严格的评估，论文还构建了 HDD-Bench，一个基于对话的高分辨率基准测试，提供可验证的逐步目标和原生 4K 图像。
与已有工作不同的是，本文的独特切入角度在于将图像编辑问题重新建模为智能体规划与执行的分层框架，而非仅仅改进生成模型本身。现有方法通常将编辑视为端到端的图像生成问题，通过改进扩散模型架构或训练策略来提升编辑质量。本文则从三个维度提出了本质区别：第一，引入层级化的上下文记忆机制（Context Folding），将交互历史压缩为结构化的语义表示，通过资产级、执行级、规划级三个粒度的记忆模式解决长期规划中的上下文溢出问题；第二，采用分解-编辑-融合的局部处理范式（Image Layer Decomposition），摒弃全局重采样，仅对目标区域的高分辨率图层进行编辑，通过高斯融合算法无缝拼回原图；第三，构建基于对象状态图的可验证评估协议，将编辑建模为显式状态转移，支持逐步验证和精确诊断长期失败模式如过度编辑、漂移和不可逆退化。
核心方法
Agent Banana 是一个分层的多智能体编辑框架，其核心直觉是将复杂的图像编辑任务拆解为规划与执行两个层级，分别由专门的智能体负责。系统整体采用 ReAct 风格的迭代推理-行动范式，在每轮交互中，Planner 接收用户指令和当前图像状态，将任务分解为子目标并委托给 Executor。Executor 通过 Image Layer Decomposition 机制生成中间候选结果并返回反馈。Planner 验证更新后的图像是否满足指令目标；若不满足，则利用维护的图像状态图进行重新规划或回滚。这一闭环过程持续进行直到用户意图被满足或达到预设轮次限制。技术路线上，框架围绕两个关键机制构建：Context Folding 用于压缩不断增长的交互历史为紧凑的语义表示，Image Layer Decomposition 用于在局部高分辨率图层上执行编辑以保留非目标区域的像素级保真度。整个系统由 GPT-5-mini 作为基础大语言模型驱动，集成了多种开源和私有的视觉生成与编辑模型作为工具集。
本文的核心创新在于两个互补的机制设计，它们与已有方法存在本质区别。首先是 Context Folding 机制，它将交互历史按三个粒度层级进行结构化压缩：资产级（ImageContext）将图像抽象为轻量语义节点，包含唯一标识符 URI、VLM 生成的文本描述、父节点 URI 和状态转移类型，通过基于文本的图表示追踪完整的图像演化历史；执行级（ToolContext）作为执行器的瞬时工作记忆，记录原子指令的微观操作细节，包括工具选择、参数配置和中间推理过程，子任务完成后这些细节被折叠不进入长期记忆；规划级（ActionContext）作为每轮用户交互后建立的持久记忆，仅保留经过验证的有效编辑路径。这种分层抽象使得智能体即使在数十轮交互后仍能维持清晰的全局任务认知。其次是 Image Layer Decomposition 机制，它采用动态对象感知掩码精确定位目标区域，将其无损裁剪为独立的高分辨率图层补丁，所有生成编辑仅在该补丁的局部坐标系中进行，冻结背景区域的像素状态，编辑完成后通过高斯融合算法无缝拼回原图。这与传统端到端编辑模型对整张图像进行重采样形成鲜明对比，有效避免了非目标区域的像素漂移。
方法步骤详情
Agent Banana 的方法步骤可以分为以下完整流程。第一步是图像摄取与状态初始化：用户输入初始图像，系统通过感知管线提取场景状态，表示显著对象及其属性（名称、颜色、大小、材质、形状）。第二步是用户指令分解：Planner 接收用户的自然语言指令，将其分解为可执行的编辑计划，包括原子操作序列和目标区域。第三步是工具选择与执行：Executor 根据编辑计划选择合适的工具，从五个原子操作（replace、remove、add、adjust、undo）中选取，通过 MCP Server 调用对应的视觉模型。第四步是 Image Layer Decomposition 执行：系统利用动态对象感知掩码定位目标区域，将其从原始高分辨率图像中无损裁剪为独立图层补丁，所有编辑仅在该补丁的局部坐标系中进行。第五步是质量验证（Quality Test）：执行完成后，系统通过 VLM 进行视觉验证，检查编辑结果是否符合预期；若验证失败，执行器会迭代重试、回滚并重新规划。第六步是结果融合与状态更新：编辑后的图层补丁通过高斯融合算法无缝拼回原图，更新图像状态图，构建新的 ImageContext 节点。第七步是上下文折叠：当轮交互完成后，执行细节被压缩为 ActionContext，仅保留验证有效的编辑路径。这一过程循环进行，每轮遵循 ReAct 风格的决策策略。
技术新颖性
本文的技术新颖性体现在多个层面。在架构层面，Agent Banana 将 ReAct 范式与 MCP（Model Context Protocol）相结合，建立了 Planner-Executor 双智能体架构，并通过自反思机制实现了推理时的重试、回滚和重新规划能力，这在图像编辑领域是首创。在记忆管理层面，Context Folding 提出的三层级记忆抽象（Asset/Execution/Planning Level）是首次将认知科学中的工作记忆与长期记忆分离思想引入图像编辑智能体，通过语义压缩而非简单截断来处理上下文溢出问题。在编辑机制层面，Image Layer Decomposition 采用的分解-编辑-融合局部处理范式，摒弃了传统的全局重采样方法，通过图层隔离和高斯融合实现了像素级的保真度保持。在评估层面，HDD-Bench 提出的基于符号状态转移的可验证评估协议，以及 Otsu 掩码背景保真度指标，为多轮编辑评估建立了新的标准。特别值得注意的是，论文识别并命名了一种新的失败模式——先验诱导编辑漂移（Prior-Induced Editing Drift, PIED），揭示了逐轮视觉保真度与长期忠实度可以解耦的现象，这为评估多轮编辑器提供了重要洞察。
实验结果
本文在多个维度的实验中验证了 Agent Banana 的有效性。在多轮编辑基准 HDD-Bench 上，Agent Banana 在背景保真度方面取得最优成绩：PSNROM 为 28.40 dB（次优为 ICEdit 的 29.21 dB），SSIMOM 达到 0.84（显著优于所有基线），LPIPSOM 仅为 0.12（最低，表示最佳感知质量）。在指令遵循方面，Image Consistency (IC) 达到 0.871（最优），Instruction Following (IF) 为 0.849（竞争力强，仅次于 GPT Image 1 的 0.882 和 Nano Banana Pro 的 0.911）。在单轮编辑基准 ImgEdit-Bench 上，Agent Banana 在 Add、Adjust、Replace、Remove 四个子任务上均达到或接近最优（4.58、4.59、4.62、4.60），全面超越所有基线。在原生分辨率能力方面，Agent Banana 是仅有的两个支持 4K 原生分辨率的模型之一（另一个是 Nano Banana Pro），而 FLUX.1 Kontext 仅支持 832x1248、GPT Image 1 为 1024x1024、Qwen-Image 为 832x1248。消融实验表明，将基础 LLM 替换为较小的 Qwen-3-8B 会导致显著性能下降，在处理模糊指令和长序列规划时频繁生成无法解析的工具参数或错误依赖，验证了强大推理能力是处理复杂多轮编辑任务的前提条件。论文还揭示了 PIED 现象：多个基线模型在非编辑区域的 PSNROM 随轮次持续上升，这实际上是因为反复重采样使图像趋近生成器的先验分布，缩小了 Otsu 分区的背景变化（从而虚高 PSNROM），而对原始输入的忠实度仍在退化。Agent Banana 的 PSNROM 在各轮次间保持近似恒定，匹配了定性观察中累积伪影更少、高频细节保持更好的表现。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多轮编辑 - 背景保真度（PSNROM） | PSNROM ↑ | 28.40 dB | ICEdit 29.21 dB / Qwen-Image 23.62 dB / OmniGen2 23.59 dB / GPT Image 1 19.20 dB | PSNROM 保持各轮次近似恒定，未出现 PIED 现象，视觉质量退化最小 |
| 多轮编辑 - 感知背景保真度（LPIPSOM） | LPIPSOM ↓ | 0.12 | GPT Image 1 0.33 / OmniGen2 0.23 / Step1X-Edit 0.19 / FLUX.1 Kontext 0.17 | 0.12，所有模型中最低，表示最佳感知保真度 |
| 多轮编辑 - 图像一致性（IC） | IC ↑ | 0.871 | Nano Banana Pro 0.861 / Qwen-Image 0.807 / Step1X-Edit 0.797 / FLUX.1 Kontext 0.702 | 0.871，所有模型中最优，多轮一致性最佳 |
| 多轮编辑 - 结构相似度（SSIMOM） | SSIMOM ↑ | 0.84 | ICEdit 0.80 / Qwen-Image 0.80 / BAGEL 0.79 / Step1X-Edit 0.77 | 0.84，所有模型中最优 |
| 单轮编辑 - ImgEdit-Bench Add | Add ↑ | 4.58 | GPT Image 1 4.61 / FLUX.1 Kontext 4.25 / Qwen-Image 4.38 / Nano Banana Pro 4.58 | 与 Nano Banana Pro 并列最优，超越大部分基线 |
| 单轮编辑 - ImgEdit-Bench Adjust | Adj. ↑ | 4.59 | Nano Banana Pro 4.56 / GPT Image 1 4.33 / FLUX.1 Kontext 4.15 / Qwen-Image 4.16 | 4.59，所有模型中最优 |
| 单轮编辑 - ImgEdit-Bench Replace | Repl. ↑ | 4.62 | Qwen-Image 4.66 / Nano Banana Pro 4.55 / GPT Image 1 4.35 / FLUX.1 Kontext 4.56 | 4.62，仅略低于 Qwen-Image 的 4.66 |
| 单轮编辑 - ImgEdit-Bench Remove | Rem. ↑ | 4.60 | Nano Banana Pro 4.39 / FLUX.1 Kontext 3.57 / GPT Image 1 3.66 / Qwen-Image 4.14 | 4.60，所有模型中最优 |
局限与改进
本文存在若干值得深入讨论的局限性。首先，在计算效率方面，Agent Banana 的多智能体架构和迭代验证机制引入了显著的推理开销：每轮编辑都需要 Planner 分解、Executor 执行、Quality Test 验证三个阶段，且验证失败时需要重试，这使得单次编辑的延迟远高于端到端模型。论文未提供具体的推理时间和计算成本数据，这在实际部署中可能是关键瓶颈。其次，在基础模型依赖方面，系统深度依赖 GPT-5-mini 作为核心推理引擎，消融实验表明替换为较小的 Qwen-3-8B 会导致显著性能下降，这意味着系统的性能上限受限于基础模型的能力，且闭源模型的依赖增加了复现和部署的难度。第三，在评估方面，HDD-Bench 仅有 96 个精选会话，虽然强调质量而非数量，但样本规模较小可能限制评估结果的统计显著性和泛化性。第四，HDD-Bench 仅包含三轮交互，虽然可以控制难度和简化比较，但无法充分验证系统在更长交互序列（如 10 轮以上）下的表现。第五，五个原子操作（replace、remove、add、adjust、undo）虽然覆盖了常见编辑需求，但对于更复杂的编辑操作（如风格迁移、语义编辑、跨图像合成）的支持尚不明确。最后，论文在 Figure 5 中展示了非编辑区域一致性保持的优势，但未提供定量的逐区域分析来精确量化这种优势的幅度。
独立分析的弱点
从独立分析的角度来看，Agent Banana 存在几个值得关注的弱点。第一，推理效率是最大的实际部署瓶颈：多智能体迭代验证机制虽然提升了编辑质量，但每轮编辑涉及 Planner 规划、工具调用、Quality Test 验证和可能的重试，这在实时交互场景中可能造成用户等待时间过长。改进方向包括引入早期终止策略（当置信度足够高时跳过验证）、并行化工具调用、以及缓存中间结果以减少重复计算。第二，Context Folding 的信息压缩可能引入语义损失：当前的三层级抽象虽然高效，但在复杂编辑链中，被折叠掉的执行细节可能包含对未来步骤有用的信息，例如特定工具参数的微妙调整。可以探索自适应的记忆保留策略，根据任务复杂度动态调整压缩粒度。第三，Image Layer Decomposition 对对象边界的处理存在潜在问题：当编辑对象与其他对象紧密相邻或存在遮挡时，动态掩码的精度和高斯融合的自然度都会受到影响，可能导致边缘伪影。改进方向包括引入更精细的遮挡感知分割和自适应融合算法。第四，系统对指令模糊性的处理依赖基础 VLM 的理解能力，但未提供显式的歧义检测和澄清机制，当用户指令高度模糊时可能产生误解。可以引入交互式澄清对话或提供多个候选编辑方案供用户选择。
未来方向
基于本文的成果，未来研究可以在多个方向上进行延伸。作者提出的工作方向包括：将编辑建模为显式状态转移的对象级图结构，支持撤销、分支和长期纠正等高级操作；利用可扩展的数据引擎解耦状态转移与像素渲染，合成大规模视觉-语言推理轨迹和编辑历史。基于本文成果可延伸的方向包括：第一，将 Agent Banana 框架扩展到视频编辑领域，利用 Context Folding 追踪时序状态，Image Layer Decomposition 处理时空局部编辑，这在影视后期制作中具有巨大应用价值；第二，探索更强的交互式规划能力，引入人类反馈的强化学习（RLHF）或偏好学习，使系统能够从用户的历史编辑行为中学习个人风格偏好；第三，将 PIED 分析工具化，开发专门的漂移检测和量化工具，为多轮编辑系统提供标准化的质量监控；第四，探索轻量级部署方案，通过知识蒸馏或模型压缩技术降低对大型闭源模型的依赖，使系统能够在端侧设备上运行；第五，扩展原子操作集，引入更多高级编辑原语如风格迁移、语义插值、跨图像合成等，提升系统的编辑表达能力。
复现评估
从复现角度来看，本文的复现存在一定的挑战性。在开源方面，论文提供了项目网站（agent-banana.github.io），但未明确说明代码和数据集是否开源。在数据方面，HDD-Bench 包含 96 个精选会话，其构建依赖一个可扩展的符号数据引擎，该引擎从初始场景状态通过确定性转移算子生成多轮状态链，初始场景图和属性经过人工验证。然而，该引擎的具体实现细节和数据生成流程的完整描述可能需要进一步的文档支持。在算力方面，系统深度依赖 GPT-5-mini 作为核心推理引擎，并集成了多种视觉生成和编辑模型，这意味着复现需要访问这些闭源 API，且推理成本可能较高。消融实验中使用 Qwen-3-8B 替换基础模型会导致显著性能下降，表明复现质量对基础模型能力高度敏感。在复现难度方面，多智能体架构的协调、Context Folding 的三层级记忆管理、Image Layer Decomposition 的掩码生成和高斯融合算法都需要精确实现。总体而言，完整复现该系统需要较强的工程能力和一定的 API 访问成本，但核心思想和架构设计具有较好的可迁移性，可以基于不同的基础模型和工具集进行实例化。
论文图表
图 1 展示了 Agent Banana 在原生高分辨率（5460x3640）图像上进行多轮编辑的完整流程。用户提供了模糊但复杂的编辑提示，系统在三轮交互中逐步精炼场景：第一轮进行风格替换，第二轮进行属性解耦（改变瓶子颜色而不影响倒出的液体），第三轮恢复先前状态并添加细节。结果展示了专业风格的工作流，有效抵抗过度编辑和背景漂移，同时忠实保留了不应改变的内容。
这张图是论文的核心展示，直观体现了 Agent Banana 的多轮编辑能力、属性解耦精度和非目标区域保真度保持，是理解系统价值的关键入口。
图 2 展示了 Agent Banana 系统的整体架构。左侧为多轮交互循环，包含两个核心智能体：Planner 负责将用户查询分解为可执行的编辑计划，Executor 通过 MCP Server 选择工具执行编辑。Executor 包含自我纠正机制（Quality Test），若质量检查失败则迭代重试。右侧为评估器，通过分析 Turn n-1 和 Turn n 之间的状态转移，利用指令遵循检查和状态跟踪（JSON）得出最终分数。
这张图是理解系统架构的核心参考，清晰展示了 Planner-Executor 双智能体分工、MCP 工具调用、Quality Test 自我纠正和评估流程的整体设计。