GEMS：具有记忆和技能的代理原生多模态生成框架 GEMS: Agent-Native Multimodal Generation with Memory and Skills

GEMS 的完整工作流程可以分为以下步骤。第一步是 Planner 处理用户提示 U，它与 Skill Manager 交互从领域技能库 S 中识别相关专业知识 Strig ⊆ S，利用这些技能合成增强的初始提示 P₁，同时将原始提示 U 发送给 Decomposer 建立评估框架，这一步的数学表达为 (P₁, U) = Fplan(U, S)。第二步是 Decomposer 将原始提示分解为原子视觉要求集合 C = {c₁, c₂, ..., cₙ}，每个标准 cⱼ 是一个二元（是/否）探针，代表基本的语义或结构约束。第三步是 Generator 在每次迭代 i 中基于当前优化提示 Pᵢ 生成图像 Iᵢ = Fgen(Pᵢ)。第四步是 Verifier 使用多模态大语言模型评估生成的图像，将视觉和文本输入映射为二元反馈向量 Vᵢ = {vᵢ,₁, ..., vᵢ,ₙ}，其中 vᵢ,ⱼ ∈ {0, 1}。如果所有标准都满足则循环终止，否则如果未达到最大迭代次数 Nmax，则将 Vᵢ 发送给 Refiner 作为诊断反馈。第五步是 Refiner 通过分析当前状态和历史上下文合成细化提示 Pᵢ₊₁ = Fref(Pᵢ, Iᵢ, Vᵢ, Tᵢ, Mᵢ₋₁)，其中 Mᵢ₋₁ 是 Agent Memory 在前一次迭代结束时的状态。在整个过程中，Agent Memory 通过层次化压缩策略管理历史上下文，将推理痕迹 Tᵢ 压缩为精炼经验 Eᵢ = Fcomp(Pᵢ, Iᵢ, Vᵢ, Tᵢ, Mᵢ₋₁)，然后更新记忆状态 Mᵢ = {(P₁, I₁, V₁, E₁), ..., (Pᵢ, Iᵢ, Vᵢ, Eᵢ)}。

GEMS 的技术新颖性体现在多个方面。首先，在架构设计上，GEMS 是首个将完整的代理范式系统性地迁移到多模态生成领域的工作，这与其它的迭代优化方法有本质区别。其次，在记忆管理上，GEMS 提出了层次化压缩策略来平衡信息密度和令牌效率，这是对传统上下文累积方法的重要改进。实验表明，包含完整的推理思考反而性能提升微弱（从 58.9 到 59.2），而使用压缩后的经验则获得了 2.5 分的显著提升（从 58.9 到 61.4），证明了精炼的战略洞察比未处理的内部反思对长上下文代理推理更有效。第三，在技能系统设计上，GEMS 的按需加载和渐进式暴露机制解决了技能库可扩展性和认知负担的平衡问题，使得系统能够支持大规模技能库而不对推理过程造成显著的令牌开销。最后，在性能表现上，GEMS 展现了跨不同模型架构和参数规模的泛化能力，特别是在轻量级模型上的提升最为显著。

从独立分析的角度来看，GEMS 存在几个可以改进的弱点。首先，当前的 Verifier 依赖于 MLLM 的二元判断，但在某些主观性较强的艺术创作任务中，二元判断可能过于简化，未来可以考虑引入更细粒度的评分机制或人类反馈。其次，Agent Memory 的压缩策略虽然有效，但压缩器 Fcomp 的实现细节在论文中描述不够详细，压缩过程中可能丢失一些有价值的推理细节，未来可以探索自适应压缩策略，根据任务复杂度动态调整压缩程度。第三，当前的 Agent Skill 系统主要依赖 Planner 的意图匹配，在处理模糊或多意图任务时可能无法触发最合适的技能，可以考虑引入技能组合机制，让多个技能协同工作以处理更复杂的任务。此外，GEMS 的技能扩展虽然简单易用，但缺乏技能质量的评估和筛选机制，未来可以建立社区驱动的技能质量评级和验证体系。

作者在论文结尾提出了几个值得探索的方向。首先是验证 GEMS 在其他多模态生成任务上的泛化能力，如文本到视频、3D 内容生成等，这些任务通常具有更高的复杂度和更长的生成过程，代理框架可能带来更显著的性能提升。其次是探索更复杂的技能系统，包括技能组合、技能学习、技能迁移等机制，使系统能够自动从数据中学习新的技能而不仅仅是依赖人工编写的知识。第三是研究更高效的记忆管理策略，包括记忆的选择性遗忘、重要性评分、跨任务知识迁移等，以应对更长的优化轨迹和更复杂的应用场景。此外，基于 GEMS 的成果，可以探索将其与训练时扩展相结合的策略，通过代理框架收集的高质量反馈来指导模型的训练，形成闭环的自进化系统。另一个有趣的方向是研究 GEMS 在多模态理解和推理任务中的应用，而不仅仅是生成任务，代理框架可能在这些任务中同样能够发挥重要作用。最后，可以探索 GEMS 在交互式创作工具中的应用，将代理推理能力直接提供给用户作为创作助手，实现人机协作的智能化创作流程。

GEMS 的复现难度处于中等水平。论文提供了项目页面（https://gems-gen.github.io），但代码和资源的开源情况需要进一步确认。实验部分使用了两个生成模型：Z-Image-Turbo（6B 参数）和 Qwen-Image-2512（20B 参数），以及 Kimi K2 作为 MLLM 后端。这些模型都是公开可用的，但需要相应的算力资源。论文详细报告了实现细节，包括最大迭代次数设置为 5，启用了四个技能等，这有助于复现实验结果。消融研究提供了各组件贡献的量化分析，这有助于理解系统的工作原理。然而，论文没有提供具体的超参数敏感性分析，某些关键参数（如记忆压缩的强度、技能匹配的阈值等）的最佳值可能需要根据具体任务进行调整。总体而言，对于拥有足够 GPU 资源的研究人员来说，复现主要实验结果是可行的，但要完全复现所有细节可能需要与作者沟通获取未公开的实现细节。