RAISE：面向训练自由文生图对齐的需求自适应进化式精化方法 RAISE: Requirement-Adaptive Evolutionary Refinement for Training-Free Text-to-Image Alignment

完整一轮 RAISE 由 5 个步骤组成：(1) 需求分析——Analyzer 智能体 $\mathcal{A}_{\text{analyzer}}$ 接收原始 prompt $x_{\text{user}}$、全局最优候选 $c^*_{i-1}$ 的 prompt 与图像、上一轮 verifier 反馈 $\mathcal{F}^*_{i-1}$，以及（若存在）本轮最优 $c'_{i-1}$ 的 prompt 与反馈，输出结构化需求清单 $\mathcal{R}_i = \mathcal{R}^+_i \cup \mathcal{R}^-_i$、对应的二分问题集 $Q_i$ 以及决策变量 $d^{\text{analyzer}}_i \in \{\text{continue, end}\}$；结束条件是所有主要需求（主体、计数、属性、空间关系、文本）都被满足且已运行 $\geq K_{\min}$ 轮。(2) 候选变异——根据轮次选用不同动作集：早轮 $i \leq K_{\min}=2$ 用 $\mathcal{M}_i = \mathcal{M}^{\text{resample}}_i \cup \mathcal{M}^{\text{rewrite}}_i$，其中 resample 固定 prompt 改写噪声 $m^{\text{resample}}_{i,j}(c^*_{i-1}) = (\epsilon_{i,j}, x_{\text{user}}, \emptyset)$、rewrite 调用 Generation Rewriter 生成改写 prompt 后同样配多份随机噪声；晚轮 $i > K_{\min}$ 用 $\mathcal{M}_i = \mathcal{M}^{\text{rewrite}}_i \cup \mathcal{M}^{\text{edit}}_i$，Editing Rewriter 会针对未满足需求生成三个指令变体（top/random/comprehensive），每个都基于 $y^*_{i-1}$ 做局部编辑，形成 5 rewrite + 3 edit = 8 个候选。(3) 候选执行——根据是否有参考图 $y'_{i,j}$，分别调用生成模型 $\mathcal{G}(\epsilon_{i,j}, x_{i,j})$（FLUX.1-dev，28 步）或编辑模型 $\mathcal{E}(\epsilon_{i,j}, x_{i,j}, y'_{i,j})$（FLUX.1-Kontext-dev）产出图像 $y_{i,j}$。(4) 适应度选择——用 NVILA-Lite-2B-Verifier 作为 fitness $f(y_{i,j}, x_{\text{user}})$，挑出本轮最优 $c'_i$ 与全局最优 $c^*_i = \arg\max_{t \leq i, j} f(y_{t,j}, x_{\text{user}})$。(5) 工具化验证——调用 Florence-2 生成 caption、Grounded SAM 2 给出带类别标签的边界框、MiDaS 给出区域平均深度，组成结构化证据 $G_{i,j}=\{(l_k, b_k, d_k)\}$，Verifier 智能体据此回答 $Q_i$ 中每个二分问题，输出三元组集合 $\mathcal{V}_i=\{v_{i,k}=(q_{i,k}, a_{i,k}, e_{i,k})\}$ 与 $d^{\text{verifier}}_i$，并在所有需求都满足且 $i \geq K_{\min}$ 时提前终止。整体算法在 $K_{\max}=4$ 轮内收敛，最终输出 $c^*$ 对应的图像 $y^*$。

技术新颖性体现在三个层面：(a) 把文生图对齐形式化为「requirement-driven adaptive scaling」问题——把 VLM 的反思能力显式落到需求清单 $\mathcal{R}_i$ 上，再把算力分配决策 $d^{\text{analyzer}}_i$ 与算力执行量 $n_i$ 耦合，是首个把「需求满足度」作为推理时停止准则的训练自由框架；(b) 多动作进化搜索——同时维护 prompt 改写、噪声重采样、指令编辑三个互补方向的种群，并通过早晚轮的动作切换（早轮广探索、晚轮精编辑）平衡探索-利用，避免单轨迹方法的「多轮收益衰减」；(c) 工具化结构化验证——把 Grounded SAM 2 的边界框、MiDaS 的深度估计与 VLM 的语言推理桥接起来，给 VLM 提供可引用的视觉证据 $\{(l_k, b_k, d_k)\}$，相对直接问 VLM「这图对不对」显著降低错觉率，也使验证结果可解释、可追溯。这三点组合是已有方法均未同时具备的。

(1) 空间关系弱——Position 类只到 0.83，比 ReflectionFlow 低 6 分。改进方向：可引入更强的几何感知工具如 BLIP-3 空间推理模块，或在需求清单中显式加入 bounding-box 比例约束作为硬约束，引导 diffusion 强制保持空间布局。(2) VLM 自反思偏差——Analyzer 与 Verifier 共用一个 Mistral-Small-3.2-24B，可能产生同源偏差。改进方向：Verifier 改用不同家族的 VLM（如 Qwen-VL），或训练独立的 verifier 模型以减少耦合。(3) 工具链路错误传播——Florence-2 captioning 出错时，Verifier 会基于错误描述做判断，导致整个验证链条偏移。改进方向：引入多模型投票机制或对工具输出做置信度过滤。(4) 计算成本仍偏高——平均 18.6 次采样 + 7.3 次 VLM 调用，相当于单次生成的近 20 倍。改进方向：早停阈值可按 prompt 难度动态调整，对简单 prompt（Single Object 类）只需 $K_{\min}=1$ 轮，避免过度精化。(5) 对 prompt 改写质量敏感——Rewriter 改写不当时可能引入新错误。改进方向：在 Rewriter 中加入「保持原始语义」正则化，并对改写前后做语义相似度检查。(6) $K_{\max}=4$ 是硬上限，极端复杂 prompt 可能未收敛就终止。改进方向：把停止条件从固定轮数改为「连续 N 轮无改进」或「未满足需求数稳定不变」。

作者明确提出的方向包括：(a) 把 RAISE 推广到其他生成任务如视频/3D；(b) 与更强的基础 UMM 集成；(c) 探索更高效的工具化验证方案。基于本文成果可延伸的方向还有：(1) 把需求清单机制扩展到可学习的「软 prompt」，让 Rewriter 学到针对不同需求类型的改写策略；(2) 引入人类反馈做 RLHF，把 RAISE 的多轮精化过程当作「过程奖励」信号训练基础 DM；(3) 与 Agentic 框架结合，让 RAISE 自动调用外部 API（如 Google Image Search 验证实体准确性）；(4) 研究 RAISE 的失败模式分析，建立需求预测器预判哪些 prompt 需要多轮精化以做早停；(5) 探索 RAISE 与并行推理加速（如分布式扩散采样）的结合，进一步压缩延迟。

代码已在 GitHub 开源（github.com/LiyaoJiang1998/RAISE），论文给出了完整的算法伪代码（Algorithm 1）和四个智能体的系统提示词（Figures 6-9）。训练完全免费，复现无需 GPU 训练开销。基础模型 FLUX.1-dev、FLUX.1-Kontext-dev、Mistral-Small-3.2-24B-Instruct-2506、NVILA-Lite-2B-Verifier 均为可公开获取的模型权重（Mistral 通过 Ollama 本地部署）。工具栈 Florence-2、Grounded SAM 2、MiDaS 均开源。复现难点在于：(1) 需要本地部署 24B 级 VLM，至少需要单卡 48GB 显存（A100/H100）或 4-bit 量化后的 24GB 显存；(2) FLUX.1-dev 单次生成约需 24GB 显存 × 18.6 次 ≈ 高端 GPU；(3) 多智能体编排依赖 LangGraph 框架，调试链路较长。整体复现难度中等偏上，主要瓶颈是硬件而非代码或数据。