FlowTool：用流匹配控制图像修图的工具参数 FlowTool: Controlling Tool Parameter in Image Retouching via Flow Matching
把修图从自回归生成改为条件流匹配直接产出工具参数，延迟降50倍
前置知识
整流流（Rectified Flow）
流匹配的简洁形式：把数据样本 $a_0$ 与高斯噪声 $a_1$ 用直线路径 $a_t = (1-t)a_0 + t a_1$ 连接，训练速度场 $v_\theta$ 拟合路径速度 $a_1 - a_0$，推理时从噪声沿学到的 ODE 积分即可采样。由于路径近似直线，很少几步积分就能得到高质量样本。
FlowTool 的参数生成器整体就是一个条件整流流，其损失函数（公式 2、10）和推理时默认 3 步 ODE 都建立在此框架上，不懂它就看不懂方法核心。
DiT（Diffusion Transformer）
用 Transformer 替换 U-Net 作为扩散/流模型骨干的架构（Peebles & Xie, 2023），典型做法是通过自适应归一化把时间步等条件注入每个 block。本文用双流设计：多模态上下文 token 与参数 token 各占一路，经联合多头自注意力交互。
FlowTool 的工具参数生成器就是一个双流 DiT，理解联合注意力与时间步注入机制才能看懂 Figure 2 的架构与公式 (9)。
VLM 骨干与 LoRA 微调
视觉语言模型（VLM）能同时编码图像与文本，输出统一的多模态 token 表征。LoRA 是低秩适配微调技术：冻结原权重，在旁路加少量低秩矩阵参与训练，大幅降低可训练参数量与显存开销，同时保留预训练知识。
FlowTool 用 Qwen3.5-4B 作多模态条件编码器，两阶段 SFT 的第二阶段靠 LoRA 联合微调；消融 Table 3 证明这种课程式设计对保住预训练表征至关重要。
DiffusionNFT（前向过程强化学习）
针对扩散/流模型的在线 RL 后训练算法：对同一条件采样一组 rollout，把奖励组内归一化为 $[0,1]$ 的最优性权重 $r^{(k)}$；高奖励 rollout 构造 $v^+ = (1-\beta)v_{old} + \beta v_\theta$ 分支去靠近，低奖励构造 $v^- = (1+\beta)v_{old} - \beta v_\theta$ 分支去推远，只用前向流匹配过程，无需计算逆向似然。
FlowTool 的第二阶段训练直接采用 DiffusionNFT 优化渲染奖励，是理解论文公式 (3)-(5) 与奖励设计（公式 13-15）的前提。
工具存在掩码与编辑计划 $P(a,m)$
一次修图通常只激活工具集中的一小部分。用 $m \in \{0,1\}^D$ 标记每个工具是否启用，编辑计划定义为 $P(a, m) = \mathrm{denorm}(m \odot a + (1-m) \odot d_{norm})$：被激活的工具用生成的参数值，未激活的工具回填默认值后反归一化。
这是 FlowTool 输出空间的核心设计：参数回归只在掩码激活的工具上计算损失，消融 Table 2 证明去掉工具存在头会让 SC 从 7.96 跌到 7.04。
参考/无参考图像编辑评测指标
参考指标（L1、L2、PSNR、SSIM、LPIPS）把模型输出与专家修图逐像素或逐深度特征比较，衡量与专家解的接近程度；无参考指标用 VLM 打分，如本文采用的语义一致性 SC、感知质量 PQ 和总分 O（VieScore 风格，GPT-5 任裁判）。
Table 1 在四个基准上同时报告两类指标，理解二者区别才能正确解读 FlowTool '参考指标全面领先、SC 仅小幅落后 GPT-5.6 Sol' 的结论。
研究动机
工具型图像编辑（修图）目前主流做法是用自回归多模态大模型（MLLM）依次生成推理链、工具选择和参数数值 token，代表工作包括 JarvisArt、RetouchIQ 等专业编辑 agent，以及 GPT-5.6 Sol、Gemini 3.1 Pro、Claude Sonnet 5、Claude Opus 4.8 等直接提示的专有模型。作者指出这种范式有三个结构性缺陷：其一，修图工具的参数是平滑连续的线性标量（如曝光在 -100 到 100 之间），而 MLLM 把数字拆成离散 token 逐个解码，数值保真度差；其二，自回归预测把每个参数都条件在前面所有 token 上，长轨迹中早期的小错误会级联放大——定性实验中 JarvisArt 在青蛙例子上严重过曝光毁掉图像内容，各 agent 也频繁产出过饱和、过暗或色偏的激进编辑；其三，为生成与最终目标无关的长推理 token 付出高昂代价，基线单张图推理延迟达 11.24 到 32.11 秒、峰值显存 16.13 至 17.09 GB，对期望近实时反馈的交互式编辑和资源受限设备完全不友好。
本文的目标是本文的目标是把工具型修图从'自回归语言生成'重新表述为'结构化连续参数空间上的条件生成'：给定源图像 $x$ 和自然语言指令 $c$，直接建模高质量工具参数的条件分布 $p(a \mid x, c)$，一步输出'用哪些工具、参数各是多少'的编辑计划，交给确定性渲染器 $R$ 执行。量化目标有三：在 MMArt-Bench、ArtEdit-Bench、MIT-Adobe5K 及自建 FlowTool-Eval 上，参考指标（L1/L2/PSNR/SSIM/LPIPS）超过专业 MLLM agent 和专有前沿模型；无参考的语义一致性（SC）与感知质量（PQ）保持竞争力；同时把推理延迟从十几秒压到亚秒级（实测 0.19 秒，50 倍以上加速）、峰值显存近乎减半至 9.89 GB，使高质量修图在交互环境和端侧设备上真正可用。
与已有工作不同的是，本文的独特之处在于选对了'生成什么'：既不生成像素，也不生成语言 token，而是生成结构化的连续编辑参数。与扩散图像编辑方法（如 DiffRetouch）相比，那些方法直接在像素空间去噪、计算重且难以保持主体身份，FlowTool 只生成几十维参数向量再由专业渲染器执行，天然保真且极快；与视觉-语言-动作（VLA）模型和 diffusion policy 相比，共享'以多模态表示为条件驱动连续生成器'的原理，但把动作空间从机器人控制轨迹换成了图像编辑参数，属于该范式的跨领域迁移。更关键的概念论证是：编辑计划本质上不是唯一确定解——同一图像-指令对对应一整族合理参数配置，因此应建模条件联合分布 $p_0(a_0 \mid y)$ 而非回归单点，这恰好是流匹配等生成模型的用武之地，也是对自回归逐 token 建模的根本性替换。
核心方法
FlowTool 的直觉是：修图指令理解交给预训练 VLM，连续数值生成交给擅长连续空间的流匹配生成器。架构由三部分组成（Figure 2）：Qwen3.5-4B 视觉语言骨干把图像和指令编码为多模态 token $H = \mathrm{VLM}(x, c)$；一个 DiT 工具参数生成器把每个标量参数嵌入为 token，与 $H$ 拼接后经过带联合自注意力的双流 DiT 块，时间步 $t$ 通过自适应归一化注入，最终输出条件速度场 $v_\theta(a_t, t \mid x, c)$；另有一个工具存在头从 $H$ 预测 0/1 掩码 $\hat{m}$。训练采用整流流构造：$a_t = (1-t)a_0 + t a_1$，目标速度 $u_t = a_1 - a_0$，流匹配损失 $\mathcal{L}_{FM} = \mathbb{E}\,\|v_\theta - (a_1-a_0)\|_2^2$ 仅在专家激活的工具上计算。整体流程是两阶段监督 SFT 加 DiffusionNFT 奖励后训练；推理只需 3 步 ODE 积分，从高斯噪声 $a_1 \sim \mathcal{N}(0, I)$ 直接还原参数向量，全程没有自回归解码，这是 50 倍延迟优势的结构性来源。
核心创新是把'编辑计划'从一个 token 序列变成一个连续向量加一个掩码：参数按 $a_i = 2 a_i^{raw} - 1$ 归一化到 $[-1,1]^D$，编辑计划定义为 $P(a, m) = \mathrm{denorm}(m \odot a + (1-m) \odot d_{norm})$，即激活工具用生成值、未激活工具回填默认值。与已有方法的本质区别有三层：第一，参数不再被拆成离散数字 token，连续结构被完整保留，绕开了 LLM 数值能力差的根本短板；第二，模型输出的是条件分布的一次采样而非确定性序列，'多个参数配置都合理'这一事实被显式建模，天然规避自回归级联错误；第三，推理时不生成推理链和工具调用文本，数十维参数只需 3 步 ODE。训练上的关键配套是先用掩码加权的流匹配损失（公式 10，按 $\sqrt{m}$ 加权并用 $\max(1, \mathbf{1}^\top m)$ 归一）只在专家用过的工具上回归速度，再用工具存在头以二元交叉熵独立预测 $m$，把'选工具'和'定参数'解耦又联合优化。
方法步骤详情
第一步数据准备：从内部专家修图平台收集（源图、专家成图、工具参数设置）记录，清洗后映射到固定工具目录，参数归一化为 $a_0$，专家用过的工具构成掩码 $m$；数据不含指令，用 Gemma4-31B 观察前后图与参数合成多条候选指令、每轮随机采样一条，共得 496,693 个训练样本，无需推理链标注。第二步两阶段 SFT：先冻结 VLM，只训练随机初始化的 DiT 生成器与存在头，总损失 $\mathcal{L}_{SFT} = \mathcal{L}_{FM} + \lambda_{pres}\mathcal{L}_{pres}$（$\mathcal{L}_{pres}$ 为掩码的逐维 BCE）；随后解冻 VLM 的 LoRA 适配器联合微调。第三步奖励后训练：用 DiffusionNFT，对每个图像-指令对采样一组编辑计划并渲染，总奖励 $R^{(k)} = \lambda_{ref}R_{ref}^{(k)} + \lambda_{vlm}R_{vlm}^{(k)}$，其中 $R_{ref}^{(k)} = -\|\hat{x}^{(k)} - x^*\|_1$ 度量与专家成图的像素距离，$R_{vlm}^{(k)}$ 由 Qwen3.8-27B 任 VLM 裁判评估指令符合度；奖励经组内归一化转为最优性权重 $r^{(k)} \in [0,1]$，高奖励 rollout 走 $v_\theta^+$ 分支鼓励、低奖励走 $v_\theta^-$ 分支抑制。第四步推理：采样 $a_1 \sim \mathcal{N}(0,I)$，从 $t=1$ 积分到 $t=0$（默认 3 步）得 $\hat{a}_0$，与预测掩码 $\hat{m}$ 组成计划交给渲染器输出成图。
技术新颖性
技术新颖性体现在四个方面。一是问题形式化的迁移：首次把工具参数生成表述为条件整流流匹配，把 diffusion policy/VLA 的连续动作建模范式引入图像修图，输出空间从语言序列换成 $[-1,1]^D$ 参数空间。二是架构上的双流 DiT 设计：参数 token 与多模态上下文 token 做联合自注意力，使每个标量参数既能感知图像-指令语义又能与其他参数协调，时间步经自适应归一化注入。三是两阶段课程消除了'随机初始化模块污染预训练表征'的优化不平衡——消融显示从头联训 SC 掉到 5.99、总分 7.42，而课程式训练达 7.96/8.69，只训第二阶段更差（Stage 2 only SC 仅 5.99）。四是把 DiffusionNFT 前向过程 RL 用于渲染反馈优化，奖励直接来自渲染图像而非 token 级策略梯度，绕开了扩散模型逆向似然难算的问题。组合效果是质量、延迟（0.19 秒）、显存（9.89 GB）三端同时获益。
实验结果
四个基准的核心结论是：参考指标全面领先、无参考指标有竞争力、效率碾压（Table 1、Figure 4）。参考指标上，FlowTool-RL 在 MMArt-Bench 达 L1 9.42、L2 17.98，比最强专业 agent JarvisArt（L1 11.64、L2 28.69）改善 19.5% 和 38.0%，比最强的 GPT-5.6 Sol（L1 10.77）改善 13.0% 和 21.2%；FlowTool-Eval 上 L1 7.87、L2 13.21，对 JarvisArt 的 L2 改善高达 47.4%；ArtEdit-Bench 上 L1 7.65、L2 12.95 同样第一；MIT-Adobe5K 上 PSNR 17.90、SSIM 0.51、LPIPS 0.36 全面最佳。无参考上，FlowTool-RL 在 MMArt-Bench 的 SC/PQ/O 为 8.16/9.59/8.81，PQ 超过所有专有模型，SC 仅以 2.2% 落后 GPT-5.6 Sol（8.34），但远超 JarvisArt（7.31）与 RetouchIQ（6.42）；RL 后训练普遍推高 SC 与总分。效率上（200 样本、A100 单卡）：延迟 0.19 秒，比最快的 JarvisArt（14.15 秒）快 50 倍以上，峰值显存 9.89 GB 约为专业 agent（16.13-17.09 GB）的六成。消融（Figure 5、Table 2-4）：ODE 步数 1 到 3 显著提升、3 步后饱和；去掉工具存在头使 SC 从 7.96 跌至 7.04；两阶段课程缺一不可；骨干 0.8B 到 4B 提升而 9B 略降，故选 Qwen3.5-4B。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMArt-Bench 指令修图 | L1 距离（越低越好） | FlowTool-RL 9.42（SFT 9.37） | GPT-5.6 Sol 10.77；JarvisArt 11.64；RetouchIQ 17.94 | 相对最强专有模型改善 13.0%，相对最强专业 agent 改善 19.5% |
| MMArt-Bench 指令修图 | L2 距离（越低越好） | FlowTool-SFT 17.78 | GPT-5.6 Sol 22.68；JarvisArt 28.69 | 相对专有模型 +21.2%，相对专业 agent +38.0% |
| FlowTool-Eval 指令修图（300 条内部保留样本） | L2 距离（越低越好） | FlowTool-RL 13.21（L1 7.87） | JarvisArt L2 25.12；GPT-5.6 Sol L2 16.44 | L2 相对专业 agent +47.4%，相对专有模型 +19.6% |
| ArtEdit-Bench 指令修图 | L1 / L2（越低越好） | L1 7.65，L2 12.95 | JarvisArt L1 9.56 / L2 22.72；GPT-5.6 Sol L1 8.73 / L2 16.60 | L1 +20.0%、L2 +43.0%（vs 专业）；+12.4%、+21.7%（vs 专有） |
| MIT-Adobe5K 专家修图复现 | PSNR / SSIM / LPIPS | PSNR 17.90，SSIM 0.51，LPIPS 0.36（全面第一） | JarvisArt 17.39 / 0.47 / 0.40；GPT-5.6 Sol 17.25 / 0.52 / 0.38 | PSNR +2.9%、SSIM +10.6%、LPIPS +10.0%（vs 最强专业基线） |
| 推理效率（4 基准各 50 例，A100 单卡） | 延迟 / 峰值显存 | 0.19 秒 / 9.89 GB | 最快基线 JarvisArt 14.15 秒 / 16.13 GB；RetouchIQ 32.11 秒 / 17.09 GB | 延迟降低 50 倍以上，显存约为专业 agent 的 60%（近 2 倍节省） |
局限与改进
作者明确承认的局限：FlowTool 目前只支持标准化线性参数空间（如归一化到 $[-100,100]$ 的标量），而真实编辑软件中大量存在循环/极角参数（色相 hue）和离散/类别参数（下拉选项），框架尚不能覆盖，附录 B 将其列为未来工作。我的补充观察：其一，训练完全依赖内部平台的 496,693 条专家修图记录，指令由 Gemma4-31B 合成，数据分布偏向 Adobe 工具链与专家审美，迁移到任意用户的工具集存疑；其二，问题设定假设渲染器按'静态最优工具顺序'执行复合计划，工具间的交互与顺序本身没有被建模；其三，参考奖励 $R_{ref} = -\|\hat{x} - x^*\|_1$ 隐含'专家解是锚点'的偏置，可能压制与专家不同但同样合理的编辑，与作者'多解分布'的动机存在张力；其四，RL 裁判（Qwen3.8-27B）与评测裁判（GPT-5）都是 VLM，存在裁判偏置与循环性风险；其五，SC 上仍落后 GPT-5.6 Sol 约 2.2%，语义理解的极限可能来自 4B 骨干，而 9B 又训练不平衡。
独立分析的弱点
独立分析的弱点及改进方向：1）参数空间表达能力受限——色相等循环量被硬塞进线性区间会在 $\pm\pi$ 边界产生跳变，可引入环状流（在圆环上定义测地线路径）或对周期参数做连续编码；离散选项可用离散流匹配或混合离散-连续头处理。2）工具存在头是逐维独立二分类，无法建模工具间共现约束（如局部调整工具之间的依赖），可改为集合生成或自回归掩码预测。3）奖励依赖专家参考图像素 L1，对'风格化但合理'的编辑不友好，可引入分布级奖励（组内多样性正则、成对偏好学习）。4）固定工具顺序假设放弃了学习工具排序因果影响的机会，可扩展为顺序感知的排列生成。5）0.19 秒延迟中 VLM 编码仍是开销大头；9B 骨干反而变差说明该任务的表征需求集中在 1B-4B 区间，端侧部署可向 1B 以下蒸馏而非盲目加大。6）FlowTool-Eval 只有 300 条且与训练数据同源同分布，结论对外部数据的外推性有待在完全第三方集合上验证。7）对比的专有模型走 API、无法控制解码配置，延迟对比虽公平但质量复现受提示词工程影响。
未来方向
作者在附录 B 提出的方向：把框架扩展到循环/极角参数（如 hue）以及离散、类别参数，从而覆盖更通用的编辑工具与界面。基于本文成果可自然延伸的方向：一是从单步编辑走向多轮迭代修图，把历史编辑计划纳入条件 $y=(x, c, \mathrm{history})$，与 JarvisArt 系迭代 agent 正面对比；二是视频调色的时序流匹配——参数维度增加但结构同构，可加时间一致性正则；三是把 RL 裁判换成人类偏好数据，做 RLHF 版 DiffusionNFT，缓解 VLM 裁判偏置；四是结合个性化风格先验，学习'特定摄影师'的条件分布 $p(a \mid y, \mathrm{style})$；五是由于输出是纯参数，天然适配非破坏性 RAW 编辑管线（如 Lightroom XMP 预设），可直接落地为产品级辅助功能；六是把工具存在头并入同一流中联合采样，建模完整的 $p(a, m \mid y)$ 联合分布，让掩码与参数互相约束；七是探索 bigger renderer 工具集下的参数空间条件化（工具目录作为 prompt 前缀），摆脱固定目录假设。
复现评估
总体复现难度：高，主要障碍在数据而非算法。代码、模型权重和训练数据均未开源，论文明确说明访问需内部审批；核心语料（496,693 条专家修图记录及合成指令）来自 Adobe 内部平台，外部研究者无法获得等价数据，FlowTool-Eval（300 条）也不公开。可复现部分：三个公开基准（MMArt-Bench、ArtEdit-Bench、MIT-Adobe5K）与标准指标（L1/L2/PSNR/SSIM/LPIPS、SC/PQ/O）；骨干 Qwen3.5-4B、指令合成用 Gemma4-31B、RL 裁判 Qwen3.8-27B 均为公开模型。算力门槛中等：SFT 单张 A100 80GB 约 46 小时，RL 阶段 8 卡 A100 约 40 小时，VLM 以 bfloat16 运行。若要复现，可用 MIT-Adobe5K 的 5000 组专家 retouch 记录加 VLM 合成指令替代内部数据，整流流、DiT、DiffusionNFT 各组件均有开源参考实现；注意延迟测量的口径差异（专有模型走 API 端到端时间）。
论文图表
对比示意图：上方是现有 MLLM agent 范式——先输出 <thinking> 推理链，再逐个生成离散 token 化的参数（如 Temperature 6200、Shadow +45），一条长序列自回归展开；下方是 FlowTool——把用户指令和源图编码后，直接在 Exposure/Contrast/Highlight/Shadow/White/Vibrance/Sharpness/Clarity 等工具的连续参数空间中一次性生成参数向量，无推理链、无 token 解码。
一张图讲清了论文的核心动机与范式差异：'自回归语言生成'对'条件连续生成'的对立是全文所有设计与实验的出发点，先看懂这张图再看方法会事半功倍。
主结果表：FlowTool-SFT/RL 与 GPT-5.6 Sol、Gemini 3.1 Pro、Claude Sonnet 5、Claude Opus 4.8、JarvisArt、RetouchIQ 在 MMArt-Bench、FlowTool-Eval、ArtEdit-Bench（L1/L2/SC/PQ/O）和 MIT-Adobe5K（PSNR/SSIM/LPIPS）上的完整数值，底部 ∆ 行给出相对最强通用/专业模型的最优提升幅度（L1 最高 +28.8%、L2 最高 +47.4%、相对专有模型 L1 +13.0% 等）。
论文所有核心结论的定量支撑：参考指标全面第一、无参考指标有竞争力、RL 后训练普遍推高 SC 与总分，任何关于性能的讨论都应回到这张表。