Aphanta：面向多模态推理的任务对齐图像编辑中间态诊断框架 Aphanta: Diagnosing Task-Aligned Image-Edited Intermediates for Multimodal Reasoning
用直接推理、实际编辑、理想参考三条件对照，测出图像编辑中间态在20个任务上的效用边界
前置知识
MLLM（多模态大语言模型）
以大语言模型为骨干、能接收图像输入并统一推理的模型，如 Qwen3-VL、GPT-5、Gemini-3。视觉编码器把图像转为视觉 token，与文本 token 一起送入 Transformer，从而支持看图问答、定位、多步工具调用等能力。
论文测量的正是 MLLM 在'直接看原图'与'看编辑后图像'两种条件下的表现差异，A/B/C 三个条件的最终作答方都是 MLLM。
指令引导图像编辑（instruction-guided editing）
用自然语言指令（如'画一个红框''删除手表'）驱动的图到图生成技术，主流实现基于扩散模型（InstructPix2Pix、Step1X-Edit、Qwen-Image-Edit、FLUX、GPT-Image 等），要求在保持无关内容不变的前提下按指令修改像素。
本文把编辑器当作 MLLM 的候选'视觉工作台'而非求解器，核心问题是它能多忠实地把指令渲染成对下游推理有用的中间图像。
视觉思维链（visual chain-of-thought）
让模型在给出最终答案前先生成显式或隐式的视觉中间状态：裁剪、放大、标注、生成新图、隐空间视觉 token 等，把空间证据外部化，类比文本 CoT 把推理步骤写出来，视觉 CoT 把中间视觉状态'画'出来。
Aphanta 检验的核心命题就是这种'以图思考'的 RGB 中间态到底在哪些任务上真正有效。
A/B/C 三条件协议与双增量指标
对同一任务分别测直接推理得分 $S_A$、真实编辑流水线得分 $S_B$、程序构造理想参考图得分 $S_C$，定义 $\Delta_{edit}=S_B-S_A$（流水线实用效用）与 $\Delta_{ref}=S_C-S_A$（诊断性视觉提升空间），二者之差即实现差距（realization gap）。
这是全文所有结论的度量基础，看懂 20 任务审计表、分组宏平均和 consolidated 评测都依赖这两个量。
LoRA 微调
低秩适配微调：冻结预训练模型全部权重，只训练注入各层的低秩分解矩阵（本文 rank 32），大幅降低显存与数据需求，常用于把通用编辑器适配到特定任务的编辑分布上。
论文把保留任务的训练资产整合后，正是用 LoRA 训出统一版 Qwen-Image-Edit，其 +10.2 点增益是核心结果之一。
研究动机
让 MLLM 在推理中生成显式图像中间态是'以图思考'方向的热点：模型可以裁剪、放大、标注，甚至调用扩散编辑器直接改图。但一张编辑后'看起来合理'的图像并不等于对推理有帮助——计数可能数错、符号可能画错、反事实状态可能与问题要求不符。已有研究结论互相矛盾：有工作显示生成图像能提升拼图、迷宫等任务，有因果审计发现模型调用了工具却根本没使用返回像素，还有工作（MentisOculi）表明即便是理想参考可视化也未必提升推理。社区一直缺少系统答案：究竟哪些任务适合用编辑后的 RGB 图像作中间态，哪些任务会被编辑器拖累。此外，多数评测只保留成功案例、或只提供参考图像而不真正调用编辑器跑通闭环，导致'视觉潜力'与'编辑器实际实现能力'长期被混为一谈。
本文的目标是本文要构建可复用的自动化框架 Aphanta，系统测量'MLLM→图像编辑器→MLLM'闭环中图像编辑中间态的任务条件化效用。具体三件事：其一，设计 A/B/C 三条件诊断协议，把理想中间态的视觉提升空间（$\Delta_{ref}=S_C-S_A$）与当前编辑器实际实现的效用（$\Delta_{edit}=S_B-S_A$）分开度量，从而定位实现差距；其二，用智能体驱动的四阶段循环自动发现、构建、验证候选任务，产出覆盖线索注入、视觉定位、反事实状态实现与结构化构造的 20 任务审计图谱，停止与失败任务全部保留；其三，把保留任务的训练资产整合，LoRA 训练统一版 Qwen-Image-Edit，并给出跨模型家族、跨编辑器的对比，为'何时该用图像编辑辅助推理'提供可操作的工程指引。
与已有工作不同的是，本文的独特切入是把问题从'扩散模型能不能推理'重新表述为'任务—中间表示—编辑器三者对齐程度的测量'。与只测编辑质量的编辑器排行榜、与只提供参考中间态的基准不同，Aphanta 评估从任务提议、真实编辑到下游重推理的完整闭环；它把编辑器定位为候选视觉工作台而非自主求解器，因此'正确指令被渲染错'和'逼真渲染对下游无用'能被分别识别。另一鲜明特点是诚实报告负结果：20 个候选任务中停止、失败的任务全部留在审计表，绘制的是渐进边界而非成功合集。作者还明确区分流水线级效用与像素因果贡献，承认 A/B/C 协议本身不能证明返回像素是因果决定因素，并把 matched-call、no-return、sham-image 等对照列为必要的后续步骤。
核心方法
Aphanta 的核心是一条固定推理链：$(q, x) \rightarrow \text{MLLM} \rightarrow e \rightarrow \text{Editor}(x, e) \rightarrow \tilde{x} \rightarrow \text{MLLM} \rightarrow \hat{y}$，$q$ 为问题、$x$ 为原图、$e$ 为编辑指令、$\tilde{x}$ 为编辑后中间图像、$\hat{y}$ 为最终答案。直觉上，判断'编辑后的图是否有用'要同时知道两件事：理想中的图本可带来多少提升，以及编辑器是否把它画到位了。为此每个任务在同一评分函数下跑三个条件：A（直接推理）、B（真实编辑，流水线先生成 $e$ 与 $\tilde{x}$ 再重推理）、C（参考条件，用程序构造的理想中间图像替换编辑输出）。记三条件得分为 $S_A, S_B, S_C$，则 $\Delta_{edit}=S_B-S_A$ 度量流水线实用效用，$\Delta_{ref}=S_C-S_A$ 度量诊断性视觉提升空间，二者之差即实现差距。在此协议之上，四阶段智能体循环负责任务提议、初诊、构数据、训练评测，结果反馈回提议端形成闭环。
核心创新是'三条件对照 + 保留失败任务'的诊断设计。与已有工作的本质区别有四点。第一，C 条件的参考中间态由程序按任务语义构造（画边界框、旋转钟表指针、删除指定物体、填充 Raven 矩阵空格、渲染七巧板终态等），把'任务是否存在可利用的视觉证据'与'编辑器画得好不好'解耦，这是以往基准做不到的；作者强调 C 是诊断目标而非严格上限，实验中确实出现实际编辑超过参考的情况（真实 RPM 上 B 得 0.79 高于 C 的 0.71）。第二，停止任务与无提升任务全部保留：齿轮任务直接基线 0.92 被编辑拉到 0.42 的崩塌案例也进入审计表，得到的是渐进的效用边界图。第三，整套任务发现由开发智能体（GPT-5.3-Codex）执行，人类只在可行性与数据质量节点审查，五阶段状态机、里程碑报告与显式门禁防止自动化悄悄跳过人工审核。第四，测分与开发分离：所有 A/B/C 分数由固定推理流水线产出，开发智能体不参与最终评测，避免自动进程自我美化。
方法步骤详情
方法分四阶段循环。阶段一（提议与筛选）：智能体基于研究问题和已观察到的任务模式，提出需要非平凡视觉变换或消歧的候选任务，人类评审概念可行性、可评测性与参考中间态可构造性。阶段二（初步诊断）：智能体从公开数据、网络资源或程序合成构建小验证集，跑 A/B/C；参考提升可忽略、直接基线饱和、编辑输出不可得或构造不稳定的任务被停止，但保留在 20 任务审计中。阶段三（数据构建）：智能体收集或合成数据、编写任务专属提示与参考渲染器，人工复查相关性、多样性与构造噪声。阶段四（训练与评测）：在 8 张 H100 上以 LoRA（rank 32、AdamW、学习率 $1\times10^{-4}$、2 万–5 万步）训练 Qwen-Image-Edit；19 个训练流水线按每管线 1 万行均衡重采样为 19 万行的 Aphanta Train，全量评测集 2,028 行、lite 版 220 行。统一评测器中规划器最多规划两步编辑，推理时平均每个样本调用编辑器约 1.7 次；准确率任务用归一化精确匹配，定位任务用任务专属 IoU。每个样本写出含规划器输出、逐步 VLM 答案与最终答案的完整 trace，供事后审计。
技术新颖性
技术新颖性体现在四个层面。协议层面：$\Delta_{ref}/\Delta_{edit}$ 双增量指标把视觉提升空间与编辑器实现能力拆开，并给出可量化的 realization gap，粒度超越 AdaptMMBench（只分模式选择质量）、ViEBench（只查证据使用）等过程级评测。系统层面：任务包抽象让每个候选任务以统一接口实现（数据源/生成器、问题模板、答案归一化器、编辑模板或规划器、参考构造器、指标），训练行被归一化为 edit_image/image/prompt 严格 schema（原始导出 186,548 行），使 A/B/C 三条件能被同一评测器零胶水代码运行。证据层面：trace 目录记录规划器输出、编辑状态、逐步答案，使规划失败、编辑失败、答题错误可分别归因，而非只看最终准确率。结论层面：作者把三条经验规律（可靠视觉状态实现、逼真度可超任务保真度、结构化外推不可靠）明确表述为被测系统的经验性质而非架构不可能性，并界定协议的因果边界，学术声称克制而严谨。
实验结果
20 个候选任务中 4 个初诊后停止，15 个进入终评，最终 13 个产出可保留的正向流水线。分组宏平均呈分级边界：状态实现组 0.283→0.580（$\Delta_{edit}=+0.297$，参考 0.813）收益最大；线索注入组 0.195→0.365（+0.170，参考 0.520）；定位组 0.673→0.773（+0.100）；结构化组反而 0.473→0.404（−0.069），尽管参考有 +0.083。反事实类单任务增益 0.21–0.37：时钟 0.50→0.81、删除物体 0.10→0.47（参考 0.92）、遮罩揭示 0.25→0.46；密集点计数 0.05→0.23、密集找不同 0.18→0.46。整合的 Qwen3-VL + Qwen-Image-Edit 在选定正任务子集上 0.343→0.445（+10.2 点，相对 +29.7%），参考 0.558 表明仍有实现空间。同家族组合中 Seed +3.5、Gemini +4.5、GPT 反而 −5.0；固定 Qwen3-VL 只换编辑器，增益从 −4.7 到 +10.2，证明效用取决于编辑器执行。外部迁移：BabyVision 三条流水线全负（−0.026~−0.070），MIRA 仅 Gemini+NB2 微正（+0.009），但参考条件均超直接推理（+0.048~+0.090）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 选定正任务子集整合评测（Qwen3-VL + Qwen-Image-Edit） | 平均任务分 | 0.445 | 直接推理 0.343 | +10.2 点（相对 +29.7%） |
| 状态实现组宏平均（时钟/删除/遮罩） | 平均任务分 | 0.580 | 直接推理 0.283 | +0.297（参考 0.813） |
| 线索注入组宏平均（计数/七巧板/找不同） | 平均任务分 | 0.365 | 直接推理 0.195 | +0.170（参考 0.520） |
| 视觉定位组宏平均（镜子/自动驾驶/缺陷/放大） | 平均任务分 | 0.773 | 直接推理 0.673 | +0.100（参考 0.758） |
| 结构化构造组宏平均（RPM/电路/几何/流程图/齿轮） | 平均任务分 | 0.404 | 直接推理 0.473 | −0.069（参考 +0.083） |
| 固定 Qwen3-VL 更换编辑器（正任务子集） | 平均任务分绝对增益 | Qwen-Image-Edit +10.2 点（0.445） | Seedream-4.5 −4.7 点（0.296） | 编辑器间极差约 14.9 点 |
| 外部迁移 BabyVision（三条流水线） | 准确率变化 | Qwen −0.0335 / GPT −0.0258 / Gemini −0.0696 | 各自直接推理 | 实际编辑全为负增益 |
| 外部迁移 MIRA（三条流水线） | 准确率变化 | 仅 Gemini+NB2 编辑 +0.0092；参考条件 +0.048~+0.090 | 各自直接推理 | 编辑实现弱但参考提升空间明确 |
局限与改进
作者明确承认四点边界。第一，Aphanta 是探索性任务发现流程：基于阶段二 headroom 的筛选会放大保留子集上的增益，因此 +10.2 点只描述后选择的正区域而非通用排行榜，完整 20 任务审计必须与之分开解读。第二，操作标签相互重叠，需要更大规模的预注册任务宇宙，宏平均才能被当作总体估计。第三，闭源编辑器的架构与解码细节有限，跨家族结果只刻画评测时点的 API 产品而非孤立的模型组件。第四，A/B/C 只建立流水线级效用而非像素的因果贡献：B 条件同时包含编辑指令与额外一轮 MLLM 调用，matched 二次推理、无返回调用、假图像对照等实验尚未做。我自己的观察补充：每任务评测集仅约 200 行（真实 Raven 仅 28 例），小样本差异可能不显著；准确率与 IoU 混合的宏平均只是描述性的；参考中间态若构造不慎可能泄露答案（虽有人工泄露检查但无法完全排除）；论文也未报告平均 1.7 次编辑调用带来的延迟与成本代价分析。
独立分析的弱点
独立分析可指出更多弱点。其一，混淆变量：B 条件的收益可能部分来自'多一轮推理加文本脚手架'而非像素本身，相关因果审计文献已表明工具调用前的文本可解释大部分收益，Aphanta 把此类对照全部列为未来工作，这是结论稳健性上的明显缺口。其二，结构化任务或许不是'编辑器不能'而是'训练信号不足'——RPM 合成/真实任务经任务专属 LoRA 后分别从 0.18→0.30、0.61→0.79，说明定向训练能突破边界，'结构化外推不可靠'更可能是暂时的工程结论而非能力边界。其三，齿轮任务直接基线 0.92 却被编辑硬拉到 0.42，暴露流水线缺少'编辑无益则回退'的守门机制，任何任务都被强制套上编辑。其四，闭源编辑器版本漂移（GPT-Image-1.5、Nano Banana 2、Seedream-4.5 等）使结果难以长期复现。其五，20 个任务中约半数完全程序合成，向真实自然图像（如真实照片中的几何辅助线）的外部效度存疑。这些弱点共同指向同一改进方向：加入回退与验证机制、扩充真实数据、补齐因果对照。
未来方向
作者提出的后续方向集中在因果与规模化两端：补齐 matched second-pass reasoning、call-without-return、identity/sham image、step 级反事实替换等对照，把指令脚手架、编辑器实现、下游证据使用三者彻底分离；以预注册方式扩大任务宇宙，使操作分组宏平均具备统计含义。基于本文成果还可自然延伸：把三条件诊断嵌入编辑器训练回路，用 $\Delta_{edit}$ 作为过程奖励微调编辑器（论文已展示 RPM、迷宫等定向训练有效）；为返回图像开发验证器，对计数、符号、拓扑约束做一致性检查，不可靠即回退直接推理，落实论文倡导的'select by task, verify after generation'；与 AVIC、Gen-VCoT 等自适应路由方法结合，学习何时编辑、编辑多深；对比 RGB 中间态与隐空间视觉 token（Machine Mental Imagery、MoNet 一类）在同类任务上的效用曲线；以及为符号敏感任务（电路、几何、流程图）探索程序约束驱动的神经-符号混合渲染器。
复现评估
复现条件中等偏上。有利因素：附录给出完整训练细节（LoRA rank 32、AdamW $1\times10^{-4}$、2 万–5 万步、8×H100）、严格的数据 schema（186,548 行原始导出、190,000 行均衡训练集、2,028 行全量评测、220 行 lite）、规划器提示模板家族与五阶段状态机治理流程；数据大量来自公开 HuggingFace 数据集（电路 VQA、流程图 QA、七巧板、Raven、缺陷检测等），程序合成任务保留种子与生成参数，具备较好的可追溯性。不利因素：论文未明确承诺开源代码与 Aphanta Train/Test 权重；核心正向结果依赖自训的 Qwen-Image-Edit LoRA，需要 8 卡 H100 级算力；闭源编辑器随版本演进会导致结果漂移；任务发现循环依赖 GPT-5.3-Codex 作为开发智能体。总体而言，单任务复现（如时钟推理或删除反事实）难度不高，完整复现 20 任务审计加整合训练则需要可观的工程投入与算力。
论文图表
开篇总览图：六类示例任务（遮罩反事实、时钟反事实、缺陷检测定位、找镜子、迷宫求解、Raven 推理矩阵等）配输入图像与编辑后图像，并以 Excellent/Good/Bad 标注编辑质量。结论是当前指令编辑器在线索注入、定位、反事实状态实现上可靠，而在需要精确结构外推的中间态上不可靠。
一图读懂全文核心命题：图像编辑中间态的效用是任务条件化的，Aphanta 的使命就是测量这条边界而不是假设一种表示对所有任务都有帮助。
外部基准迁移：(a) BabyVision 上三条流水线实际编辑均为负增益（Qwen −0.0335、GPT −0.0258、Gemini −0.0696）；(b) MIRA 上仅 Gemini+NB2 编辑微正（+0.0092），但三条参考条件均超直接推理（+0.0480、+0.0641、+0.0897）。
检验结论能否泛化到非 Aphanta 发现的任务：结果是参考提升空间明确、实际编辑实现弱，与主实验的 Δref/Δedit 区分完全一致，增强可信度也界定了适用范围。