Meta-CoT：通过层次化任务分解增强图像编辑的细粒度推理与泛化能力 Meta-CoT: Enhancing Granularity and Generalization in Image Editing
提出 Meta-CoT 范式,结合三要素任务分解与五元任务组合,在 Bagel 上实现 21 任务平均 6.415(+15.8%)、ImgEdit 3.83(+11.7%) 的图像编辑能力。
前置知识
Chain-of-Thought (CoT) 推理在多模态大模型中
CoT 原本是大语言模型中通过显式中间推理步骤提升复杂任务表现的范式,近年被推广到 VLM 上,衍生出两类: 一是早期把视觉信息插入文本 CoT 的方法,二是 native multimodal CoT,在 transformer 中把文字推理 token 与视觉 token 交替生成。在图像编辑任务里,CoT 让模型先输出一段对编辑指令的解读 (识别目标、规划修改方式),再生成编辑后的图像,从而激发模型的理解能力、提高指令遵循度。Bagel 与 GoT 是两个典型代表,但两者各有局限。
本文 Meta-CoT 正是一种针对图像编辑设计的 native multimodal CoT 范式,要理解它相对前作 Bagel/GoT 的差异,以及为什么需要'两步分解',必须先知道 CoT 的核心思想是用显式推理激活模型的多模态理解能力,这是 Meta-CoT 一切设计的前提。
统一多模态理解/生成模型 (Unified Understanding-Generation Models)
这类模型把视觉理解 (如 VQA、定位、计数) 与视觉生成/编辑 (如文生图、图像编辑) 集成在同一个神经网络里,目前有三类主流架构: (1) 自回归式,用 next-token prediction 同时生成文本与视觉 token,如 Janus-Pro、Emu3; (2) 附加扩散式,把预训练 LLM 当作语义条件源,外挂扩散模块生图,如 DreamLLM、Transfusion; (3) 统一集成式 transformer,把 LLM 与扩散机制原生融合在同一个主干中,如 Bagel、JanusFlow。本文所基于的 Bagel 属于第三类,具备内建的 CoT 图像编辑能力,是 Meta-CoT 实验的载体。
Meta-CoT 的所有实验都在 Bagel 上做,如果不知道 Bagel 属于'统一集成式 transformer、原生支持 CoT 推理'这一架构特性,就无法理解作者为什么选它做基座、为什么 Meta-CoT 可以以即插即用的方式叠加上去而不必重训整个模型。
Flow Matching 与 Flow-GRPO 强化学习
Flow Matching 是一类把数据分布到噪声分布的路径定义为常微分方程的生成建模方法,Stable Diffusion 3、FLUX.1 等都采用此范式;Flow-GRPO 则是把 GRPO (Group Relative Policy Optimization,一种基于组内相对优势的强化学习算法) 适配到 flow matching 模型上的在线 RL 训练框架,通过把生成过程看成轨迹、对组内多个采样按奖励函数排序估计优势来更新参数。在图像编辑里常用 GRPO 来对齐人类偏好或语义一致性。
本文第三大贡献 CEC Reward 正是用 Flow-GRPO 优化 Meta-CoT 模型,需要理解 Flow-GRPO 的'分组采样+相对优势'机制才能看懂训练阶段二为何能稳定收敛而不会破坏 SFT 阶段学到的 CoT 能力。
视觉基础任务 (Visual Foundational Tasks) 与图像编辑任务空间
视觉基础任务包括定位 (Localization)、计数 (Counting)、空间理解、风格理解、形状/材质/颜色/动作理解等,是模型完成具体编辑时所需的底层感知能力。图像编辑任务空间覆盖颜色修改、对象增删、风格迁移、相机运动、视角变化、逻辑推理编辑、多指令复合编辑等。本文关键观察是:任何单图编辑操作都可拆为 (Task, Target, Required Understanding Capability) 三元组,且绝大多数任务都可由 5 个元任务 (添加、删除、替换、相机运动、位置变化) 组合而成,形如向量空间中的基。
读者如果不清楚图像编辑任务空间的概念以及它与底层视觉理解能力之间的对应关系,就很难理解 Meta-CoT 为什么可以用 5 个元任务覆盖 21 类复杂任务,也抓不住论文的理论贡献 (用熵/互信息证明分解降低了复杂度并提升了粒度)。
研究动机
目前主流的统一生成/理解模型 (如 Bagel) 已经被证明,把细粒度理解信息融入 Chain-of-Thought 可以显著提升图像编辑质量,但现有方案都只照顾到'激发理解能力'这一面,缺乏对'跨任务泛化'的同步优化。具体来看,Bagel 的 CoT 范式偏通用,推理形式太松散,无法在风格迁移、视角变换等复杂任务上精准激活相应的视觉理解能力;GoT 等工作则走另一个极端,把空间定位、检测框等具体理解信号强塞进 CoT,虽然指令遵循度提升,但在风格、颜色、逻辑等不需要定位的任务上表现退化,迁移到陌生任务时容易失效。换句话说,要么 CoT '太通用'无法激发针对性理解,要么 CoT '太特化'无法泛化,业界一直没有一种既保持细粒度理解、又能在大量未见过任务上迁移的 CoT 范式。
本文的目标是本文的核心目标就是回答一个关键问题:什么样的 CoT 形式与训练策略能够同时提升图像编辑中的理解粒度 (granularity) 与跨任务泛化能力 (generalization)? 具体而言,作者希望设计一种范式,既能像 GoT 那样把任务拆到可解释、可监督的细粒度层面,又能在风格、颜色、相机运动、逻辑推理、多指令复合等 20+ 种编辑任务上稳定工作,甚至只需训练少量元任务就能组合出全任务空间的编辑能力。为了让这种'粒度+泛化'的能力可学习、可监督,作者还提出 CoT-Editing Consistency (CEC) Reward,用 VLM 自动评估模型'想做的'与'实际做的'是否一致,从而通过 Flow-GRPO 进一步把这种一致性固化到参数里;最终,作者期望在 21 任务自建基准与 ImgEdit 公开基准上同时验证 Meta-CoT 在已知与未见任务上的领先性。
与已有工作不同的是，本文的独特切入角度在于提出'两层分解 (Two-level Decomposition)'的 Meta-CoT 范式: 第一层把任意编辑指令分解为 (Task, Target, Required Understanding Ability) 三元组,显式引导模型对任务类型和编辑目标分别推理,并配合视觉理解数据补齐'所需理解能力'维度;第二层进一步把 Task 本身分解为 5 个基础元任务 (Addition、Deletion、Replacement、Camera Motion、Position Change),让模型像在向量空间里用基组合出任意复杂任务一样,通过组合元任务处理未见过的编辑类型。这一思路配合 CEC Reward (用 VLM 评估 CoT 与编辑结果在任务/目标两个层面的一致性) 与 Flow-GRPO 训练,从数据构造、推理范式、强化对齐三个层面同时发力,并在形式上证明三元组分解能同时降低编辑复杂度 $H(\mathcal{T}_1, \mathcal{T}_2, \mathcal{T}_3) < \log|\mathcal{T}|$ 与提升理解粒度 $G(\mathcal{T}_1, \mathcal{T}_2, \mathcal{T}_3) > G(\mathcal{T})$。与前人工作相比,这是首次在统一框架内同时回答'怎么拆' (Triplet)、'用什么基拆' (Meta-task)、'怎么训' (CEC + GRPO) 三个问题。
核心方法
Meta-CoT 的整体思路是先用一个理论框架把'图像编辑'这件事拆到可监督、可学习的细粒度层面,再通过两阶段训练把这种拆解能力注入模型。直觉上,如果把一张图的编辑过程类比为'在向量空间做线性变换',那 Meta-CoT 做的事情就是找到这个向量空间的一组'基' (5 个元任务),并训练模型先把指令投影到这组基上,再组合出最终编辑操作。技术路线上分为四步: (1) 提出 Triplet Decomposition,设计三步 CoT (Task Summary → Task Thinking → Target Traversal) 引导模型显式推理任务类型、思考任务特性、逐目标遍历; (2) 提出 Meta-task Decomposition,把 Triplet 中的 Task 一项替换为 1-多个元任务,使训练只需覆盖 5 个元任务即可泛化到 21 类编辑; (3) 设计 CoT-Editing Consistency (CEC) Reward,用 Qwen2.5-VL 对 CoT 与编辑结果在'任务层面'与'目标层面'的一致性进行 0-10 打分,并基于 500 样本与人类标注做 Pearson r ≥ 0.8、$\epsilon_{MAE} \leq 2.5$ 的相关性验证; (4) 用两阶段训练:第一阶段 SFT 让模型学会 Meta-CoT 推理 + 编辑,第二阶段用 Flow-GRPO + CEC Reward 仅微调解码器,冻结理解分支以稳定优化。
与已有方法 (Bagel/GoT) 的本质区别在于: Bagel 的 CoT 是一段'通用思考',没有把任务类型与目标解耦,导致 CoT 内容与编辑结果之间缺乏可监督的细粒度结构;GoT 则把空间定位框等具体理解信号硬塞进 CoT,牺牲了泛化性。Meta-CoT 的核心创新是把编辑动作投影到 (Task, Target, Understanding) 三元组空间,且把 Task 维度进一步投影到 5 个元任务这一'基'上,从而在理论上证明复杂度 $H(\mathcal{T}_1, \mathcal{T}_2, \mathcal{T}_3) < \log|\mathcal{T}| = H(\mathcal{T})$ 严格降低,理解粒度 $G(\mathcal{T}_1, \mathcal{T}_2, \mathcal{T}_3) > G(\mathcal{T})$ 严格提升。具体来说,Triplet 让模型在推理时能显式区分'做什么'、'对谁做'、'需要哪种感知能力',Meta-task 让训练数据从'每个任务都要标'压缩为'5 个元任务就够',配合 CEC Reward 进一步把'CoT 写的'与'图画的'对齐起来,共同解决了'粒度 vs 泛化'的二元对立。
方法步骤详情
Meta-CoT 的完整流程可拆为推理与训练两条线。 推理时,输入图像与编辑指令后,模型先做 (1) (Meta-)Task Summary: 把指令归类到一个或多个元任务,例如'把小狗数量改成 3 只'归为 Addition + Deletion;'Zoom out 相机视角'归为 Camera Motion。 接着 (2) Task Thinking: 按元任务特性生成具体思考过程,例如对 Camera Motion 任务就枚举'新出现主体'与'消失主体',对风格迁移就分析目标风格的视觉特征。 最后 (3) Target Editing Mode Traversal: 遍历图中所有目标,逐个判断'是否需要编辑 + 怎么编辑',保证空间/语义一致性;输出对应的语义条件交给扩散解码器。 训练时,作者构造了一个 1.5M 的 (图像, 指令, Meta-CoT) 三元组数据集,数据由 Gemini-2.5-Flash 生成指令、用 FLUX.1 Kontext / GPT Image 1 / Qwen-Image 编辑图像,再用 VLM + 人类双重过滤;同时混入 100k LLaVA-OV 与 Mammoth-VL 的视觉理解样本以补齐三元组中的'所需理解能力'维度。 Stage I 是 10k 步 SFT,理解分支与生成分支都解冻,损失同时监督 CoT 文本与编辑图像; Stage II 是 500 步 Flow-GRPO + CEC Reward,仅更新生成分支,理解分支冻结,优化集中在早期去噪步以保语义忠实度并抑制 Flow-GRPO 引入的颗粒噪声。 最终推理时,模型先按 Meta-CoT 推理出语义条件,再走标准 flow matching 采样生成编辑结果。
技术新颖性
技术新颖性体现在三个层面。 第一,理论上,作者用信息熵框架形式化证明了 Triplet 分解的复杂度下界 $\log|\mathcal{S}_{\text{triplet}}| < \log|\mathcal{T}|$,并用 Theil 提出的互信息 per entropy $G = I(T; X_{\text{tgt}}) / H(T)$ 证明 Meta-CoT 的理解粒度严格高于经典 CoT,这套理论框架是 CoT-for-editing 领域首次给出的形式化分析。 第二,数据与训练上,Meta-CoT 用'5 个元任务作为向量基'的思想取代'每个任务都要标',配合两阶段训练 (SFT 锁定 CoT + GRPO 锁定对齐) 的解耦设计,显著缓解了 SFT 后 RL 阶段 CoT 漂移的问题 (Table 4 的 CoT quality 从无 RL 时的 8.89 进一步被强化,这是消融中专门设计的指标)。 第三,系统上,作者构建了覆盖 21 个任务 (11 类 GEdit-Bench + 4 类 RiseBench + 1 类 ComplexEdit + 5 类自建) 的编辑基准,任务覆盖度超过现存所有同类基准,且训练数据与评测数据分布独立,确保评估公平。
实验结果
实验在 21 任务基准和 ImgEdit 上进行,基座为 Bagel。 在 21 任务基准上,Meta-CoT + RL 取得平均 Overall Score 6.415 (Table 2 最后一列),相比 Train-Edit-Only 基线 5.538 提升 +15.8%,相比 Bagel (think) 5.307 提升 +20.1%,相比 Bagel (no-think) 5.673 提升 +13.1%;逐任务来看,Remove 任务提升最显著 (从 6.687 提到 8.129,+21.6%),Causal Reasoning 从 5.710 提到 6.953 (+21.8%),Specified Quantity 从 6.349 提到 7.077 (+11.5%);唯一退化的任务是 Text Editing (从 2.651 退到 3.328 其实是相对 Train-Edit-Only 的提升,但相比 SFT(Meta-CoT) 3.271 仅微涨 0.057,作者明确指出 CoT 中的长文本推理干扰了'找到正确文字'的感知)。 在 ImgEdit 上 (Table 3),Meta-CoT + RL 拿到 Overall 3.83,比 Bagel (think) 3.39 提升 +13.0%,且逐任务相对基座提升区间为 +2.6% (Action) 到 +25.9% (Hybrid),其中 Remove +23.4%、Replace +17.2%、Extract +18.2%,与 21 任务基准上的优势集中在'结构化增删'这一类任务的观察一致。 VIEScore 四个维度的拆解 (Table 4) 显示 Meta-CoT + RL 在 Instruction Following 维度从 6.61 提到 7.44 (+12.6%) 收益最大,Subject Consistency 从 8.22 提到 8.53,Naturalness 从 7.18 提到 7.31,Artifacts 从 8.06 提到 8.34,说明 Meta-CoT 主要增益来自'更准确地理解指令',而非简单的视觉质量提升。 消融 (Table 5) 表明: (a) 训练只用 3 个元任务 (add/delete/replace) 时平均分 6.43,加到 5 个 (含 Camera Motion + Position Change) 后 7.09,6 个元任务 7.13 几乎不再涨,验证了 5 个的甜点; (b) 训练只在 5 个元任务上的 6.224 与训在完整 21 任务的 6.224 完全相同,证明'用基组合'确实能泛化; (c) 去掉 Task Thinking 这一中间步骤后 Ins 指标从 7.23 掉到 6.98,验证了三步 CoT 的中间步骤不可省。 另一个消融 (Table 6) 显示混入 100k 视觉理解数据比 1k 或 0 的版本 CoT quality 从 7.56 提到 8.89,且 Instruction Following 显著提升,验证了'三元组中的 Understanding 维度必须用独立视觉理解数据补齐'。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 21-task 图像编辑基准 (作者自建,含 GEdit-Bench 11 类 + RiseBench 4 类 + ComplexEdit 1 类 + 自建 5 类) | VIEScore Overall Score (0-10, 由 GPT-4.1 评估 Instruction Following + Subject Consistency + Naturalness + Artifacts) | 6.415 (Meta-CoT + RL) | 5.538 (Train-Edit-Only, 同参同数据无 Meta-CoT); 5.307 (Bagel w/ think); 5.673 (Bagel w/o think) | 相对 Train-Edit-Only 提升 +15.8%,相对 Bagel w/ think 提升 +20.1% |
| ImgEdit 基准 (9 类真实编辑任务, 734 测试样本) | VIEScore Overall (0-5, GPT-4.1 评估 Instruction Adherence + Editing Quality + Detail Preservation) | 3.83 (Meta-CoT + RL) | 3.39 (Bagel w/ think); 3.20 (Bagel w/o think); 3.44 (OmniGen2) | 相对 Bagel w/ think 提升 +13.0%,相对 Bagel w/o think 提升 +19.7%,优于所有开源 unified 模型 (BLIP3o-NEXT 3.62、UniWorld-V1 3.26) |
| Remove 子任务 (21-task 基准中的删除类编辑) | VIEScore Overall Score | 8.129 (Meta-CoT + RL) | 6.687 (Train-Edit-Only); 6.319 (Bagel w/o think) | +21.6% vs Train-Edit-Only, 是 21 任务中提升幅度最大的任务 |
| Causal Reasoning 编辑 (21-task 基准中的因果推理类) | VIEScore Overall Score | 6.953 (Meta-CoT + RL) | 5.710 (Train-Edit-Only) | +21.8% vs Train-Edit-Only,证明 Meta-CoT 在需要复杂推理的编辑场景上同样受益 |
| Hybrid 复合编辑 (ImgEdit 中的多步合成任务) | VIEScore Overall (0-5) | 3.26 (Meta-CoT + RL) | 2.59 (Bagel w/ think); 2.38 (Bagel w/o think) | +25.9% vs Bagel w/ think, 是 ImgEdit 所有任务中相对基座提升最大的 |
局限与改进
作者在论文中坦率承认的局限主要有两点: 第一,Text Editing 任务的收益非常有限,Meta-CoT + RL 在 Text 列上仅 3.328,作者分析认为 Meta-CoT 的长链推理会'喧宾夺主',干扰模型精确定位图中要修改的文字区域,'开发在推理过程中保持精确文字感知的机制'被作者列为未来重要方向。 第二,虽然 Meta-CoT 在公开的 Bagel (think) 上超越显著,但未与最强闭源模型 (如 FLUX.1 Kontext Pro 4.00、GPT Image 1 High 4.20) 在 ImgEdit 上正面对齐比较,Table 3 显示在大多数任务上仍落后于闭源模型,例如 Extract 任务 2.40 vs GPT Image 1 的 2.90。 此外,基于我自己的观察,论文还存在几个未明确讨论的限制: (a) Meta-CoT 训练依赖 Gemini-2.5-Flash + Qwen2.5-VL + 人类标注四重数据生产,流水线复现成本较高; (b) CEC Reward 在训练中是黑盒 VLM 评分,虽然做了 r≥0.8 的人类相关性验证,但仍不可避免引入 VLM 偏差,且 500 样本的验证集规模偏小; (c) 5 个元任务的选取是否最优仍待商榷,Table 5 显示 5→6 个元任务仅微涨,可能存在其他更优的基分解 (如把 Style/Material 独立成元任务); (d) Flow-GRPO 阶段仅 500 步、20K 数据,相对 SFT 的 1.5M 数据 + 10k 步明显不均衡,可能制约了 CEC Reward 的最终效果。
独立分析的弱点
除了作者承认的 Text Editing 弱项外,我独立分析认为还有几个可改进的弱点。 弱点一:训练数据对闭源模型的强依赖。 Meta-CoT 的 1.5M 数据集用 Gemini-2.5-Flash 生成指令、用 FLUX.1 Kontext / GPT Image 1 / Qwen-Image 编辑图像,这意味着训练数据的'天花板'就是这些闭源模型,Bagel 学生模型在某些风格或材质细节上自然被闭源老师'锁死',如果闭源模型本身在该任务上能力弱,Bagel 也无法超越;改进方向是构造多源混合数据 (加入人类手工编辑样本与开源模型编辑样本) 减少单一教师偏置。 弱点二:CEC Reward 验证规模偏小且未做难度分层。 仅 500 样本 + 4 名标注者 + r≥0.8 门槛,在 RL 训练后期容易过拟合到 VLM 的某种'评分偏好' (例如偏好视觉对比度高的图),改进方向是用更大验证集 + 按任务难度分层评估,或换用 ensemble VLM。 弱点三:Meta-CoT 的推理链较长,实际部署时延与 token 消耗不可忽略。 三步 CoT 至少比 Bagel 原版 think 多 30-50% 文本 token,对于需要低延迟的在线服务是负担,改进方向是用早退 (early-exit) 或 task-adaptive prompt 压缩。 弱点四:5 个元任务的数学选取缺乏严格理论保证。 论文只做了 3/4/5/6 个的实证 ablation,没有证明 5 是完备基或最小基,可能存在某种'更优基' (如把 Position Change 与 Camera Motion 合并为 Spatial 类、把 Replacement 细分为 Add-Delete-Replace) 进一步压缩任务空间。
未来方向
作者明确提出的未来方向包括: (a) 开发在 Meta-CoT 推理过程中保持精确文字感知的机制,以解决 Text Editing 退化问题; (b) 把 Meta-CoT 推广到视频编辑或多轮对话式编辑; (c) 探索更细粒度的元任务分解 (例如把 Style 单独拆为元任务) 是否能进一步提升 Style Transfer 类任务。 基于本文成果的可延伸方向还有: 第一,Meta-CoT 的'基'思想可以推广到其他生成任务的解空间,如把文生图 (T2I) 的'风格'、'构图'、'主体'也视作元属性,通过类似的 SFT + GRPO 流水线提升 T2I 的指令遵循度; 第二,CEC Reward 的设计可以推广为通用的'CoT-生成一致性'框架,用于自动评估和优化任何需要多步推理的视觉生成模型 (例如具身导航、机器人控制),其核心是'用 VLM 反向检查推理过程与最终行为是否对齐'; 第三,本文只在 Bagel 上做实验,理论上 Meta-CoT 的'两层分解 + CEC Reward'与具体基座解耦,未来可以在 GPT-4o、Janus-Pro、OmniGen2 等其他统一模型上验证迁移性,看是否同样带来 +10-20% 的相对提升; 第四,元任务选取可以用 AutoML 方法自动搜索最优基 (例如 Neural Architecture Search 风格),而不是手工定义 5 个。
复现评估
复现难度为中等偏上。 论文承诺开源 (摘要明确写 'Our code, benchmark, and model are released'),基座 Bagel 本身已开源,这部分门槛不高。 数据方面,1.5M 训练集用 Gemini-2.5-Flash + FLUX.1 Kontext / GPT Image 1 / Qwen-Image 生成,这意味着即使作者开源数据,完全从零复现仍需调用多个闭源 API,成本可观;评价用 GPT-4.1 评分,亦需 API 费用。 算力方面,Stage I SFT 是 48 GPU × 10k 步,Stage II GRPO 是 32 GPU × 500 步,合计相当于 48 张 A100 跑约一周,门槛较高;但作者只更新了部分参数 (SFT 阶段理解+生成,GRPO 阶段仅生成),实际单卡消费级 GPU (24GB) 也能跑小规模复现。 训练超参方面,论文给出了 (batch size、learning rate、Flow-GRPO 的早去噪步优化策略等) 较详细描述。 主要的复现难点在 CEC Reward 的相关性验证流程 (500 样本、4 标注者、迭代调 prompt) 以及 Meta-CoT 数据生成管道 (用 Qwen2.5 判任务类型、Gemini-2.5-Flash 检查一致性、Qwen2.5-VL 生成三步 CoT、再用 Gemini 检查),任意一环 prompt 调整都会显著影响数据质量。 整体判断:有完整代码 + 数据的情况下,中等规模团队可在 2-3 周内复现主表结果;完全从零构建则需 1-2 个月并配合一定 API 预算。
论文图表
展示三个具体编辑指令被 Meta-task Decomposition 拆解的例子: 指令1'Please complete the answers to the questions in the image with "2"'被拆为'Replace the question mark with 2'; 指令2'What will he look like when he gets old?'被拆为'Replace black hair with white hair + add wrinkles and age spots to the face + add wrinkles to the hands'; 指令3'What does the interior of this car look like?'被拆为'Move the viewpoint inside + add components like steering wheel, seats, dashboard display'。 三个例子分别对应 Replacement、组合 Replacement+Addition、Camera Motion+Addition 的元任务组合。
直观展示 Meta-task Decomposition 的'用 5 个基组合复杂任务'能力,是论文'泛化'主张最直观的证据,适合放在方法动机与结果讨论章节。
展示 Meta-CoT 在多种编辑任务上的定性对比,包括 Material (用红砖建马)、Style (折纸艺术风格)、Replace (狐狸面前的可乐罐)、Action (调整人物姿态)、Color (圆顶渐变蓝)、Extract (提取人像)、Temporal (三个月后变青蛙)、Viewpoint (相机移到侧面)、Structure (打开障子门)、Complex Instruction (多指令合成)、Logical (算术推理)、Spatial (鞋底旋转) 等 12 类任务,每行展示 Input Image、Bagel 结果、Train-Edit-Only 结果、Ours 结果,以及对应的 Meta-CoT 推理过程片段。
定性展示 Meta-CoT 在常规编辑、推理编辑、复合编辑三类任务上的实际优势,直观看到'CoT 写得好的样本最终编辑结果也明显更好'这一核心论断。
消融表,对比 8 个变体 (Train Editing Only、SFT(3 meta)、SFT(4 meta)、SFT(5 meta)、SFT(6 meta)、SFT(5 meta, full-task)、SFT(w/o task think)、SFT(Meta-CoT)、SFT + RL(Ours)) 在 VIEScore 4 个维度上的分数,核心结论:5 个元任务是甜点,训 5 个元任务效果与训 21 个全任务完全相同,Task Thinking 这一中间步骤不可省 (去掉后 Ins 从 7.23 掉到 6.98)。
这是支撑'用 5 个元任务就能泛化到 21 个任务'与'三步 CoT 不可压缩'两个核心论断的消融证据,放在结果章节帮助读者理解为什么作者选择了这个具体配置。
消融表,对比 4 个变体 (Train Editing Only、SFT(w/o und.)、SFT(1k und.)、SFT(Meta-CoT, 100k und.)) 在 VIEScore 4 维度 + GPT-4.1 评的 CoT quality 上的分数,核心结论:混入 100k 视觉理解数据时 CoT quality 达到 8.89,比 0 数据 (7.56) 和 1k 数据 (7.81) 显著提升,验证了三元组中'所需理解能力'维度需要独立数据补齐。
这是支撑'为什么必须在 SFT 阶段混入大量视觉理解数据'这一设计选择的消融证据,直接影响对方法训练成本的评估。