CoF-T2I：将视频模型作为纯视觉推理器用于文生图 CoF-T2I: Video Models as Pure Visual Reasoners for Text-to-Image Generation
用视频模型的逐帧推理能力替代文本规划，实现高质量文生图
前置知识
Chain-of-Frame (CoF) 推理
Chain-of-Frame 是类比 Chain-of-Thought 的视觉推理范式，最早由 Wiedemer 等人提出。其核心思想是将复杂的视觉任务分解为逐帧的视觉推理序列，每一帧代表一个推理步骤的视觉状态。视频生成模型天然具备这种能力：生成一段视频时，模型会逐步从噪声去噪出越来越清晰、连贯的帧序列。CoF-T2I 将这一能力应用于文生图任务，让模型通过生成三帧序列（粗略草图、中间精修、最终成品）来实现视觉层面的逐步推理，而不需要任何文本中间步骤。
本文的核心创新就是将视频模型的 CoF 推理能力迁移应用到文生图任务中，理解这个概念是理解整篇论文的基础。
Rectified Flow / 直线流匹配
Rectified Flow 是一种生成模型框架，通过学习一条从噪声分布 $x_0 \sim \mathcal{N}(0, I)$ 到数据分布 $x_1 = \mathcal{E}(V)$ 的直线路径来建模生成过程。它通过在时间步 $t \in [0, 1]$ 上对插值点 $x_t = (1-t)x_0 + tx_1$ 训练一个速度场预测器 $F_\theta(x_t, t; y, c)$ 来预测从噪声指向数据的向量（即 $x_1 - x_0$）。相比扩散模型的多步噪声调度，Rectified Flow 的路径更直、更高效，训练损失为标准的 MSE：$\mathcal{L} = \|F_\theta(x_t, t; y, c) - (x_1 - x_0)\|_2^2$。
CoF-T2I 使用 Wan2.1 的 Rectified Flow 训练范式作为基础，理解这一生成机制有助于理解模型如何通过多步去噪逐步生成推理链。
因果时空 VAE (Causal Spatiotemporal VAE)
Wan2.1 的视频 VAE 采用因果压缩策略：第一帧仅做空间压缩（8倍下采样），后续帧则联合进行时空压缩（额外4倍时间下采样），产生 16 通道的潜空间表示。这种因果设计确保第一帧的编码不依赖后续帧，保持时间因果性。然而，标准的因果 VAE 在处理短推理链时可能引入不必要的运动伪影（如隐式光流、动态不一致），这正是本文提出独立帧编码的原因。
本文的一个关键设计决策就是对每个帧独立编码而非使用 VAE 的原生连续编码，理解 VAE 的压缩机制才能明白为什么这个选择如此重要。
GenEval 和 Imagine-Bench 基准
GenEval 是一个以物体为中心的文生图对齐基准，通过自动可验证的标准评估六个维度：单物体、双物体、计数、颜色、位置、颜色属性。Imagine-Bench 则侧重于想象力和创意性提示，评估模型在属性偏移、概念混合、多物体组合、时空推理等更抽象的语义理解能力。两个基准互补，GenEval 考察精确的物体级指令遵循，Imagine-Bench 考察更高层次的组合推理。
论文的核心实验结果在这两个基准上展示，理解评估标准才能判断 CoF-T2I 的优势具体体现在哪些维度。
Unified Editing Primitive (UEP)
UEP 是论文提出的统一编辑原语，是一个由三个智能体组成的闭环系统：规划器（Planner，基于 Qwen3-VL-32B）分析当前帧并生成最小编辑指令；编辑器（Editor，基于 Qwen-Image-Edit-2509）执行编辑并保持全局内容不变；验证器（Verifier，基于 Qwen3-VL-32B）评估编辑结果是否满足目标阶段要求，输出二值信号。如果验证失败，最多重试 K=3 次。UEP 是构建 CoF-Evol-Instruct 数据集的核心工具，用于在不同质量阶段之间进行受控的帧间转换。
UEP 是数据集构建管线的核心组件，理解它的工作原理才能理解 CoF-Evol-Instruct 数据集的构建过程和质量保证机制。
研究动机
当前文生图领域的推理增强（inference-time reasoning）主要依赖两种范式，但都存在根本性局限。第一种是外部验证器范式：在生成图像后使用额外的多模态验证器评估质量（如 Image-Gen-CoT 的 PARM 奖励模型），但这种方法需要频繁的模态切换——从像素空间到语言空间或标量奖励，使得像素级的纠错变得间接且有损。第二种是统一 MLLM 范式：在多模态大语言模型中交织文本规划与视觉合成（如 TwiG、Draco），但这些模型缺乏在大规模、纯视觉、因果有序的精修序列上的预训练，导致帧级自校正能力不足。与此同时，视频生成模型（如 Veo3、Sora2）已经展现出强大的 Chain-of-Frame 零样本推理能力，在迷宫求解、视觉谜题等任务中表现出色，但其在文生图领域的潜力尚未被充分挖掘——主要原因是缺乏清晰的视觉推理起点和可解释的中间状态。
本文的目标是本文的目标是回答一个根本性问题：能否将视频模型作为纯视觉推理器来指导高质量的文生图生成？具体而言，作者希望利用预训练视频模型的 CoF 推理能力，将文生图过程重新定义为一个三帧的视觉精修序列——从粗略的语义布局到中间精修再到高质量最终图像——从而在不依赖任何外部文本规划或反馈信号的情况下，通过纯视觉的逐帧推理实现高质量图像生成。量化目标是在 GenEval 和 Imagine-Bench 两个基准上达到与最强统一 MLLM 基线相当甚至超越的性能。
与已有工作不同的是，本文的独特切入角度在于：它不是在现有文生图模型上外挂推理模块，而是直接重新利用视频模型内在的 CoF 推理能力。已有工作要么依赖外部信号（验证器、奖励模型），要么依赖文本中间步骤（CoT 规划），但本文观察到视频模型天然具备逐帧精修视觉状态的能力——这正是文生图推理所需要的。关键洞察是：视频模型的序列处理架构和时空先验使其特别适合作为纯视觉推理器，而现有方法忽视了这一自然契合点。此外，作者还指出现有数据集无法支持这种训练范式——标准 T2I 数据集只提供单张目标图像，缺乏中间监督信号，因此需要构建专门的 CoF 轨迹数据集。
核心方法
CoF-T2I 的核心直觉可以用一个比喻来理解：想象一位画家创作一幅画——他不会一笔到位，而是先画出粗略的构图和色块（草图阶段），然后逐步修正形状和布局（精修阶段），最后添加细节、光影和纹理（成品阶段）。这个过程天然具有从粗到细的因果递进结构，与视频模型生成帧序列的过程高度相似。具体技术路线是：基于预训练的视频生成模型 Wan2.1-T2V-14B，将文生图任务重新定义为一个三帧的 Chain-of-Frame 推理过程——给定文本提示 $p$，模型生成三个潜表示序列 $z_{1:3} = \{z_1, z_2, z_3\}$，分别对应粗略草图（F1）、中间精修（F2）和最终成品（F3）。训练时使用标准的 flow matching 目标优化整个序列；推理时从高斯噪声出发，通过多步去噪恢复内部化的推理链，仅将最终帧 $z_3$ 解码为输出图像。为避免运动伪影，每个帧独立编码到潜空间。
CoF-T2I 与已有方法最本质的区别在于：它完全摒弃了语言中介和外部反馈，让视频模型凭借自身的视觉推理能力进行图像生成。已有推理增强方法要么需要外部验证器（需要模态切换，像素级纠错有损），要么需要文本 CoT 规划（但 MLLM 缺乏大规模纯视觉因果序列的预训练）。CoF-T2I 的核心创新在于观察到视频模型天然具备 CoF 推理能力——它通过逐帧生成来迭代精修场景，拥有强大的时空先验，因此是天然的纯视觉推理器。具体而言，模型通过学习联合概率分布 $z_{1:3} \sim p_\theta(Z_{1:3}|p)$ 来建模整个潜空间推理轨迹，条件概率自然编码了从粗到细的精修逻辑。另一个关键创新是帧级独立编码机制：通过将 VAE 沿时间轴滑动，使目标帧始终在初始上下文窗口（恰好一帧）内被压缩，从而保持空间独立性并避免运动伪影。
方法步骤详情
CoF-T2I 的完整流程分为训练和推理两个阶段。训练阶段：（1）从 CoF-Evol-Instruct 数据集中采样三帧推理序列 $\{F_1, F_2, F_3\}$；（2）使用 Wan2.1 VAE 对每个帧独立编码，获得潜表示 $z_{1:3}$，其中每个帧通过滑动 VAE 使其在初始上下文窗口内被压缩，空间下采样 8 倍，通道维度 16；（3）使用 Rectified Flow 目标训练：对时间步 $t$，将潜表示与噪声插值得到 $x_t = (1-t)x_0 + tx_1$，训练调度器预测速度场 $F_\theta(x_t, t; y, c)$，损失函数为 $\mathcal{L} = \|F_\theta - (x_1 - x_0)\|_2^2$；（4）使用批量大小 64、学习率 $10^{-5}$、权重衰减 $10^{-2}$ 训练 1800 步，冻结 VAE 参数，仅更新 DiT 参数。推理阶段：（1）从高斯噪声 $x_0 \sim \mathcal{N}(0, I)$ 出发，通过多步去噪采样完整的三帧潜表示序列；（2）仅将最终潜表示 $z_3$ 通过 VAE 解码器投影到视觉空间，得到输出图像 $\hat{I} = D(z_3)$；中间帧仅作为内部推理状态，不参与最终输出。
技术新颖性
CoF-T2I 的技术新颖性体现在三个层面。第一，范式创新：首次提出将视频模型作为纯视觉推理器用于文生图，这与已有方法（外部验证器、文本 CoT 规划、统一 MLLM）形成根本区别。已有工作如 Draco 探索过纯视觉推理路径，但使用预规划的视觉草图引导生成，而 CoF-T2I 是让模型通过 CoF 推理过程自发精修。第二，数据创新：构建了 CoF-Evol-Instruct 数据集，这是一个 64K 规模的三帧推理链数据集，包含从语义对齐到美学精修的完整阶段分离。数据集构建管线采用质量感知路由机制——使用 Qwen3-VL-8B 将图像分为三类（语义错误、视觉粗糙、高保真），并动态路由到三种构建策略（前向精修、双向补全、反向合成），这种自适应机制确保了样本多样性和帧间一致性。第三，工程创新：提出帧级独立编码机制，通过将 VAE 沿时间轴滑动，使每帧在初始上下文窗口内被独立压缩，消除了标准因果 VAE 可能引入的运动伪影。
实验结果
CoF-T2I 在两个主要基准上取得了显著且一致的性能提升。在 GenEval 上，CoF-T2I 以 0.86 的总分建立了领先性能，相比 Wan2.1 基线的 0.55 提升了 0.31。这个提升在各子任务上都是全面的：单物体从 0.92 提升到 0.98，双物体从 0.63 大幅提升到 0.95，计数从 0.57 提升到 0.83，颜色从 0.69 提升到 0.89，位置从 0.18 大幅提升到 0.83（提升 0.65，是所有子任务中提升最大的），颜色属性从 0.31 提升到 0.71。值得注意的是，CoF-T2I 在位置和颜色属性这两个传统上最具挑战性的维度上取得了突破性进展，这表明纯视觉推理方法在处理复杂组合语义方面具有独特优势。在 Imagine-Bench 上，CoF-T2I 将总分从 5.939 提升到 7.468，其中多物体类别从 5.383 提升到 7.797，属性偏移从 5.436 提升到 6.969。消融实验表明，仅使用最终帧进行监督微调（Target-Only SFT）就能将 GenEval 从 0.55 提升到 0.81，但加入中间推理帧的完整 CoF 训练进一步提升到 0.86，证明中间监督信号确实带来了额外收益。推理轨迹分析显示，生成质量随推理步骤单调递增：F1 草图 0.56，F2 精修 0.79，F3 最终 0.86。独立帧编码相比连续编码（0.83）进一步提升了 0.03，验证了帧级独立性的必要性。跨尺度实验显示，CoF-T2I 在 1.3B 模型上提升更显著（+0.57），在 14B 模型上也有稳定提升（+0.31）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GenEval (总分) | Overall Score | 0.86 | 0.55 (Wan2.1-T2V-14B) | +0.31 (+56.4%) |
| GenEval (位置) | Position | 0.83 | 0.18 (Wan2.1-T2V-14B) | +0.65 (+361%) |
| GenEval (颜色属性) | Color Attr. | 0.71 | 0.31 (Wan2.1-T2V-14B) | +0.40 (+129%) |
| Imagine-Bench (总分) | Overall | 7.468 | 5.939 (Wan2.1-T2V-14B) | +1.529 (+25.7%) |
| Imagine-Bench (多物体) | Multi-Object | 7.797 | 5.383 (Wan2.1-T2V-14B) | +2.414 (+44.8%) |
| 对比 BAGEL-Think | GenEval Overall | 0.86 | 0.82 (BAGEL-Think) | +0.04 (+4.9%) |
| 对比 T2I-R1 | GenEval Overall | 0.86 | 0.79 (T2I-R1) | +0.07 (+8.9%) |
局限与改进
论文承认的主要局限包括：第一，CoF-T2I 尚未系统探索向更广泛任务领域的扩展，如文生视频（text-to-video）或文生 3D（text-to-3D）。扩展到文生视频可能面临更长的时间序列、更高的计算需求、动态一致性维护等挑战。第二，强化学习（RL）技术在增强 CoT 推理方面已证明成功，但在本文框架中尚未被探索；将 RL 与视频模型结合可能实现更自适应的视觉精修。从我自己的观察来看，三帧的固定推理长度是一个重要限制——对于简单提示，三帧可能冗余；对于复杂提示，三帧可能不足以完成精细精修。此外，CoF-T2I 的推理成本是基线模型的约三倍（需要生成三帧而非一帧），尽管最终只输出一帧，但计算开销不可忽视。数据集构建管线依赖多个闭源模型（如 Qwen3-VL-32B、Qwen-Image-Edit-2509），这增加了管线的依赖复杂性和可复现性风险。
独立分析的弱点
第一个弱点是推理长度固定为三帧，缺乏自适应机制。对于简单的单物体提示（如 a photo of a cat），草图阶段可能已经足够好，三帧推理存在不必要的计算冗余；而对于复杂的组合提示（如涉及多个物体、精细空间关系和材质描述的提示），三帧可能不足以完成充分精修。改进方向是引入动态推理停止机制，例如训练一个轻量级的是否继续推理分类器，或者使用类似 early exit 的策略，根据中间帧的质量分数决定是否需要额外推理步骤。第二个弱点是帧间信息传递完全依赖模型的隐式学习。虽然论文声称视频模型天然具备序列建模能力，但三帧之间的信息流动是通过共享的 DiT 参数隐式实现的，没有显式的跨帧注意力或条件传递机制。这可能导致后续帧无法充分利用前序帧的精修信息。改进方向可以是引入显式的帧间条件机制，例如将前序帧的特征作为额外的 cross-attention 条件注入后续帧的生成过程。第三个弱点是评估基准的局限性。GenEval 和 Imagine-Bench 都侧重于语义对齐和组合推理，但缺乏对美学质量、视觉真实感、细节丰富度等维度的系统评估。CoF-T2I 的核心优势——通过逐步精修提升视觉质量——可能在现有基准中未被充分量化。
未来方向
作者提出了几个明确的未来方向：第一，扩展到文生视频和文生 3D 任务，利用更长的 CoF 推理链实现更复杂的视觉推理；第二，将强化学习技术融入视频模型的 CoF 推理训练，通过迭代反馈和奖励优化实现更自适应的视觉精修。基于本文成果，还可以延伸出更多方向：（1）自适应推理深度——研究如何根据提示复杂度动态调整推理帧数，可能通过训练一个轻量级的复杂度评估器实现；（2）交互式精修——允许用户在推理过程中对中间帧提供反馈，实现人机协作的视觉推理；（3）多模态 CoF 融合——探索将文本 CoT 与视觉 CoF 结合的混合推理范式，例如在关键精修步骤使用文本规划指导方向；（4）扩展数据集规模和多样性——当前 64K 的数据集规模相对有限，可以通过更自动化的管线扩展到百万级，覆盖更多样的生成场景和风格。
复现评估
复现评估方面，CoF-T2I 的基础模型 Wan2.1-T2V-14B 是开源的，这为复现提供了重要基础。训练使用 64K 数据集、64 批量大小、1800 步，在标准 A100 集群上应该是可复现的。然而，数据集构建管线的复现存在挑战：它依赖多个模型（Qwen3-VL-8B 用于质量分类、Qwen3-VL-32B 用于规划和验证、Qwen-Image-Edit-2509 用于编辑），其中一些是闭源 API，可能导致不同时间点构建的数据集存在差异。数据集 CoF-Evol-Instruct 是否开源尚不明确。推理方面，生成一张图像需要三倍的推理计算（生成三帧但只输出最后一帧），加上推理时的系统提示前缀和 1024x1024 的固定分辨率要求，推理成本相对较高。总体而言，如果数据集开源，复现难度中等；如果数据集不开源，需要自行构建 CoF 轨迹数据，复现难度较高。
论文图表
该图对比了三种推理时推理范式：(a) 外部验证器范式——使用独立的验证器对生成图像进行评分和筛选；(b) 交错式 CoT 范式——在统一 MLLM 中交织文本推理和视觉生成；(c) Chain-of-Frame 范式——视频模型通过逐帧推理进行视觉精修，最终帧作为输出。
这是理解本文定位的关键图——它清晰地展示了 CoF-T2I 与已有方法的根本区别，帮助读者快速把握论文的核心创新点。