展示而非讲述：将隐式推理注入图像生成的潜在空间 Show, Don't Tell: Morphing Latent Reasoning into Image Generation
通过隐式潜在推理无缝集成到自回归图像生成中，实现高效自精炼。
前置知识
统一多模态模型（Unified Multimodal Model, UMM）
统一多模态模型是同时具备理解（如图像描述、视觉问答）和生成（如文本到图像生成）能力的单一模型架构。典型代表如Janus-Pro，它由一个自回归图像生成分支（UMMg）和一个视觉理解分支（UMMu）共享同一个Transformer骨干网络。UMMg负责根据文本提示自回归地生成离散图像token序列，而UMMu则负责理解图像内容并输出高级语义表征。这种统一架构使得理解能力可以直接服务于生成过程，为实现推理增强的图像生成提供了基础设施。
本文的LatentMorph正是在UMM架构上实现的——理解分支提供推理能力，生成分支执行图像合成，两者之间的接口设计是本文的核心技术挑战。
链式思维（Chain-of-Thought, CoT）推理
链式思维是一种让模型在给出最终答案前先输出中间推理步骤的技术。在LLM中，CoT通过显式的文本推理链条（如“首先…然后…因此…”）逐步分解复杂问题，显著提升推理能力。在图像生成领域，CoT被借鉴为在生成前、生成后或生成过程中插入文本形式的推理步骤，例如让模型先描述场景布局再生成图像，或在生成后用MLLM检查并修正。然而，这种显式推理需要将中间思维解码为离散文本，再重新编码回模型，造成信息损失和效率瓶颈。
理解传统显式CoT的局限性是理解本文动机的关键——LatentMorph的核心就是用隐式潜在推理替代显式文本推理来克服这些瓶颈。
潜在推理（Latent Reasoning）
潜在推理是指在连续的高维隐藏状态空间中进行推理，而不是将推理过程解码为离散的文本符号。代表性工作包括Coconut（通过特殊token抑制显式输出来诱导隐式思考）和SoftCoT（将冗长的文本推理压缩为少量信息丰富的软token）。其核心思想是：模型的隐藏状态中已经编码了丰富的语义信息，强制将其翻译为自然语言反而会造成信息压缩损失。潜在推理让模型能够利用这些连续表征的全部表达能力。
LatentMorph将潜在推理从语言理解领域迁移到图像生成领域，这是本文最核心的技术创新。理解这一概念对于把握论文的技术路线至关重要。
KV Cache与控制token注入
在Transformer自回归生成中，KV Cache缓存了已生成token的Key和Value矩阵，使得每个新token的生成可以利用所有历史token的信息而无需重新计算。控制token注入是一种条件生成技术，将额外的条件信号转化为特殊token，将其Key-Value对追加到KV Cache中，从而影响后续token的预测分布。关键约束是：注入不能改变已有token的位置编码，否则会破坏RoPE等相对位置编码机制。LatentMorph的Shaper组件正是利用这一机制将推理信号无缝注入生成流。
这是LatentMorph实现隐式控制的关键技术手段——通过KV Cache注入而非序列拼接来传递推理信号，保证了自回归结构的完整性。
GRPO（Group Relative Policy Optimization）
GRPO是一种强化学习算法，最初由DeepSeek-R1提出用于训练LLM的推理能力。其核心思想是对同一个问题生成一组（group）候选输出，计算组内每个输出的奖励，然后用组内的相对奖励来估计优势函数（advantage），从而进行策略梯度更新。相比PPO需要训练价值网络，GRPO通过组内对比消除了价值函数的估计偏差，训练更稳定。在本文中，GRPO被用于优化推理调用策略——模型需要学会在何时触发推理以获得最优的生成质量和效率平衡。
GRPO是本文训练自适应推理调用器（Invoker）的优化算法，决定了模型何时该停下来思考这一关键决策。
研究动机
当前推理增强的图像生成方法普遍依赖显式的链式思维（CoT），即将中间推理过程解码为离散的自然语言文本，然后在预设的固定步骤重新编码回模型。这种范式存在三个根本性缺陷。首先是信息损失：将连续的高维隐藏状态强制压缩为自然语言，会丢失大量细腻的视觉语义信息。例如，在处理涉及微妙纹理、光照关系或反直觉物理现象的提示时，自然语言难以精确描述这些非符号化的视觉概念，论文通过差分注意力热力图（Figure 5 Right）直观展示了这一损失。其次是效率低下：每次推理干预都需要执行中间图像的解码（将token转为像素）和重新编码（将像素转为token），这些频繁的decode-encode循环带来显著的计算开销。以TwiG-ZS为代表的方法需要在固定间隔执行完整的文本推理流程，MILR等迭代方法甚至需要多轮完整生成周期。第三是认知错配：人类创作时很少在每一步都将中间判断语言化，而是依赖连续的、隐式的直觉来动态指导行动。固定步长的推理注入与人类创造性思维的节奏不一致。
本文的目标是本文的目标是设计一个无缝融合隐式潜在推理与自回归图像生成的框架，实现四个具体指标：（1）保真度提升——在GenEval和T2I-CompBench等基准上超越现有推理增强方法；（2）抽象推理能力——在涉及反直觉物理和复杂世界知识的提示上展现更强的理解力；（3）推理效率——相比显式推理基线减少至少40%的推理时间和50%的token消耗；（4）认知对齐——推理调用时机与人类认知直觉的对齐率达到70%以上。
与已有工作不同的是，已有工作的核心盲点在于将推理等同于文本思考。外部循环范式（如Idea2Img、T2I-Copilot）用独立的LLM做规划或验证，与生成器之间存在异步通信开销；内部循环范式（如TwiG）虽在同一骨干内插入推理，但仍将思维解码为文本再重新注入。最近的潜在推理工作（如Coconut、SoftCoT）虽然探索了连续空间中的推理，但仅限于单一的理解特征空间，无法直接应用于图像生成——这里存在双向接口错配：感知缺口（generation-time状态不能被理解分支直接解释）和执行缺口（reasoning-time状态不能被生成分支直接执行）。LatentMorph的独特切入角度是：通过四个轻量级组件（Condenser、Translator、Shaper、Invoker）构建一个可微的神经接口，让推理完全在潜在空间中进行，并由RL训练的调用器自适应地决定何时触发推理，从而弥合理解与生成之间的鸿沟。
核心方法
LatentMorph的方法可以用绘画类比来理解：一位画家在作画时不会每画一笔都停下来大声说出自己在想什么，而是在视觉上持续监控画面的进展，只在需要调整构图或修正细节时才暂停反思。类似地，LatentMorph在自回归图像生成过程中持续监控隐藏状态，只在检测到语义偏移或高不确定性时才激活潜在推理。技术路线上，框架包含三个并行流：生成流（UMMg逐步输出图像token）、监控流（短时Condenser持续压缩近期状态，Invoker判断是否触发推理）、推理流（长时Condenser压缩全局历史，UMMu在潜在空间中执行推理，Translator和Shaper将推理结果转化为控制信号注入生成流）。整个过程在单次前向传播中完成，无需解码中间图像或文本。
LatentMorph与所有已有方法的最本质区别在于：推理完全在连续潜在空间中进行，且触发时机由学习到的策略自适应决定。已有方法（无论是TwiG的固定步长文本推理，还是MILR的迭代潜在搜索）都遵循解码-推理-重新编码的范式。LatentMorph打破了这一范式——Condenser直接从隐藏状态序列中提取视觉记忆，UMMu基于这些记忆在连续空间中输出latent thoughts，Translator将这些思维转化为生成兼容的控制信号，Shaper通过KV Cache注入实现隐式控制。全程不涉及任何离散化步骤。更关键的是，Invoker通过RL学习了一个认知监控策略：它接收语义一致性、预测不确定性、时序动态和稳定性四个信号，自适应地决定在哪个时间点触发推理。这使得推理频率与任务复杂度正相关——简单提示平均触发1.14次，复杂抽象推理任务平均触发1.60次。
方法步骤详情
LatentMorph的完整流程分为四个阶段。第一阶段是持续监控：在每生成 $w=64$ 个token后，短时Condenser $C_{short}$ 使用可学习的查询token $Q \in \mathbb{R}^{n_s \times d}$ 对最近 $w$ 个隐藏状态 $H_{i-w:i}$ 执行交叉注意力，压缩为局部短期记忆 $M^{(s)} \in \mathbb{R}^{n_s \times d}$（默认 $n_s=4$），再通过均值池化得到摘要向量 $m^{(s)}$。第二阶段是自适应调用决策：Invoker $I_{invoker}$ 以状态特征 $s_i = [c_i, u_i, \Delta c_i, v_i]$ 作为输入，其中 $c_i = \cos(m^{(s)}, p)$ 衡量语义一致性，$u_i = \mathcal{H}(o_i)$ 衡量预测不确定性，$\Delta c_i = c_i - c_{i-w}$ 和 $v_i = \text{Var}(c_{i-w:i})$ 衡量时序动态。Invoker输出伯努利概率 $p_i = \sigma(I_{invoker}(s_i))$，决定是继续生成（CONTINUE）还是触发推理（REASON）。第三阶段是潜在推理：若触发推理，长时Condenser $C_{long}$ 使用流式注意力逐步处理完整生成历史 $H_{1:k}$（chunk大小 $c=64$），压缩为长期记忆 $M^{(l)} \in \mathbb{R}^{n_l \times d}$（默认 $n_l=8$）。$M^{(l)}$ 与文本提示 $T$ 一起送入UMMu，输出潜在思维 $z \in \mathbb{R}^d$。第四阶段是信号注入：Translator $T_{trans}$ 将 $z$、长期记忆 $m^{(l)}$ 和提示嵌入 $p$ 拼接后通过带残差连接和门控机制的MLP，生成控制信号 $c$。Shaper $S_{shaper}$ 将 $c$ 转化为 $j=4$ 个控制token $E_{ctrl} \in \mathbb{R}^{2B \times j \times d}$，直接插入UMMg的KV Cache，修改后续token预测而不改变自回归结构。
技术新颖性
LatentMorph的技术新颖性体现在三个层面。第一，它是首个将潜在推理从理解任务迁移到生成任务的框架。此前的Coconut和SoftCoT等工作仅在单一理解特征空间中探索隐式推理，而图像生成涉及独特的token化和动力学过程，存在双向接口错配。LatentMorph通过Condenser-Shaper对构建了可微的神经接口，弥合了这一鸿沟。第二，自适应推理调用机制是全新的。已有方法要么固定步长（如TwiG每1/3生成步骤推理一次），要么需要外部奖励模型驱动的迭代搜索（如MILR），而LatentMorph的Invoker通过RL学习了基于多维信号的认知监控策略，实现了与人类创造性节奏对齐的动态推理触发。第三，KV Cache控制token注入机制避免了直接替换提示嵌入的破坏性操作，通过软调制保持了全局语义保真度。论文还证明了该方法具有模型无关性——通过线性投影适配不同架构的隐藏维度，理论上可应用于任何使用KV Cache的自回归生成器。
实验结果
实验在五个基准上展开，覆盖通用对齐、组合生成和复杂抽象推理三个维度。在GenEval通用基准上，LatentMorph以0.96的总体得分大幅超越所有基线，相比基础模型Janus-Pro的0.80提升了16%，相比最强reason-while-generation基线TwiG-ZS的0.86提升了约12%。在T2I-CompBench组合生成基准上，LatentMorph在几乎所有子项上取得最佳：Color 84.04、Shape 69.46、Texture 79.89、Spatial 50.93、Non-Spatial 39.27、Complex 63.60，总体64.53，相比TwiG-RL的56.24提升了约15%。在更精细的T2I-CompBench++上，LatentMorph在3D-Spatial上以47.00超越TwiG-RL的38.87（提升20.9%），在Numeracy上以62.33对61.93保持微弱优势，显示连续潜在引导在精细空间-数值约束解析上的优势。在WISE抽象推理基准上，LatentMorph超越显式reason-while-generation基线TwiG-ZS达15.6%，这归功于隐式推理保留了难以用语言精确描述的语义线索。在IPV-Txt反直觉物理基准上，LatentMorph超越TwiG-ZS达11.3%，差分注意力热力图显示模型在微妙纹理和光照区域激活了更强的注意力。效率方面，LatentMorph相比TwiG-ZS减少推理时间44.3%、token消耗51.0%，甚至LatentMorph w/o latent变体在效率上也超越了固定步长基线。用户研究表明，Invoker的自适应调用时机与人类评估者的判断达到71.8%的对齐率，远高于固定步长策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GenEval 通用对齐 | Overall | 0.96 | TwiG-ZS 0.86 | +11.6% |
| T2I-CompBench 组合生成 | Overall | 64.53 | TwiG-RL 56.24 | +14.7% |
| T2I-CompBench Non-Spatial | Non-Spatial | 39.27 | TwiG-RL 31.99 | +22.8% |
| T2I-CompBench++ 3D-Spatial | 3D-Spatial | 47.00 | TwiG-RL 38.87 | +20.9% |
| WISE 抽象推理 | Score | 优于TwiG-ZS 15.6% | TwiG-ZS | +15.6% |
| IPV-Txt 反直觉物理 | IPF Score | 优于TwiG-ZS 11.3% | TwiG-ZS | +11.3% |
| 推理效率-时间 | Inference Time | 比TwiG-ZS快44.3% | TwiG-ZS | -44.3% |
| 推理效率-Token | Token Consumption | 比TwiG-ZS少51.0% | TwiG-ZS | -51.0% |
局限与改进
尽管LatentMorph取得了显著成果，论文和独立分析均揭示了若干局限性。第一，方法依赖于统一多模态模型（UMM）架构，即需要一个同时具备理解和生成能力的共享骨干网络。虽然论文在理论上分析了其对分离式外部循环范式的兼容性（Appendix A.3），但实际实验仅在Janus-Pro这一纯自回归UMM上验证，对主流的扩散模型（如Stable Diffusion系列）和分离式架构的适用性尚未得到实证支持。第二，训练数据仅使用了20k的Midjourney提示-图像对进行SFT，数据规模较小且来源单一，可能限制了模型在更多样化风格和领域上的泛化能力。第三，Invoker的决策是一个黑盒MLP，虽然用户研究显示71.8%的对齐率，但仍有近30%的决策与人类直觉不一致，且缺乏对Invoker决策逻辑的可解释性分析——我们无法知道模型在哪些具体场景下会做出错误的推理触发判断。第四，推理质量高度依赖UMMu的理解能力，如果理解分支对某些抽象概念（如反直觉物理）的表征本身就较弱，潜在推理的增益也会受限。第五，论文未讨论在极长序列（如高分辨率图像的数千token）生成时，长时Condenser的流式注意力是否会出现信息瓶颈或累积误差。
独立分析的弱点
从独立分析角度看，LatentMorph存在几个值得关注的弱点。首先，Invoker的状态空间设计相对简单，仅使用了语义一致性、不确定性、时序动态和稳定性四个信号。这些信号本质上都是全局统计量，缺乏对局部空间结构的感知——例如模型可能无法精确识别第三个苹果画错了位置这类需要空间推理的具体错误。改进方向可以引入注意力分布的空间熵、token级别的局部一致性图等更细粒度的信号。其次，推理干预是一次性的脉冲式——触发推理后产生一组控制token注入KV Cache，但这些控制token的影响会随着生成的推进而逐渐衰减，缺乏持续的反馈机制。如果在推理触发后生成过程中又出现了新的问题，需要等到下一个检查窗口才能再次触发，可能错过最佳修正时机。可以探索一种持续推理模式，让轻量级的监控机制在每步生成中都参与。第三，Translator和Shaper的组合设计虽然轻量，但将推理信号从 $d$ 维空间映射到 $j=4$ 个控制token，这个压缩比可能对非常复杂的推理结果造成信息瓶颈。第四，论文的消融实验（Table 4）显示随机注入（p=0.7）也能达到59.93的总体得分，虽低于自适应策略的64.53，但差距不算巨大，说明基础模型本身的能力对最终结果影响较大，LatentMorph的增益可能部分来自于GRPO训练本身带来的提升。
未来方向
作者在论文中提出了LatentMorph的模型无关性理论分析（Appendix A.3），但尚未在实际的分离式架构（如LlamaGen + VLM）或扩散模型上进行验证，这是最直接的后续工作方向。基于论文成果可延伸的研究方向包括：（1）将潜在推理框架扩展到视频生成——视频的自回归生成自然具有更长的序列和更复杂的时序依赖，LatentMorph的Condenser-Invoker机制可能特别适合在关键帧切换时触发推理；（2）探索多轮推理——当前框架每个生成过程最多触发有限次推理，可以研究一种迭代式的潜在推理机制，让推理结果可以被进一步精炼；（3）将Invoker的认知监控能力用于生成可解释性——既然Invoker学会了识别需要反思的时刻，这些时刻的注意力分布和状态特征可能蕴含了模型对生成质量的内部评估信息；（4）潜在推理与显式推理的混合策略——在某些需要精确数值或空间关系的场景下，可能需要将部分潜在思维解码为显式约束以获得更高的控制精度。
复现评估
复现方面，论文声称代码已开源（Our code: LatentMorph），这对复现非常有利。训练数据方面，SFT阶段使用的是公开可用的Midjourney Prompts数据集（vivym/midjourney-prompts，20k样本），RL阶段使用T2I-CompBench训练集的提示。基础模型Janus-Pro也是开源的。算力需求方面，所有实验在8块NVIDIA H200 GPU上完成，这对大多数研究团队来说是可负担的，但可能超出个人研究者的资源范围。超参数配置在Table 2中完整列出，包括学习率、batch size、GRPO的group size等。复现难度中等：框架设计相对清晰，但需要实现四个新组件（Condenser、Translator、Shaper、Invoker）并集成到Janus-Pro的推理流程中，且两阶段训练（SFT + GRPO）需要仔细的训练调度。值得注意的是，部分基线方法（如TwiG-RL）的原始代码不可用，论文是自行复现的，这可能导致基线比较存在一定的实现差异。
论文图表
