面向统一多模态模型的连续空间潜在推理 Latent Reasoning in Continuous Space for Unified Multimodal Models
把推理搬进连续隐空间，让统一多模态模型首次实现图像生成的测试时扩展
前置知识
统一多模态模型（UMM）
在同一个大语言模型骨干中同时支持图像理解与生成的模型家族，通常通过给 LLM 外接图像生成模块（扩散/流匹配）或离散视觉词表实现，代表工作包括 Chameleon、Emu3、Janus-Pro、Show-o2 与 BAGEL。它继承 LLM 的语言先验与世界知识，使文生图具备指令遵循与语义规划能力。
本文的全部问题与实验都围绕 UMM 展开，理解其「理解+生成一体化」结构才能看懂 LARC 挂在哪里、改了什么。
潜在推理（latent reasoning / Coconut）
由 Coconut 提出的推理范式：模型不把思维链解码成文字 token，而是把 transformer 最后一层的连续隐状态 $h_t$ 直接当作下一步的输入嵌入，让「思考」发生在连续向量空间。好处是保留离散词表必然丢掉的稠密语义；坏处是过程确定、没有随机 rollout，难以直接用策略梯度 RL 训练。
LARC 是 Coconut 思想在多模态生成上的扩展，方法设计、奖励构造与全部消融都围绕「潜在推理能否被 RL 优化」展开。
流匹配（Flow Matching）
一类生成建模训练目标：训练一个向量场把噪声分布连续地搬运到数据分布，损失 $\mathcal{L}_{\mathrm{flow}}$ 度量预测场与目标场在同一采样噪声点上的偏差。BAGEL 的图像模块即用整流流生成图像，其损失值充当图像「似然」的可微替代品。
图像模块没有 log-likelihood，论文的信息增益奖励正是用共享噪声下两次流匹配损失的差来估计的。
GRPO（组相对策略优化）
DeepSeek-R1 采用的策略梯度算法：对同一 prompt 采样一组 rollout，用组内奖励的相对优势代替价值网络估计 advantage，省去 critic 模型，训练更稳、超参更少、单套配置容易迁移到多个任务。
LARC 第二阶段用 GRPO 优化潜在推理策略，理解组内相对优势机制才能明白奖励信号如何转化为参数更新。
测试时扩展（test-time scaling）
指增加推理期计算能单调提升任务性能的现象，在 LLM 上已由思维链与 RL 充分验证；实现方式包括顺序扩展（延长推理链）与并行扩展（best-of-N 采样后择优）。这是现代推理 LLM 区别于传统模型的标志性能力。
此前 UMM 在图像生成上做不到这一点是本文的出发点，LARC 的核心卖点就是首次把它搬到多模态生成上。
条件互信息与信息增益
$I(x;\, h(\tau) \mid c)$ 度量在已知上下文 $c$ 后，推理轨迹 $h(\tau)$ 对目标图像 $x$ 额外提供的信息量，恒非负。其逐样本形式即信息增益：轨迹条件下参考模型的对数似然减去无推理基线的对数似然。
LARC 第二阶段的奖励就是这个量的逐样本估计，是全文「无需真值链、无需外部评估器的自进化」的关键。
研究动机
统一多模态模型（UMM）把图像生成模块接进 LLM 后，一个自然的设想是：像 LLM 解数学题那样先生成思维链再画图，用更多推理算力换更好的图像。但现实是失败的。论文把病根定位到一个模态错配：推理发生在离散 token 空间，而图像生成发生在连续空间。离散思维链难以编码图像合成所需的稠密、空间锚定信息，于是「推理」退化为对提示词的表面改写——恰是现有方法唯一能起作用的狭窄区域。数据也支持这个判断：GenEval 上最强的推理增强 UMM Uni-CoT 总分 0.83、属性绑定 0.71，基座 BAGEL 为 0.81/0.63，提升有限；消融中离散 token 推理甚至把视觉推理基准 MIRA 从 7.5 拉低到 7.1；而无论怎么增加推理预算，都不出现 LLM 那种随算力平滑上升的曲线。测试时扩展在图像生成上长期缺位，成为 UMM 与推理 LLM 之间最刺眼的差距。
本文的目标是本文的目标是让 UMM 的推理与图像生成发生在同一个连续空间，从而把 LLM 式的测试时扩展真正搬到图像生成上。具体可量化为：在 BAGEL 基座上，用约 100 万条交错样本的两阶段训练（课程 SFT + 自进化 RL），在 GenEval、DPG-Bench、OneIG-Bench 三个文生图基准上全面超过基座与推理增强对手——例如 GenEval 相对 BAGEL 提升 7 个百分点、属性绑定子项提升 15 个百分点、OneIG-Bench 相对 Uni-CoT 提升 7.6p；同时不牺牲多模态理解能力（MME/MMB/MMMU 不降反升）；并首次展示随潜在推理预算增加而单调上升的测试时扩展曲线，在同等算力下优于 best-of-N 并行采样，且整条训练链路不需要真值潜在推理标注或外部奖励模型。
与已有工作不同的是，被忽视的关键点在于：此前工作把「推理没用」归咎于数据量或模型规模，论文却把病根定位到表示空间本身——只要推理仍在离散 token 里，换再多数据也治不了模态错配，推理必须搬进连续空间。沿着这条线，作者把 Coconut 的潜在推理从纯文本 LLM 迁移到多模态生成，并正面解决了两个前人绕开的硬骨头：其一，Coconut 式潜在推理是确定性过程，而策略梯度 RL 需要随机 rollout，LARC 用「文本段-潜在步」交错的轨迹格式把可控随机性请回来；其二，潜在推理轨迹没有显式评估器，无法判断一条轨迹对画图是否有用，LARC 用冻结参考模型上的信息增益（条件互信息的逐样本形式）构造内在奖励，配合防塌缩的多样性正则，构成完全自进化的闭环。
核心方法
直觉上，LARC 让模型「用它画图的空间去思考」：推理的每一步不再是文字 token，而是 transformer 最后一层的连续隐状态，最终由图像模块通过 cross-attention 读取并生成图像，推理与生成从此同处一个连续空间。形式化地，给定上下文 $c$ 的输入嵌入，模型在两种模式间交替：语言模式下正常随机采样文本 token；一旦产出特殊标记 ，下一位置的输入嵌入直接换成当前隐状态，即 $E_{t+1} = [E_t; h_t]$（语言模式则为 $E_{t+1} = [E_t; e(x_{t+1})]$），随后重新过 transformer。整条轨迹形如 $\tau = (s_1, l_1, \ldots, s_N, l_N)$：$s_n$ 是语言段、$l_n$ 是连续潜在步，段长与步数由模型自发发出的 和 决定。训练分两阶段：先用课程 SFT 把 token 级推理渐进替换为潜在推理，再用基于信息增益的 GRPO 自进化精炼。
核心创新是「让推理进入生成所在的空间，并让这个空间可被 RL 优化」。与 Uni-CoT 等在离散 token 空间推理的方法本质不同，LARC 的推理步是连续隐状态，能保留离散化必然丢弃的稠密、空间锚定信息。但策略梯度 RL 在其上有两道坎：Coconut 式潜在推理是确定性过程、没有 rollout 多样性，潜在轨迹又没人能打分。LARC 的两个对应设计是全文的钥匙。第一，交错的「文本段+潜在步」格式让语言段承担随机采样、潜在步承担稠密表示，消融显示比 naive 纯潜在推理在编辑上高 0.44 LC-T。第二，奖励取为冻结参考模型上的信息增益 $r_{\mathrm{IG}} = \log p_{\pi_{\mathrm{ref}}}(x \mid c, h(\tau)) - \log p_{\pi_{\mathrm{ref}}}(x \mid c)$，其期望恰是条件互信息 $I_{\pi_{\mathrm{ref}}}(x; h(\tau) \mid c) \ge 0$：轨迹只有在参考模型眼里确实提高了目标图像的似然才得分。由于图像模块不输出似然，用共享噪声下两次流匹配损失的差来估计；再配防潜在塌缩的步间余弦多样性奖励，整个闭环无需真值思维链、无需外部 critic，是真正的自进化。
方法步骤详情
流程分两阶段。阶段一（课程 SFT）：输入约 100 万条交错样本（FLUX-Reason、WEAVE、ScaleEdit），每条含上下文 $c$、逐步推理链与目标图像 $x$；先在推理链步骤边界插入 标记，再按课程推进——第 0 期压制全部潜在步、只训纯文本轨迹 $\tau^{(0)}$ 学会推理格式，第 $k$ 期只激活前 $k$ 个潜在步，让新潜在步建立在已稳定的短前缀上，每期切换降低学习率。损失为文本段下一 token 预测 $\log \pi_\theta(s_n \mid c, s_{/ 自主决定轨迹长度，图像模块读取整条轨迹后出图。
技术新颖性
与已有技术的区别可分三层看。对 Coconut：本文把潜在推理从纯文本任务迁到多模态生成，并首次让它可被 RL 训练——靠交错格式引入受控随机性，原方法因确定性而做不到；奖励则借图像模块的流匹配损失绕开「潜在轨迹无法评估」的死结。对 Uni-CoT 等推理增强 UMM：它们在离散空间推理、靠提示改写或工具调用涨分，LARC 直接更换推理的表示空间；消融（Table 6）显示同一训练流程下连续空间在图像编辑上比离散 token 高 0.65 LC-T、MIRA 高 2.6 分，且离散推理在 MIRA 上反而低于无推理基线，坐实模态错配假设。对强化学习方法学：传统 RLHF 依赖人类偏好或外部奖励模型，而图像生成不存在真值推理链可监督；LARC 的信息增益奖励是模型内在的、逐样本的条件互信息估计，配合余弦多样性正则防潜在塌缩，在多模态生成 RL 里属于新的构造。
实验结果
实验在 BAGEL 上以 100 万交错样本完成两阶段训练。文生图：GenEval 总分 0.88，超基座 BAGEL（0.81）7 个百分点、超 Uni-CoT（0.83）5 个百分点，其中属性绑定 0.63 提到 0.78（+15p）；DPG-Bench 总分 85.07 到 90.04（论文报告 +5.8%），五个子项全部第一；OneIG-Bench 0.764 到 0.866（+10.2p），比 Uni-CoT 的 0.790 高 7.6p。图像编辑：CompBench 上 LC-T 20.434 到 22.509（+10.2%），PSNR 24.3 到 25.7，LPIPS 0.069 降到 0.049。理解任务不降反升：MME 1687.0 到 1725.3，MMB 85.0 到 88.1，MMMU 55.3 到 56.2，视觉推理 MIRA 7.5 到 11.7，超过 Uni-CoT 的 10.6。消融：换推理空间带来一致收益（Table 6：MIRA 9.7 对 token 版 7.1，编辑 21.46 对 20.81）；交错优于 naive 潜在推理（Table 7）；Table 8 显示阶段一温和提升、阶段二把 GenEval 0.83 推到 0.88、MIRA 9.7 推到 11.7。最关键的是 Figure 1：随潜在预算增加，生成、编辑、推理三任务性能单调上升，同等算力下全面超过 best-of-N——推理增强 UMM 首次展现清晰的测试时扩展。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文生图（组合生成） | GenEval Overall | 0.88 | BAGEL 0.81 / Uni-CoT 0.83 | +7p（对 BAGEL） |
| 文生图（属性绑定子项） | GenEval Attr. Binding | 0.78 | BAGEL 0.63 | +15p |
| 提示词遵循 | DPG-Bench Overall | 90.04 | BAGEL 85.07 | +4.97（论文报告 +5.8%） |
| 指令引导生成 | OneIG-Bench Overall | 0.866 | Uni-CoT 0.790 / BAGEL 0.764 | +7.6p（对 Uni-CoT） |
| 图像编辑 | CompBench LC-T | 22.509 | BAGEL 20.434 | +10.2% |
| 多模态理解/视觉推理 | MIRA | 11.7 | BAGEL 7.5 / Uni-CoT 10.6 | +4.2（对 BAGEL） |
局限与改进
作者承认的部分：RL 在数十亿参数的 UMM 骨干上进行，算力与碳足迹可观，靠初始化自预训练 BAGEL 和课程更快收敛来缓解；信息增益奖励依赖参考模型的流匹配损失，只是似然的代理而非真实 log-likelihood；更强的提示遵循会同步放大生成误导性内容的双用途风险，模型将按限制性许可发布。我的补充观察：其一，所有生成类评测依赖 MLLM-as-a-Judge，裁判模型对更长潜在推理产出的图像分布可能存在系统性偏好，7p 量级的涨幅缺少人工评测交叉验证；其二，潜在步数 $N$ 与每段长度由 / 触发，论文未分析预算控制失效时（过长、塌缩、提前终止）的行为；其三，防塌缩奖励是启发式的余弦正则，没有证明其对潜在多样性的充分性；其四，只在 BAGEL 一个基座上实例化，结论能否迁移到离散 UMM（如 Emu3、Janus-Pro）或其他连续生成骨干未知；其五，测试时扩展只展示趋势曲线，未报告延迟与算力-收益的具体 trade-off 数字。
独立分析的弱点
独立分析四个弱点。第一，奖励信号的可信度：$r_{\mathrm{IG}}$ 用共享噪声下两次流匹配损失的差估计互信息，流匹配损失并非校准的似然，差值可能被数据伪相关驱动——例如轨迹学会输出训练集常见的构图模板而非任务相关推理。改进方向：用扩散模型的无偏似然估计器（如 probability flow ODE 的 ELBO 界）替换代理，或引入小规模人工校准集监控奖励与人工偏好的相关性。第二，SFT 数据瓶颈：100 万交错样本全部来自自带思维链的数据集，推理链质量上限即数据上限，且 插入位置是启发式的步骤边界，错插会教坏潜在步语义。改进：让模型先生成、再用信息增益自过滤，构造自举式 CoT 数据。第三，单一基座：只在 BAGEL（MoTE 架构+整流流）上验证，潜在推理与该架构的耦合程度不明。改进：在 Show-o2 或离散 UMM 上复现，检验空间论断的普适性。第四，评测方法学：GenEval/OneIG 均用 VLM 裁判，长潜在推理可能改变图像统计特征而被裁判系统性偏爱。改进：补充人类成对偏好比较与失败案例分析。
未来方向
作者明确提出或暗示的方向：以 adapter 或低秩形式做参数高效的潜在推理适配，降低数十亿参数骨干上 RL 的资源与碳成本；建立专门针对推理增强生成模型的评测协议，刻画推理保真度与有害输出之间的关系；结合内容审核分类器、水印与提示级安全过滤器负责地部署。基于本文成果可自然延伸的：把连续潜在推理搬到视频生成与世界模型——那里跨帧的空间-时间规划比单图更需要稠密中间表示；将潜在轨迹与树搜索结合，在推理期做显式探索而非单一轨迹延长；从理论上刻画信息增益奖励与最终图像质量的关系，例如何时 $I(x; h(\tau) \mid c)$ 的提升会饱和、共享噪声估计的方差如何随轨迹长度变化；以及自适应潜在预算——让模型按题目难度自选步数 $N$，实现真正的按需分配推理算力。
复现评估
复现难度中等偏高。利好：基座 BAGEL、三个训练数据集（FLUX-Reason、WEAVE、ScaleEdit）与全部评测基准均开源，论文提供项目主页（rootyjeon.github.io/larc-umm），附录 A 给出优化细节与评测配置，并承诺以限制性许可发布权重。难点：第二阶段要对数十亿参数模型跑 GRPO——每条 prompt 需多条并行 rollout，还要对冻结参考模型做带梯度的流匹配损失前向/反向，估计需要多卡 A100/H100 级集群与数天量级训练；1M 样本的课程 SFT 是多阶段、逐期降低学习率的长流程，训练不稳定的风险需要自行调参；GenEval/DPG/OneIG 的 MLLM 裁判管线配置繁琐且结果有随机性。务实建议：若只想验证核心思想，可缩小规模——在小 UMM 上先跑课程 SFT 加小规模 RL，观察属性绑定与 MIRA 的趋势是否复现，再决定是否投入全量算力。
论文图表
