EndoCoT：在扩散模型中实现内生链式思维推理的规模化扩展 EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models

EndoCoT 的方法包含以下关键步骤：（1）输入编码：将文本提示和输入图像分别通过嵌入层编码为前缀嵌入 $P \in \mathbb{R}^{L \times d}$，其中 $L$ 为序列长度，$d$ 为隐藏维度。（2）迭代思维更新：从初始思维状态 $h_0$ 开始，第 $\tau$ 个推理步通过 $h_\tau = e_{L+1}^\top f_\varphi([P; h_{\tau-1}])$ 递归更新，其中 $e_{L+1}$ 是用于提取第 $(L+1)$ 个序列位置隐藏状态的 one-hot 基向量，$[\cdot; \cdot]$ 表示序列维度上的拼接。（3）条件流生成：在每个推理步 $\tau$，以当前思维状态 $h_\tau$ 为条件，求解 ODE $\frac{dz_\tau(t)}{dt} = v_\psi(z_\tau(t), t, h_\tau)$ 生成中间视觉输出 $I_\tau$，其中 $z_\tau(1) \sim \mathcal{N}(0, I)$，$I_\tau = z_\tau(0)$。（4）终端思维锚定：将最终推理状态 $h_\mathcal{T}$ 与参考状态 $h_{ref}$ 对齐，参考状态通过编码真实推理步骤获得：$h_{ref} = e_{L_{gt}+1}^\top f_\varphi([P_{gt}, I_{input}])$，使用 L2 损失 $\mathcal{L}_{align} = \|h_\mathcal{T} - h_{ref}\|^2$。（5）渐进式训练：第一阶段使用 $\mathcal{L}_{stage1} = \sum_{\tau=1}^{\mathcal{T}} (\mathcal{L}^\tau_{FM} + \mathbb{1}_{\{\tau=\mathcal{T}\}} \lambda_{align} \mathcal{L}_{align})$ 监督所有推理步；第二阶段使用 $\mathcal{L}_{stage2} = \mathcal{L}^\mathcal{T}_{FM} + \lambda_{align} \mathcal{L}_{align}$ 仅优化终端输出，中间步在前向传播中保留但不计算梯度。

EndoCoT 的技术新颖性体现在多个层面。首先，这是首个在扩散模型中通过迭代潜隐状态精炼实现真正链式思维推理的框架，而非在去噪前预计算解决方案。其次，'内生推理' 的概念本身具有创新性：推理发生在 MLLM 的潜隐流形 $\mathbb{R}^d$ 中，思维状态 $h_\tau$ 直接作为高维输入绕过嵌入查找表，这与传统 CoT 在离散文本空间中的运作方式根本不同。第三，推理步 $\mathcal{T}$ 与去噪时间步 $t$ 的解耦设计使得每个推理步都能执行完整的从噪声到图像的去噪轨迹，实现了推理深度与生成质量的独立控制。第四，渐进式两阶段训练策略巧妙地将推理能力发展与输出质量优化解耦——第一阶段让模型学习逐步视觉推理，第二阶段冻结中间步梯度仅精炼终端输出，这种设计避免了多目标同时优化的梯度冲突问题。最后，LoRA 联合微调 MLLM 和 DiT 两个组件的策略基于层级敏感度分析的实证发现，即推理能力主要由 MLLM 负责但需要 DiT 的空间 grounding 配合。

本文存在几个值得深入探讨的弱点。第一，推理步数 $\mathcal{T}$ 的选择是一个超参数，且对最终性能有显著影响（Maze-32 从 $\tau=2$ 的 11% 到 $\tau=50$ 的 90%）。理想情况下应有自适应机制根据任务难度动态调整推理深度，但这需要额外的元学习或强化学习机制。第二，终端思维锚定使用简单的 L2 距离作为语义损失，可能无法充分捕捉推理状态的语义结构。更精细的对比学习或基于能量的匹配损失可能会提供更强的约束信号。第三，虽然论文展示了推理时缩放的可控性，但缺乏对中间推理状态可解释性的深入分析——Fig. 1(c) 展示的 '思维链' 主要是视觉输出的序列，而非 MLLM 内部推理状态的直接可视化。第四，消融实验表明仅使用 MLLM（无 DiT 微调）完全失败，但未充分分析为什么 MLLM 的推理能力需要 DiT 的 '物理接地' 才能生效，这值得更深入的因果分析。改进方向包括：（1）引入学习型的推理深度控制器，基于任务复杂度自动决定 $\mathcal{T}$；（2）探索更丰富的语义对齐目标，如最大化最终推理状态与参考状态的互信息；（3）对潜隐思维状态进行更深入的可解释性研究，理解推理 '涌现' 的机制。

作者明确提出了两个未来研究方向：自适应推理深度控制机制和向更广泛通用任务的扩展。基于本文的成果，可以进一步延伸以下方向。第一，将 EndoCoT 的潜隐推理范式应用于视频生成领域——视频天然包含时间维度，迭代思维更新可能与视频帧的逐步生成形成自然对应。第二，探索推理步之间的 '分支' 策略，即在某个推理步产生多个候选思维状态，通过某种评估机制选择最优路径，实现类似树搜索的推理。第三，将内生 CoT 推理与强化学习结合，使用任务奖励信号（如迷宫是否成功到达终点）来优化推理策略，而非仅依赖监督学习的中间目标。第四，研究推理步数 $\mathcal{T}$ 与模型规模之间的缩放规律——更大的 MLLM 是否能用更少的推理步达到相同的推理深度？第五，将 EndoCoT 框架扩展到多模态推理场景，如结合文本和图像输入进行联合推理，或在推理过程中动态获取外部信息。

从复现角度看，本文具有较好的可复现性。作者已在 GitHub 上开源代码（https://github.com/InternLM/EndoCoT），这是评估可复现性的重要积极信号。基座模型 Qwen-Image-Edit-2511 是公开可用的模型，LoRA 微调的具体配置（rank=32, 学习率 $1 \times 10^{-4}$, 5 个 epoch）在论文中有明确记载。训练数据方面，论文遵循 DiffThinker 的评估协议，使用标准的迷宫、TSP、数独、VSP 数据集，渲染分辨率为 $512 \times 512$，详细的统计数据和构建方法在附录中提供。然而，复现的主要挑战可能在于计算资源需求：需要同时加载 MLLM 和 DiT 两个大型模型并进行 LoRA 联合微调，虽然 LoRA 降低了参数量但显存需求仍然可观。此外，推理时的计算开销随 $\tau$ 线性增长，对于大规模评估可能需要显著的 GPU 时间。总体而言，代码开源、模型公开、超参数清晰，复现难度中等偏低。