← 返回 2026-10-02

LoopCD：循环 Transformer 的（几乎）免费解码增强 Decoding Looped Transformers Better for (Almost) Free

Weihao Liu, Huangjie Zheng, Tianrong Chen, Rohit Dilip, Richard He Bai, Yizhu Jiao, Yuyang Wang, Ruixiang Zhang 📅 2026-10-01 👍 23 2026-11-11 18:30
Looped Transformer 免训练 对比解码 推理时优化 测试时计算
arXiv HuggingFace PDF

用早期循环迭代对比引导最终预测，免费涨精度，或砍半算力不掉点

前置知识

Looped Transformer（循环 Transformer）

把同一个参数块反复执行 $R$ 次的架构：深度与参数量解耦，每多循环一次就增加一层'有效计算'而不增加参数。代表工作有 Ouro（整栈循环）、Huginn（prelude—循环块—coda 三明治结构）、Parcae 和 Looped-Qwen3（在冻结层窗口上做阻尼更新）。循环过程中每个迭代的隐藏状态 $h_k$ 都可以用共享的输出头解码出一个合法的 token 分布。

本文的全部出发点是这些被标准解码丢弃的中间迭代状态，理解循环结构是理解方法的前提。

对比解码（Contrastive Decoding, CD）

让强预测器（expert）的分布远离一个对齐的弱预测器（amateur）：$z' = z_e + \omega(z_e - z_a)$，等价于概率形式 $p'(v) \propto p_e(v)\,(p_e(v)/p_a(v))^{\omega}$。直觉是放大 expert 相对 amateur 多出来的能力。CD 的关键瓶颈在于如何获得一个'对齐的'弱参考——它必须和强模型犯同一类错误。

LoopCD 本质上就是把 CD 的弱参考换成循环轨迹上的早期迭代，读懂 CD 才能理解核心公式的含义。

Classifier-free guidance 与 autoguidance

扩散模型中的引导技术：CFG 用条件与无条件预测之差外推，autoguidance（Karras et al., 2024）用同一网络的一个退化版本（更弱的自家模型）之差来外推，'离开'弱版本的误差方向以提升样本质量。两者都可移植到自回归模型上按 token 操作。

LoopCD 与 autoguidance 同构：深度迭代后的预测是强版本，早期迭代是弱版本，本文反复借用这套'远离退化参考'的解释框架。

pass@k 指标

数学推理与代码生成的标准指标：每个问题采 $k$ 个解，估计'至少一个正确'的概率。论文用 16 个样本和无偏估计器同时报告 pass@1（单次成功率）和 pass@10（多次采样覆盖率），二者可以背离——pass@10 更看重生成轨迹的多样性。

论文结果显示 LoopCD 有时降 pass@1 却升 pass@10（如 Looped-Qwen3），理解指标含义才能正确解读这一现象。

有效深度与 FLOPs 开销

有效层数 $L_{\text{eff}} = \#P + R \cdot \#R + \#C$（prelude 层数加 $R$ 次循环块加 coda 层数）。循环迭代只占总前向计算的一部分，剩下的 prelude/coda/head 是固定开销，因此'砍循环次数'省的 FLOPs 上限被循环块占比所约束。

减半迭代节省 22.5%–48.2% FLOPs 的结论，以及 LoopCD-Logits 的读出开销大小，都由各架构的层结构决定，需要这个概念来理解。

研究动机

Looped Transformer 通过反复执行共享参数块来解耦深度与参数量，但现有解码只取最后一次迭代的状态 $h_R$，把循环过程中产生的全部中间状态直接丢弃——尽管其中任何一个都能用共享输出头解码出对同一前缀的合法 token 分布。另一方面，对比解码（CD）已被证明能让强预测器远离弱参考从而提升质量，但在普通稠密模型上获取'对齐的弱预测器'代价高昂：要么训练并携带一个辅助小模型，要么扰动输入上下文，要么抽取中间空间层（DoLa 类方法）。更麻烦的是，论文实验表明空间层对比在循环架构上完全失效：抽取未完成的循环 pass 内部状态作参考，会让 Ouro-1.4B 的 ARC-Challenge 准确率最多暴跌 20.6 分、Ouro-2.6B 最多跌 24.9 分。原因是 pass 内部各层的预测分布剧烈漂移（对最终预测的 JS 散度平均高达 0.57–0.84 bits），这些状态根本不是稳定的预测点——循环架构的 pass 内部没有像稠密网络中间层那样的训练出口。

本文的目标是本文要构造一个完全免训练、无需辅助模型、无需修改提示的推理时解码方法：利用循环轨迹自身的中间迭代状态作为弱参考，把最终预测沿'循环精炼的方向'外推。具体目标分两层：其一，在不增加循环深度、只增加一次输出读出（或零开销）的条件下，在数学推理（AIME、OlympiadBench）、代码生成（HumanEval、MBPP）和七个选择题基准上全面超越未引导基线；其二，利用这些增益'换算力'——把循环迭代数砍半，仍要追平或超过全深度未引导基线，并量化可省的前向 FLOPs 比例。

与已有工作不同的是，已有工作要么在训练端介入（用推理轨迹监督中间步、沿循环分配 RL 信用、优化并行精炼的循环数），要么在稠密模型上沿空间深度做层间对比。本文抓住了一个被忽视的结构性事实：循环架构用同一组参数沿时间轴反复计算，早期迭代与最终迭代天然构成'同一 token、同一词表、同一特征空间'的弱—强预测对——这是 CD 梦寐以求的完美对齐参考，不需要任何外部构造。它据此把对比轴从空间深度重新定义为同一参数块的时间迭代，绕开了 DoLa 在循环模型上失败的根源（pass 内部层不是有效预测状态），也绕开了辅助模型的训练与部署成本。

核心方法

直觉上，循环模型像一位学生反复打磨同一道题：第一遍草稿和最终答案出自'同一个大脑'，二者之差恰好记录了模型自己认定的改进方向。LoopCD 把这个方向提取出来，在最终答案上继续沿它推一把——把那些模型犹豫不决的选择，推向循环本来正在抬升的那一边。技术上：对固定前缀，循环块按 $h_k = f(h_{k-1})$ 迭代 $R$ 次得到 $h_R$，最终 logits 为 $z_R = \text{lm_head}(\text{coda}(h_R))$。LoopCD 取早期状态 $h_1$ 作弱参考，在两个空间之一做对比：LoopCD-Logits 在 logit 空间 $z' = z_R + \omega(z_R - z_1)$，需把 $h_1$ 额外过一遍 coda 与输出头；LoopCD-Hidden 在隐藏态空间 $h' = h_R + \omega(h_R - h_1)$，再对 $h'$ 做一次读出，保持单次输出通道、零额外开销。强度系数 $\omega$ 可全局固定，也可按 token 的预测不确定性自适应缩放。

核心创新是把对比解码的'弱参考获取问题'在循环架构上变成免费品：因为循环就是同一参数块的重复执行，第一次迭代天然是一个结构上完全合法、与最终预测完美对齐的弱模型——同词表、同特征空间、对同一前缀、由相同权重产生，这正是 CD 文献里 amateur 定义的理想形态，而普通稠密模型为了凑出这个形态不得不训练小模型或冒险抽中间层。与 DoLa 的本质区别在于对比轴的重新定义：DoLa 沿空间深度抽取未完成的中间层，在循环模型上这些状态剧烈漂移、抽取后准确率最多跌 24.9 分；LoopCD 只用'完整迭代结束'的状态，它们是被模型真正训练过的出口点。与 autoguidance 的区别在于弱版本不是另一个网络或扰动输入，而是同一次前向传播里已经算好、本来要被扔掉的状态——所以它几乎是免费的。此外，LoopCD-Hidden 在读出层之前合并表示，把引导的额外开销精确压到零，这是工程上对'免费'二字的兑现。

方法步骤详情

完整流程分五步。第一步，正常前向：前缀经 prelude（如有）后，循环块迭代 $R$ 次得到 $h_1, \dots, h_R$，最终 logits $z_R = \text{lm_head}(\text{coda}(h_R))$，与基线完全相同。第二步，选参考状态：LoopCD-Logits 统一用第一次迭代 $h_1$（第一迭代分歧最大、增益最高）；LoopCD-Hidden 在 Huginn 这类从高斯噪声初始化的模型上须跳过 burn-in 期，选择题用 $h_6$（$R=32$）或 $h_7$（$R=16$），确定性初始化的 Parcae/Looped-Qwen3 直接用 $h_1$。第三步，合并：logit 形式计算 $z_1 = \text{lm_head}(\text{coda}(h_1))$ 后取 $z' = z_R + \omega(z_R - z_1)$，代价是 coda 与输出头多跑一次（占基线前向的 1%–30%，视架构而定）；hidden 形式取 $h' = h_R + \omega(h_R - h_1)$ 后只读出一次，开销可忽略。第四步，定强度：选择题用固定 $\omega=0.5$ 或自适应规则 $\omega = \omega_{\max}[1 - (p_{R,(1)} - p_{R,(2)})]$（$p_{R,(1)}, p_{R,(2)}$ 为未引导分布的前两名概率，margin 越小引导越强）；生成任务因错误会跨前缀复利，用更小的 $\omega \in [0.2, 0.3]$。第五步，从 $\text{softmax}(z')$ 按原评测协议采样或打分；减深度场景把 $R$ 减半并重调参考与强度。

技术新颖性

技术新颖性体现在三点。其一，免训练性与普适性：方法不加任何训练改动就横跨四种截然不同的循环训练范式——Ouro 在每个深度都监督读出、Huginn/Parcae 预训练时随机采样循环深度、Looped-Qwen3 把循环事后改装到冻结的 Qwen3-4B 上——增益全部为正，说明它利用的是循环结构的固有性质而非某种训练目标的副产品。其二，零开销变体：LoopCD-Hidden 利用了'LayerNorm 会丢弃向量长度、只保留方向'这一事实，使隐藏态引导在功能上等价于 logit 空间的正交重排序成分，从而可以在读出前合并、不付第二次读出的代价。其三，机制层面的白盒分析：把对比向量分解为平行于 $z_R$ 的温度缩放成分与正交的重排序成分，证明增益几乎全部来自后者；再用 top-2 概率 margin 解释增益为何集中在不确定的决策上，并据此导出自适应强度规则——方法、解释、超参规则形成闭环。

Looped Transformers differ in which part of the network loops.
Figure 2: Looped Transformers differ in which part of the network loops.
LoopCD applies the contrast before or after the coda and language modeling head.
Figure 3: LoopCD applies the contrast before or after the coda and language modeling head.

实验结果

论文在四个模型家族、三种评测协议、两种计算体制下验证。第一，全深度数学推理（Table 1a）：自适应 LoopCD-Logits 把 Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 拉到 73.33%（+11.45），AIME 2025 从 49.58% 到 56.88%，OlympiadBench 从 64.05% 到 67.29%；Ouro-1.4B-Thinking 的 AIME 2024 亦从 50.83% 到 59.17%。两模型 pass@1 平均提升 5.27–7.33 分、pass@10 提升 2.53–4.12 分，自适应规则整体最优。第二，全深度代码生成（Table 1b/3b）：Huginn-0125 在 $R=32$ 时 HumanEval pass@1 从 23.17% 到 28.66%（logit 自适应），零开销的 LoopCD-Hidden 更强，从 22.56% 到 31.71%（+9.15）；$R=16$ 时 hidden 形式把 21.95% 提到 28.05%。第三，七个选择题基准（Table 2/3a）：六个配置的均值全部为正（+0.29 至 +1.59），hidden 形式在 Huginn 上均值增益（+0.83/+0.75）反超 logit 形式（+0.74/+0.62）。第四，机制分析（Figure 5–8）：第一次迭代单独解码比最终预测低 4.0–23.7 分，与最终预测的分歧从 Ouro-1.4B 首轮的 0.71 bits 衰减到第三轮 0.013 bits；增益随分歧同步缩水——Huginn 首步在 51% 的 ARC-Challenge 问题上与最终预测选项不同、贡献 +3.07 分，第 16 步仅分歧 7%、只剩 +0.17 分。增益高度集中：最不自信的五分之一问题获 +6.4 至 +13.3 分，最自信五分之一至多 +0.4；仅 5.8%–14.9% 的答案被翻转。第五，减半深度（Figure 4）：未引导减半掉 0.17–1.29 分，LoopCD 加回 0.75–1.29 分，六种设置全部追平或反超全深度基线（Huginn 32→16 为 +1.02/+0.51），前向 FLOPs 节省 22.5%–48.2%。代价面：GSM8K 十个配置中六升四降（最好 +2.04、最差 −1.29），Looped-Qwen3 数学推理 pass@1 降 1.11–1.67 分但 pass@10 升 1.90–3.18 分，显示引导拓宽采样覆盖却略降单次成功率。

LoopCD improves mathematical reasoning and code generation at full recurrent depth.
Table 1: LoopCD improves mathematical reasoning and code generation at full recurrent depth.
Every logit configuration improves its seven-benchmark mean under LoopCD.
Table 2: Every logit configuration improves its seven-benchmark mean under LoopCD.
LoopCD-Hidden raises every configuration's mean at no added output pass.
Table 3: LoopCD-Hidden raises every configuration's mean at no added output pass.
LoopCD-Logits holds or raises MMLU-Pro in every configuration; GSM8K changes are small and mixed.
Table A5: LoopCD-Logits holds or raises MMLU-Pro in every configuration; GSM8K changes are small and mixed.
On mathematical reasoning, LoopCD lowers Looped-Qwen3's pass@1 and raises its pass@10.
Table A6: On mathematical reasoning, LoopCD lowers Looped-Qwen3's pass@1 and raises its pass@10.
Guidance gain depends on disagreement rather than standalone accuracy.
Table A11: Guidance gain depends on disagreement rather than standalone accuracy.
Guidance flips a close decision on one ARC-Challenge question.
Table A13: Guidance flips a close decision on one ARC-Challenge question.
With LoopCD, half the recurrent iterations match or beat full depth for less compute.
Figure 4: With LoopCD, half the recurrent iterations match or beat full depth for less compute.
A Looped Transformer's first recurrent iteration is much weaker than its final one.
Figure 5: A Looped Transformer's first recurrent iteration is much weaker than its final one.
LoopCD gains most where the weak prediction disagrees most with the final prediction.
Figure 6: LoopCD gains most where the weak prediction disagrees most with the final prediction.
LoopCD gains most from the first recurrent iteration as its weak prediction.
Figure 7: LoopCD gains most from the first recurrent iteration as its weak prediction.
The re-ranking carries the gain, and the gain lands where the model is uncertain.
Figure 8: The re-ranking carries the gain, and the gain lands where the model is uncertain.
Multiple-choice scoring tolerates about twice the fixed strength that generation does.
Figure 9: Multiple-choice scoring tolerates about twice the fixed strength that generation does.
The adaptive rule keeps its gain over a wider range of strength than a fixed value.
Figure 10: The adaptive rule keeps its gain over a wider range of strength than a fixed value.
Half depth saves the loop's share of the forward pass, and LoopCD-Logits pays for the layers after it.
Figure A1: Half depth saves the loop's share of the forward pass, and LoopCD-Logits pays for the layers after it.
Predictions inside a recurrent iteration stay far from the final one, and Huginn's entropy settles by its sixteenth iteration.
Figure A7: Predictions inside a recurrent iteration stay far from the final one, and Huginn's entropy settles by its sixteenth iteration.
查看结构化数据
任务指标本文基线提升
AIME 2024 数学推理（Ouro-2.6B-Thinking） pass@1（16 样本无偏估计） 73.33% 61.88%（未引导，同深度） +11.45 分（自适应 LoopCD-Logits）
AIME 2025 数学推理（Ouro-2.6B-Thinking） pass@1 58.33% 49.58% +8.75 分（固定强度）
HumanEval 代码生成（Huginn-0125，R=32） pass@1（base tests） 31.71% 22.56% +9.15 分（LoopCD-Hidden，零输出开销）
七个选择题基准均值（Parcae-1.3B） accuracy 均值 +1.59 分 未引导基线 全部六个配置均值均为正；单项最大 +4.51（HellaSwag，自适应）
MMLU-Pro（5-shot CoT 生成式评测，Ouro-2.6B） accuracy 57.50% 56.08% +1.42 分（固定强度）
减半深度推理（Huginn-0125，32→16 迭代） 前向 FLOPs（相对未引导全深度） 52%（hidden 形式）/ 54%（logit 形式） 100% 省 48.2%/46.0% FLOPs，同时七基准均值仍高出全深度基线 +0.51/+1.02 分

局限与改进

作者承认的局限：其一，自回归生成的可用强度窗口很窄（$\omega \in [0.2,0.3]$），超过约 0.6 就崩塌——GSM8K 上 Ouro-1.4B 在 $\omega=1.0$ 时掉 20 分、HumanEval 掉 22 分；其二，GSM8K 十个配置中四个下降，Huginn R=32 最差 −1.29 分；其三，Looped-Qwen3 的数学推理 pass@1 一致下降（−1.11 至 −1.67），只有 pass@10 上升；其四，减半深度的实验只在选择题套件上做，生成与推理任务未验证；其五，FLOPs 是 512-token prefill 的理论算术量而非实测墙钟加速。我自己的观察：超参高度依赖模型与任务——参考状态、固定 $\omega$、自适应上限每个配置各不相同（Table A4 列了十几行），Huginn 的 hidden 形式还必须绕开噪声初始化选 burn-in 后的 $h_6/h_7$；WinoGrande 与 PIQA 在多个配置下出现负增益（最差 −2.45），说明个别任务类型与引导方向相冲；AIME 每年仅 30 题、每题 16 个样本，+11 分的大增益在如此小的题库上方差不容忽视；增益机制是'重排序接近的决策'，翻转率仅 5.8%–14.9%，这既解释了安全性也预示了天花板。

独立分析的弱点

弱点一：超参选择是每模型每任务的手工工程。Table A4 显示参考状态（$h_1$、$h_5$、$h_6$、$h_7$）、固定强度（0.2–1.0）与自适应上限（0.25–1.5）随模型/任务/深度组合全部不同，Huginn 的 hidden 形式还因噪声初始化无法用第一迭代。用到新循环模型上意味着一轮昂贵的网格搜索。改进：把 margin 门控推广为统一默认规则并自动校准 $\omega_{\max}$，或训练一个极小的强度预测头。弱点二：对'都很有把握'的输入无增益且无法提速。增益只来自 top-2 margin 窄的决策，翻转率上限约 15%；而 Huginn 的 next-token 熵第 16 步就基本稳定（4.1→2.7 nats），说明一半迭代在'空转'。改进：把 LoopCD 与基于熵/margin 的提前退出结合，margin 收敛时减深度、只在临界 token 恢复全深度，把 48.2% 的节省推向更高。弱点三：验证深度不足——减深度只在选择题上验证，而生成任务恰恰是强度窗口最窄的场景；AIME 仅 30 题，±11 分增益的置信区间宽。改进：补跑生成任务的减深度对照并增加采样数。弱点四：理论 FLOPs 不等于延迟。第二次读出是额外 kernel，memory-bound 解码阶段实际延迟比例可能与 FLOPs 脱节，Looped-Qwen3 上读出开销（+30.58%）甚至超过循环占比。改进：补实测端到端延迟，或把两次读出合并为批量矩阵乘。弱点五：WinoGrande/PIQA 的负增益提示对比方向并非对所有知识类型都对，可按任务或 token 类型门控引导的开关。

未来方向

作者点出的方向：像 Ouro 这样训练时就监督中间预测的模型，可能让弱—强对更有用——即训练目标与解码方法的协同设计，甚至显式优化迭代间对比向量的信息量。基于本文成果可延伸：其一，不确定性驱动的动态深度——论文已证明循环中途即收敛（Huginn 熵第 16 步稳定）且 margin 自适应规则成熟，把 LoopCD 与提前退出合并可实现按 token 粒度的深度分配，突破固定减半的粗粒度。其二，多样性导向的采样：Looped-Qwen3 上 pass@10 升而 pass@1 降，说明引导能拓宽轨迹覆盖，可与 best-of-n、验证器打分或树搜索结合做测试时扩展。其三，潜空间推理（latent CoT）模型的训练期增强：把对比信号在训练期注入（如沿循环步分配 RL 信用时参考 LoopCD 方向）。其四，推广到其他重复执行结构——权重共享的扩散语言模型、图像扩散的 autoguidance 同源场景，检验'时间轴对比'是否是这类架构的普适免费午餐。其五，理论化：目前对'第一迭代分歧最大、增益随分歧衰减'只有经验刻画，用迭代映射的谱性质或收敛速率给出定量预测会是漂亮的后续。

复现评估

复现难度总体偏低：方法本体是几个线性外推加一次读出，核心代码几十行，无需任何训练。模型可用性是关键变量：Huginn-0125（Geiping et al., 2025）公开在 Hugging Face，Ouro（Zhu et al., 2025a）亦有公开检查点，Looped-Qwen3 基于公开的 Qwen3-4B 改装，附录 A 还给出每个模型 prelude/循环块/coda 的精确层数表（Table A1）；Parcae（2026）的可得性需确认。评测栈全部为标准开源工具：lm-evaluation-harness 做选择题打分、EvalPlus 做代码、AIME/OlympiadBench 为公开数据集，提示配置在附录 B.3 逐项列明（含每基准 shot 数），配对比较协议（同检查点、同提示、同深度）描述严谨。超参方面 Table A4 和 A8 把每个配置的 $\omega$、$\omega_{\max}$、参考状态全部给出，减深度设置可直接照抄。算力仅需推理：被评模型 0.37B–4B，单张消费级 GPU 即可复现选择题与代码评测，16 样本数学推理也只需中等算力。未开源的是 Apple 内部评测脚本与 Looped-Qwen3 权重，但按附录逐项重建约数天工作量。总体属于'方法一行代码、评测照方抓药'的高复现度论文，唯一要小心的是每配置超参不同、不要串用。

论文图表

LoopCD lets an earlier loop guide the final one: more accuracy at full depth, less compute at half.
Figure 1: LoopCD lets an earlier loop guide the final one: more accuracy at full depth, less compute at half.

总览图。(a) 示意 LoopCD 用同一输出层读取早期循环状态并外推引导最终预测：guided prediction = final + ω(final − earlier)。(b) 八组模型×基准在全深度下的基线得分（斜纹）与 LoopCD 增益（实心），如 Ouro-2.6B-Thinking 的 AIME 2024 +11.45。(c) 七基准均值对前向 TFLOPs 的对数轴散点，显示半迭代加 LoopCD 匹配全深度基线并省 22%–46% 算力。

一图浓缩全文两个卖点（全深度涨点、半深度省算力）与方法公式，是判断这篇论文值不值得读的第一入口。

Every generation benchmark gains only over a narrow range of strength.
Figure A9: Every generation benchmark gains only over a narrow range of strength.

GSM8K、MMLU-Pro、HumanEval、MBPP 四个基准上五个模型对固定强度 $\omega$ 的逐基准曲线：增益只在 0.2–0.3 附近的窄区间为正，之后陡坠——GSM8K 上 Ouro-1.4B 在 $\omega=0.8$ 掉 8 分、$\omega=1.0$ 掉 20 分，HumanEval 同强度掉 10/22 分。

给出方法在自回归生成下最脆弱的一面（错误跨前缀复利），是部署生成场景时必须遵守的安全边界。

相似论文推荐

LoopCoder-v2：高效测试时计算缩放仅需一次循环 🎯 71.4%
Loopie：算力对等预算下的循环深度混合专家大模型 🎯 71.1%
LoopUS：将预训练大语言模型重构为循环潜在精炼模型 🎯 70.6%
DLoop：循环式投机解码 🎯 70.4%
LoopFormer：通过快捷调制实现弹性深度循环Transformer的潜在推理 🎯 69.5%