LoopUS：将预训练大语言模型重构为循环潜在精炼模型 LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models

LoopUS 的方法可以拆解为四个紧密耦合的步骤。第一步，块分解（block decomposition）：对目标 LLM 沿深度方向计算相邻层隐藏状态的余弦相似度，定位相似度变化最剧烈的两个位置作为 encoder–reasoning 与 reasoning–decoder 的边界（参考 Mi:DM 的做法），得到 $E$、$M$、$D$ 三个块；仅 $M$ 会被反复循环，$E$ 与 $D$ 各只跑一次。第二步，循环推理与 selective gating：给定 $h^{(0)}=E(x_{0:T})$，对 $b=0,\dots,B-1$ 依次执行——先由 reasoning block 提议新状态 $M(h^{(b)})$，再用门 $G$ 把它与 $h^{(b)}$ 混合：先算残差 $\delta^{(b)} = M(h^{(b)}) - h^{(b)}$，再算步长 $\Delta^{(b)} = \mathrm{softplus}(W_\Delta \delta^{(b)} + b_\Delta)$，得到衰减因子 $\alpha^{(b)} = \exp(\Delta^{(b)} \odot A)$（$A$ 为可学习的负向量），最后做凸插值 $h^{(b+1)} = \alpha^{(b)} \odot M(h^{(b)}) + (1-\alpha^{(b)}) \odot h^{(b)}$。第三步，置信度头与自适应停止：每步由 confidence head 产生标量 $\tilde{q}^{(b)} = q_\phi(h^{(b)})$ 与对应概率 $q^{(b)} = \sigma(\tilde{q}^{(b)})$，与阈值 $q_{th}$ 比较后决定是否提前退出，循环步数从固定 $B$ 变成随样本自适应的 $\hat{B} \le B$。第四步，训练时的随机深监督：每个 batch 内对 $B$ 步展开中随机采样 $|S|=K$ 个位置施加监督；被采样的步正常计算 $\mathcal{L}_{LM}+\mathcal{L}_{mono}+\mathcal{L}_Q$ 并反向传播，未被采样的步以 `torch.no_grad()` 跑通并 `h = h.detach()` 后再进入下一步，从而把梯度链长度从 $B$ 缩短到期望 $\mathcal{O}(B/K)$。训练结束后，推理时把 $B$ 替换为更大的预算（论文尝试到 100）并配合 confidence-based stopping，平均只用约 3.4 步即可达到接近最优的性能（见 Figure 5）。

从技术新颖性看，LoopUS 在三个方面都对已有循环 LLM 文献做出了实质性推进。第一，块分解原理——把「哪几层应该被循环」这一一直依赖人工设定的超参数变成可由隐藏状态余弦相似度曲线自动决定的「分析性选择」，这是首次在公开工作中以 staged representation dynamics 给出明确依据，避免了把整个 backbone 一刀切再做选择的粗糙做法。第二，深度域的 Mamba-style selective decay——已有的循环 LLM 通常使用 softmax 式或简单的常数门，本文则把 Mamba 的输入相关指数衰减迁移到 depth 域，用 $\alpha = \exp(\Delta \odot A) \in (0,1)$ 的对角预条件子构造一个「松弛收缩」迭代，并由此给出与连续 ODE $\dot{h} = P(h)(M(h)-h)$ 的类比，这是新颖的理论桥接。第三，训练机制的三位一体——将随机深监督、单调性正则（用 SiLU 软惩罚）、轻量置信头三件事放在同一个目标里同时训练：$\mathcal{L}=\mathcal{L}_{LM}+\mathcal{L}_{mono}+\mathcal{L}_Q$，使长循环预算训练既稳定又能学到自适应停止。第四，实验层面的实证贡献——首次在 1.7B 到 14B 的多家族、多尺度预训练 LLM（Qwen3、Phi-4、TinyLlama）上系统验证「post-training 循环化」的可行性，并报告 WikiText 困惑度最大下降 17.4%、LAMBADA 下降 21.3%、TinyLlama 上 6 项平均 Δ=+6.3 等具体指标，整体刷新了同训练预算下的循环 LLM 适配效率。

在独立审视后，本文存在以下可改进的弱点。第一，encoder/decoder 仍按固定边界被调用——decoder 只跑一次，可能无法适配长循环后隐藏状态分布的偏移；如果让 decoder 也按 confidence head 提前终止或做最后一次「重新归一」，有望进一步降低 LAMBADA 等长上下文困惑度。改进方向：让 decoder 在最终映射前再叠 1–2 个轻量 refinement block。第二，confident head 是一个简单的标量 sigmoid，对多模态不确定性表达不足——它无法区分「接近答案但选错 token」与「远离答案」，可能在边缘样本上给出错误的高置信度。改进方向：换成分布式的 confidence 估计或基于 ensemble disagreement 的不确定性。第三，训练目标里 $\mathcal{L}_{mono}$ 用的 SiLU 虽然被消融验证为最优，但作者没有解释为什么 SiLU 在负值区域「小负值」正好对应「小幅改进」这一隐式映射；如果换成自适应调节斜率的激活，效果可能更好。第四，整套系统假设 $\alpha$ 在 $(0,1)$ 之间、$A$ 为负向量这一先验——这其实是把 Mamba 的归纳偏置硬塞进了深度域；如果任务对此敏感（例如需要跨循环大幅度跳跃的任务），可能反而抑制有效更新。改进方向：让 $\alpha$ 的取值范围在训练中自适应放松。第五，论文缺乏对训练数据规模与 LoopUS 增益之间关系的缩放律分析——只测了 3B tokens 一个点，无法判断更多训练 token 是否会饱和或反噬。改进方向：在 1B / 10B / 100B tokens 上重新跑出缩放曲线。第六，未给出 decoder 是否需要重新校准的实验——长循环后 hidden state 进入了一个新分布，decoder 仍按预训练时的「单遍分布」工作，可能存在 mismatch。

基于本文的成果，至少有以下几条值得延伸的方向。(1) 与显式 CoT 结合——把循环潜在精炼放在每个 CoT 步内做 reasoning，再在外层做更长链的 planning，有可能把「test-time compute 深度 + 宽度」两条轴同时拉满。(2) 把 LoopUS 推广到多模态 / 视觉语言模型——本文完全在纯文本上验证，循环精炼对 VLM 的视觉 grounding 是否有效、层分解是否仍合理是值得探索的问题。(3) 与蒸馏 / 剪枝协同——既然 LoopUS 可以让 1.7B 模型获得类 4B 的 Wiki ppl，那是否可以用它把大模型的能力「压缩循环化」到小模型，从而实现新型蒸馏？(4) 自动化 encoder/reasoning/decoder 边界搜索——目前边界要人工从余弦相似度曲线上肉眼挑，未来可借助可微搜索或 NAS 类方法自动寻找最优切点。(5) Confidence head 与 RL 结合——把 confidence-based stopping 与 RL 中的 early-termination reward 结合，让模型学会在不确定时主动请求更多循环步而非盲目停止。(6) 异构循环——本文对所有 token 用同一个 $\alpha^{(b)}$ 做门控，未来可探索 per-token 不同步数或 per-layer 不同 $\alpha$，以实现「难 token 多想、简单 token 少想」的更细粒度自适应计算。作者在 conclusion 中已暗示这些方向，并表示希望 LoopUS 成为把「预训练 Transformer 深度」转化为「自适应测试时计算」的一般范式。

LoopUS 的复现门槛属于「中-高」。代码与数据：作者给出了项目主页 https://thrillcrazyer.github.io/LoopUS 链接，论文承诺开源训练与评测脚本，但 arXiv 公开版本（v1）尚未给出具体 GitHub 仓库地址（基于 v1 提交时间推断），读者需要后续关注正式版或作者主页更新。训练数据：完全使用公开的 FineWeb-Edu 3B token 子集，无私有数据。评测协议：使用标准 lm-evaluation-harness，覆盖 WikiText、LAMBADA、MMLU、HellaSwag、ARC-Easy、ARC-Challenge、PIQA、WinoGrande、OpenBookQA 九个基准；推理默认用 confidence-based stopping + KV caching，最大循环预算 8（分析时拉到 100），与多数 LLM 评测工具兼容。算力门槛：1.7B 用 L40S、4B 用 RTX PRO 6000、8B 用 RTX PRO 6000、14B 用 H200，整套实验估计需要至少 4× L40S + 2× H200 数量级的 GPU 资源；对一般实验室而言，1.7B 与 4B 复现门槛相对低（单卡或 4 卡），8B 与 14B 复现门槛较高。复现难度：选择性门控涉及 `softplus(W_Δ δ + b_Δ)` 与可学习负向量 $A$，随机深监督需要正确处理 `detach()` 时机，confidence head 阈值 $q_{th}$ 需要按任务手工调——这三处实现细节若处理不当会导致显著性能差异。综合来看，论文对方法、训练目标、消融、超参给出了较为完整的描述，主要工程难点在选择性门控的数值稳定性与 confidence 阈值的调参。