LoopVL：循环视觉智能 LoopVL: Recurrent Visual Intelligence
用共享参数的嵌套循环Transformer迭代精炼视觉语言状态，1B模型比肩数倍大的稠密VLM
前置知识
Loop Transformer（循环深度模型）
与其堆叠 $N$ 层参数各异的网络，不如让一组共享参数的模块在同一前向传播中被反复调用：第 $k$ 次调用处理的是上一轮更新后的隐状态，因此同一组权重在不同轮次上执行不同计算，执行深度增加而参数量不变。代表工作包括 Universal Transformer、近年 recurrent-depth 语言模型（Huginn、Ouro 等）以及本文依托的 HRM/HRM-Text 框架。
本文的全部设计与实验（Module-Loop/Model-Loop、H/L 调度）都建立在「复用共享模块以加深计算」这一思想上；不理解它就无法解释为什么一个约 1B 参数的骨干能在单次前向中执行 128 次 Transformer 层调用。
HRM 式 L/H 双时间尺度循环
分层推理模型（HRM/HRM-Text）用两个独立参数的模块耦合两种状态：低层模块 L 在高层条件基本稳定时被快速反复调用，负责局部状态精炼；高层模块 H 慢速更新，整合 L 的输出并改变下一轮计算的条件。LoopVL 沿用 $\text{L}\to\text{L}\to\text{L}\to\text{H}$ 的嵌套节奏。
LoopVL 的默认调度 H2L3 正是该结构的视觉语言版本；理解 L 与 H 的分工是读懂架构（Figure 2）和调度消融（Table 3、Table 4）的前提。
PrefixLM 注意力掩码
让图像、指令等条件位置构成一个互相可见的双向前缀；回答位置可以看到前缀和之前的回答 token，而前缀位置不能看到回答。这样既允许视觉 token 之间以及视觉与指令之间充分交互，又避免答案信息泄漏回条件部分。
这是 LoopVL 训练目标（公式 2-3）和「指令条件下持续更新视觉状态」的关键设置，第 2.1 节和第 4.1 节的监督目标都依赖它。
视觉 token 的空间对应与二维 RoPE
视觉编码器把图像切成 patch，每个保留的 patch 产生一个 token，因此序列中的视觉位置天然对应图像网格上的行列坐标。LoopVL 用二维空间 RoPE 编码视觉 token 的行列坐标（文本 token 的二维坐标沿序列同步前进，等价于一维 RoPE），且不做 token 合并或剪枝，维持稳定的图像网格。
正因为视觉 token 保留了与图像 patch 的空间对应，作者才能把不同循环轮次中同一物理层的注意力对齐到同一张图上，从而观察 Visual Aha Moment——这是本文全部可解释性分析的观测基础。
GRPO（组相对策略优化）
一种 RL 后训练算法：对同一输入采样一组回答，按「最终答案是否正确」给奖励（对为正、错为零），用组内归一化计算优势，再通过概率比裁剪和对参考策略的 KL 正则更新策略，无需单独训练价值网络。
LoopVL 的视觉强化学习阶段用 GRPO 结合「渐进式思考抑制」调度（最大生成长度从 2048 提到 4096 token），是其数学推理能力（如 MMK12-Math 61.60）的重要来源。
选择性反向传播（截断 BPTT）
循环展开多轮时，对全部激活做完整反传代价很高。选择性反传只把梯度图限制在最后若干次调用：H2L3 调度下反传图从最后 2 次调用（L6、H2）逐步扩展到最后 5 次（L4–L6、H1、H2），更早的 L 调用仍参与前向但不回传梯度。
它直接决定 LoopVL 的训练成本核算（2.47×10^21 FLOPs），也是作者验证 Visual Aha Moment 时必须排除的混淆因素——他们专门训练了全梯度版本以证明现象与反传路线无关。
研究动机
现代视觉语言模型几乎全部沿用「堆叠独立参数层」的稠密 Transformer：想算得更深，就必须线性增加参数量、显存和训练 FLOPs。以论文 Table 2 的同级竞品为例，Qwen3.5-2B 和 InternVL3.5-4B 分别用了 36T 和 36.38T token 训练，而小模型在 MMStar、MMMU-Pro、数学推理这类需要多步组织视觉证据的任务上明显落后。更深层的问题是：图像提供的是带显式空间结构的候选证据，哪些区域与问题相关由指令决定；一轮视觉语言交互之后，视觉表征和各区域的相对重要性都会变化，而稠密架构没有任何机制让视觉证据在「计算加深」的同时被反复重读与重新分配。循环计算在语言侧（Universal Transformer、HRM、Huginn 等）已显示出以共享参数获得更深有效计算的潜力，但它能否有效扩展到视觉语言建模、以及在多模态状态下循环计算到底发生了什么，此前都缺乏系统证据。
本文的目标是本文要回答一个核心问题：Loop Transformer 能否被有效扩展到视觉语言模型？具体目标有三层。第一，构建并从零训练一个多模态循环模型 LoopVL：通过 Module-Loop（在同一高层条件下重复调用一个 16 层共享 L 模块）与 Model-Loop（重复整个 L/H 耦合周期），在统一的视觉语言状态上迭代计算，使约 1B 参数的语言骨干在单次前向中执行 128 次 Transformer 层调用而不增加参数。第二，在 0.14T token 的总训练预算下，与参数相同、更深的、更宽的非循环 Transformer 基线做严格对照，验证共享参数循环在多模态理解与视觉推理上的有效性。第三，利用视觉 token 与图像 patch 的天然空间对应，系统刻画循环过程中视觉证据如何被重新组织与复用，为循环计算建立一个可观测的「外部坐标系」。
与已有工作不同的是，已有的循环深度研究几乎都停留在纯语言侧，或局限于 ARC 类抽象推理小任务（如 LoopViT 的视觉 ARC 实验）；它们把循环当作「加深计算」的手段，却没有对「视觉证据随循环演化」的直接观察手段。本文的独特切入有两点。其一是工程与科学并重：把 HRM 的层级 L/H 循环接入一条真实的多模态流水线（自训 75B token 语言预训练 + 49B token 多模态 mid-training + SFT/GRPO），证明该范式足以支撑一个完整的生成式 VLM，而不是玩具任务上的概念验证。其二是方法学创新：提出以图像为外部坐标系解释循环计算——由于视觉位置与 patch 空间对应，同一物理层在不同循环轮次的注意力可以直接对齐到同一张图上对比，从而把「重复同一计算」和「对持续演化的状态应用共享参数」区分开，并据此命名了 Visual Aha Moment 这一现象。这是语言侧循环模型原则上做不到的诊断。
核心方法
直觉上，LoopVL 把「看图」变成一个迭代过程：先在相对稳定的全局语义条件下反复细读局部视觉证据，再由高层模块汇总形成新的全局状态，如此嵌套往复。技术路线上，模型由冻结的 Penguin 视觉编码器（每个保留 patch 输出 1024 维特征）、两层 GELU projector（1024→1536，经 1536 维隐层）和自研循环语言骨干组成。骨干含两个互不共享参数的 16 层模块 L 与 H，默认调度 H2L3 按 $\text{L}\to\text{L}\to\text{L}\to\text{H}\to\text{L}\to\text{L}\to\text{L}\to\text{H}$ 执行：每个 model cycle 内 L 被调用 3 次（Module-Loop），整个周期重复 2 次（Model-Loop），共 8 次模块调用 × 16 层 = 128 次层调用。H 状态由缩放后的输入嵌入初始化，L 状态初始化为零并跨周期保留；每个 model cycle 开始时，把初始投影视觉嵌入作为固定锚点，经查询条件逐 token 视觉门控和可学习的周期缩放系数重新注入 H 状态的视觉位置。训练分五步：语言预训练 75B token、视觉语言对齐 0.33B、多模态 mid-training 49B、SFT 16.81B、GRPO 强化学习 0.006B，总预算约 0.14T token、2.47×10^21 FLOPs。
核心创新是把循环计算定位为「对持续演化的视觉语言状态反复施加共享变换」，而不是单纯加深网络。与已有方法的本质区别有三。第一，与堆 78 层的 Transformer-VL 4B (Deep) 不同，LoopVL 用两个 16 层共享栈执行 128 次层调用，参数量不随执行深度增长；Table 3 进一步显示同样执行 64 层，H2L1 在全部五个基准上优于 H1L3，说明「计算在低层精炼与高层更新之间的组织方式」本身就是一等设计变量，而非只有总深度重要。第二，视觉 token 在循环中不被冻结：编码器特征只是初始值，进入循环骨干后持续被更新；共享模块因接收到的状态不同而能产生不同的视觉更新与注意力分配。第 2.4 节的干预实验（阻断 L 的视觉更新、冻结视觉状态、重训只读变体）证明这种持续更新是性能的必要成分。第三，视觉位置保持空间对应并使用二维 RoPE，使「同一物理层在不同循环轮次以不同方式读图」变得可直接观测——这把架构选择与可解释性诊断绑定成了一个整体设计。
方法步骤详情
整条流水线分五步。(1) 语言预训练：基于 HRM-Text 开源框架与数据配方（60B token），叠加自行筛选的 15B token（MegaMath-Q&A、Cosmopedia v2、Tulu 3 Persona 系列、SciRIFF 等），从零预训练 H2L3 循环语言模型。(2) Stage 1 视觉语言对齐：冻结语言骨干与 Penguin 编码器，仅训练 projector；数据为 LLaVA-559K（0.33B token），最大序列长 2048，每图 256–1024 个视觉 token，全局 batch 256，projector 学习率 $10^{-3}$，损失只加在回答 token 上。(3) Stage 2 多模态 mid-training：解冻语言骨干（学习率 $2\times10^{-5}$；projector $10^{-4}$；batch 128；余弦衰减；序列长 3072），用 OneVision-1.5 Mid-Training-85M 训练 49B token，覆盖通用问答、富文本图像、图表、数学与短答题，并做答案保留、选项格式归一化、去重与超长回答过滤。(4) SFT：16.81B token，混合 OneVision-1.5 Instruct-22M（77.3%）、Spatial-4M（17.8%）、LLaVA v1.5 Mix665K（3.3%）、Vision-R1-Cold（1.5%），最小化掩码后的回答交叉熵 $\mathcal{L}_{SFT}=-\sum_i\sum_t \log p_\theta(y_{i,t}\mid x_i, y_{i,<t}) / \sum_i T_i$。(5) 视觉 RL：GRPO 以答案正确性为结果奖励，配合渐进式思考长度调度（最大生成长度 2048→4096）。所有阶段前向执行全部 8 次调用，反传只展开最后 2→5 次；注意力用 PrefixLM 掩码，视觉与文本分别用二维/同步二维 RoPE。
技术新颖性
技术新颖性可分四个层面评估。架构层面，LoopVL 大量继承 HRM/HRM-Text（L/H 状态身份、独立模块参数、嵌套调度均为继承），作者对此非常坦诚；真正的新东西是把它接到标准 VLM 三件套（冻结编码器 + projector + 动态分辨率）上，并设计视觉锚点再注入与查询条件视觉门控，让视觉位置跨周期保持「可重读」能力。训练层面，论文给出了循环 VLM 的完整公开配方：冻结边界回归测试、视觉嵌入 RMS 校准、响应-only 损失、选择性反传路线，以及 H1L1/H1L3/H2L1/H2L3 全程独立训练的对照设计——把「训练时调度」与「推理时调度」两类实验严格分开，这种严谨性在循环模型文献中少见。分析层面是最大贡献：用归一化空间熵 $E(p)=-\frac{1}{\log N}\sum_i p_i\log p_i$、Gini 集中度 $G(r)=\frac{1}{2N}\sum_{i,j}|r_i-r_j|$、80% 注意力覆盖率、跨端点余弦相似度和 logit-lens KL 散度等互补指标，把「循环中视觉证据被重新组织」变成可量化、可复现的观测，并提出 Visual Aha Moment（Gini 从 0.405 跃升至 0.858）。相对于语言侧的 Huginn/Ouro/Loopie，这是第一次在生成式 VLM 上系统完成这套建模加诊断的工作。
实验结果
核心结果有五组。(1) 同预算对照（Table 1）：0.14T token 下，LoopVL 全面超过参数相同但只执行 32 层的 Transformer-VL 1B——MMStar 63.47 vs 55.33（+8.14）、RealWorldQA 70.98 vs 55.29（+15.69）、ChartQA 74.52 vs 51.12（+23.40）；同时以更低的训练 FLOPs（2.47 vs 2.89/2.99×10^21）追平或超过 4B 的深度/宽度两个变体（MathVision 38.49 vs 35.92/33.55，MMK12 49.65 vs 48.35/47.70）。(2) 与同级开源 VLM 对比（Table 2，16 个基准族 23 行分数）：LoopVL 仅用 0.14T token（对手 3T–36.38T）在 LogicVista 45.19（InternVL3.5-4B 为 36.91）、MMStar 63.47（63.20）、RealWorldQA 70.98、VisuLogic 27.00、MMK12-Math 61.60（54.80）上领先，MMMU-Pro 38.67 与 InternVL3.5-4B 的 38.30 相当，POPE 90.71 最高；但 MMEval-Pro 24.62（对手 42.82）和 HallusionBench 44.71（51.59）明显偏弱。Figure 1 显示其骨干 FLOPs 仅为 Gemma-4 E4B 的 1/133、InternVL3.5-4B 的 1/473。(3) 调度消融（Table 3/4）：独立训练时 H2L3 全场最优；对 H2L3 训练的模型，推理改成 H1L1/H1L3 输出几乎不可解析（MMStar 仅 0.47/0.07），H3L3 虽执行 192 层反而降到 58.20，H4L3（256 层）崩至 24.00，同为 128 层的 H4L1 只有 24.67——训练与推理调度必须匹配。(4) Visual Aha Moment（Figures 6-7）：跨过 model cycle 边界（零基索引 63→64），平均 Gini 从 0.405 跃升至 0.858，空间熵同步下降；全梯度反传版本和去掉视觉锚点-门控的版本都复现该现象。(5) 状态与读出动力学（Figures 9-11）：第二周期所有匹配端点上熵降、覆盖率降、Gini 升；视觉状态的 L2 更新幅度在第二周期仍然可观（排除「复制粘贴」解释）；logit-lens KL 在最后一次 H 调用内急剧收敛，说明最终预测是在循环尾部快速成形的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMStar（同预算对照，Table 1） | 准确率(%) | 63.47 | Transformer-VL 1B：55.33；Transformer-VL 4B (Deep)：61.33 | +8.14 / +2.14 |
| RealWorldQA（Table 1） | 准确率(%) | 70.98 | Transformer-VL 1B：55.29；Transformer-VL 4B (Wide)：66.01 | +15.69 / +4.97 |
| ChartQA（Table 1） | relaxed accuracy(%) | 74.52 | Transformer-VL 1B：51.12；Transformer-VL 4B (Wide)：75.56 | +23.40 / 基本追平4B（−1.04） |
| LogicVista（Table 2，逻辑推理） | 准确率(%) | 45.19 | 同级最佳 InternVL3.5-4B：36.91（其训练 token 为 36.38T，本文仅 0.14T） | +8.28 分，训练 token 效率约 258 倍 |
| MMK12-Math（Table 2，中学数学） | 准确率(%) | 61.60 | InternVL3.5-4B：54.80；Qwen3.5-2B：35.00 | +6.80 / +26.60 |
| MMMU-Pro（Table 2，多模态理解） | 准确率(%) | 38.67 | InternVL3.5-4B：38.30（0.14T vs 36.38T token） | +0.37（以约 260 倍更少的数据打平） |
局限与改进
作者承认的局限有四：(1) 后训练集中在数学推理且数据量小（RL 仅 0.006B token），长推理会出现重复 token 或重复推理片段；(2) 受算力限制没有训练更一般的 Model-Loop 对照模型，因此无法断言 Visual Aha Moment 是 Model-Loop 的内在属性还是 LoopVL 特定架构/训练选择的产物；(3) 循环骨干绑定在 HRM-Text 这一特定层级框架上，未探索更广的循环设计空间；(4) 只考虑冻结视觉编码器的图像任务，未涉及视频、多图与交互环境，编码器与骨干也未联合适配。我的补充观察有五点：第一，Table 4 暴露了严重的推理调度脆弱性——循环次数推理时既不能减少也不能增加，「额外测试时计算」这条循环模型的核心卖点在当前 checkpoint 上完全不成立，甚至加循环会崩（H4L3 的 24.00）；第二，1B 参数执行 128 次串行层调用意味着推理延迟约等于一个 128 层模型，论文未报告延迟与吞吐，效率故事只在训练 FLOPs 维度成立；第三，LoopVL 的 2.47×10^21 训练 FLOPs 是同参数 Transformer-VL 1B（0.92×10^21）的约 2.7 倍，「同参数」对比中循环模型实际花了更多计算；第四，0.14T 对 36T 的数据量差距使 Table 2 更多说明数据效率而非绝对能力上限，且 BabyVision（13.14 vs LFM2-VL-3B 的 20.10）和 MMEval-Pro 的短板提示小循环模型在部分通用能力上仍有缺口；第五，注意力热图证据本质是诊断性的（作者自己也强调），从「注意力再分配」到「因果上提升正确率」之间仍有距离。
独立分析的弱点
弱点一：调度脆弱性封死了自适应计算之路。H2L3 训练的模型在 H3L3（192 层）上 MMStar 从 63.47 掉到 58.20，H4L3 崩到 24.00，说明模型把「计算量」与特定的 8 次调用节奏耦合死了；改进方向是引入可变深度课程训练（训练时随机采样 H/L 调度）或 Mixture-of-Recurrences 式 token 级路由，把深度变成推理时可调资源。弱点二：串行执行的延迟成本被忽略——128 次层调用无法并行，边缘部署时 1B 参数的名义优势会被 8 倍调用次数吃掉；改进方向是报告延迟-精度 Pareto 曲线，并利用 logit-lens KL 在最后一次 H 内急剧收敛的发现研究高效早退机制。弱点三：效率对比口径不完全对齐，同参数基线用 0.92×10^21 FLOPs 而循环模型用 2.47×10^21，严格说是「同参数不同计算」；改进方向是补充 FLOPs-matched 对照（让稠密基线也训到 2.47×10^21）。弱点四：MMEval-Pro 24.62、HallusionBench 44.71 分别落后 InternVL3.5-4B 约 18 与 7 个点，提示循环小模型在需要严格校准的细粒度判断上受容量限制；改进方向是扩充 SFT 指令多样性并加入偏好优化。弱点五：Visual Aha Moment 缺少跨架构对照且诊断集仅 32 样本；除作者计划的大规模 Model-Loop 对照外，还应增加因果干预——例如遮蔽第二周期被「提升」的 token，检验正确率是否随之下降，把相关性证据升级为因果证据。
未来方向
作者明确提出四个方向：(1) 在更广任务（科学推理、指令遵循、agentic 任务）上用更大、更多样的数据继续后训练，引入更丰富的偏好与推理监督以改善重复 token 等生成不稳定问题；(2) 训练更一般的 Model-Loop 对照模型，检验 Visual Aha Moment 在更大规模与更一般循环架构下是否持续存在（下一代 LoopVL 已在准备中）；(3) 探索替代循环组织、可变深度计算、自适应循环调度和推理-计算匹配设置，寻找能随规模扩展且天然适配视觉 token 的循环框架；(4) 把循环视觉计算扩展到原生多图、视频与交互式环境，让循环状态跨图像与时间整合证据，并研究视觉编码器与循环骨干的联合适配与协同设计。基于本文成果还可延伸：把「KL 在最后一次 H 内骤降」变成实用的早退/自适应深度机制；把跨周期 token 排名提升量化为可优化的辅助损失（鼓励第二周期聚焦问题相关区域）；在 Huginn/Ouro 等纯语言循环模型上复制同一套熵/Gini 诊断协议，检验证据再分配是否为视觉模态特有；以及利用循环结构的迭代性系统研究「内部循环深度 vs 外部 CoT 长度」的分工与互补。
复现评估
复现难度总体中等，分析性复现偏易、完整重训偏难。有利因素：论文提供了开源代码（Code: LoopVL）与模型权重（LoopVL-1B 及 LoopVL-1B2026）；训练数据几乎全部来自公开配方（HRM-Text base 60B、LLaVA-559K、OneVision-1.5、LLaVA v1.5 Mix665K、Vision-R1 等）；附录 A 给出基于 VLMEvalKit 与官方脚本的逐基准评测工具和指标定义（ChartQA 用 relaxed accuracy、POPE 用合并 F1 等）；超参报告完整（AdamW $\beta=(0.9,0.95)$、梯度裁剪 1.0、3% warmup、各阶段学习率 $10^{-3}$/$2\times10^{-5}$/$10^{-4}$、全局 batch 256/128、序列长 2048/3072、每图 256–1024 视觉 token）；附录 B 定义了全部诊断指标。现实门槛：(1) 从零预训练 75B token 语言骨干再加 49B token 多模态训练，即便只有约 1B 参数也需要多卡集群周级以上的算力，个人难以完整复现，但权重推理、微调和 Figure 6-11 式的注意力诊断在数卡环境即可进行；(2) 训练强依赖 H2L3 调度且要求训练-推理匹配，复现时不要「顺手」改动循环配置，否则会复现 Table 4 的崩坏结果而非论文分数；(3) Table 2 中部分对手分数取自公开报告，严格对齐需统一各家的评测协议与解码设置。整体而言，这是一篇可复现性写得相当诚实的论文，适合作为循环多模态方向的研究起点。
论文图表
上半部分两张散点图分别以骨干训练 FLOPs（1×–10,000× 对数轴）和训练 token（100B–100T 对数轴）为横轴、三基准平均准确率为纵轴，LoopVL-1B 位于左下角（1×），对手的相对倍数标注在旁：Gemma-4 E4B 133×、Qwen3.5-2B 188×、InternVL3.5-4B 473×、LLaVA-OV-72B 1,324×（FLOPs 维度）；token 维度上 PLaMo2.1 2B 为 21×、InternVL3.5-4B 为 258×。下半部分是 LogicVista、MMK12-Math、MMMU-Pro、MMStar、MathVision 五个基准的柱状对比，蓝色为 LoopVL，虚线标注 InternVL2.5-78B、LLaVA-OV-72B、QVQ-72B-Preview 等大模型分数。
这是全文的效率总纲：用一页说明 LoopVL 以约两个数量级更少的 FLOPs 和数据达到同级甚至更大的稠密 VLM 的精度水平，是「循环计算值得做进 VLM」这一主张的最直观证据。