LoopViT：用循环Transformer扩展视觉抽象推理

LoopViT通过权重共享循环和动态退出机制提升视觉推理效率

前置知识

Vision Transformer (ViT)

Vision Transformer是一种将图像分割为固定大小的patch序列，然后通过标准Transformer编码器处理的视觉模型。每个patch被线性嵌入为token，加入位置编码后送入多层自注意力网络。ViT将NLP中的Transformer架构成功迁移到视觉任务，通过全局自注意力机制捕获图像中的长程依赖关系，相比CNN具有更强的全局建模能力。在本文中，VARC框架首次证明ViT可以直接从像素级别解决ARC视觉推理任务，将问题建模为图像到图像的翻译。

本文的LoopViT是对标准ViT的循环化改造，理解ViT的基本架构（patch嵌入、自注意力、FFN）是理解LoopViT如何通过权重共享实现迭代推理的基础。

权重共享循环 (Weight-Tied Recurrence)

权重共享循环是一种神经网络架构设计，其中同一组参数在多个时间步或迭代中被重复使用。与传统前馈网络中每层拥有独立参数不同，循环架构将计算深度与参数量解耦：增加迭代次数不会增加模型参数量。这种设计迫使模型学习一个通用的、可重复应用的状态转移算子（transition operator），而非一组针对特定任务的启发式规则。经典案例如Universal Transformer和ALBERT在NLP中已验证了这种范式的有效性。

LoopViT的核心设计就是用权重共享的Hybrid Block替代传统ViT的多层独立Transformer层，这是论文实现'用计算时间换模型容量'这一核心思想的技术基础。

ARC-AGI基准

Abstraction and Reasoning Corpus (ARC-AGI) 是由François Chollet提出的视觉推理基准，通过网格变换谜题测试AI的抽象推理能力。每个任务仅提供2-4个输入-输出示例对，要求模型推断变换规则并应用于新的测试输入。任务涵盖递归填充、物体重定位、重力模拟等组合变换。ARC-AGI-1主要测试感知泛化（如物体连贯性、模式补全），而ARC-AGI-2则要求更高级的算法推理（符号解释、组合推理、上下文规则应用）。人类平均准确率约60.2%，最佳人类达98%。

这是本文的核心评估基准。LoopViT的目标就是在ARC-AGI上超越前馈式方法，同时保持参数效率。理解ARC任务的多样性和难度梯度对理解动态退出机制的必要性至关重要。

预测熵与动态退出

预测熵是衡量模型输出概率分布不确定性的指标，定义为Shannon熵 H_t = -(1/N) * sum_i sum_c P_{t,i}(c) * log P_{t,i}(c)，其中N是像素数，C是颜色类别数。动态退出机制利用这一指标实现自适应推理深度：当预测熵低于阈值 tau=0.05 时，模型认为输出已'结晶'（crystallized），停止进一步计算。这种无需额外参数的硬停止策略比传统软停止（如PonderNet的辅助损失）更简洁有效。

动态退出是LoopViT的关键创新之一，它使模型能根据任务难度自适应分配计算资源——简单任务快速通过，复杂任务深度推理，直接提升了计算效率。

异构ConvGLU前馈网络

ConvGLU是LoopViT中设计的异构前馈网络，它将输入token分为任务token和图像token两部分，对图像token施加3x3深度可分离卷积以捕获局部空间模式，而任务token则直接通过线性层保持抽象规则信息。具体实现为：先通过线性投影得到门控表示X_gate和值表示X_val，对图像部分的门控施加卷积后重组，最终输出为 Linear_2(sigma(X_hat_gate) 乘 X_val)。这种双轨设计将MHSA的全局规则归纳与ConvGLU的局部空间变换解耦。

ARC任务同时需要局部模式匹配（如延续线条）和全局规则归纳（如检测对称性），ConvGLU的异构处理是论文实现这两种推理模式的关键技术组件。

研究动机

现有视觉推理方法在处理ARC-AGI基准时面临严重的效率瓶颈。一方面，语言模型方法（如Deepseek R1 671B参数）将2D网格序列化为1D文本，丢失了空间拓扑信息，在ARC-AGI-1上仅达15.8%准确率。另一方面，纯视觉方法如VARC虽然证明了ViT可以直接从像素解决ARC任务（18M参数达54.5%），但前馈架构存在根本性局限：计算深度严格绑定到参数规模，增加模型容量（深度或宽度）带来收益递减。VARC的73M参数集成模型仅提升至60.4%，参数增加4倍却只提升6个百分点。这说明前馈网络的固定计算图无法适应ARC任务中变化的推理深度——简单几何变换可能只需几步推理，而复杂算法谜题需要多步迭代精炼。

本文的目标是本文的目标是提出一种新的视觉推理范式，通过循环架构将推理深度从模型容量中解耦。具体而言，LoopViT旨在证明迭代计算（'时间'轴）比单纯增加参数（'空间'轴）是更有效的扩展维度。论文设定的具体目标包括：用远少于现有方法的参数量达到更高准确率（如用18M参数超越73M集成模型的60.4%）；设计无需额外参数的自适应停止机制以优化计算效率；在ARC-AGI-1和ARC-AGI-2两个基准上验证该方法的泛化能力。

与已有工作不同的是，本文的独特切入角度在于将循环Transformer的思想从NLP迁移到视觉抽象推理领域，建立了'计算时间'作为新的扩展维度。尽管Universal Transformer和ALBERT在NLP中验证了权重共享循环的有效性，但这些工作主要针对序列处理。LoopViT首次将循环推理应用于现代Vision Transformer，专门设计了适配视觉任务的组件：Hybrid Block融合局部卷积和全局注意力以匹配ARC任务的细胞自动机特性；动态退出机制利用预测熵实现无参数的自适应停止；Test-Time Training策略通过任务特定微调进一步提升泛化。这种'空间换时间'的范式转换为视觉推理开辟了一条全新的高效扩展路径。

核心方法

LoopViT的核心直觉是：视觉推理不应是一次性的前馈计算，而应是一个迭代的隐式深思过程。类比人类解决ARC谜题时的假设检验策略，模型应该能够反复精炼其内部状态直到解法'结晶'。技术路线上，LoopViT将标准ViT的L层独立Transformer替换为一个权重共享的Hybrid Block，该Block被重复执行T次。每次迭代中，模型的状态 z_t 通过递推公式 z_{t+1} = M_theta(z_t + e_t) 更新，其中 e_t 是步数相关的嵌入用于区分不同迭代。最终输出为 F^(t)(.) = head(z_t)。这种设计迫使模型学习一个统一的、可重复应用的'状态转移算子'，而非一系列脆弱的任务特定启发式规则。

LoopViT的核心创新在于三个相互配合的设计。第一，权重共享循环将计算深度与参数量解耦：增加迭代次数T不会增加参数量，使模型能用少量参数模拟深层网络的表达能力。第二，Hybrid Block将深度可分离卷积与自注意力机制融合，卷积作为细胞自动机更新规则处理局部空间模式，注意力机制广播全局规则信息，这种异构处理匹配了ARC任务同时需要局部和全局推理的特性。第三，动态退出机制通过监测预测熵H_t的下降实现自适应停止，当输出概率分布稳定（熵低于阈值tau=0.05）时停止计算，无需任何额外参数或辅助损失。与前馈VARC相比，LoopViT将计算图从静态的单次前向传播转变为动态的循环精炼过程。

方法步骤详情

LoopViT的完整流程包含以下步骤。首先，输入嵌入函数 emb(.) 将视觉网格x和任务上下文c映射为M个d维token序列z_0。然后，核心循环体M_theta由L个Hybrid Encoder层组成，每层包含：(1) 多头自注意力MHSA使用RoPE位置编码，对归一化输入 RMSNorm(Z) 计算注意力并加残差；(2) 异构ConvGLU将token分为任务token和图像token，对图像token施加3x3深度可分离卷积后通过门控机制融合，同样加残差。这个核心体被重复执行T次，每次输入为 z_t + e_t（e_t为步数嵌入，超过训练步数时采用恒等外推 e_t = e_{T_train}）。推理时，动态退出机制在每步计算预测分布的平均Shannon熵H_t，当H_t < tau时停止并冻结状态 z_k = z_t（对所有k > t），否则持续到硬上限T_max。训练阶段采用固定深度展开（如T=12），仅在最终输出施加逐像素交叉熵损失 L_offline = CrossEntropy(P_T, Y_gt)。评估时还进行Test-Time Training，在任务示例上通过旋转、翻转、颜色置换等增广进行微调以适应具体任务。

技术新颖性

LoopViT的技术新颖性体现在多个层面。首先，它是第一个将循环Transformer应用于视觉抽象推理的工作，建立了迭代计算作为视觉推理新范式的理论和实证基础。其次，Hybrid Block的异构设计是全新的：它不是简单地在Transformer中加入卷积，而是根据token的语义角色（任务token vs 图像token）采用不同的处理路径，这种'选择性空间归纳偏置'比全局卷积更精准。第三，动态退出的'结晶化'概念富有洞察力：它将停止条件与模型内部状态的稳定性（而非简单的步数或外部信号）关联，提供了无需额外参数的优雅解决方案。最后，论文系统性地建立了'空间-时间'联合缩放规律，揭示了低容量核心从循环增益最大、高容量核心持续从迭代获益的双regime特性，为未来架构设计提供了理论指导。

**Figure 3**: Comparison of input representations and inference paradigms for ARC

**Figure 4**: The overall pipeline of the proposed LoopViT

**Figure 5**: Iterative Prediction Refinement in Loop-ViT

**Figure 11**: Evolution of Attention Patterns Across Processing Steps

实验结果

论文的核心发现可归纳为三个支柱。第一，参数效率的显著提升：LoopViT (Large, 18M参数) 在ARC-AGI-1上达到65.8%准确率，超越73M参数VARC集成模型的60.4%，仅用其1/4参数量。更惊人的是，3.8M参数的Small版本达60.1%，同样超越18M VARC基线（54.5%）。在ARC-AGI-2上，Large版本达14.2%，也超越集成模型的11.1%。第二，空间-时间联合缩放规律：实验系统探索了核心深度B和循环步数T的组合效应。对于低容量核心（B=2），将T从1增至6带来巨大的性能飞跃；对于高容量核心（B=10），性能持续随T增长至63.9%。这证明计算时间可以有效补偿有限的参数空间。第三，动态退出的有效性：使用T在[4,8]范围的动态退出模型相比固定6步基线，以更低的平均推理计算量达到更高准确率。效率分析显示，早期退出（Step 5）的样本准确率83.33%，而需要深度推理（Step 8）的样本仅45.80%，验证了熵停止准则能有效识别任务难度并自适应分配资源。

**Table 1**: Performance comparison on ARC-AGI benchmark

**Figure 1**: Acc-Params comparisons with recurrent and vision methods

**Figure 6**: Joint scaling of core block depth (B) and loop steps (T) on ARC-AGI-1

**Figure 7**: Ablation of Inductive Bias: Hybrid vs. Vanilla Core

**Figure 8**: Accuracy-Compute-Params comparisons

**Figure 9**: Quantitative Diagnostics of Recurrent Convergence

**Figure 10**: Efficiency vs. Task Difficulty Analysis

查看结构化数据

任务	指标	本文	基线	提升
ARC-AGI-1 视觉推理	Pass@2 准确率 (%)	Loop-ViT Large: 65.8%, Medium: 63.8%, Small: 60.1%	VARC集成(73M): 60.4%, VARC基线(18M): 54.5%, GPT-5: 44.0%, Grok-4-thinking: 66.7%	Large版本用18M参数超越73M集成模型5.4个百分点，Small版本用3.8M参数超越18M基线5.6个百分点
ARC-AGI-2 泛化测试	Pass@2 准确率 (%)	Loop-ViT Large: 14.2%, Medium: 11.5%, Small: 10.0%	VARC集成(73M): 11.1%, VARC基线(18M): 8.3%, Grok-4-thinking: 16.0%	Large版本超越集成模型3.1个百分点，Medium版本也超过集成模型
与LLM对比	ARC-AGI-1 准确率 (%)	Loop-ViT Large: 65.8%	Deepseek R1(671B): 15.8%, Claude 3.7: 21.2%, o3-mini-high: 34.5%, GPT-5: 44.0%	用仅18M参数（LLM的万分之一）超越所有LLM，除Grok-4-thinking(1.7T)的66.7%
动态退出效率	平均推理FLOPs	动态退出模型以更低计算量达更高准确率	固定6步基线	建立更强的准确率-计算量Pareto前沿

局限与改进

论文存在若干局限性。首先，尽管LoopViT在ARC-AGI-1上表现优异，但在更具挑战性的ARC-AGI-2上准确率仅为14.2%，与Grok-4-thinking的16.0%仍有差距，说明该方法对更高级的算法推理（符号解释、组合推理）的处理能力有限。其次，论文采用Test-Time Training策略，在评估时需要对每个任务进行微调，这增加了实际部署的计算开销和复杂性，虽然论文未详细报告TTT的时间成本。第三，实验仅在ARC-AGI这一单一基准上验证，未在更广泛的视觉推理或多模态推理任务上测试泛化能力。第四，动态退出的阈值tau=0.05是经验设定的，缺乏理论分析证明该阈值的最优性。此外，论文的Small、Medium、Large三个模型变体之间的对比不够公平——它们不仅参数量不同，训练配置（T_max范围）也有差异，使得难以分离参数量和训练配置各自的影响。

独立分析的弱点

从独立分析角度看，LoopViT存在几个值得关注的弱点。第一，Hybrid Block的卷积仅应用于图像token，但ARC任务中的空间关系有时需要跨越任务token和图像token的交互，当前设计可能限制了这种跨模态的空间推理能力，改进方向是设计允许任务token参与卷积运算的混合注意力机制。第二，步数嵌入e_t的恒等外推（t > T_train时e_t = e_{T_train}）可能导致模型在超出训练预算时行为退化，更好的方案是学习连续的位置编码或采用相对步数表示。第三，训练时的固定深度展开与推理时的动态退出之间存在训练-推理不匹配，虽然论文声称这避免了过拟合早退出，但可能导致模型未能充分利用浅层推理的能力，可考虑引入课程学习逐步增加训练深度。第四，论文未消融Test-Time Training各组件（增广类型、微调步数、学习率）的贡献，难以评估TTT的实际效果和必要性。

未来方向

基于LoopViT的成果，可延伸出多个研究方向。第一，将循环推理范式扩展到更广泛的视觉任务，如视觉问答、场景图生成等需要多步推理的场景，验证'计算时间'作为扩展维度的普适性。第二，探索更精细的动态计算分配，例如对不同token或不同空间位置施加不同的迭代次数，实现token级别的自适应深度。第三，结合强化学习优化动态退出策略，使模型能学习何时停止而非依赖固定的熵阈值。第四，将LoopViT与程序合成方法结合，利用循环架构的迭代特性执行显式算法步骤。第五，研究循环架构的可解释性，利用注意力演化模式（如论文观察到的从全局扫描到局部执行的转变）理解模型的推理过程。作者也提到希望LoopViT能成为未来复杂推理任务研究的强基线。

复现评估

论文的复现性评估较为乐观。代码已在GitHub开源（https://github.com/WenjieShu/LoopViT），这大大降低了复现门槛。数据方面，ARC-AGI是公开基准，RE-ARC合成数据生成器也是开源的，数据获取无障碍。算力方面，论文的三个模型变体参数量分别为3.8M、11.2M和18M，属于轻量级模型，训练成本相对可控，远低于需要数百B参数的LLM方法。然而，Test-Time Training阶段需要对每个测试任务进行微调，这会增加评估的总计算量。复现难度中等：核心架构设计（Hybrid Block、ConvGLU）有详细描述，但一些超参数（如各变体的具体T_max范围、TTT的微调配置）可能需要从代码中获取。总体而言，该工作的复现条件良好，适合学术研究团队复现和扩展。

LoopViT：用循环Transformer扩展视觉抽象推理 LoopViT: Scaling Visual ARC with Looped Transformers