tttLRM：基于测试时训练的长上下文自回归3D重建 tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction
利用TTT层实现线性复杂度的长上下文自回归3D高斯重建
前置知识
3D Gaussian Splatting (3DGS)
3D高斯泼溅是一种显式3D场景表示方法，使用大量3D高斯基元来表示场景。每个高斯基元由位置、协方差（决定形状和方向）、颜色和不透明度参数化。渲染时通过将3D高斯投影到2D图像平面并进行alpha混合来生成图像。相比NeRF的隐式MLP表示，3DGS支持实时渲染（通常可达100+ FPS），且更容易编辑和控制，已成为当前最流行的神经辐射场表示方法。
本文的核心目标是生成高质量的3DGS表示，理解3DGS的参数化和渲染方式是理解本文输出格式的关键
Test-Time Training (TTT)
测试时训练是一种在推理阶段动态更新模型内部状态的方法。传统模型在训练完成后参数固定，而TTT模型维护一组'快速权重'（fast weights），这些权重在处理每个输入时会根据输入数据进行在线更新。这类似于RNN的隐藏状态，但更新方式更灵活——通过梯度下降优化均方误差损失来更新快速权重，从而将输入信息编码到固定大小的神经记忆中。TTT的核心优势是能够以线性复杂度处理任意长度的序列。
TTT是本文的核心技术基础，理解快速权重的更新和查询机制是理解tttLRM如何实现长上下文3D重建的关键
Large Chunk Test-Time Training (LaCT)
LaCT是对原始TTT的改进版本。原始TTT每次只用小批量（如16个token）更新快速权重，导致GPU利用率低且难以处理长序列。LaCT改为使用大块（chunk）更新——一次用多达100万个token来计算梯度并更新快速权重。具体来说，LaCT层包含：(1)窗口注意力模块捕获每个视图内的局部关系；(2)基于Muon优化器的快速权重更新；(3)用虚拟token查询快速权重进行解码。整个过程只有线性计算复杂度O(Nd²)，而标准注意力是O(N²d)。
LaCT是本文采用的具体架构模块，其线性复杂度特性使得处理64个甚至更多输入视图成为可能
Large Reconstruction Models (LRM)
大型重建模型是一类基于Transformer的前馈式3D重建模型，能够从输入图像直接预测3D表示（如NeRF的三平面特征或3DGS参数），无需针对每个场景进行优化。代表性工作如LRM使用大规模数据集训练，可从单张或多张图像在数秒内完成3D重建。然而现有LRM受限于二次复杂度的注意力机制，通常只能处理很少的输入视图（如4个），限制了对大场景的重建能力。
本文的tttLRM是对LRM范式的改进，解决了现有LRM无法处理长序列输入的核心问题
研究动机
现有3D重建方法在处理长上下文和流式输入时存在根本性瓶颈。传统NeRF方法需要针对每个场景进行数小时的优化，无法实现实时重建。基于学习的大型重建模型（LRM）虽然可以前馈推理，但受限于注意力机制的二次复杂度O(N²d)，通常只能处理很少的输入视图（如GS-LRM仅支持4个视图）。Long-LRM虽然将输入扩展到32个视图，但使用双向注意力层阻碍了进一步扩展，且无法处理流式输入。另一方面，基于Mamba的模型虽然尝试降低复杂度，但仍受限于很少的输入视图。在实际应用中，如机器人导航或AR/VR场景，需要从持续的视觉流中逐步构建和精化3D表示，现有方法都无法满足这一需求。
本文的目标是本文的目标是开发一个能够处理长上下文（64个甚至更多输入视图）、支持自回归流式重建、同时保持线性计算复杂度的大型3D重建模型。具体而言，模型需要：(1)高效压缩多视图观察到固定大小的神经记忆中；(2)将该记忆解码为高质量的显式3D表示（如3DGS）；(3)支持流式输入，随着新视图的到来逐步提升重建质量；(4)在重建质量上超越现有方法，同时保持接近实时的推理速度。
与已有工作不同的是，本文的独特切入点在于将测试时训练（TTT）引入3D重建领域。现有方法要么使用二次复杂度的注意力（无法扩展），要么使用线性复杂度的SSM/Mamba（表达能力不足）。TTT提供了一个全新的视角：将3D场景理解为一个在线学习问题——快速权重编码了场景的隐式3D表示，通过梯度下降不断更新。这种设计不仅实现了线性复杂度，还天然支持自回归和流式处理。此外，本文发现从预训练的新视角合成模型（TTT-LVSM）初始化可以显著提升显式3D重建的质量和收敛速度，这是之前工作未曾探索的知识迁移路径。
核心方法
tttLRM的核心思想可以用一个类比来理解：想象你在观察一个旋转的雕塑。传统方法需要你拍下所有照片后一次性处理，而tttLRM像人类视觉系统一样——每看到一个新角度，就在大脑中更新对这个雕塑的理解（更新快速权重），并能随时'想象'从任何角度看到的样子（解码为3DGS）。技术上，模型接收一组带位姿的输入图像，将其分块（patchify）并token化后输入LaCT块。LaCT块中的快速权重通过Muon优化器根据输入token迭代更新，形成场景的隐式3D表示。然后用一组'虚拟token'（如虚拟视图的token）查询更新后的快速权重，解码为像素对齐的3D高斯基元。整个架构包含24个LaCT块，隐藏维度768，窗口注意力64维/头，前馈层使用2层MLP（4倍扩展），patch大小8×8。
本文最本质的创新是将TTT的快速权重重新解释为隐式3D表示。在标准TTT中，快速权重只是编码了序列的KV缓存；而在tttLRM中，这些快速权重实际上编码了3D场景的几何和外观信息。这种'解释'带来了两个关键突破：(1)灵活性——同一套快速权重可以用不同的虚拟token查询，解码为不同的3D格式（3DGS、triplane NeRF等），只需替换解码模块；(2)自回归性——通过修改更新和查询机制引入因果依赖，模型可以像RNN一样逐步处理流式输入，每次接收新的视图批次就更新内部状态并预测对应的3D表示。与Long-LRM使用双向注意力不同，这种设计允许模型在任意时刻进行'测试时训练'，实现渐进式重建和精化。
方法步骤详情
方法流程如下：(1)输入预处理：给定N张带位姿的图像{I_i}，将每张图像与其射线嵌入（9通道的位置编码）通道拼接，分块为8×8的patch，通过线性层token化为序列T；(2)LaCT块处理：每个LaCT块包含窗口注意力（捕获每个视图内的局部关系）和快速权重更新。具体地，输入token先经过窗口注意力T_i = T_i + WinAttn(T_i)，然后用Muon优化器更新快速权重W = Update({T_i})，最后用更新后的权重处理token T_i = Apply(W, T_i)。这个过程重复24次；(3)虚拟token查询：对于3DGS重建，虚拟token是M个虚拟视图的patch化token。这些token只用于查询（不更新权重）：T_vi = Apply(W, T_vi)；(4)解码：查询后的虚拟token通过线性解码器转换为每个patch的3D高斯参数（RGB、尺度、旋转、不透明度），深度通过范围函数转换为3D位置；(5)训练：使用渲染损失（MSE+VGG感知损失）监督，场景级数据还使用深度正则化和不透明度正则化。
技术新颖性
与已有技术相比，tttLRM的新颖性体现在多个层面。首先，在架构层面，这是首个将TTT/LaCT用于3D重建的工作，实现了线性复杂度的长上下文建模，而Long-LRM依赖二次复杂度的注意力。其次，在表示层面，将快速权重解释为隐式3D表示是一个全新的视角——之前TTT模型的快速权重仅被视为序列记忆，本文发现它可以自然地解码为多种显式3D格式。第三，在训练策略上，利用预训练的新视角合成模型（TTT-LVSM）作为初始化来提升显式3D重建，这是跨任务的知识迁移，实验表明这可以显著加速收敛并提升最终质量。第四，在系统层面，引入序列并行性进行分布式训练，利用LaCT快速权重更新的线性特性实现跨设备梯度同步，这是标准注意力模型难以实现的。
实验结果
实验结果全面验证了tttLRM的有效性。在物体级GSO数据集上，256×256分辨率8视图输入时，tttLRM的PSNR达到33.14，比GS-LRM的31.55高出1.59dB，且推理时间同为0.1秒。在512×512分辨率下，优势更加明显：8视图时PSNR为34.02 vs 32.83（+1.19dB），16视图时为34.67 vs 33.55（+1.12dB），24视图时为34.80 vs 33.26（+1.54dB）。值得注意的是，tttLRM在16视图和24视图设置下只使用10个虚拟视图查询，推理速度分别只需0.8秒和1.1秒，而GS-LRM需要2.5秒和5.5秒。在场景级DL3DV-140数据集上，32视图输入时PSNR达到25.07（含3步后优化），显著超越Long-LRM的24.10和优化方法3DGS的23.60。在Tanks&Temples数据集上也展示了强泛化能力。自回归模型在32视图DL3DV上PSNR为24.31，64视图时为24.81，仍超越Long-LRM且与优化方法竞争力相当。模型还展示了从单张图像通过结合多视图扩散模型进行1024×1024高分辨率3D重建的能力，能重建头发、毛发、文字等精细细节。消融实验证明，使用TTT-LVSM预训练初始化比从头训练收敛更快且最终质量更高，GS重建PSNR从32.77提升到33.14，triplane重建从26.40提升到27.87。使用Muon优化器和深度/不透明度正则化也带来了稳定的性能提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 物体级3DGS重建（GSO数据集，256×256，8视图） | PSNR | 33.14 | GS-LRM 31.55 | +1.59 dB |
| 物体级3DGS重建（GSO数据集，512×512，8视图） | PSNR | 34.02 | GS-LRM 32.83 | +1.19 dB |
| 物体级3DGS重建（GSO数据集，512×512，24视图） | PSNR | 34.80 | GS-LRM 33.26 | +1.54 dB |
| 场景级重建（DL3DV-140，32视图） | PSNR | 25.07 | Long-LRM 24.10 | +0.97 dB |
| 场景级重建（DL3DV-140，64视图） | PSNR | 25.95 | Long-LRM 24.63 | +1.32 dB |
| 场景级重建（Tanks&Temples，32视图） | PSNR | 19.22 | Long-LRM 18.38 | +0.84 dB |
局限与改进
论文承认了几个关键局限性。首先，快速权重的记忆容量是固定的，在自回归设置下尤其受限——随着处理更多token，早期输入可能被逐渐遗忘。实验表明高复杂度场景（室外vs室内：PSNR 24.45 vs 24.96）和高频场景（PSNR 24.20 vs 25.97）的性能下降更明显。其次，与预训练的TTT-LVSM隐式模型相比，tttLRM的质量略有下降，作者将此归因于隐式和显式表示之间的固有权衡——显式表示虽然渲染速度快且可控制，但可能损失一些渲染保真度。第三，虽然推理速度快于优化方法（3DGS需要13-16分钟，tttLRM只需数秒），但与纯前馈的GS-LRM相比，在低分辨率短序列下速度相当，高分辨率下反而更慢（因为需要解码更多虚拟视图）。此外，论文未提供与Mamba类方法的直接对比，也未详细讨论在极度稀疏输入（如1-2个视图）下的表现。
独立分析的弱点
从独立分析的角度，tttLRM存在几个值得关注的弱点。第一，虚拟视图数量的选择（如10个）似乎缺乏系统的消融研究——为什么是10个而不是更多或更少？这直接影响重建质量和推理速度的权衡。建议未来工作探索自适应虚拟视图采样策略。第二，模型在场景级数据上的训练采用课程学习策略（从低分辨率到高分辨率），这增加了训练复杂度和超参数调优难度。可以探索更简单的端到端训练方法。第三，序列并行性虽然实现了分布式训练，但通信开销可能成为瓶颈，特别是在GPU数量较多时。论文未提供详细的通信开销分析。第四，深度监督使用单目深度估计器的伪标签，这可能引入噪声——虽然作者提到MVS方法（如VGGT）提供多视图一致的深度但细节不足，但可以探索两者结合的方案。第五，自回归模型的'选择性更新'机制（使用Fisher信息和EMA锚点）虽然能缓解权重漂移，但目前是训练无关的策略，效果有限（PSNR从24.81提升到24.95），建议将其纳入训练过程以获得更大收益。
未来方向
作者提出了几个明确的未来方向：设计更好的记忆机制以处理更复杂的场景，进一步提升质量，并加速推理以实现实时流式重建。基于本文的成果，还可以延伸出更多研究方向：(1)多模态融合——将文本、音频等模态信息也编码到快速权重中，实现语义引导的3D重建；(2)动态场景建模——当前方法假设静态场景，可以探索用快速权重编码时变信息来处理动态场景；(3)与生成模型结合——利用扩散模型等生成先验来增强稀疏输入下的重建质量，类似于本文已展示的单图3D重建；(4)自适应计算——根据场景复杂度动态调整LaCT块的数量或虚拟视图数量，在简单场景下节省计算；(5)领域迁移——探索在自动驾驶、机器人操作等特定领域的应用，可能需要针对性的数据集和微调策略。
复现评估
从复现角度来看，tttLRM的复现具有中等难度。有利因素包括：(1)论文使用了公开数据集（Objaverse、DL3DV-10K、GSO、Tanks&Temples），无需私有数据；(2)架构设计相对清晰，基于标准的LaCT块和3DGS解码器；(3)可以利用预训练的TTT-LVSM权重作为初始化，降低训练成本。不利因素包括：(1)算力需求较大——物体级训练在64张A100 80GB GPU上进行，场景级训练需要跨16张GPU的分布式训练，这对大多数研究机构来说是不小的门槛；(2)训练细节较多（课程学习、多阶段微调、高斯剪枝比例等），完整复现需要仔细调参；(3)论文提到使用gsplat库、torch.compile、梯度检查点、混合精度训练、延迟反向传播等多项工程优化，这些对性能和内存至关重要但增加了复现复杂度。好消息是论文主页提供了视频结果，代码可能后续开源。建议有兴趣的研究者先从物体级256×256分辨率的实验开始复现，验证核心思路后再扩展到更高分辨率和场景级任务。
论文图表
展示了3DGS重建模型在有无TTT-LVSM预训练初始化下的PSNR随训练步数变化曲线。预训练模型在早期训练阶段就快速达到高PSNR，而从头训练的模型收敛明显更慢。两条曲线的差距在训练全程都存在。
直观展示了预训练初始化带来的收敛速度优势，支持了论文关于跨任务知识迁移的核心论点