SPLATIFY：将3DGS论文转化为可训练gsplat代码的复现、发现与创新多智能体框架 SPLATIFY: Reproduce, Discover, Innovate! From Papers and Ideas to Trainable 3DGS Code
多智能体框架自动将3DGS论文复现为可训练代码，并组合技术与物理先验实现超越
前置知识
3D Gaussian Splatting (3DGS)
3DGS 把场景表示为数百万个各向异性 3D 高斯基元，每个高斯携带位置、协方差（尺度+旋转）、不透明度和球谐（SH）颜色系数，经可微分的基于瓦片的光栅化器做 alpha 合成渲染 $C=\sum_i T_i\alpha_i c_i$，其中透射率 $T_i=\prod_{j<i}(1-\alpha_j)$。训练靠自适应密度控制（ADC）周期性克隆/分裂/修剪高斯，通常 30k 迭代、分钟级即可收敛。
本文的 9 个扩展点（损失、致密化、渲染、优化等）全部定义在 3DGS 训练管线上，不理解高斯属性耦合与密度控制就无法理解模板设计与高斯级验证的意义。
gsplat 与 Nerfstudio
gsplat 是标准化、CUDA 加速的开源 3DGS 光栅化库，Nerfstudio 是模块化神经渲染框架，二者组合提供统一的训练循环、数据管理与插件机制。SPLATIFY 把“可复现”定义为：生成的代码编译为 gsplat 插件并通过 Nerfstudio 训练到收敛。
统一编译目标是全文的基石：正因所有论文都被翻译到同一生态，跨方法公平比较与组合才成为可能。
上下文无关文法约束生成（CFG）
文法 $G=(\Sigma,V,S,P)$ 中终结符 $\Sigma$ 是框架类，非终结符 $V$ 是抽象组件，起始符 $S=\langle\text{PLUGIN}\rangle$，产生式 $P$ 编码合法组合方式。把文法同时放进 agent 的系统提示与生成后验证契约，可保证产出代码“按构造”满足框架架构不变量，而非靠事后修补。
这是 SPLATIFY 区别于自由代码生成的核心机制，消融显示去掉 CFG 约束后可训练率从 100% 跌至 70%。
RAG 检索增强生成
从已验证实现库 $X$（20 篇人工验证的论文-代码对）中，按扩展点重合度与技术类型检索最相似的实现作为上下文示例注入提示；每成功复现一篇论文就自动回填进 $X$，使覆盖面滚雪球式增长。
Stage 1 的少样本选择直接决定生成质量，消融中去掉上下文示例后语义分数从 0.97 跌至 0.73。
Graph of Thoughts (GoT)
把 LLM 推理组织为可搜索的图结构（区别于 Chain-of-Thought 的线性链），节点可以分解、合并与精炼。SPLATIFY 用 GoT 按拓扑依赖序编排多文件仓库生成：DAG 构建、接口冻结、逐文件实现、冒烟测试。
3DGS 插件是多文件强依赖的仓库，一次性生成会破坏依赖顺序；消融中去掉 GoT 的一次性生成分数跌至 0.49。
仓库 fork 与 diff
约 70% 的 3DGS 论文把代码发布为 INRIA 官方仓库的 fork（分叉副本），各自只修改少量函数。对 fork 与父仓库做结构化 diff，并为每个改动函数打语义标签（如 loss/depth-distortion），即可精确抽取论文的真实代码级贡献；传递 fork 链还可通过链接多个 diff 恢复完整修改栈。
fork 感知恢复是本文关键创新：没有它，30% 的新颖组件会丢失（消融中正确率 C 从 1.00 降至 0.70）。
辐射传输与薄膜干涉
光学薄发射介质（星云）的强度是纯加性积分 $I(\nu)=\int_0^L j_\nu(s)\,ds$，没有吸收与遮挡，与 alpha 合成的遮挡语义直接冲突；肥皂泡薄膜的光程差 $\delta=2n_f d\cos\theta_t$ 经 Airy 函数决定随波长快速变化的反射率，SH 无法表达。这些是跨域发明从 3DGS 文献之外检索到的物理先验。
理解 NebulaGS 与 BubbleGS 各六项修改（不透明度上限、2D FFT 频谱损失、薄膜色度损失等）的物理动机必备。
研究动机
3DGS 自 2023 年提出后，三年内论文超过 1500 篇，追踪仓库显示每天约有 3 篇新的 arXiv 提交，知识产出远超社区吸收能力。工程侧障碍同样严重：超过 40% 的被追踪论文完全不发布代码；其余大多以 INRIA 官方仓库的 fork 形式发布，各 fork 在属性布局、密度控制、渲染约定与 CUDA kernel 上假设互不兼容，难以比较或复用，想在新方法上做研究通常需要数周手工重实现与调试。现有自动化手段全部失效：通用论文转代码系统 Paper2Code 与 AutoP2C 产出的代码无法在任何光栅化后端编译；GPT-5.2 等前沿模型生成的 Python 因缺乏高斯属性耦合与自适应密度控制等领域知识，要到训练阶段才暴露崩溃；PaperBench 测得最强 agent 在 ICML 论文复现上仅得 21 分（人类 41.4 分）。即使复现被完美解决，2000+ 篇论文的知识也无法被高效发现与组合——例如把 2DGS 的深度失真损失、3DGS-MCMC 的随机分裂与 AbsGS 的不透明度正则组合起来是否更好，没有任何高效途径可以验证。
本文的目标是本文要为 3DGS 领域建立“论文→代码→知识”的完整基础设施，按递进范围设定三层目标。其一是忠实复现：给定论文 $P$，合成可执行仓库 $C=(F,G)$（源文件集合加导入/数据流依赖 DAG），要求编译通过 gsplat、训练收敛、渲染质量与报告指标差距在 $\epsilon=0.5$ dB PSNR 内，且正确实现论文的每一个新组件。其二是组合改进：在得到忠实复现 $C_0$ 后，agent 在无人指导下自主诊断弱点、从已验证技术库 $K_{tech}$ 检索互补的正则/损失/致密化策略，并验证组合 $C^{+}=\textsc{Compose}(C_0, S\subseteq K_{tech})$ 仍是合法文法推导、在 held-out 视图上提升质量。其三是跨领域方法发明：对没有任何 3DGS 论文处理过的场景类型（行星状星云、肥皂泡薄膜等），从 3DGS 文献之外检索物理先验 $W_{phys}$，识别被违反的 splatting 假设并合成物理信息修改，以对 vanilla 3DGS 的提升、跨视图一致性与物理合理性衡量成功。
与已有工作不同的是，独特切入角度有三点。第一，直面 fork 主导的生态：约 70% 的 3DGS 论文以 INRIA fork 形式发码，文本级引用检索会完全丢失代码级依赖，本文改为对每个被引论文检查其仓库是否 fork 已知基座（3DGS、Mip-Splatting、2DGS、Scaffold-GS），用父仓库 diff 抽取函数级贡献并沿传递链链接。第二，把 gsplat 插件形式化为文法：通过分析 40+ 篇论文归纳出覆盖全部修改空间的 9 个扩展点，配以可运行的方法模板，使合成从自由生成退化为“受限填空”，并以高斯级结构检查与训练曲线监控做验证——这是任何现有论文转代码系统都不具备的。第三，超越复现：本文明确把知识发现与方法发明作为一等目标，用 FunSearch 式进化搜索组合已有技术、检索域外物理先验创造新方法；最接近的前作 NERFIFY 仅覆盖 NeRF，而 3DGS 方法会在碎片化 fork 之间紧耦合地修改组件，NERFIFY 无法处理这种生态且缺乏高斯级验证。
核心方法
直觉：让 LLM 自由书写整个仓库注定失败，因为大多数错误（死优化器条目、缺失的密度控制记账、损失接错模块）要到训练时才暴露。与其如此，不如把“实现一篇论文”变成“填空题”——先固定继承 gsplat 瓦片光栅化、自适应密度控制、SH 调度、相机优化与标准优化器的基础类 GSTemplateModel，agent 只需决定论文贡献映射到 9 个扩展点中的哪些，并往对应 hook 里填代码，骨架的架构合法性由文法按构造保证。技术路线是四阶段流水线：Stage 1 用 MinerU 把 PDF 解析为保留公式与引用关系的结构化 markdown，并从 20 个已验证实现中按扩展点重合度挑选上下文示例；Stage 2 做 fork 感知依赖解析，对基座仓库做结构化 diff、打语义标签、沿传递链恢复完整修改栈；Stage 3 用文法引导的 Graph-of-Thought 按拓扑序生成文件（DAG 构建、接口冻结、冒烟测试），多数仓库两轮内通过；Stage 4 冒烟训练 3k 迭代后由四分支 critique agent 提供视觉反馈闭环，直至匹配论文报告的 PSNR。
核心创新与已有方法的本质区别有三。其一，文法即契约：文法 $G=(\Sigma,V,S,P)$ 被双重使用——既作为每个 agent 系统提示中的结构规范，也作为 GoT 合成期间的验证契约，主 agent 每生成一个文件就检查仓库仍是 $G$ 的合法推导，从机制上杜绝“看似合理、训练崩溃”的代码；这与靠提示词约束或事后自我调试的 Self-Refine/Reflexion 类方法有本质区别。其二，fork 感知的函数级组件恢复：以 Trick-GS 为例，它从 7 篇论文借来 8 项技术，agent 对每个 fork 计算与父仓库的 diff、为改动函数打语义标签、链接传递边后把依赖图扩展到 12 篇论文——这种深度很常见（GaussianPro 跨 8 依赖，Scaffold-GS、PGSR 各跨 7），文本级引用检索无法覆盖。其三，训练曲线监控：NeRF 训练太慢无法监控完整轨迹，而 3DGS 几分钟即收敛，agent 因此能检测 15k 迭代致密化结束后的两种失败模式——后期崩溃（PSNR 骤降）与停滞平台（5k 窗口提升 <0.1 dB），并把故障定位到具体扩展点下发针对性补丁。
方法步骤详情
完整流程分四阶段。Stage 1（RAG 上下文）：MinerU 把 PDF 转为保留公式与引用的结构化 markdown；检索 agent 按扩展点重合度从已验证实现库 $X$（20 个种子）选最相似子集作少样本示例，成功复现的论文自动回填 $X$。Stage 2（fork 感知依赖解析）：迭代多跳检索构建依赖图，判断每个被引论文是否 fork 已知基座；是则计算结构化 diff、为改动函数打语义标签，传递 fork 链通过链接 diff 恢复完整修改栈，递归直到接口契约满足。Stage 3（文法引导生成）：主 agent 先把贡献分类到扩展点并预验证组合；再以 GoT 按拓扑序生成文件——DAG 构建、接口冻结、逐文件实现、冒烟测试，每生成一个文件即检查文法合法性。Stage 4（视觉反馈闭环）：冒烟训练 3k 迭代后，四分支 critique agent：度量支算局部窗口 PSNR/SSIM 误差图，几何支检测 floater 与鬼影，语义支用 VLM 产出诊断与候选补丁，曲线支检测后期崩溃与停滞平台；循环到无新反馈、预算耗尽或匹配论文 PSNR。
技术新颖性
新颖性可从四个层面评估。对通用系统（Paper2Code、AutoP2C）：领域文法+模块模板把合成从自由生成变成受限填空，消融显示去 CFG 可训练率 100%→70%、去 GoT 分数跌至 0.49，证明结构约束是决定因素。对引用谱系方法（AutoReproduce、RePro）：fork-diff 提供函数粒度的精确抽取，换简单文本引用恢复语义分降至 0.79、30% 组件丢失。对前作 NERFIFY：本文处理 fork 主导的 3DGS 生态，新增高斯级结构检查与分钟级训练才可行的 PSNR 曲线监控。对 FunSearch：8 岛进化搜索作用于结构化空间——互斥致密化 $D$、可加损失 $L$、抗锯齿 $A$、外观 $M$ 与调度 $T$；2k→7k→30k 多保真度级联逐级淘汰一半，按 $0.4\cdot\text{PSNR}+0.3\cdot(1-\text{LPIPS})+0.3\cdot\text{SSIM}$ 帕累托排序，随机采样需 8 倍 token 只得四分之一增益。跨域发明首次展示检索域外物理（辐射传输、湍流谱、Airy 干涉函数）合成文献中不存在的损失。
实验结果
实验分四个维度。（1）Set 1（10 篇无公开代码论文）：六个基线无一产出可训练代码；SPLATIFY 与专家实现平均差 ±0.5 dB PSNR、±0.02 SSIM 内，如 Opti3DGS 27.71 vs 专家 27.51 dB，10–30 分钟/篇。（2）Set 2：与原仓库同条件平均偏差 <0.3 dB。（3）新颖性覆盖：语义分数全部 >0.94，最强基线 GPT-5.2 仅 0.59–0.73；裁判与盲评专家一致性 $\kappa=0.87$、$\rho=0.92$。（4）组合发现：最高 +2.4 dB——DWTGS 18.68→21.09、Opti3DGS 27.71→28.05；随机采样 8 倍 token 仅得 1/4 增益。（5）跨域：NebulaGS 32.52 dB/0.914 SSIM vs 3DGS 31.19/0.862（+1.33 dB）；BubbleGS 27.81 dB/LPIPS 0.244 vs 26.97/0.264，FPS 99.1→69.1。（6）消融：去 CFG 可训练率 70%，去冒烟测试 50%，去 fork 恢复后 C→0.70。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 无公开代码论文复现（Set 1） | PSNR (dB) / SSIM | 与专家实现平均差 ±0.5 dB PSNR、±0.02 SSIM（如 Opti3DGS 27.71 dB） | 专家人工实现（Opti3DGS 27.51 dB）；Paper2Code/AutoP2C/GPT-5.2/Gemini 3.1 Pro/DeepSeek 3.2/NERFIFY 全部无法产出可训练代码 | 质量与专家持平，开发时间从每人 1–2 周缩短到 10–30 分钟（约 99% 时间节省） |
| 有公开代码论文复现（Set 2） | PSNR 偏差 (dB) | 与原仓库平均偏差 < 0.3 dB（3DGS Bicycle 26.162 vs 原 25.246） | 原作者官方仓库 | 质量持平，且统一为标准 gsplat 插件实现跨方法公平比较 |
| 新颖性覆盖（Set 3） | 加权语义分数 (0–1) | 全部论文 > 0.94，多篇达 1.00 | 最强基线 GPT-5.2 Thinking 仅 0.59–0.73 | 领先约 0.2–0.4，正确实现率 C 多为 1.00 |
| 组合发现（改进已有方法） | PSNR 提升 (dB) | 最高 +2.4 dB（DWTGS 18.68→21.09） | 仅复现的 Before 基线 | +2.4 dB；随机采样需 8 倍 token 仅得四分之一增益 |
| 行星状星云渲染（NebulaGS，跨域发明） | PSNR / SSIM | 32.52 dB / 0.914（逐视图标准差 2.62） | vanilla 3DGS：31.19 dB / 0.862（标准差 6.29） | +1.33 dB / +0.052 SSIM，FPS 26.6→27.0 不受影响 |
| 虹彩薄膜泡泡渲染（BubbleGS，跨域发明） | PSNR / LPIPS | 27.81 dB / 0.244（标准差 4.85） | vanilla 3DGS：26.97 dB / 0.264（标准差 8.23） | +0.84 dB / −0.020 LPIPS；代价是 FPS 99.1→69.1 |
局限与改进
作者承认的局限：架构虽不特定于高斯泼溅，但迁移到新领域（如机器人仿真栈）需要人工定义扩展点文法并策展种子已验证论文-代码对；跨域发明的两个场景（NebulaGS、BubbleGS）在代码级由人类验证过，并非零人工；BubbleGS 因第二次厚度光栅化 FPS 从 99.1 降至 69.1。我自己的观察：其一，流水线绑定 GPT-5.2（基座 LLM）与 Claude Opus 4.6（LLM 裁判）等闭源前沿模型，API 成本与模型版本更替带来的行为漂移都是复现风险；其二，Set 1 的专家参考实现由作者团队委托制作，主指标又是与这一参考的接近程度，存在一定自证循环风险（盲评一致性较高）；其三，组合改进有时以高斯数量为代价——Opti3DGS 的 #GS 从 1.40M 涨到 4.95M、DWTGS 从 1.64M 到 2.43M，内存代理指标实际恶化；其四，跨域发明的成功判据是合成数据上的 PSNR 提升，不等价于物理参数（如厚度场）恢复的正确性；其五，9 个扩展点无法表达需修改 CUDA kernel 或引入新光栅化原语的方法，文法覆盖面有天然边界。
独立分析的弱点
独立分析的弱点与改进方向。第一，评估闭环部分依赖 LLM 裁判与自建参考：虽报告了人类盲评一致性（$\kappa=0.87$），但参考实现出自同一团队，改进方向是邀请第三方实验室独立实现并盲测对比。第二，知识库冷启动依赖 20 篇人工验证论文与 MinerU 的解析质量，公式密集的长尾论文解析失败会连锁影响检索与生成，可引入解析置信度路由与社区贡献机制。第三，组合发现的帕累托目标以渲染质量为主，高斯数量膨胀缺乏硬约束（Opti3DGS #GS 涨约 3.5 倍），应提高 #GS 权重或加入显存预算。第四，训练曲线监控的阈值（15k 迭代致密化截止、0.1 dB/5k 窗口）是 vanilla 3DGS 特定启发式，对改变训练时长或调度的方法可能误报漏报，可让 agent 先从论文抽取预期调度再自适应设阈值。第五，PSNR/LPIPS/SSIM 对物理发明场景评估不充分——NebulaGS 可能学到“看起来像”的解而非辐射传输一致的解，应引入物理一致性指标或交叉验证。第六，进化搜索每轮并行训练 8 个变体并做三级保真度级联，对单卡研究者成本不小，可探索权重共享或多保真度代理模型降本。
未来方向
作者提出的方向：SPLATIFY 的架构元素并非高斯泼溅专属，推广到 3D 重建流水线或机器人仿真栈只需为该框架定义扩展点文法并策展种子验证集；全部代码、数据与生成实现将公开。基于本文成果可延伸的方向：其一，把知识库做成自动追踪每日约 3 篇新 arXiv 提交的活系统，增量更新依赖图并对已有实现做回归测试；其二，跨域发明可接入光谱渲染器或可微物理仿真，把“渲染质量提升”升级为“物理参数可恢复”的更强验证；其三，从文法约束生成走向语法引导解码的理论研究，分析 CFG 约束对 LLM 采样分布的偏置与覆盖性；其四，扩展到动态 4DGS、大规模城市场景与传感器仿真等更复杂的修改空间；其五，闭合“复现→发现→写作”回路，让系统自动生成组合实验的消融表格与对比报告，形成完整的自动化科研助理；其六，把函数级组件库与语义标签标准化为社区共享的“3DGS 技术基因库”，供下游神经架构搜索或编译器式优化调用。
复现评估
开源情况：作者承诺 SPLATIFY、SPLATIFY-BENCH（30 篇论文及委托制作的专家参考实现）、所有生成的实现与代码将公开，但截至论文版本尚未见仓库链接，需持续关注官方发布。数据方面：Set 1 的 10 篇无代码论文天然无数据污染，Set 2/3 论文均为公开文献，评测协议清晰（Mip-NeRF 360 九场景、每 8 帧留出、30k 迭代、NVIDIA A6000 48GB、多种子平均）。算力与成本：复现单篇论文需在 48GB 级 GPU 上训练 30k 迭代（10–30 分钟/篇），组合发现需每轮并行 8 个变体的多保真度级联；API 成本依赖 GPT-5.2 与 Claude Opus 4.6，补充材料有成本分析，但闭源模型版本更替是长期风险。工程门槛：需要复刻 9 扩展点方法模板、完整文法（补充材料提供）与 20 个种子已验证实现的人工策展，这部分一次性投入较大。综合评估：复现难度中高——流程组件描述详尽、基准设计合理，但对前沿闭源模型的依赖与种子知识库的策展成本意味着独立复现需要相当的工程与算力投入；若官方仓库如期发布，难度会显著降低。
论文图表
开篇总览图，展示三层能力：Level 1 从论文/文本/代码库经 fork diff 与组件抽取、GoT 代码生成和 critique agent 实现忠实复现（现有方法做不到）；Level 2 组合互补技术（如 AbsGS+TrickGS 正则，+2.4 dB PSNR）；Level 3 从 3DGS 文献之外检索辐射传输等物理先验，为无先例场景发明方法（NebulaGS）。图中还标注时间节省约 99%（数周→数分钟）。
一图总览论文的三大贡献层级与量化收益（+2.4 dB、99% 时间节省），是理解全文定位的最佳入口。