Chat-Edit-3D++：基于大语言模型的交互式 3D 与 4D 场景编辑 Chat-Edit-3D++: Interactive 3D and 4D Scene Editing via Large Language Models
将 3D/4D 场景映射为 2D 图集以解耦编辑与重建，LLM 调度 30+ 视觉工具实现对话式编辑
前置知识
NeRF 与 3D Gaussian Splatting
NeRF（神经辐射场）用 MLP 把 5D 坐标（位置 + 视角方向）映射为密度和颜色，通过体渲染从任意视角合成图像，训练需逐场景拟合；3D Gaussian Splatting（3DGS）则用一组带位置、协方差和球谐颜色系数的 3D 高斯基元，通过可微光栅化直接投影渲染，训练更快且支持实时渲染。4D 版本在此基础上加入时间维度建模动态场景。两者是当前 3D/4D 场景重建的主流表示。
本文编辑的最终对象就是用 TensoRF、3DGS 或 4DGS 构建的场景：Hash-Atlas 把多视角图像映射成 2D 图集供编辑，编辑后还要映射回视角图像再交给这些模型做最终重建，理解它们的定位才能看清 CE3D++ 在整条流水线中的位置。
分层神经图集（Layered Neural Atlas, LNA）
Kasten 等人 2021 年提出的视频表示：用 MLP 把每帧的每个像素坐标映射到前景、背景两张 2D 平面图集上的 UV 坐标，并预测前景混合权重，从而把整段视频折叠成两张可编辑的平面图；在图集上编辑一次，再映射回所有帧即可得到全帧一致的视频编辑结果。它假设输入是连续帧且相机运动平滑。
本文的 Hash-Atlas 就是 LNA 思想在 3D/4D 场景上的推广——把稀疏、视角不连续的多视角图像（而非连续视频）映射到图集，这是全文「编辑-重建解耦」范式的根基，也是与 LNA 做定量对比（Table 1）的原因。
多分辨率哈希编码（Instant-NGP）
Müller 等人 2022 年提出的可训练编码结构：维护多级不同分辨率的哈希特征表，查询时按坐标三线性插值并拼接各级特征，再送入轻量 MLP 输出密度/颜色。哈希表以空间换精度，能捕捉高频纹理细节，把 NeRF 级别的场景拟合从数小时压到数秒至数分钟。
Hash-Atlas 中的 $F_h$ 正是用了这种哈希结构来存图集纹理特征，这是它比纯 MLP 的 LNA 训练快 14.2~18.6 倍、推理快 7.6~9.0 倍的直接原因，理解哈希编码才能看懂其效率来源。
LLM Agent 与 ReAct 式工具调用
把 LLM 当作推理中枢：通过前缀 prompt 注入每个工具的名称、用途、参数格式和示例，LLM 按「Thought（是否需要工具/用哪个）→ Action（工具名）→ Action Input（参数）→ Observation（执行结果）」的循环决策，直到判断无需工具再回答用户。Visual ChatGPT 和 MM-REACT 用该范式调度检测、分割、VQA 等 2D 模型。
CE3D++ 的对话系统就是这套机制的 3D/4D 版本：LLM 需要在 30 多个视觉工具中做准确的多步调度，并管理 .scn 场景文件，文中轨迹微调、SSN 机制等设计全部围绕提升这个 agent 循环的可靠性展开。
CLIP 评估指标（CLIP-S 与 CLIP Directional Score）
CLIP 图文编码器可把图像和文本映射到同一语义空间。CLIP Similarity（CLIP-S）直接计算编辑结果与目标编辑文本的余弦相似度，衡量「改得像不像指令说的」；CLIP Directional Score（CDS，由 IN2N 提出）计算编辑前后图像特征向量的变化方向与文本描述变化方向的夹角，衡量「变化是否朝着指令方向发生」，对风格与语义类编辑更敏感。
Table 2 中本文与 EditSplat、RoMaP、DN2N、CTRL-D 等基线的编辑质量对比全部使用这两个指标，读懂其含义才能正确解读「CE3D++ 的 CLIP-S 高出基线约 0.05~0.16」这类结论，也才能理解其评估局限。
点跟踪（CoTracker3）
点跟踪任务要求给定视频中若干查询点，预测它们在其余帧中的 2D 位置及可见性。CoTracker3（2024）通过伪标签训练的 Transformer 跟踪器，能在遮挡、快速运动下输出较稳定的轨迹，是当前开源点跟踪的代表性模型。
4D 动态场景的 Pivot Motion Loss 依赖 CoTracker3：它在 Pivot 帧上采 $N$ 个物体关键点并跟踪其在邻域帧的位置，为「同一 3D 点必须映射到图集同一坐标」提供监督信号；其跟踪质量直接决定 4D 图集质量（Table 5）。
研究动机
现有文本驱动 3D 场景编辑方法存在两大结构性缺陷。其一是管线强耦合：Fig. 2 总结了三类典型框架——(a) 迭代法（如 IN2N、Gaussian-Editor）要把 2D 视觉模型产生的编辑信号反复嵌入 3D 场景的优化循环；(b) 监督法用 2D 模型直接监督 3D 重建过程；(c) 去噪法（如 DN2N）需要先对 2D 编辑模型造成的跨视角不一致建模。这些耦合设计都要求精心挑选彼此适配的 2D 模型和 3D 表示，组件难以替换升级，每接入一个新视觉模型就要重新设计整条管线，导致实际系统只能绑定单一或少数几个 2D 编辑模型，编辑能力极其有限。其二是输入模式僵化：这些方法通常只接受固定格式的单条指令，无法应对开放式对话中千变万化的表达（同一个意图有无数种说法），更不支持多轮交互式地逐步调整场景。结果就是这些方案虽然演示效果不错，但离「可交互的 3D 设计工具」还有明显距离。
本文的目标是本文要构建一个真正的对话式 3D/4D 场景编辑系统 CE3D++：用户可以用任意自由文本进行多轮对话表达编辑意图（移除/替换物体、文本或参考图驱动的风格迁移、边缘/深度/法线提取、超分、去模糊、散景、低光增强、艺术字、VQA 问答等），系统能理解意图并自动调度 30 多种现成的 2D 视觉模型完成编辑，且工具库可随时增删。技术上需解决三个子问题：(1) 找到一种中间表示，让任意 2D 视觉模型的能力无缝施加到 3D/4D 场景上而不需要为每个模型重设计管线；(2) 让 LLM 可靠地以纯文本方式管理场景文件并准确调度大量工具，尤其是小参数量 LLM（8B/14B）；(3) 把此前只支持静态 3D 的编辑框架（会议版 CE3D）扩展到单目 4D 动态场景，克服动态物体在图集映射中的形变与信息丢失。
与已有工作不同的是，本文的独特切入是「工作流解耦」：不再把 2D 模型塞进 3D 重建循环，而是先用 Hash-Atlas 网络把场景所有视角一次性折叠到前景/背景两张 2D 图集上，使 3D/4D 编辑在数学上完全等价于普通 2D 图像编辑，编辑完再映射回视角，从此 2D 模型与 3D 重建互不感知、即插即用。这个思路借自视频领域的 LNA，但 LNA 依赖连续帧和平滑相机运动，无法直接处理 3D 场景稀疏、不连续的视角采样——本文用多分辨率哈希编码、位置/透明度预训练损失和 ProPainter 补绘损失三项改造让它适配 3D/4D。第二个独特角度是把「文件管理」问题语言化：用无意义且唯一的 xxx.scn 字符串代表场景（SSN 机制），从源头杜绝 LLM 幻觉文件名。第三个是数据角度：作者发现 1000 条编辑任务轨迹样本的微调就能让小 LLM 内化工具调度策略，填补了该领域轨迹数据集的空白。
核心方法
直觉上，如果能像摊开一张地图那样把 3D 场景摊平成 2D 图像，那么所有现成 2D 编辑工具就都能直接使用。技术路线分两层。底层是 Hash-Atlas 表示网络（Fig. 4）：把每个视角 $t$ 中的像素坐标 $P=[x,y,t]$ 经映射网络 $F_m$ 变换到前景、背景两张 UV 图集的坐标 $[u_1,v_1,u_2,v_2]$ 及前景混合权重 $\alpha\in[0,1]$，再用共享的哈希特征网络 $F_h$ 预测图集 RGB；编辑图集后通过 $C_p = \alpha\cdot C_{fp} + (1-\alpha)\cdot C_{bp}$ 即可无需重训地还原所有视角。上层是以 LLM 为中枢的对话系统（Fig. 3）：前端接收用户文本，LLM 按思想链判断「是否需要工具→用哪个工具→参数是什么」，从 Model Zoo 调用 30+ 视觉工具；Backend 负责把 xxx.scn 场景名解析为真实文件（若图集不存在则先训练 Hash-Atlas 生成）；Executor 执行图集的合并-分离编辑逻辑并把观察结果反馈给 LLM 循环决策。针对 4D 动态场景，Hash-Atlas 增加基于 Pivot 帧选择的运动损失 $L_{motion}$；针对小参数量 LLM，构建 1000 条样本的轨迹微调数据集做全参微调。
核心创新一是编辑-重建解耦（Fig. 2(d)）：与 IN2N 等把 2D 扩散模型嵌入 3D 优化循环的耦合式方法有本质区别——3D 重建只发生一次（训练 Hash-Atlas），之后 2D 编辑完全发生在图集空间。这带来三个性质：任意 2D 模型即插即用、无需适配设计；同一图集可反复叠加多轮编辑而无需重训 3D；每次编辑的中间文件可回滚重试而不污染场景。核心创新二是 merge-split 编辑策略：作者观察到直接独立编辑两张图集效果差，因为稀疏前景图集信息不完整，2D 模型难以理解语义；于是用 LLM+VQA 定位编辑区域——只涉及背景就直接编辑背景图集，涉及前景则先把前景按 $\alpha$ 叠加到背景上形成完整图像交给 2D 模型，再用原前景 mask 与编辑后新物体 mask 分离回两张图集。核心创新三是面向 4D 的 Pivot Motion Loss：选取物体可见像素数最多的帧作为 Pivot-View，在其上均匀采样 $N$ 个关键点，用 CoTracker3 跟踪这些点在邻域帧的位置，约束同一物理点在所有帧中映射到图集同一坐标，消除动态物体的图集畸变。
方法步骤详情
第一步，场景图集化（Hash-Atlas 训练）：输入多视角图像（3D）或单目视频帧（4D）与 COLMAP 位姿。$F_m$ 为 8 层宽 256 的 ReLU MLP，输出 $[u_1,v_1,u_2,v_2,\alpha]$；$F_h$ 用 16 级多分辨率哈希表（基础分辨率 16、每级尺度 1.5、表大小 $2^{15}$、特征维 2）接两层宽 64 的 MLP 预测图集 RGB，前景 UV 编排在 $[0,0.5]$ 区间、背景在 $[0.5,1]$ 区间以共享权重。图集分辨率 1000×1000，训练 10 万步、batch 为 10000 个像素点，$F_m$/$F_h$ 学习率分别为 1e-3/1e-2。训练分预训练和完整训练两阶段：$L_{pos}$（式 4，仅前 1000 步）鼓励 0 号视角的映射近似恒等以防物体倾斜畸变；$L_{\alpha}$（式 5，仅前 3 万步）用 VQA+分割模型提供的前景 mask 做交叉熵并施加稀疏正则，使前景/背景内容干净分离；$L_{rec}$（式 6）同时在原始视图和 ProPainter 补绘视图上监督重建，解决纯重建训练导致背景图集遮挡区信息缺失的问题；再加 $L_{rigid}$、$L_{flow}$ 刚性与跨视角对应约束；4D 场景额外启用 $L_{motion}$（式 8）。第二步，对话式编辑（Fig. 3/5）：用户文本进入后，LLM 按 Thought/Action/Action Input/Observation 格式推理，从工具库（VQA、图像生成、Caption、超分、InstructPix2Pix 文本风格化、BLIP2 图像驱动风格化、SAM 分割、低光增强、重着色、去反射、艺术字、散景、饱和度、吉卜力风格、ControlNet 的线稿/边缘/HED/深度/法线/素描/姿态提取及反向生成等 30+ 工具）中选择工具并给出参数；Backend 将场景名字符串解析为真实 .scn 文件，必要时先训练 Hash-Atlas 生成图集；Executor 执行 merge-split，编辑结果作为 Observation 返回 LLM 决定下一步，循环直至回答用户。第三步，轨迹微调：构建 1000 条覆盖工具属性、调度理由和多步决策的对话样本，按 9:1 划分训练/测试集，在 32 张 A800 80GB 上以 lr 2e-5 全参微调 LLaMA-8B 和 Qwen-14B 各 4 个 epoch。
技术新颖性
第一，这是首个把 Layered Neural Atlas 从连续视频推广到稀疏视角 3D 场景和单目 4D 场景的工作，且配套了三项针对性改造：哈希编码加速（训练快 14.2~18.6 倍）、预训练损失稳定几何（$L_{init}=L_{pos}+L_{\alpha}$）、ProPainter 补绘监督修复遮挡区（$L_{prorec}$），相比 LNA 的 PSNR 提升 1.1~5.1 dB——直接套用 LNA 在 3D 稀疏视角下会严重畸变。第二，merge-split 策略针对图集编辑的固有问题（单张图集信息不完整、2D 模型语义理解失败）给出了简单有效的方案，消融显示去掉 Executor 后 LLFF 上 CLIP-S 从 0.304 掉到 0.190。第三，SSN 机制用无意义且唯一的文件名表示非语言资产，从语言层面杜绝 LLM 幻觉，是可迁移到其他 agent 系统的通用技巧。第四，轨迹微调实验证明小模型内化调度策略优于 few-shot 提示（成功率 89% 对 76%），并揭示了原因：工具描述挤占上下文窗口导致注意力稀释。相较会议版 CE3D（ECCV 2024），本版新增 4D 支持、工具从 20 个扩到 30+、轨迹微调数据集以及跨 LLM 的可靠性系统分析。
实验结果
实验覆盖图集重建、编辑质量效率、LLM 可靠性、消融与鲁棒性五块。(1) 图集重建（Table 1，与 LNA 在 LLFF、TanksAndTemples、IBRNet-collect、CE3D-collect 及 4D 的 Dycheck、DynamicNeRF 六个数据集对比）：PSNR 平均提升 1.1~5.1 dB——如 LLFF 24.66 对 23.04，CE3D-collect 27.24 对 23.96，4D Dycheck 27.73 对 22.67（+5.06 dB）；LPIPS 全面占优（最低 0.11 对 0.31）；训练时间从约 10~15 小时压缩到 0.56~1.03 小时（加速 14.2~18.6 倍），推理从约 0.25~0.79 FPS 提升到 2.11~6.17 FPS（7.6~9.0 倍）。Fig. 6 定性显示 Hash-Atlas 保留更多细节且前景/背景相对位置几乎不畸变。(2) 编辑质量与效率（Table 2）：3D 上 CE3D++ 的 CLIP-S 达 0.304/0.352/0.321（LLFF/CE3D-collect/NeRF-Art），显著超过 EditSplat（0.188~0.212）、RoMaP（0.224~0.240）、DN2N（0.193~0.233）；CDS 同样领先（CE3D-collect 0.248 对次优 RoMaP 0.181）；编辑耗时 5.6~8.8 分钟，约为基线的 1/2 到 1/5，VRAM 峰值 11.9~12.7 GB 属中等。4D 上 CLIP-S 0.313/0.320（DyCheck/DynamicNeRF）超过 CTRL-D（0.186/0.194）、Instruct-4DGS（0.223/0.251）、Dynamic-eDiTor（0.236/0.267），耗时 8.2~15.9 分钟（CTRL-D 需 35.4~66.8 分钟）。(3) LLM 可靠性（Fig. 12/13、Table 4）：在 100 条复杂指令上，主流商用 LLM（GPT-4o、Claude、Gemini 等）基本胜任，小模型 LLaMA-8B/Qwen-14B 明显落后；轨迹微调后 Qwen-14B 成功率从 69% 提到 89%（few-shot 仅 76%），Hard 级（>5 轮）失败率从 21% 降到 10%，条件编辑类从 17% 降到 7%，且对训练集中未见的 8 个新工具仍保持调度精度。(4) 消融（Table 3、Fig. 14）：去掉 $L_{init}$ 使 LLFF CLIP-S 从 0.304 降至 0.242，去掉 Executor 降至 0.190，去掉 SSN 系统完全无法完成编辑；4D 上去掉 $L_{motion}$ 从 0.320 降至 0.295，Fig. 7 显示其将放大物体的 PSNR 从 28.22 提到 28.61。(5) 鲁棒性（Table 5）：图集分辨率 1000×1000 是质量-成本权衡点（250×250 时 25.17 dB，1000×1000 达 28.21 dB，1500×1500 仅再涨 0.14）；视频越长质量越降（10 帧 33.64 dB → 120 帧 27.46 dB）；Pivot 帧选择（28.21 dB）优于首/中/末帧（28.02/27.93/27.86）；运动物体从 1 个增到 3 个时 PSNR 从 28.85 降到 26.46；跟踪质量差时掉到 25.32 dB。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 3D/4D 场景到 2D 图集的映射质量（vs LNA，六个数据集） | PSNR (dB) | Hash-Atlas：3D 24.66~28.53 / 4D 27.73~28.26 | LNA：3D 19.24~25.56 / 4D 22.67~24.32 | +1.1 ~ +5.1 dB |
| 图集训练效率 | 训练时间 (小时) | 0.56 ~ 1.03 h | LNA：9.75 ~ 14.69 h | 加速 14.2 ~ 18.6 倍 |
| 图集渲染速度 | 推理 FPS | 2.11 ~ 6.17 FPS | LNA：0.25 ~ 0.79 FPS | 提升 7.6 ~ 9.0 倍 |
| 3D 场景编辑质量（LLFF/CE3D-collect/NeRF-Art） | CLIP Similarity | 0.304 / 0.352 / 0.321 | 最佳基线 RoMaP：0.224 / 0.240 / 0.229（EditSplat 0.188~0.212，DN2N 0.193~0.233） | +0.080 / +0.112 / +0.092 |
| 3D 场景编辑一致性 | CLIP Directional Score | 0.192 / 0.248 / 0.211 | 最佳基线 RoMaP：0.145 / 0.181 / 0.159 | +0.047 / +0.067 / +0.052 |
| 4D 场景编辑质量（DyCheck/DynamicNeRF） | CLIP Similarity | 0.313 / 0.320 | 最佳基线 Dynamic-eDiTor：0.236 / 0.267（CTRL-D 0.186/0.194，Instruct-4DGS 0.223/0.251） | +0.077 / +0.053 |
| 3D 编辑耗时（LLFF/CE3D-collect/NeRF-Art） | 分钟 | 5.6 / 8.8 / 8.4 | EditSplat 16.4~18.7，RoMaP 21.5~24.9，DN2N 26.5~36.3 | 提速约 2~4 倍 |
| 4D 编辑耗时（DyCheck/DynamicNeRF） | 分钟 | 15.9 / 8.2 | CTRL-D 66.8 / 35.4；Instruct-4DGS 43.5 / 22.6；Dynamic-eDiTor 51.2 / 25.8 | 提速约 2.9~4.3 倍 |
| LLM 工具调度成功率（Qwen-14B，100 条复杂指令） | Success Rate | 轨迹微调后 89% | 原始 69%，few-shot 提示 76% | +20 个百分点（对 few-shot +13） |
| LLM 复杂多步调用失败率（Hard 级 >5 轮） | 失败率 | 轨迹微调后 10% | 原始 21%，few-shot 18% | 降低 11 个百分点 |
局限与改进
作者承认的局限：系统依赖 LLM 正确解析文本查询，且针对不同视觉模型需要手动调 prompt；编辑效果受所调用外部视觉工具性能制约；方法主要面向前向视角和物体中心场景，当多个动态物体进出画面时 Pivot-View 选择策略会变得模糊，可能导致图集表示不稳定；360° 全景场景的图集会产生严重畸变，且现有 2D 视觉模型的训练数据中缺乏图集这种模态，容易给出不合理的编辑结果（Fig. 15(a)）；管线鲁棒性依赖点跟踪，快速非刚性形变或严重遮挡时 CoTracker3 可能轨迹失效，导致图集伪影（Fig. 15(b)）。我自己的观察：其一，系统本身不提供任何 3D 一致性先验，编辑质量上限完全由被调用的 2D 模型决定，跨视角一致性只是图集映射的副产品，若 2D 模型在合并图上的编辑破坏了物体边界，merge-split 的 mask 分离就会失效；其二，CLIP-S/CDS 对风格语义敏感、对几何编辑保真不敏感，全文没有用户研究，主观质量缺乏佐证；其三，VQA 定位编辑区域是单点故障，判断错误会沿决策链级联放大；其四，每个新场景都要训练一次 Hash-Atlas（约 0.6~1 小时），缺少前馈式即时编辑能力；其五，轨迹数据仅 1000 条，工具库继续扩张时的可扩展性有待验证。
独立分析的弱点
弱点一：360° 场景支持差——单张平面图集本质上无法无损展开全景场景，Fig. 15(a) 的失败并非调参问题而是表示固有缺陷。改进方向：改用多张局部图集加视角相关混合权重，或采用等距柱状/分块图集布局，并配合在全景图集模态上微调的 2D 编辑模型。弱点二：对点跟踪的强依赖——快速非刚性形变（舞蹈、布料、流体）会让 CoTracker3 输出断裂轨迹。改进方向：引入形变场或 deformation graph 做稠密对应替代稀疏点跟踪，或用光流+单目深度生成带置信度加权的对应约束，对低置信区域放松 $L_{motion}$。弱点三：逐场景重训图集，首次交互需等待约 0.6~1 小时，违背「交互式」定位。改进方向：训练前馈式图集预测网络（参考 LRM 类大重建模型的思路）实现秒级出图集，或做跨场景元学习为哈希表提供良好初始化。弱点四：LLM 决策链脆弱，中间步骤一旦选错工具或传错文件名就级联失败，且论文自己指出错误会在早期传播。改进方向：在循环中插入自检型工具（用 VQA 检查编辑结果是否符合指令、文件是否存在），支持操作级回滚和重规划。弱点五：评估体系薄弱——只用 CLIP 系指标加耗时显存，没有用户研究、没有跨视角一致性定量指标、没有与人工标注编辑意图的对齐评估。改进方向：补充 FID/KID、时序 warp 误差、以及多人主观评分。
未来方向
作者提出的方向：针对 360° 复杂环境继续优化图集表示。基于本文成果可延伸的方向：(1) 图集原生扩散模型——在图集模态上训练/微调扩散模型，从根本上解决「2D 模型没见过图集」的分布外问题，替代在合并图上打补丁的 merge-split；(2) 与前馈 3D 生成结合，让 LLM 在对话中先生成再编辑，形成对话式 AIGC 闭环；(3) 场景语义图与长期记忆——让 LLM 维护场景图并支持指代与因果指令（「把刚才删掉的那栋楼加回来」），当前 SSN 只管理文件名不管理语义；(4) 轨迹数据自举——用强 LLM（GPT-4o）自动合成轨迹蒸馏给小模型，随工具库扩展持续更新，突破 1000 条手工数据的规模上限；(5) 与 3DGS 原生编辑（高斯分组、特征场分割）混合，几何类操作走原生路径、外观类操作走图集路径；(6) 把哈希查询进一步 GPU 化、图集缓存化，将 2~6 FPS 的映射速度推向实时；(7) 多用户协同编辑与版本管理，充分发挥「编辑结果即文件」的可回滚特性。
复现评估
复现条件总体友好。代码和训练好的模型已开源（github.com/Fangkang515/CE3D）。数据全部可得：LLFF、NeRF-Art、IN2N-collect、IBRNet-collect、TanksAndTemples、DyCheck、DynamicNeRF 均为公开数据集，自建的 CE3D-collect（11 个前向户外场景、每场景 50~80 张图）声称随代码发布，位姿用 COLMAP 估计。实现细节在论文中写得相当具体：网络结构（$F_m$ 8 层宽 256，$F_h$ 哈希 16 级/表 $2^{15}$/特征维 2/MLP 两层宽 64）、学习率（1e-3/1e-2）、步数（10 万）、batch（10000 点）、各损失的启用区间（$L_{pos}$ 前 1000 步、$L_{\alpha}$ 前 3 万步）、图集分辨率 1000×1000。算力方面：单场景 Hash-Atlas 训练约 0.6~1 小时（论文用 2×A800 80GB，单张 24GB 卡大概率可跑）；编辑实验同样只需 2×A800。门槛最高的是 LLM 轨迹微调：全参微调 LLaMA-8B/Qwen-14B 需要 32×A800 80GB 跑 4 个 epoch——但普通复现者可以完全跳过这一步，直接用 ChatGPT/GPT-4o API 跑通主流程。风险点：arXiv 编号显示为 2026 年 8 月，论文引用了多篇 2025/2026 的会议论文（RoMaP、EditSplat、CTRL-D 等），复现对比基线时外部模型版本对齐可能有坑；另外 30+ 工具的模型下载与环境配置是主要工程摩擦。综合难度评估：主流程中等，4D 部分（CoTracker3 + ProPainter + 多工具串联）偏难。
论文图表
展示与 CE3D++ 的一段多轮对话：针对恐龙头骨场景，用户先后提出描述场景、按参考照片修改风格、追问角龙类生活年代（VQA 知识问答）、提取头骨、提升清晰度（超分）、检测软组织边界、生成新场景、基于参考图生成毕加索风格场景等请求，CE3D++ 每次都正确调度工具并以「新场景已保存为 xxx.scn」的方式返回结果。
一张图直观定义了本文要做的产品形态：开放文本输入 + 多轮对话 + 多工具自动调度 + 以文件为载体的场景管理，是理解全文目标的最快入口。
对比四类文本驱动编辑框架的数据流：(a) 迭代法把 2D 模型信息反复嵌入 3D 模型；(b) 监督法用 2D 模型监督 3D 重建并施加损失；(c) 去噪法先建 3D 去噪模型再接 2D 模型；(d) 本文的解耦法——Hash-Atlas 把场景映射为图集，2D 模型在图集上编辑后再映射回视角，与 3D 重建互不耦合。
这张图是全文方法论的分水岭：(a)-(c) 的耦合正是现有方法「换模型难、管线复杂」的根源，(d) 的解耦是本文所有优势（兼容 30+ 工具、多轮编辑、免重训）的来源。
展示 LLM agent 的三块定制设计：prefix prompt 中对场景文件名敏感性的约束（文件名 xxx.scn 无意义、严禁编造）；每个视觉工具的四要素标注（名称、描述、工具函数、输入格式、示例）；ReAct 格式的 Thought/Action/Action Input/Observation 推理模板；以及用于轨迹微调的对话样本结构示例。
对话系统的可靠性设计全在这张图里：SSN 机制、工具 prompt 注入方式和轨迹微调数据的形态，是复现对话系统和理解 Table 4 消融的必要材料。
把 Hash-Atlas 扩展为三层图集（背景 + 两个独立物体分支，按物体 mask 动态增加分支）：对比显示本文方法的多层图集伪影明显少于 LNA。
证明图集表示的可扩展性——层数不是硬编码的，可以按场景物体数动态增长，这是支持复杂多物体场景编辑的架构基础。
两类失败案例：(a) 360° 全景场景的图集畸变导致与 2D 视觉模型不兼容，「卡车变红车」失败而「背景变水墨画」成功；(b) 快速非刚性形变或严重遮挡下 CoTracker3 跟踪失效，动态物体图集产生伪影。
作者主动展示的方法边界，对应第 4.6 节局限讨论，帮助读者判断自己的应用场景（是否含 360° 采集或剧烈动态）是否适合采用该方法。