WorldAct：将整体式 3D 世界激活为可交互的对象中心化场景

把静态 3DGS 场景拆解成可编辑、可物理交互的对象化场景。

前置知识

3D Gaussian Splatting (3DGS)

用各向异性 3D 高斯原语表示场景的显式表征方式，每个原语含中心、协方差、不透明度、颜色，通过可微 alpha-blending 渲染图像。

WorldAct 的输入输出都是 3DGS 场景，理解高斯原语属性是看懂 mask 逆渲染、对象分解、修补重建等核心步骤的基础。

SAM3 / SAM 系列分割基础模型

Meta 提出的可提示分割模型，支持文本/点/框等多种 prompt 输出像素级二值掩码，可对视频帧做 promptable segmentation。

WorldAct 用 SAM3 做多视角对象分割，配合 VLM agent 生成的语义 prompt 发现可操作物体，是分解阶段的核心工具。

视觉-语言智能体 (VLM Agent)

基于多模态大模型的智能体，能理解图像并根据自然语言指令自主规划、决策、调用工具，通过多轮推理完成复杂视觉任务。

WorldAct 的 agent 贯穿全流程：识别可操作物体、过滤无关物体、为每个物体挑选最佳生成视角，直接决定物体召回率。

Poisson Surface Reconstruction

基于有向点云的隐函数表面重建方法，求解 Poisson 方程后提取等值面，输出 watertight 三角网格，常用于从点云重建闭合 mesh。

WorldAct 用 Poisson 从修复后的背景高斯提取 watertight mesh，再做平面正则化构建碰撞代理，是支持物理仿真的关键。

可微渲染与 ICP 对齐

可微渲染对相机/位姿/属性可求梯度，支持基于图像损失的端到端优化；ICP 通过迭代最小化最近邻距离估计刚体变换。

WorldAct 用 ICP + DINOv2 特征相似度初选位姿，再用可微渲染优化位姿并叠加 mask/contact/penetration 损失完成精确放置。

研究动机

近年来 3D 世界生成模型（如 Marble、LucidDreamer、Text2Room、HY-World）已能从文本或图像合成大尺度空间一致的 3D 环境，但其输出通常是 monolithic（整体式）的 3D Gaussian Splatting 场景——所有物体被融合在一个高斯集合中，无法单独选中、移动或替换。这意味着游戏设计、室内装饰等需要细粒度编辑的创意工作流无法落地，具身 AI 仿真中的智能体也无法对场景中特定实体进行操作，生成世界只能作为视觉可信但物理惰性的背景存在，严重限制了 3D 世界模型的下游应用价值。

本文的目标是本文提出 WorldAct 框架，目标是把已有 monolithic 3DGS 场景后处理激活为对象分解、可编辑、可物理交互的环境。具体要自动识别可操作对象并从背景中干净分离、为被移除区域补全背景、用高质量资产重建物体、再把它们放回原位，使整个场景能与简化碰撞几何配合支持机器人抓取、摆放、场景重排等具身任务。目标是让静态生成世界真正成为可编辑、可仿真、可执行的交互式环境，填补 3D 世界模型与下游应用之间的最后一公里。

与已有工作不同的是，已有路线大致分两类：compositional 生成（先单独生成物体再摆放，如 LucidDreamer 系列、Hunyuan3D 等）受限于有限视角或预定义资产，难以生成大尺度多视角一致的高真实感世界；2D 分割+3D 提升方法（LangSplat、SA3D、Feature3DGS）虽能给对象级划分，但提取的物体多为可见高斯，缺遮挡几何且无干净 mesh。本文独特切入点是 post-hoc activation——不做从零生成也不只做分割，而是把分解、修复、重建、对齐串成端到端 agent-looped pipeline，用 SAM3D 重建干净资产、用 Poisson + RANSAC 平面正则化构建物理碰撞代理，并引入 LLM/VLM agent 自动化物体发现和视角选择，填补了静态生成到交互式场景的关键空白。

核心方法

WorldAct 的整体思路是分解、修复、重建、对齐四阶段流水线。直觉上就像对已建好的毛坯房做精装：先把家具挑出来、把墙洞补上、再用更好的家具换掉旧的、最后把所有东西摆回原位。技术上，输入是任意 3D 世界模型（本文用 Marble）生成的 3DGS 场景 $\mathcal{G} = \{g_i\}_{i=1}^N$，WorldAct 先渲染相机轨迹获得多视角观测；再让 VLM 智能体识别可操作物体并生成 prompt 列表，用 SAM3 分割得到每帧每物体的掩码；然后用 mask 逆渲染学习软分配分数 $s_{i,m} \in [0,1]$ 并阈值化得到对象高斯子集与背景；接着用 DiffuEraser 修补背景并通过 DepthLab + Infusion 重建完整背景，同时 Poisson + RANSAC 平面正则化得到碰撞 mesh；再用智能体挑最佳视角，输入 SAM3D 生成干净资产；最后用 ICP+DINOv2 初选位姿、可微渲染在 mask/contact/penetration 多损失下完成精确放置。

WorldAct 的核心创新点是与现有方法的本质区别在于 post-hoc agent-driven decomposition 范式。具体三点：第一，区别于 compositional 生成（先物体后场景），WorldAct 在已生成 monolithic 场景上反向分解，能保留原始世界模型的视觉保真度；第二，区别于纯 2D-to-3D 分割方法只给高斯子集，本文通过 DiffuEraser + DepthLab + Infusion 真正修复背景、并用 Poisson + RANSAC 平面正则化构造物理可用碰撞代理；第三，区别于人工挑选视角的手工 pipeline，本文把物体发现、视角选择、评分全部交给 VLM agent 闭环驱动，配合 SAM3D 把残缺高斯升级为完整可交互 mesh，使整套流程在 object recall 上相对无 agent 版本提升超过 3 倍。

方法步骤详情

WorldAct 流程分四阶段。Decomposition：VLM agent 分析稀疏关键帧输出 prompt 列表，SAM3 生成每帧物体掩码；为每个对象优化软分配分数 $s_{i,m}$，损失含前景交叉熵与背景抑制项，仅更新分数、冻结 3DGS，收敛后阈值化得到对象高斯子集与残差背景。Restoration：融合多视角物体掩码渲染回每帧，用 DiffuEraser 视频修复；选稀疏关键帧用 DepthLab 估深度初始化新高斯并用 Infusion 优化匹配修复帧得到完整背景；对完整背景做 Poisson 重建得 watertight mesh，简化后用 RANSAC 检测 floor/wall/ceiling 平面并投影增强平面性，得到低多边形碰撞代理；agent 评估可见性/遮挡为每个对象挑最佳视角输入 SAM3D 生成干净资产。Assembly：先用 ICP 把生成 mesh 对齐到对象高斯点集并用 DINOv2 特征相似度选最佳初始化；再用可微渲染优化位姿，损失含 mask/contact/penetration 三项分别约束投影一致、支持关系与避免穿模，输出可交互场景。

技术新颖性

WorldAct 的技术新颖性体现在四点系统性整合。第一，agent-looped pipeline 把该分解谁、用哪个视角、生成哪一面三个高阶决策交给 VLM agent 自动化闭环，避免了传统 pipeline 中大量手工规则和启发式；第二，mask inverse rendering 学习高斯软分配 $s_{i,m}$ 而非硬标签，结合前景交叉熵与背景抑制项，使被遮挡高斯也能被准确归属；第三，把视频修复（DiffuEraser）+ 深度初始化（DepthLab）+ 高斯优化（Infusion）三件套组合成完整的 3D inpainting pipeline，能在保证多视角一致的同时填补被移除物体留下的大孔洞；第四，用 Poisson + RANSAC 平面正则化构造可物理仿真的低多边形碰撞代理，并叠加 contact / penetration 损失让生成物体在场景中能稳定站立、被抓取，这是已有 3DGS 分割工作很少覆盖的能力。

**Figure 2**: WorldAct pipeline overview: decomposition, restoration, object generation, and assembly.

**Figure 3**: Agent-driven object discovery and best frame selection in WorldAct.

实验结果

实验在 MWM 数据集（6 个 Marble 室内场景）完成，单卡 RTX 3090 单场景约 1 小时。核心结果：(1) 对象发现 Table 1：加 agent 后 Interactable Object Recall 在 MWM 由 23.77% 跃升到 78.80%，MWM-easy 由 25.40% 到 83.98%，MWM-hard 由 20.49% 到 68.43%；(2) 感知质量 Table 2：原 3DGS ReMOVE 0.7933、MANIQA 0.3338；WorldAct 物体再插入后 ReMOVE 0.7934、MANIQA 提升到 0.3621；与 Gaussian Grouping 修补基线对比 ReMOVE 0.7951 vs 0.7948、MANIQA 0.3254 vs 0.3226 均更优；(3) MOS Table 3：场景级 Overall 4.41→4.13 略降，物体级 Overall 2.49→3.75、Surface 2.58→3.93、Boundary 2.00→3.95、Naturalness 2.14→3.37 大幅提升。

**Table 1**: Interactable Object Recall Rate on MWM / MWM-easy / MWM-hard.

**Table 2**: Perceptual Metric Evaluation (ReMOVE / MANIQA) across pipeline stages.

**Table 3**: Mean Opinion Score (MOS) Evaluation: scene-level and object-level across four dimensions.

**Figure 4**: Qualitative comparison with input Marble-generated scenes across multiple viewpoints.

**Figure 5**: Interactive examples with WorldAct: grasping, placement, addition, removal, attribute editing.

查看结构化数据

任务	指标	本文	基线	提升
Interactable Object Recall	可操作对象召回率 (%)	MWM-full 78.80%, MWM-easy 83.98%, MWM-hard 68.43%	无 agent 消融: MWM-full 23.77%, MWM-easy 25.40%, MWM-hard 20.49%	+55.03 / +58.58 / +47.94 个百分点, MWM-easy 相对提升约 3.31 倍
Foreground-Background Consistency (ReMOVE)	ReMOVE (越高越好)	0.7951 (After Inpainting) / 0.7934 (After Object Re-insertion)	0.7948 (Gaussian Grouping) / 0.7933 (Original 3DGS)	修补阶段 +0.0003, 重插入后基本持平, 表明不引入明显伪影
Perceptual Image Quality (MANIQA)	MANIQA (越高越好)	0.3621 (After Object Re-insertion) / 0.3254 (After Inpainting)	0.3338 (Original 3DGS) / 0.3226 (Gaussian Grouping)	完整 pipeline MANIQA +0.0283 vs 原 3DGS, 修补阶段 +0.0028 vs Gaussian Grouping
MOS 用户研究 (场景级)	5-point Likert, 20 人 + GPT-5.5	Overall 4.13, Surface 4.31, Boundary 4.02, Naturalness 3.78	原始场景 4.41 / 4.44 / 4.28 / 4.20	轻微下降 (-0.28 ~ -0.42), 在可接受范围内
MOS 用户研究 (物体级)	5-point Likert	Overall 3.75, Surface 3.93, Boundary 3.95, Naturalness 3.37	原始 2.49 / 2.58 / 2.00 / 2.14	物体质量大幅提升 +1.26 / +1.35 / +1.95 / +1.23, 证明 SAM3D 重建显著优于原高斯子集

局限与改进

作者明确承认三点局限：(1) 框架质量上限依赖输入 3D 世界模型（如 Marble）的质量，若世界模型本身几何不准确或视角覆盖差，下游分解也会受影响；(2) 目前不支持动态场景、铰接物体（如抽屉、柜门）、物理属性建模（质量、摩擦、支撑等）；(3) 评估数据规模有限，MWM 仅含 6 个室内场景且用户研究仅 20 人。独立观察的额外局限还包括：(1) 单场景约 1 小时的处理时间在单卡 RTX 3090 上仍偏慢，难以批量部署；(2) DINOv2 特征相似度初选位姿在多候选外观相似的场景中可能失败，导致 ICP 落入局部最优；(3) MWM 数据集场景同质（均为室内）、缺乏室外、大尺度或非结构化场景的验证；(4) GPT-5.5 在文中被同时作为评分模型出现，存在评测偏倚风险，因为同一系列模型可能对自身风格的输出更友好。

独立分析的弱点

独立分析的弱点有五点。第一，依赖性强：对象发现严重依赖 Qwen3.6-Plus 等商用 VLM 闭源 API，建议未来替换为本地开源 VLM（如 InternVL3、Qwen2.5-VL）以提升可控性。第二，效率瓶颈：MWM 仅 6 个室内场景、单卡 1 小时/场景，建议用并行多卡 + SAM3D 蒸馏压缩到分钟级。第三，碰撞代理粗糙：Poisson + RANSAC 平面化得到的低多边形 mesh 仅适合放置与简单抓取，建议引入类别感知代理（椅子用简化骨架、沙发用凸包）。第四，对齐失败模式：ICP + DINOv2 初始化在严重遮挡或对称歧义时可能选错，建议引入物理合理性预检（与 $\mathcal{M}_{bg}$ 的 signed distance 检查）。第五，评测单一：MOS 仅 20 人且 GPT-5.5 自评，缺少与 GenWarp、Chat-Edit-3D 等编辑方法的直接对比。

未来方向

作者在 Limitations 中提出动态场景、铰接物体、物理属性建模三大方向。基于 WorldAct 的成果可延伸的方向还有：第一，扩展数据集到 MWM-urban（室外街景）、MWM-large（多楼层），评估跨域泛化；第二，把 SAM3D 替换为更新更强的原生 3D 生成模型（如 Hunyuan3D-2、TripoSR、Dora），进一步提升物体资产质量；第三，引入大世界模型驱动的任务级规划，把 WorldAct 输出的可交互场景接入 LLM 任务规划器（如 RT-2、OpenVLA），实现指令到仿真执行闭环；第四，研究多对象同时编辑的 batched pipeline，避免逐对象串行处理；第五，结合 NeRF/3DGS 神经隐式场做连续空间的物理仿真，弥补碰撞代理粗糙问题；第六，把 agent 替换为可微调的多模态模型，让 WorldAct 整体可端到端训练。

复现评估

复现评估分四点。(1) 开源情况：原文未明确声明代码仓库或权重公开，从 Project page 推断资源可能随项目发布，但截至读论文时无法确认 GitHub 链接，存在复现门槛。(2) 数据集：使用自建 MWM（6 个 Marble 室内场景），需自行用 Marble 复现生成并手工标注可操作对象用于 recall 评测，标注成本不可忽视。(3) 算力门槛：单 RTX 3090 即可，但单场景约 1 小时，处理 6 场景需约 6 GPU·小时，且依赖 Qwen3.6-Plus / GPT-5.5 等闭源 API 需付费与联网。(4) 复现难度：中等偏高，原因是 mask 逆渲染训练、SAM3D 调用、DiffuEraser 视频修复、Infusion 高斯优化、RANSAC 平面正则化、ICP+DINOv2 初始化等多模块均需独立调通，且 VLM agent 的 prompt 设计对结果影响大。建议按依赖顺序：先跑通 Marble 生成 3DGS → SAM3 分割 → mask inverse rendering 三步基线，再逐步叠加修复与对齐模块。

WorldAct：将整体式 3D 世界激活为可交互的对象中心化场景 WorldAct: Activating Monolithic 3D Worlds into Interactive-Ready Object-Centric Scenes