UniFunc3D：统一的主动时空接地用于3D功能分割 UniFunc3D: Unified Active Spatial-Temporal Grounding for 3D Functionality Segmentation

方法分为两个主要阶段。第一阶段是主动时空接地和功能对象联合识别：给定任务描述T和视频帧V，MLLM联合识别功能对象名称并通过主动时空接地将其位置定位到多个帧。在粗轮次中，对长度为L的视频V进行K次采样迭代，每次采样N帧：第k次迭代中，第i个采样帧的索引为 $j_i^{(k)} = \lfloor \frac{(i-1) \cdot L}{N} + \frac{k \cdot L}{K \cdot N} \rfloor$。这种基于偏移的采样确保不同迭代捕获互补的时间切片。每帧插入:标签使MLLM能够在其响应中引用特定帧。每个采样集 $I^{(k)} = \{v_{j_1^{(k)}}, v_{j_2^{(k)}}, \ldots, v_{j_N^{(k)}}\}$ 输入MLLM，要求完成三个任务：识别完成任务所需的功能对象、选择最佳显示功能对象的关键帧、识别功能对象上的单一定位点。MLLM输出结构化响应包含功能对象名称、选择帧索引和点坐标：$(o_{func}^{(k)}, f^{(k)}, P^{(k)}) = \Phi_{R1}(T, I^{(k)})$，其中 $P^{(k)} = \{(x_i, y_i)\}$ 是定位点集合。为确保鲁棒的时间覆盖，所有返回有效帧索引的K个预测都保留并集体转发到细阶段。细阶段通过密集时间窗口的原生高分辨率实现原生放大：对于每个候选帧 $f^{(k)}$，从完整视频中提取密集时间窗口 $W^{(k)} = \{v_{f^{(k)}-\Delta}, \ldots, v_{f^{(k)}}, \ldots, v_{f^{(k)}+\Delta}\}$，其中窗口半径 $\Delta$ 基于采样间隔计算。对于窗口中的每帧 $I_j \in W^{(k)}$，用细化提示独立查询MLLM：'识别[o_func]上的定位点以[T]。输出格式： (x, y)'。这为每个窗口生成每帧点预测的多个候选预测：$\{P_j\}_{j \in W^{(k)}} = \{\Phi_{R2}(T, o_j^{func}, I_j)\}_{j \in W^{(k)}}$。对所有K个候选窗口重复此过程，产生所有时间窗口的每帧点预测的合并集合。第二阶段是视觉mask生成和验证：从细阶段获得跨所有K个时间窗口聚合的每帧点预测 $\{P_j\}$，每个 $P_j = \{(x_{ji}, y_{ji})\}_{i=1}^{M_j}$ 包含 $M_j$ 个点。使用它们作为SAM3的点提示。对于帧 $I_j$ 中所有K窗口的每个点提示 $p_{ji} = (x_{ji}, y_{ji})$，生成二值mask $M_{ij}$。由于SAM3可能过度分割包含父对象，应用基于MLLM的视觉mask验证作为统一推理框架的最后阶段。不是通过文本级查询验证点，而是在源帧上将每个mask渲染为彩色覆盖并直接呈现给MLLM进行视觉判断，使模型能够推理高亮区域是否精确是预期的功能部分。创建覆盖图像 $\tilde{I}_j = \text{Overlay}(I_j, M_{ij}, \alpha)$，通过透明度 $\alpha = 0.5$ 高亮mask区域。验证公式为 $b_{ji} = \Phi_{verify}(\tilde{I}_j, o_{func}^*) \in \{\text{YES}, \text{NO}\}$，提示询问'RED高亮区域是否仅显示[o_func]?'。模型验证两个标准：高亮区域是目标功能对象；不包含父对象或包含对象。只有接收 $b_{ji} = \text{YES}$ 的mask保留用于3D提升：$M_{verified} = \{M_{ij} | b_{ji} = \text{YES}\}$。最后是多视图一致性和3D提升：将所有已处理帧的验证2D mask提升到点云使用相机位姿。采用多视图一致性过滤虚假预测：对于每个3D点 $c_i \in C$，计算有多少2D mask投影到它：$s_i = \sum_{k=1}^{K} |\{p_k | \Gamma_k(p_k) = c_i, p_k \in M_k\}|$，其中 $M_k$ 是第k个视图中的2D功能mask，$p_k$ 是 $M_k$ 中的像素，$\Gamma_k: \mathbb{Z}^2 \rightarrow \mathbb{R}^3$ 通过深度和位姿映射2D像素到3D点。归一化 $s_i \in [0, 1]$ 并在阈值 $\tau$ 产生最终mask $M_F = \{c_i | s_i > \tau\}$。这种共识机制抑制离群值并确保只有跨多个视图一致识别的点被包含。

UniFunc3D的技术新颖性体现在多个方面。首先，统一MLLM架构消除了碎片化pipeline的级联错误，通过将推理和感知整合到单一的空间-时间和视觉感知MLLM中，这与将推理（仅文本LLM）与感知（独立VLMs）分离的现有方法形成鲜明对比。其次，主动时空接地用多采样和验证策略替代被动启发式，允许模型从视频序列中自主选择最有信息量的内容，这与依赖手工规则和超参数控制及不稳定对象检测的Fun3DU形成对比。第三，人类类粗到细感知的两轮方法在无需外部裁剪的情况下在细粒度元素上实现高精度，保留用于鲁棒空间推理的全局上下文。这与需要区域裁剪的朴素放大pipeline不同，避免了错误传播。最后，基于覆盖的视觉mask验证使用同一MLLM进行视觉检查，确保在3D提升前目标功能部分的紧密分割，这比基于文本的查询更准确。所有这些创新使UniFunc3D成为完全训练无关的，同时超越训练依赖的方法。

UniFunc3D的主要弱点在于处理极小功能部件时的局限性。当功能部件面积小于0.1%图像时，即使在粗到细策略下也可能因分辨率不足而难以察觉。改进方向可以是探索不同的放大机制，例如更激进的多尺度金字塔或注意力机制聚焦于小区域。严重遮挡场景是另一个挑战，当目标部件大部分被遮挡时，单视角和多视角信息都不充分。改进方向可以是引入显式的3D几何推理或遮挡推理模块，利用场景的3D结构来推断被遮挡部件的可能位置。效率方面，每场景26分钟的处理时间对于实时机器人应用仍然太慢。改进方向可以是优化采样策略（如基于不确定性的自适应采样）、并行化处理、或使用更轻量的MLLM变体。另一个潜在弱点是对MLLM能力的依赖：虽然UniFunc3D在Qwen3-VL上表现优异，但如果底座模型能力不足，性能可能显著下降。改进方向可以是开发更鲁棒的prompt设计或集成多个模型的集成方法。最后，方法依赖于SAM3生成mask，如果SAM3在特定类型的部件上失败，整个pipeline都会受影响。改进方向可以是引入多个分割模型的集成或基于MLLM的直接分割（不依赖SAM）。

作者提出的未来工作方向包括探索不同的放大机制或集成显式3D几何推理直接在MLLM中处理复杂空间布局。此外，扩展UniFunc3D支持交互式细化（用户提供反馈修正预测）对于实际机器人应用将很有价值。基于本文成果，多个延伸方向值得关注：首先，将方法扩展到更复杂的任务，如链式任务推理（'打开柜子然后取出里面的物品'），需要理解时间依赖和状态变化。其次，探索在动态场景中的应用，其中环境可能在任务执行过程中变化，需要实时重新接地。第三，研究方法在其他3D理解任务中的泛化，如3D视觉接地、3D问答或3D场景图生成。第四，开发更高效的变体，例如基于 distilled 的轻量级MLLM或优化的采样策略，使方法能够在边缘设备上运行。第五，研究方法在更多样化场景中的泛化，如室外、工业或医学成像场景，验证方法在不同域中的鲁棒性。第六，探索与其他模态的集成，如触觉感知或音频，以提供更丰富的交互理解。最后，研究方法的可解释性，例如可视化MLLM的注意力图或推理过程，以帮助理解模型如何做出接地决策。

论文的复现性评估显示混合情况。积极方面：实验细节详细报告了硬件环境（英特尔至强铂金8468 2.1GHz 48核CPU和八个NVIDIA H100 GPU）、超参数（K=4采样迭代、N=64帧、窗口半径Δ、验证阈值α=0.5和τ=0.7）和评估协议。论文采用保守的基线报告策略，对于源代码可用的方法报告原作者结果和自身复现结果中的较高者，确保与最强可能版本比较。消融研究详尽，包括架构设计（一阶段vs两阶段）、采样策略（K值、时间窗口、验证）和基座模型（Qwen2.5-VL-72B vs Qwen3-VL）。效率分析提供了实际推理时间而非FLOPs，更具实用价值。消极方面：截至论文撰写时代码尚未公开，这意味着精确复现目前无法进行。论文提到'代码将在我们的项目页面发布'，但未提供具体时间表。使用八个H100 GPU的硬件要求很高，限制了大多数研究团队的访问能力。虽然论文报告了详细超参数，但某些关键实现细节（如MLLM提示的确切格式、覆盖图像生成的具体方法）可能需要试错。此外，论文使用SceneFun3D数据集，该数据集可访问，但其高质量注释的获取可能需要特定许可。总体而言，论文提供了足够的实验细节，但在代码和硬件可访问性方面存在限制，使得复现具有挑战性。