语义-几何视觉 Token 剪枝器用于 3D 问答 SeGPruner: Semantic-Geometric Visual Token Pruner for 3D Question Answering
结合语义重要性和空间多样性的 3D 视觉 token 高效剪枝方法
前置知识
视觉 Token (Visual Token)
在视觉-语言模型中，图像经过视觉编码器处理后生成的特征表示，每个 token 对应图像的一个局部区域（patch）。与文本 token 不同，视觉 token 保留了密集的感知和空间信息，因此在多视角场景中会产生大量冗余。例如，12 张 384×384 图像经 SigLIP 编码后可产生约 8748 个视觉 token，这远超语言模型的 token 预算限制。
本文核心问题就是如何有效减少视觉 token 数量，理解 token 的本质特性对于理解论文的问题动机和方法设计至关重要。
注意力分数 (Attention Score)
Transformer 模型中用于衡量不同 token 之间关联强度的指标。在视觉编码器的自注意力机制中，每个 token 会计算与其他所有 token 的注意力权重。一个 token 接收到的平均注意力越高，表明它在模型推理过程中越重要，通常对应视觉上的显著物体或关键区域。论文使用最后一层注意力矩阵 A 计算 token 重要性。
本文的 Saliency-aware Token Selector 直接基于注意力分数来识别和保留语义关键对象的 token，这是该方法的核心组件之一。
最远点采样 (Farthest Point Sampling, FPS)
一种在点云处理中常用的采样算法，目标是选择一组点使其在空间上尽可能均匀分布。算法从一个初始点开始，每次迭代选择与已选点集距离最远的点。本文将 FPS 的思想扩展到视觉 token 选择，但引入了语义相似度作为额外约束，形成语义-空间融合距离度量。
本文的 Geometry-aware Token Diversifier 的核心思想来源于 FPS，理解这个算法有助于理解本文如何实现空间多样性的 token 选择。
回投影 (Back-projection)
将 2D 图像中的像素或区域映射回 3D 世界坐标系的操作。给定图像的深度图、相机内参矩阵 K 和外参变换 T，可以通过计算每个图像 patch 对应的 3D 坐标。这使得不同视角的视觉 token 可以在统一的 3D 坐标系中进行比较。
本文的 3D-Aware Feature Construction 依赖回投影操作将 2D 视觉 token 映射到 3D 空间，这是实现几何引导 token 选择的基础。
语义-空间融合距离
本文提出的混合距离度量，用于衡量两个视觉 token 在语义和空间两个维度的综合差异。对于两个 token，几何距离定义为它们在 3D 空间中的欧氏距离，语义相似度定义为它们特征向量的余弦相似度。最终的语义-空间距离结合了归一化的几何距离和语义差异度，平衡参数 lambda 设为 0.5 来权衡两个维度的贡献。
这是 Geometry-aware Token Diversifier 的核心创新，通过联合建模语义相关性和 3D 空间距离，实现了既保证空间多样性又避免语义冗余的 token 选择策略。
研究动机
在 3D 问答任务中使用多视角图像作为视觉输入时，不可避免地引入严重的视觉 token 冗余。具体来说，当从 3D 场景中采样 12 张不同视角的图像并通过 SigLIP 编码器处理后，每个场景会产生约 8748 个视觉 token，这远超大型语言模型的 token 预算限制。更严重的是，多视角观测中存在大量重复内容：同一物体从不同角度被多次观察到、背景区域（如墙壁、地板）在多个视角中反复出现、平坦表面和无纹理区域在不同视角下高度相似。这种冗余不仅浪费计算资源，还会引入噪声干扰，降低推理效率和准确性。例如，论文实验显示，当 token 保留比例降至 9% 时，传统的 2D 剪枝方法 VisPruner 在 ScanQA 上的性能从 27.6 降至 23.2（下降 15.9%），表明其无法在极端压缩下保持有效的 3D 空间推理能力。
本文的目标是本文的目标是设计一个高效的多视角视觉 token 减少框架，能够在保持 3D 问答性能的前提下，大幅减少视觉 token 数量和推理延迟。具体来说，论文希望实现两个互补的目标：一是保留对应语义关键对象的 token，确保回答问题所需的关键视觉证据不被丢失；二是保持足够的空间覆盖，确保模型对整个场景有全局性的理解，能够进行准确的空间关系推理。这两个目标需要在高压缩率下平衡，例如在只保留 9% 原始 token（约 787 个 token）的情况下，仍能保持接近全 token 的推理性能。
与已有工作不同的是，现有方法在处理 3D 问答的视觉 token 剪枝时存在根本性局限。一方面，传统的 2D token 剪枝方法（如 VisPruner）完全在 2D 图像域中操作，没有利用多视角图像之间的几何关系，无法感知 3D 空间结构。这些方法容易将过多 token 分配给背景区域（如大面积的墙壁），导致空间分布不均，丢失重要的 3D 上下文信息。另一方面，已有的 3D 感知方法（如 DTC 和 ToSA）虽然引入了深度和相机信息，但主要将 3D 线索作为辅助信号，或者仅依赖语义相似度进行选择，没有明确平衡对象级显著性保持和跨视图的空间多样性。本文的独特切入角度是将 token 剪枝分解为两个明确互补的子问题——语义显著性保持和几何引导的多样化选择，并通过一个联合的语义-空间融合度量来统一解决这两个问题，这是与已有方法的本质区别。
核心方法
SeGPruner 的整体思路是将 3D 问答的视觉 token 剪枝问题分解为两个互补的子任务，并通过级联的方式解决。直觉上，一个好的 token 选择策略应该同时满足两个条件：一是保留那些对回答问题最重要的视觉信息（如问题中提到的物体或场景中的显著对象）；二是确保保留的 token 在 3D 空间中均匀分布，覆盖场景的不同区域，从而提供足够的全局上下文。技术路线上，论文首先通过回投影操作将 2D 视觉 token 映射到统一的 3D 世界坐标系，构建 3D 感知的场景表示；然后使用基于注意力分数的 Saliency-aware Token Selector 识别并保留语义关键对象的 token；最后使用 Geometry-aware Token Diversifier 从剩余 token 中选择空间上多样化的 token，这个模块联合考虑语义相似度和 3D 几何距离，通过迭代的最远点采样策略实现。整个过程无需训练模型参数，可直接作为即插即用模块插入到现有的视觉编码器和语言模型之间。
本文的核心创新点在于将语义显著性和空间多样性这两个看似矛盾的目标统一在一个框架中，并通过明确的模块分工实现协同。与已有方法相比，SeGPruner 的本质区别在于：一是明确区分了两类不同重要性的 token——基于注意力分数的重要 token 和基于空间分布的多样化 token，而不是用一个统一的准则对所有 token 排序；二是在多样化选择中引入了语义-空间融合距离，这是对传统最远点采样的关键扩展，使得选择的 token 不仅在空间上分散，在语义上也互补；三是采用了级联的两阶段设计，先保留高注意力 token，再从剩余候选中选择多样化 token，这避免了传统方法中高注意力 token 可能被空间分散策略误删的问题。这种设计使得在极端压缩（如 9% 保留率）下，仍能同时保持关键对象的细节和全局场景的覆盖，这是传统 2D 剪枝方法无法实现的。
方法步骤详情
SeGPruner 的完整流程包含四个主要步骤。第一步是 3D 感知特征构建：对于每个视角的输入图像，首先使用视觉编码器（如 SigLIP）提取特征图；然后利用该视角的深度图和相机外参，通过回投影公式计算每个 token 的 3D 坐标；最后将所有视角的 token 及其 3D 坐标组合成统一的表示。第二步是显著 token 选择：计算视觉编码器最后一层的自注意力矩阵，对每个 token 计算其接收的平均注意力；按注意力分数降序排序所有 token，选择前 n 个 token 作为重要 token 集合。第三步是多样化 token 选择：将剩余候选按注意力分数初始化多样化集合；对于每个候选 token，计算其到多样化集合的最小语义-空间距离；选择距离最远的候选加入多样化集合；重复迭代直到达到目标数量。第四步是推理过程：将重要 token 和多样化 token 的并集按原始索引排序恢复 token 顺序，得到最终的 token 序列；将最终 token 序列与问题一起输入语言模型进行推理。
技术新颖性
SeGPruner 的技术新颖性体现在三个方面。首先，这是首个明确将语义显著性和空间多样性统一建模的 3D 问答 token 剪枝方法。传统的 2D 剪枝方法只考虑语义重要性（通过注意力或特征相似度），而现有的 3D 感知方法虽然利用了几何信息，但没有将空间多样性作为一个独立且明确的目标。本文提出的两阶段框架使得这两个目标可以分别优化，并通过级联实现协同效应，这在消融实验中得到验证：单独使用 Saliency-aware Token Selector 或 Geometry-aware Token Diversifier 都能提升性能，但组合使用后进一步提升。其次，本文提出的语义-空间融合距离是对传统最远点采样的关键扩展，使得多样化选择不仅考虑空间分布，还避免选择语义上高度相似的 token。实验显示，仅使用语义相似度采样的方法在高压缩率下性能显著下降，而加入几何约束后性能稳定，证明了几何信息的重要性。最后，本文的训练-free 设计使其可以即插即用地集成到现有的多模态大模型中，无需修改模型架构或进行额外的微调，这大大提升了方法的实用性和推广性。
实验结果
论文在 ScanQA 和 OpenEQA 两个基准数据集上进行了全面实验，验证了 SeGPruner 的有效性。在 ScanQA 数据集上，使用 LLaVA-OneVision-7B 作为基线模型（Full tokens 性能为 27.6 EM@1），当 token 保留比例降低到 23% 时，SeGPruner 达到 28.0 EM@1，甚至比全 token 基线提高了 0.4 个点；在更极端的 9% 保留率下，SeGPruner 仍达到 26.3 EM@1，保留了原性能的 95.3%。相比之下，DTC 在相同压缩率下为 26.1，VisPruner 为 23.2（下降 15.9%），这表明纯 2D 方法在极端压缩下无法维持有效的 3D 推理。在 OpenEQA 数据集上，基线模型（Full tokens）的 LLM-Match 分数为 56.2；在 8% 保留率下，SeGPruner 达到 49.9，仅下降 6.3 个点，而 DTC 下降 6.9 点至 49.3，VisPruner 下降 8.9 点至 47.3，这证明了几何引导策略对具身式 3D 问答任务的重要性。消融实验显示，单独使用 Saliency-aware Token Selector 或 Geometry-aware Token Diversifier 都能提升性能，而两者结合进一步提升了性能，验证了协同效应。推理效率方面，在 9% 保留率下，SeGPruner 的单例推理延迟为 0.63 秒，比 VisPruner 的 1.03 秒减少约 39%，这表明即使在相同 token 数量下，更好的 token 选择策略也能带来实际的推理加速。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ScanQA | EM@1 | 28.0 (23% tokens) | 27.6 (100% tokens) | +0.4 (在更少 token 下超越基线) |
| ScanQA | EM@1 | 26.3 (9% tokens) | 27.6 (100% tokens) | -5.0% (仅损失 4.7% 性能但减少 91% token) |
| OpenEQA | LLM-Match | 49.9 (8% tokens) | 56.2 (100% tokens) | -6.3 (在极端压缩下保持 88.8% 性能) |
| ScanQA | EM@1 (9% tokens) | 26.3 | VisPruner: 23.2 | +3.1 (相对提升 13.4%) |
| Inference Latency | seconds per example (9% tokens) | 0.63s | VisPruner: 1.03s | -39% |
局限与改进
论文在讨论中承认了一些局限性。首先，SeGPruner 依赖于准确的深度图和相机外参，这些信息在真实场景中可能难以获得或存在噪声。虽然论文使用数据集提供的标注深度图进行实验，但在实际应用中可能需要依赖深度估计网络，这会引入额外的误差和计算开销。其次，方法主要针对多视角 RGB-D 图像设计，对于其他 3D 表示形式（如点云、神经场、3D 高斯 splatting）的适用性尚未充分验证，尽管作者提到该方法可以扩展到这些模态。第三，论文假设语义显著性和空间多样性是两个独立且互补的目标，但在某些极端场景下（如需要回答关于非常细小物体的细节问题），可能需要更灵活的动态平衡策略，而不是固定的参数设置。基于我的观察，还有其他潜在局限：方法在 token 保留率低于 9% 时的性能曲线尚未充分探索，这可能是实际部署的极限情况；此外，虽然方法声称训练-free，但在实际应用中可能需要针对不同的视觉编码器或数据分布调整参数，这需要额外的调参工作。最后，论文主要在室内场景数据集（ScanNet 和 HM3D）上评估，对于室外大规模场景或动态场景的泛化能力有待进一步验证。
独立分析的弱点
基于对论文的深入分析，我发现几个可以改进的弱点。第一个弱点是重要 token 比例的静态设置。论文根据不同的目标保留率预先设定比例值，但这种静态策略可能无法适应不同的问题类型和场景特征。例如，对于需要局部细节的问题，应该增加比例以保留更多高注意力 token；而对于需要全局覆盖的问题，应该降低比例以给多样化选择更多空间。改进方向是实现问题感知的动态比例调整，可以根据问题的关键词自动调整配额。第二个弱点是语义-空间融合距离中的平衡参数固定为 0.5。这个全局统一的参数无法适应场景中不同区域的特性。在纹理丰富、物体密集的区域，应该降低参数以更强调语义多样性；在平坦、单调的区域，应该提高参数以更强调空间分布。改进方向可以是基于局部特征密度自适应调整参数，或者学习一个可调的值。第三个弱点是方法在处理跨视角物体遮挡时的鲁棒性不足。当某个物体在多个视角中被部分遮挡时，基于注意力的选择可能在不同视角中选择该物体的不同可见部分，导致碎片化的表示。改进方向可以引入跨视角的一致性约束，确保同一物体的 token 在空间上是连续的。第四个弱点是方法没有显式建模 token 之间的时序关系（对于动态场景）或语义关系（如物体间的功能关联）。改进方向可以引入场景图或关系网络来增强多样化选择的语义指导。
未来方向
论文本身提出了一些未来研究方向，基于论文成果可以延伸出更多方向。作者提到可以将方法扩展到其他 3D 表示形式，如点云、神经辐射场和 3D 高斯 splatting，这需要设计合适的回投影或特征对齐策略。另一个方向是探索动态的参数调整机制，例如根据输入问题的类型或复杂度自适应地调整重要 token 比例和平衡参数。基于论文成果，我认为以下几个方向值得探索：一是将 SeGPruner 与其他压缩技术结合，如 token 合并或特征量化，实现分层压缩策略；二是将方法扩展到视频理解任务，利用时序信息进一步增强多样化选择的鲁棒性；三是探索端到端的可训练版本，将注意力分数计算和多样化选择集成到模型训练中，使其能够学习任务最优的 token 选择策略；四是研究方法在实时机器人导航和交互任务中的应用，需要考虑在线计算约束和场景动态变化；五是开发可解释性工具，可视化哪些 token 被选择以及它们对最终答案的贡献，这有助于理解模型的决策过程和进一步优化策略。
复现评估
论文提供了较为充分的复现支持。作者已将代码开源，这对于复现至关重要。论文详细描述了实验设置：使用 LLaVA-OneVision-7B 作为基线 VLM 并保持冻结，每个场景均匀采样 12 张 RGB 图像并调整至 384×384 分辨率，使用 SigLIP 提取视觉 token。实验在两个公开数据集上进行：ScanQA（约 8,000 个室内场景，41,000+ 问题-答案对）和 OpenEQA（1,600+ 人工标注问题-答案对，覆盖 180+ 场景）。评估指标明确：ScanQA 使用 Exact Match (EM@1)，OpenEQA 使用 LLM-Match。论文报告了在不同 token 保留比例下的详细性能数据，并提供了消融实验和定性结果。复现的主要挑战在于计算资源：LLaVA-OneVision-7B 需要约 14GB GPU 显存，加上多视角图像处理，理想情况下需要 24GB+ 显存的 GPU。另一个潜在挑战是 OpenEQA 的 LLM-Match 评估需要调用 GPT-4 API，这可能需要 API 配额和额外的计算成本。总体而言，论文的复现难度中等，代码开源和数据集公开使得完整复现成为可能，但需要适当的硬件资源。
论文图表
该图通过可视化比较了传统 2D 视觉 token 剪枝方法（VisPruner）和本文的几何感知方法在保留 token 上的空间分布差异。图中展示了两个问答示例：左侧是输入图像和保留 token 的可视化（透明区域表示保留的 token），右侧是 3D 空间中的 token 分布。在第一个示例中，问题问白色桌子右边是什么，VisPruner 由于缺乏空间感知，将过多 token 分配给背景区域，导致答案错误（回答黑色，正确答案是紫色椅子）；而本文方法通过几何引导实现了更均匀的 token 采样，保留了桌子和椅子等关键对象，得到了正确答案。
这张图直观展示了论文的核心动机和贡献：通过引入 3D 几何信息，可以避免传统 2D 剪枝方法的空间偏差，实现更均匀和有效的 token 分布。这对于理解论文要解决的问题和提出的方法至关重要。