CoV：用于空间推理的视点链提示

训练无关的测试时框架，通过粗到细视点探索提升3D具身问答性能

前置知识

具身问答（Embodied Question Answering, EQA）

具身问答是一种需要智能体在3D环境中主动探索以回答文本问题的任务。智能体通过观察一系列第一人称图像和可选的3D场景表示（如点云或3D网格），在真实环境中感知和推理以得出正确答案。这与传统2D视觉问答不同，智能体必须理解自己的位置和方向，并可能需要导航到环境中的不同位置来收集信息。

读懂本文需要理解EQA的核心挑战：答案不是立即显而易见的，一个问题通常需要多步推理才能解决。CoV框架正是针对这一挑战提出的解决方案，通过主动探索获取问题相关的上下文。

测试时推理（Test-time Reasoning）

测试时推理是指在推理阶段通过调整模型行为来提升性能的方法，而不需要额外的训练或微调。这包括上下文学习、提示工程、思维链提示等技术。测试时扩展是一种策略，允许模型在推理时使用更多计算资源来获得更好的结果。例如，增加推理步骤数量或使用更多上下文。

CoV的核心创新在于它是一个完全训练无关的测试时推理框架，通过在推理时动态调整视点和多步探索来增强空间推理能力，体现了测试时扩展的理念。

3D场景表示

3D场景表示是指用数学模型描述三维空间中物体和几何信息的方法。常见的形式包括点云（Points Clouds，由离散的3D坐标点组成）、3D网格（3D Meshes，由顶点和面组成的多边形集合）和多视图图像（从不同角度拍摄的RGB-D图像及其相机姿态）。在具身场景中，3D场景表示允许智能体从任意视点渲染新的观察，这对主动探索至关重要。

CoV框架依赖3D场景表示来实现细粒度视图调整。论文中使用SE(3)变换矩阵（刚性变换）来更新相机姿态并生成新视点，这需要理解3D空间中的坐标变换和相机运动原理。

视觉-语言模型（Vision-Language Models, VLMs）

视觉-语言模型是能够同时理解和处理图像和文本的多模态大模型。这些模型通常通过大规模图像-文本对预训练，学习视觉和语言之间的语义对齐。现代VLM如Qwen-VL、GPT-4V、Gemini等不仅能理解单张图像，还能处理视频或图像序列，具备一定的推理能力。在EQA任务中，VLM作为推理引擎，根据观察到的视觉信息和文本问题生成答案或动作。

CoV框架的设计目标是增强现有VLM的空间推理能力，而不需要修改或重新训练这些模型。论文在OpenEQA、ScanQA和SQA3D等基准上评估了多种主流和专有VLM的性能提升。

研究动机

现有的具身问答方法使用有限且固定的视点集合作为输入，这严重限制了视觉-语言模型在推理时获取问题相关上下文的能力，阻碍了复杂的空间推理。具体来说，在复杂具身问答任务中，答案通常不是立即显现的，一个问题往往需要多步推理才能解决。例如，对于问题'哪里可以喝到饮料？'，场景中可能没有直接显示饮料，模型必须调用世界知识并自主导航到冰箱附近才能找到答案。然而，传统方法如Mo and Liu (2024)、Fu et al. (2024)、Zhu et al. (2024)等都受限于固定帧视频输入，只能从有限的时间窗口中推理，难以充分探索开放式的3D视点空间。在OpenEQA基准上，现有方法的表现仍有显著提升空间，表明被动观察范式无法满足复杂空间推理的需求。

本文的目标是本文的具体目标是提出一个训练无关的测试时推理框架，将视觉-语言模型转换为主动视点推理器，通过从粗到细的探索过程解决3D环境中的复杂空间推理问题。该框架应该能够在推理时动态选择信息丰富的视点并执行逐步推理，从而在不增加模型训练或数据集特定调整的情况下产生更完整和基于事实的答案。具体而言，作者希望在多个主流EQA基准（OpenEQA、ScanQA、SQA3D）上实现显著的性能提升，同时验证测试时扩展策略的有效性——即随着探索步骤的增加，代理的性能应该逐步提高。

与已有工作不同的是，本文的独特切入角度是重新思考具身问答，从'模型看到什么'转向'模型如何观察、记忆和推理'。与以往工作不同，CoV不是设计新的模型架构或添加额外的训练目标，而是通过提示工程在推理时赋予VLM主动探索空间的能力。作者提出了两阶段的粗到细视点调整策略：首先是粗粒度的视图选择，过滤冗余帧并识别问题对齐的锚点视图；然后是细粒度的视图调整，通过将迭代推理与离散相机动作交错，从3D场景表示中动态生成新视点。这种观点转换强调了视点感知推理的重要性，开创了一种新的、模型无关的改善3D EQA中空间推理的策略，无需额外的训练。

核心方法

CoV框架的整体思路是从被动的单步答案生成转向主动的多步探索和推理。该方法受思维链提示启发，但应用于视觉空间域。框架采用粗到细的两阶段策略：首先，视图选择代理（View Selection Agent）从可用的视点中过滤冗余帧，识别与问题最相关的锚点视图作为探索起点，同时提供鸟瞰图以促进全局环境理解；然后，CoV代理执行动作-推理循环，在每个步骤中，VLM基于当前观察和问题生成动作指令（如前进移动或向右旋转），该动作被映射到刚体相机变换，产生下一个观察，再反馈给VLM进行下一步推理。过程终止于CoV代理确定已收集足够信息回答问题，或达到预定义的动作步骤限制时，此时产生最终答案。这种粗到细的设计平衡了效率和精确性，先通过视图选择快速缩小搜索空间，再通过细粒度调整获取详细的视觉证据。

CoV的核心创新点是将测试时推理和主动视点探索相结合，通过提示工程使VLM能够在推理时动态调整其视角以获取问题相关的视觉证据，这与以往使用固定和有限视图集的方法有本质区别。具体而言，CoV的创新体现在三个关键方面：一是将思维链推理从文本域扩展到视觉空间域，通过相机动作序列而非文本推理链来逐步收集信息；二是粗到细的两阶段设计，先通过视图选择代理过滤冗余帧，再通过细粒度调整获取详细信息，平衡了计算效率和推理质量；三是测试时扩展能力，随着动作步骤数量的增加，代理的性能逐步提高，无需任何额外的训练或参数调整。CoV完全训练无关，可以与各种VLM无缝集成，这使其成为提升现有模型空间推理能力的即插即用解决方案，与需要模型架构修改或微调的3D VLM方法有本质不同。

方法步骤详情

CoV方法包含四个主要步骤。步骤1是输入准备：给定3D场景表示 $S$（如点云或网格）、自然语言查询 $Q$ 和从视频场景均匀采样（10:1比例）的帧序列 $V = \{v_1, ..., v_T\}$，目标是生成准确回答查询 $Q$ 的文本答案 $A$。步骤2是粗粒度视图选择：视图选择代理接收输入 $(Q, V)$，过滤最初可用的视图并提取与问题最相关的帧子集 $V' = \{v_{i_1}, ..., v_{i_K}\}$，其中 $K \ll T$。这一初始过滤步骤显著减少了输入数据的冗余，并将注意力集中在最可能包含回答问题信息的视图上。步骤3是细粒度视图调整：对于每个初始视图 $v_i \in V'$，CoV代理生成动作序列 $\{a_1, ..., a_L\}$，其中 $a_t \in A$，$A$ 表示代理的动作空间。动作空间包括平移动作（前移、后移、左移、右移、上移、下移）、旋转动作（偏航左右旋转、俯仰上下旋转、翻滚左右倾斜）和视图切换动作（切换到 $v_i, v_i \in V'$）。每个动作对应一个固定位移或角度调整。步骤4是迭代推理：代理的上下文在开始时定义为 $C_0 = \{Q, V'\}$，在每一步 $t$，CoV代理基于当前观察和问题生成动作指令 $a_t$，将其转换为SE(3)变换矩阵并更新相机姿态，产生新视点 $v_{t+1}^i = \text{Transform}(v_i; a_t, S)$，然后 $v_{t+1}^i$ 被追加到代理的上下文中，形成 $C_{t+1} = \{Q, V', v_1^i, ..., v_{t+1}^i\}$ 并输入模型进行下一步。过程终止于CoV代理确定已收集足够信息或达到预定义动作步骤限制时。

技术新颖性

CoV的技术新颖性体现在多个方面。首先，它将测试时推理的概念从文本域成功扩展到视觉空间域，通过相机动作序列而非传统的文本推理链来实现逐步推理，这是一个新颖的范式转换。其次，CoV提出的粗到细视图调整策略是一个技术上的创新点：粗粒度阶段通过视图选择代理快速过滤冗余帧，细粒度阶段通过动作-推理循环获取详细信息，这种分治策略有效平衡了计算效率和推理质量。第三，CoV利用3D场景表示动态生成新视点，这是一个技术上的突破，使代理能够观察从初始视图看不到的细节，如被遮挡或模糊的区域。第四，CoV的提示模板设计具有技术新颖性，特别是最小动作步骤约束和验证阶段的引入，强制代理执行足够的探索步骤，从而改善了测试时扩展能力。第五，CoV完全训练无关且模型无关，这使其成为提升现有VLM空间推理能力的即插即用解决方案，与需要模型架构修改或微调的3D VLM方法有本质区别。

**Figure 1**: The Chain-of-View prompting framework

**Figure 3**: Action-reasoning chain of the CoV agent

实验结果

实验结果在多个维度验证了CoV框架的有效性。在OpenEQA基准上，CoV在四个主流开源和专有VLM（Qwen3-VL-Flash、GLM-4.6V、GPT-4o-mini、Gemini-2.5-Flash）上实现了平均11.56%的提升，最大提升达到13.62%（在Qwen3-VL-Flash上）。更令人印象深刻的是测试时扩展能力：当最小动作步骤从1增加到7时，所有模型的性能都逐步提高，平均额外提升2.51%，其中Gemini-2.5-Flash达到峰值3.73%。在ScanQA数据集上，CoV使用GPT-4.1、Gemini Pro Flash和InternVL的零-shot设置下，在CIDEr指标上达到116，超过LEO的101.4，在EM@1上达到31.9%。在SQA3D数据集上，CoV在EM@1上达到51.1%。消融研究表明，移除粗粒度视图选择代理会导致平均4.59%的性能下降（Qwen3-VL-Flash从59.03降至57.50，GLM-4.6V从67.20降至62.43，GPT-4o-mini从49.60降至46.74，Gemini-2.5-Flash从58.80降至57.11），证明该组件的必要性。定性分析显示，CoV在复杂或杂乱环境中产生更连贯和可解释的推理链，能够准确定位物体并推理空间关系，与空间布局和问题语义高度一致。

**Table 1**: Quantitative comparison with SOTA models on ScanQA (val) and SQA3D (test)

**Table 2**: Performance comparison on the OpenEQA benchmark

**Table 3**: Ablation study on view selection component

**Figure 4**: Visualization of CoV reasoning results

**Figure 6**: Test-time scaling ability of CoV

查看结构化数据

任务	指标	本文	基线	提升
OpenEQA (LLM-Match)	LLM-Match (%)	66.30 (Qwen3-VL-Flash, 7步)	52.65 (Qwen3-VL-Flash基线)	+13.62%
OpenEQA (LLM-Match)	LLM-Match (%)	67.70 (GLM-4.6V, 6步)	62.40 (GLM-4.6V基线)	+8.50%
OpenEQA (LLM-Match)	LLM-Match (%)	51.62 (GPT-4o-mini, 7步)	45.87 (GPT-4o-mini基线)	+12.40%
OpenEQA (LLM-Match)	LLM-Match (%)	59.23 (Gemini-2.5-Flash, 6步)	52.30 (Gemini-2.5-Flash基线)	+11.70%
ScanQA (CIDEr)	CIDEr	116 (零-shot)	101.4 (LEO)	+14.6
ScanQA (EM@1)	Exact Match @1 (%)	31.9 (零-shot)	24.5 (LEO)	+7.4%
SQA3D (EM@1)	Exact Match @1 (%)	51.1 (零-shot)	54.2 (Scene-LLM)	-3.1% (与专门训练的3D VLM相比)

局限与改进

作者承认CoV方法存在几个局限性。首先，粗到细范式可能在高度动态或杂乱环境中遇到困难，快速上下文切换可能导致对场景元素的误解。其次，当动作轨迹过长时，过度探索可能会引入噪声或幻觉，影响推理准确性。第三，CoV的有效性依赖于所选视图的质量和相关性，次优的视图选择会损害推理精度。作者认为这些限制可以通过开发先进的视图选择算法和自适应推理机制来应对。从我的观察来看，CoV还存在一些潜在限制：第一，方法严重依赖3D场景表示的质量，如果场景重建不准确或存在大量噪声，SE(3)变换和视图渲染可能产生不准确的观察。第二，方法假设动作空间是离散的（固定位移和角度），这在某些场景中可能不够灵活，无法精确到达目标位置或角度。第三，虽然CoV展示了测试时扩展能力，但计算成本随动作步骤线性增长，这可能限制在实时应用中的实用性。第四，方法主要在室内环境（ScanNet和HM3D）中评估，在室外或更大规模环境中的有效性尚未验证。

独立分析的弱点

基于对论文的分析，CoV存在几个可以改进的弱点。第一，固定离散动作空间限制了探索精度，改进方向可以是采用连续动作空间，允许更精细的位置和角度调整，或者学习自适应的动作步长以平衡探索效率和精度。第二，视图选择代理是单次过滤，没有迭代优化，改进方向可以是引入多轮视图选择，基于初步推理结果动态调整候选视图集合，或者使用基于梯度或基于学习的方法优化视图选择策略。第三，终止条件基于代理的自我判断，可能过早终止或过度探索，改进方向可以是设计更智能的终止条件，基于信息增益、置信度阈值或答案一致性指标来决定何时停止探索。第四，方法没有考虑动作之间的依赖关系，改进方向可以是将历史动作序列编码到上下文中，使代理能够学习更复杂的探索策略，避免重复或无效的动作。第五，鸟瞰图提供全局信息但可能缺乏细节，改进方向可以是提供多尺度全局表示，结合鸟瞰图和其他摘要信息，如场景图或对象布局图。

未来方向

作者提出的未来研究方向包括开发先进的视图选择算法和自适应推理机制，以应对高度动态或杂乱环境中的挑战。基于CoV的成果，可以延伸出多个有前景的研究方向。第一，将CoV与学习型方法结合，设计能够从经验中学习探索策略的代理，通过强化学习或模仿学习优化动作选择和视图选择策略，从而在推理时更高效地探索空间。第二，扩展CoV到多模态探索，除了视觉信息外，还可以利用其他传感器数据（如深度信息、语义分割、物体检测）来增强空间推理能力。第三，应用CoV到其他需要空间推理的任务，如具身导航、视觉定位、3D目标检测和密集字幕生成，验证框架的通用性。第四，研究CoV在更大规模和更复杂环境中的有效性，包括室外场景、多层建筑和动态环境，测试框架的鲁棒性和可扩展性。第五，探索CoV与模型内在推理能力的结合，通过提示工程或轻量级微调，使模型更好地协调视觉观察和空间推理，进一步提升性能。第六，开发更高效的视点采样和渲染技术，降低计算成本，使CoV能够在实时应用中部署。

复现评估

论文提供了代码链接（https://github.com/ziplab/CoV），表明方法已开源，这有助于复现。数据方面，使用的基准（OpenEQA、ScanQA、SQA3D）都是公开可用的标准数据集，OpenEQA基于ScanNet和HM3D（超过180个真实世界环境），ScanQA包含超过41,000个问题-答案对，SQA3D包含33,400个推理问题跨越6,800个独特情况。算力方面，论文没有明确报告具体的硬件配置和计算成本，但由于CoV在推理时需要执行多个步骤，每个步骤涉及VLM推理和视点渲染，计算成本会比基线方法高，这可能是实际应用的考虑因素。复现难度方面，虽然代码开源，但需要准备3D场景表示和相机参数，这增加了设置复杂度。提示模板在附录中提供，但具体的参数设置（如动作步长、旋转角度等）可能需要调整。总体而言，论文提供了足够的细节来复现核心结果，但完整的复现可能需要一定的技术基础和计算资源。

CoV：用于空间推理的视点链提示 CoV: Chain-of-View Prompting for Spatial Reasoning