全景图像中的功能预测研究

首次探索全景功能预测任务，提出PAP-12K数据集和模拟人眼中央凹视觉的PAP框架

前置知识

Affordance（功能/可能性）

功能是指环境为智能体提供的行动可能性。这个概念由Gibson在1977年提出，描述了物体与环境之间潜在的关系，即某个物体在特定场景中可以被如何使用或与之交互。例如，椅子提供'坐'的功能，杯子提供'握'和'盛'的功能。在计算机视觉和具身智能领域，功能预测任务要求算法识别图像中哪些区域可以执行特定动作，通常以像素级分割掩码的形式输出。这不同于物体识别，因为它关注的是交互可能性而非类别标签。

本文核心主题就是功能预测，理解这个概念是理解论文目标和贡献的基础。论文要解决的问题是如何在360度全景图像中进行功能预测，这需要先理解什么是功能以及它在具身AI中的作用。

Pinhole Camera Model（针孔相机模型）

针孔相机模型是传统摄影和计算机视觉中使用的成像模型，它模拟光线通过一个小孔在成像平面上形成图像的过程。这种模型具有有限的视场角（Field of View, FoV），通常在50-70度左右，就像人眼聚焦观看某个方向时的视野。其数学表达为$P = K[R|t]P_{world}$，其中$K$是内参矩阵，$R$和$t$是外参。这种模型的局限在于无法同时捕获环境的全局信息，需要旋转相机或移动位置才能看到周围环境。

论文明确指出现有功能预测方法都局限于针孔相机模型，这导致了'隧道视野'问题。理解这个模型及其局限，才能理解为什么论文要转向全景相机和360度成像。

Equirectangular Projection（等距柱状投影，ERP）

等距柱状投影是将360度全景球体图像映射到2D平面的常用方法。它将经度$\theta$线性映射到x坐标，将纬度$\phi$映射到y坐标：$x = \frac{\theta + \pi}{2\pi}W$，$y = \frac{\phi}{\pi}H$。这种投影的优点是简单直接，保留了球面上所有点的角度信息；但缺点是会引入严重的几何畸变，特别是靠近极点区域（图像顶部和底部）的对象会被极度拉伸。此外，在ERP图像中，跨越左右边界的连续对象会被分割成两部分，即边界不连续问题。

PAP-12K数据集中的全景图像使用ERP格式存储，论文提到的三大挑战（几何畸变、极端尺度变化、边界不连续性）都与ERP投影直接相关。理解ERP的这些特性是理解PAP方法中自适应凝视机制的关键。

Vision-Language Models（视觉语言模型，VLMs）

视觉语言模型是能够同时处理图像和文本输入的多模态大模型，如GPT-4V、Qwen-VL等。它们通过在大规模图文对数据上预训练，学习视觉特征与语言语义之间的对齐关系，从而能够执行视觉问答、图像描述、视觉推理等任务。VLMs的典型架构包括视觉编码器（如ViT）提取图像特征、语言模型（如LLM）处理文本，以及跨模态注意力机制实现特征融合。近年来，VLMs在零样本泛化、复杂推理和开放词汇识别方面表现出强大能力，成为计算机视觉和具身智能研究的重要工具。

PAP框架使用Qwen3-VL-32B作为VLM骨干，用于执行语义推理和粗略定位。理解VLMs的能力和局限（如在高分辨率图像上的空间定位困难）是理解论文中递归视觉路由设计的基础。

Foveal Visual System（中央凹视觉系统）

人类中央凹视觉系统是指视网膜中央凹区域的视觉机制，它是人眼视觉最敏锐的区域。人类观看场景时并非均匀地观察所有部分，而是先通过周边视觉快速扫描整个场景，识别感兴趣区域（Region of Interest, ROI），然后移动眼球使中央凹对准该区域进行高分辨率精细观察。这种机制既保证了全局感知效率，又确保了局部细节精度。在计算机视觉中，模拟这种由粗到细的观察策略可以有效处理高分辨率图像，避免同时处理全局和局部细节带来的计算负担。

PAP框架的核心灵感来源就是人类中央凹视觉系统。整个流水线——从粗略定位到聚焦凝视再到精细分割——都是对这种视觉机制的模仿。理解这个概念有助于理解PAP方法的设计哲学和有效性。

研究动机

现有功能预测研究面临一个根本性局限：几乎都基于针孔相机模型，这导致严重的'隧道视野'问题。针孔相机的视场角通常只有50-70度，无法一次性捕获环境的全局空间关系。在实际场景中，这迫使机器人频繁转动或移动以收集足够的环境信息，增加了时间成本和计算负担。更严重的是，缺乏全局视野意味着智能体经常错过位于周边或后方的重要环境线索或潜在交互目标，导致任务规划效率低下、决策不够优化。论文引用了多项最新研究（Zhang et al., 2025c; Wang et al., 2025a; Wu et al., 2025）都受限于这一模型。作者在实验中验证，现有的最先进方法（如A4-Agent、Affordance-R1）在全景图像上性能急剧下降，直接应用于全景环境时几乎完全失败。

本文的目标是本文的具体目标是首次探索全景功能预测这一新兴任务，解决针孔相机模型的局限性。具体而言，论文希望实现三个目标：第一，建立适合全景功能预测的基准数据集，因为该领域缺乏合适的评估工具；第二，开发能够处理全景图像独特挑战（超高分辨率、严重几何畸变、极端尺度变化、边界不连续性）的有效方法；第三，证明360度全景视野能够为具身智能提供更全面的行动可能性理解，从而提升下游机器人应用的性能。论文强调，不需要专门的全景微调，而是通过巧妙的流水线设计让现有强大的2D视觉基础模型在全景图像上发挥作用。

与已有工作不同的是，本文的独特切入角度在于首次将功能预测从传统透视图像扩展到360度全景图像。虽然全景视觉在空间导航（Huang and Yeung, 2022; Chen et al., 2024）和场景理解（Gao et al., 2022; Zheng et al., 2026）中已有广泛应用，但其在帮助智能体'行动'——即通过功能推理——方面的潜力仍未被探索。现有全景数据集（如SUN360、Matterport3D、Stanford2D3D等）只关注场景重建、导航或问答，完全不涉及功能预测。而现有功能数据集（如UMD、ReasonAff、RAGNet等）都是基于针孔相机的低分辨率图像。本文填补了这两个研究领域的空白，将全景的全局感知能力与功能预测的行动推理能力结合起来。

核心方法

PAP框架的总体思路是模拟人类中央凹视觉系统，采用由粗到细的三阶段流水线来解决全景功能预测问题。整个方法不需要任何训练，完全基于现有强大的视觉基础模型。直觉上，就像人类观看一个超大场景时不会同时看清所有细节，而是先大致扫视整个场景找到感兴趣的区域，然后移动眼睛聚焦到该区域，最后仔细观察其中的具体物体。PAP将这个直觉转化为技术实现：第一阶段，递归视觉路由通过网格提示让VLM在全局范围内粗略定位目标；第二阶段，自适应凝视机制将ERP图像中的局部球形区域投影到透视平面，消除几何畸变；第三阶段，级联功能接地使用开放词汇检测器和SAM在矫正后的补丁上进行精确实例级分割。这种设计巧妙地分解了360度接地这个难题，让每个模块都发挥各自基础模型的优势。

PAP的核心创新点在于将复杂的360度全景功能预测问题分解为三个可管理的子问题，每个子问题都有针对性地设计了解决方案，且这些解决方案都利用了现有基础模型的优势而不需要专门训练。与已有方法的本质区别在于：第一，PAP认识到VLM虽然具有强大的语义推理能力，但在高分辨率全景图像上的空间定位能力有限，因此引入视觉网格提示将连续定位转化为离散选择题；第二，PAP认识到ERP投影的几何畸变会破坏2D基础模型的预训练先验，因此设计自适应凝视作为无训练的域适配器；第三，PAP认识到极端尺度变化是全景图像的独特挑战，因此提出递归视觉路由动态调整分辨率。这三个设计共同构成了PAP的有效性基础。

方法步骤详情

PAP方法的完整步骤如下。输入是ERP格式的全景图像$I_{ERP}$和任务描述$T$。第一步，递归视觉路由：在图像上叠加4×3数字网格（索引1-12），将图像和任务描述输入VLM（Qwen3-VL-32B），要求VLM输出能够完成任务的对象描述$T_{obj}$和包含目标的网格索引。如果目标跨越多个网格，说明当前分辨率足够，递归终止；如果目标仅占一个网格，说明对象太小，则裁剪该网格，叠加新网格，递归调用。为平衡计算成本，第一轮将全景图下采样到2000×1000（约1/6缩放），第二轮将裁剪区域下采样到1500×1000（约1/2缩放）。第二步，自适应凝视：根据网格中心的纬度$\phi_c$和经度$\theta_c$调整相机主点（切点），然后根据网格位置和尺寸自适应缩放视场角FoV，将局部球形区域投影到切平面，得到透视图像$I_{persp}$。这个过程消除了ERP的几何畸变和边界不连续性。第三步，级联功能接地：使用开放词汇检测器（Rex-Omni）扫描$I_{persp}$，根据$T_{obj}$生成边界框$B$和关键点$P$；然后将$B$和$P$作为密集空间提示输入SAM-2-Large，提取精确的实例级分割掩码$M_{persp}$；最后通过逆透视-球形投影变换将$M_{persp}$映射回原始ERP空间，得到最终全景掩码$M_{ERP}$。整个流水线的推理时间约10秒。

技术新颖性

PAP的技术新颖性体现在多个方面。第一，这是第一个全景功能预测框架，开创了一个全新的研究方向。第二，视觉网格提示机制将复杂的连续空间定位问题转化为VLM可处理的离散多选题，这是一个简单但有效的技巧，显著提升了VLM在高分辨率图像上的定位能力。第三，自适应凝视机制是一个无训练的域适配器，通过球面到透视平面的投影消除了ERP的几何畸变，让2D基础模型无需全景微调即可工作。第四，递归视觉路由动态调整分辨率策略，既处理了极端尺度变化，又保持了计算效率。消融实验显示，移除任何核心组件都会导致显著性能下降，证明这些设计都是必要且有效的。值得注意的是，PAP完全不需要训练，这使得它具有很好的泛化能力和实用性。

**Figure 5**: Illustration of the PAP framework

实验结果

论文在PAP-12K数据集上进行了全面的实验验证。主要结果如表2所示，PAP在所有四个评估指标上都显著优于现有最先进方法。具体而言，PAP达到了71.56%的gIoU（广义交并比）和62.30%的cIoU（累积交并比），超过次优方法A4-Agent的绝对幅度分别为9.01%和12.33%。在精度指标上，PAP获得75.49%的P50（IoU阈值0.5的精度）和64.97%的P50-95（IoU阈值0.5到0.95的平均精度），展示了卓越的精确功能定位和分割能力。论文还将数据集分为Hard和Normal子集，基于对象是否过大（超过图像30%）、过小（小于0.1%）或跨越左右边界来判断。如表3所示，在Hard子集上，PAP的优势更加明显：gIoU和cIoU分别超过A4-Agent 17.60%和16.17%，P50和P50-95分别超过17.34%和21.79%。这证明了PAP有效解决了全景ERP图像的极端尺度变化和边界不连续性挑战。消融实验（表4-6）验证了三个核心组件的有效性：视觉网格提示比纯文本描述提升显著；递归视觉路由在Hard子集上带来更大提升（cIoU提升12.30%）；自适应凝视移除后性能大幅下降（gIoU下降7.70%），证明ERP畸变确实破坏了2D模型的先验。定性比较（图6）显示，PAP在对象过大、过小、跨越边界或严重畸变等挑战场景下都能稳健完成任务，而其他方法往往失败。

**Table 1**: Comparison of our proposed PAP-12K with existing affordance and panoramic datasets

**Table 3**: Comparison on different difficulty levels of PAP-12K

**Figure 6**: Qualitative comparison on PAP-12K

查看结构化数据

任务	指标	本文	基线	提升
全景功能预测（整体性能）	gIoU（广义交并比）	71.56%	A4-Agent: 62.55%	+9.01%（绝对提升）
全景功能预测（整体性能）	cIoU（累积交并比）	62.30%	A4-Agent: 49.97%	+12.33%（绝对提升）
全景功能预测（整体性能）	P50（IoU=0.5的精度）	75.49%	A4-Agent: 67.09%	+8.40%（绝对提升）
全景功能预测（整体性能）	P50-95（IoU阈值0.5-0.95平均精度）	64.97%	A4-Agent: 54.28%	+10.69%（绝对提升）
全景功能预测（困难样本）	gIoU（广义交并比）	60.35%	A4-Agent: 42.75%	+17.60%（绝对提升）
全景功能预测（困难样本）	cIoU（累积交并比）	52.59%	A4-Agent: 36.42%	+16.17%（绝对提升）
全景功能预测（推理时间）	Inference Time	~10秒	A4-Agent: ~11.8秒	-1.8秒（更快）

局限与改进

论文承认的局限性包括：首先，虽然PAP在PAP-12K上表现优异，但该数据集只包含室内场景，室外环境（如城市街道、自然场景）的功能预测能力尚未验证。其次，PAP依赖于VLM的语义推理能力，如果任务描述过于抽象或需要领域知识，VLM可能无法准确推断出所需工具对象。第三，虽然PAP推理时间约10秒可接受，但对于需要实时响应的机器人应用可能还不够快。第四，PAP-12K的数据采集主要使用Insta360-X5相机，相机固定在三角架上，这可能与实际机器人（移动机器人、无人机）的动态视角存在差异。作者还提到，递归视觉路由虽然有效，但理论上可能无限递归（虽然实践中很少超过2轮），这需要设置最大递归深度作为安全措施。从我的观察来看，PAP-12K的1003张图像虽然涵盖了12类场景，但与现有大规模数据集（如RAGNet的273k图像）相比，数据规模仍然较小，这可能影响模型的泛化能力。此外，论文没有讨论动态场景或视频输入的情况，而实际机器人应用中环境是动态变化的。

独立分析的弱点

从独立分析的角度，我观察到以下几个弱点及可能的改进方向。第一，PAP依赖硬编码的4×3网格，这个网格大小可能不适合所有场景。改进方向可以是自适应网格：根据图像分辨率和目标大小动态调整网格密度，或者使用多个尺度的网格并行推理。第二，自适应凝视机制需要手动设置FoV缩放参数，这可能不够鲁棒。改进方向可以是学习FoV预测：使用一个小型的网络根据目标大小预测最优FoV，或者基于目标在ERP图像中的位置自动计算FoV。第三，PAP的递归深度和下采样比例是启发式设定的（第一轮1/6，第二轮1/2），这可能不是最优的。改进方向可以是学习自适应下采样策略：根据图像复杂度和目标显著性动态调整每轮的下采样比例和递归深度。第四，PAP在级联接地阶段使用固定的OVD和SAM，这两个模型的参数和超参数没有针对全景图像优化。改进方向可以是微调基础模型：在全景图像上对OVD和SAM进行轻量级微调，或者使用专门为全景图像设计的分割模型。第五，PAP-12K的数据标注主要依靠人工和MLLM辅助，可能存在标注偏差。改进方向是引入多轮标注验证和标注者一致性评估，提高数据质量。第六，PAP没有考虑动态信息和时序上下文，而实际机器人应用中可以利用视频序列的多帧信息。改进方向是扩展到视频输入：利用多帧间的对应关系和运动线索提升功能预测的鲁棒性。

未来方向

作者提出的未来工作方向包括：首先，扩展PAP-12K数据集到更多样的场景和对象类型，包括室外环境、工业场景等。其次，探索将PAP框架应用到下游具身任务中，如任务规划、工具使用、对象操作等，验证全景功能预测的实际价值。第三，研究如何将PAP与具身智能的感知-行动循环深度集成，实现端到端的机器人系统。基于PAP的成果，我认为可以延伸以下研究方向：第一，研究动态场景中的全景功能预测，利用视频序列的时序信息处理移动对象和变化的交互可能性。第二，探索多模态全景功能预测，结合深度、激光雷达、红外等多传感器信息提升预测鲁棒性。第三，研究交互式功能预测，允许用户通过自然语言对话与系统交互，动态调整预测结果。第四，探索PAP在VR/AR和元宇宙中的应用，如帮助虚拟助手理解虚拟环境中的交互可能性。第五，研究全景功能预测的可解释性，分析模型在做出预测时的关键视觉证据和推理路径，这对于信任度和调试都很重要。第六，探索轻量化PAP，使其能在边缘设备（如移动机器人、无人机）上实时运行，这可能需要模型压缩、知识蒸馏等技术。

复现评估

论文在可复现性方面表现良好。作者声明将在GitHub上开源代码和数据集（https://github.com/EnVision-Research/PAP），项目页面也提供了更多细节（https://zixinzhang02.github.io/Panoramic-Affordance-Prediction/）。PAP-12K数据集包含1003张超高清全景图像（11904×5952），13493个QA对，6103个标注对象实例。数据采集使用Insta360-X5专业相机，质量有保证。方法实现依赖的基础模型都是公开的：Qwen3-VL-32B（VLM）、Rex-Omni（OVD）、SAM-2-Large（分割）。实验使用的评估指标（gIoU、cIoU、P50、P50-95）是标准且可计算的。论文提供了详细的实现细节：第一轮下采样到2000×1000，第二轮下采样到1500×1000，网格为4×3，FoV自适应调整等。消融实验也提供了足够的信息帮助理解每个组件的贡献。从算力需求来看，PAP推理约需10秒，这意味着需要GPU加速，但不需要训练，因此硬件门槛相对较低。总体而言，论文的可复现性评分较高，研究者应该能够基于开源代码和数据复现主要结果。需要注意的是，超高清全景图像（12K）的存储和传输可能需要大量磁盘空间和网络带宽，这可能是复现的一个小障碍。

全景图像中的功能预测研究 Panoramic Affordance Prediction