在真实世界中学习情境感知

提出SAW-BENCH基准测试，评估多模态模型在第一人称视角下的空间情境感知能力

前置知识

情境感知（Situated Awareness）

情境感知是指智能体将自身与周围物理环境建立关联，并在具体情境中推理可能行动的能力。这一概念源于认知科学，强调人类的空间认知不是从全局、静态的第三人称视角进行的，而是持续地相对于自身的身体、位置和运动方向进行空间更新。在机器人学和AR/VR中，情境感知意味着系统不仅要识别场景中的物体，还要精确追踪物体相对于自身的位置关系，并基于这种自我中心的（egocentric）空间表征做出决策。

本文的核心研究对象就是情境感知能力。理解这一概念是理解论文动机、任务设计和评估框架的基础，因为它区别于传统的环境中心（environment-centric）空间推理，定义了本文独特的研究视角。

多模态基础模型（Multimodal Foundation Models, MFMs）

多模态基础模型是指能够处理多种模态输入（如文本、图像、视频等）的大规模预训练模型。本文评估的MFMs包括开源模型（如Qwen2.5-VL、Qwen3-VL、InternVL、LLaVA系列）和闭源商业模型（如GPT-5.2、Gemini系列）。这些模型通常通过大规模视觉-语言预训练获得强大的视觉理解和推理能力，但本文发现它们在情境感知任务上仍存在显著缺陷。

本文的主要实验对象就是17个开源和6个闭源的MFMs。理解这些模型的能力和局限性是理解实验结果和模型失败模式的前提。

第一人称视频（Egocentric Video）

第一人称视频是指从观察者（佩戴者）视角拍摄的视频，模拟人眼观察世界的方式。与第三人称视频不同，第一人称视频直接编码了物体相对于相机佩戴者的出现位置、视野如何随头部和身体运动而变化、以及环境可见性如何随时间演变等信息。本文使用Ray-Ban Meta（第二代）智能眼镜录制的第一人称视频作为评估情境感知的自然传感模态。

第一人称视频是本文数据收集的核心模态，它天然地编码了观察者中心的空间结构，这对于评估情境感知能力至关重要。理解第一人称视频的特点有助于理解任务设计的合理性和模型面临的真实挑战。

路径积分（Path Integration）

路径积分是认知科学中的一个概念，指生物体通过累积局部的、情境化的自我运动更新来构建更大尺度的观察者感知地图的过程。在人类导航中，路径积分使得我们能够在没有外部参考的情况下追踪自己的位置和方向。然而，这一过程对噪声非常敏感，特别是方向变化会引入累积误差，导致空间表征的漂移。

本文发现模型在路径积分类任务（如相对方向、路线形状）上表现出与人类类似的误差累积模式，这为理解模型失败提供了认知科学视角的解释。

空间可供性（Spatial Affordance）

空间可供性是指环境为观察者提供的行动可能性，由物体的物理属性和观察者的身体能力共同决定。例如，一把椅子提供了坐下的可能性，一个按钮提供了按压的可能性。在本文中，空间可供性任务评估模型是否能从第一人称视角判断特定动作是否可行（如我能否在不移动脚步的情况下触摸到自动售货机的按钮？）。

空间可供性是本文六个评估任务之一，它考察的是模型对环境物理约束和自身行动能力的理解，是情境感知的重要组成部分。

研究动机

现有的多模态基础模型评估基准主要关注环境中心的空间关系，即场景中物体之间的相对关系，而忽略了观察者中心的空间关系，即需要相对于观察者的视角、姿态和运动进行推理的关系。具体而言，VSI-Bench、MindCube等基准评估的是物体-物体交互、距离估计和离散心理模拟，这些任务将模型视为被动的外部观察者，而非具有自身视角和运动能力的主动智能体。这种评估方式忽略了情境感知的核心：持续的实时空间更新，即观察者如何基于自身的运动和视角变化来理解空间关系。认知科学研究表明，情境感知依赖于路径积分机制，其中局部的、情境化的更新被累积为更大尺度的观察者感知地图。因此，情境感知的失败不仅仅是局部错误，更会产生级联的空间理解漂移，严重降低系统的空间和时间理解能力。

本文的目标是本文旨在填补现有评估框架中的这一关键空白，提出SAW-BENCH（Situated Awareness in the Real World），一个用于评估多模态基础模型情境感知能力的新型基准测试。具体目标包括：（1）构建一个包含真实世界第一人称视频的评估数据集，这些视频使用Ray-Ban Meta智能眼镜在多样化的室内外环境中录制；（2）设计六个覆盖情境感知不同方面的评估任务，包括自我定位、相对方向、路线形状、逆向路线规划、空间记忆和空间可供性；（3）对现有MFMs进行全面评估，揭示人类与模型之间的性能差距，并分析模型失败的系统性模式。

与已有工作不同的是，本文的独特切入角度在于将评估焦点从被动的环境观察转向主动的情境感知。与现有基准相比，SAW-BENCH具有以下独特特征：（1）完全的第一人称视角，所有视频从观察者自身视角拍摄，而不是使用外部相机或重建的3D场景；（2）动态的情境定义，通过观察者的轨迹和运动来定义情境，而不是静态的固定位置和方向；（3）覆盖导航和非导航方面，包括空间记忆和空间可供性等传统基准未涉及的能力；（4）使用真实世界视频而非重建场景，降低了数据收集成本，更贴近实际的具身感知场景。这种设计使得评估能够真正考察模型的观察者中心空间理解能力，而非仅仅是环境中心的物体关系推理。

核心方法

本文的方法论可以概括为设计-收集-评估三阶段流程。首先，基于认知科学对情境感知的分解，设计了六个评估任务，每个任务考察情境感知的一个特定方面。然后，通过预先定义的轨迹协议和轻量级的录制指南，使用Ray-Ban Meta智能眼镜在多样化的室内外环境中收集第一人称视频。最后，对收集的视频进行质量检查和问答标注，构建包含2071个问答对的评估基准。在评估阶段，本文对17个开源和6个闭源的多模态基础模型进行了零样本评估，并与人类性能进行了对比分析。整个方法强调真实世界数据、任务多样性和评估的全面性。

本文的核心创新在于将情境感知从抽象的认知科学概念转化为可操作的评估任务，并设计了相应的数据收集和评估框架。与已有基准的本质区别在于：（1）任务设计的理论基础，六个任务直接源于认知科学对空间记忆、空间更新、路径积分和空间可供性的研究，确保评估的系统性和完整性；（2）数据收集的生态效度，使用真实世界的第一人称视频而非合成数据或重建场景，保持了自然人类运动的复杂性和真实性；（3）评估的零样本设置，不进行任何任务特定的微调，直接测试模型的泛化能力；（4）全面的失败模式分析，不仅报告总体性能，还深入分析了四种系统性的模型失败模式，为未来的模型改进提供了具体方向。

方法步骤详情

SAW-BENCH的构建遵循以下步骤：（1）任务设计，基于认知科学文献定义六个情境感知任务：自我定位（9.66%的问题）、相对方向（40.27%）、路线形状（26.36%）、逆向路线规划（11.06%）、空间记忆（4.83%）、空间可供性（7.82%）；（2）轨迹预定义，设计46种相机轨迹，包括原地转向、曼哈顿式分段线性、简单几何形状和额外视频收集四类；（3）视频收集，参与者遵循录制协议，在15个场景（10个室外、5个室内）中使用Ray-Ban Meta智能眼镜录制786个第一人称视频，每个场景约40-60个视频；（4）质量控制，每个视频由人工审查，剔除存在快速头部运动、关键物体可见性差等问题的视频，并重新录制；（5）问答标注，基于预定义轨迹和已知的元信息进行标注，每个问答对由两名标注者独立标注，标注者间一致性通过Cohens kappa评估（相对方向0.987，逆向路线规划0.952）；（6）评估流程，使用正则表达式解析器从模型原始响应中提取答案，失败时使用GPT-4o-mini进行辅助提取，使用准确率作为主要评估指标。

技术新颖性

本文的技术新颖性体现在多个层面。首先，在任务定义上，将认知科学的情境感知理论转化为六个可操作的评估任务，这是首次在多模态模型评估中系统地覆盖情境感知的各个方面。其次，在数据收集上，采用预先定义轨迹协议的设计，既保证了标注的确定性和一致性，又保留了自然人类运动的灵活性。第三，在评估设置上，采用零样本评估，直接测试模型的泛化能力，而非通过任务特定微调来提升性能。第四，在分析方法上，不仅报告总体性能，还深入分析了四种系统性的模型失败模式：相机旋转与平移运动的混淆、轨迹复杂度导致的误差累积、视角依赖记忆与持久世界状态记忆的不匹配、以及环境开放性与推理难度的非单调关系。这些发现为未来的模型改进提供了具体的、可操作的指导。

实验结果

本文对17个开源和6个闭源的多模态基础模型进行了全面评估，揭示了情境感知能力是当前模型面临的重大挑战。总体而言，即使是最优模型Gemini 3 Flash，准确率也仅为53.89%，与人类性能91.55%相比存在37.66%的显著差距。在六个任务中，人类在所有任务上的表现都显著优于模型，其中空间记忆任务（人类88.50% vs 最优模型66.00%）和空间可供性任务（人类79.01% vs 最优模型70.99%）的差距相对较小，而自我定位任务（人类94.00% vs 最优模型53.00%）和相对方向任务（人类89.39% vs 最优模型41.13%）的差距最为显著。闭源模型整体表现优于开源模型，其中Gemini系列模型在大多数任务上表现最佳，GPT-5.2在某些任务上也表现良好。开源模型中，Qwen3-VL 235B表现最好（41.40%），但与闭源最优模型仍有较大差距。值得注意的是，盲LLM（仅使用文本）和苏格拉底模型（使用视频字幕）的表现仅略高于随机基线（31.34% vs 27.49%），表明有效的情境感知需要直接的视觉信息，仅靠高级语义摘要是不够的。

查看结构化数据

任务	指标	本文	基线	提升
总体准确率	准确率(%)	人类91.55%，最优模型53.89%	随机基线27.49%，频繁基线29.55%	人类-模型差距37.66%
自我定位	准确率(%)	人类94.00%，最优模型53.00%	随机基线34.00%	人类-模型差距41.00%
相对方向	准确率(%)	人类89.39%，最优模型41.13%	随机基线25.90%	人类-模型差距48.26%
路线形状	准确率(%)	人类97.62%，最优模型66.12%	随机基线21.43%	人类-模型差距31.50%
逆向路线规划	准确率(%)	人类93.01%，最优模型65.50%	随机基线27.51%	人类-模型差距27.51%
空间记忆	准确率(%)	人类88.50%，最优模型66.00%	随机基线28.00%	人类-模型差距22.50%
空间可供性	准确率(%)	人类79.01%，最优模型72.22%	随机基线56.17%	人类-模型差距6.79%

局限与改进

本文的局限性包括以下几个方面。首先，数据规模相对有限，仅包含786个视频和2071个问答对，这可能限制了评估的统计功效和结论的泛化性。其次，场景多样性有限，仅覆盖15个场景（10个室外、5个室内），且大多数视频来自这些核心场景的密集采集，可能无法完全代表真实世界场景的多样性。第三，录制协议的限制，虽然设计了46种预定义轨迹，但参与者仍有一定的执行自由度，这可能引入标注噪声。第四，评估设置的局限，所有模型都在零样本设置下评估，没有探索微调或提示工程对性能的提升效果。第五，计算资源限制，部分开源模型（如InternVL系列）由于计算限制只能处理8帧或32帧视频，可能影响了其性能表现。第六，作者承认的潜在影响是，模型如果在这些任务上表现良好，可能被集成到可能造成危害的应用中，需要负责任的部署实践。

独立分析的弱点

基于对论文的深入分析，我认为存在以下主要弱点：（1）任务分布不均衡，相对方向任务占40.27%，而空间记忆和空间可供性任务分别仅占4.83%和7.82%，这可能导致评估结果过度偏向某些能力而忽略其他重要方面；（2）视频长度分布不均，不同任务的视频长度差异较大（从几秒到70秒），但评估时可能没有充分考虑这一因素对模型性能的影响；（3）缺乏对模型内部表征的分析，虽然识别了四种失败模式，但没有深入探究这些失败的神经网络机制，如注意力模式、特征表示等；（4）没有探索模型组合或提示工程的潜力，仅评估了单个模型的零样本性能；（5）场景主要来自大学校园环境，可能无法代表更广泛的真实世界场景分布。改进方向包括：增加任务样本的均衡性、引入更系统的视频长度控制、结合模型可解释性技术分析失败原因、探索提示工程和模型组合策略、以及扩展数据收集到更多样化的场景。

未来方向

作者提出的未来研究方向包括：（1）开发能够持续更新观察者中心空间状态的多模态系统，这需要模型不仅理解可见的内容，还要推理自身的位置、运动方式以及在动态环境中的行动能力；（2）研究情境感知在机器人学、AR/VR和辅助技术等实际应用中的部署，这些领域需要从具身智能体或人类佩戴者的视角理解空间关系；（3）探索负责任的部署实践，防止模型能力被滥用。基于本文成果可延伸的研究方向包括：（1）将SAW-BENCH扩展到更多样化的真实世界场景，如家庭、工作场所、公共场所等；（2）探索模型微调和提示工程对情境感知能力的提升效果；（3）结合认知科学理论，设计更符合人类空间认知机制的模型架构；（4）研究情境感知与其他认知能力（如物体识别、语义理解、因果推理）的交互作用；（5）开发能够进行持续学习和适应的情境感知系统，能够在新环境中快速调整其空间理解能力。

复现评估

本文在可复现性方面提供了较好的支持。首先，作者提供了详细的评估协议，包括系统提示、评估提示和答案提取提示，这些都可以在论文附录中找到。其次，所有模型配置都详细记录在Table 4中，包括API端点、温度、最大输出长度、视频采样率等参数。第三，数据收集协议详细描述在附录D中，包括轨迹预定义、录制指南和标注流程。然而，存在一些复现挑战：（1）数据集本身可能没有公开发布，这限制了其他研究者的直接复现；（2）部分闭源模型的评估依赖于商业API，可能存在接口变化或访问限制；（3）人类评估需要招募研究生参与者，这在资源有限的环境中可能难以实现；（4）视频收集需要特定的硬件（Ray-Ban Meta智能眼镜）和多样化的场景环境，这增加了数据收集的成本和难度。总体而言，本文的评估方法是可复现的，但完整的数据收集和评估流程需要相当的资源投入。

在真实世界中学习情境感知 Learning Situated Awareness in the Real World