关于空间的对话：跨部分视角的语言中介空间整合 Communicating about Space: Language-Mediated Spatial Integration Across Partial Views
提出 COSMIC 基准，评估两个 MLLM 代理能否通过多轮对话整合不同第一人称视角以形成共享空间心智模型。
前置知识
多模态大语言模型 (MLLM)
将视觉编码器与大语言模型结合的架构，能同时处理图像与文本输入并输出自然语言回复。COSMIC 中两个代理都基于同一个 MLLM 实例化，仅通过 system prompt 区分 Answerer/Helper 角色，没有参数共享或隐藏状态交换。
本文评测的就是当前最强的 MLLM（GPT-5.2、Gemini-3 系列、Qwen3-VL 等）在协作空间任务上的能力上限，不了解 MLLM 的基本范式就无法理解实验设计。
自我中心视角 vs 他者中心视角 (Egocentric vs Allocentric)
自我中心（egocentric）视角以观察者自身朝向为参考描述空间关系，如'我的左边'；他者中心（allocentric）视角以环境或共享锚点为参考描述空间，如'沙发在喷泉北侧'。本文 RELATIVE DIRECTION 任务核心就是要求 Answerer 把 Helper 的他者描述转换到自己的自我中心坐标系下。
视角转换失败是论文识别出的几何级失败的根本原因之一，没有这个概念就难以理解为什么 COGNITIVE MAPPING 任务对模型如此困难。
认知地图 (Cognitive Map)
源自 Tolman 1948 年提出的概念，指大脑中表征环境几何结构的内部表示。O'Keefe & Nadel 1978 年的'海马体作为认知地图'理论进一步将其与神经基础关联。COSMIC 的 COGNITIVE MAPPING 任务直接测试代理能否通过对话协作构建这种全局一致的地图式表征。
这是 MAP-LEVEL 任务的概念基础，也是论文与单智能体认知地图研究（如 MINDCUBE）的核心区别——COSMIC 强调分布式、通信中介的认知地图构建。
指称锚定 (Cross-View Grounding)
在对话中通过属性、关系等描述让对方把语言指称唯一绑定到某个具体物体实例的过程。COSMIC 中每个物体被分配基于颜色、尺寸或邻接关系的唯一描述符（如'紫门旁的黄柜'），用于跨视角对齐。
论文失败模式分析显示跨视角锚定错误占整体错误的 46.09%，是当前 MLLM 最主要的瓶颈，没有这个概念就抓不住文章的核心诊断价值。
指代歧义 / 实例合并 / 实例复制
论文将跨视角锚定失败细分为三个子类：指代歧义（描述不充分无法唯一识别）、实例合并（把不同实例错认为同一物体）、实例复制（把同一物体错认为两个不同实例）。三者都是人类对话中常见但 MLLM 频繁犯错的对话修复难点。
这是论文区分 MLLM 与人类协作模式的关键维度——人类对话修复率达 79.31%，而 Gemini-3-Pro-Thinking 仅 28.04%，差距直接对应这些细粒度锚定错误。
研究动机
现有空间推理基准（What'sUp、VSR、SpatialRGPT-Bench、OmniSpatial、MINDCUBE、Ego3D-Bench、All-Angles Bench 等）几乎都假设单一智能体拥有场景的完整或多视角图像，由单一模型集中推理。然而真实部署中，无论是 AR/VR 多用户交互、嵌入式机器人协作还是远程指导，都没有任何一个智能体能获得完整环境信息，必须依靠自然语言通信把分散的第一人称观察整合成共享空间表征。例如两个从未去过大公园的朋友，一个说'我在喷泉旁的灯柱附近'，另一个回应'我看到一棵大树和喷泉'，通过对话他们逐步对齐共享锚点（喷泉）、推断相对朝向并细化对未观察区域的假设。这种语言中介的空间整合能力在人类中非常自然，但在 MLLM 上基本未被探索。最近的多智能体基准（HiddenBench、COMMA 等）虽然评估了多智能体推理与对话，但都没有涉及 egocentric 部分可观测条件下的空间推理；认知地图相关工作（Map2Thought、Thinking in Space）也只关注集中式单模型场景。
本文的目标是论文要回答的核心问题是：MLLM 代理能否像人类那样，仅凭第一人称局部观察加上多轮自然语言对话，整合互补信息构建连贯的、共享的、全局性的空间心智模型，并用它解决空间查询。围绕这一问题，作者构造了 COSMIC（COllaborative Spatial Communication）诊断式基准，包含 899 个程序生成的 3D 室内场景（覆盖 Living Room、Bedroom、Bathroom、Kitchen、Dining Room 五种房型，平均每场景 17.71 个物体、范围 6–31）和 1,250 道跨五个任务的多选题，任务被显式分层为物体级（Anchor Recognition、Global Counting）、关系级（Relative Distance、Relative Direction）和地图级（Cognitive Mapping）三个能力层级，使得失败可以被定位到具体的认知环节。此外论文还采集了 250 段人-人对话（每任务 50 题，记为 COSMIC-HUMAN），由实验室在校大学生按同一双代理协议完成，既作为性能天花板（人类 95.22% 平均准确率），也作为对话策略对比基准，让研究者可以对比平均对话词数、新物体提及曲线、对话修复率等多维指标，从而把 MLLM 的失败归因到沟通层面与推理层面两个正交但相互作用的维度上。
与已有工作不同的是，与已有工作相比，COSMIC 的独特切入点是'分布式 + 通信中介'：两个静态 MLLM 智能体各自只看到一张第一人称 RGB 图像，必须通过最多 10 轮的自然语言对话（没有任何隐藏通道或参数共享）来整合互补观察完成多选题任务。任务的分层设计（物体→关系→地图）使其成为诊断框架，能够精确定位失败究竟发生在跨视角锚定、关系推理还是全局地图构建层面；同时与人类对话的直接对比（不是简单对比最终准确率，而是对比对话效率、新物体提及曲线、对话修复率等）让研究者能够区分'沟通缺陷'与'空间推理缺陷'这两个常被混淆的失败源。
核心方法
方法思路分两层。第一层是构建基准：基于 Infinigen 程序生成 3D 室内场景，扩展出双视角采样策略——两个相机被放置在 1.5m 高度的固定位置上，yaw 在 $[-180°, 180°]$ 独立均匀采样，通过光线投射射线检测每个 mesh 物体八个角点中是否至少有三个落在视锥内且未被遮挡，由此计算可见集合 $O_A$ 与 $O_H$，并强制满足 $O_A \cap O_H \neq \emptyset$（保证有共享锚点）与 $O_A \cup O_H \approx O$（保证完整覆盖）。给定可见集合后按任务模板生成多选题，再用 Qwen3-VL-235B-A22B 做跨视图必要性过滤（仅靠常识就能答对的问题被剔除），最后人工核验。第二层是评估协议：两个 MLLM 代理（Answerer 与 Helper 都来自同一个底层模型）执行最多 10 轮的交替对话，温度 1.0、最多 8192 tokens，Answerer 可主动以 'TERMINATE' 提前结束，最后再单独 prompt 选出多选题答案。
核心创新在于把'空间推理'从'看见多少信息'转换为'能对话整合多少信息'。具体而言：(1) 通过精心设计的干扰项构造强制精确指称，例如 Anchor Recognition 的一个干扰项来自与正确答案同语义类别但属性不同的物体（如'米色窗帘窗'与'棕色窗帘窗'），迫使模型不能用类别名匹配蒙混过关；(2) 通过双视角构造把'跨视角去重'和'视角转换'显式做成可测量任务，例如 Global Counting 的干扰项就是 $|O_A| + |O_H|$ 这种朴素求和，专门诱导双计数；(3) 通过人-人对话基线（每个任务 50 题，在实验室由大学生完成）与模型对话对比，可以分离'沟通效率'与'推理质量'两个维度。
方法步骤详情
完整流水线包括六步。第一步是场景生成：在 Infinigen 室内程序生成器基础上扩展双视图采样，保证两个视点间存在共享锚点同时各自保有专属物体。第二步是物体描述符分配：对每个物体基于颜色、尺寸或邻接关系（如'紫门旁的黄柜'）生成唯一描述，无法唯一识别的物体被排除。第三步是问题生成与改写：按模板生成基础问题字符串，再用 GPT-4o-mini 做 paraphrase 以增加语言多样性，但保留语义不变。第四步是跨视图必要性过滤：让 Qwen3-VL-235B 仅看 Answerer 视角跑三次，凡三次都答对的题被剔除以排除纯常识可解的题目。第五步是人工质量保证：由作者逐题核验语言清晰度、空间与颜色歧义与答案正确性。第六步是双代理评估：每个实例被初始化为两个 MLLM 代理，使用 system prompt 区分角色（如 'You are the Answerer' / 'You are the Helper'），Answerer 先发起对话，每轮 Helper 收到 {Image, Task Instruction, Dialogue History}，Answerer 额外收到问题与选项（COGNITIVE MAPPING 还多一张候选俯视图），直到 Answerer 输出 TERMINATE 或达到 10 轮为止，最后单独 prompt 让 Answerer 输出 A/B/C/D 格式的最终答案。
技术新颖性
技术新颖性体现在三个方面。第一是任务分层诊断设计：五个任务按'物体级→关系级→地图级'的能力层级组织，使基准同时具备诊断性与整体性，能精确识别失败发生在哪一层，而不是像传统单任务基准那样只给出一个汇总分数。第二是对比人类对话的多维度分析框架：不仅对比准确率，还引入平均对话词数（信息密度）、新物体提及曲线（收敛性）和对话修复率（元认知能力）三个维度，这些指标允许研究者把 MLLM 的失败归因到沟通策略层面而非单纯的空间感知层面。第三是专门针对通信中介空间推理的干扰项构造方法：每个任务的干扰项都对应一个具体的认知失败模式（双计数、忽略单方可见物体、近距离迷惑、镜像方向、错位俯视图），这使得基准不仅是性能测量工具，还是可解释的失败模式归因工具。
实验结果
核心发现可归纳为五个层次。第一，能力层级清晰存在：在最强模型 Gemini-3-Pro-Thinking 上，Anchor Recognition 准确率为 91.99%、Global Counting 表现较差、Relative Distance 进一步下降、Relative Direction 仅 46.21%、Cognitive Mapping 接近 50% 随机基线；GPT-5.2-Thinking 在 Relative Direction 上也只有 51.61%。第二，人类显著优于模型：COSMIC-HUMAN 上人类平均准确率 95.22%，而最强模型 Gemini-3-Pro-Thinking 仅 71.82%，差距超过 23 个百分点；在 Cognitive Mapping 上人类达 94%，而前沿模型徘徊在 50% 附近。第三，闭源模型一致优于开源：Gemini-3-Pro-Thinking 71.64%、Gemini-3-Flash-Thinking 67.88% 领跑闭源，Qwen3-VL-32B-Instruct 52.47% 领跑开源，InternVL3.5-38B 39.45%、Gemma-3-27B 36.22% 紧随；规模效应在 Qwen3-VL 上显著（8B 40.08% vs 32B 52.47%，置信区间不重叠），但在 InternVL3.5 和 Gemma-3 上统计上不显著。第四，thinking 能力对层级有分化影响：Gemini-3-Flash 在 Anchor Recognition 上从 77.78% 提到 87.19%，GPT-5.2 从 64.34% 提到 76.83%；Relative Distance 上 Gemini-3-Flash 从 76.81% 提到 88.00%，GPT-5.2 从 58.01% 提到 74.01%；但在 Relative Direction 与 Cognitive Mapping 上 thinking 没有带来统计显著收益，说明高层的瓶颈不是推理深度而是几何理解本身。第五，通信本身引入额外困难：把 Qwen3-VL-32B 从单代理（同时给两视图）切换到双代理（必须对话）后准确率从 64.62% 降到 52.62%，Gemini-3-Flash-Thinking 从 78.38% 降到 68.07%，通信本身就是性能损失源。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Anchor Recognition（物体级） | 准确率（4 选 1） | Gemini-3-Pro-Thinking 91.99%；GPT-5.2-Thinking 76.83%；Qwen3-VL-32B-Instruct 66.59% | 随机基线 25%；人类 95.22% | Gemini-3-Flash 启用 thinking 从 77.78% 提升到 87.19%（+9.41pp），GPT-5.2 从 64.34% 提升到 76.83%（+12.49pp）；最强模型已接近人类 |
| Global Counting（物体级） | 准确率（4 选 1） | 最强模型 Gemini-3-Pro-Thinking 略低于 Anchor Recognition 但优于关系级 | 随机基线 25%；人类 95.22% | 需要在 Anchor 基础上做跨视图去重；thinking 收益在两个模型族上不一致，反映该任务对模型而言仍非平凡 |
| Relative Distance（关系级） | 准确率（4 选 1） | Gemini-3-Flash-Thinking 88.00%；GPT-5.2-Thinking 74.01% | 随机基线 25%；人类 95.22% | Gemini-3-Flash thinking 提升 11.19pp（76.81%→88.00%）；GPT-5.2 thinking 提升 16.00pp（58.01%→74.01%） |
| Relative Direction（关系级） | 准确率（8 方向约化为 4 选 1） | Gemini-3-Pro-Thinking 46.21%；GPT-5.2-Thinking 51.61% | 随机基线 25%；人类 95.22% | thinking 无显著收益；模型在该任务上接近随机，凸显视角转换的固有困难 |
| Cognitive Mapping（地图级） | 二分类准确率（Yes/No） | 前沿模型 50–70% 区间，多数接近 50% 随机基线 | 随机基线 50%；人类 94% | thinking 无显著收益；这是任务层级最高的任务也是模型能力最差的，超过 40 个百分点的差距 |
局限与改进
作者在 Limitations 一节坦诚承认四点。(1) 场景限制：COSMIC 评估的是静态、可控的室内环境，物体类别集合有限（约 23 类，包括 Doors、Plant Containers、Monitor、Shelves 等），不包含真实世界空间通信的动态场景、连续视角变化和更丰富的物体词汇。(2) 视角固定：代理只能从固定视点观察，无法主动移动、重定向或通过动作（而非语言）请求澄清，与真实协作代理的能力差距较大。(3) 评估形式受限：所有任务都是多选题（除 COGNITIVE MAPPING 是二元判断），限制了可能响应空间；特别是二元判断的 Cognitive Mapping 绕过了自由形式的地图生成与评估这一更难问题。(4) 人类基线局限：COSMIC-HUMAN 仅 250 题（每任务 50 题），参与者是实验室条件下的在校大学生，可能无法代表更广泛人群的空间沟通策略与不同专业水平。此外，评估只看最终答案准确率，没有直接奖励对话质量，因此'通过次优推理恰好答对'的模型与'推理完美'的模型无法区分。失败模式分析也只人工核验了 Gemini-3-Pro-Thinking 的 150 个失败实例（每任务 30 个），未对其他模型做同等深度的定性分析。
独立分析的弱点
独立分析论文存在四个非作者明说的弱点。第一，对话初始化策略过于被动：Answerer 总是先发起对话，但任务说明书和系统 prompt 中没有给出任何对话启动策略建议，导致模型常常以非常泛化的开场（如 'I see a room with several objects'）开头，浪费宝贵的对话轮次；可以引入 few-shot 范例或'锚点优先'的初始化指令。第二，对话终止机制过强：'TERMINATE' 这种硬终止词让模型难以表达犹豫或部分信心，建议引入 soft-stop 机制如置信度评分，让代理在不确定时主动请求澄清而非过早锁定答案。第三，对话历史利用不充分：模型经常在新一轮重复之前提过的物体描述（如图 8 Bottom 所示 GPT-5.2-Thinking 与 Gemini 系列在多个回合后仍在引入新物体提及），表明缺少显式的'信息已确认/待确认'状态追踪；可以引入结构化状态表示（如 belief state graph）让代理更系统地管理共享心智模型。第四，错误传播无法控制：一个早期锚定错误（如把白色柜错认为两个独立实例）会污染后续所有推理（图 11 案例研究显示），缺少中期一致性检查机制；可以在每 $k$ 轮插入一次显式的 cross-view grounding verification 步骤。第五，prompt 设计未充分利用 thinking 模型的能力：系统 prompt 完全没有引导模型在生成对话前先做内部规划（'我应该先建立哪些共享锚点？'），只允许在最终回答阶段做显式推理。
未来方向
作者在结论中明确指出三个未来方向：(1) 超越语言链式思维，向显式视觉推理机制发展，让模型内部支持几何验证与心理旋转，例如引入中间草图、深度图或多视角特征融合模块。(2) 设计结构化空间通信协议，如锚点优先的指称约定、显式参考系协商或基于草图的空间描述，以减轻指代歧义并改善跨视角锚定。(3) 让代理发展主动的对话修复策略，在中段而非仅在终段检测并纠正错误推理。基于实验结果还可延伸三个方向：(a) 把 COSMIC 的多代理-多任务结构扩展到动态场景与户外导航任务，对接实际部署场景；(b) 研究 finetuning 或 RLHF 是否能针对性提升 COGNITIVE MAPPING 类高难度任务，因为 thinking 在该层无收益说明单纯扩推理链深度无效，需要更结构化的空间表征；(c) 把失败模式分析与对话策略学习结合，让模型在训练阶段就显式学会处理 Instance Merging/Duplication 等典型失败模式，而不是被动依赖 prompt 工程。
复现评估
复现评估整体较好。论文明确说明代码与数据可获取（'Our code and data is available at link'），但具体链接未在摘录的正文中给出，需要读者访问 arxiv 页面或论文项目页确认。数据方面：场景生成基于开源的 Infinigen 程序生成框架，问题生成用 GPT-4o-mini paraphrase，过滤用 Qwen3-VL-235B-A22B，所有 prompt 在 supplementary 中完整公开（包含 Answerer/Helper system prompt、multi-turn dialogue prompt、QA prompt、task description prompt、dialogue repair judge prompt 等）。模型方面：开源模型（InternVL3.5、Qwen3-VL、Gemma-3）通过 vLLM 部署，闭源模型（GPT-5.2、Gemini-3-Flash/Pro）通过 API 调用。算力方面：使用 4 张 NVIDIA A100 80GB GPU，每个开源模型评估耗时约 2.5 小时。超参数方面：温度 1.0、最多 8192 tokens、最多 10 轮对话，使用 bootstrap 重采样（10000 次）计算 90% 置信区间，开源模型跑 4 次、闭源跑 2 次。复现难度中等：场景生成和问题生成的 pipeline 都给出了算法描述和 prompt 模板，但要在 Infinigen 上重现 899 个高质量、多样化的室内场景仍需工程投入；human-human 数据需要重新招募参与者。
论文图表
论文核心示意图。左侧展示 COSMIC 的整体范式——两个 MLLM 代理站在同一 3D 室内场景的不同位置各自获得 egocentric RGB 视图，必须通过自然语言对话整合互补观察回答空间查询；右侧用一段 MLLM 与人类对话的对比样例，展示人类如何快速通过 'sofa'、'peach window' 等简短精确定位锚点并收敛，而 MLLM 反复枚举 'white couch'、'black desk'、'white desk'、'TV' 等物体却始终不收敛。
这是全文最具视觉冲击力的对比图，直接呈现 MLLM 与人类对话策略的差异，对理解'为什么 communication efficiency 重要'和'为什么 cognitive mapping 对模型如此难'至关重要。
展示 Gemini-3-Flash-Thinking 作为自动评判员标注的对话修复案例。展示当模型走入错误推理轨迹时，是否能识别并纠正。每段对话显示双方 view、问题、完整对话与最终的修复判断。
为对话修复率 28.04%（vs 人类 79.31%）提供定性证据，是论文关于 MLLM 元认知能力缺失的核心案例。
详细的案例研究，展示 Gemini-3-Pro-Thinking 在 Relative Distance 上的完整对话流。Answerer 在第一轮就漏识别了'黑窗旁的另一张黑桌'，导致后续推理基于错误锚点；尽管 Helper 正确推断出选项 B 和 D 最远，最终答案仍错。
是对失败模式分析中'cascading failure dynamic'论点的具体例证，展示了论文 Figure 7 的统计错误类别在真实对话中如何表现。