QUACK：多模态社交推理代理中沟通知识的质疑、理解与审计 QUACK: Questioning, Understanding, and Auditing Communicated Knowledge in Multimodal Social Deduction Agents
构建可重放的多模态社交推理游戏环境，对 VLM 代理的每句发言做逐句轨迹核验
前置知识
VLM（Vision-Language Model）
视觉-语言模型，能够同时接收图像和文本输入并产出文本输出的多模态大模型。本文的 agent 就是一个 VLM，每 tick 接收一张全局地图图像、一张本地视野图像，以及一段结构化文本观察 τ，再据此输出动作与发言。
QUACK 的核心问题是 VLM agent 的发言是否与其真实感知一致，因此必须先理解 VLM 是如何把视觉观察和文本观察融合后产生决策与语言的，否则后续的'幻觉/不一致'概念无从建立。
部分可观察马尔可夫博弈（Partially Observable Markov Game）
由 Littman (1994) 提出的多智能体博弈形式化框架，每个 agent 只能拿到关于全局状态的局部观察 oti，本文的 n=6 agent 社交推理博弈就是这种设定，每个 agent 看不到其他 agent 的位置或隐藏身份。
本文的物理环境是图结构地图上的部分可观察博弈，'幻觉'本质上是 agent 在部分可观察下对自己观测记忆出错而产生的伪陈述，理解这一前提才能看懂为什么会出现 spatial hallucination。
社交推理游戏（Social Deduction Game）
一类多方对抗博弈，玩家持有隐藏角色，需通过发言、投票推断他人身份。代表作品有狼人杀、Avalon、Among Us 等，本文灵感来源于 Goose Goose Duck 和 Among Us，设置了 Geese（平民）和 Duck（卧底）两阵营。
QUACK 用游戏结局（投票驱逐准确率、阵营胜率）作为 Tier 1 指标，理解这类游戏的'对抗性发言'机制才能明白为何单纯胜率不足以反映推理质量。
幻觉（Hallucination）与事实一致性（Faithfulness）
幻觉指生成内容与输入或事实不符；在事实一致性研究中，常把输出拆成原子级声明（atomic claims）并逐条对外部知识源做核验（FActScore、FEVER 等）。QUACK 把这套思路搬到 agent 自身轨迹上。
Tier 3 Statement Verification Pipeline 直接借鉴了 atomic claim + 外部证据核验的方法，只是把'外部知识源'换成了 agent 自己的引擎级轨迹日志，没有这个背景就理解不了 QUACK 的方法来源。
研究动机
现有的 LLM/VLM 社交推理基准几乎只看游戏结局，例如胜率、存活率、投票准确率（Light et al., 2023; Wang et al., 2023; Chi et al., 2024; Fu, 2025）。这种做法有两个根本问题：第一，胜率高的 agent 不一定推理健康，胜率低的 agent 也不一定推理错误，一个 agent 完全可能在局部分析正确的情况下输掉游戏，也可能在发言前后矛盾的情况下侥幸获胜；第二，绝大部分环境是纯文本的（Xu et al., 2024a; Song et al., 2025），缺乏可重放的、带视觉观测的多智能体环境去核验 agent 的发言是否真的对应它'做过什么'。结果就是，研究者只能从最终结果反推失败原因，而无法系统性地识别诸如'空间幻觉''无证据指控''卧底被识破''言行不一'等具体失误模式。作者在论文中给出了一个非常有冲击力的例证：GPT-5.5 作为 Geese 的胜率高达 81.1%，但它依然有 16.4% 的空间陈述与自己的轨迹相矛盾、54.5% 的指控找不到它真正能观测到的证据——这两个数字从胜率里完全看不到。
本文的目标是本文的核心目标是构建一个既能玩又能被审计的多模态社交推理环境，把对 agent 的评估从'它赢了/输了'推进到'它说的话是否与它真实做过的事一致'。具体来说，QUACK 想做到三件事：(1) 提供一个开源的、基于图结构地图的部分可观察多模态环境，让 VLM agent 能像在 Among Us 中一样移动、做任务、召开会议并投票；(2) 把游戏过程完整地结构化日志化，做到 tick 级精确回放，使每个 agent 的真实轨迹都能从引擎日志中重建出来；(3) 设计一个三层评估框架，特别是一个自动的 Statement Verification Pipeline，把每个 agent 的发言拆成原子级声明，逐条与重建出的真实轨迹做核验，从而把'空间幻觉''无证据指控''欺骗崩塌''言行不一'这四种失败模式变成可量化指标。
与已有工作不同的是，本文最独特的切入角度是'让每一个发言都能被机械地、可重放地核验'。在 NLP 的事实一致性研究中（FActScore、FEVER、RARR 等），已经习惯了把输出拆成原子声明并对照外部证据源核验，但这些方法面对的是静态文档或开放世界知识。QUACK 的关键洞察是：社交推理游戏恰恰是唯一一个同时具备'强激励去撒谎/说实话'与'完全可恢复的世界状态'的场景，于是可以把'声明—证据'框架从静态知识搬到一个对抗性、部分可观察、有自由发言的多智能体环境里，并且证据来源就是 agent 自己的引擎轨迹日志。同时，相对于已有的多模态基准（MMBench、MMMU、SpatialVLM、VisualWebArena 等），它们都是单人、静态或单轮任务，没有对抗性多智能体对话需要保持 grounding；QUACK 正好填补了'带可审计对话的多模态多智能体环境'这一空白。
核心方法
QUACK 的整体方法由'环境 + 评估管线'两大部分组成。直觉上可以把它想成一个'有审计摄像头的社交推理游戏'：6 个 agent 在 10 个房间构成的图结构地图上移动、做任务、开会议，其中 1 个是隐藏的卧底 Duck。每个 tick，每个 agent 拿到的不是上帝视角，而是两张图像（一张不显示其他玩家的全局地图、一张只显示当前房间可见内容的本地视图）加一段结构化文本摘要 τ（包括它在哪个房间、哪些人经过、它有哪些任务进度等）。所有这些 tick 上的状态、动作、发言、投票都被引擎以事件日志的形式完整记录下来，相当于给每局游戏录了一部无死角的'逐 tick 录像'。在这套可重放的录像之上，作者搭了一个三层的评估系统：Tier 1 看结局胜率，Tier 2 看行为轨迹（投票准确率、任务效率、覆盖房间数），Tier 3 是核心——一个 Statement Verification Pipeline，用 LLM 把 agent 在会议上的每句发言解析成 5 类原子声明（LOCATION、SIGHTING、ACTIVITY、ACCUSATION、DEFENSE），然后逐条与该 agent 的真实轨迹做核验，给出 true/false/wrong_room/near_miss/unverifiable 五种判定，并由此把四种典型失败模式量化成具体百分比。
与传统社交推理 benchmark 的本质区别在于'评估的对象从结果变成了发言本身'。以前大家比的是'谁赢了'或'谁投对了'，但 QUACK 的核心创新在于：把 VLM agent 的会议发言拆解成可核验的原子声明，然后用 agent 自己的引擎轨迹作为'真理之源'做机械化的语言 grounding 审计。这一做法的关键新颖性是双重的——第一，把事实一致性研究（atomic claim + 外部证据核验）首次应用到了一个对抗性、多智能体、长视野的部分可观察博弈中，证据源不是维基百科而是 agent 自己的历史轨迹；第二，针对社交推理这一特定场景定义了 5 类声明和 5 种判定，并把 4 类典型失败模式（空间幻觉、无证据指控、欺骗崩塌、言行不一）变成统一可比的指标。整个管线完全自动，并经过人工标注校验：抽取精度 199/200=99.5%，召回 220/223=98.7%，因此报告的失败率反映的是 agent 行为本身而不是核验噪声。
方法步骤详情
QUACK 的工作流程分四步。第一步是环境构建与日志记录：环境是部分可观察马尔可夫博弈，地图 $\mathcal{M} = (\mathcal{R}, \mathcal{E}, w)$ 是一个带权无向图（10 个房间、14 条走廊，走廊权重 $w(r, r') \in \mathbb{Z}_{\geq 1}$ 表示通行 tick 数），全局状态 $s_t = \{x_t^i\}_{i=1}^{n}, \phi_t, B_t, C_t$ 在每个 tick 被序列化为事件日志。第二步是 agent 观察与决策：每个 agent 在每个 tick 收到多模态观察 $o_t^i = (I_{\text{global}}^i, I_{\text{local}}^i, \tau_t^i)$，其中 $\tau_t^i$ 是结构化文本摘要（包括相邻房间、可见玩家、任务进度、proximity chat 等）；agent 由 VLM 驱动，记忆自己此前的轨迹和会议记录，并基于当前观察 + 记忆选出动作（wait/move/do_task/report/call_meeting/kill）和可选的 proximity chat。第三步是会议发言与声明抽取：当 report() 或 call_meeting() 触发会议时，行动停止，进入 DISCUSSION→VOTING→EJECTION 阶段，agent 用自然语言发言；Tier 3 用一个 LLM（GPT-5.5）把这些发言按 5 类模板（LOCATION/SIGHTING/ACTIVITY/ACCUSATION/DEFENSE）拆成原子声明，每条声明包含 subject、room/target、temporal 等字段，并做去重和缓存。第四步是声明核验与失败量化：从日志中重建 agent 的逐 tick 轨迹（每个房间的进出、可观测的相遇、任务事件），把每条声明放进对应的时间窗口做核验，给出 5 种判定（true/false/wrong_room/near_miss/unverifiable），最后据此聚合得到空间幻觉率（Goose 的 LOCATION/SIGHTING 中 false+wrong_room 的占比）、无证据指控率（ACCUSATION 中没有 grounded 证据的占比）、欺骗率与欺骗复杂度（Duck 假声明中 near_miss 的占比）、言行不一致率（ACTIVITY/ROUTE 与日志动作冲突的比例）等指标。
技术新颖性
技术新颖性主要体现在三方面。第一，把 atomic claim + 外部证据核验的 NLP 方法学迁移到对抗性多模态多智能体环境，证据源从静态知识库换成 agent 自己的引擎轨迹日志，这是一种'自我审计'的新视角。第二，针对社交推理游戏专门设计了 5 类声明、5 种判定的细粒度分类法，尤其是把'指控是否 grounded'与'指控是否命中 Duck'分开评估——以前的工作经常把这两个轴混为一谈，导致无法区分'运气好的瞎猜'与'有推理依据的指控'。第三，整个 Tier 3 pipeline 是全自动的，且对 LLM 抽取器做了精度（199/200）和召回（220/223）的人工校验，证明了报告的失败率反映的是真实 agent 行为而非核验器噪声——这一点在 LLM-as-a-judge 类工作中通常被忽略。此外，QUACK 在工程上也提供了 tick 级结构化事件日志，让任意一局游戏都能被完全精确回放，是把 social deduction 真正变成一个'科研可控实验台'的关键。
实验结果
本文在 270 局游戏（9 个 setting × 30 局）的实验上得到了若干非常有说服力的发现。最显眼的结论是：所有三个前沿 VLM（GPT-5.5、GEMINI-3.1-PRO、CLAUDE-OPUS-4.7）都共享同一套定性失败模式，只是在程度上有差异。空间幻觉方面，所有 setting 的平均空间幻觉率为 15.1%，意味着每 7 条可核验的位置/目击声明里就有 1 条与 agent 自身轨迹矛盾；CLAUDE-OPUS-4.7 作为 Geese 时空间幻觉率最低（11.5%），GEMINI-3.1-PRO 最高（17.3%），GPT-5.5 居中（16.4%）。无证据指控方面，全局平均为 53.5%——超过一半的指控在指控者自身轨迹中根本找不到任何可观测的支撑证据；最讽刺的例证是 Appendix D 中一个 Goose 明确承认'我谁也没看到'，但仍然指名了嫌疑人。欺骗崩塌方面，全局平均欺骗率为 22.1%，但欺骗复杂度（谎言中 near_miss 的占比）几乎为 0（CLAUDE 0.5%、GEMINI 2.0%、GPT 1.3%），说明 Duck 的谎言几乎都是'机械性可证伪'的粗制滥造版本，而不是精心构造的 alibi。一个关键反直觉发现是：最强的 Geese（GPT-5.5 胜率 81.1%）并不是'最健康'的推理者——它的空间幻觉率（16.4%）和无证据指控率（54.5%）甚至高于平均，而最弱推理者 CLAUDE-OPUS-4.7 作为 Duck 的胜率只有 13.3%（GEMINI 32.2%、GPT-5.5 27.8%），说明它根本不会撒谎。Tier 1 整体看，Geese 胜率从 63.3% 到 93.3% 不等，ejection 准确率从 51.7% 到 93.3%，是一个真正具有对抗性的任务而非单边倒。最后，谎言被识破率（Lie detection rate）在 CLAUDE-OPUS-4.7 作为 Geese 时只有 58.4%，GPT-5.5 作为 Geese 时则高达 86.8%（作为 crew 对抗 CLAUDE-OPUS-4.7 时甚至达到 100%），说明 CLAUDE 虽然是最不会撒谎的卧底，但作为 Geese 也最容易放过对面明显的谎言，这是一致的'低活跃度'表现。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Homogeneous Geese 胜率（CLAUDE-OPUS-4.7 vs CLAUDE-OPUS-4.7） | Geese win rate | 90.0% | 无外部 baseline，跨 setting 比较：GEMINI 同质 66.7%、GPT-5.5 同质 76.7% | 在 3 个同质 setting 中 CLAUDE-OPUS-4.7 作为 Geese 的胜率最高，比 GEMINI-3.1-PRO（66.7%）高 23.3 个百分点 |
| Cross-model 最高胜率（GPT-5.5 Geese vs CLAUDE-OPUS-4.7 Duck） | Geese win rate / Ejection accuracy | Geese 胜率 93.3%，Ejection accuracy 93.3%，Lie detection 100.0% | 同模型作为 Geese 的平均胜率 75.6%、平均 ejection accuracy 69.1%、平均 lie detection 75.2% | 比全局平均分别高 17.7/24.2/24.8 个百分点；这印证了 CLAUDE-OPUS-4.7 是最弱的 Duck（胜率仅 6.7%），它的谎言极其粗糙（deception rate 23.6%, sophistication 0.0%） |
| 空间幻觉率（Spatial hallucination） | False/wrong_room 占 Goose LOCATION+SIGHTING 声明的比例 | 全局平均 15.1%；CLAUDE-OPUS-4.7 作为 Geese 11.5%，GEMINI-3.1-PRO 17.3%，GPT-5.5 16.4% | 无外部 baseline，本文与自身 Tier 1 胜率对照：胜率最高者（GPT-5.5 81.1%）幻觉率并非最低 | 首次给出可量化的 grounding 指标；凸显胜率与推理健康度的脱钩 |
| 无证据指控率（Unsupported accusation） | ACCUSATION 声明中无 grounded 证据的比例 | 全局平均 53.5%；CLAUDE-OPUS-4.7 53.2%，GEMINI-3.1-PRO 52.9%，GPT-5.5 54.5% | 与 Accusation accuracy 对照：全局平均指控准确率 62.6%——意味着多数指控虽然碰巧命中但毫无证据支撑 | 把'猜对'与'有依据'分开衡量，发现 hit-or-miss 的指控普遍缺乏 grounding |
| 欺骗复杂度（Deception sophistication） | Duck 假声明中 near_miss 的占比 | 全局平均 1.3%；CLAUDE-OPUS-4.7 0.5%，GEMINI-3.1-PRO 2.0%，GPT-5.5 1.3% | 全局平均欺骗率（22.1%）；CLAUDE Duck win 13.3%、GEMINI 32.2%、GPT-5.5 27.8% | 揭示 Duck 阵营的'撒谎能力天花板'极低，胜利主要来自 Geese 的低识别率（lie detection 仅 75.2%）而非欺骗本身的高明 |
| 谎言检测率（Lie detection） | Duck 说了可核验谎言的会议中，Duck 被驱逐的比例 | 全局平均 75.2%；CLAUDE-OPUS-4.7 作为 Geese 时仅 58.4%，GPT-5.5 作为 Geese 时 86.8%（含一个 setting 达 100%） | 作为对照：Geese 总体胜率 75.6%，ejection accuracy 69.1% | 证明即便谎言在事后被验证为可证伪，Geese 也常常不据此投出关键一票，机械可验证据与实际投票之间存在显著差距 |
局限与改进
作者明确承认了几项局限。第一，声明抽取依赖一个 LLM（GPT-5.5），虽然是稍偏保守（人工验证抽取 220/223=98.7% 召回、199/200=99.5% 精度），但偶尔会漏掉一些声明，导致报告的失败率可能略低于真实情况；不过抽取出的那些声明其判定是可靠的，所以指标本身不被污染。第二，本文没有把视觉模态单独做 ablation——agent 同时拿到对齐的图像与结构化文本，因此作者无法严格区分'难'到底是因为视觉本身难、还是因为部分可观察+长视野难，留给未来工作做受控对比。第三，实验规模有限：仅 3 个模型、1 张 10 房间地图、固定 n=6/m=1 配置，每 setting 只跑 30 局；特别是 m=1 时 Duck 端每局产生的可核验声明较少，Duck 侧指标的样本量比 Geese 侧小。第四，QUACK 的验证是相对引擎的'真理'和本文定义的声明分类法而言的，对引擎无法解析的发言会标为 unverifiable 而不打分，因此 QUACK 审计的是 grounded 的、可机械核验的发言，并不评判自由形式对话的全部语用内容。我自己的额外观察是：所有测试模型都是闭源的商用 frontier VLM，无法做权重层面的细粒度分析；同时 9 个 setting 中只有 6 个是异质的，无法直接观察'同模型互相对抗 vs 跨模型对抗'的纯模型效应——虽然 homogeneous setting 的 Geese 胜率（66.7–90.0%）整体高于 cross-model（63.3–93.3%），但差异不大，说明在当前模型水平下，对手身份对胜负结果的影响相对有限。
独立分析的弱点
独立分析本文的弱点并给出改进方向。第一，所有 VLM agent 都依赖一套固定的英文 system prompt + strategy block，但社交推理在不同语言文化下的隐性规则差异巨大（例如中文狼人杀的'抿身份'传统），而 QUACK 完全是英文+Among Us 风格的术语，这意味着模型表现可能高度 prompt 敏感；改进方向是引入 prompt 模板的多样化与版本对照实验。第二，QUACK 当前只支持 m=1 的单卧底配置，这导致 Duck 侧的样本量偏小，且更接近 Among Us 而非经典的狼人杀（多狼人+预言家/女巫等角色），扩展到 m≥2 甚至加入预言家、女巫等角色可以让评测更接近真实社交推理场景。第三，声明抽取用 GPT-5.5 自己来解析发言，而 GPT-5.5 自己也是被评测的对象之一，这会引入系统性的 judge bias——比如 GPT-5.5 的发言可能被自家抽取器更好地理解；改进方向是引入多模型交叉 judge 和一个与人对齐的独立抽取器。第四，整个评估虽然自动，但仍然是'事后审计'，并不能在 agent 决策时实时提供 grounding 反馈；改进方向是把核验器做成在线 advisor，给 agent 提示'你上一句话和你的轨迹对不上'。第五，QUACK 的图结构地图与 fixed task 分配缺乏生成性，30 局用同样的随机种子在 setting 内是一致的，但跨 setting 的对照依赖这一固定性，扩展到程序化生成的地图与任务配置会让 benchmark 抗过拟合。第六，本文的实验只跑了 270 局，对于一个声称要成为社区基准的工作来说样本量偏小，且缺少方差估计与显著性检验，扩到每 setting ≥100 局并报告置信区间会显著提升说服力。
未来方向
作者明确提出的未来工作有两个方向：(1) 用 QUACK 作为训练 substrate，训练在讨论中显式优化 groundedness 的 agent；(2) 把验证思路扩展到更丰富的环境（例如把声明-轨迹核验迁移到 embodied multi-agent 或 web agent）。基于本文成果可延伸的方向还包括：把 Tier 3 验证器做成在线 grounding reward signal，结合 RL 微调 agent 的发言策略（与 Sarkar et al., 2025 的 RL 训练思路对接）；引入预言家/女巫等多角色，把游戏从 Among Us 风格扩展到经典狼人杀风格；加入 LLM-vs-human 比赛，量化人类玩家对 QUACK 中'机械可证伪谎言'的检测率与 VLM 的差距；扩展到多模态来源多样化——比如给 agent 加音频通道（语音 proximity chat）、加地图编辑器、加入不同 vision 模态（俯视图 vs 第一人称）；以及最重要的：把 QUACK 的声明-轨迹核验范式包装成一个开源工具库，让其他 multi-agent benchmark（MultiAgentBench、SocialGrid、VisualWebArena 等）都可以低成本地接入 Tier 3 审计，从而把'语言是否 grounded'变成 multi-agent 评估的标配维度。
复现评估
复现性整体较高且作者非常负责。作者在 GitHub（AAAAA-Academia-Attractions/QUACK）开源了完整的环境引擎、评估框架、声明抽取 prompt、agent prompt 和 270 局游戏的全部日志，并明确说明资产在 MIT 协议下发布、与 Among Us/Goose Goose Duck 不含任何专有内容。三个被评测的 VLM（GPT-5.5、GEMINI-3.1-PRO、CLAUDE-OPUS-4.7）都通过各自提供方的 API 访问，使用条件遵循各 API 的服务条款。复现所需算力主要花在 LLM API 调用上——3 模型 × 9 setting × 30 局 ×（每局多次 tick + 多次会议发言）的 API 费用对一般研究组可承受，但具体账单依赖 API 价格。复现难度方面，环境本身有清晰的状态/动作/观测定义和详细附录 prompt，中等熟悉度的研究者可在数天内跑通；声明抽取 prompt 在论文中完整给出（Appendix A Example 4），核心策略 block 也都公开（Example 2/3），但核验阶段的 prompt 细节、缓存与去重逻辑需要看代码细节。主要风险点是：(1) 闭源 API 模型可能版本更新导致行为漂移，论文没有固定 model snapshot 的描述；(2) Tier 3 抽取器本身是 GPT-5.5，与被评测模型重合，可能引入 judge-model 版本依赖；(3) 270 局的实验可以由 30 局随机种子在 setting 间共享这一设计完全重放，但扩展到更多 setting 时需要重新设计种子对齐。
论文图表