看得见的谎言：具身社交互动中VLM智能体的言语与非言语联合欺骗 Lies We Can See: Joint Verbal and Non-Verbal Deception by VLM Agents in Embodied Social Interactions
在Minecraft版Among Us沙盒中首次量化VLM智能体的言语与非言语联合欺骗
前置知识
隐藏角色游戏与 Among Us
一种多智能体不完全信息博弈：8名玩家开局被秘密分为2名内鬼与6名船员，游戏交替进行任务阶段（自由移动，船员完成定点任务，内鬼伺机在无目击者时击杀）与会议阶段（全员传送到食堂，回合制发言每人最多3次后投票放逐）。胜负有四种条件：存活船员数≤内鬼数、超过200步超时、内鬼全被投票放逐、全部任务完成。
本文全部实验都搭建在该游戏上，任务/会议双阶段结构是言语与非言语欺骗通道得以并存的前提，四种胜负条件也是胜率指标的定义。
非言语欺骗
不经由语言、而通过身体动作、视觉表现与空间行为达成的欺骗，例如伪装成普通船员、跟踪猎物、行凶后逃离现场。生物学（Whiten–Byrne灵长类战术欺骗）、军事学（Whaley战略欺骗类型）与人际传播学（Buller–Burgoon IDT）三大欺骗分类学都把感知运动通道视为欺骗核心，发展心理学与HRI研究还表明它在人类中先于语言出现。
本文的核心主张是纯文本测试台结构性排除了这一欺骗维度，理解非言语欺骗才能读懂MINEAMONGUS的设计动机与「非言语渠道更决定胜负」这一结论。
LLM-as-a-Judge 与 Cohen's κ
用LLM替代人工对大规模日志做结构化标注的评估范式，其可靠性需与人工一致性对标。Cohen's κ是校正随机一致后的标注一致性度量，$\kappa = (p_o - p_e)/(1 - p_e)$，其中$p_o$为观测一致率、$p_e$为随机期望一致率，通常$\kappa>0.8$视为高度一致，常配合加权$F_1$与Spearman秩相关$\rho$一起报告。
论文用human–human $\kappa=0.792$ 对照 human–LLM $\kappa=0.709$、$F_1^w=0.792$ 论证Qwen3.6-27B judge能以接近人工的可靠性规模化标注上千局游戏的欺骗原子。
点二列相关系数 $r_{pb}$
一个连续变量与一个二值变量之间的Pearson相关特例。本文用每局游戏中某欺骗原子的出现次数（连续）与内鬼是否获胜（0/1）计算$r_{pb}$，正值表示该欺骗行为与内鬼赢局正相关。RQ2的跨模型分析则改用普通Pearson $r$，在N=6个模型上计算每模型原子频次与内鬼胜率的相关。
表5、表6、表7的全部结论都建立在这两个系数上，是读懂「哪种欺骗行为真正导致获胜」这一定量分析的统计钥匙。
智能体 harness 与消融实验
harness指包裹LLM/VLM骨干的外围认知系统：如何把原始观测转成状态表征、用什么记忆机制、如何规划、是否反思并积累技能、提示里写多少战术。消融实验即固定其余组件、只切换一个轴的取值并观察行为差异，从而把差异归因到该组件而非模型本身，避免「harness效应」与「模型能力」的混淆。
RQ1完全建立在ARIA五轴（状态/记忆/规划/反思技能/提示）消融之上，理解「配置本身也是实验变量」是把握本文方法论立意的关键。
研究动机
现有LLM/VLM智能体欺骗研究几乎全部建立在纯文本社交推理游戏上——Werewolf、Avalon、Mafia、文本版Among Us等，这些工作得到过「更强模型是更有说服力的骗子」「内鬼依赖含糊其辞而非直谎」「欺骗可从模型内部激活检测」等结论，但存在两个根本缺陷。第一，测试台无法行使非言语欺骗：来自生物学、军事战略与传播学的欺骗分类学（Whiten–Byrne 1988、Whaley 1982、Buller–Burgoon IDT 1996）都把身体动作、视觉感知与空间行为当作欺骗的核心通道，发展心理学与HRI证据也表明非言语欺骗在人类中先于语言出现，纯文本或抽象状态环境因此结构性排除了它们本想研究的大部分欺骗现象。第二，所有分析都运行在单一固定的智能体配置上：底座模型、提示、记忆/规划/反思模块全部写死，观察到的行为究竟反映模型本身还是外围harness，无法区分。
本文的目标是本文的目标是把智能体欺骗研究从纯文本推进到具身多模态场景，并交付三个组件。其一，MINEAMONGUS：首个在Minecraft中实现的3D多模态Among Us沙盒，8人局（2内鬼、6船员），VLM智能体通过360×640第一人称RGB感知世界、在连续空间导航、用Mineflayer JavaScript程序与物体和其他智能体物理交互，并在会议阶段用自然语言交流。其二，ARIA（可消融的内鬼/船员智能体）：把状态表征、记忆、规划、反思与技能记忆、提示风格五个认知组件做成独立消融轴的受控harness。其三，一套锚定三大欺骗分类学的23原子+弧（arc）级标注方案，由LLM-as-a-Judge规模化执行。在此之上回答两个研究问题：RQ1，固定VLM骨干时各认知组件如何影响内鬼胜率、哪些欺骗策略与获胜相关；RQ2，固定harness时12个VLM骨干如何比较、赢家与输家的欺骗行为有何差别。
与已有工作不同的是，独特切入角度有三层。环境上，作者选Among Us正因为它在社交推理游戏中独一无二地同时拥有具身任务阶段与会议阶段，天然暴露两条欺骗通道；而刚出现的超越文本的工作（2D房间网格、纽约路由图上的对抗说服）仍只覆盖言语通道，本文因此是首个3D多模态欺骗沙盒。方法上，与追求能力或自主性的智能体系统（如Voyager类工作）相反，ARIA被明确定位为受控测量仪器：五个组件可独立开关，使欺骗行为能被归因到具体认知组件并检验跨配置泛化。测量上，评估不再停留于粗粒度胜率——两位作者逐帧标注48局对局日志，归纳出23个言语/非言语欺骗原子并定义多步弧级欺骗，再用与人工几乎同等可靠（human–human $\kappa=0.792$ vs human–LLM $\kappa=0.709$）的Qwen3.6-27B judge自动标注上千局，使细粒度欺骗行为科学首次在大规模具身设定下可行。
核心方法
直觉上，本文想回答「当VLM智能体必须撒谎才能赢时，它究竟怎么撒谎」。技术路线分三层。环境层：MINEAMONGUS基于MINELAND多智能体模拟器与Mineflayer接口，实现8人Among Us；每步所有存活bot的JS程序同步派发执行后返回观测快照，观测含360×640第一人称RGB、记分板信号（阶段、内鬼攻击就绪标志、任务完成位、死亡状态）、带服务器结构化事件的聊天记录与自身位置；任务阶段只有物理动作，会议阶段回合制发言（每人最多3次）后投票。智能体层：ARIA的规划器每步从八个决策模块（KILL、REPORT、SURVEILLANCE、EMERGENCY、MEETING、VOTE、MOVE、MISSION）中选一个执行，每个模块由VLM决策+Mineflayer程序合成组成；内鬼的动作附带一行只有自己可见的私人行动叙述，作为后续欺骗标注的动作层证据。测量层：23个欺骗原子组织为两级体系——非言语3簇（NV-1伪装、NV-2追杀、NV-3报告与紧急呼叫）加言语3簇（V-1捏造、V-2含糊、V-3隐瞒），弧（arc）定义为跨阶段实现更高阶欺骗意图的原子序列。
核心创新是与以往测试台在三个层面的本质区别。其一，双通道共测：把任务阶段（非言语）与会议阶段（言语）放进同一局游戏，使「先跟踪→再目击感知击杀→后逃离现场」这类多步非言语欺骗链与「编造不在场证明」这类言语欺骗，在同一评分体系下可比——这在纯文本或抽象状态测试台中结构上不可能。其二，受控消融：ARIA五轴（ego/privileged状态表征、window/semantic记忆、reactive/hierarchical规划、反思技能开关、deterministic/minimal提示）可独立切换，从而把行为差异归因到认知组件而非模型，直接回应了「发现到底属于模型还是harness」的归因难题。其三，分类学锚定的原子标注：23个原子每个都同时映射到Whiten–Byrne、Whaley、IDT三套分类学（表3），并验证了$\kappa=0.709$接近人工的LLM judge。本质区别在于：它把欺骗从胜率的副产品升级为可分类、可归因、可规模化量化的行为科学测量对象。
方法步骤详情
完整流程如下。(1) 环境实例化：在Minecraft中搭建Among Us地图，配置2内鬼6船员，胜负按四种条件判定（存活船员≤内鬼、超200步、内鬼全被投出、任务全完成）。(2) 智能体运行：每步VLM接收RGB+状态信号+聊天历史，规划器选择八个模块之一，配对合成Mineflayer程序同步执行；会议采用回合制发言协议。(3) 标注体系构建：两位作者独立逐帧标注48局日志，交叉引用得到23个原子与弧的定义（附录E.2/L），每个原子沿三套分类学打标。(4) Judge验证：以Qwen3.6-27B为judge，对人工标注达到$F_1^w=0.792$、Spearman $\rho=0.713$、Cohen $\kappa=0.709$（人工之间$\kappa=0.792$、$\rho=0.803$）。(5) RQ1实验：固定GPT-4.1-mini与Qwen3.6-27B两个骨干，内鬼消融记忆/规划/反思/提示四轴共$2^4=16$种配置，船员固定(refl-skill, prompt)=(meeting-on, minimal)并对比两个(记忆,规划)角，$2\times2\times16\times3=192$局，随后计算各轴边际胜率与每原子$r_{pb}$。(6) RQ2实验：固定4组(船员,内鬼)配置组合，12个VLM做$12\times12$循环赛×2次重复×4配置$=1152$局，再选top-3与worst-3共6个模型标注576局做原子级跨模型分析。
技术新颖性
新颖性可从四方面分析。环境层面，这是首个3D多模态Among Us沙盒——此前最接近的是2D房间网格（Sarkar et al. 2025）与纯文本Among Us工作（Chi et al. 2024等），本文首次让欺骗的感知、空间与对话通道同时在线，并支持VLM以原始RGB而非符号状态观察世界。方法论层面，ARIA与追求能力的智能体系统目标相反，它是「测量仪器」，五轴设计把harness从混淆变量变成可控实验变量，该范式本身可迁移到其他智能体行为研究。测量层面，23原子体系是首个把生物学/军事/人际传播三套欺骗分类学统一操作化并应用于LLM智能体的方案，Qwen3.6-27B judge以$F_1^w=0.792$接近人工一致性且经跨家族鲁棒性检验（附录E.6），使1728局游戏（192+1152局，RQ2另有576局被judge标注）的细粒度标注在成本上可行。结论层面，「非言语渠道比言语更决定胜负」是对文本-only文献结论（更强模型是更好骗子、内鬼靠含糊取胜）的直接修正与扩展。
实验结果
RQ1（192局）四项发现。前置发现：把内鬼限制为ego第一人称状态后游戏崩溃——10局中内鬼0击杀，GPT-4.1-mini内鬼胜率从40%跌到0%，Qwen3.6-27B从40%跌到20%（唯一一胜是0击杀的超时局），故后续固定privileged状态。(1) harness组成改变内鬼胜率：只改船员侧(记忆,规划)切片，Qwen组内鬼胜率44%→52%（+8pp），GPT-4.1-mini组60%→25%（−35pp）。(2) 各轴方向性趋势一致：window记忆优于semantic信念跟踪、hierarchical规划优于reactive、会议后反思有益；合并2比例z检验显示规划与反思轴边际显著（$\Delta\approx+9.4$pp，$p\approx0.096$，$\alpha=0.10$）。(3) 原子层面：目击感知击杀E（$r_{pb}=+0.434$，618次）、事后逃离F（+0.414，352次）、策略性不报告H（+0.270，187次）、事前跟踪C（+0.208，1803次）是最强正关联；记忆/反思/提示三轴的高胜率设置产生更多这些非言语击杀循环原子，而规划轴的高胜率设置（hierarchical）反而产生更多V-1言语捏造原子（$r_{pb}$在0.137–0.210之间）。RQ2（1152局，12个VLM）三项发现：(i) 各VLM的内鬼胜率与船员胜率强相关（Pearson $r=+0.71$，$p=0.01$），骨干通用能力比角色专属能力更重要；top-3为Gemini-3-flash 70.8%、Kimi-K2.5 66.7%、Gemini-3.1-flash-lite 65.6%，worst-3为Gemini-2.5-flash 46.9%、Qwen3.5-9B 36.5%、Gemma4-26B-A4B 36.5%。(ii) 赢家原子以非言语为主：伪装做任务A最强（$r=+0.72$，top-3每局12.64次vs worst-3的1.91次，6.6倍差距），其次是F（+0.59）、E（+0.52）与言语的模式捏造R（+0.49）；输家原子分两类——防御性言语反应（出卖队友Q −0.54、反指控M −0.52、诚实标记U −0.50）与被动非言语姿态（混入游荡B −0.62、旁观同行G −0.58）；簇级上NV-1伪装（+0.54）与NV-3（+0.44）为正，V-1捏造（−0.42）、V-2含糊（−0.52）、V-3隐瞒（−0.48）为负，说明成功内鬼「赢在做什么而非说多少」。(iii) 成功内鬼不止一条路线：Gemini-3家族走NV-1伪装主导（簇占比39.7%），Kimi-K2.5走V-1捏造主导（43.2%）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RQ1：ARIA组件消融下的内鬼胜率（192局） | 内鬼胜率（imposter win rate） | 仅改船员侧(记忆,规划)配置：Qwen组44%→52%（+8pp），GPT-4.1-mini组60%→25%（−35pp）；规划与反思轴合并效应$\Delta\approx+9.4$pp（$p\approx0.096$） | 先前纯文本测试台均为单一固定配置，无消融对照 | 首次证明harness本身可使胜率波动达35pp，行为差异不能只归因于模型 |
| RQ1：欺骗原子与内鬼获胜的关联 | 点二列相关$r_{pb}$（192局逐原子计数） | 目击感知击杀E +0.434（618次）、事后逃离F +0.414（352次）、策略不报告H +0.270、事前跟踪C +0.208（1803次） | 粗粒度胜率指标无法区分欺骗类型 | 首次给出原子级归因：非言语击杀循环>言语捏造（0.137–0.210） |
| RQ2：12个VLM循环赛（1152局） | 内鬼胜率 | Gemini-3-flash 70.8%、Kimi-K2.5 66.7%、Gemini-3.1-flash-lite 65.6% | worst-3：Gemini-2.5-flash 46.9%、Qwen3.5-9B 36.5%、Gemma4-26B-A4B 36.5% | 最强与最弱骨干胜率差距达34.3个百分点 |
| RQ2：跨模型赢家/输家欺骗原子区分 | Pearson $r$（N=6模型） | 伪装做任务A +0.72（每局12.64 vs 1.91，6.6×）、NV-1伪装簇+0.54、NV-3簇+0.44 | V-1言语捏造簇−0.42、V-2含糊簇−0.52、V-3隐瞒簇−0.48 | 非言语伪装是最强赢家信号，言语原子量不区分胜负 |
| LLM-as-a-Judge标注质量验证 | Cohen's κ / 加权F1 / Spearman ρ | human–LLM：$\kappa=0.709$、$F_1^w=0.792$、$\rho=0.713$（Qwen3.6-27B） | human–human：$\kappa=0.792$、$\rho=0.803$ | 接近人工一致水平，使上千局规模化原子标注可行 |
局限与改进
作者承认三条局限。游戏有界性：某些被标为欺骗的行为（如伪装做任务NV-1、高效移动）同时也是有效玩法，测量的是游戏内行为性欺骗，不等于开放式人际欺骗能力，尽管NV-3与V簇（不报告尸体、编造不在场证明等）更直接指向操纵他人信念。状态脚手架：ego状态下内鬼无法维持击杀目标、船员无法导航做任务（附录G），两个角色都被迫固定在privileged状态——用结构化文本提供持久空间跟踪、RGB保留给欺骗关键的视觉判断，结论应理解为「空间脚手架下的具身欺骗」，缩小与完全第一人称的差距留作未来工作。harness范围：五轴之外的人格条件化harness与元harness搜索未探索。我的补充观察：(1) 统计功效薄弱——每格仅3次重复、RQ1共192局，所有轴效应均未达$\alpha=0.05$显著（最好$p\approx0.096$），作者也只能称之为方向性趋势；(2) RQ2跨模型相关仅N=6，作者自述只看符号与相对大小；(3) judge与被测骨干同家族（Qwen3.6-27B既是judge又是参赛模型），自家族偏好风险未被完全排除；(4) 只标注内鬼的欺骗行为，船员侧的误报与冤枉策略未被量化；(5) 12个VLM多为闭源API，行为随版本漂移，可复现窗口较窄。
独立分析的弱点
独立弱点分析如下。(1) ego崩溃暴露当前VLM空间推理短板，等于全部结论建立在一个非现实的信息脚手架上——privileged状态提供的「全图视角+持久最后已知位置」在真实部署中并不存在；改进方向是把privileged文本流替换为可学习的空间记忆模块或SLAM前端，让空间感知成为被训练的能力而非外挂。(2) 「欺骗原子与胜率正相关」存在能力混淆：目击感知击杀的高$r_{pb}$可能只说明「会玩的内鬼才赢」，而非欺骗策略本身有效；改进方向是引入控制任务完成率的偏相关分析，或构造船员能力匹配的对照实验。(3) 23原子的定义与judge校验都出自同一批作者，存在循环验证风险；改进方向是邀请第三方实验室盲标，或用人类玩家真实对局交叉校准原子边界。(4) 原子体系从48局人工标注归纳，覆盖面可能低估未观测的欺骗形态；可让judge以开放式方式主动提议新原子再人工审核。(5) 消融网格16配置×3次重复的样本量太小，导致$p\approx0.096$只能算趋势；改进方向是增加重复次数，或用分层贝叶斯模型跨配置部分池化方差，同时报告效应量置信区间而非仅点估计。
未来方向
作者明确提出的方向有三：人格条件化harness（把内鬼/船员人设注入聊天与规划风格，解耦欺骗策略与VLM默认风格，参考Chi et al. 2024）；元harness优化（搜索harness实现本身而非五个手工指定的轴，参考Lee et al. 2026）；以及把ego状态可行化、把测量迁移到开放式人际互动。论文附录还暗示了船员侧方向：作者用行为克隆微调了一个更善于识别内鬼欺骗的船员模型（附录U），这是全文唯一训练的模型。基于本文成果可自然延伸的方向包括：把原子体系用作对齐干预的A/B测量仪，检验欺骗拒绝训练或安全微调后原子分布如何变化；把言语原子与狼人杀/阿瓦隆测试台对齐，研究欺骗策略跨游戏迁移；利用弧（arc）级定义研究多步欺骗的时间动力学与阶段性触发条件；把judge改造成实时欺骗检测器用于部署期安全监控；以及在纯文本测试台上复算本体系，定量回答「非言语通道到底贡献了多少此前被文本测试台遗漏的欺骗现象」。
复现评估
复现评估：论文有项目主页（junseokim0103.github.io/Lies-We-Can-See/），工程细节相当完整地放在附录中——Mineflayer全部操作原语与程序超时/派发机制（附录C）、八个决策模块的schema与prompt及五轴实现（附录D）、23原子定义（附录E.2）与judge选型的跨家族鲁棒性检验（附录E.6）、两局样例（附录P/Q），但正文未明确承诺开源代码与48局人工标注数据。复现需要：Minecraft+MINELAND多智能体环境与Mineflayer编程接口、12个VLM的API权限（含GPT-5、Gemini-3、Kimi-K2.5等闭源模型）、192+1152局对局的算力与API预算（每局最多200步×8个bot的VLM调用，估计数千至上万美元）、以及RQ2的576局judge标注。若代码、prompt与标注数据不开源，原子体系校准难以独立复核，复现难度接近不可行；若开源，环境搭建属于中等偏上难度，最大成本在闭源API调用。建议关注项目主页的代码发布情况。
论文图表
用六张游戏截图展示内鬼的代表性欺骗行为：(1)言语欺骗——只在会议阶段的讨论中隐藏身份（无移动）；(2)目击感知击杀——附近无目击者时才击杀船员；(3)事后逃离——行凶后逃离犯罪现场；(4)伪装做任务——假装做任务混入船员；(5)自首式击杀——击杀后自己报告尸体以转移怀疑；(6)事前跟踪——跟踪船员为未来击杀做铺垫。并注明言语欺骗(1)只发生在会议阶段，非言语欺骗(2-6)只发生在任务阶段。
一图看懂本文研究对象的全部行为学范畴，是后文23原子标注体系的直观导览，也直观解释了为什么纯文本测试台只能覆盖六分之一的现象。