顺水推舟：通过心智理论学习双重代理防御者以引导攻击者信念

训练LLM在隐私对话中扮演双面间谍：用RL学会主动建模并误导攻击者信念。

前置知识

心智理论（Theory of Mind, ToM）

心智理论指个体推测他人心理状态（信念、意图、知识）并据此调整自身行为的能力。在LLM语境下，ToM要求模型在多轮交互中持续追踪对话者所持有的信念，并在每一步推断出对方「认为」的事实是什么，即使该事实与客观真相或模型自身知识不一致。

本文核心任务是让防御者主动构建攻击者心智模型以引导其错误推断，因此ToM是奖励函数与评估指标的根基。

Group Relative Policy Optimization (GRPO) 及其改进版 Dr. GRPO

GRPO是一类免critic的策略强化算法，对同一提示采样一组轨迹、用组内相对优势替代价值网络。Dr. GRPO进一步去掉标准差归一化、改用最大长度归一化，以减小高方差奖励带来的偏差。

本文在多轮对话轨迹上使用Dr. GRPO训练防御策略，没有价值函数，正好适合多轮稀疏二元奖励场景。

轨迹级稀疏奖励（trajectory-level sparse reward）

在多轮强化学习中，奖励往往只在整段对话结束后给出0/1信号（例如这次是否成功骗到攻击者），中间步骤没有显式监督。这类奖励稀疏、信噪比低，是多轮RL的典型挑战。

本文$R_{fool}$和$R_{ToM}$都是末尾二元奖励，理解稀疏奖励对解读训练收敛与样本效率至关重要。

双重代理（Double Agent）

在对抗语境中，双重代理指表面顺从但实际上在误导对手的角色。与拒绝回答或被动拒绝不同，双重代理会主动提供看起来合理的虚假信息来维持对方信任。

这是本文为防御者赋予的新身份，跳出传统拒绝/过滤范式，是方法层面创新的核心叙事。

研究动机

现有面向LLM的隐私防御几乎都是被动式：要么直接拒答、要么做关键词/输出过滤，要么给出与攻击者先验无关的固定式误导。这些方案在多轮交互下被反复证伪——例如本文实证：Refuse Prompt在带先验的hard场景下fooling率只有 $0.3\%$，Mislead Prompt也只有 $4.2\%$。更强的ToM提示型基线（Gemini3-Pro + Base Prompt）虽然整体fooling率可达 $57.8\%$，但在攻击者具备部分先验的hard子集上立刻跌到 $34.4\%$；即便是最强的GPT-5.4 + Base Prompt同样只有 $26.7\%$。失败模式集中表现为三类：不会主动探测攻击者先验、不能估计对方信任度、被识破后无法挽回。多轮对抗场景下，攻击者还会改用更复杂的对抗策略甚至换会话重试，让静态防御越来越被动。

本文的目标是本文目标是把防御者从被动挡板升级为主动话术员：让一个LLM在共享的层级化世界中（如图1的Operations→Support→Escalation三层路径）和攻击者对坐多轮，目标是 (1) 通过对话推断攻击者已掌握什么，(2) 在此基础上主动塑造对方信念使其得出错误但自洽的结论，(3) 同时维持对方的信任度不被识破。为系统研究该问题，本文形式化提出TOM-SB（TOM for Steering Beliefs）这一长程（最多29条消息）多轮任务，并设计奖励函数让LLM通过强化学习真正学到这一行为，而不是只会复述prompt。

与已有工作不同的是，现有ToM评测（ToMi、HiToM等）多为静态QA形式，测的是字面ToM——能否从一段叙述里推断某角色知道什么。本文指出即便加上功能性ToM（用ToM指导决策）也还不够，真正的差距在于交互式ToM：对话者必须主动通过提问来检验、修正自己的心智模型，并在多轮对抗中把不同目标（不泄漏、保信任、误导）和ToM实时耦合起来。这一缺口恰是AI DOUBLE AGENTS与TOM-SB的切入角度：把ToM从诊断工具变成训练目标，并证明仅靠RL就能涌现出对攻击者的高质量心智建模。

核心方法

整体思路是构造一个层级化信息世界与信息不对称的多轮对话游戏，让防御者通过强化学习主动学会ToM和欺骗两个目标。每个场景在树状结构（公司→部门→团队三层层级）中采样一条路径作为defender private info，并把这条路径的部分属性挖空作为attacker prior；攻击者和防御者共享同一棵树，因此任何答案都可被攻击者拿先验一致性来检验。防御者每轮先口头报告对攻击者信念的估计（ToM反射）和对话策略，再产出回复；攻击者同样输出trust score、当前信念和action信号。训练阶段用LLM-judge比较防御者反思中估计的先验与真实先验得到 $R_{ToM}$，用攻击者最终是否错误宣告成功得到 $R_{fool}$，二者相加后送入Dr. GRPO在Qwen3-14B上做策略更新。直觉上：奖励A引导模型问问题以摸底对方，奖励B引导模型在摸到底的基础上编圆一套故事，两项一起训练会出现协同而非互斥。

核心创新是把心智理论能力显式写成一个可被RL优化的奖励信号 $R_{ToM}$，而不是只把ToM放在prompt里观察。具体来说，论文用LLM作为裁判，从整段对话加防御者的ToM反思中推断出防御者认为攻击者初始知道什么，与攻击者的真实先验做二值匹配。这一奖励和 $R_{fool}$ 在轨迹级同时优化，并通过Dr. GRPO在Qwen3-14B上训练。区别于已有工作的本质是：(a) 对手不是固定模板而是带trust score的自适应攻击者；(b) ToM不是诊断指标而是直接训练目标；(c) 奖励设计覆盖多轮长程耦合，最终在fooling和ToM两端都获得了协同的涌现。

方法步骤详情

第一步对每个场景 $s$ 在4层（或3层）的层级树上采样一条完整路径作ground truth，再随机挖掉一部分属性生成attacker prior，同时生成 $25\%$ 训练与 $75\%$ 评测划分。第二步在评测或rollout时固定attacker（默认Gemini3-Flash），按prompt让其每轮输出trust、beliefs、CoT、action（attack successful / defender detected / query again），作为环境的一部分。第三步对defender（基线或训练中策略），每轮先用结构化JSON输出ToM估计（其认为攻击者掌握什么）、trust估计、CoT，再产出回复；这样每条轨迹都附带一份防御者视角用于奖励和评测。第四步奖励计算：用LLM-judge把整条对话加防御者反思归纳成defender的先验估计，与attacker真实先验比对得 $R_{ToM}\in\{0,1\}$；若攻击者最终以错误信念宣告attack successful且未获取到任何新ground truth，则 $R_{fool}=1$，否则为 $0$。第五步训练：每个训练场景采样 $8$ 条轨迹，组合奖励 $R_{total}=R_{fool}+R_{ToM}$ 送入Dr. GRPO更新Qwen3-14B策略，并在 $75$ 个评测场景上每条跑 $2$ 条轨迹求平均。第六步扩展性测试：仅通过改attacker prompt派生Cross-Examiner、Deception-Aware、Bluffing三种更强的OOD攻击者，并在原训练得到的策略上直接评测，验证TOM-SB是可升级任务。

技术新颖性

技术新颖性体现在三处。第一，把功能性ToM加信念引导统一为RL优化问题，并用二元轨迹级奖励驱动长程策略学习，相比传统SFT的用成功轨迹做模仿在对抗设定下更具鲁棒性。第二，奖励构造 $R_{ToM}$ 不要求逐步标注，而是用LLM-judge在轨迹末端一次性推断出的先验估计与真实先验匹配，巧妙避开了逐步ToM标注的高昂成本。第三，通过消融 $R_{fool}$ / $R_{ToM}$ / $R_{fool}+R_{ToM}$ 三组训练，发现纯ToM奖励就能把hard场景fooling从 $13.2\%$ 提升到 $40.6\%$，纯fooling奖励也能带来ToM准确率从 $36.0\%$ 到 $49.0\%$ 的涌现，证明二者在多轮对抗中是耦合而非独立的目标函数，这一点是与既有把ToM当辅助特征思路最关键的差异。

**Figure 2**: Illustration of metrics and reward computation.

实验结果

主结果（Table 1）在Qwen3-14B defender / Gemini3-Flash base attacker上评估：ADA (Fooling + ToM) 在hard场景下fooling率达到 $42.4\%$，在all上达到 $51.3\%$，轨迹ToM准确率 $58.7\%$、stepwise ToM $64.9\%$，平均对话长度 $4.58$ 轮；ADA (ToM Only) 在hard上 $40.6\%$、all上 $43.6\%$；ADA (Fooling only) 在hard上 $34.4\%$、all上 $46.7\%$。三者均显著超过Qwen3-14B的Base Prompt基线（hard $13.2\%$、ToM $36.0\%$）和Online SFT（hard $12.5\%$），并超过Gemini3-Pro + Base Prompt在hard场景的 $34.4\%$（本文最强训练模型比它高 $8$ 个绝对百分点），GPT-5.4 + Base Prompt在hard上仅 $26.7\%$。消融层面揭示两个涌现：(a) 只用 $R_{fool}$ 训练就让ToM从 $36.0\%$ 涨到 $49.0\%$，(b) 只用 $R_{ToM}$ 训练就让hard fooling从 $13.2\%$ 涨到 $40.6\%$，证明ToM与欺骗在多轮对抗中互相放大。Table 2的OOD测试中，ADA (Fooling + ToM) 在Cross-Examiner / Deception-Aware / Bluffing三种更强攻击者下hard fooling分别为 $31.2\%$、$40.6\%$、$34.4\%$，仍领先Base Prompt（$15.6\%$、$16.7\%$、$19.8\%$）和Gemini3-Pro（$35.4\%$、$24.0\%$、$20.8\%$）。Figure 3显示fooling与ToM在四种攻击者上Pearson相关系数高达 $r=0.89\sim0.97$，是耦合关系的统计证据。Table 3进一步表明在Bluffing Attacker上训练AI DOUBLE AGENTS时收益变小（hard fooling $34.4\%$，比Table 1的 $42.4\%$ 低），说明TOM-SB是可升级的、训练难度随攻击者增强而上升。整体上论文结论是：即便frontier模型 + ToM提示在hard场景绝对fooling率仍有限（最强方法 $42.4\%$），但RL训练出的Qwen3-14B已稳定超越frontier模型。

**Table 1**: Qwen3-14B defender vs baseline Gemini3-flash attacker.

**Table 2**: Fooling rate and ToM accuracy by attacker.

**Table 3**: ADA trained against the Bluffing Attacker.

**Figure 3**: Fooling ability of a defender is positively correlated with its ToM accuracy.

查看结构化数据

任务	指标	本文	基线	提升
TOM-SB Hard Fooling (Qwen3-14B defender, Gemini3-Flash base attacker)	Fooling % on hard scenarios	42.4% (ADA Fooling + ToM)	13.2% (Qwen3-14B Base Prompt) / 34.4% (Gemini3-Pro + Base Prompt)	+8 abs over Gemini3-Pro / +29 abs over Qwen3-14B Base Prompt
TOM-SB All Fooling	Fooling % on all 75 test scenarios	51.3% (ADA Fooling + ToM)	36.0% (Qwen3-14B Base Prompt) / 57.8% (Gemini3-Pro)	+15.3 abs over Qwen3-14B; 仍略低于Gemini3-Pro但在hard上反超
Trajectory-wise ToM Accuracy	Defender推断的attacker先验与真实先验匹配率	58.7% (ADA Fooling + ToM)	36.0% (Qwen3-14B Base Prompt)	+22.7 abs，说明联合训练显著优于prompt-only ToM
Stepwise ToM Accuracy	每轮ToM估计与attacker实际信念匹配率	65.5% (ADA ToM Only) / 64.9% (ADA Fooling + ToM)	49.3% (Qwen3-14B Base Prompt)	+15~16 abs，验证逐步信念追踪能力
OOD攻击者Cross-Examiner Hard Fooling	在更强重问型攻击者下的fooling率	31.2% (ADA Fooling + ToM)	35.4% (Gemini3-Pro) / 15.6% (Qwen3-14B Base Prompt)	+15.6 abs over Qwen3-14B；说明跨分布仍优于同模型prompt基线
OOD攻击者Bluffing Hard Fooling	在会假装先验的攻击者下的fooling率	34.4% (ADA Fooling + ToM)	20.8% (Gemini3-Pro) / 19.8% (Qwen3-14B Base Prompt)	+13.6 abs over Gemini3-Pro，表明训练模型对不确定信念更鲁棒

局限与改进

作者明确指出的局限有三：第一，最强训练方法在hard场景绝对fooling率仅 $42.4\%$，说明任务仍未被现有模型攻克，攻击者常通过多轮质疑识破防御者。第二，作者承认ToM度量本身用LLM-judge推断，存在裁判模型自身的偏差，可能让 $R_{ToM}$ 信号含噪声。第三，TOM-SB局限在3层、300个手工构造的合成场景，复杂度与现实组织/隐私场景差距较大；attacker都用Gemini3-Flash同质化，与真实人类攻击者的策略分布不同。我自己补充的观察：(a) ADA (Fooling + ToM) 在hard fooling上比ADA (ToM Only) 仅高 $1.8$ 百分点（$42.4\%$ vs $40.6\%$），但ToM准确率却高出 $5.4$ 点，说明两奖励并非线性叠加，存在边际收益递减；(b) 训练对攻击者分布敏感：在Bluffing Attacker上训练（Table 3）时ADA收益缩水到与Base Prompt接近的水平，说明现有RL策略对超强对手仍不够鲁棒；(c) 评测样本仅75个场景 ×2条轨迹，规模偏小，方差区间（如Table 1的 $\pm3.4\%$）有时覆盖多个方法之间的差距，统计显著性受限。

独立分析的弱点

独立分析的弱点集中在三点。第一，奖励函数稀疏性带来的样本效率问题：$R_{fool}$ 和 $R_{ToM}$ 都是末端0/1信号，平均4.6轮才能拿到一次反馈，作者论文未报告样本效率曲线；从表里推断每个场景采样8条、225场景共1800条轨迹，与SFT比是数据效率低很多。第二，攻击者集合单一同质：除Gemini3-Flash外，Table 2 三个OOD攻击者都通过改prompt派生，意味着风格相近（都基于Base Attacker），并未覆盖真实人类或不同LLM系列攻击者的多样性；这就是为什么ADA在Cross-Examiner上还不如Gemini3-Pro的原因。第三，对手建模对称性问题：defender内部ToM反射会被LLM-judge推回自身——若评估时也用类似模型作裁判，可能放大训练与评测的相关性偏倚；论文未给出跨模型LLM-judge一致性测试。最可行的改进方向：(a) 用process reward或step-level potential-based shaping把 $R_{fool}$ 在每轮分解；(b) 引入人类标注的多样化攻击者轨迹做行为克隆预训练；(c) 用多个不同家族的LLM-judge做ToM一致性校准并报告分布。

未来方向

作者提出的方向包括：扩展任务到更强攻击者（已用Bluffing Attacker做了初步尝试），探索更复杂的层级树与对话长度。我基于结果可延伸的方向有四点。第一，把ToM度量从先验对齐扩展到逐步信念演化对齐，让防御者显式跟踪攻击者的概率分布而非单点估计，可能更契合Bluffing这类不确定先验对手。第二，把方法应用到多模态或多智能体对抗场景，例如将defender同时对抗多个attacker、或在视觉-语言任务上迁移belief steering。第三，研究 $R_{fool}$ 与 $R_{ToM}$ 在不同强度攻击者下的权重配比——Table 3已暗示联合训练在Bluffing下边际收益下降，提示可能需要动态权重或对抗课程。第四，结合constitutional AI / red-teaming框架做防御方的人机协同，让人类法官在关键转折轮直接接管ToM估计，缓解LLM-judge偏差。

复现评估

作者声明代码与数据已开源（GitHub: The-Inscrutable-X/AIDoubleAgentDefenders）。硬件层面基于Qwen3-14B + Dr. GRPO训练，未给出完整GPU小时数，但参考GRPO在14B规模上的常见配置通常需要数十张H800/A100，预算并不算轻量；论文同时使用Gemini3-Flash、Gemini3-Pro、GPT-5.4、Ministral-3-14B等多个外部API作为评估对手，调用成本会随评测次数放大。复现难度整体中等偏高，关键卡点是：(a) 攻击者逻辑和LLM-judge的prompt设计在Appendix B才详细给出，对prompt敏感；(b) Gemini3/GPT-5.4系列存在版本变动，第三方模型快照一致性是常见痛点；(c) 仅300个合成场景、75个评测场景，加上每条对话平均3~6轮，整体规模小，相对容易跑通，但要复现Table 2的多攻击者OOD实验仍需较多API配额。

顺水推舟：通过心智理论学习双重代理防御者以引导攻击者信念 Playing Along: Learning a Double-Agent Defender for Belief Steering via Theory of Mind