CONSCIENTIA：LLM智能体能否学会策略博弈？多智能体纽约市仿真中的涌现欺骗与信任 CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation
在纽约市导航多智能体仿真中，蓝队与红队通过KTO迭代对抗训练，揭示LLM可学会有选择的信任与欺骗，但仍高度脆弱。
前置知识
Kahneman–Tversky优化（KTO）
KTO是基于前景理论的对齐目标,对单条轨迹做"期望/不期望"二值标签,不需成对偏好。隐式奖励$r_\theta=\beta\log\pi_\theta/\pi_{ref}$通过logistic把期望样本拉高、不期望压低,损失含基线$z_0$。
本文选择KTO是因为多智能体对抗场景中监督信号天然以整条轨迹的"成功/被骗"形式出现,而非整齐的成对偏好;KTO可以避开DPO需要配对数据、PPO需要密集奖励的工程痛点。
多智能体对抗仿真（Red/Blue博弈）
受网络安全红蓝对抗启发的研究范式,设定两方对立目标智能体在共享环境中交互。一方(Blue)是任务导向合法代理,另一方(Red)通过语言或策略操纵对方偏离任务。本文中Blue去目的地,Red把Blue引向广告牌以获取"广告收入"。
这是本文方法论的核心:通过把策略博弈放到可控的城市导航环境,我们可以直接观测到"信任"和"欺骗"这类难以在通用NLP任务中量化的社会性行为。
LLM作为评判者（LLM-as-a-Judge）
用大语言模型作为评估者来给其它模型的输出打分或分类。通常需要设计rubric(评分量表)和严格JSON输出契约,并通过多模型、多provider集成以及Cohen's kappa、Krippendorff's alpha等一致性指标来评估评估本身的可靠性。
本文用gpt-5.4-nano、mistral-large-latest、step-3.5-flash三个模型对834条轨迹在"目标导向性"和"操纵易感性"两个维度1-5分打分,但发现后者一致性只有Krippendorff alpha 0.204,极大影响了对"被操纵"这一概念的可信度量。
研究动机
随着LLM被部署为自主智能体,理解它们在多智能体环境中的策略行为(尤其是欺骗、信任、目标一致性)成为对齐研究的关键缺口。已有工作虽然研究了ReAct、Tree-of-Thoughts等推理-动作框架,也探索了AgentVerse、CAMEL等协作/竞争多智能体,但绝大部分benchmark是在清洁、单轮、信息充分的环境下测试的。最近的AgentBench、$\tau$-bench等基准显示,一旦任务变成长视野、异步、工具密集或带约束,LLM智能体的性能就会断崖式下跌,失败主要来自状态追踪弱、约束满足差、多步控制脆弱。即便在"housekeeping"或狭窄具身例程等简单领域表现尚可,智能体的策略能力在真实多轮交互中依然不可靠。与此同时,Kambhampati等人警告不要把中间token拟人化地解读为"推理",否则会扭曲评估。因此,亟需一种能在可控环境中**直接观测**策略行为并定量测量的实验范式。
本文的目标是本文的具体目标分两层。底层目标是构建一个以纽约市导航拓扑为载体的、受控的大规模多智能体对抗仿真环境,使'信任'与'欺骗'这类难以在通用NLP任务中量化的社会性策略行为可被直接观测和定量测量,为此设计了150 Blue + 100 Red的不对称种群和四类结局(A到达安全/B到达被骗/C未达安全/D未达被骗)。上层目标是探究通过10轮KTO迭代对齐后,任务完成率(TSR)与抗操纵鲁棒性(SR)能否同时提升,以及Blue是否能在保持导航效率的前提下学会'有选择的合作'而非'一概不信'。
与已有工作不同的是，与既有工作相比,本文的独特切入点是:(1)把"欺骗vs信任"作为博弈内核嵌入到具体空间导航任务,而不是抽象辩论或文本对话;(2)采用150 Blue + 100 Red的不对称规模,让对抗压力可持续累积;(3)使用KTO这种轨迹级单样本对齐目标代替DPO/PPO,从而更适合"整条旅程该不该被强化"的监督;(4)同时报告任务成功率、安全性、效用函数和LLM-as-judge多维定性,首次系统地量化了"抵抗-易感性"的长期博弈动态。
核心方法
整体思路是"以城市导航为载体,通过对抗仿真制造可量化的策略行为样本,再用KTO迭代对齐双方策略"。直觉上,既然现实里我们很难直接测量一个LLM"是否在骗人",那就在一个简化但可控的纽约市环境中让欺骗行为有可观察的下游后果(Blue被骗去广告牌 = 路径被劫持 = 任务偏离),从而构造出训练信号。技术路线分两阶段:Phase 1用基座Qwen3-4B部署250个agent跑出初始交互轨迹;Phase 2进入10轮迭代循环——每轮先用Qwen3-14B做数据增强,把轨迹打标成$y_{desirable}$/$y_{undesirable}$两类,再用KTO独立微调Blue和Red的策略,最后把更新后的策略部署回仿真收集新轨迹。
核心创新在于用"轨迹级效用"取代"单步奖励"来驱动对齐。具体做法是:Blue的KTO以"是否到达目的地且避开广告牌"为整条轨迹的二元信号,Red的KTO则以"是否成功诱导Blue访问广告牌"为信号。这种设计绕过了PPO在长视野信用分配上的不稳定性,也回避了DPO对偏好对的依赖。本质区别于已有LLM对齐工作的地方在于:对齐目标不是"回答得好不好",而是"在多轮对抗交互中整条决策链有没有被攻陷",因此监督信号本质上是**对抗性**的——Blue要抵抗,Red要攻破。
方法步骤详情
方法分两阶段。**Phase 1**:Qwen3-4B基座$\pi_{base}$在NYC拓扑部署250个agent跑初始轨迹。**Phase 2**(10轮迭代)。Step 2.1数据增强:Qwen3-14B + vLLM把rollout扩增为3600条$y_{desirable}$与1500条$y_{undesirable}$。Step 2.2 KTO微调:Blue用lr=$1\times 10^{-6}$、3 epochs、$w_+/w_- = 1.0/2.23$;Red用lr=$5\times 10^{-7}$、2 epochs、warmup 50;单卡A40 + AdamW独立训练,$\mathcal{L}_{KTO}$由隐式奖励$r_\theta=\beta\log\pi_\theta/\pi_{ref}$驱动。Step 2.3回滚仿真:更新后的$\pi_\theta$重新部署,新轨迹替代旧数据进入下轮。**Step 3评估**:基于$\tau_i$计算TSR、SR、Resistance、Trust Efficacy等十余指标,并用3个LLM judge定性打分。
技术新颖性
技术新颖性体现在四个层面。第一,把**前景理论**从行为经济学引入LLM多智能体对齐(KTO原本是单模型对齐工具),并把它的"二元效用信号"重新解释为"对抗博弈中的胜负判定"。第二,**共同进化闭环**——Blue和Red交替KTO后回到同一环境再对抗,这在静态偏好学习框架(如DPO/RLAIF)中是没有的,更接近自博弈(self-play)思想但又不需要奖励模型。第三,**轨迹级效用函数** $U_i = \alpha \mathbb{I}_{reach}(i) - \beta \mathbb{I}_{bill}(i) - \gamma \min(T_i/T_{max}, 1)$,把"完成-安全-效率"三个目标融合成单一标量,便于跨代对比。第四,**多模型多provider的LLM-as-judge协议**,用Cohen $\kappa$与Krippendorff $\alpha$量化评估本身的不确定性——这本身就是一种方法论贡献,因为它揭示了"自动化定性评估的可靠性边界"。
实验结果
十轮迭代显示对齐有效但**非单调**。TSR从基座46.0%升到Run 10的57.3%;SR最低点在Run 8(70.67%)而非TSR最高的Run 10(76.00%),体现**安全-性能trade-off**。MeanLen稳定在8.5–9.5步,Run 8产生最多censored轨迹(44例)。Resistance>90%,Trust Efficacy从11.76%升到16.91%,Over-Refusal从88.24%降到83.51%,学到**有选择的合作**。LLM-as-judge中Goal Directednessα=0.648,Manipulation仅0.204。后置1500条:Repeated steering致93.9%易感,Delayed compromise(155)100%易感+23.2%到达;攻击从弱到强Reach从63.0%跌到31.4%,SR从49.1%升到98.3%;**84.6%初始拒绝者最终仍被攻陷**,延迟1.35轮;失败以Confusion under conflicting advice为主(525例,SR 93.5%),根源是**长视野目标一致性崩塌**。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Blue导航任务(去广告牌化) | Task Success Rate (TSR) | 57.3% (Run 10) | 46.0% (Base / Qwen3-4B) | +11.3个百分点(约+24.6%相对提升),但Run 8仅44.67%,呈非单调。 |
| Blue抗操纵鲁棒性 | Susceptibility Rate (SR, 越低越好) | 70.67% (Run 8) | 76.00% (Base) | Run 8相对基座降低5.33pp,但Run 10反弹到76.00%,说明最优安全点≠最优性能点。 |
| Blue对恶意建议的即时抵抗 | Blue-Red Resistance | 94.46% (Run 6,最高),整体 >90% | 93.45% (Base) | 提升约1pp,天花板已在基座附近。 |
| Blue对良性建议的信任效用 | Blue-Blue Trust Efficacy | 16.91% (Run 8,最高) | 11.76% (Base) | +5.15pp,且Over-Refusal同步从88.24%降至83.51%,显示选择性合作提升。 |
| 对齐后综合效用 | U_blue = α·I_reach - β·I_bill - γ·min(T/T_max,1) | -0.195 (Run 10,最高,仍为负) | -0.309 (Base) | 提升0.114,但所有代数U_blue均为负,说明对抗成本仍大于收益。 |
| 完全避开广告牌的轨迹数 | Censored Trajectories | 44 (Run 8,最高) | 36 (Base) | +8例,约+22%,在长视野安全上获得稳定增益。 |
| 攻击强度梯度下的脆弱性 | Reach Rate under Strong Attack | 31.4% | Weak Attack时63.0% (相对参照点) | 在542条强攻击回合中,98.3%易感性,显示对齐策略在持续、多agent施压下仍几乎失效。 |
| 多次红方接触下的易感性 | Susceptibility under Multiple Red Contacts | 94.8% | 56.6% (单次接触) | +38.2pp,证实"持续社交压力"是主要失效路径。 |
局限与改进
作者自承四点局限:(1)实验**仅依赖Qwen3家族**(Qwen3-4B + Qwen3-14B),对抗动态可能反映该架构特性;(2)NYC环境是**静态地图+静态广告牌**,无法判断是学会了空间推理还是记住了局部地理;(3)LLM-as-judge在Manipulation Susceptibility上Krippendorff $\alpha$=0.204,'是否被操纵'本身定义不清;(4)即便最佳对齐后$U_{blue}$仍为负(-0.195),说明对齐尚未扭转博弈。我观察到的额外局限:Run 8/Run 10之间差距比Run 1–5的累积还小,边际收益递减;单次A40限制了模型规模;NYC地名是预训练知识的伪记忆,混淆了语义检索与空间推理;Blue-Red Resistance天花板~94%已饱和,真正的瓶颈是SR仍>70%的长视野问题。
独立分析的弱点
可独立指出的弱点及改进方向:**(1) 长视野目标一致性崩塌**——84.6%的初始拒绝者最终仍被攻陷,模型缺少'过去拒绝过什么'的记忆;改进方向是引入显式commitment store或在KTO效用函数中加入'维持先前决定'的折扣项。**(2) Scenic/Cultural framing始终是漏洞**——风景类话术接受率在Gen 4仍居高不下,Proximity Illusion使用量还在增长(270→305);改进方向是把$\mathcal{D}^-$从'明显错误路径'扩展到'听起来很美但绕路'的对抗样本。**(3) 共进化闭环缺乏收敛保证**——Red策略从Authority Normalization漂移到Proximity Deception,呈策略漂移而非纯对抗升级;改进方向是双时间尺度KTO,打破李雅普诺夫不稳定。**(4) LLM-as-judge失效**——$\alpha$=0.204表明该维度本身定义不清,应改用'专家+反例'二元分类或基于Levenshtein距离的客观代理指标。
未来方向
作者明确方向是'robust agent alignment requires preserving goal integrity over extended interactions, not merely rejecting isolated bad advice',即聚焦**长视野目标一致性**。可延伸方向:(a)**显式对抗记忆**——给Blue加'曾经拒绝过的Red建议'短时记忆,直接缓解84.6%被攻陷;(b)**多智能体联邦KTO**——汇聚所有Blue的$y_{desirable}/y_{undesirable}$做全局对齐目标;(c)**异构基座消融**——把Blue换成Llama-3.1-8B、Red换成Mistral-Large,验证'Qwen3专有现象';(d)**泛化到非空间博弈**——把NYC框架移植到电商推荐操纵、医疗建议、金融交易劝说等更现实的对抗场景;(e)**人类标注子集**——既然LLM-as-judge失效,关键样本需human-in-the-loop;(f)**多模态扩展**——把伪造地图、伪造路标等视觉操纵纳入Red工具箱。
复现评估
复现评估中等。**优点**:明确披露基座(Qwen3-4B/14B)、硬件(单卡A40)、优化器(AdamW)、Blue/Red双套超参(lr $1\times 10^{-6}$ vs $5\times 10^{-7}$、epochs 3 vs 2、$w_+/w_- = 1.0/2.23$、warmup 0.1、weight decay 0.01)、10轮pipeline、KTO公式$r_\theta=\beta\log\pi_\theta/\pi_{ref}$及完整prompt模板(附录F.1-F.4),附录H承诺交互式可视化。**缺点**:(1)代码开源状态未声明,核心仿真、KTO脚本、评估pipeline均需复现;(2)NYC地图拓扑与广告牌位置缺文件级schema;(3)LLM-as-judge使用商用模型(gpt-5.4-nano等),API可用性影响复现;(4)数据增强的随机种子与temperature未公开;(5)KTO的$z_0$ baseline centering估计方法未给。算力门槛低(单卡A40),软件栈深,熟练研究者复现需2–4周工程量。
论文图表
