← 返回 2026-04-28

通过辩证对齐抑制智能体中的主试-客试不对称偏差 Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment

Bobo Li, Rui Wu, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu 📅 2026-04-21 👍 16 2026-07-13 08:36
RLHF/RL对齐 可解释性 多智能体系统 推理 认知偏差
arXiv HuggingFace PDF

用TAS辩证推理抑制多智能体LLM的角色归因偏差（AOA）

前置知识

多智能体LLM系统与角色扮演

通过给多个LLM分配互补角色（如执行者+审核者）协作完成复杂任务。ChatDev、SWE-Agent等框架证明这种分工可激发领域专长，但也引入角色诱导的认知先验，使推理被角色立场扭曲。

本文的核心问题是多智能体框架带来的副作用，要理解为何角色扮演会产生AOA，必须先理解角色扮演的激励机制和失败模式。

Actor-Observer Asymmetry（主试-客试不对称）

社会心理学经典概念：Actor倾向归因外部情境，Observer倾向归因内部特质。本文用 $y_{\mathrm{act}}, y_{\mathrm{obs}}$ 量化，V-AOA即 $y_{\mathrm{act}}\!=\!Ext, y_{\mathrm{obs}}\!=\!Int$。

这是论文的核心诊断对象，必须理解心理学来源和量化指标才能看懂AFB基准的设计逻辑和ReTAS为什么针对归因而非回答本身。

Group Relative Policy Optimization (GRPO)

一种RLHF替代方案：对每个prompt采样一组rollout，根据组内相对奖励优化策略，避免训练独立critic。论文使用8个trajectory为一组，奖励为 $R(\cdot)=\alpha R_1 + \beta R_2 + \gamma R_3$ 加权和。

ReTAS的第二阶段训练完全依赖GRPO，要理解为什么需要去掉传统critic、奖励中 $\beta=2$ 加权归因项的作用机理，必须先掌握GRPO的基础。

Fichtean辩证法（Thesis-Antithesis-Synthesis）

德国哲学家Fichte提出的三段论认知程序：先提出立场（Thesis），再质询其反面（Antithesis），最后综合得出超越二者的结论（Synthesis）。论文将其结构化为 `` 三个明确字段，让模型强制走完这个流程。

这是ReTAS命名来源和结构核心。要理解为什么TAS比单纯的Dual View反思更有效，必须先理解辩证法为何能在视角冲突中收敛到客观共识。

检索增强推理（RAG）作为可控归因场景

论文将RAG的两阶段结构（检索→推理）作为可控归因场景：第一阶段检索失败属于外部因素（External），第二阶段推理失败属于内部因素（Internal）。FinQA和Spider被改造成可计算假阳性率的归因诊断平台。

这种结构化分解是论文能精确测量V-AOA的物理基础，理解它才知道为什么选择FinQA/Spider而不是开放任务。

研究动机

现有多智能体框架（如ChatDev、Reflexion、SWE-Agent）通过角色分工让执行者和审核者互相纠错，作者在AFB（Ambiguous Failure Benchmark）基准上对GPT-5.1/DeepSeek-V3.2/Qwen3-4B等6个模型做了成对反事实探测：让同一模型分别在Actor（自反思）和Observer（外部审核）下回答相同的模糊失败案例，结果发现仅切换视角就导致DeepSeek-V3.2在Agent-Agent场景下出现31%的V-AOA、Qwen3-4B出现29%的V-AOA，甚至连最强的GPT-5.1也在Human-Agent场景中保留5-23%的偏差。此外作者指出简单引入Reviewer的双视角反思（Dual View Reflection）有时甚至比单视角更差（GLM-4.6在FinQA-TAS上Accuracy从43.7%掉到43.1%，Flip从52.7%恶化），说明单纯增加角色多样性无法消解角色诱导的认知惯性。AOA不仅降低对话效率，更会动摇多智能体协作的客观根基，让共识变成话语权博弈。

本文的目标是论文的核心目标是构建一个能够学到'视角无关归因'的对话智能体框架ReTAS（Reasoning via Thesis-Antithesis-Synthesis），让agent无论扮演Actor还是Observer，都能基于证据本身（而非角色立场）给出统一的失败归因标签 $\text{FalseExt}$、$\text{FalseInt}$ 或 $\text{True}$，从而把V-AOA从20-30%区间压到个位数。作者同时构建AFB基准、AFB数据集（10领域200条交互轨迹）以及FinQA-TAS / Spider-TAS两个可量化归因的训练测试平台，提供从诊断到干预的完整闭环。

与已有工作不同的是，现有干预主要走两条路，要么prompt让模型'保持客观'，结果触发角色惯性的防御性辩护；要么强制切换对立视角，结果诱发过度自责和虚假一致。两类方法都治标不治本，因为它们把偏差当成'理性层次'问题而非'结构推理过程'问题。本文跳出表面prompt工程，从认知科学借来Fichtean辩证法，把反思强制拆成Thesis（角色本能反应）、Antithesis（基于证据反驳）、Synthesis（综合真相）三段，并通过GRPO把这种结构内化成模型行为习惯。这种把显式推理过程作为归一化对象的思路，是与现有reflection方法最本质的差异。

核心方法

ReTAS直觉是：归因冲突不是模型的'观点问题'，而是'推理过程没有结构'的问题。论文把每一次失败归因强制走完三段辩证法——先用角色本能给出立场（Thesis），再用证据检验该立场（Antithesis），最后综合出基于证据的客观结论（Synthesis）——再让模型输出统一的Attribution标签和Action指令。技术路线分三阶段：(a) 把FinQA和Spider改造成可控归因数据生成器，用Qwen-2.5-7B自动合成'检索失败 vs. 推理失败'两种错误并给出gold attribution；(b) 用GPT-5.1作为教师模型，按TAS模板为每个样本同时生成Defensive Actor和Critical Reviewer两条轨迹，强制二者最终汇聚到同一标签 y_type；(c) 在Qwen3-4B-Instruct上先做SFT学会TAS模板和动作词汇，再通过GRPO用8条轨迹为一组、以三元复合奖励优化归因一致性与答案正确性。

核心创新有三：第一，把社会心理学的AOA概念首次形式化为可测量的NLU指标，并用AFB基准实证其系统性存在；第二，把Fichtean辩证法结构化为显式的 `` XML-like标记，让模型绕过直接prompt工程、改由结构约束驱动反思——这是与Reflexion/Cross-Critique类方法最本质的区别；第三，给出复合奖励 $R(\cdot)=R_1+R_2+2R_2+4R_3$（注意原文 $\alpha=1,\beta=2,\gamma=4$），其中 $R_2$（归因匹配）和 $R_3$（答案正确）权重高于 $R_1$（格式），强迫模型在结构正确的同时保证推理正确。

方法步骤详情

阶段一：在FinQA和Spider上用Qwen-2.5-7B跑端到端pipeline，按规则打标——缺失gold evidence得 $\text{FalseExt}$，evidence完整但answer错得 $\text{FalseInt}$，都正确得 $\text{True}$。阶段二：用GPT-5.1对每个样本同时生成Defensive Actor和Critical Reviewer两条TAS轨迹，分别从抱怨环境或批评执行者的Thesis出发，经Antithesis证据检验，Synthesis收敛到同一归因和Action。阶段三：先SFT 3 epochs（lr=5e-6）让Qwen3-4B学会TAS格式，再以batch=1、grad_accum=16、group=8跑GRPO 750步，三元奖励 $R_1$=格式、$R_2$=归因匹配、$R_3$=答案正确，权重 $\alpha\!:\!\beta\!:\!\gamma\!=\!1\!:\!2\!:\!4$。

技术新颖性

新颖性体现在四点：(1) 问题本身新颖——首次用受控反事实实验定量揭示LLM agent中AOA的存在，区别于'evaluator bias'和'stereotype bias'等表面偏见；(2) 数据构造新颖——把模糊归属故意设计为'两类归因都无法被排除'的真歧义区间，绕过了传统ground-truth依赖问题；(3) 训练范式新颖——把辩证法模板与GRPO结合，让结构推理成为可优化目标而非prompt技巧（没有GRPO时Acc从71.2%降到67.7%，V-AOA从5.4%翻倍到12.4%）；(4) 推理阶段也只需一个TAS prompt，部署成本远低于multi-agent inference，体现'结构即参数'的思想。

Overview of our approach for taming Actor-Observer Asymmetry（AOA抑制方法总览）
Figure 2: Overview of our approach for taming Actor-Observer Asymmetry（AOA抑制方法总览）
Structured TAS format（结构化TAS格式）
Figure 3: Structured TAS format（结构化TAS格式）

实验结果

主结果（Table 3）：FinQA-TAS上ReTAS（4B）Attribution Acc 71.2%、V-AOA 5.4%、Flip 12.4%、F1 72.1%，全面超过GLM-4.6、Qwen3-30B-A3B、QwQ-32B等Dual View基线，逼近DeepSeek-V3.2（671B，F1=76.0%）和GPT-5.1（closed，F1=76.9%）。Spider-TAS上达61.4% Acc/10.2% V-AOA/21.9% Flip/63.5% F1，V-AOA最低。Table 5消融：Qwen3-4B→Dual View（V-AOA=22.7%）→+TAS prompting（14.1%）→完整ReTAS（5.4%），证明结构和RL缺一不可。Table 4消融：去 $R_2$ V-AOA三倍恶化到16.8%，去 $R_3$ F1掉到68.3%。动态谈判（Table 6）：Reflection_Dual利润从NONE $157 跌至 $135，Reflection_TAS推到 $168，从'扯皮'变'决策'。

Domains and Conflict Foci（领域与冲突焦点）
Table 1: Domains and Conflict Foci（领域与冲突焦点）
Results of Human-Agent and Agent-Agent scenarios on AFB dataset（AFB两种场景下6模型AOA指标）
Table 2: Results of Human-Agent and Agent-Agent scenarios on AFB dataset（AFB两种场景下6模型AOA指标）
Main Results on FinQA-TAS and Spider-TAS（主结果对比表）
Table 3: Main Results on FinQA-TAS and Spider-TAS（主结果对比表）
Ablation of reward components（奖励组件消融）
Table 4: Ablation of reward components（奖励组件消融）
Comparison of Qwen3-4B variants vs ReTAS（Qwen3-4B 渐进消融）
Table 5: Comparison of Qwen3-4B variants vs ReTAS（Qwen3-4B 渐进消融）
Overall negotiation performance in Sales Arena（Sales Arena总谈判表现）
Table 6: Overall negotiation performance in Sales Arena（Sales Arena总谈判表现）
Reward weight sensitivity analysis（奖励权重敏感性）
Table 7: Reward weight sensitivity analysis（奖励权重敏感性）
Statistics of ReTAS training datasets（训练数据统计）
Table 8: Statistics of ReTAS training datasets（训练数据统计）
Attribution Accuracy improvements via TAS（TAS带来的归因准确率提升）
Figure 4: Attribution Accuracy improvements via TAS（TAS带来的归因准确率提升）
Mitigation of Actor-Observer Asymmetry（AOA抑制效果）
Figure 5: Mitigation of Actor-Observer Asymmetry（AOA抑制效果）
Attribution Accuracy across evidence complexity（按证据复杂度划分的归因准确率）
Figure 6: Attribution Accuracy across evidence complexity（按证据复杂度划分的归因准确率）
Generalization on Agent-Agent Ambiguity（Agent-Agent 模糊性泛化）
Figure 7: Generalization on Agent-Agent Ambiguity（Agent-Agent 模糊性泛化）
Generalization on Human-Agent Ambiguity（Human-Agent 模糊性泛化）
Figure 8: Generalization on Human-Agent Ambiguity（Human-Agent 模糊性泛化）
Turn-by-turn average offer price across successful negotiation sessions（多轮谈判中的报价轨迹）
Figure 9: Turn-by-turn average offer price across successful negotiation sessions（多轮谈判中的报价轨迹）
查看结构化数据
任务指标本文基线提升
FinQA-TAS Attribution Accuracy Acc ↑ 71.2% Qwen3-30B-A3B Dual View = 52.9% +18.3 个绝对百分点（以4B模型超过30B基线）
FinQA-TAS V-AOA（核心AOA指标） V-AOA ↓ 5.4% Qwen3-4B + Dual View = 22.7% 降低 76%（17.3 个百分点），证明结构化推理消解了大部分视角偏差
Spider-TAS Attribution Accuracy Acc ↑ 61.4% Qwen3-30B-A3B Dual View = 55.6% +5.8 个百分点，证明在text-to-SQL这种更结构化的输出上方法同样有效
Spider-TAS Flip rate（视角切换触发归因翻转的比例） Flip ↓ 21.9% Qwen3-4B + Dual View = 未直接给出，推算 >25% Flip指标衡量视角敏感性，ReTAS降幅显著，体现「视角无关」承诺
FinQA-TAS F1（答案质量） F1 ↑ 72.1% GPT-5.1 closed = 76.9%；Qwen3-30B-A3B = 66.5% 以4B开源模型逼近闭源SOTA，缩减与GPT-5.1差距到4.8个点
Sales Arena Negotiation Profit（动态多轮） Profit ↑ $168 NONE基线 = $157；Reflection_Dual = $135 绝对利润+11美元，相对Reflection_Dual +24%，证明提升不限于静态任务

局限与改进

作者在Limitations章节承认四点：(1) 诊断范本仅限于FinQA-TAS和Spider-TAS两类RAG任务，长视野规划和创意生成等更开放场景的AOA量级尚未测量；(2) Sales Arena只是初步多轮探针，更复杂real-world谈判设置待验证；(3) AFB用合成数据诊断，可能与人类真实交互分布有差距。我自己观察到四点补充：(a) Tables 7显示奖励权重在1:2:4之外变化幅度在1个点内，说明 $\beta$、$\gamma$ 大幅失衡或许还有提升空间未被挖掘；(b) Figure 4显示在32B基模型上TAS带来的improvement变小（QwQ-32B +TAS Acc从54.9%->仅小幅提升），暗示大模型可能已有部分辩证能力，方法的最大价值落在中等模型；(c) 论文没有评估TAS带来的额外推理token成本，3段结构带来约2-3倍输出长度，部署延迟未知；(d) FinQA训练集中External样本仅占15%、Spider中仅占6%，$\text{FalseExt}$ 类别严重欠采样，可能引入归因的'内部优先'偏置。

独立分析的弱点

独立分析有四点可改进。第一，归因标签 $\text{FalseExt}/\text{FalseInt}/\text{True}$ 三分类过粗，无法表达'主因外部+次因内部'的混合归因——可扩展为概率化soft label或加入归因占比维度。第二，AFB只看 $y_{\mathrm{act}}\!=\!Ext, y_{\mathrm{obs}}\!=\!Int$ 这一个方向的V-AOA，忽略了R-AOA和'无差异归因'等系统性内部解释力偏好，诊断维度可再细分。第三，GRPO的group size=8在batch归因推理中可能偏小导致梯度噪声大，若扩到16并微调 $\beta$，flip rate可能进一步下降。第四，SALES ARENA谈判只4轮8项，buyer策略固定GPT-5.1生成，单局博弈不足以反映动态长视野场景，应引入自博弈迭代和更多buyer persona。

未来方向

作者明确提出两个方向：(a) 把ReTAS扩展到长视野规划和创意生成等更具开放性的agent场景；(b) 用人类真实交互数据替代AFB合成数据。我再补充四个：(1) 把TAS结构扩展到视觉-语言多模态agent，例如让GUI agent在UI操作失败时也能输出thesis/antithesis/synthesis，配合图文证据做综合归因；(2) 把TAS作为通用reflection plugin引入其他多智能体框架（如AutoGen、MetaGPT），通过zero-shot prompting即可获得部分AOA抑制收益，避免每个项目都重新做RL训练；(3) 探索不同哲学传统的辩证结构（黑格尔否定之否定、Peirce溯因推理）做对照实验，寻找对LLM最自然的推理骨架；(4) 把归因诊断工具用于AI Safety：让模型评估自身生成内容的偏见来源，以归因为切入口减少社会刻板印象输出——本文已经尝试AFB中放入safety alignment场景但未深入展开。

复现评估

复现难度中等：作者主页 unikcc.github.io/ReTAS/ 提供代码链接，数据基于公开FinQA和Spider改造无需额外申请；SFT 3 epoch在2块H200上仅需15分钟/epoch，GRPO阶段约9小时（max_seq_len=2048），完整训练可在24小时内复现。关键技术细节公开：学习率5e-6、batch=1、grad_accum=16、group=8、奖励权重1:2:4、3阶段prompt模板（Figures 11-13）均在Appendix B给出。难点有三：(a) GPT-5.1作为教师合成辩证轨迹，闭源版本更新可能影响轨迹质量；(b) AFB合成数据生成器只给prompt不给few-shot，可能因解释不同导致分布差异；(c) 复现GRPO需自行实现 $R_2$ 归因标签精确解析（涉及 `[Attribution] FalseExt | FalseInt | True` 格式对齐）。建议先复现SFT + TAS prompting基线（论文Table 5的57.6%/45.8%行），再开启GRPO做消融。

论文图表

Mirror Effect of Actor-Observer Asymmetry（主试-客试不对称的镜像效应）
Figure 1: Mirror Effect of Actor-Observer Asymmetry（主试-客试不对称的镜像效应）

示意图展示了Agent B执行代码任务中遭遇timeout异常时，Actor（执行者自我反思）会把失败归因于外部服务器问题，而Observer（审核者角色）会归因于内部代码逻辑错误，二者在同一事实上给出冲突结论，凸显AOA效应。

这是全论文的核心动机图，让读者在第1秒就直观看到角色立场如何扭曲归因，并理解为何会阻碍多智能体达成共识。

Figure 10: Generated data example from the Agent-Agent pipeline（Agent-Agent 数据生成样例）

展示一个Coding域的 'clean up' 模糊场景：Agent B按字面删除未用import和函数，QA Reviewer按'保留功能'标准质疑，二者责任何在取决于'清洁'的定义。

Appendix中提供的一个具体synthetic case，让读者直观看到AFB的'ambiguous failure'如何设计，二者都有合理辩护空间。

Figure 11: Human-Agent Interaction Data Generator（Human-Agent交互数据生成器prompt）

完整系统prompt模板，要求GPT-5.1按 'Literal vs. Pragmatic gap' 结构生成 'Agent自信但实际与意图不符' 的灰色场景，输出JSON含两个system_prompt与中立问题。

AFB数据合成pipeline的核心prompt，决定了synthetic data的质量和歧义强度，是复现关键。

Figure 12: Reviewer Prompt for Type 1 Fault（外部归因型 Reviewer prompt）

定义了外部归因型 Reviewer的TAS展开规则：Thesis 阶段先用不耐烦/怀疑语气批评执行者，Antithesis 阶段用 'Wait...' 转折检查context，Synthesis 阶段给出具体missing information的诊断。

ReTAS合成的关键prompt示例，让'Observer视角产生TAS'这一隐式过程显式化，便于复现辩证轨迹。

Figure 13: Executor Prompt for Type 1 Fault（外部归因型 Executor prompt）

镜像Figure 12但角色改为Frustrated Executor：Thesis抱怨环境、Antithesis简短自查、Synthesis reaffirm外部归因。两条轨迹最终必须汇聚到同一External attribution。

与Figure 12配对，展示论文如何强制Actor和Observer'同质化输出'——这是TAS的核心机制。

Figure 14: Complete SALES ARENA negotiation example with Dual TAS reflection（完整SALES ARENA谈判样例）

展示4回合谈判的Round 1初始报价、Reflection阶段Actor和Reviewer各自跑TAS的结果，并显示Round 2改进的报价策略（约$62开局）。

动态多轮场景的唯一完整trace，把TAS从静态归因任务延伸到sequential decision-making，是limitations章节中Sales Arena论证的依据。