SoCRATES：跨领域和社会认知变化的主动 LLM 调解可靠自动评估 SoCRATES: Towards Reliable Automated Evaluation of Proactive LLM Mediation across Domains and Socio-cognitive Variations
SoCRATES揭示最强LLM调解器仅关闭约1/3共识差距
前置知识
LLM 代理
LLM 代理是使用大型语言模型作为推理核心的自主智能体，能够根据角色设定、目标和上下文环境做出决策并执行行动。代理通常包含规划、记忆、工具使用等组件，通过 prompt 工程将自然语言指令转化为系统行为。代理的特点是具有持久身份、能够进行多轮交互、并根据上下文动态调整行为。
本文核心依赖 LLM 代理来模拟争议方和调解员，代理的角色保真度直接影响测试床的可靠性。理解 LLM 代理的工作原理对于评估 SoCRATES 框架的有效性至关重要，因为整个评估流程建立在代理能够真实再现人类行为的前提上。
Thomas-Kilmann 冲突模式
Thomas-Kilmann 冲突模式模型（TKI）描述了个体在冲突中的五种基本行为方式：竞争、合作、妥协、回避和迁就。该模型基于两个维度：坚持性（追求自身利益的程度）和合作性（追求他人利益的程度）。每种模式在不同冲突情境下有不同的适用性。
本文使用竞争、回避和迁就三种姿态作为社会认知探测的战略姿态轴，这是理解调解器能力差异的关键背景。TKI 为本文提供了理论基础，使得研究能够系统性地测试调解器在不同冲突策略下的适应能力。
霍夫斯泰德文化维度
霍夫斯泰德文化维度理论由六个维度组成：权力距离、个人主义/集体主义、男性化/女性化、不确定性规避、长期导向/短期导向、放纵/克制。每个国家或文化在每个维度上有一个 0-100 的分数，用于比较文化差异。这些维度影响冲突处理方式。
本文使用霍夫斯泰德维度来编码韩国、美国、中国的文化身份，作为文化适应探测轴。理解这些维度如何影响冲突处理方式对于解读调解器在跨文化场景中的表现差异至关重要。
主题局部化评估
传统对话评估方法会对每个主题在每轮对话中都进行评分，但实际每轮对话只有少数主题被讨论，其他主题处于非活跃状态。主题局部化评估只对那些 actively 被讨论或涉及立场变化的轮次进行评分，未涉及的主题继承前一次的评分。这种方法减少了无关内容的噪音干扰。
这是本文的核心技术创新，解决了传统 per-turn 评估方法的噪音累积问题。理解这一概念对于评估 SoCRATES 相比 ProMediate 等基线方法的优越性至关重要，直接关系到评估器的可靠性和准确性。
Pearson 相关系数
Pearson 相关系数 r 衡量两个变量之间的线性相关强度，取值范围为 -1 到 1。r 等于 1 表示完全正相关，r 等于 -1 表示完全负相关，r 等于 0 表示无线性相关。r 的平方表示一个变量的变异可以由另一个变量解释的比例。在统计检验中，p 值用于检验相关性的显著性。
本文使用 Pearson 相关系数来量化评估器与人类专家之间的一致性，r 等于 0.82 的结果证明主题局部化评估器高度可信。理解相关系数的含义和显著性检验是解读本文验证结果和评估方法有效性的基础。
研究动机
评估 LLM 调解器面临三大核心挑战。首先，场景覆盖无法规模化。真实冲突涉及隐私和法律敏感性，现有测试床如 ProMediate 依赖专家手工编写的场景，仅覆盖少数领域，主要是讨价还价和法律纠纷，导致评估缺乏泛化性。其次，真实世界的复杂性无法沿多个独立轴再现。实际冲突在争议方的情绪、文化和历史等多个维度上变化，但现有测试床主要只变化战略姿态，将不同认知维度混在一起，使得无法定位调解器在哪个维度上失败。第三，评估必须同时具备轨迹感知和抗噪能力。调解质量在多轮对话中逐渐显现，但像 ProMediate 这样的协议让 LLM 裁判在每个轮次对每个主题都进行评分，导致离题内容扭曲评分，并沿轨迹累积错误。这些问题使得现有的 LLM 调解评估要么牺牲真实性换取可扩展性，要么牺牲可扩展性换取交互性，要么牺牲交互性换取可靠性。
本文的目标是本文的目标是创建一个统一的、自动化的评估框架，能够规模化地覆盖来自真实冲突的多样化场景，沿独立的社会认知轴变化以定位调解器的失败点，并可靠地端到端评分调解轨迹。具体来说，目标包括构建涵盖八个冲突领域的 40 个真实场景，设计五个独立的社会认知探测轴，每个轴独立应用，能够精确诊断调解器在哪些社会认知能力上不足，以及开发主题局部化评估器，使用三个互补指标来量化调解器的贡献，并与人类专家判断高度对齐。
与已有工作不同的是，本文的独特切入角度是将调解评估从静态、单一维度的任务建模转变为一个动态、多维度的社会认知测试问题。与 prior work 不同，SoCRATES 不再关注单个正确答案，而是将调解视为一个实时轨迹，必须在争议方不断变化的情绪、意图和演化上下文中被判断。本文的关键创新在于同时解决三个相互冲突的需求，即规模化、可变性和可靠性，而不是像 prior work 那样在它们之间进行权衡。SoCRATES 通过智能代理流水线、独立轴探测和主题局部化评估的统一设计，实现了这一跨越，使得首次能够系统地评估 LLM 调解器在多样化现实冲突测试床中的性能，并定位其在社会认知不同维度上的能力差异。
核心方法
SoCRATES 框架采用三阶段流水线设计，整体思路是从真实冲突中构建测试场景，沿社会认知轴扩展这些场景以暴露调解器的能力边界，然后用主题局部化方法评估调解轨迹。直觉上，这就像为一个调解师设计一个全面的考试：首先从真实世界中收集各种类型的冲突案例，然后在每个案例上施加不同的压力测试，比如改变冲突的激烈程度、增加争议方数量、引入文化差异等，最后不只看最终结果，而是细致地追踪调解师在每个关键时刻的决策质量和效果。技术路线上，SoCRATES 使用 LLM 代理来自动化整个流程，避免了人工编写场景和主观评估的瓶颈，同时通过精心设计的独立轴探测和局部化评估，确保了评估的可靠性和可解释性。
核心创新点是将调解评估拆解为三个自动化且相互配合的组件。第一是智能代理场景构建，让 LLM 代理从 web 搜索真实冲突案例并转化为可执行场景，然后通过无调解模拟过滤出只有调解才能解决的难题场景。第二是社会认知轴独立探测，五个轴独立应用而非堆叠，使得任何性能变化都可以归因于单个轴，提供调解器能力的 per-axis 诊断。第三是主题局部化评估，只对 actively 移动主题的轮次进行评分，未涉及的主题继承前次评分，大幅减少离题内容噪音，并使用三个互补指标从不同角度量化调解贡献。与 ProMediate 等基线方法的本质区别在于，SoCRATES 同时实现了规模化、可变性和可靠性，而不是像 prior work 那样在这些目标之间权衡。
方法步骤详情
SoCRATES 方法包含三个完整阶段，每个阶段都有明确的输入输出和具体操作。第一阶段是智能代理场景构建，包含三个步骤：种子场景搜索，使用 Searcher 代理针对八个冲突领域中的每个领域，从 web 收集真实冲突案例，每个案例包含争议方、争议主题和事件历史；场景改写，使用 Scenario Writer 代理将每个种子转化为结构化场景，包括背景 B、争议方集合 P、主题集合 T 和偏好分配 W；基于模拟的过滤，每个候选场景在无调解条件下进行三轮多轮对话模拟，只有三轮都僵局的场景被保留，被拒绝的候选反馈给 Searcher 进行新的搜索，最终积累 40 个难题场景，每个领域 5 个。第二阶段是社会认知探测，从 40 个一般条件场景开始，应用五个轴来探测调解器行为：三个上下文组轴（战略姿态、争议方组成、历史长度）和两个 persona 组轴（情绪反应性、文化身份）。每个轴独立应用到场景的全新副本，任何调解器性能的变化都可以追溯到单个轴。总共 15 个条件。第三阶段是主题局部化评估，对于每个调解轨迹和匹配的无调解轨迹，评估器输出每个主题的协议评分，重新映射到区间并平均为每轮的 Consensus Score，然后计算三个指标：干预时机、干预有效性和共识增益。主题局部化评估使用 DeepSeek-V3.2 作为骨干，对于每个主题，裁判阅读对话一次并定位该主题 actively 在 play 中的轮次，记录协议评分和每个争议方的当前立场，未涉及的轮次继承前次评分。
技术新颖性
技术新颖性体现在四个方面。首先，智能代理场景构建是首次将 LLM deep research 应用于调解测试床构建，通过自动化流水线从真实冲突中大规模构建场景，避免了人工编写的瓶颈和隐私敏感问题。三个代理的协同设计确保了场景既真实又具有挑战性。其次，社会认知轴独立探测是首个系统性地将调解能力分解为可测试的独立维度的框架，五个轴从核心调解能力文献重构并组织成上下文组和 persona 组，独立应用的设计使得性能变化可以精确定位到单个轴，提供了调解器能力的 per-axis 诊断。第三，主题局部化评估是首个针对多轮对话轨迹的噪声鲁棒评估方法，只对 actively 移动主题的轮次进行评分的设计大幅减少了离题内容噪音，同时三个互补指标从不同角度量化调解贡献，提供了比单一指标更丰富的诊断信息。第四，统一的自动化评估框架首次同时实现了规模化、可变性和可靠性，而不是像 prior work 那样在这些目标之间权衡，为 LLM 调解评估提供了新的标准。
实验结果
核心发现分为四个部分，包含具体数字和实验指标。首先，主题局部化评估器与专家高度对齐。在 1844 个对话片段上，两个专家标注者使用 1-5 rubric 达到 0.86 的一致性。SoCRATES 评估器在轨迹层面达到 Pearson r 等于 0.823，在结果层面达到 r 等于 0.801，超过 ProMediate 的 per-turn 评估器和非专家基线超过一倍。这证明主题局部化评估显著减少了噪音累积。其次，八个 LLM 调解器的基准测试显示社会冲突解决对每个模型都极具挑战性。平均共识增益最高仅为 34.4，最低为 15.7，形成顶层和底层两个梯队。专有模型比最强开源模型高 1.1 到 2.5 分，在八个领域中领先六个。Qwen3-235B 几乎是其 smaller version 的两倍，显示规模在家族内有帮助，但 Nemotron-3-120B 在法律和组织内部领域落后于更小的 Gemma-4-26B，表明跨家族规模不能 ordering 领域，通用能力不直接转化为调解能力。干预时机稳定跨八个领域，但共识增益从交易冲突的 41.3 大幅下降到组织内部冲突的 16.6，表明领域多样性至关重要。第三，社会认知适应分析显示调解器能力不均匀。在五个轴中的四个上，区域随模型能力增长，但每个调解器在至少一个轴上收缩。即使在总体共识增益相当的顶层中，不同调解器在不同轴上的损失差异很大，表明调解能力由不同的社会认知能力组成，当前 LLMs 呈现不均匀的 profiles 而非单一能力前沿。战略姿态是最尖锐的应力测试，所有非协作姿态都降低共识增益，竞争下下降 18.9 到 64.1，迁就下下降 13.8 到 66.8，Qwen3-235B 尽管总体排名高，但在两者中下降最大。情绪反应性产生更平滑但一致的退化，双方反应时每个调解器都下降，幅度不跟随模型规模，表明吸收情绪波动而非原始规模区分调解器。文化身份产生最小但最系统的变化，调解器得分随与美国规范的文化距离增长，从霍夫斯泰德视角看，所有 LLM 调解器在美国锚定值上 robust，但在东亚值上 weaker。第四，干预时机适应分析显示最佳干预窗口随条件移动。对于战略适应或情绪调节，有效性早期上升后期下降，因为调解员必须在姿态硬化或情绪升级前重新框架它们。对于多状态跟踪或长上下文理解，有效性在后期轮次增长，复杂上下文使后期移动如摘要更有用。更强的调解器在每个条件的窗口附近峰值，而更弱的 trace 更平坦的曲线，无法在冲突演化时调整时机。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 主题局部化评估器与专家对齐 | Pearson 相关系数 r（轨迹层面） | 0.823 | ProMediate (0.372), Non-expert (0.331) | 超过 ProMediate 121%，超过非专家基线 149% |
| 主题局部化评估器与专家对齐 | Pearson 相关系数 r（结果层面） | 0.801 | ProMediate (0.432), Non-expert (0.527) | 超过 ProMediate 85%，超过非专家基线 52% |
| LLM 调解器共识增益（顶层 vs 底层） | 平均共识增益 | 顶层 30.7-34.4，底层 15.7-21.0 | ProMediate 等单一领域测试床报告 80-90% 解决率 | 本文测试床更具挑战性，最强调解器仅关闭约三分之一未调解共识差距 |
| 专有 vs 开源调解器 | 平均共识增益 | 专有 33.0-34.4，开源 15.7-31.9 | 无（这是首个系统比较） | 专有模型领先最强开源 1.1-2.5 分 |
| 跨领域一致性 | 共识增益范围（8 个领域） | 16.6（组织内部）到 41.3（交易） | prior work 专注于交易冲突 | 显示领域覆盖的重要性，单一领域测试床高估调解能力 |
| 战略姿态适应性 | 共识增益下降（竞争 vs 一般） | 18.9-64.1 下降 | prior work 未系统测试战略姿态 | 揭示战略适应是关键瓶颈，竞争姿态对所有调解器都极具挑战性 |
| 情绪调节适应性 | 共识增益下降（反应-反应 vs 组成-组成） | 一致下降，幅度不跟随模型规模 | prior work 未系统测试情绪反应性 | 显示吸收情绪波动而非原始规模区分调解器 |
| 文化适应性 | 共识增益随文化距离下降 | 系统下降，与美国文化距离增长时得分下降 | prior work 未系统测试文化身份 | 显示 LLM 调解器在美国锚定值上 robust，但在东亚值上 weaker |
局限与改进
作者承认了三个主要局限性。首先，基准目前在英语中运行所有对话，即使争议方被分配不同的文化身份。这种设计将文化价值与语言变化隔离，并保持模拟器行为跨条件可比，但它不测试多语言调解。扩展 SoCRATES 到多语言设置将揭示语言选择、翻译歧义和语言特定礼貌规范如何影响调解器行为。其次，SoCRATES 专注于共识作为主要结果，因为共识直接关系到是否达成解决方案，并且可以跨域一致评分。然而，调解质量还涉及争议方满意度、程序公平性、信任修复和情感修复。这些维度依赖于主观争议方感知，因此更难可靠验证，但为它们结合良好校准的 rubric 将提供对 LLM 调解器的更全面评估。这些扩展留作未来工作。第三，SoCRATES 设计为模拟研究，LLM 代理角色扮演冲突，所以没有真实的人作为争议方参与此过程。场景由 LLM 代理从 deep-research 种子合成，任何残留的对特定个人、组织或位置的引用在场景进入基准前被代理匿名化。虽然这确保了隐私和安全，但它可能限制某些类型的真实性，特别是微妙的人类社交动态和文化细微差别。此外，使用 LLM 代理作为争议方假设代理能够真实地再现人类行为，虽然本文通过角色保真度验证支持这一假设，但它仍然是基于模拟的。我自己的观察是，SoCRATES 的评估指标主要关注客观的共识达成，但真实调解中的主观因素如公平感、尊严维护、关系修复可能同样重要。另外，框架假设争议方行为可以通过离散选项和偏好权重来建模，这可能简化了真实冲突中更复杂和动态的动机结构。此外，基准主要测试调解器的短期效果，真实冲突的长期影响如协议可持续性、关系质量变化未在评估中体现。最后，虽然框架测试了五个社会认知轴，但真实世界的冲突可能同时涉及多个轴的变化，当前独立应用的设计可能无法捕捉轴之间的交互效应。
独立分析的弱点
独立分析的弱点包括五个方面。首先，模拟保真度限制：虽然 DeepSeek-V3.2 在角色保真度上达到 87.2%，但这仍然意味着约 13% 的情况下代理行为与预期不一致。在更具挑战性的条件下，保真度可能进一步下降，影响测试床的可靠性。改进方向是开发更鲁棒的角色扮演技术，可能通过更精细的 persona 设计、实时行为监控和自适应调整机制。其次，评估指标的主观性：虽然主题局部化评估器与专家对齐达到 0.82，但专家评判本身仍然是主观的，且评估指标主要关注客观 measurable 的方面，忽略了情感修复、关系维护、公平感等更主观但 equally important 的维度。改进方向是开发涵盖主观维度的评估指标，可能通过争议方模拟器的满意度评分、情感分析、关系质量测量等方法。第三，语言和文化单一性：基准在英语中运行，虽然通过霍夫斯泰德 profile 注入文化差异，但这无法捕捉语言本身对冲突动态的影响，如语言特定的礼貌规范、直接或间接表达偏好、情感表达方式。改进方向是扩展到多语言设置，让争议方使用其母语，调解器可能需要处理语言障碍或使用共同语言，这将揭示跨语言调解的额外挑战。第四，长期效果缺失：评估只关注对话过程中的短期效果，不测试协议的可持续性或长期关系影响。真实调解中，短期能达成协议但长期不可持续的情况很常见。改进方向是引入多阶段模拟，在调解后添加协议执行阶段，测量协议遵守情况和长期关系质量变化。第五，交互效应未测试：五个社会认知轴独立应用，虽然这提供了 per-axis 诊断，但真实世界的冲突可能同时涉及多个轴的变化，当前设计无法捕捉这些交互效应。改进方向是添加组合条件测试，虽然这会增加评估复杂度，但能揭示调解器在更现实复杂场景中的表现。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的五个方向。首先，多语言调解评估：作者明确提到扩展 SoCRATES 到多语言设置，这将揭示语言选择、翻译歧义和语言特定礼貌规范如何影响调解器行为。这可以延伸到研究调解器的多语言能力、跨文化沟通能力、以及语言障碍处理能力。其次，更全面的调解质量评估：作者提到整合争议方满意度、程序公平性、信任修复和情感修复等维度。这可以延伸到开发主观评估指标、公平性评估、以及长期效果评估。第三，更丰富的社会认知轴：当前五个轴已经覆盖关键维度，但可以进一步扩展到其他重要因素，如权力不对称、时间压力、外部干预、以及历史关系。这些新轴将提供更全面的调解能力诊断。第四，实时交互评估：当前评估是离线的，先模拟后评估，可以扩展到实时评估，让评估器在对话过程中提供反馈，研究调解器是否能根据实时评估调整策略。这可以延伸到开发交互式评估接口，让人类调解员与 LLM 协作，或让 LLM 评估器指导调解器改进。第五，真实世界验证：当前所有评估都是基于模拟的，未来可以在真实冲突场景中测试 LLM 调解器，如在在线纠纷解决平台、社区冲突调解、或组织内部冲突管理中部署。这将揭示模拟与现实的差距，并帮助改进测试床的真实性。延伸方向包括开发真实世界的部署协议、伦理和安全指南、以及长期跟踪研究。
复现评估
复现评估包括开源情况、数据、算力和难度。作者提到项目页面是 https://disl-lab.github.io/SoCRATES，这通常包含代码和数据。论文描述了使用的模型，包括 o4-mini-deep-research 作为 Searcher，GPT-5.4 作为 Scenario Writer，DeepSeek-V3.2 作为争议方和评估器骨干，这些是专有模型，需要 API 访问，增加了复现难度。八个调解器包括两个专有模型和六个开源模型，开源模型的权重应该可获取，但运行大型模型需要显著算力。40 个场景乘以 15 条件乘以 8 调解器等于 4800 次运行，每次运行是一个多轮对话，最多 100 轮，总计算量相当大。评估部分涉及 1844 个片段的专家标注，这是昂贵的人力工作。难度评估为中等偏高。代码如果开源，可以复现框架，但需要 API 访问专有模型和大量算力运行开源模型。专家标注部分无法完全复现，但评估器的自动评分可以复现。最关键的限制是依赖专有模型，这些可能不是公开可访问的。如果作者提供了处理过的场景数据和评估结果，那么至少可以复现分析部分。总体而言，如果代码和数据开源，且研究者有 API 访问和算力资源，复现是可行的，但成本较高。
论文图表
