ClawArena：在演进信息环境中基准测试 AI 智能体 ClawArena: Benchmarking AI Agents in Evolving Information Environments
首个评估 AI 智能体在动态冲突信息环境中维护正确信念能力的基准
前置知识
持久智能体 (Persistent Agent)
持久智能体是指在长时间跨度和多次交互中持续存在、保持状态记忆并适应环境变化的 AI 系统。与传统单轮问答系统不同，持久智能体需要维护跨会话的上下文、记忆和用户偏好，在多轮对话中保持一致性。它们通常具备记忆模块、工具调用能力和状态管理机制，能够根据新信息修正之前的结论。
ClaireArena 面向的正是持久智能体场景，评估其如何在多轮交互中维护正确信念、处理冲突信息和适应动态环境。理解这一概念有助于明确基准设置的设计意图和评估目标。
多源冲突推理 (Multi-Source Conflict Reasoning)
多源冲突推理是指智能体在面对多个信息来源（如聊天记录、工作区文件、监控日志）时，这些来源可能提供相互矛盾的信息（例如不同的恢复时间线）。智能体需要判断每个源的可靠性，而非简单聚合所有信息。这涉及源可信度评估、冲突检测、证据权重分配和一致性检查等技术。
这是 ClaireArena 评估的核心维度之一，现实世界中信息往往分散且矛盾，智能体必须具备识别和处理这种冲突的能力才能提供可靠的输出。
动态信念修正 (Dynamic Belief Revision)
动态信念修正是智能体在接收到新证据后，能够识别并更新之前正确但已过时的结论的过程。这与简单的信息累积不同，要求智能体具备「遗忘」错误信念的能力。例如，最初的证据表明服务恢复了 4 分钟，但后来的审计显示修复不完整，智能体必须修正这一结论。
ClaireArena 通过阶段更新包模拟动态信息环境，评估智能体的信念修正能力。这是现有基准普遍忽视但现实中至关重要的能力。
隐式个性化 (Implicit Personalization)
隐式个性化是指智能体通过观察用户的交互模式、修正行为和反馈，而非通过明确的指令，来学习和应用用户偏好。例如，用户经常将智能体的要点输出重新格式化为表格，智能体应该从中学习用户偏好表格格式，并在后续交互中主动应用。
ClaireArena 设计了四阶段个性化协议，最终在「静默考试」轮次中测试智能体对隐式偏好的应用能力。这模拟了真实场景中用户偏好的隐性表达方式。
研究动机
现有基准测试存在根本性局限性。任务导向型基准（如 SWE-bench、WebArena、OSWorld、GAIA）通常提供单一权威环境，不测试跨冲突源的裁决能力；长上下文和多跳 QA 基准（如 HotpotQA、MuSiQue、LongBench、RULER）测试静态证据的检索和组合，证据在推理时间内固定不变；记忆和角色基准（如 LoCoMo、PersonaChat）强调长期回顾和用户模型一致性，但不联合要求跨源冲突解决、动态更新和静默偏好保留。简而言之，现有基准假设静态、单一权威的信息环境，留下了一个开放问题：智能体是否能够在其信息环境演变时维护正确且最新的信念。例如，在现实的服务器宕机场景中，不同渠道（即时消息、监控日志、冲刺笔记）可能报告相互矛盾的恢复时间线，现有基准无法评估智能体正确处理这种情况的能力。
本文的目标是本文的目标是构建一个全面评估 AI 智能体在演进信息环境中维护正确信念能力的基准。具体来说，旨在设计能够同时测试三个耦合挑战的评估框架：多源冲突推理（智能体必须判断源可靠性而非天真聚合）、动态信念修正（新证据可能使先前正确的结论无效）、隐式个性化（用户偏好通过修正和交互模式显现）。通过真实世界的实证分布（消息时机、联系频率、信息过载）构建具有因果连贯性的多轮场景，提供可复现的构造管道和诊断分类体系，并引入超越原始准确性的复合可靠性指标，全面捕获智能体的行为一致性。
与已有工作不同的是，本文的独特切入角度在于首次将三个耦合挑战（多源冲突、动态更新、隐式个性化）整合到一个统一的评估框架中。与现有工作不同，ClaireArena 不仅测试碎片化的能力，而是评估它们如何相互作用。例如，一个能处理冲突但不能修正信念，或者能修正但忽略格式偏好的智能体，仍然产生不可靠的输出。此外，引入四阶段静默考试偏好协议，测试智能体在没有任何偏好提醒的情况下应用学习到的偏好。评估跨五个不同的框架和 18 个语言模型，从专有 API 到自托管部署，提供了前所未有的比较广度。ClaireArena 是唯一同时满足所有四个设计维度（多源冲突、动态更新、多轮交互、隐式个性化）的基准。
核心方法
ClaireArena 的整体思路是构建模拟现实信息环境的六层场景结构。直觉上，就像为智能体设计一个「信息迷宫」，真相隐藏在底层，智能体只能通过部分、噪声、有时矛盾的「痕迹」来推断。技术路线上，每层各司其职：Layer 0 是隐藏的客观真相（时间线、矛盾图、答案来源）；Layer 1-4 是智能体可见的材料（工作区文件、会话历史、评估问题、阶段更新包）；Layer 5 是内部格式化和噪声控制的生成指南。所有可观察材料都从同一 Layer 0 派生，确保因果连接而非独立虚构的文本。评估围绕三个维度组织：多源冲突推理（MS）、动态信念修正（DU）、隐式个性化（P），它们的交互产生七种组合类别（MS、DU、P、MS×DU、MS×P、DU×P、All），每种分为回忆（能否检索证据）和推理（能否得出正确结论）变体，共 14 类。两种互补的问题格式：多选题（从 7-9 个候选语句中选择正确子集）测试推理，基于 shell 的可执行检查测试工作区基础。
核心创新点有三。首先，引入「完整隐藏真相」的概念，即每个场景维护一个完整的隐藏事实基础，而智能体只观察到噪声、部分、有时矛盾的痕迹。正确性根据真相而非任何单个可观察源验证，这确保了评估的可靠性。其次，设计了四阶段个性化协议（1 校准、2 反馈、3 会话隐式、4 静默考试），只有第 4 阶段的轮次才被评分，严格测试隐式偏好的学习和应用。第三，引入复合可靠性分数（CRS），结合任务完成率（TCR）和鲁棒性，后者分解为成功凝聚力（SC）和失败分散度（FD），捕获行为一致性而不仅仅是原始准确性。与现有基准的本质区别在于，现有基准大多提供单一权威环境或固定证据集，而 ClaireArena 主动构造冲突、阶段更新和静默偏好测试，模拟真实世界中信息环境的复杂性和动态性。
方法步骤详情
方法步骤分为五阶段。第一阶段是种子构造：第一批场景由手工创作并交叉验证。例如，初创公司宕机场景反复优化直到所有四种矛盾类型都存在，每个答案都需要至少两个源，每个更新至少改变一个之前正确的答案，且所有键都是明确的。第二阶段是元规范归纳：从种子中提炼元规范，编码结构不变性，如叙事模式、矛盾类型比例、偏见短语插入规则、更新-问题绑定约束（例如，每个场景恰好一个 C3 插槽以防止过度标记；至少一个更新必须翻转之前询问的答案）。第三阶段是批生成与真实世界基础：超过 200 个已发表的实证分布（邮件量、提交模式、消息活动、社交网络结构）约束角色档案和生成。工作区：文档遵循领域特定约定并类似系统导出。会话：消息时机遵循场景特定的昼夜曲线，联系频率遵循四层 Dunbar 层加权，30-50% 的消息是不相关噪声。因果：所有可观察材料从单一 Layer 0 派生，保留因果连接。第四阶段是验证：每个场景在三个层面验证。结构：目录布局、问题模式、文件存在性、会话交替、更新完整性。语义：矛盾覆盖、答案键一致性、可观察痕迹与 Layer 0 来源的链接。控制：偏见短语放置和非冲突插槽一致性。第五阶段是精炼：发布的 12 场景基准是早期较大候选池的精炼子集：未通过所有三个验证通过的场景被删除，模糊的答案键被重写，矛盾类型覆盖被收紧，每个场景的多选题/可执行检查比例被重新平衡。结果是更小但结构更清洁的评估表面，每个保留场景都满足完整的设计约束集。
技术新颖性
技术新颖性体现在多个方面。首先，14 类诊断分类法按维度和交互进行按维度和按交互失败分析，阻止通过解决一个维度来获得高分。其次，CRS 指标的行为一致性分解，成功凝聚力测量正确性集中在长不间断运行中的程度，失败分散度测量失败的均匀分布，两者乘积形式确保任一轴的崩溃（许多孤立的成功或一个长失败运行）都大幅降低分数。第三，三阶段构造管道与实证分布约束的结合，确保大规模场景的因果连贯性和真实行为模式。第四，双格式设计（多选题和可执行检查）测试互补能力：工作区基础和多源推理仅弱相关，支持双格式设计。最后，跨框架和跨模型的全面比较，特别是 MetaClaw 的技能覆盖层的消融实验，揭示了技能注入通过一致性而非准确性提高鲁棒性的机制。
实验结果
核心发现来自三个主要实验。跨模型比较在 OpenClaw 框架下评估 15 个模型，覆盖完整基准（12 场景、337 轮、45 次动态更新）。在专有模型中，GPT-5.5 在 CRS（68.28）和 TCR（78.34%）上领先，GPT-5.1 第二（63.28）。专有范围是 14.10 点，由顶部的两个 GPT-5.x 代际和聚集在 54-59 CRS 的剩余模型之间的差距驱动。提供商原生块报告 Claude 系列在 Claude Code 下：Opus-4.7（CRS 66.31，TCR 76.13），Sonnet-4.6（CRS 62.16），Haiku-4.5（CRS 60.93）。在开源权重模型中，Gemma-4-31B 在 CRS（63.80）上领先并主导 MC（81.05%），显示开放权重规模上可实现强多选题推理；GLM-5.1 排名第二（60.63）。开源权重范围（24.98 点）更宽，反映更大的架构多样性。MC 和 EC 仅中度相关：DeepSeek-V4-Pro 达到 70.66 EC 尽管 57.89 MC，而 Ling-2.6 显示相反（66.32 MC，50.83 EC），表明工作区基础和推理部分独立。模型引起的 CRS 范围（29.46 点）超过下面最大的框架引起的范围（GPT-5.5 下 23.78 点），确认模型能力主导框架设计。跨框架比较在 GPT-5.1、GPT-5.5、Kimi-K2.5 下评估四个框架。在 GPT-5.1 下，PicoClaw 在 CRS 上领先（64.18），OpenClaw 紧随其后（63.28）。GPT-5.5 块显示出大得多的框架摆动：OpenClaw 在 68.28 CRS 领先，PicoClaw 紧随其后（66.87），NanoBot 落后于 61.88，Claude Code 崩溃到 44.50，23.78 点的模型内传播。两个 GPT-5.x 配置在 Claude Code 下触底（GPT-5.1 下 47.57，GPT-5.5 下 44.50），差距扩大而非缩小，表明 OpenAI GPT 系列与 Anthropic Claude Code 工具绑定和提示脚手架交互不佳。Kimi-K2.5 块显示框架效应跨家族泛化但幅度不同：Claude Code 实际上是 Kimi-K2.5 最强的框架（59.75 CRS），表明其工作区原生设计补偿了其他地方的结构响应不稳定性，而 NanoBot 落后（37.58），是 GPT-5.1 下 NanoBot/PicoClaw 差距的两倍多。技能驱动自进化消融显示，MetaClaw 在四个配对中提高 CRS 0.33-1.19 而不降低 TCR。主要机制是鲁棒性：SC 和 FD 在每对中都上升，因此技能注入减少孤立失败并抑制长失败运行，而非改变原始正确答案率。最大增益发生在 GLM-5.1（+1.19 CRS，+1.79 鲁棒性），其基线鲁棒性最不一致；最小（Qwen3.6-Plus，+0.33 CRS）在最稳定的基线上。最强基线（GPT-5.5，68.28 CRS）仍然受益（+0.61），确认覆盖层对已有能力的模型并非冗余。错误分析揭示六种重复失败模式。复合陈述被省略而主要事实被捕获；信念修正不对称地失败于更新包；框架选择不补偿模型级输出格式差距；复合结构约束定义能力天花板；隐式偏好合规性随着检查器收紧而衰减；MC 和 EC 技能保持弱相关。性能跨域变化超过 60%，中文企业场景不成比例地有利于具有更强多语言训练的模型，最难的场景使每个配置低于 30% CRS。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ClaireArena 12 场景综合评估（跨模型） | Composite Reliability Score (CRS) | GPT-5.5 (68.28) | GPT-5.1 (63.28) / Gemma-4-31B (63.80) | GPT-5.5 vs GPT-5.1: +5.0 CRS 点；GPT-5.5 vs Gemma-4-31B: +4.48 CRS 点 |
| ClaireArena 12 场景综合评估（跨框架） | Composite Reliability Score (CRS) under GPT-5.5 | OpenClaw (68.28) | PicoClaw (66.87) / NanoBot (61.88) / Claude Code (44.50) | OpenClaw vs Claude Code: +23.78 CRS 点；PicoClaw vs NanoBot: +4.99 CRS 点 |
| MetaClaw 技能覆盖消融 | CRS 提升 (∆CRS) | GLM-5.1 (+1.19) / GPT-5.5 (+0.61) / GPT-5.1 (+0.44) | Qwen3.6-Plus (+0.33) | 最大增益 GLM-5.1 提高 1.19 CRS 点，所有模型平均增益约 0.64 CRS 点 |
| Task Completion Rate (TCR) | TCR 百分比 | GPT-5.5 (78.34%) | Claude Opus-4.7 (76.13%) / Gemma-4-31B (75.37%) | GPT-5.5 vs Claude Opus-4.7: +2.21 百分点 |
| Executable Checks (EC) | EC 百分比 | GPT-5.5 (79.34%) | Claude Opus-4.7 (80.58%) / Gemma-4-31B (73.14%) | Claude Opus-4.7 vs GPT-5.5: +1.24 百分点，显示 Claude 系列在工作区基础上的相对优势 |
局限与改进
作者承认的局限性包括：基准使用阶段更新，而不是连续、不受限的信息流；阶段更新由人类设计，可能无法反映现实中信息到达的真实分布；个性化协议局限于输出格式、工件命名、文档结构、分析风格和通信语气，未测试更深层次的用户模型构建。此外，本研究观察到一些额外限制：工作区基础和多选题推理仅弱相关，表明它们测试部分独立的能力，但也意味着基准可能更偏向于擅长其中一种的模型；某些执行检查轮次（如需要时区感知时间戳、带来源数组的类型化 JSON 字段、枚举约束标签的组合结构约束）在所有配置上达到 0/8 通过率，这可能表明这些问题设置过于严格或当前模型的能力边界；性能跨域变化超过 60%，中文企业场景不成比例地有利于具有更强多语言训练的模型，这可能引入语言偏见；最难的场景使每个配置低于 30% CRS，可能表明该场景的难度设置或问题设计存在挑战。
独立分析的弱点
独立分析的弱点首先在于评估场景的规模和多样性仍有扩展空间，12 个场景虽然覆盖多个领域（零售分析、金融、医疗保健、信息安全、人力资源、教育、研究诚信等），但每个领域的深度和变体可能不足。其次，个性化协议的四阶段设计虽然严格，但可能过于理想化，现实中用户偏好的表达可能更复杂、更隐性、甚至相互冲突。第三，复合结构约束导致的 0/8 通过率可能表明当前评估设置对模型过于苛刻，或者这些问题测试的是更基础的格式化能力而非核心推理能力。改进方向包括：增加每个领域的场景数量以测试跨场景泛化能力；设计更复杂和现实的个性化协议，如偏好冲突、偏好演化和上下文敏感的偏好应用；调整执行检查的结构约束使其更符合现实中的工作区操作；引入更多语言和文化背景的场景以减少语言偏见；设计渐进式难度曲线以更好地区分不同能力水平的模型。
未来方向
作者提出的未来研究方向包括扩展到不受约束的实时环境，智能体可以自己制定查询和探索策略，而不是在预定义的问题格式内回答；研究更复杂的记忆管理机制，特别是如何长期维护和更新信念状态；探索多智能体协作场景，测试团队层面的冲突解决和共识形成。基于成果可延伸的方向包括：开发专门的冲突解决评估套件，专注于特定的矛盾类型（C1 事实冲突、C2 权威冲突、C3 非冲突插槽、C4 时间/过程冲突）；研究动态更新设计策略如何影响信念修正难度，例如不同类型的更新（客观 vs 主观、文件修改 vs 消息追加）的相对困难度；探索技能覆盖层的更广泛应用，如在其他基准上测试 MetaClaw 技能迁移的效果；研究框架设计如何影响不同模型家族的性能，例如为什么 OpenAI GPT 系列与 Claude Code 交互不佳；开发针对 MC 和 EC 技能弱相关性的联合训练方法，提高模型在工作区基础和推理上的均衡能力；探索行为一致性（SC 和 FD）的训练目标，而不仅仅是准确率。
复现评估
开源情况良好，代码已在 GitHub 公开（https://github.com/aiming-lab/ClawArena）。基准包含 12 个场景、337 个评估轮次和 45 个动态更新，跨五个框架（OpenClaw、Claude Code、NanoBot、PicoClaw、MetaClaw）和 18 个语言模型（GPT-5.5、GPT-5.4、GPT-5.2、GPT-5.1、Kimi-K2.5、Claude Opus-4.7、Claude Sonnet-4.6、Claude Haiku-4.5、GLM-5.1、GLM-4.7-Flash、Qwen3.6-Plus、DeepSeek-V4-Pro、Gemini-3.1-Pro、Mimo-V2.5-Pro、Ling-2.6、Qwen3.6-35B、Qwen3.6-27B、Gemma-4-31B）进行了评估。数据统计显示，在 OpenClaw 布局下，基准累积输入总计 4,739,550 tokens，工作区内容占 90.1-90.3%，会话更新占 2.6%，所有对话表面（问题、反馈、显式偏好）仅占 3.5%。每个轮次是完整的多轮智能体交互，其 API 调用次数根据工具使用和推理深度从单个调用到几十个不等，使评估成本远高于单推理基准。自托管模型（Qwen3.6-35B、Qwen3.6-27B、Gemma-4-31B）通过本地 vLLM 在 4×NVIDIA RTX 6000 Ada Generation GPU（每个 48 GB）上部署，使用 4 张量并行度。复现难度高，主要挑战包括：框架兼容性（Claude Haiku-4.5 无法部署到 OpenClaw 的工具绑定堆栈）、场景构造的复杂管道（六层结构、三层验证）、跨框架的会话格式转换（jsonl vs markdown）、大规模 token 处理和评估成本。需要具备多框架部署经验、大型模型推理基础设施和基准评估专业知识才能完全复现实验。
论文图表
