Claw-Anything：用更广阔的数字世界访问权评测全天候个人助理智能体

面向全天候个人助理的评测基准，沿事件流/服务/设备三维度扩展智能体操作范围

前置知识

LLM Agent / 大语言模型智能体

基于 LLM 决策循环执行工具调用、跨步骤推理、记忆与规划的系统，通常由规划器把任务拆解、记忆模块存储上下文、工具调用层与外部 API 交互、反思模块评估执行结果并自我修正四个核心模块组成。

本文评测对象是个人助理智能体，理解 agent 与 LLM 的差异有助于抓住 benchmark 设计动机。

事件流 (Event Stream)

按时间顺序排列的用户在数字环境中的活动记录，常见形态包括邮件、日历、聊天、购物、应用通知、系统日志等，往往以 JSON 或数据库表形式长期累积，跨度从数小时到数年。

事件流是 Claw-Anything 扩展的三大上下文维度之一，理解其时序结构是阅读消融实验的前提。

工具调用与后端服务

智能体通过预定义 API、CLI 命令或 SDK 与外部服务（如邮件、日历、网盘、IM）交互以完成实际任务，涉及状态读写、权限管理、跨服务编排等能力，是 agent 把语言理解转化为现实动作的关键环节。

Claw-Anything 评测中后端服务被大幅扩展到 40+ 类，平均每任务 10.1 个服务，直接考验跨服务协调。

GUI 与 CLI 异构接口

GUI 通过视觉理解屏幕截图并以点击/输入/滑动等动作操控应用，CLI 通过命令终端以文本命令与系统交互，两者在动作空间、观察空间、可学习性上差异极大，对模型的多模态能力要求不同。

本文首次将 GUI+CLI 跨设备任务纳入个人助理评测，理解两者差异是看懂 Figure 2 右、Figure 5(c) 的关键。

主动协助 (Proactive Assistance)

智能体不依赖用户显式指令，而是周期性巡检环境状态并根据上下文预测用户需求，主动推送建议或操作，例如日程冲突预警、商品降价提醒、邮件草稿生成等，是『全天候助理』区别于『on-demand agent』的核心能力。

主动协助是 Claw-Anything 新增的评测维度，论文显示其与反应式任务表现差异巨大(6.7% vs 25.9%)。

研究动机

近年来 OpenClaw、Hermes Agent 等『全天候』个人助理系统开始部署到用户真实数字环境中，要求对历史事件、后端服务、多设备具有长程记忆与持续执行能力。然而现有评测体系（如 ClawBench、WildClawBench、PinchBench、ClawMark、QwenClawBench、Claw-Eval）在上下文广度上明显不足：首先，这些 benchmark 普遍没有事件流（Event Stream 列标 ✗），只用静态切片；其次，平均服务数普遍低于 4 个（QwenClawBench 仅 0.3、ClawBench 1.6、ClawMark 3.9），且最大不超过 6；第三，设备接口几乎只有 CLI；最后，几乎不评测主动协助。Claw-Eval 已是上下文最丰富的现有工作，也仅 5.3k 词、1.3 服务、纯 CLI、不含主动任务。这种『窄切片』设定无法反映真实全天候助理面临的复杂度，导致模型在这些 benchmark 上的成绩与真实可用度之间出现明显落差。

本文的目标是本文提出 Claw-Anything benchmark，显式沿三个维度扩展智能体可观测/可操作的范围：(1) 长程事件流，接入 3+ 个月的系统与服务级别日志；(2) 跨后端服务，覆盖 40+ 真实业务领域（电商、通讯、日程、社交、金融等），平均每任务 10.1 服务，最多 18 个；(3) 跨设备异构接口，200 个测试任务中 150 个 CLI-only、50 个 CLI+GUI 协作；并额外引入主动协助任务，要求 agent 在无显式请求时基于上下文给出建议。具体而言，benchmark 包含 200 个人工验证的评测任务与 2000 个训练环境，使用 GPT-5.5/Claude Opus 4.7 等前沿模型评估，并展示 1,500 条成功轨迹可让 Qwen3.5-27B 在 pass@1 上获得 +23.7% 提升。

与已有工作不同的是，论文的关键切入角度是把『个人助理的能力上限』重新定义为『操作范围』——即 agent 能看到多少用户数字状态、能执行多少动作。前人工作普遍以『任务本身难度』为中心，Claw-Anything 则主张扩 scope 才能解锁新任务、暴露新失败模式。文章同时配套提供四阶段自动化数据生成 pipeline（迭代环境合成→任务/验证器生成→自动过滤→人工验证），把评测与训练数据基础设施统一，弥补了个人助理领域缺乏可扩展环境合成方案的空白（对比 SWE-smith、CLI-Gym 等 code/terminal 场景）。

核心方法

Claw-Anything 的核心思路是构建一个对 agent 几乎透明的数字世界，使其能像真人助理一样在邮件、日历、购物 App、手机端、Linux 终端等多个表面之间穿行。技术上，论文用四阶段 LLM 驱动 pipeline 模拟出『带噪、长程、跨服务、跨设备』的个人数字环境：从 persona 种子出发，通过多轮事件注入累积出 3+ 个月的真实感活动；在指定轮次对世界做快照，生成可执行的任务 query、reference solution 与 grader；再经过规则+LLM 自动过滤与人工验证，得到最终 benchmark。直觉上，这相当于让 LLM 同时扮演『用户模拟器』与『世界构建器』，持续把稀疏的 persona 充实为纠缠的、有冲突的、带冗余信息的生活场景。

与传统 benchmark 的『任务驱动』思路不同，Claw-Anything 的创新在于『环境驱动+逆向出题』：世界在迭代生长，任务只是在某个时间切片上对下一步该做什么的自然衍生。这带来三方面本质区别：第一，任务从真实累积状态反向生成，自然带噪、带冲突，避免人工凑题；第二，评测维度被解耦为长程事件流/多服务/跨设备三类可独立消融的因素，而不是单一分数；第三，同一套 pipeline 既能产出评测集也能产出训练集（共享 persona 池不同），让难例直接可作为后训练监督，这是以往个人助理 benchmark 缺少的 self-improving infrastructure 属性。

方法步骤详情

方法分四阶段。Stage I 迭代数字环境合成：输入 persona 种子 $P_0$、任务/噪声池 $S, N$、总轮数 $R$；每轮采样事件 $e$，调 LLM 的 $\text{AdaptToEnv}(e, P, F, L)$ 落地到 fixture $F$、日志 $L$、persona $P$，得增量 $\Delta F, \Delta L, \Delta P$ 并合并，循环 $R$ 轮。Stage II 任务与验证器生成：在轮 $r \in I_{task}$ 快照环境 $X_r$，由 LLM 同时生成 query $Q_r$、verifier $V_r$、参考答案 $A_{ref,r}$。Stage III 自动过滤：规则剔除引用不存在工具的实例，LLM 评估可解性与逻辑一致性。Stage IV 人工验证+执行校验：强 agent 配合参考答案执行任务，verifier 验证至少一条有效解路径，失败者升级人工复查。200 评测+2000 训练均遵循此流程，训练与评测 persona 池完全不相交以避免污染。

技术新颖性

技术新颖性体现在四个方面。其一，把长程事件流作为 benchmark 一阶对象，而非 LLM 上下文窗口的副产品，通过 3+ 月时间窗口（191.7k 词）迫使模型做真正的跨时间推理。其二，把后端服务数从 6 类上限扩到 18 类、平均 10.1，这是首次在个人助理评测中显式包含跨服务冲突/矛盾信息测试维度（Figure 7c 证明冲突数对通过率影响显著）。其三，首次在个人助理 benchmark 中同时覆盖 GUI（Android Docker）与 CLI（Linux Docker），并通过 50 个跨接口任务衡量多模态协调。其四，评估协议借鉴 Claw-Eval 的 rubric 思路但改写为以最终结果为重的多路径评估，在 pass@1/pass@3/pass^3 之外还引入连续 score 与 token 消耗作为质量副指标，更贴近任务成败而非过程相似度。

**Figure 3**: Claw-Anything environment and automated data pipeline

**Figure 4**: Benchmark statistics of Claw-Anything

实验结果

主表 2 显示 GPT-5.5 取得 Score 0.65/pass@1 34.5/pass@3 53.5/pass^3 20.0，Claude Opus 4.7 为 0.62/31.8/48.0/13.5——最强模型在『三战全胜』指标上仅 20%，验证广域上下文下评测极难。开源侧 Qwen3.5-27B 起步仅 9.8% pass@1，经 1500 条轨迹 10 epoch 微调后 Claw-Anything-Qwen3.5-27B 达 0.61/33.5/52.0/15.5，开源领先且逼近闭源，但 pass^3 仍弱于 GPT-5.5（15.5 vs 20.0），稳定性是开源短板。表 3 消融：无事件流 21.0→0.0、无跨服务 24.0→0.0、无 GUI 16.0→2.0、主动任务 6.7% 远低于反应式 25.9%，证明三大维度与 proactivity 是独立难度源。Figure 6 显示轨迹 0→1500 时 pass@1 单调上升 9.8→30.4→33.5，pipeline 数据具可扩展训练价值。Figure 8 显示主要失败模式为调研-执行鸿沟（64 例）。

**Table 1**: Comparison of representative digital-agent benchmarks

**Table 2**: Main results on the Claw-Anything benchmark

**Table 3**: Effects of access to event streams, cross-service environments, and cross-device interaction

**Figure 5**: Ablation of contextual scale

**Figure 7**: Ablation of the automatic data-generation pipeline

查看结构化数据

任务	指标	本文	基线	提升
Claw-Anything 整体通过率	Pass@1	Claw-Anything-Qwen3.5-27B: 33.5%	Qwen3.5-27B 基线: 9.8%	+23.7 个百分点
Claw-Anything 整体通过率	Pass@1	Claw-Anything-Qwen3.5-27B: 33.5%	GPT-5.5（闭源最强）: 34.5%	-1.0 个百分点（开源接近闭源最强）
Claw-Anything 整体通过率	Pass^3 (3 次全过)	Claw-Anything-Qwen3.5-27B: 15.5	GPT-5.5: 20.0	-4.5（稳定性仍弱于闭源）
Claw-Anything 整体通过率	Pass@1	Claw-Anything-Qwen3.5-27B: 33.5	Kimi-K2.6（1.1T）: 22.8	+10.7（27B 模型超过 1.1T 开源）
去事件流消融	Pass@1	w/ Event Stream: 21.0	w/o Event Stream: 0.0	+21.0（事件流是新维度）
去跨服务工具消融	Pass@1	w/ Cross-services: 24.0	w/o Cross-services: 0.0	+24.0
去 GUI 消融	Pass@1	w/ GUI: 16.0	w/o GUI: 2.0	+14.0
任务类型消融	Pass@1	Reactive: 25.9	Proactive: 6.7	主动任务难度为反应式 3.87 倍

局限与改进

作者在 4.3 节用 Figure 8 公开承认的主要局限是调研-执行鸿沟：agent 能定位相关信息但无法翻译为可执行动作，64 例失败中占多数，Imprecision 与 Omission 是 Qwen 系尤其突出的次级问题。从观察视角还有四点值得注意：第一，200 评测任务被官方标注为 human-verified，但 pipeline 真实感仍依赖 LLM 模拟，长程事件可能风格同质化，与真实用户活动分布存在差异；第二，所有数字均报告为在 OpenHarness 框架下且 judge 固定为 Claude Sonnet 4.5，不同 harness 可能显著改变 pass@1，但论文未跨框架对比；第三，benchmark 涵盖 CLI 与 Android GUI，但缺乏 iOS、Web GUI 覆盖，verifier 设计为二元 pass/fail，对开放式建议类任务可能过严；第四，噪声/冲突/轮数三因子消融只在 GPT-5.5/Opus 4.7/Qwen3.6-27B 三个模型上呈现（Figure 7），未在自训模型上验证。

独立分析的弱点

独立审视可识别的弱点包括：第一，主动任务仅 6.7% pass@1 但训练时未对主动能力做专门采样，pipeline 需新增主动 query 模板子模块；第二，Figure 6 显示轨迹数从 1000 增到 1500 时增益已变小（30.4→33.5），仅靠 SFT 难以突破执行闭环瓶颈，需引入 RL/agentic fine-tuning 或过程级 reward；第三，benchmark 中 GUI 任务仅 50/200 = 25%，且 CLI+GUI 任务平均 pass@1 仍只有 15-25，跨接口协作明显落后，需引入更多 GUI 任务并提供层次化 skill 描述，以缓解 Table 4 中 lazy loading 把 Claude Sonnet 4.6 从 43.0 拉到 26.7 的工具选择退化问题；第四，失败分析显示 Imprecision/Omission 占比不低，但训练集主要由成功轨迹组成，缺少对错误模式显式纠错，加入 self-correction 数据有望提升。

未来方向

作者在第 5 节明确的下一步包括：把 benchmark 扩展到更多设备（iOS/Web）与更多服务领域，持续积累训练环境；探索能更好利用长程上下文的检索/记忆机制；以及将 Claw-Anything 与 RL-based agentic post-training 相结合。基于成果可进一步延伸的方向有：第一，把调研-执行鸿沟作为独立子任务评测，引入过程级 reward（PRM）对中间动作打分；第二，把 Claw-Anything 与 web/移动端真实 API（如 Gmail、Calendar）对接，验证从模拟世界到真实世界的迁移能力；第三，在 pipeline 中显式建模 persona-level 数据治理（隐私、删除权），使其符合实际部署规范；第四，基于事件流做 time-series 用户建模，衍生个性化研究方向；第五，把跨设备任务作为多模态 agent 研究的统一测试平台，推动 GUI/CLI 共享表征学习。

复现评估

复现友好度较高：代码仓库 github.com/LiberCoders/Claw-Anything 与 HuggingFace 数据集 LiberCoders/Claw-Anything 公开，训练/评测基于 OpenHarness（纯 Python 轻量级 scaffold）。200 评测+2000 训练环境规模适中，跑完主表对每模型约 200 次 trajectory，token 消耗 77.7M-178.1M（I 侧）。算力上微调 Qwen3.5-27B 用 1500 条轨迹 10 epoch 即可（按 27B 估算，8xA100/80G 单日可完成），但重训环境生成 pipeline 或跑闭源 API 需相当 LLM 预算。最大复现难点：(a) GUI 任务依赖 Android Docker 镜像，配置略复杂；(b) judge 固定为 Claude Sonnet 4.5，需对应 API；(c) 自动过滤 prompt 与种子池完整版需结合仓库代码。

Claw-Anything：用更广阔的数字世界访问权评测全天候个人助理智能体 Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World