π-Bench：在长程工作流中评估主动型个人助理智能体 π-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows
评测长程工作流中智能体能否主动发现并满足用户隐藏需求的新基准
前置知识
主动辅助（Proactive Assistance）
指智能体不只是被动执行用户显式指令，而是能基于目标、上下文和历史交互，提前预判用户未说出的需求，通过主动行动或精准提问推进任务，从而降低用户的操作和认知负担。
本文核心就是围绕这个概念构建评测框架，理解它才能明白 PROC 指标的真正含义。
隐藏意图（Hidden Intents）
用户在初始请求中没有明确说出的潜在要求，如偏好、约束、输出格式或下游依赖。它们可以是会话内的，也可跨会话持续存在，智能体需从历史交互、工作区文件或精准提问中恢复这些信息。
理解隐藏意图是理解整个评测设计的钥匙，因为 PROC 指标正是衡量它被恢复的程度。
个人助理智能体（Personal Assistant Agents）
类似 OpenClaw、Claude Code 的长程助手，通过规划、产出和迭代修订代码、文档等具体制品来辅助用户完成日常知识工作。通常采用 ReAct 风格的模块化设计，组合工具、技能和工作区操作。
本文评测的就是这类智能体，了解其工作模式才能理解任务场景与持久化工作区的设定。
智能体脚手架（Agentic Scaffold）
支撑智能体运行的软件框架，提供工具调用接口、记忆管理和工作区操作等可复用组件。本文用统一的 Nanobot 脚手架评测所有模型，以排除框架差异对性能比较的干扰。
明白脚手架统一化是理解实验结论可靠性的前提，否则性能差异可能来自框架而非模型。
跨会话依赖（Cross-Session Dependency）
指后续任务的完成依赖前面会话中建立的信息、约定或偏好，例如前一次会话确立的文件命名规范需在后续任务中沿用。本文设计了六个强依赖组来专门测试这种能力。
消融实验证明前序会话对后续主动意图解析至关重要，这是论文三大核心发现之一。
研究动机
现有智能体基准大多假设交互时目标已明确（如 AppWorld 类工具使用基准）；记忆基准侧重存储、检索和复用信息，却很少考察记忆如何用于发现并解决未明确的需求；而主动型基准多围绕手机或 GUI 场景，处理设备上下文、视觉轨迹和短时消费任务。但在 OpenClaw 风格的个人助理场景中，主动性的形态截然不同：智能体操作持久化文件和工作区，协调工具产出和修订制品，还需与跨会话的决策和偏好保持一致。很多必要的需求只在中间制品产出后才浮现，却会影响后续文件编辑、制品质量和下游任务决策。例如用户说“帮我规划下周行程”或“准备客户汇报演示稿”时，往往依赖数周前会话中的出行偏好（预算、时间、目的地）或演示稿规范（格式、指标、术语），而现有基准几乎不评测智能体能否在这些需求被明确说出之前就识别并行动。
本文的目标是本文的目标是构建一个专门评测长程个人助理工作流中主动辅助能力的基准，同时量化两个维度：一是智能体能否在隐藏需求被用户明确说出之前，通过直接行动或精准提问主动解决它（Proactivity，PROC）；二是智能体能否最终满足任务的可验证要求并产出合格制品（Completeness，COMP）。基准覆盖 5 个领域特定的用户画像，共 100 个多轮任务，组织成多会话工作流并嵌入跨会话依赖，从而真实反映用户在持续多轮交互中需求逐步涌现的现实场景，让评测结果能直接区分“谁在驱动需求发现”。
与已有工作不同的是，本文的独特切入角度在于：它抓住了“任务完成”和“主动降低用户负担”这两个被现有工作混为一谈的能力之间的本质区别。现有基准要么只看最终制品是否正确，要么只看记忆是否被调用，却很少追问“需求是由谁驱动的——是智能体主动发现的，还是用户被迫一步步喂给它的”。π-Bench 通过让模拟用户持续交互直到所有隐藏意图都被解决或提供，使这一区别变得可观测：一个被动等待用户喂需求的智能体仍可能拿到不错的 COMP，但 PROC 会很低。这种双指标分离、再加上两阶段意图追踪协议，正是本文区别于已有评测范式的核心贡献。
核心方法
直觉上，π-Bench 就像一个长期合作的“角色扮演剧本杀”：每个用户画像是一个角色，有稳定的职业、偏好和长期目标；智能体扮演助理，用户智能体扮演真人。一个 episode 含 20 个 session，每个 session 是一个多轮任务，从一句自然但欠明确的初始请求开始。技术路线上，评测框架由四部分组成：（1）被评测智能体系统，基于统一的 Nanobot 脚手架，通过工具、技能和工作区操作迭代更新制品；（2）用户智能体，用 GPT-5.4 模拟真人，控制隐藏需求的揭示节奏；（3）持久化项目环境，所有 session 共享同一工作区，文件、记忆和制品可跨会话复用；（4）双轨评测，用 PROC 衡量主动性、用 COMP 衡量完成度。整体设计让长程、跨会话、依赖关系都能在统一受控的环境中被观测。
最核心的创新是把“主动性”形式化为一个可计算指标。具体做法是：为每个任务标注一组隐藏意图 $I = \{i_1, \ldots, i_m\}$，它们在交互过程中被赋予终态——completed（智能体主动完成）、inferred（智能体精准提问后用户揭示）、provided（用户被迫主动喂出）。PROC 定义为 $\mathrm{PROC}(H) = \frac{|I_{\mathrm{com}}| + |I_{\mathrm{inf}}|}{|I|}$。关键巧思在于：模拟用户会一直交互直到所有意图都获得终态，这样被动智能体也能靠用户喂需求拿到不错的最终制品，从而让“最终制品正确”和“谁在驱动需求发现”两个维度彻底解耦。这与把记忆当作完成已知任务证据的传统思路有本质区别，也是 π-Bench 区别于所有同类基准的根本所在。
方法步骤详情
一个 session 的完整流程如下。第一步，初始化：用初始请求 $u_1$（可能是用户消息，也可能是环境触发信号如 webhook 或 agent heartbeat）启动任务。第二步，智能体响应：每轮产生响应 $a_t$，可能包含工具调用和工作区制品更新。第三步，用户智能体两阶段追踪隐藏意图——先检查响应是否已满足某意图（标 completed），再检查是否包含针对某意图的精准提问（标 inferred），否则选取一个相关意图主动提供给智能体（标 provided）。第四步，会话终止：当所有意图都获得终态且智能体产出最终响应时结束，得到轨迹 $H$。第五步，评测：PROC 从意图终态划分计算；COMP 用清单评分——对开放内容用 LLM rubric 评测器判 YES/NO 映射为 $s(c,H) \in \{0,1\}$，对结构化条件用确定性 Python 脚本检查工具历史，最终 $\mathrm{COMP}(H) = \frac{1}{|C|}\sum_{c \in C} s(c,H)$。每个任务独立跑 3 次取均值并带标准差。
技术新颖性
与现有技术相比，π-Bench 的新颖性体现在三点。第一，相对个人助理基准（聚焦端到端工具使用但不评测跨会话主动意图追踪），它显式建模隐藏意图和跨会话依赖。第二，相对记忆基准（把记忆当作完成已知任务的证据，而非发现缺失需求的信号），它把记忆、工作区状态和交互历史结合起来评估主动性。第三，相对主动型基准（多围绕手机/GUI 的短时消费任务），它聚焦持久化工作区中的长程专业工作流，隐藏意图可能很晚才浮现，且早期制品直接决定下游决策。双指标分离加上两阶段意图追踪协议，也是工程层面针对“谁在驱动需求发现”这一问题的全新设计。
实验结果
实验在 9 个前沿模型上展开，三大核心发现如下。第一，主动辅助极具挑战且区分度强：平均 COMP 在 52.1–67.6 之间、PROC 在 43.1–67.0 之间，GPT-5.4 以 67.0 PROC 居首，Claude Opus 4.6 以 67.6 COMP 居首，Qwen3.6 Plus 双指标都强（64.0/64.1）。第二，完成度与主动性明显区分：Kimi K2.5 拿到 61.6 COMP 但仅 43.1 PROC，能执行却常被动等待用户；Seed2.0 Pro 相反（58.4 PROC vs 52.1 COMP），主动发现意图但执行偏弱。终态分布上，Gemini 3.1 Pro 与 Kimi K2.5 的 provided 率高达 47.39%、45.85%，被动性突出。第三，前序交互对后续主动意图解析至关重要：消融实验移除强依赖组前置会话后，PROC 平均降 9.5 个百分点而 COMP 仅降 2.5，说明删掉历史后智能体仍能靠后续用户反馈恢复部分完成度，却大幅丧失主动性。此外 Pharmacist 任务最易、Law Trainee/Financier 最难。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体主动辅助（PROC） | PROC (%) | GPT-5.4 达到 67.0（3 次运行均值，标准差 2.1） | 其余 8 个前沿模型 PROC 在 43.1–64.0 区间 | GPT-5.4 较最低的 Kimi K2.5(43.1) 高 23.9 个百分点 |
| 整体任务完成度（COMP） | COMP (%) | Claude Opus 4.6 达到 67.6（标准差 1.5） | 其余模型 COMP 在 52.1–64.1 区间 | Claude 较最低的 Seed2.0 Pro(52.1) 高 15.5 个百分点 |
| 跨会话依赖消融 | PROC 下降幅度 | 移除前序会话后 PROC 平均下降 9.5 个百分点 | 同一设置下 COMP 仅平均下降 2.5 个百分点 | 证明前序交互专门服务于后续主动意图解析而非最终完成度 |
| 评测判定可靠性 | 分歧率 (%) | 人类专家：清单 2.66%、隐藏意图 1.48% | 独立前沿模型审计：清单 < 3.6%、隐藏意图 < 2.1% | PROC 与 COMP 的判定稳定，不太可能由评测噪声驱动 |
局限与改进
作者承认两点局限：一是用户由智能体模拟而非真人，因为长程真人评测成本高、难复现、难扩展；二是实验只用了一个基于 Nanobot 的脚手架，虽然提供了受控的对比环境，但可能无法覆盖其他脚手架带来的差异。我自己还观察到几点：第一，整个评测链条（用户智能体、意图追踪、rubric grader）都重度依赖 GPT-5.4，虽然作者用专家和多模型审计证明分歧率低于 3.6%，但 GPT-5.4 同时作为用户模拟器和被评测的最强模型存在角色重叠，可能隐含偏差。第二，100 个任务、5 个画像的规模相对有限，能否推广到更多职业和场景存疑。第三，“隐藏意图可恢复”依赖标注质量，虽然有人工审核，但标注主观性难以完全消除。
独立分析的弱点
第一个弱点：模拟用户用 GPT-5.4 实现可能引入系统性偏差——当 GPT-5.4 同时是最强被评测模型时，它的意图追踪和 grader 可能对自家风格的响应更友好。改进方向是引入多个异构模型轮流担任用户智能体和 grader，做交叉验证。第二个弱点：100 任务规模偏小，18 个任务类型中部分类型（如 J、L）仅 2-3 个样本，导致按类型分析方差大、结论不稳。改进方向是扩充到数百任务并平衡类型分布。第三个弱点：用户智能体倾向把 provided 作为兜底（即使智能体表现一般也能保证 COMP），这可能高估弱模型的实际完成能力，且 provided 行为本身偏理想化（总能精准补全需求）。改进方向是引入更“吝啬”或会误解需求的用户模拟，测试鲁棒性。第四个弱点：仅评测了 9 个模型且全为闭源 API，缺乏对开源可本地部署模型及不同推理预算（thinking 开关）的系统比较。
未来方向
作者明确提出的方向：扩展到更多脚手架以研究框架对主动性的影响，以及探索更接近真人的评测方式。基于成果可延伸的方向：第一，研究如何让模型主动学习提问策略——当前所有模型 inferred 率都很低且聚集（8.36–12.29%），说明精准提问是普遍短板，可用强化学习专门优化“何时问、问什么”。第二，把双指标框架扩展到多智能体协作或人机协作场景，研究主动性如何在多主体间分配与协调。第三，研究主动性与安全性/隐私的权衡——过于主动的智能体可能越界行动或暴露隐私，这需要新的约束机制，作者在影响章节也强调了这一风险。
复现评估
复现评估较好。作者提供了开源代码和项目页（基于 Nanobot 的 MIT 许可、AppWorld 的 Apache-2.0 许可构建模拟 app 环境），运行环境用 Docker 容器化以保证一致。算力需求很低：单任务运行内存不足 8GB，全部工作区（任务资源、轨迹、中间输出）存储不足 32GB，硬件只需普通 Linux 服务器（论文用 251GB 内存的服务器，但远未跑满）。复现难度主要在三处：一是所有评测模型都是闭源商业 API，需自行准备凭证和额度，9 个模型 × 100 任务 × 3 次 × 多轮交互的 API 成本不低；二是任务标注和 grader 脚本虽开源，但完整构建流程依赖领域专家；三是用户智能体的两阶段意图追踪协议较复杂，需严格按附录实现才能复现一致的 PROC。
论文图表
