Proactive Agent Research Environment：模拟主动用户以评估主动助手 Proactive Agent Research Environment: Simulating Active Users to Evaluate Proactive Assistants
提出基于非对称FSM的Pare框架，通过模拟真实用户交互来评估主动助手。
前置知识
有限状态机 (FSM)
有限状态机是一种计算模型，由一组状态、初始状态、输入和转移函数组成。在本文中，FSM用于模拟移动应用的界面逻辑，每个状态代表一个屏幕，转移代表用户在屏幕间的导航操作（如点击、返回、输入）。用户模拟器无法直接调用后端API，必须按照FSM定义的路径导航，这完美复刻了真实用户在手机APP上的操作限制。
本文的核心创新在于用FSM建模用户界面，理解FSM对于理解为何Pare能模拟真实用户交互、以及为何用户和助手拥有不对称的操作权限至关重要。
Stackelberg 博弈 (Stackelberg Game)
Stackelberg博弈是一种博弈论模型，其中存在领导者先行动，跟随者根据领导者的行动做出反应的层次结构。本文将用户-助手交互建模为Stackelberg POMDP（部分可观测马尔可夫决策过程），用户先行动（Leader），助手根据观察到的用户行为和环境状态（Follower）制定计划并提供建议。这种模型捕捉了主动助手在观察用户后介入的场景。
论文用数学形式化定义了交互流程，理解Stackelberg结构有助于理解为何实验中采用用户先行动、助手后行动的轮流机制，以及如何计算接受率RAccept和成功率RSucceed。
ReAct 智能体
ReAct是一种结合推理和行动的智能体框架，其核心循环是Thought（思考）-> Action（行动）-> Observation（观察）。智能体先思考当前情况应该采取什么行动，执行该行动，然后观察结果，依此循环直至完成任务。本文中的用户模拟器和助手均基于ARE平台的BaseAgent，遵循ReAct范式进行决策。
理解ReAct范式有助于理解文中描述的智能体如何通过多步推理来完成复杂任务，特别是Observe模式和Execute模式下的推理与执行分离设计。
研究动机
现有的智能体评估框架存在严重缺陷，它们通常将应用程序建模为扁平的工具调用API，忽略了真实用户交互中存在状态和顺序导航的特性。用户在真实环境中必须通过界面导航（如打开APP、查找联系人、填写表单）才能执行功能，而现有框架允许智能体直接调用任意API。此外，现有的主动助手评估依赖于被动的、循环外的用户或静态数据集，无法捕捉动态交互。由于用户行为会受到助手行为的影响，缺乏真实或模拟用户的交互，就无法真实评估用户-助手系统的目标完成情况。
本文的目标是本文的目标是构建一个名为Pare（Proactive Agent Research Environment）的框架，用于在数字环境中构建和评估主动智能体。Pare旨在通过模拟生态有效的主动用户来与被测试的主动助手进行交互，从而解决评估中的真实性问题。具体而言，作者希望构建一个包含143个多样化任务的基准测试Pare-Bench，涵盖通信、生产力、日程安排和生活方式应用，以测试助手的上下文观察、目标推断、干预时机和多应用协调能力。
与已有工作不同的是，本文的独特切入角度在于引入了“非对称”的仿真环境设计。与之前将用户和助手置于同等API访问权限的工作不同，Pare通过有限状态机（FSM）建模应用程序，使得用户模拟器必须通过状态相关的导航来操作（模拟真实UI限制），而主动助手则拥有扁平的API访问权限（模拟后端能力）。这种不对称性真实反映了实际部署场景：用户受限于屏幕上下文，而个人助手可以通过后端API直接访问任何功能。这种设计使得首次能够通过具有真实执行语义的交互循环来评估主动助手。
核心方法
Pare框架建立在Agent Research Environment (ARE)平台之上，通过实现主动用户模拟器来扩展ARE。其核心思想是利用非对称接口模拟真实世界：用户模拟器与有状态的APP接口交互，导航FSM状态机；主动助手与扁平API接口交互。交互流程遵循Stackelberg轮流结构：用户先行动，助手观察后提议计划，用户接受后助手执行。框架包含APP初始化、事件流构建和预言验证三个组件，支持噪声注入（如工具失败、垃圾通知）以增加任务难度。
核心创新点是基于FSM的非对称接口设计。用户模拟器的动作空间是状态依赖的，必须遵循APP的屏幕逻辑；而主动助手拥有全局的扁平API访问权。这种设计将主动助手的“观察-推断-提议”过程建立在真实的用户行为约束之上，使得评估不仅测试了助手的目标推断能力，还测试了其在真实UI约束下的执行鲁棒性。另一个关键点是Observe-Execute双阶段架构，将持续监控与任务执行分离，以在提供主动服务的同时保留用户自主权。
方法步骤详情
首先，定义APP的有限状态机（FSM），每个状态代表一个屏幕，转移代表用户操作，用户模拟器只能根据当前状态选择可用工具。其次，初始化场景数据（如联系人、日历事件）和环境事件流。接着进入交互循环：1. 用户模拟器根据观察$O_U$和过往动作采取行动$A_U$，触发APP状态转移；2. 主动助手观察用户动作和环境事件$E_t$，计算计划$p_t = f_ heta(O_{A,t-1}, A_{A,t-1}, A_{U,t-1}, E_t)$；3. 助手通过AgentUserInterface向用户提议；4. 用户评估提议，若接受则进入Execute模式，助手利用扁平API执行任务，否则返回Observe模式。循环直至达到最大轮数或环境发出完成信号。
技术新颖性
本文的技术新颖性在于首次探索了基于非对称FSM的环境设计来评估主动助手。与之前仅允许用户发消息的$ au$-bench或缺乏状态追踪的ProactiveAgent不同，Pare结合了主动目标推断与具身执行，其中的模拟用户通过状态相关动作导航FSM应用，而主动助手跨所有应用访问API。这种设计实现了完整的主动辅助循环：观察用户行为、推断目标、提议干预和执行多步骤任务。此外，Pare-Bench利用LLM生成场景并由人工验证，实现了大规模且多样化的任务覆盖。
实验结果
实验评估了七个LLM模型在Pare-Bench上的表现，包括四个闭源模型（Claude 4.5 Sonnet, GPT-5, Gemini 3 Pro, Gemini 3 Flash）和三个开源权重模型（Qwen 3 4B, Llama 3.2 3B, Gemma 3 4B）。结果显示，即使是最好的前沿模型也仅能达到约42%的成功率。Gemini 3 Flash和Claude 4.5 Sonnet表现最佳，成功率分别为42.1%和42.0%。Claude结合了最低的提议率（12.8%）和最高的接受率（78.2%），表明它只在有信心时才提议。开源模型中Qwen 3 4B表现最佳（18.5%），而Gemma 3 4B仅为3.0%。一致性分析显示模型存在显著差异：Claude从Success@4的60.8%降至Success^4的18.2%（3.3倍下降），而Llama从23.8%降至1.4%（17倍下降），表明小模型不仅能力较弱且极不稳定。鲁棒性测试表明，Claude在40%工具失败率下仍能保持40-45%的成功率，而Llama降至8%，Qwen保持18-20%稳定。在环境噪声测试中，Claude保持稳定，而Gemini 3 Flash和GPT-5在高噪声下明显退化。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Pare-Bench 总体成功率 | Success Rate | 42.1% (Gemini 3 Flash) | 42.0% (Claude 4.5 Sonnet) | 竞品持平 |
| 提议接受率 | Acceptance Rate | 78.2% (Claude 4.5 Sonnet) | 67.1% (Gemini 3 Flash) | 提升11.1个百分点 |
| 提议效率 | Proposal Rate | 12.8% (Claude 4.5 Sonnet) | 28.1% (GPT-5) | 降低15.3个百分点（更精准） |
| 小模型执行能力 | Success Rate | 18.5% (Qwen 3 4B) | 3.0% (Gemma 3 4B) | 提升15.5个百分点 |
局限与改进
本文存在一些局限性。首先，即使是SOTA模型也仅达到约42%的成功率，表明当前主动助手技术仍不成熟，难以可靠地推断用户目标并正确执行。其次，Pare依赖手动定义的FSM来模拟APP界面，虽然生态有效但扩展性受限，且无法捕捉所有真实世界的UI复杂性。再者，用户模拟器虽然是基于LLM的，但它仍是一个模拟模型，可能无法完全复刻人类用户的微妙行为和心理状态。作者还指出，实验中的用户模型是GPT-5-mini，虽然经过严格提示，但仍可能存在偏差。最后，Observe-Execute架构虽然保护了用户自主权，但也可能因为需要等待确认而错过最佳干预时机。
独立分析的弱点
Pare框架的一个主要弱点是FSM定义的高昂人工成本。每个APP的状态机需要手动编码，限制了快速扩展到新应用的能力。改进方向可以是开发自动化工具，从真实APP的UI层级结构或交互日志中提取FSM。另一个弱点是用户模拟器的真实性，尽管GPT-5-mini表现尚可，但它可能缺乏人类用户的常识、情绪反应和错误模式，这可能导致评估结果偏向于善于欺骗模拟器的模型而非真正有用的助手。未来可以引入基于人类数据的强化学习来训练更逼真的用户模型。此外，成功率较低表明当前的Observe-Execute架构可能仍需改进，特别是在执行阶段的错误处理和恢复能力上。
未来方向
未来的工作可以集中在几个方向。首先，扩展Pare-Bench以包含更多应用领域（如社交媒体、游戏、导航）和更长的任务时间线（数天或数周），以测试长期记忆和规划能力。其次，探索更复杂的多用户场景，测试助手如何处理冲突目标和协作任务。第三，研究端到端训练方法，利用Pare生成的交互数据微调更小的模型，以实现在设备上的高效部署。作者还建议研究更精细的干预策略，例如在用户表现出困惑或挫败时主动介入，而不仅仅是在观察到特定事件序列时。最后，可以引入人类用户进行真实测试，以验证Pare模拟结果的有效性。
复现评估
本文具有良好的复现性。作者已将Pare框架和Pare-Bench数据集在GitHub上开源（https://github.com/deepakn97/pare）。实验使用了七个不同的LLM，包括开源和闭源模型，并提供了详细的配置参数（如用户模型GPT-5-mini，最大轮数10，用户迭代1次，助手观察5次、执行10次）。虽然运行完整的实验需要调用付费API（如Claude、GPT-5等），但开源模型（Qwen、Llama、Gemma）可以在本地硬件上运行。论文附录提供了详细的场景生成管道和验证标准，使得其他研究者可以遵循相同的流程生成新任务。整体而言，只要具备API密钥或本地算力，复现结果是可行的。
论文图表
