KnowU-Bench：面向交互式、主动式与个性化移动智能体评估的基准

首个在线可复现的个性化+主动式移动智能体评测基准

前置知识

GUI Agent / 移动智能体

基于多模态大模型（MLLM），通过观察屏幕截图、解析UI层级并执行点击、滑动、文本输入等原子动作来操控Android/iOS应用的智能体。其核心是 $a_t \sim \pi(a \mid o_t, h_{<t})$，即在截图 $o_t$ 和历史 $h_{<t}$ 下采样动作 $a_t$。

KnowU-Bench评测的就是这一类智能体，论文中的MAI-UI、UI-Venus、Qwen3-VL等都属此类。理解其输入-动作循环对理解评估设置至关重要。

POMDP（部分可观测马尔可夫决策过程）

形式化为元组 $(S, O, A, T, R)$：$S$ 为环境状态，$O$ 为观测，$A$ 为动作空间，$T: S \times A \to S$ 为转移，$R: S \times A \to \{0,1\}$ 为奖励。智能体在每步仅获得观测 $o_t \in O$，须从历史推断真实状态。

论文将手机自动化建模为POMDP（公式 $T: S \times A \to S$, $R: S \times A \to \{0,1\}$）。理解POMDP有助于把握为什么'用户偏好是隐变量，必须从行为日志中推断'这一基本设定。

RAG（检索增强生成）

先用嵌入模型把长文本切分为chunk，编码成向量存入库中；查询时用同一编码器把问题向量化，检索top-$k$最相似的chunk拼到prompt里。论文中'rag'模式指用embedding-based retriever从用户日志中按可变预算 $k$ 召回相关片段。

论文消融实验中对比了'全量历史(all)'和'检索式历史(rag)'两种记忆接口。RAG是工业界处理长上下文的标准做法，理解它能看懂为何不同模型对两种记忆设置反应不同。

LLM-as-a-Judge（LLM评判员）

用一个大语言模型代替人工对生成结果打分，通常给评分量表（rubric）和样例，让模型输出分数+理由。论文中用于评估对话质量、偏好对齐、沟通风格等无法用规则判定的语义维度。

混合评估协议 $S_i = \lambda_i S_{rule} + (1-\lambda_i) S_{llm}$ 的语义侧就靠它，且论文用4位人类专家对26条轨迹做了人机一致性验证。不了解这个范式就难以理解评测可信度论证。

研究动机

现有移动智能体基准在个性化与主动式任务上存在三大系统性缺陷。第一，评估大多是离线的：PersonalAlign、Me-Agent、FingerTip 20K等关注从静态历史中恢复意图，只做action matching，不在真实GUI中执行；少数在线基准（如MobileWorld、Pare）虽然更真实但可复现性差，且同样不评估真实执行结果。第二，交互式偏好获取从未被评估：现有工作只测'能否从日志中推断偏好'，但实际部署中智能体必须通过多轮提问主动澄清，'会不会问'是另一项独立能力。第三，主动任务评估不完整：ProactiveMobile、PIRA-Bench等只到意图预测/建议排序层面，缺少对完整决策链——该不该主动、是否征得同意、被拒后是否收手——的端到端评测。论文Figure 1的左图揭示了这一鸿沟：在clear instruction上MAI-UI-8B、Seed 2.0 Pro达100% SR，而切到vague instruction后所有模型均跌至50%以下。

本文的目标是论文的核心目标是构建一个在线、可复现、端到端可验证的移动智能体评测基准KnowU-Bench，把'个性化'从离线意图对齐问题变成在线执行问题。具体目标包括三方面：(1) 搭建容器化的Pixel 8 AVD + FastAPI编排栈，使每个任务从固定快照启动并由程序自动判定结果；(2) 引入由结构化profile和behavioral log驱动的LLM用户模拟器 $\pi_u$，支持'order lunch'式模糊指令下的多轮澄清和主动任务中的接受/拒绝决策；(3) 覆盖完整主动决策链——直接执行、提出建议并请求确认、被拒后保持沉默——并对192个任务（42 general + 86 personalized + 64 proactive）做混合规则+LLM评分。

与已有工作不同的是，论文的独特切入角度是'信息不对称'设计：用户profile $P$ 只对 $\pi_u$ 可见，行为日志 $H$ 只对GUI智能体 $\pi$ 可见。这一显式切分强迫 $\pi$ 通过观察行为模式而非查阅profile来推断偏好，从而真正测出'能否理解用户'。第二个切入是把'主动'拆成Act / Silent / Stop三个独立指标，避免被单一SR掩盖校准问题；第三个切入是引入'vague instruction'轴（Table 2的easy/hard split），把'指令清晰度'作为难度变量显式建模。这些设计让KnowU-Bench既能与AndroidWorld/MobileWorld等执行型基准对比，也能与PersonalAlign/PIRA-Bench等意图型基准对比，定位为首个同时覆盖personalization + proactivity + grounded execution的统一框架。

核心方法

KnowU-Bench的设计哲学是'真实执行 + 信息不对称 + 完整决策链'。直觉上，它把'懂用户的手机助手'拆成三个可独立评测的子能力——基础GUI执行、个性化偏好获取、主动介入校准——并在统一的Android模拟器里端到端打分。技术路线分四层：环境层（容器化Pixel 8 AVD，固定snapshot启动，ADT控制器映射高层动作到ADB指令）、用户层（GPT-4o驱动的 $\pi_u$，用结构化profile $P$ 做角色扮演，agent只能看到log $H$）、任务层（按g和难度分三类，引入'vague'轴）、评估层（规则判定 $S_{rule}$ 与LLM-as-judge $S_{llm}$ 加权融合，权重 $\lambda_i$ 由任务中偏好依赖项占比决定）。整个benchmark以POMDP形式化：$a_t \sim \pi(a \mid g, o_t, h_{<t}, H, S, r_t)$，其中 $r_t$ 是 $\pi_u$ 对 $ask\_user$ 动作的回复。

KnowU-Bench的核心创新在于把'信息不对称'和'决策链分解'显式嵌入评估协议，这和已有基准有本质区别。已有工作要么把用户偏好当作静态上下文（PersonalAlign、Me-Agent），要么把主动任务简化为意图分类（PIRA-Bench、ProactiveMobile），它们都没测过'在看不到profile、必须问才能拿到信息'这一真实部署约束。KnowU-Bench的第二个创新是hybrid evaluation的权重调度：$S_i = \lambda_i S_{rule} + (1-\lambda_i) S_{llm}$，$\lambda_i$ 取决于任务i中需要规则判定的硬约束比例，使纯程序化任务得 $\lambda_i=1$（避免LLM幻觉），纯语义任务得 $\lambda_i=0$（规则无能为力），介于两者之间的个性化任务按硬约束比例折中。第三个创新是把'主动'拆成Act / Silent / Stop三个互补指标，再加一个“被拒后是否继续执行”的安全性检查，避免单一数字掩盖校准失衡。

方法步骤详情

评测一条轨迹分五步。(1)初始化：固定snapshot启动Pixel 8 AVD，重置后端、回调、交互历史；时敏任务覆盖设备时间。(2)注入上下文：把 $g$、$H$、$S$ 拼成prompt，agent按 $a_t \sim \pi(a \mid g, o_t, h_{<t}, H, S, r_t)$ 采样。(3)交互循环：若 $a_t = ask\_user$，$\pi_u$ 用GPT-4o以profile $P$ 角色生成 $r_t$；动作由FastAPI控制器翻译为ADB命令。(4)打分：规则侧检查recipient、event、alarm、时间窗、违规输出 $S_{rule}$；LLM侧按rubric（偏好对齐、权衡、沟通、上下文、澄清）输出 $S_{llm}$。(5)融合：$S_i = \lambda_i S_{rule} + (1-\lambda_i) S_{llm}$，$\lambda_i$ 按可规则化约束比例。失败归类为Clarify/Partial/Preference/GUI（个性化）或Intervention/Passive/GUI/Rejection（主动）。

技术新颖性

技术新颖性体现在三方面。首先是评测协议的结构性突破：把'用户偏好获取'和'主动校准'从'LLM内部能力'变成'可观察、可打分的对话行为'，通过强制信息不对称（profile对agent不可见）排除了'记住profile'这条捷径。其次是混合评估的精细化调度：$\lambda_i$ 按任务中可规则化约束的比例设定，比简单 'RAG evaluation' 或 'pure LLM judge' 更接近人评；Figure 4显示hybrid judge在26条共享轨迹上MAE低于纯规则版本，验证了'规则保可验证、LLM保语义'这一原则的工程价值。第三是任务-指标设计：'easy/hard'切分让'指令清晰度'成为独立难度变量，三个proactive指标Act/Silent/Stop则把'该不该做'这一校准问题拆成可分别优化的子目标，超越了单一SR带来的平均化失真。

**Figure 2**: Overview of the KnowU-Bench framework

实验结果

论文在192任务上评测11个模型，揭示三个核心发现。第一，clear instruction执行不再是瓶颈：Table 2显示MAI-UI-8B与Seed 2.0 Pro在easy general达100% SR，Claude 94.4%；切到hard personalized，Claude掉到44.2%，所有开源<12%，平均下降约30个百分点。第二，个性化失败主因是偏好获取而非GUI：Figure 5(a)显示Claude失败中Clarify 66.7%、Partial 27.1%、GUI仅4.2%、Preference 2.1%；Figure 3(b)表明'多问'≠'问对'。第三，主动任务核心是校准：Figure 3(c)显示Claude Act 70.8%最高，Qwen3.5-397B-A17B Silent 73.7%、Stop 75.0%最佳；Figure 5(b)显示Claude proactive失败中Intervention 60.0%、Passive 20.0%、GUI 15.0%、Rejection 5.0%，校准错误合计80%。

**Table 1**: Comparison of KnowU-Bench with existing GUI benchmarks and datasets

**Table 2**: Main results on KnowU-Bench under the noisy full-history memory setting

**Table 3**: Overall success rate under four memory settings (personalized and proactive tasks only)

**Figure 3**: Visualization analyses. (a) Average score across four user roles; (b) Personalized interaction metrics; (c) Proactive safety rates

**Figure 4**: Judge sensitivity against human ratings

**Figure 5**: Failure mode breakdown. (a) Personalized failures; (b) Proactive failures

查看结构化数据

任务	指标	本文	基线	提升
KnowU-Bench Overall（所有192任务）	Success Rate (SR)	Claude Sonnet 4.6: 60.4% (最佳)	MAI-UI-8B: 26.0%；Qwen3-VL-8B: 21.9%	Claude 比最佳开源模型 Qwen3.5-397B-A17B (37.5%) 高 22.9 个百分点，比 MAI-UI-8B 高 34.4 个百分点
Personalized hard split（个性化难题子集）	Success Rate (SR)	Claude Sonnet 4.6: 44.2%	Qwen3.5-122B-A10B: 9.5%；Qwen3-VL-32B: 2.4%；Qwen3.5-9B: 0.0%	Claude 比最强开源模型 Qwen3.5-122B-A10B 高 34.7 个百分点；所有开源模型均低于 12%
Personalized（个性化整体）	Average Score (0-1)	Claude Sonnet 4.6: easy 0.78 / hard 0.80	Seed 2.0 Pro: easy 0.65 / hard 0.57；Qwen3.5-9B: easy 0.17 / hard 0.18	Claude hard Avg Score 比 Seed 高 0.23，比 Qwen3.5-9B 高 0.62
Proactive hard split（主动难题子集）	Success Rate (SR)	Qwen3.5-9B 与 Seed 2.0 Pro 并列 65.6%（最佳）；Claude 53.1%	Qwen3.5-122B-A10B: 12.5%（最差）	开源小模型 Qwen3.5-9B 在此子集上反超闭源模型，说明主动校准与个性化能力是独立维度
Proactive Act（该出手时出手）	Act Rate	Claude Sonnet 4.6: 70.8%	Qwen3.5-397B-A17B: 31.8%；Qwen3.5-122B-A10B: 极弱	Claude 在主动介入指标上领先最强开源模型 39 个百分点
Proactive Silent（不该做时静默）	Silent Rate	Qwen3.5-397B-A17B: 73.7%（最佳）	Claude Sonnet 4.6: 竞争性次优	开源大模型在静默指标上领先，闭源模型更偏向行动
Judge vs Human（自动评估与人类一致性）	Mean Absolute Error（26条轨迹）	Hybrid judge: MAE 显著低于纯规则版本	Pure rule-based: MAE 较高	Figure 4 显示 hybrid 评估点云更紧贴对角线，验证了 $S_i = \lambda_i S_{rule} + (1-\lambda_i) S_{llm}$ 的融合策略
Memory Ablation（Qwen3-VL-8B）	Overall SR (Personalized + Proactive)	RAG log clean: 20.4%	Full log clean: 13.6%	检索式记忆比全量记忆高 6.8 个百分点，说明该模型受益于选择性证据暴露

局限与改进

作者明确指出三点局限。其一，benchmark目前只覆盖23个Android应用，电商和本地服务偏多，办公、社交等场景有待扩展。其二，用户模拟器 $\pi_u$ 用GPT-4o驱动，存在角色扮演偏差，可能给出过于配合或过于理性的回复，与真实人类在压力/分心/情绪下的反应有差距，且不同LLM作为 $\pi_u$ 会改变模型排名。其三，LLM-as-judge本身有偏，对话风格、回答长度等表层特征可能影响评分；论文用4位人类专家对26条轨迹做了局部校验（Figure 4），但样本量较小。从独立观察看，'vague instruction'的难度边界依赖模板设计，不同写法的'order lunch'可能对模型行为影响巨大；Proactive任务的成功判定高度依赖仿真环境的状态可见性，真实手机的推送、网络延迟、跨设备同步等扰动难以复现，向真实部署迁移时需谨慎。

独立分析的弱点

独立分析三个值得改进的弱点。第一个弱点是偏好获取范式单一：当前ask_user机制是单轮自由文本，agent无法使用多模态询问（如展示候选餐厅让用户选），这与真实助手（带图带按钮的GUI对话）有差距；改进方向是扩展 $\pi_u$ 接口以支持多模态回复与结构化选项（如卡片、勾选框），并提供对应的rubric。第二个弱点是hybrid评估的权重 $\lambda_i$ 是预设而非学习得到的，且只反映'规则可判定的约束比例'，未考虑rubric各维度的相对重要性；改进方向是引入meta-evaluator，用人类反馈对 $\lambda_i$ 做后验校准，或采用Bradley-Terry类配对偏好学习得到自适应权重。第三个弱点是评测规模瓶颈：192个任务虽然有质但量不足，按4角色×多模板的笛卡尔积展开后单模型跑一次仍要消耗大量API/推理预算；改进方向是构建难度模型预测题目难度，用自适应抽样减少必要题目数，或在保证统计显著性的前提下引入更便宜的代理模型。

未来方向

作者在Discussion和Conclusion中给出三条主轴，未来可延伸出更多方向。论文明确点出'长期记忆访问、歧义消解策略、主动决策安全边界'是下一步研究重点；具体可细化为：设计基于profile摘要的preference bank与version control，避免每条交互都重读全部历史；构建能基于用户反馈自适应调整提问策略的active elicitation policy；以及引入RLHF/DPO对主动任务的Act/Silent/Stop做独立奖励塑形。基于成果可延伸的方向还包括：(1) 跨设备协同——把 $\pi_u$ 扩展到手机+PC+智能家居的多端场景，测试跨端偏好迁移；(2) 反事实评估——给定同一任务和profile，测试不同H（log）对智能体推断的因果影响，量化记忆模块的边际贡献；(3) 用户级评测——以profile为粒度而非task为粒度做SR聚合，避免'grandma难'被拆散为单题噪声。这些方向都直接基于KnowU-Bench的基础设施，落地成本相对可控。

复现评估

复现性整体较好但需中等门槛。开源情况：项目页 https://zju-real.github.io/KnowU-Bench 公开了benchmark入口，代码仓库 https://github.com/ZJU-REAL/KnowU-Bench 提供评测脚本与任务模板，作者另提供通讯邮箱 {zhengxilu, syl}@zju.edu.cn。数据资产：23个Android应用+192任务模板+4类profile均结构化给出，任务从固定snapshot启动，理论上保证bit-identical复现。算力门槛：每个任务平均30-50步，闭源模型按API计费粗估每千任务需数百美元，开源8B模型在A100/H100上每千任务需几十小时；完整复现11个模型的总算力相当可观。难度评估：搭建容器化Pixel 8 AVD、ADB编排、GPT-4o用户模拟器、LLM-as-judge管道都需要一定工程投入，完整部署脚本与依赖版本需依赖仓库实际状态；建议先跑通10-20任务的小规模验证再全量评测。

KnowU-Bench：面向交互式、主动式与个性化移动智能体评估的基准 KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation