KnowAct-GUIClaw：具备自进化记忆与技能的个性化图形界面助手 KnowAct-GUIClaw: Know Deeply, Act Perfectly, Personal GUI Assistant with Self-Evolving Memory and Skill
用可迁移的自进化记忆与技能库打造跨平台个性化GUI助手，刷新MobileWorld纪录。
前置知识
GUI 智能体（GUI Agent）
GUI 智能体指通过截图、可访问性树等视觉观察，直接操作图形界面（点击、滑动、输入文本、跨应用导航）来完成任务的模型，而非调用干净的 API。代表系统有 AppAgent、Mobile-Agent、CogAgent、UI-TARS、Aguvis 等。其难点在于界面状态部分可观测、动态加载、跨平台差异大，需要视觉定位与序贯决策。
本文正是要给 OpenClaw 式智能体补上 GUI 操作能力，理解 GUI 智能体的固有难点（部分可观测、轨迹一次性丢弃、缺乏快捷路径）才能看懂 KnowAct-GUIClaw 要解决的核心痛点。
POMDP（部分可观测马尔可夫决策过程）
POMDP 把决策问题建模为元组 $\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T},\Omega,\mathcal{R},\gamma)$，其中 $\mathcal{S}$ 是隐藏的真实状态、$\mathcal{O}$ 是观测空间、$\mathcal{T}$ 和 $\Omega$ 分别是状态转移与观测函数。关键特性是智能体永远观测不到 $\mathcal{S}$ 本身，只能看到一个投影（如一张截图），需在不确定性下行动并从错误中恢复。
论文把 GUI 自动化严格形式化为 POMDP，主机-执行器分工、状态契约校验、技能落地校验都源于“状态不可直接观测”这一假设，看懂 POMDP 才能理解为何要引入黑板契约和技能校验。
主机-执行器多智能体架构（Host-Executor）
与单体 GUI 智能体不同，主机-执行器架构把任务拆给两类角色：主机智能体持有用户上下文（对话、工作区记忆、用户画像、外部工具、编排），决定“做什么”；轻量 GUI 执行器负责截图感知、动作归一化、设备后端与轨迹记录，决定“怎么做”。主机只在确实需要视觉交互时才把子任务派发给执行器，从而把效率作为一等目标。
这是本文最核心的架构选择，KnowAct-GUIClaw 的全部四阶段循环都建立在这个分工之上；消融里 397B 主机直接处理合格子任务的 F 配置能以最低成本拿到最佳准确率，正是该架构的价值体现。
智能体记忆与技能库（Memory & Skill Library）
记忆与技能复用让智能体在不更新权重的情况下持续变强：文本记忆（如 Reflexion、ReasoningBank）保存可检索的经验教训；可执行技能库（如 Voyager）把反复出现的操作流程压缩成带状态校验的可复用过程。本文区分两类：经验记忆保存文本策略（如该用网页后台而非移动端设置），技能库保存带参数占位符和状态契约的可执行动作序列。
本文的核心创新正是把这两类存储引入 GUI 智能体并形成闭环——Reflect 阶段把轨迹蒸馏成记忆和技能，反哺 Know 与 Act。消融证明它们是准确率提升的主要来源，并能在不同基础模型间迁移。
Android Deep Link 与 Intent 快捷方式
Deep Link（如 taobao://item?id=...）和 Intent（系统动作如 ACTION_SEND）是 Android 提供的非视觉跳转入口，能绕过冗长的界面导航直达目标页面。但清单文件暴露的常量（如 SEARCH、SEND、GET_CONTENT）未必可用，需要先启动候选变体、记录前台应用、ADB 输出、UI 树与截图来验证目标页面、参数与载荷保持，只有页面验证通过的记录才晋升为一步技能。
Act 阶段的混合动作空间把技能、deeplink、intent 统一成页面验证过的一步技能，这是 KnowAct-GUIClaw 大幅压缩导航步数、降低 token 成本的关键机制，理解它能看懂为何技能复用能省约 3.3 步/任务。
研究动机
OpenClaw、Nanobot、Hermes 等个人助手框架擅长基于 API/工具的任务自动化，但撞上两堵墙。第一堵是 GUI 操作能力缺失：大量真实用户任务（检查移动应用、跨应用迁数据、处理权限弹窗、在登录态下执行多步流程）需要操作动态渲染的图形界面而非干净 API。简单外挂一个独立 GUI 智能体既低效又脆弱，原因有四：(1) 高层指令常跨多个无关应用，自由文本摘要会丢失中间数据；(2) GUI 观测天然不完整——截图、可访问性树、前台应用 ID 各自只暴露隐藏设备状态的碎片；(3) 成功/失败轨迹在任务结束后就被丢弃，重跑类似任务要从零再探索；(4) 更快的非视觉快捷方式（网页搜索、Android deeplink、intent、预定义动作序列）未被集成或未被安全验证。第二堵墙是缺乏内置自进化机制，性能无法凭积累的经验提升。在 MobileWorld 上，纯 Qwen3.5-35B-A3B GUI 执行器只有 24.8% 成功率，更大的 Kimi-K2.6 基线也仅 55.6%。
本文的目标是本文的目标是为 OpenClaw 式个人助手同时补上高效的 GUI 交互能力和持续自进化能力，提出 Know Deeply, Act Perfectly 范式：积累的人机交互与任务运行经验直接提升执行准确率和效率，把认知理解与操作执行统一起来。具体地，作者要造一个框架：(a) 把 GUI 控制建模为能力强的主机智能体（持有用户上下文、工具、编排）与轻量 GUI 执行器（持有屏幕感知、动作归一化、设备控制）的协作，只在确需视觉交互时才调用执行器；(b) 积累可归因的经验记忆和自进化、带状态校验的技能库，并能在不同基础模型与平台间迁移；(c) 用带类型的契约标准化跨应用数据流，消除模糊自由文本带来的上下文丢失；(d) 在 MobileWorld 上取得 SOTA 并支持 Android、iOS、HarmonyOS、Windows 跨平台部署。
与已有工作不同的是，本文的独特切入点是不再造一个单体 GUI 智能体，也不只是把现成 GUI 智能体插进 OpenClaw，而是把 GUI 自动化重新框定为带四阶段 Know-Route-Act-Reflect 闭环的主机-执行器协作，并配两个持久、可复用的存储（记忆库 + 技能库）。与 AppAgent、Mobile-Agent、CogAgent、UI-TARS、Aguvis 等只在单一交互环境里刷分、用完即丢轨迹的 GUI 智能体不同，KnowAct-GUIClaw 把轨迹蒸馏成可迁移的经验记忆和可执行技能，再反哺路由与执行；与把记忆当成扁平对话历史的个人助手平台不同，它用可归因记忆加带类型的黑板协议，让跨应用工作流交换已声明的类型化取值而非不可靠的自由文本摘要。这让效率成为一等目标，并把一次性运行变成自改进闭环。
核心方法
KnowAct-GUIClaw 把每个长程任务组织成 Know、Route、Act、Reflect 四阶段循环，由两个持久存储（记忆/历史库与技能/快捷方式库）喂数据。直觉上：行动前先收集上下文（Know），把请求变成带显式数据契约的应用级任务（Route），用偏好廉价快捷方式/技能而非视觉逐步控制的混合动作空间执行（Act），再把轨迹蒸馏回记忆和技能（Reflect）。形式上，GUI 自动化被建模为 POMDP $\mathcal{M}=(\mathcal{S},\mathcal{A},\mathcal{O},\mathcal{T},\Omega,\mathcal{R},\gamma)$，隐藏设备状态永远观测不到。系统明确分工：主机（如 Qwen3.5-397B-A17B）持有对话、工作区记忆、用户画像、外部工具与编排，决定做什么；轻量 GUI 执行器（如 Qwen3.5-35B-A3B）负责截图感知、动作归一化、设备后端与轨迹记录，决定怎么做。主机有选择地委派，能自己用工具解决的合格子任务就自己处理，只在确需实时视觉定位时才下发 GUI 任务，从而把 GUI 轨迹开销降到最低。
核心创新是四套机制的合成。其一，带结构化、可恢复 GUI 任务接口的两层主机-执行器协作：每个 GUI 任务返回完成状态（完全/部分完成或阻塞）加最终屏幕状态，把不完整的运行变成可恢复的检查点，并用自适应主机介入规则让主机自己处理信息查询类子任务。其二，记忆驱动的路由：把请求分成单应用任务或跨应用工作流，每个子任务是带类型元组 $(g_i,h_i,I_i,O_i)$，临时黑板 $B$ 仅在子任务间传递已声明的输入/输出，公式为 $G(g_i,h_i,B_{i-1}[I_i])\to\tau_i$、$E(\tau_i,O_i)\to B[O_i]$，缺值即失败关闭。其三，混合动作空间 $\mathcal{A}=\mathcal{A}_{gui}\cup\mathcal{A}_{skill}\cup\mathcal{A}_{shortcut}\cup\mathcal{A}_{ask}$，把带状态校验的技能和 Android deeplink/intent 快捷方式折叠成单步决策。其四，事后反思就地演化技能（修复优先于新抽取）并归纳文本经验记忆——构成一个无需更新权重的学习闭环。
方法步骤详情
第 1 步 Know：按语义相似度主动检索历史 GUI 记忆与 Top-5 候选技能（仅作建议，绝不覆盖当前指令），直接注入策略记忆；主机在判为相关时才召回会话历史/用户画像，对模糊指令提出可被覆盖的显式默认假设。第 2 步 Route：输出单个 GUI 任务或有序多应用工作流；每个子任务携带应用级目标 $g_i$、可选应用提示 $h_i$、已声明输入 $I_i$ 与已声明输出 $O_i$。第 3 步 Act：执行器在混合动作空间上跑 observe-reason-act 循环 $p_t\to o_t\to a_t\to e_t\to o_{t+1}$，每步前用确定性状态契约或视觉有效状态检查校验，失败则执行有界恢复子目标、跳过可选障碍或退回普通动作；子任务只读 $B_{i-1}[I_i]$、只写 $B[O_i]$。第 4 步 Reflect：总结执行停在哪里，跳过空/异常轨迹，在仅声明式动作序列受限提示下用视觉 LLM 抽取并校验候选技能，挖掘/验证 deeplink-intent 候选，关键是先就地修复被复用却失败的技能再考虑新抽取，并归纳成功/失败经验记忆供后续路由与执行使用。
技术新颖性
新颖性体现在几个前人未做的紧耦合设计。带可恢复、状态类型化 GUI 任务契约的主机-执行器拆分是新的：多数 GUI 智能体是单体，没有检查点式部分完成的概念。带类型输入/输出契约与失败关闭语义的黑板，让跨应用数据流显式且可验证，区别于会丢失取值的自由文本中间摘要。把 Android deeplink/intent 与技能统一当作页面验证过的一步技能（通过启动变体、记录前台应用/ADB/UI 树/截图来验证目标页面、参数与载荷保持），避免了盲目触发清单里能启动但无用的常量。技能演化把就地修复置于新抽取之前，禁止破坏性终止动作或无关替换，保持技能库一致。最后，跨模型迁移结果——把 Kimi-K2.6 轨迹蒸馏出的记忆与技能用到 Qwen3.5-35B-A3B 执行器——证明文本经验与带状态校验的可执行行为都能跨模型家族携带知识，这是此前 GUI 技能复用工作未在该设定下确立的。
实验结果
MobileWorld GUI-Only 上，配开源 Kimi-K2.6 的 KnowAct-GUIClaw 取 64.1% 成功率，全表最高，超过 Seed-2.0-Pro(63.2%)与 GPT-5.5(62.4%)，仅加主机+记忆即 61.5%。消融(Table 2)：35B 执行器 24.8%→34.5%(+主机&记忆)→37.9%(+技能)，397B 主机 40.7%→43.3%→46.2%。加主机+记忆后 35B 总 token 几乎不变(281k→279k)，397B 升约 7%。开技能后步数与总 token 降而成功率升(397B 步数 26.8→23.7)；让 397B 主机直接处理合格子任务以最低成本拿最佳 SR 46.2%。技能复用(Table 3)省约 3.3 步、降约 6% token、SR +4.9/+1.9；把 Kimi-K2.6 蒸馏的记忆与技能迁移到 35B 执行器达 41.0%。AndroidDaily 78.61%/64.89% 对比 UI-TARS-1.5 的 56.64%；跨平台 HarmonyOS 48/63、Windows 21/30。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MobileWorld GUI-Only 单次成功率（pass@1） | SR (%, 越高越好) | 64.1%（Kimi-K2.6 + 主机/记忆/技能，全表最高） | Seed-2.0-Pro 63.2%、GPT-5.5 62.4%、Kimi-K2.6 纯基线 55.6% | 较最强闭源模型 GPT-5.5 高 1.7 点，较同模型纯基线 Kimi-K2.6 高 8.5 点 |
| MobileWorld 弱执行器增强（Qwen3.5-35B-A3B） | SR (%, pass@1) | 37.9%（加主机&记忆&技能），41.0%（加 Kimi 蒸馏记忆技能） | 纯执行器 24.8% | +13.1 点（自配）/ +16.2 点（迁移记忆技能） |
| 技能复用带来的效率（技能调用任务） | GUI 步数/总 token/成功率 | 步数 -3.3、总 token -6.2%、SR +4.9（35B） | 同一批任务不开技能 | 步数与成本下降同时成功率上升 |
| AndroidDaily 端到端 | 整体完成率 (%) | 78.61%（resolved）/ 64.89%（all） | UI-TARS-1.5 56.64%、Step-GUI-8B 52.50% | 在分析与复杂任务上领先最明显 |
| 跨平台可用性 | 成功任务数/总数 | HarmonyOS 48/63 (76.2%)、Windows 21/30 (70.0%) | 无对应 Android 评测栈原生基线 | 证明同一接口可迁移到非 Android 平台 |
局限与改进
作者承认与本文观察到的局限主要有几方面。基准方面：MobileWorld 仅限 Android 且用确定性评测器；AndroidDaily 缺原生评测器（依赖 qwen3.5-flash LLM 评判加两名人类专家），且 235 条中 41 条不可用，在 all 设定下记 0 分，所以端到端失败部分源于应用可用性/环境失配而非策略质量。迁移性声明只在 Kimi→Qwen 单向验证，作者明确不假设通用的模型无关迁移。跨平台检查规模小且部分手工化（HarmonyOS 弱关联任务手工初始化并由 qwen3.5-flash 判定；Windows 为 30 条手设任务集）。具体失败模式：HarmonyOS 上周末闹钟的惯性滚轮选分钟无法停在 25，TaoBao 因 UI 多样性在真正付款页之前被误停；Windows 上微信选了错误的表情脸（情感到图标的映射弱），Slack 错过短时 toast（时间定位弱）。流水线仍是刚性串行交接，作者把它列为待解决的局限。
独立分析的弱点
弱点 1——刚性串行流水线：四阶段按 Know→Route→Act→Reflect 固定顺序运行，主机无法在一个决策周期内交织知识检索、工具调用与 GUI 动作，浪费通信开销；改进方向是设计统一联合规划器并发权衡三者。弱点 2——部分可观测仍咬人：确定性状态契约仅在有可用时存在，否则退回脆弱的视觉有效状态检查，动态/广告加载界面仍可能误判技能；改进方向是更强的定位模型或学习型状态契约。弱点 3——连续几何控制与时间定位弱（Windows 表情、toast、画布、窗口排布的失败）；改进方向是专用指针/时序模块。弱点 4——技能/快捷方式偏 Android（deeplink/intent），Windows/HarmonyOS 动作空间缺乏等价且经校验的快路径，制约跨平台对等；改进方向是按平台挖掘快捷方式。弱点 5——AndroidDaily/HarmonyOS 评测依赖手工设置与 LLM 评判，可比性受限；改进方向是跨平台原生确定性评测器。
未来方向
作者明确提出的未来工作：把 Knowledge 模块、通用外部工具与 GUI 子代理更原生地整合，消除刚性串行流水线交接；设计统一联合规划器，在一个决策周期内并发权衡知识检索、非视觉工具调用与 GUI 动作，削减主机-子代理通信开销。基于现有成果可自然延伸的方向包括：(a) 把技能/记忆迁移扩展到双向以及更多模型家族，检验迁移的普适性；(b) 扩展跨平台动作空间，尤其为 Windows/HarmonyOS 建立与 deeplink/intent 等价的经校验快路径；(c) 增补时间定位与连续控制能力（短时通知、自由画布、像素级点击）；(d) 引入在线学习让技能在真实用户部署期间而非仅离线演化；(e) 用自动 schema 推断加固失败关闭的黑板，降低编写负担；(f) 把主机-执行器拆分推广到移动端以外的桌面 RPA 与无障碍驱动自动化。
复现评估
复现性有较好支撑。作者发布 GitHub 仓库（https://github.com/HITsz-TMG/KnowAct）及 Experimental Logs 发布版（https://github.com/HITsz-TMG/KnowAct/releases/tag/Result）。MobileWorld 用基准原生确定性评测器在 117 条 GUI-Only 任务、50 步上限下评测，GUI 执行器轨迹与主机调用分别记录，使 Table 2 的 total 与 host total 列可独立复现。附录 B 给出统一的按平台动作空间，附录 C–D 给出技能抽取/归纳/校验的提示契约及具体技能/快捷方式样例，对重新实现至关重要。需注意 AndroidDaily 用 qwen3.5-flash 加两名人类专家（正确 1.0/部分 0.5）引入评判方差，HarmonyOS/Windows 检查规模小且部分手工初始化。算力上旗舰配置搭配 397B 主机与 35B 执行器（或 Kimi-K2.6），完整复现需相当规模 GPU；默认模型配对与迁移配置均已说明，但精确提示/超参依赖附录与日志。
论文图表
