AOHP：面向个性化、高效和安全交互的开源操作系统级Agent工具框架 AOHP: An Open-Source OS-Level Agent Harness for Personalized, Efficient and Secure Interaction
基于Android改造的agent原生OS，提升完成率21.12%，降低token成本51.55%
前置知识
Agent-Native OS（Agent原生操作系统）
一种将AI agents作为操作系统一级公民的新型操作系统架构。与传统以应用为中心的OS不同，agent-native OS在设计时就考虑了agents的执行特性，如并行任务处理、跨应用上下文管理、工具调用优化等。这种OS为agents提供了专门的接口、执行环境和安全机制，使agents能够更高效、安全地完成跨应用的复杂任务。
论文的核心就是设计一个agent-native OS，理解这个概念才能明白为什么需要重新设计操作系统来支持agents。
Information Flow Tracking（信息流跟踪）
一种安全技术，用于追踪敏感数据在系统中的传播路径。通过为敏感数据添加污点标记（taint metadata），系统可以记录数据如何从一个源头流向一个或多个终点。当数据在系统边界被显示、存储、提交或传输时，系统会检查其污点标记，根据安全策略决定是否允许该操作。这种方法比传统的权限控制更精细，因为它关注的是数据的实际使用方式而非仅仅是应用身份。
AOHP的安全机制核心就是信息流跟踪，这是理解论文如何保护隐私的关键。
Virtual Display（虚拟显示器）
一种将应用的图形渲染与物理显示解耦的技术。在移动OS中，传统上应用的生命周期与前台显示紧密耦合，只有前台应用才能获得完整的执行资源。虚拟显示器技术允许OS创建多个轻量级的虚拟显示环境，使应用可以在后台继续渲染和执行，而不占用物理屏幕。对于agents来说，这意味着可以同时运行多个独立的工作流，而不需要抢占用户当前使用的界面。
这是AOHP实现高效并行交互的核心技术之一，理解它才能明白agents如何在后台高效工作。
Service Composition（服务组合）
将来自不同应用的独立服务能力组合成更高级别的工作流程。在传统的应用中心模式中，用户需要在不同的应用之间手动切换来完成一个复杂任务。服务组合允许OS自动发现、编排和管理来自多个应用的能力，为用户提供任务级别的统一入口。例如，购物入口可以聚合来自多个电商平台的产品搜索、比较、优惠券和购买功能。
这是AOHP实现个性化体验的关键机制，理解它才能明白为什么需要OS级的服务发现和组合。
研究动机
现有个人操作系统（如Android）的设计假设是以应用为中心的工作流程，界面由系统和应用开发者固定，图形界面为人类视觉操作而非agent操作而渲染，软件生命周期假设同一时间只有一个活跃应用，权限机制在应用边界强制保护但无法跟踪敏感数据在agent的上下文和工具调用之间的传播。这些假设在agent驱动的工作流程中造成了显著的执行开销和安全风险。例如，在多个购物应用间比价时，传统OS需要用户手动切换应用、重复输入偏好，而agents需要解析复杂的GUI像素、执行脆弱的点击导航，这不仅效率低下，还可能在跨应用数据流中泄露隐私。
本文的目标是本文的目标是通过操作系统级别的抽象和框架修改，将Android重新设计为一个agent-native工具框架，保留Android的硬件支持、开源框架和应用兼容性的同时，添加使服务可组合、agent可访问且可审计的机制。具体来说，要实现三个核心机制：(1)个性化服务组合，用于合成任务级别的入口；(2)高效的agent接口，支持并行后台执行、结构化UI和事件流；(3)安全的信息流，通过信息流跟踪沙箱化敏感值。
与已有工作不同的是，与现有的GUI agent和移动任务自动化系统（如AutoDroid、Agent S、OS-Copilot、AppAgent、UI-TARS、Mobile-Agent、SeeAct等）不同，这些系统主要将操作系统视为固定的底层，致力于改进agent策略本身。AOHP的独特切入角度是重新设计操作系统本身——不仅仅是提出更强的agent策略，而是重新设计这些策略所依赖的操作系统接口和执行机制。与传统的Android自动化系统（如DroidBot）相比，AOHP不是将GUI理解作为一个组件，而是将界面理解、执行假设和交互表面等关注点移入操作系统抽象中。
核心方法
AOHP的整体架构分为四层：底层是Android生态系统，保留现有应用、系统服务、硬件资源和平台API作为兼容性基础；第二层是统一交互接口，将传统Android接口和新兴agent接口标准化为四种调用模式：API、CLI、结构化UI和渲染GUI；第三层是AOHP能力层，将应用、系统组件和agent工具提供的服务和agent函数重新组织为系统内存、技能和UI工具；顶层是个性化服务组合，将这些能力组装成适应用户当前任务的新用户界面。此外，AOHP还包括两个跨层机制：高效agent接口和安全信息流。
AOHP的核心创新点是将agents视为操作系统的一级公民，通过OS级别的抽象使agents能够：(1)动态组合跨应用服务形成个性化任务入口，而不是让用户适应预定义的固定界面；(2)使用紧凑的符号路径而非视觉操作，在后台并行执行任务，通过事件流而非轮询获取异步事件；(3)默认情况下不观察私有明文，通过OS级别的信息流跟踪、审批和审计来强制执行隐私策略。这与现有系统的本质区别在于：现有系统假设应用中介的交互，而agents具有不同的操作特性——它们处理结构化文本比像素更高效，并行运行多个任务，保留长期上下文，工具调用速度比人类检查速度快。
方法步骤详情
AOHP的方法分为三个核心部分：第一步是个性化服务组合，系统agent通过发现跨API、CLI和GUI通道的服务能力来构建入口，每个能力用输入输出模式、前置条件、副作用和策略标签表示，然后agent可以将能力组合成更高级别的工作流。第二步是高效agent接口，包括五个子机制：(2.1)通过轻量级虚拟显示器实现并行后台交互；(2.2)将GUI抽象为结构化表示以降低冗余；(2.3)提供原生沙箱运行时供agent执行代码和处理数据；(2.4)统一文件快捷方式使GUI影响存储的操作反映回结构化文件观察；(2.5)事件流抽象让agent订阅、处理和取消订阅连续数据源。第三步是安全信息流，包括四个子步骤：(3.1)策略评估，基于数据源、请求目的、目的地、动作敏感性和审批状态；(3.2)敏感源清理，用类型化占位符（如）替换明文；(3.3)可信vault和执行，agent提交意图到可信vault执行器，执行器检查策略并在可信环境中执行操作；(3.4)数据流污点跟踪，敏感数据进入AOHP后关联污点元数据，在复制、转换、组合和传输时跟踪信息流链。
技术新颖性
AOHP的技术新颖性体现在多个方面：首先，这是首个在移动操作系统级别探索agent中介交互架构原型的开放测试平台；其次，AOHP引入了任务级别的服务组合模型，通过系统内存实现跨服务个性化，将OS管理从应用边界扩展到任务边界；第三，AOHP提供了agent原生接口，包括虚拟显示、结构化UI、沙箱运行时和事件流，这些都是针对agents的操作特性（并行性、长期上下文、工具调用速度）专门设计的；第四，AOHP在移动OS级别实现了信息流控制，继承了TaintDroid的移动污点跟踪传统，但将其扩展到app UI、文件、事件流、vault引用、生成的入口和用户审批循环。
实验结果
AOHP使用OpenClaw agent在自制的30个真实移动任务上进行评估，这些任务覆盖五个核心能力类别：GUI操作、非GUI操作、事件捕获、多源信息检索和内存管理，以及一个组合这五种原型的混合类别。与stock Android相比，OpenClaw在AOHP上达到75.56%的平均完成率（20个任务完全解决，5个任务部分完成），而在stock Android上完成率为54.44%（13个任务完全解决，7个任务部分完成），AOHP因此将平均完成率提高了21.12个百分点。在效率分析中（仅计算两种设置都完全解决的11个任务），AOHP减少了44.64%的工具调用（233→129）、44.21%的执行时间（33.94分钟→18.93分钟）、51.55%的token消耗（7.10M→3.44M）和47.62%的LLM请求（273→143）。安全案例研究使用一个带注释的支付应用程序测试五个场景，AOHP成功强制执行了所有案例：敏感显示作为vault引用出现在agent可见的UI中而非明文，普通操作无需额外批准，敏感操作需要用户同意，超出声明策略范围的请求失败关闭，敏感事件流编辑敏感字段并保留污点元数据。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 任务完成率 | 平均完成率 | 75.56% | 54.44% | +21.12个百分点 |
| 工具调用效率 | 工具调用次数（完全解决的任务） | 129 | 233 | -44.64% |
| 执行时间效率 | 总执行时间（分钟，完全解决的任务） | 18.93 | 33.94 | -44.21% |
| Token消耗效率 | 总Token数（完全解决的任务） | 3,441,759 | 7,103,192 | -51.55% |
| LLM请求效率 | LLM请求数（完全解决的任务） | 143 | 273 | -47.62% |
局限与改进
AOHP的局限性体现在多个方面。在兼容性方面，AOHP目前对具有自定义渲染、反自动化逻辑和未记录行为的应用支持有限，这需要更强的结构化UI提取、可预测失败的渲染GUI回退以及为应用开发者提供更清晰的兼容性指南。在能力发现方面，AOHP依赖于准确的服务描述、副作用标签和策略元数据，目前需要手动注释，未来版本需要结合开发者提供的描述符和自动能力推断，以便用较少的手动注释集成传统应用。在资源调度方面，后台执行必须尊重移动资源、热和内存限制，更完整的原型应该为虚拟显示器、沙箱运行时、事件流和前台用户活动暴露调度策略。在策略可用性方面，细粒度的信息流控制取决于用户能够理解的批准，未来工作需要改进批准UI、跟踪审查和策略解释（目的、目的地、保留和同意）。此外，AOHP是基于AOSP的分支，这意味着它可能难以跟上Android主分支的快速迭代，需要持续维护同步工作。
独立分析的弱点
AOHP的一个独立分析弱点是生成的服务入口可能引入新的可用性挑战。用户可能难以理解这些入口的来源、数据流和隐私含义，特别是当多个应用的能力被组合时。改进方向是开发透明的可视化工具，显示入口的能力图、数据来源和隐私策略，让用户能够审计和修改组合逻辑。另一个弱点是AOHP的性能提升依赖于准确的结构化UI提取，但对于使用自定义渲染引擎或频繁更新UI的应用，结构化提取可能不可靠或过时。改进方向是结合基于学习的UI理解和符号分析，构建更鲁棒的UI抽象层，并提供开发者注释机制让应用明确声明UI语义。第三个弱点是信息流控制的细粒度可能导致过度的用户批准请求，造成审批疲劳。改进方向是实现智能的批准策略学习，基于用户历史行为、上下文和任务重要性动态调整批准阈值，并将多个相关的敏感操作批处理为单个批准请求。第四个弱点是AOHP的评估仅使用了单个agent（OpenClaw），可能存在agent特定的偏差。改进方向是在多个agent框架（如AutoDroid、Mobile-Agent、SeeAct等）上进行广泛评估，验证AOHP对不同agent策略的通用性。最后，AOHP的安全机制主要关注隐私保护，但对其他攻击面（如间接提示注入、工具劫持）的防御可能不足。改进方向是结合FIDES和f-secure LLM系统的信息流控制技术，在操作系统级别实现更全面的agent安全框架。
未来方向
作者提出的未来工作方向包括四个主要方面：(1)扩展兼容性覆盖，支持具有自定义渲染、反自动化逻辑和未记录行为的应用，需要更强的结构化UI提取、可预测失败的渲染GUI回退以及为应用开发者提供更清晰的兼容性指南；(2)改进能力发现，结合开发者提供的描述符和自动能力推断，以便用较少的手动注释集成传统应用；(3)资源调度，为虚拟显示器、沙箱运行时、事件流和前台用户活动暴露调度策略，尊重移动资源、热和内存限制；(4)策略可用性，改进批准UI、跟踪审查和策略解释（目的、目的地、保留和同意）。基于AOHP的成果可延伸的未来工作方向包括：(5)将AOHP的架构原则移植到其他移动操作系统（如iOS）和桌面操作系统（如Windows、macOS、Linux），验证agent-native OS设计的跨平台适用性；(6)探索更高级别的服务组合模型，支持动态工作流生成、多agent协作和分布式任务编排；(7)研究AOHP对开发者生态的影响，开发工具和框架帮助应用开发者声明服务能力、副作用标签和策略元数据，降低集成成本；(8)长期跟踪AOHP在实际部署中的用户体验、隐私感知和性能影响，收集真实用户反馈以迭代设计；(9)将AOHP的信息流跟踪与现有的移动安全框架（如Android的权限系统、SELinux）集成，提供统一的安全策略语言和执行引擎；(10)研究AOHP对应用商业模式的影响，探索新的计费和激励机制，鼓励应用开发者参与agent-native生态系统。
复现评估
AOHP提供了开源的源代码，可在GitHub（https://github.com/aohp-os/aohp）获取，这是复现性的重要基础。然而，复现AOHP的完整评估面临几个挑战。首先，AOHP基于AOSP构建，需要设置Android开发环境，包括Android Studio、NDK、SDK和特定的构建工具链，这对不熟悉Android开发的 researchers 来说有较高的学习曲线。其次，评估使用了30个自制的真实移动任务，论文在附录A中列出了这些任务，但可能需要详细的任务定义、初始状态设置和成功标准描述，以确保其他研究者能够准确复现实验。第三，评估使用了OpenClaw agent，虽然OpenClaw可能也有开源版本，但需要配置特定的LLM API（可能是GPT-4或其他模型），这会引入额外的成本和依赖。第四，安全案例研究使用了一个带注释的支付应用程序，需要确保这个应用程序的可用性或提供详细的注释规范。第五，性能指标（token消耗、执行时间）可能依赖于硬件配置、网络延迟和LLM API响应时间，需要报告详细的实验环境配置。总体而言，AOHP的复现性处于中等水平：核心代码和架构是开放的，但完整复现所有实验需要较高的技术门槛和潜在的API成本。建议作者提供Docker容器、预构建的Android镜像、详细的任务规范和评估脚本，以降低复现难度。
论文图表
这张图对比了以应用为中心的Android和agent原生的AOHP两种不同的交互范式。在传统的应用中心模式中，用户需要在多个独立的应用之间手动切换，每个应用提供自己的预定义界面和工作流程。而在AOHP的agent原生模式中，操作系统可以根据用户意图生成个性化的服务入口，将来自多个应用的能力聚合到任务级别的统一界面中。用户与高级别的概念（如购物）交互，而OS agent在底层处理服务发现、调用、内存管理和策略执行。
这张图对理解论文至关重要，因为它直观地展示了AOHP的核心设计理念——从用户适应固定界面转变为操作系统适应用户意图。这是理解为什么需要重新设计操作系统的起点，也是后续所有技术细节的动机基础。