PhoneWorld：扩展手机使用代理环境 PhoneWorld: Scaling Phone-Use Agent Environments

PhoneWorld的完整流程包含七个主要步骤。第一步是输入和设计范围，每个应用的输入包括代表性截图和一组真实使用轨迹，每个轨迹包含自然语言用户指令以及在真实设备上记录的截图和动作序列。这些截图揭示每个页面的视觉布局和内容，而轨迹揭示使用结构：哪些屏幕经常被访问、哪些转换是常见的、哪些用户目标经常出现。第二步是应用结构恢复，首先建立目标应用的页面分类，提示Claude Code浏览代表性截图并识别重复出现的页面类型（如主页、详情页和个人资料页），生成每个应用25-30个类别的分类和描述每个类别的分类提示。轻量级视觉语言模型然后将完整截图语料库并行分类到这个分类中，聚合结果生成每个类型的清单。给定分类后的语料库，通过将轨迹中的每个截图映射到相应的页面类型并计算所有轨迹中的出现次数，推导页面频率分布。这个分布直接确定优先级排序：访问最频繁的页面被分配为P0（必须构建），中等访问频率的页面接收P1（推荐），长尾页面被标记为P2（仅当下游任务需要时构建）。还从真实使用轨迹中提取页面转换图，编码页面类型之间的导航流程。第三步是构建规范生成，为每个页面生成按优先级排序的结构化PRD，视觉语言模型检查页面类型的两三个代表性截图并生成四个维度的规范：页面布局、交互元素、转换关系和视觉属性。这些每页面PRD条目成为构建代理的主要指令集。还整合跨应用共享的交互组件到可重用组件库，设计分离只读应用内容和可变应用状态的数据架构。第四步是自主应用构建，编码代理在迭代循环中构建每个应用：读取PRD、生成Kotlin/Jetpack Compose源代码、编译APK、运行自检清单、修复报告的问题。第五步是人工质量保证，安装编译的应用在模拟器上并运行烟雾测试，人工审核重点放在高影响力问题上，将模拟应用与对应的真实应用并排比较。第六步是任务合成和验证，从已经构建的环境制品（只读应用内容、数据库模式和UI规范）生成可执行任务和自动验证规则。对于每个任务，生成器通过交叉参考三个来源来确保一致性：只读应用内容、数据库模式和每页面PRD。最后一步是PhoneWorld套件总结，提供34个模拟Android应用跨16个消费者领域，共享18个可重用模块，维护120个审计评估任务和7,936个生成任务池。

PhoneWorld的技术新颖性体现在多个方面。首先是AI驱动的环境构建管道，这是首次将真实GUI轨迹系统地转换为可控手机使用环境的端到端方法，结合了视觉语言模型的页面分类、PRD生成和编码代理的应用构建，辅以人工审核保证质量。其次是频率驱动的优先级排序，通过真实使用轨迹的访问统计自动确定页面构建优先级（P0/P1/P2），而不是基于主观判断功能重要性。第三是共享组件库的规模化效应，18个可重用模块（如搜索引擎、信息流卡片、评论、购物车和结账、地址管理、消息传递、设置、媒体播放器等）在新应用中被实例化，随着构建更多应用而积累，降低每个新应用的构建成本。第四是数据库支持的可重置状态模型，通过分离只读应用内容和可变SQLite状态，支持环境重置、程序化验证和确定性检索行为，这使得验证器确认的轨迹采集和未来的在线训练变得实用。第五是环境、任务、验证器和训练轨迹的同源生成，所有制品来自同一个可控应用实例，添加新应用自动扩展评估表面和训练供应，不需要单独的数据收集活动。第六是任务-验证器的联合生成，从只读应用内容、数据库模式和UI规范生成确保一致的可执行任务，保证每个生成的任务引用代理实际可见的实体并触发验证器可以实际检查的状态变化。最后是双用途基础设施，同一个支持程序化评估的环境也可以重置、重新执行和收集成功轨迹成为模型训练的监督信号，这是区别于传统基准只关注评估的关键创新。

论文的几个弱点值得注意和改进方向。首先，生成的应用与真实应用之间的保真度差距可能限制迁移到真实应用的能力。改进方向可以是引入更高保真度的视觉模拟，包括更精确的布局渲染、动画效果和交互响应，或者引入真实应用截图作为视觉背景以减少视觉差异。其次，当前的120个审计基准任务虽然稳定但可能不足以全面评估PhoneWorld套件的行为空间。改进方向可以是扩展基准测试的规模和多样性，或者引入动态任务生成机制在评估时生成新任务。第三，论文主要关注消费者应用，对于企业应用、游戏应用或专业应用领域覆盖不足。改进方向可以是将PhoneWorld管道扩展到这些领域，或者研究如何从不同应用类型中提取共同结构以实现跨领域迁移。第四，当前的自检清单和人工审核可能难以捕捉所有功能缺陷。改进方向可以是引入更系统的自动化测试，包括形式化验证、基于属性的测试或用户模拟器进行更全面的功能测试。第五，论文的训练数据主要来自Seed 2.0 Pro的成功轨迹，失败轨迹可能包含有价值的学习信号。改进方向可以是研究如何有效利用失败轨迹，例如通过对比学习或从失败中恢复的策略。最后，PhoneWorld的构建管道虽然可重用，但仍然需要人工参与和审核，这限制了完全自动化的规模化。改进方向可以是进一步自动化质量保证流程，引入更先进的人工智能审核或形式化验证方法。

论文提出和隐含的未来研究方向包括几个方向。作者提出的方向是继续扩展PhoneWorld套件的规模和多样性，覆盖更多应用和领域，研究更大规模的扩展效应。基于论文成果可以延伸的方向包括：研究如何将PhoneWorld管道应用于其他移动平台，如iOS或跨平台框架；探索更复杂的跨应用任务和长周期任务，可能需要多步骤规划和持久记忆；研究如何结合其他学习范式，如强化学习、课程学习或元学习，以更有效地利用PhoneWorld环境；探索如何将PhoneWorld与其他可扩展环境构建工作如InfiniteWeb、AutoWebWorld或Agent-World结合，构建更全面的代理生态系统；研究如何评估和改进生成应用的真实感和用户体验，可能引入用户研究或A/B测试；探索如何将PhoneWorld用于更复杂的代理能力评估，如工具使用、多智能体协作或自适应行为；研究如何将PhoneWorld管道与其他数据源如用户反馈、应用商店数据或网络日志结合，以构建更真实的环境；最后，探索如何将PhoneWorld应用于其他交互模态，如语音交互、手势交互或多模态交互。

PhoneWorld的复现性面临一些挑战。论文明确指出PhoneWorld APK、基准测试任务和相关评估制品在提交时没有公开发布，需要向作者合理请求才能访问。这限制了外部研究者的独立验证和扩展。论文使用的训练数据包括AndroidWorld基线语料库（36,193步）、辅助AndroidWorld语料库（36,193步）和PhoneWorld滚动语料库（3,354轨迹共36,193步），这些数据的具体细节和获取方式没有完全公开。论文使用的Qwen3.5-9B视觉语言骨干是公开的，但具体的训练设置、超参数和提示格式可能需要从论文中重建或向作者询问。评估在Android 13 Pixel 6模拟器上进行，硬件要求明确但具体配置细节可能需要补充。论文的实验设计相对清晰，训练预算固定、评估基准明确，但具体的运行时间、计算资源需求和随机种子没有完全报告。总的来说，PhoneWorld的核心思想和方法描述相对详细，但由于数据、代码和制品的获取限制，完全复现论文结果需要与作者合作。改进方向可以是公开部分数据、代码或制品，或者提供更详细的复现指南和配置细节。