Qwen-Planner-Agent：面向真实世界移动规划智能体的闭环 AI-for-AI 框架 Qwen-Planner-Agent: A Closed-Loop AI-for-AI Framework for Real-World Mobile Planner Agents
以AI开发AI：数据飞轮、CARE自适应强化学习与模型-脚手架共进化打造移动规划智能体
前置知识
GRPO（组相对策略优化）
一种无需价值网络的 RL 算法：对每个任务采样一组 $G$ 条轨迹，用组内奖励的均值和标准差做归一化得到优势 $\tilde{A}_i=(R_i-\bar{R})/(\sigma_R+\epsilon)$，再以裁剪比率更新策略。它把「同一任务的多次尝试互相对照」作为基线，省去了训练 critic 的开销。
本文的 CARE 方法就是对 GRPO 归一化在成功饱和组上的失效做理论剖析并修复，不懂组内归一化就看不懂核心公式(7)-(9)。
在线智能体强化学习（Online Agentic RL）
让正在训练的策略直接与环境交互产生 rollout，用任务验证器的反馈作为奖励来更新策略。与离线模仿学习不同，rollout 分布随策略演进变化，能覆盖演示数据无法穷举的交互状态与失败模式，但面临长程信用分配、昂贵环境重置等问题。
本文训练 Planner Model 的主阶段就是混合环境在线 agentic RL，理解它才能理解为什么需要沙箱/仿真/真机三类后端以及 CARE 的分组调度。
Agent Harness（智能体运行时脚手架）
夹在模型与环境之间的运行时层：请求时把工具规格、场景化技能（Skills）、持久记忆（Memory）与运行时约束组装成上下文，动作后回传结构化执行反馈，并保存完整交互轨迹。模型负责决策，Harness 负责把部署期易变的信息放在模型参数之外。
本文一半的篇幅在讲 Harness（Scenario Adapter + 持久记忆管理器），以及模型与 Harness 如何交替共进化，这是理解实验消融的前提。
数据飞轮（Data Flywheel）
一种自我强化的数据生产循环：AI 辅助构造任务 → 自动采集交互轨迹 → 清洗策展成训练集 → 用训练/开发集反馈诊断能力缺口 → 反过来决定下一轮生成什么任务、如何调整采样权重。每个环节输出是下一环节输入，随模型能力演进而滚动。
「AI for Data」是本框架三阶段之一，论文的数据规模和覆盖度都来自这个人工门禁把关的飞轮，而不是静态数据集。
混合环境三档：沙箱 / LLM 仿真 / 真机
移动智能体训练环境的三种实现：程序化沙箱用结构化数据库加预定义逻辑，状态转移确定、可重置、高吞吐；LLM 仿真环境用语言模型生成响应，覆盖难以写死逻辑的长尾场景但可能前后不一致；真机会话保真度最高（能捕获 OS 权限、登录态、跨应用依赖）但成本高、难并行。
本文按任务需求把任务分配到三类后端，统一的动作-观察-验证接口让三种来源的轨迹能进同一条训练流水线，这是其规模化训练的基础设施核心。
奖励塑形与优势校准
奖励塑形在稀疏的成功信号之外加入中间进度或成本项以引导学习；优势校准则控制这些附加项在梯度中的实际权重。关键陷阱是：组内标准化会把小的奖励差异重新放大回单位量级，使设计好的小权重形同虚设。
CARE 的名字就是 Competence-Aware Reward-and-Advantage Engineering，其全部技术贡献集中在「何时加什么塑形项」与「如何防止标准化抵消权重」两件事上。
研究动机
移动端规划智能体要求把一句高层指令（如「比较当前航班监控与我的行程，只补缺失城市」）拆解为跨多个 App 的长程工具调用序列，期间要维护状态、跨轮保留约束、从失败中恢复并验证完成。现有开发方式面临三重瓶颈。其一，真实设备交互昂贵且难以并行：真机会话成本高、重置困难、并行度低，直接限制了数据采集、评测与在线 RL 的规模，此前的 DigiRL、MobileRL、Mobile-R1、PhoneBuddy 等移动 RL 工作都被真实环境的可扩展性卡住。其二，高质量训练数据难以为继：复杂长程任务的轨迹覆盖工具路由、参数落地、状态跟踪、错误恢复等能力维度，手工构造和标注无法按能力缺口定向扩展。其三，部署形态持续变化：可用工具清单、操作规则、用户偏好不断更新，把所有规则编码进模型参数需要反复重训，全部塞进提示又造成长而嘈杂的上下文。此外，固定奖励设计与 RL 中不同能力水平的轨迹组天然错配：成功稀疏的组需要进度信号，成功饱和的组才轮得到效率优化，一刀切的奖励会在两个阶段都失真。
本文的目标是本文要回答一个更大的问题：AI 能否既是被开发的系统、又是开发过程的积极参与者（AI for AI）？具体到移动规划场景，团队要构建完整智能体系统 Qwen-Planner-Agent，由训练出的 Planner Model 与统一 Harness 组成，并用一个闭环框架把数据生产、模型训练、部署运行三个环节用同一条「动作-反馈-验证」契约串联，实现可规模化、反馈驱动的迭代开发。量化目标有三：在含 1700+ 可执行任务、200+ 移动工具、13 个查询-任务域的 MobilePA-Bench 上取得所有受评模型与系统中最高的 Overall 分数；把每千任务估计输出成本（含思考 token）压到低于参与对比的商业模型；同时训练出的 Planner Model 在非移动的通用 agentic 基准上普遍提升、MMLU-Redux/C-Eval/IFEval 等通用能力不明显退化。
与已有工作不同的是，独特切入在于把「执行经验」当作贯穿开发全生命周期的一等证据，并让 AI 来消费这些证据。与 Self-Instruct、AutoIF 等只做数据侧自动化，或 OPRO、TextGrad、Eureka 等只优化单一开发工件的工作不同，本文是系统级闭环：训练与开发集反馈经 AI 诊断后同时驱动三类决策——下一轮造什么任务、采样权重怎么调、Harness 指令怎么改。第二个差异是显式提出 Model-Harness 共进化：Harness 修订会改变后续模型训练所处的上下文与经验分布，模型更新又反过来改变 Harness 需要适配的行为短板，作者用 $\theta^{(k+1)}=U_M(\theta^{(k)};\mathcal{B}^{(k)},\eta^{(k)})$ 与 $\eta^{(k+1)}=U_H(\eta^{(k)};F(\theta^{(k+1)},\eta^{(k)}))$ 的交替更新把这个耦合形式化并用多轮实验验证。第三个差异是环境侧的混合策略：可重置沙箱、LLM 仿真、精选真机会话按任务需求分配，经统一接口汇入同一数据与训练管线。所有自动化更新都保留人工审核门禁，服务期模型参数冻结，这与「全自动自我改进」的叙事形成鲜明对比。
核心方法
整体直觉：让智能体每一次真实执行都变成可复用证据，用这些证据同时喂饱数据、训练和运行时三条产线。技术路线四层。第一层任务形式化：给定请求 $x$，Harness 把动作-观察历史、检索到的记忆 $m_t$、加载的技能 $\mathcal{K}_t$ 组装为上下文 $c_t=\mathcal{H}_\eta(x,m_t,\mathcal{K}_t,o_{\le t},a_{<t})$，策略从结构化动作集 $\mathcal{A}_t$ 中选 $a_t\sim\pi_\theta(\cdot|c_t,\mathcal{A}_t)$，环境按 $s_{t+1}\sim P_{trans}(\cdot|s_t,a_t)$ 转移并返回 $o_{t+1}\sim P_{obs}$，任务级验证器给出 $v_{t+1}=V(x,\xi_{t+1},\tau_{\le t+1})$；动作空间覆盖类型化工具调用、记忆读写、技能加载、澄清/拒答与完成声明。第二层混合环境基础设施：程序化沙箱（确定、可重置、高吞吐）、LLM 仿真（覆盖长尾）、真机会话（捕获权限、登录态、跨应用依赖），统一接口后进入共享的采集、评测与在线训练工作流。第三层 AI for Data 飞轮：任务构造 agent 把能力需求翻译成可执行任务规格，自动 rollout 采集轨迹，策展后供 SFT 与 RL。第四层训练与运行时：先做带回合级错误掩码的规划导向冷启动 SFT，再做混合环境在线 agentic RL 并引入 CARE；部署侧 Harness 由 Scenario Adapter 与持久记忆管理器构成，执行轨迹回流驱动模型与 Harness 的受治理协同修订。
核心创新有三。第一是 CARE（Competence-Aware Reward-and-Advantage Engineering）。作者洞察到固定奖励与 GRPO 式组内归一化的组合缺陷：对每组 $G$ 条轨迹计算成功率 $\bar{s}$，当组内全部成功（$s_i\equiv 1$）时，即使效率惩罚权重小到 $\lambda_{eff}=0.1$，标准化优势 $\tilde{A}_i^{std}=(R_i-\bar{R})/(\sigma_R+\epsilon)$ 中效率项也会近似抵消为 $-(e_i-\bar{e})/\sigma_e$，量级回到单位尺度，与成败混合组争夺梯度话语权，诱使模型过度压缩轨迹。CARE 一方面按 $\bar{s}$ 把各组分配到三种制度：进度塑形（$R_i=s_i+\lambda_{prog}R_{prog,i}$，$\bar{s}<p_{low}$）、结果巩固（$R_i=s_i$）、效率精炼（$R_i=s_i-\lambda_{eff}e_i$，$\bar{s}\ge p_{high}$）；另一方面用成功导出的下限 $\sigma_{anchor}=\sqrt{p_{high}(1-p_{high})}$ 限制归一化分母，保持奖励相对权重不变形。第二是一个有界 LLM 控制器每 $N$ 步依据训练统计 $S_{train}$ 与留出集表现 $M_{val}$ 配置调度参数 $\boldsymbol{\phi}=\{\lambda_{prog},\lambda_{eff},p_{low},p_{high}\}$，把「反馈驱动配置」与「规则化奖励计算」解耦。第三是把 Harness 指令修订与模型 RL 训练做成交替闭环，使运行时改进也能改变模型后续学到的东西——这与只训模型或只调 prompt 的路线有本质区别。
方法步骤详情
Step 1 任务构造：输入能力需求（产品需求、工具清单、用户场景，及上轮诊断出的能力缺口），输出含用户目标、资源、初始条件、目标能力与完成标准的任务规格；同时覆盖场景维度与能力维度（工具路由、参数落地、状态跟踪、恢复、验证完成），不规定唯一参考轨迹。Step 2 轨迹采集与策展：任务按需分发到沙箱/LLM 仿真/真机，自动 rollout 记录动作、反馈、错误、重试与验证结果，成功与失败轨迹都保留；自动清洗去重、校验 schema 与证据支撑，低置信或安全敏感样本转人工审核；产出两份资产——已验证轨迹（供冷启动）与可重置任务实例（供在线 RL）。Step 3 冷启动 SFT：损失 $\mathcal{L}_{SFT}(\theta)=-Z^{-1}\sum_{i,j}\mathbb{1}\{j\notin\mathcal{E}_i\}\log\pi_\theta(\boldsymbol{y}_{i,j}|h_{i,j})$，掩掉被判定为错误的模型回合，执行反馈留在上下文中，验证过的恢复回合保持监督。Step 4 在线 RL + CARE：每任务采样 $G$ 条轨迹，规则验证器或 rubric 生成式奖励模型给出 $s_i\in\{0,1\}$，按式(5)调度奖励、按 $\tilde{A}_i=(R_i-\bar{R})/(\max(\sigma_R,\sigma_{anchor})+\epsilon)$ 校准优势，最大化裁剪的组相对代理目标。Step 5 Harness 运行时：Scenario Adapter 离线编译工具-schema 到 Skill 的版本化映射，请求时按已暴露工具过滤指导；持久记忆按用户模型/情景/长期/前瞻四层组织，走捕获-验证-索引-检索-合并-修订生命周期，检索结果只作证据不作指令。Step 6 共进化：开发集失败按模型侧/Harness 侧分流，分别驱动数据修复与指令修订，LLM 编辑器产出 $\eta^{(k+1)}$，人工审核后进入下一轮训练。
技术新颖性
技术新颖性有四。其一，CARE 的优势校准不是简单调权重，而是对 GRPO 归一化的失效模式做了推导：作者证明全成功组中 $\lim_{\bar{s}\to 1}\tilde{A}_i^{std}\approx-(e_i-\bar{e})/\sigma_e$，即效率系数在标准化下被抵消、优势量级与混合成败组相当，这是「小效率差被过度放大」的根因；与 GDPO 按分量各自归一化的替代方案相比，CARE 保留复合奖励、只在分母加成功导出的下限 $\sigma_{anchor}$，不改变原奖励空间中的轨迹排序，是一个干净且可证的修正。其二，用有界 LLM 控制器配置预定义调度参数而非让 LLM 直接打奖励，降低了奖励黑客与不稳定风险。其三，数据飞轮是双向且可追溯的：不仅按评估诊断增删任务，还执行「已掌握降采样、不稳定加权、缺口新建」三类操作，并保留版本化谱系把能力缺口映射到数据变更。其四，把 Model-Harness 共进化作为受治理的开发路径明确提出，用式(12)的交替更新和固定检查点消融（27B 上 71.90%→77.05%）来单独度量 Harness 净贡献，这种系统级的归因实验在同类技术报告中少见。
实验结果
主实验在 MobilePA-Bench（1700+ 可执行任务、200+ 移动工具、13 个域）上：Qwen-Planner-Agent 27B 取得 Overall 77.05%，排名第一，超过 GPT 6 Astra（76.84%）与 Claude Opus 5（75.71%）；相对 27B 基线的 67.22% 提升 9.83 个百分点；分项 Tool Use 77.79%（全场最高）、Memory 74.76%、Skills 86.25%、Sub-agent 59.55%。35B-A3B 版从基线 54.90% 提到 69.91%。固定检查点消融分离出 Harness 的净贡献：27B 从 71.90% 升至 77.05%（Tool Use 72.79→77.79、Memory 70.74→74.76、Skills 79.25→86.25、Sub-agent 55.06→59.55），35B-A3B 从 64.79% 升至 69.91%。效率上，估计每千任务输出成本 $2.41，对比其他受评模型的 $3.06–$67.76，性能-成本权衡最优。CARE 消融：与 Vanilla RL 相比，精度相当的情况下最终绘图步输出 token 减少 32.5%；去掉优势校准则输出更短但精度明显更低，印证归一化放大效应的分析。共进化实验用另一 27B 检查点：MobilePA-Internal 上四轮迭代从 82.67% 到 88.50%（+5.83pp，超过只加 Harness 的 84.23%）；MCPMark 上三轮从 38.00% 到 46.98%（+8.98pp，超过 Model+Harness 的 42.26%）。长程记忆评测（LoCoMo/LongMemEval/BEAM）：四个匹配 Qwen 对上，Harness 把 BEAM-500K/1M/10M 均分从 42.18%/40.41%/23.42% 提到 68.29%/70.27%/61.66%；Qwen-Planner-Agent 27B 在 BEAM-10M 达 67.24%，远超直接上下文最好的 25.64% 与 Mem0 官方报告的 48.60%；短历史基准基本持平（LoCoMo 94.93%、LongMemEval 96.60%）。通用能力：七项 agentic 基准中 35B 提升 6 项、27B 提升 5 项（35B 组均 57.74%→62.31%），MMLU-Redux/C-Eval/IFEval 仅微降（90.35%→89.92%）。定性案例展示了记忆与实时状态对账、跨轮约束保持、技能前置条件、工具失败替换（换算工具两次 400 报错后改用 $70\times2.20462=154.32$ 磅）与子智能体跨应用交接。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 移动规划（MobilePA-Bench, Overall） | Overall 得分（%） | 77.05（Qwen-Planner-Agent 27B） | 基线 Qwen 27B 67.22；最强外部 GPT 6 Astra 76.84 | 较基线 +9.83pp，超过最强外部系统 0.21pp，排名第一 |
| 移动规划-工具使用 | Tool Use 得分（%） | 77.79 | Claude Opus 5 77.60；自家基线 68.37 | 全场最高，较自家基线 +9.42pp |
| 输出效率-成本 | 估计输出成本（USD/千任务，含思考 token） | 2.41 | 其他受评模型 3.06–67.76 | 成本最低，同时性能最高 |
| 训练效率（CARE 消融） | 平均输出长度（token） | 较 Vanilla RL 减少 32.5%（精度相当） | Vanilla RL | 同等精度下输出省约三分之一；去掉优势校准则精度明显下降 |
| 模型-Harness 共进化（MobilePA-Internal） | Overall（%） | 88.50（4 轮迭代） | Model only 82.67；Model+Harness 84.23 | +5.83pp（vs Model only），+4.27pp（vs Model+Harness） |
| 模型-Harness 共进化（MCPMark） | Overall（%） | 46.98（3 轮迭代） | Model only 38.00；Model+Harness 42.26 | +8.98pp（vs Model only） |
| 长程记忆（BEAM-10M） | 平均 rubric 分（%） | 67.24（Qwen-Planner-Agent 27B） | 同模型无 Harness 21.99；直接上下文最佳 25.64；Mem0 官方 48.60 | 较同模型无 Harness +45.25pp，超过 Mem0 18.64pp |
局限与改进
作者承认的局限：成本估计只覆盖输出 token 费用，不含输入 token、外部工具调用、真机执行与 Harness 额外处理的开销；共进化实验只做了 3-4 轮迭代，且用的是内部评测集 MobilePA-Internal 而非公开基准；数据与 Harness 更新仍依赖人工审核门禁，作者把减少人工干预列为未来工作；论文把共进化表述为「发展路径」而非已实现的持续自主进化。我自己的观察：其一，与商业模型的对比是在自家 Harness 框架与提示配置下进行的，评分协议细节不完全透明，比较可能对自研系统有利；其二，35B-A3B 的 Sub-agent 在加 Harness 后停在 52.81% 不变，说明 Harness 对某些能力的增益有上限；其三，短历史记忆任务中部分模型对出现回退（如 35B Planner-Agent 的 LongMemEval 从 90.00% 降到 86.55%），记忆管线的检索噪声对短任务并非免费；其四，LLM 仿真环境与真实设备行为的差距虽靠任务级验证缓解，但缺少 sim-to-real 迁移差距的系统量化；其五，验证器混合规则与 rubric 生成式奖励模型，后者被奖励黑客攻击的隐患没有专门分析；其六，真机会话「有选择地」使用，但选择标准未公开，可能让 RL 见过的真机分布偏窄。
独立分析的弱点
独立分析几个弱点。1) 评估部分依赖自建与内部资产：MobilePA-Internal 完全内部，共进化的 evolve 集构成由作者自行划定，外部难以核验提升的真实性，改进方向是在第三方托管基准上做盲测并公开评测脚本。2) CARE 的调度阈值 $p_{low},p_{high}$ 与 $\lambda$ 由 LLM 控制器每 $N$ 步配置，控制器本身可能误判——例如把过拟合当成能力饱和而过早切入效率精炼制度——可引入对 $\bar{s}$ 曲线的统计检验或多种子对照来自动校验调度决策。3) 长程记忆在 10M 历史上虽大幅领先，但 67.24% 的绝对值仍低，检索-证据账本-复核流水线的失败模式值得更细的误差分解（附录 A.3 虽区分了基础设施失败与模型失败，但未给出占比）。4) 共进化每轮都要重训模型，成本随轮数线性增长，可探索 LoRA 级参数高效更新或关键轨迹重放来摊薄轮次成本。5) 隐私章节多为部署建议（RBAC、加密、审计日志）而非已实现机制，用户级权限依赖「可信上游服务」，多租户场景下是现实风险，应给出威胁模型与红队评估结果。6) 通用能力基准中 27B 在 Claw-Eval 从 82.48 降到 79.58、SWE-Multilingual 从 76.65 降到 74.89，说明移动规划为主的训练对部分非移动能力有挤出效应，采样权重策略还可更精细。
未来方向
作者提出的方向：进一步减少数据精炼、训练适配与 Harness 更新中的人工干预，在安全关键决策保留人工监督的前提下自动化更多开发生命周期。基于成果可延伸的方向：第一，把共进化从离线交替更新推进到在线共适应，例如 Harness 指令的即时 A/B 验证与模型周期性更新的滚动协同，并研究两个优化通道相互干扰的条件；第二，CARE 的能力感知思想可推广到多任务混合训练中的动态样本重加权与课程学习，甚至迁移到非 agentic 的 RLHF 场景；第三，长程记忆管线（高召回检索、查询特定证据账本、源验证、聚焦复核）可独立成篇，在开放域对话与个人助理场景检验；第四，LLM 仿真环境与真机之间的 sim-to-real 差距量化本身是一个值得发表的研究问题；第五，把「经验共享前的去标识化」形式化为可验证流程，并研究多智能体/跨设备场景下记忆的所有权与信任边界（防止内容自我提权）；第六，把共进化的收敛性形式化——交替更新两个相互改变对方优化条件的组件是否收敛、何时震荡，目前只有 3-4 轮的经验证据。
复现评估
复现难度：高。论文是系统技术报告，给出了项目主页，但正文未说明模型权重、训练数据或代码对外发布。训练基础设施栈是公开组件——Roll（agentic RL 框架）+ Megatron-Core（分布式训练）+ vLLM（rollout 推理）+ Ray（编排），环境管理层为 ROCK，支持 dense 与 MoE、长上下文与专家并行；但混合环境中的真机会话、内部工具集与 MobilePA-Internal 评测集外部无法获得。算力上涉及 35B-A3B（MoE）与 27B 两个骨干的 SFT 加在线 RL，含真机交互与多轮人审，估计需要数百卡级 GPU 和完整的流水线工程团队。相对可复现的部分：长程记忆评测遵循 LoCoMo、LongMemEval、BEAM 与 Mem0 公开协议，附录 A.3 给出了样本级隔离、配置指纹、摄入快照与逐题检查点的复现机制；MCPMark 为公开基准；CARE 的式(5)-(10)完整给出，可以在自己的 GRPO 训练栈上小规模复现其调度与优势校准逻辑做独立验证。总体判断：端到端复现整个 AI-for-AI 闭环只有大厂条件可行，但 CARE、记忆评测协议、Model-Harness 交替更新这三个模块可以分别独立检验。
论文图表
三种方法对比：Model only、Model+Harness、Model-Harness Co-evolution。MobilePA-Internal 上 Overall 从 82.67（仅模型）到 84.23（加 Harness）再到 88.50（共进化）；MCPMark 上从 38.00 到 42.26 再到 46.98；分项含 Tool Use、Long Context、Personalized Planning。
直接回答「共进化是否超出单纯加 Harness 的收益」这一问题，是方法主张的关键证据表。