从弱点中学习：小型计算机使用代理的自动化领域专业化 Learn from Weaknesses: Automated Domain Specialization for Small Computer-Use Agents

LEARNWEAK 的工作流程包含以下步骤：首先，种子查询设置：为每个目标领域 $d$ 初始化少量可执行环境配置和种子任务 $Q_d^0$，这些初始状态独立于评估基准构建，避免数据泄露。其次，弱点发现：对每个任务 $q \in Q_d^i$，在同一环境中运行教师轨迹 $\tau_q^T$ 和学生轨迹 $\tau_q^S$，应用验证器 $V$ 获得二元成功结果 $v_q^T, v_q^S \in \{0, 1\}$ 和结构化理由 $r_q^T, r_q^S$，收集教师成功但学生失败的任务集 $F_d^i = \{q \in Q_d^i | v_q^T = 1, v_q^S = 0\}$，将验证器诊断汇总为弱点报告 $R_d^i$。第三，截图引导查询生成：从教师和学生轨迹构建代表性截图集 $S_d^i$，通过表示级聚类和 VLM 重排序选择多样化和语义信息丰富的截图，然后使用任务查询生成器 $G$ 合成新查询，包括弱点击中合成 $Q_{weak}^{i+1} = G(Q_d^i, R_d^i, S_d^i, M_d)$ 和探索聚焦合成 $Q_{explore}^{i+1} = G(Q_d^i, \emptyset, S_d^i, M_d)$，合并得到 $Q_d^{i+1} = Q_{weak}^{i+1} \cup Q_{explore}^{i+1}$。第四，迭代生成：重复弱点发现和截图引导查询生成 $N-1$ 次，聚合失败任务集 $F_d = \bigcup_{i=0}^{N-1} F_d^i$，构建教师-学生轨迹集合 $D_d = \{(q, \tau_q^T, \tau_q^S) | q \in F_d\}$。第五，教师重放偏好构建：对每个任务 $q \in F_d$ 逐步回放教师轨迹，在每个步骤 $t$ 使用教师上下文 $c_t^T$ 查询学生策略 $\pi_S$ 获得重放学生响应 $\hat{a}_t^S \sim \pi_S(\cdot|c_t^T)$，当教师和重放学生产生不同工具执行时构建偏好对 $(c_t^T, a_t^+, a_t^-) = (c_t^T, a_t^T, \hat{a}_t^S)$，聚合为偏好数据集 $D_d^{pref} = \{(c_t^T, a_t^T, \hat{a}_t^S) | q \in F_d, t \in T_q^d\}$，其中 $T_q^d = \{t | e_t^T \neq \hat{e}_t^S\}$ 是工具执行不同的步骤集。第六，错误感知偏好优化：定义失败类型 $\epsilon_t$ 为规划级错误 $\epsilon_{PLAN}$（当 $f_t^T \neq \hat{f}_t^S$）或执行级错误 $\epsilon_{EXEC}$（当 $f_t^T = \hat{f}_t^S$ 但 $p_t^T \neq \hat{p}_t^S$），为每个偏好示例定义二进制掩码 $m$，其中 $m(j) = 0$ 如果 $a_t(j) \in r_t$（推理部分），$m(j) = g(t)$ 如果 $a_t(j) \in s_t$（动作描述），$m(j) = 1$ 如果 $a_t(j) \in e_t$（工具执行），$g(t) = 1$ 如果 $\epsilon_t = \epsilon_{PLAN}$，否则 $g(t) = 0$。定义掩码动作分数 $s_\theta(c, a_t; m) = \sum_{j=1}^{|a_t|} m(j) \log \pi_\theta(a_t(j)|c, a_{<t}(j))$，优化目标 $\mathcal{L}_{DPO} = -\mathbb{E}\log\sigma[\beta(s_\theta(c_t, a_t^+; m) - s_\theta(c_t, a_t^-; m) - s_{ref}(c_t, a_t^+; m) + s_{ref}(c_t, a_t^-; m))]$。最后，领域可扩展性：通过模块化领域特定更新实现每个领域专家，冻结学生并仅更新 LoRA 适配器 $\{\Delta_d\}_{d \in E}$，专业化到领域 $d$ 的策略为 $\hat{\pi}_{S,d} = \pi_S \oplus \Delta_d$。

LEARNWEAK 的技术新颖性体现在三个方面：一是学生感知的数据生成 pipeline，这是首个将教师-学生比较、弱点分析和查询合成集成到一个无标注循环中的框架，与现有方法如 AgentSynth、OS-Genesis、ZeroGUI 不同，后者在生成任务时对学生弱点不可知。二是错误感知的偏好优化，这是首个根据失败类型（规划级 vs 执行级）动态调整训练目标的 CUA 训练方法，与标准 DPO 不同，后者对所有标记应用统一更新。实验表明，标准 DPO 平均为 45.58%，而 LEARNWEAK-DPO 达到 55.20%，提升 9.62 个百分点。三是模块化 LoRA 架构，使领域专业知识通过领域依赖更新附加到共享学生上，支持多应用部署场景，其中在推理时激活对应领域的适配器。这种设计将领域知识定位到领域特定模块，提供了处理多个领域的可扩展机制。此外，本文还贡献了系统性的消融研究，验证了迭代生成、弱点报告条件化、教师选择和错误类型感知掩码的必要性。

本文有几个潜在的改进方向。首先，迭代代数选择是启发式的，性能在中间阶段达到最大后下降，表明需要更智能的迭代停止标准，可能基于弱点报告的收敛性或验证成功率的边际增益。当前方法使用固定迭代次数 $N$，可能欠优化或过优化。其次，弱点报告的生成依赖于验证器的结构化理由，如果验证器提供不充分或误导性的理由，生成的查询可能无法有效针对学生的真实弱点。可以考虑集成多个验证器或使用更强大的多模态模型来分析失败原因。第三，当前的弱点击中和探索聚焦合成是简单的两个策略，可以考虑更复杂的查询合成策略，如基于失败类型的加权合成或基于课程学习的难度递进合成。第四，错误类型分类仅区分规划级错误和执行级错误，可能过于粗粒度，可以考虑更细粒度的错误分类，如坐标定位错误、UI 元素选择错误、动作参数类型错误等。第五，模块化 LoRA 架构虽然支持领域可扩展性，但当领域数量很大时，存储和管理大量 LoRA 适配器可能成为瓶颈，可以考虑更高效的参数共享或压缩机制。第六，本文假设教师模型足够强，但如果教师和学生在某些任务上同时失败，这些任务可能包含有价值的学习信号，但当前方法无法利用这些信号。可以考虑引入课程学习或主动学习来处理这些挑战性任务。

作者在结论中提出系统性实证研究多适配器路由在许多领域中的情况是一个有前景的未来方向。基于本文成果，可以延伸几个研究方向：一是研究自适应迭代停止机制，可能基于弱点报告的语义收敛性或验证成功率曲线，避免非单调性能下降。二是探索更细粒度的错误分类和类型感知训练，例如区分坐标定位错误、UI 元素选择错误、动作参数类型错误等，并应用类型特定的训练策略。三是研究课程学习方法，从简单任务开始，逐步增加难度，使学生能够建立基础领域知识后再挑战复杂任务。四是探索多教师集成方法，使用多个教师模型生成更鲁棒的监督信号，例如通过投票或加权平均结合多个教师的轨迹。五是研究跨领域知识迁移，使一个领域的专业知识能够迁移到相关领域，减少每个领域的数据生成和训练成本。六是探索在线或持续学习机制，使代理能够在部署后继续从用户反馈中学习和改进，而无需离线重新训练。七是研究更高效的多领域部署架构，例如参数共享的 LoRA 或动态路由机制，以支持大量领域而无需线性增长的存储和计算成本。八是扩展到更复杂的环境，例如多窗口、多应用程序或分布式系统，测试 LEARNWEAK 的可扩展性和泛化能力。

本文提供了项目的网页（https://learnweak.github.io/），但未在论文中明确说明代码、数据或模型的开源情况。实验在 OSWorld 基准上进行，这是一个公开可用的计算机使用基准，覆盖多样化的桌面应用程序和操作系统实用工具。作者使用 EvoCUA-8B 和 OpenCUA-7B 作为学生模型，EvoCUA-32B 作为教师策略，这些模型可能是公开可用的。数据生成 pipeline 使用自动验证器 $V$，应该是 OSWorld 基准的一部分。训练涉及 LoRA 适配器，超参数在附录 B 中提供。然而，论文没有提供具体的计算资源、训练时间或硬件规格，这些信息对复现实验很重要。考虑到每个领域独立进行数据生成和训练，包括 $N$ 次迭代，整个过程可能需要大量计算资源。此外，查询生成器 $G$ 和弱点报告汇总器 Summarize 的具体实现细节未在论文中详细说明，可能在附录 D 的提示模板中有所描述，但未在主要文本中提供。总体而言，论文提供了足够的算法细节和实验设置描述，但缺乏具体的实现细节和计算资源信息，这可能影响完全复现。建议作者在未来工作中开源代码、训练脚本和生成的数据集，以提高研究的可复现性和可扩展性。