面向可泛化智能体强化学习的Harness扩展 Harness Scaling for Generalizable Agentic Reinforcement Learning
以结构化Harness多样性作智能体RL新缩放维度，显著提升跨harness泛化
前置知识
Agent Harness（智能体执行框架）
包裹大模型的执行层软件，决定模型如何获得系统提示、调用工具（工具 schema 与命名）、接收观察反馈、维护与压缩上下文历史、以及按何种工作流推进任务。Claude Code、OpenClaw 都是典型 harness：同一个模型换不同 harness，任务成功率可能相差十几个百分点。
本文的全部变异都发生在 harness 层，理解「同一任务、同一环境、不同执行配置」这一设定是读懂问题的前提。
PPO 与 GRPO
两种策略梯度 RL 算法。PPO 用重要性比率 $ ho_t=\pi_\theta/\pi_{ heta_{old}}$ 的裁剪目标做稳定更新，优势由 GAE 估计；GRPO 对同一问题采样一组 rollout，用组内奖励归一化得到相对优势，免去价值网络。本文两种算法都实验，以证明结论不依赖具体优化器。
Harness Scaling 只决定「用哪些任务-harness 实例收集数据」，策略更新仍由这些标准算法完成，论文声称结论在两者上一致。
因子设计与正交设计
实验设计方法：把影响因素视为「因子」，各因子取值为「水平」，全组合构成因子空间。强度-2 正交设计保证任意两因子的任意水平组合在所选实验中恰好出现相同次数 $\lambda$，从而用远小于全组合的样本均衡覆盖一阶与二阶效应，样本量受 Rao 界 $N\ge 1+M(L-1)$ 约束。
本文借它从 $3^5=243$ 个 harness 配置中选出仅 18 个进行训练，是方法的核心数学工具。
汉明距离与汉明图
两个等长向量对应位置不同的个数。本文把每个 harness 配置写成 5 维向量（每个分量是一个组件的实现编号），$d_H(h_i,h_j)$ 即两配置不同的组件数；所有配置与其「恰差一个组件」的邻居构成汉明图 $H(5,3)$，距离越小代表执行配置越相似。
局部性感知任务分配依赖它：每个任务除锚配置外，再配汉明距离最近的近邻配置。
白盒与黑盒 harness
白盒指本文自建、组件可拆解修改的 harness 变体，训练与评测都可精确控制其配置；黑盒指外部现成 harness（如 Claude Code、OpenClaw），内部实现不可控、也不在本文的 243 配置空间内。跨黑盒迁移是检验真实泛化能力的试金石。
论文的两层泛化目标——空间内组合泛化与空间外迁移——正是按这一区分组织的，Table 1/2 的实验设计由此展开。
研究动机
现代智能体系统越来越依赖 Agent Harness（执行框架）来组织工具调用、上下文管理与长程交互，但 harness 带来的收益不仅取决于设计本身，还取决于底层模型能否有效利用它，因此需要直接「穿过」harness 做强化学习。问题在于：只通过单一固定 harness（固定的系统提示、工具命名与观察格式）优化策略，会让模型过拟合该特定执行配置、削弱跨 harness 迁移。论文给出的量化证据是：只在 OpenClaw 这类复杂黑盒 harness 上做 RL，迁移到完全不同的外部 harness Claude Code 时，Qwen3-4B 平均 Pass@1 仅 33.38，Qwen3-30B-A3B 仅 36.28（Table 2），甚至不如黑盒 SFT。已有工作尝试通过随机化或异构 harness 训练缓解特化，但如何系统地构造和组织 harness 多样性、使其产生超越训练配置的泛化，仍缺乏理解——且简单堆量可能适得其反：论文消融显示固定预算下穷举全部 243 个配置反而不如精选 18 个。
本文的目标是本文的目标是把 Harness 多样性确立为智能体 RL 的一个独立缩放维度（Harness Scaling），与已有的任务扩展（解决什么问题）和环境扩展（在哪执行）互补，回答「如何执行」的多样性应如何被系统地构造、选择与组织。具体目标有三：其一，形式化一个可控的因子化 harness 空间 $\mathcal{H}=\mathcal{S} imes\mathcal{T} imes\mathcal{O} imes\mathcal{C} imes\mathcal{W}$，在任务与环境不变的前提下隔离执行层变异；其二，在固定训练预算下构造既平衡覆盖因子结构又足够紧凑的训练 harness 集（最终为 18 个配置）；其三，设计跨 harness 的训练组织方式（局部性感知任务分配），使策略在两个层面泛化：对空间内 18 个未见白盒配置的组合泛化，以及向 Claude Code、OpenClaw 等外部复杂黑盒 harness 的迁移，并要求这种收益在 Qwen3-4B 与 Qwen3-30B-A3B 两个规模、GRPO 与 PPO 两种算法上都成立。
与已有工作不同的是，已有工作沿三条线展开：任务扩展与环境扩展只改「解决什么/在哪执行」，保持执行 harness 固定；harness 设计与自动搜索改进执行层本身但不优化模型策略；黑盒 RL（如通过 OpenClaw 训练）直接在复杂真实 harness 上优化策略，却无法控制变异来源、难以归因。本文的独特切入是把「怎么执行」本身当作可控实验变量：借鉴实验设计中的因子分析与正交设计思想，把 harness 差异分解为 5 个组件 × 3 个实现的组合空间，用强度-2 平衡保证每个组件实现及其两两组合被均匀覆盖，再用汉明距离定义结构邻近性、以「同一任务配结构相近的多个 harness」的方式组织训练。由此提炼出的核心洞察是：泛化收益不仅取决于多样性数量，更取决于多样性如何组织——结构化挑选的 18 个配置优于随机 18 个，也优于固定预算下穷举 243 个配置。
核心方法
直觉上，让同一个任务在若干「结构相近但不同」的执行配置下反复求解，策略学到的是任务求解能力而非对特定提示词、工具名或观察格式的记忆，从而在陌生 harness 上依然有效。技术路线分三步：第一步，把 harness 因子化为系统提示 $S$、工具接口 $T$、观察 $O$、上下文管理 $C$、工作流 $W$ 五个组件，对每个组件施加保持其余组件与任务语义不变的变换，得到 $3^5=243$ 个完整配置，构成汉明图 $H(5,3)$。第二步，按强度-2 正交设计选出 18 个训练配置 $\mathcal{H}_{tr}$，使任意两组件的实现组合恰好出现 $\lambda=2$ 次（$N=\lambda L^2=2 imes 3^2=18$，满足 Rao 界）。第三步，训练时每个任务均匀采样一个锚 harness，再配上汉明距离最近的 $K-1=1$ 个近邻，共 $K=2$ 个配置；用 GRPO（每步 16 任务×8 rollout）或 PPO（128 任务×1 rollout）在 ClawGym-Task 的 13.5K 任务上训练 300 步，优化标准裁剪策略目标。
核心创新有三点。第一，提出 Harness Scaling 作为与任务扩展、环境扩展并列的第三个缩放轴：任务与环境扩展改变「做什么/在哪做」，而 harness 缩放改变「怎么做」，它把执行层从任务语义中剥离出来，使泛化评估可以干净地归因于执行变异。第二，用强度-2 正交设计解决组合爆炸下的选择问题：不搜索子集，而是直接构造满足一阶（组件平衡）与二阶（两两组合平衡 $N_{ij}^{(\ell,\ell')}=\lambda$）覆盖的紧凑集合，18 个配置即可平衡覆盖全部低阶因子结构，避免穷举带来的冗余。第三，局部性感知任务分配：锚配置随机采样保证不同任务铺满全局空间（全局覆盖），同任务的其余配置取汉明距离最近者（局部受控变异），这与把随机 harness 任意配给任务的方案有本质区别。消融证明该设计确实关键：结构化 18 优于随机 18（ClawGym 空间内 52.78 对 47.90）、局部性分配优于随机分配（52.78 对 50.46），而 Repeat-2 对照实验进一步证明收益来自同任务的真实 harness 变异，而非单纯的任务重复暴露。
方法步骤详情
步骤一（空间构建）：对每个组件 $F\in\{S,T,O,C,W\}$ 定义变换 $\tau_F^{(\ell)}$，只改该组件而不动任务与环境，如改系统提示、工具名、观察格式或执行流程；每组件 3 个实现，全空间 $3^5=243$。步骤二（结构化选择）：构造强度-2 正交设计，任意两组件的实现组合恰好出现 $\lambda=2$ 次，由 $N=\lambda L^2$ 得 18 个训练配置 $\mathcal{H}_{tr}$。步骤三（任务分配）：对任务 $x$ 采样锚 $h_x\sim\mathrm{Unif}(\mathcal{H}_{tr})$，再取汉明距离最小的 $K-1$ 个近邻组成 $\mathcal{H}_x$。步骤四：实例 $(x,h)$ 执行产生轨迹与奖励，$K=2$ 个配置在连续两步使用，按比率 $\rho_t=\pi_ heta/\pi_{ heta_{old}}$ 的裁剪目标更新，优势 $A_t$ 按 PPO（GAE，128 任务×1 rollout）或 GRPO（组内相对，16 任务×8 rollout）计算。
技术新颖性
技术新颖性体现在三处。其一，把统计学中的因子设计与正交表引入智能体 RL 的训练配置选择：以往 harness 多样化工作要么随机抽取、要么手工枚举，本文用强度-2 平衡加 Rao 界给出有理论约束的紧凑构造（$N=\lambda L^2$、$N\ge 1+M(L-1)$），在 243 个配置中仅取 18 个就保证所有组件实现与两两组合均匀出现。其二，把 harness 空间形式化为汉明图并定义结构邻近性 $d_H(h_i,h_j)$（不同组件的维数），进而提出「锚+近邻」的局部性任务分配，这把数据增强式的随机化升级为有几何结构的训练组织。其三，消融证明了「组织方式」本身的价值：固定预算下穷举全部 243 个配置（含评测配置的压力测试）反而不如结构化 18 个，说明无组织的多样性会稀释学习信号；Repeat-2 对照则干净地分离了「重复做同一任务」与「换 harness 做同一任务」两种效应。这种把多样性选择、配对组织与策略优化解耦又协同的框架，在此前 agentic RL 文献中尚未出现。
实验结果
Table 1 显示一致提升。4B：GRPO 空间内从单 harness 的 37.33/10.24/45.60（平均 29.81）升到 Scaling 的 52.78/13.55/56.24（39.04），+9.80；PPO 从 33.91 到 36.93（+3.57）。30B-A3B：GRPO 37.29→42.78（+5.21），PPO 36.31→41.89（+4.90）。黑盒迁移（Table 2）：在 Claude Code 上 4B 平均 37.22，超过黑盒 SFT 35.08 与黑盒 RL 33.38；30B 为 41.20 对 38.08/36.28。消融：3 个 harness 一阶覆盖已带来 ClawGym +11.43/+4.84；Random-18 仅 47.90/42.78；随机分配比局部性分配低 2.32/2.20 与 3.04/1.24；$K=2$ 最优、$K=4$ 饱和。Figure 4：状态跟踪等执行能力提升最大。Table 4：基座仅 -0.19（59.82→59.63），空间内 +10.48、Claude Code +3.60。
局限与改进
作者承认的局限：全空间穷举在固定预算下反而劣于结构化 18 个（作为压力测试呈现），说明方法依赖精选而非堆量；$K>2$ 无进一步收益，单任务 harness 多样性存在饱和点。我的补充观察：其一，5 个组件各 3 个实现全部由作者手工设计，同一「家族」内变异较小，能否泛化到差异更大的异构 harness 家族未验证；其二，黑盒迁移只在 Claude Code 与 OpenClaw 两个 harness 上测试，外部效度有限；其三，强度-2 正交设计假设低阶交互主导，若真实 harness 组件间存在强高阶交互（如工具接口与观察格式强耦合），平衡覆盖可能失效，文中也未检验三阶及以上效应；其四，实验仅 300 步、两个模型规模（4B 与 30B-A3B），「缩放」一词暗示的 scaling law（性能随配置数如何增长）并未系统刻画；其五，评测只报 Pass@1 三次平均，未报告令牌成本、延迟等执行效率指标，而换 harness 本身会显著影响这些量。
独立分析的弱点
独立分析出的弱点：1）组件实现手工定义、覆盖面受限——真实 harness 差异（如 Claude Code 的权限系统、上下文压缩策略）远比 3 个水平丰富，改进方向是用 LLM 自动生成变换或从开源 harness 库挖掘真实差异；2）汉明距离对所有组件等权，但组件对性能的影响显然不同（上下文管理出错可能比提示词措辞更致命），可学习加权距离或按组件消融敏感度加权；3）$K$ 固定为 2，对难任务可能需要更多执行视角，可按任务难度或 rollout 奖励方差自适应决定 $K$；4）正交设计只保证二阶平衡且在训练前一次性确定，未利用组件效应的方向信息，可用贝叶斯优化或 bandit 在训练中在线调整配置采样分布；5）harness 与任务独立采样，忽略任务-配置交互（某些任务可能只在特定 harness 下可解），可做耦合的联合设计；6）只报告任务成功率，缺少执行效率与安全维度，跨 harness 训练可能改变令牌消耗与失败模式，值得监控。
未来方向
作者提出的方向：把 harness 变异确立为与任务、环境扩展互补的缩放维度，并强调组织方式比多样性数量更重要。基于其成果可自然延伸：1）刻画 Harness Scaling law——系统扫描配置数 $N$、水平数 $L$、每任务配置数 $K$ 与泛化性能的关系，拟合类似 Chinchilla 的算力分配准则（多少预算给任务多样性、多少给 harness 多样性）；2）与自动化 harness 搜索闭环：用 RL 训练信号反过来指导哪些 harness 变换最有价值，实现搜索与训练联合优化；3）把结构邻近性从离散汉明距离推广到学习到的连续嵌入空间，支持软性插值与课程式过渡；4）扩展到多智能体与长程工作流场景，那里 harness 还包括通信协议与角色编排，因子空间更大，正交设计的价值更高；5）理论工作：把强度-2 覆盖与分布外泛化界联系起来，刻画何种平衡保证最小泛化误差；6）发布标准化的 harness 变换库与因子化协议，让社区可复用并跨论文比较。
复现评估
复现评估：正文与附录均未提及开源代码或数据，这是最大障碍。可复用资源：底座模型 Qwen3-4B-Instruct 与 Qwen3-30B-A3B-Instruct 公开；训练集 ClawGym-Task（13.5K 任务）与评测集 ClawGym-Bench、PinchBench、JobBench-Easy 均引用已发表工作；Claude Code 为闭源产品、OpenClaw 需自行部署。关键细节在附录：附录 A 给出 5 组件变换定义（需自研 15 个变换），附录 B 给出强度-2 正交设计构造（$3^5$ 空间选 18，可用现成正交表工具复现），附录 C 给出超参（GRPO 16 任务×8 rollout、PPO 128 任务×1 rollout、$K=2$、300 步）。算力方面，4B 全参数 RL 约需单机 8 卡级，30B-A3B 为 MoE、激活约 3B，成本可控；主要工作量在 243 配置空间的变换工程与评测（18 held-out 配置 × 3 基准 × 3 次重复）。总体复现难度中等偏高。
论文图表
