JIT-Agent：以即时（Just-in-Time）脚手架进化扩展智能体运行框架智能 JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution

Stage I（定制）：更强教师 $q_\phi$ 为每个任务生成协议合规 harness，上下文 $c_\tau = (\tau, \Pi, C_\tau, E_\tau)$ 中 $E_\tau$ 取自任务类型匹配的 3 个种子脚手架；生成物经协议校验与执行检查通过后才保留，先做标准 SFT。再做 DPO：同一底座、同一评估种子下比较候选，仅当 $r^+ > r^- \wedge \ell^+ \le \ell^- \wedge \kappa^+ \le \kappa^- \wedge (\ell^+ < \ell^- \vee \kappa^+ < \kappa^-)$ 才保留偏好，并以 $\Delta_{val}(\tau; h^+, h^-) = \alpha_r (r^+ - r^-) + \alpha_\ell [\ell^- - \ell^+]_+ + \alpha_\kappa [\kappa^- - \kappa^+]_+$ 加权、锚定冻结的 SFT 检查点。Stage II（修复）：把失败 harness $\hat{h}^{(0)}$ 与结构化诊断 $g^{(0)}$（编译错误、接口不匹配、工具调用失败、运行时异常）配对，教师在补丁空间提出修订 $\Delta^{(k+1)}$，Apply 确定性更新后再校验，只保留 $K^\star = \min\{k \in \{1,2\}: \mathrm{Valid}_\Pi(\hat{h}^{(k)}) = 1\}$ 存在的轨迹，做教师强制的短视野模仿学习。Stage III（进化）：每轮采样任务并检索先验设计，组采样 $G>1$ 个候选，与最优检索 harness 的 $(b_r, b_\ell, b_\kappa)$ 比较，计算 $R^{rew}_i = r_i + \lambda_{evo}[r_i - b_r]_+$、$R^{lat}_i = \mathbb{I}[r_i \ge b_r][b_\ell - \bar{\ell}_i]_+$、$R^{cost}_i = \mathbb{I}[r_i \ge b_r][b_\kappa - \bar{\kappa}_i]_+$，三通道组内独立归一化后按 $A^\Sigma_i = w_{rew} A^{rew}_i + w_{lat} A^{lat}_i + w_{cost} A^{cost}_i$（$w_{rew} > w_{lat} + w_{cost}$）聚合，批归一化后进裁剪 PPO，加对 Stage-II 检查点的 token 级 KL；通过校验的候选只有匹配或超过当前奖励前沿、并严格改进至少一个维度才写入档案 $B_n$。

技术新颖性可从三个层面评估。范式层面，Table 4 显示 JIT-Agent 是唯一同时具备实例合成、生成器训练、学习修复、在线进化四项能力的方法：搜索式 AOT（AutoHarness、Meta-Harness、AHE）四项皆无；测试时编辑式（Adaptive AH、TTHE、RHI）只有在线进化；即便训练生成器的 Harness-R1 也不具备实例合成。目标函数层面，Evo-GDPO 把「进化」写进优化目标——候选的奖励优势不是组内相对，而是相对档案 incumbent 的超越量，且效率通道受 $\mathbb{I}[r_i \ge b_r]$ 门控，保证不会用牺牲任务表现换速度或省钱；这与 GRPO 类组相对方法及常规多目标 RL 都不同。数据层面，Stage II 把失败转化为监督的做法很务实：只保留两轮内可修复的轨迹，聚焦「局部可恢复」的现实失败而非需要推倒重来的设计错误。案例层面（Figure 5 与附录 C 的十个生成 harness），生成物不是提示词变体而是执行语义级的任务定制——如把覆盖检查做成可执行的证据契约（Turnstile）、把数值聚合移出语言模型推理（Abacus）——证明模型学到的是设计空间上的真选择。

弱点一：对可验证奖励的硬依赖。Evo-GDPO 与 DPO 偏好构造都需要重复 rollout 得到的标量 reward，AgentIF 这类用加权 rubric 的基准尚可，但真实开放任务（写作、咨询）缺乏可比信号；改进方向是引入 LLM-as-judge 或过程级奖励模型，并对奖励噪声做不确定性加权。弱点二：修复视野固定为两轮（$K^\star \le 2$），虽然换来聚焦「局部可恢复失败」的干净监督，但也让模型没机会学习深层调试；改进方向是按失败类型分层放宽视野，或课程式地从浅修复过渡到深修复。弱点三：评估子集过小（50/100 例）且部分结论依赖与商用闭源模型的点估计比较；改进方向是报告置信区间并扩大多种子。弱点四：生成代码的执行安全：harness 包含任意 Python/bash 与工具调用，面对恶意任务描述可能被注入；改进方向是协议级沙箱、静态分析白名单与能力最小化（Turnstile 式的工具门控其实是现成素材）。弱点五：贪心帕累托保留可能让档案塌缩到少数高效设计上，削弱 Stage III 检索上下文的多样性；改进方向是加入质量-多样性（如 MAP-Elites 式网格）保留。弱点六：协议本身（四模块接口与 13 个种子）仍是人工设计的，$\mathcal{H}_\Pi$ 的表达力上界受种子库制约；改进方向是让协议本身也随经验扩展，例如允许模型提议新模块类型并通过校验后并入。

作者明确指出方向：harness intelligence 是与模型 scaling 正交且可复合的能力维度，值得作为独立于权重的训练目标持续投入；流式推理展示的档案进化可推广为终身/在线的 harness 学习。基于本文成果可自然延伸的研究包括：其一，harness 与模型的联合训练——目前执行器 $\pi_\psi$ 完全冻结，让底座对「被换装」具有感知与适配能力（harness-aware RL）可能进一步放大增益；其二，跨任务家族的迁移结构分析——streaming 模式目前只在同类任务流内验证，研究档案在异质任务间的负迁移与遗忘机制很有价值；其三，把 JIT-Agent 接入生产级运行时（Claude Code、OpenCode）作为「换装层」，评估真实工程环境中的稳健性；其四，档案的压缩与课程化——随 $B_n$ 增长，检索上下文 $E_\tau$ 的构建策略（相似度、任务类型、前沿距离）值得系统消融；其五，安全性——为生成的 harness 建立形式化校验与运行时隔离标准；其六，把同样的 JIT 思想搬到多智能体组织结构与具身控制等更广的「操作性脚手架」上。

复现条件中等偏上。有利因素：代码已在 GitHub 开源（github.com/bingreeky/JIT）；HARNESSFACTORY 提供统一四模块协议下的 13 个脚手架实现，种子库与生成空间有明确定义；训练配方（SFT→DPO→修复模仿→Evo-GDPO）在文中写得相当具体，偏好规则、优势归一化、保留规则均有公式。不利因素：其一，JIT-Agent-27B 基于 Qwen3.6-27B 训练，Stage I 需要一个更强的冻结教师反复生成并通过执行校验，Stage III 需要对每个任务组采样多个候选、每个候选重复 rollout 并评估 reward/latency/cost，这是标准的 RL 级算力开销（27B 模型 + 大量 API 环境交互），非个人实验室可轻松负担；其二，评估横跨九个基准与多个商用模型 API（GPT-5.6、Gemini 3.1/3.5、Kimi K2.7 等），完整复现主表需要可观的 API 预算；其三，部分基准得分基于 50–100 例子集，复现者需自行确认切分方式。若只想验证核心主张——用发布的 JIT-Agent 为自己的底座模型即时生成 harness 并对比 ReAct——则门槛低得多：只需推理算力（27B 生成器一次前向）加所选基准的执行环境即可。