HarnessBridge：用于 LLM Agent 驱动的可学习双向控制器 HarnessBridge: Learnable Bidirectional Controller for LLM Agent Harness
可学习双向投影优化 LLM agent 长周期交互
前置知识
LLM Agent Harness
Harness 是 LLM agent 与外部环境交互的中介架构，负责格式化观察、管理上下文、调用工具、解析输出、验证动作、处理环境反馈。在长周期任务中，harness 工程化已成为 agent 性能不可或缺的部分，许多改进来自于更好的上下文构建、重试逻辑、总结和动作验证。传统 harness 通常是手动工程化的基础设施，而不是可优化的策略。
本文核心创新就是将这个手动工程化的 harness 转化为可学习的策略，理解传统 harness 的作用和局限是读懂本文的前提。
Bidirectional Projection
双向投影是 HarnessBridge 的核心机制，包括观察投影和动作投影。观察投影将原始交互历史映射到生成器可见的状态，保留决策关键信息同时压缩或抑制过时、冗余或被替代的内容。动作投影将提议的生成器动作映射到可执行的环境转换或基于轨迹的拒绝反馈。这两个投影构成了生成器与环境之间学习到的接口。
这是本文方法的核心技术，理解双向投影如何工作以及它们如何控制信息流是理解整个方法的关键。
Unified Instruction Tuning
统一指令调优是训练 HarnessBridge 的方法。将学习双向接口表述为统一的条件生成问题，而不是为观察和动作投影训练独立的模块。使用共享策略参数化 $P_{obs}$ 和 $P_{act}$，给定指定投影目标的指令以及任务规范和当前轨迹，$P_\theta$ 被训练生成相应的基于轨迹的接口转换。观察投影和动作投影的区别仅在于指令和目标格式。
这是本文如何实现端到端可学习 harness 的关键技术，理解训练方法有助于理解整个框架的可行性。
研究动机
LLM agents 在长周期任务（如自主软件工程、Web 导航、搜索、多模态任务）中的性能不仅取决于模型能力和环境设计，还取决于中介 agent-environment 交互的 harness。现有 harness 主要是手动工程化的，难以随着轨迹增长和交互复杂化而扩展。复杂的手动工程化 harness 在长周期交互中存在中心化限制：在环境到 agent 方向，轨迹累积冗余上下文、过时错误、被替代假设和低价值细节，增加 token 成本同时模糊决策关键状态；在 agent 到环境方向，模型输出可能重复无效操作、追求无效假设、进入空循环或发出格式错误命令，消耗稀缺的环境步骤而不推进任务。
本文的目标是本文的目标是将 harness 工程化为端到端可学习的生成问题，优化 agent-environment 接口：暴露给 agent 的内容和提交给环境的内容。为实现高效、有根据和可恢复的长周期行为，这个接口必须保留任务相关状态、抑制过时或冗余上下文、拒绝无效操作、避免引入轨迹不支持的产生式压缩信息。具体目标是开发一个可学习的 harness 策略，能够在保持或提高任务性能的同时，显著降低 token 使用和轨迹长度。
与已有工作不同的是，本文的独特切入角度是将 harness 本身作为端到端可学习的策略，而不是手动工程化的基础设施。现有工作已经开始认识到 harness 作为优化目标，例如使用 coding agents 改进任务特定脚手架或搜索 prompt 和协议变体（如 Meta-Harness）。然而，这些工作通常优化 agent 周围的外部脚手架，而不是学习决定生成器与环境之间信息和动作流动的运行时交互策略。本文聚焦于 harness 中介的接口本身，将其参数化为双向投影策略，这是与已有方法的本质区别。
核心方法
HarnessBridge 的整体思路是将 harness 工程化为可学习的交互问题，其中 harness 学习如何中介 agent 观察的内容和环境执行的内容。技术路线是将 harness 参数化为可学习的双向交互策略 $\pi_h$，实例化为两个方向投影：环境到 agent 方向的观察投影 $P_{obs}$ 将原始历史映射到生成器可见状态，agent 到环境方向的动作投影 $P_{act}$ 将提议动作映射到环境执行动作。生成器策略 $\pi_g$ 保持固定，优化仅在 harness 策略 $\pi_h$ 上进行。通过统一指令调优训练共享策略 $P_\theta$，在 harness 监督数据集上学习双向映射。
核心创新点是将 agent-environment 接口参数化为可学习的双向投影策略，与已有方法使用手动规则或独立工程化模块的本质区别在于：观察投影不仅压缩历史，还学习如何保留决策关键单元、压缩相关但冗长的单元、抑制信息不相关、冗余或被替代的单元；动作投影不仅解析和验证输出，还学习在当前任务状态和交互预算下，哪些提议转换应该影响环境。更重要的是，这两个投影通过统一指令调优联合训练，共享同一策略 $P_\theta$，而不是独立的模块。
方法步骤详情
方法步骤完整描述如下：第一步，定义可学习的双向交互策略 $\pi_h: (s, q, H_t, a_t) \mapsto (eH_t, a'_t)$，其中 $eH_t$ 是暴露给生成器的状态，$a'_t$ 是暴露给环境的动作。第二步，实例化 $\pi_h$ 为两个方向投影：观察投影 $eH_t = P_{obs}(s, q, H_t)$ 和动作投影 $a'_t = P_{act}(s, q, H_t, a_t)$。第三步，观察投影扩展为 $eH_t = (U_t, e h_1, \ldots, e h_t)$，其中 $U_t$ 是活动状态索引，$e h_i$ 是历史单元 $h_i$ 的投影表示。策略预测 $z_i \in \{Pass, Compress, Drop\}$ 决定每个历史单元的投影形式。第四步，动作投影预测 $(d_t, \rho_t)$，其中 $d_t \in \{Pass, Reject\}$，$\rho_t = (concern, evidence, suggestion)$ 是基于轨迹的反馈。第五步，通过统一指令调优训练共享策略 $P_\theta$，在 harness 监督数据集上学习双向映射。
技术新颖性
技术新颖性体现在多个方面：首先，引入了端到端 harness 生成，将手动工程化的交互逻辑替换为可学习的 harness 策略，这是首次将 harness 作为端到端可学习生成问题提出；其次，首次引入统一指令调优学习 agent 与环境之间的双向映射，而不是训练独立的模块；第三，设计了活动状态索引 $U_t$ 和基于轨迹的拒绝反馈机制 $\rho_t$，使压缩和拒绝决策都有轨迹依据，避免幻觉总结和意外删除细节；第四，原始轨迹 $H_t$ 始终保留作为权威记录，$P_\theta$ 只决定每轮应该暴露给生成器的投影视图 $eH_t$，压缩是选择性触发而不是每轮交互步骤后的不可逆更新。
实验结果
核心发现包括三个方面：首先，在 Terminal-Bench 2.0 上，HarnessBridge 在 Qwen3.5-35B-A3B 上达到 33.7% 的成功率，比 Terminus 2 提高 +11.2 个百分点，同时降低平均 token 消耗 46.8%；在 GLM-4.7-Flash 上达到 20.2% 的成功率，比 Terminus 2 提高 +5.8 个百分点，同时降低 token 消耗 77.5%。其次，在 SWE-bench Verified 上，HarnessBridge 在 Qwen3.5-35B-A3B 上保持 60.2% 的竞争成功率，同时使用所有报告 harness 中最低的 token 预算；在 GLM-4.7-Flash 上达到 46.0% 的成功率，同时降低 token 消耗 2.0%。第三，在商业模型上的泛化实验显示，HarnessBridge 在 GPT-5.4-Nano 上将成功率从 18.0% 提高到 22.5%（+25.0%），同时降低 token 消耗 90.7%；在 GPT-5.4 上保持 53.9% 的成功率，同时降低 token 消耗约 89%；在 DeepSeek-V4-Pro 上匹配基线 57.3% 的成功率，同时略微降低 token 成本；在 Claude-Opus-4.7 上将成功率从 64.0% 提高到 65.2%，同时降低 token 消耗 26.9%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Terminal-Bench 2.0 | Success Rate / Token Usage (M) | 33.7% / 1.23 | Terminus 2: 30.3% / 2.31 | +11.2% SR / -46.8% Token (Qwen3.5-35B-A3B) |
| SWE-bench Verified | Success Rate / Token Usage (M) | 60.2% / 1.13 | Terminus 2: 61.6% / 1.47 | -2.3% SR / -23.1% Token (Qwen3.5-35B-A3B) |
| Terminal-Bench 2.0 | Success Rate / Token Usage (M) | 20.2% / 0.42 | Terminus 2: 19.1% / 1.87 | +5.8% SR / -77.5% Token (GLM-4.7-Flash) |
| Terminal-Bench 2.0 | Success Rate / Token Usage (M) | 22.5% / 0.91 | Terminus 2: 18.0% / 9.80 | +25.0% SR / -90.7% Token (GPT-5.4-Nano) |
局限与改进
作者承认的局限性包括：首先，HarnessBridge 只在 SWE-bench 轨迹上进行了指令调优，因此 Terminal-Bench 2.0 可以视为跨域环境，尽管仍然取得强性能，但可能存在领域适应限制；其次，监督数据构造依赖于提示的指令调优模型在多个干预制度下的实例化，可能引入偏差；第三，动作投影需要基于轨迹的证据，如果无法提供则默认通过，这可能限制拒绝无效动作的能力；我观察到的额外局限性包括：首先，实验主要集中在编码任务，在 Web 导航、搜索、多模态等其他长周期任务上的效果尚未验证；其次，活动状态索引 $U_t$ 和压缩/拒绝决策的质量高度依赖于训练数据，可能需要针对不同任务定制化训练；第三，虽然原始轨迹 $H_t$ 始终保留，但投影视图 $eH_t$ 的选择性压缩可能在某些情况下丢失关键信息，特别是在压缩率较高的场景（如 reasoning_only 类别压缩率 38.8%）。
独立分析的弱点
独立分析的弱点包括：首先，训练数据依赖人工构造的监督数据集，质量和覆盖范围可能限制模型的泛化能力，特别是对于罕见场景或复杂交互模式。改进方向可以是开发自动化的监督数据生成方法，或利用强化学习从交互反馈中学习。其次，当前实现基于轻量级 Qwen3.5-0.8B 模型，虽然实现了效率目标，但可能限制了复杂决策的理解能力，特别是在需要深层推理的场景。改进方向可以是探索模型大小与性能的权衡，或采用模型集成策略。第三，观察投影和动作投影虽然共享策略 $P_\theta$，但决策机制相对独立，缺乏端到端的联合优化，特别是在处理长轨迹累积误差时。改进方向可以是引入递归或记忆机制，使投影决策能够考虑更长期的交互上下文。
未来方向
作者提出的未来工作包括：探索在其他长周期任务上的应用，如 Web 导航、搜索、多模态任务；研究更高效的监督数据构造方法，减少对人工实例化的依赖；探索在线学习或强化学习方法，使 harness 能够从实时交互反馈中持续改进。基于成果可延伸的方向包括：首先，研究跨环境的迁移学习，使在一种任务上训练的 harness 能够快速适应新任务；其次，探索自适应的压缩和拒绝策略，根据任务进展和交互预算动态调整投影决策的激进程度；第三，研究可解释性方法，使 harness 的决策过程更加透明，帮助理解为什么某些历史单元被压缩或某些动作被拒绝；第四，探索多智能体场景下的 harness 协调，使多个 agent 的交互能够高效协同。
复现评估
复现评估：项目开源在 GitHub (https://github.com/mandyyyyii/HarnessBridge)，HuggingFace 上也提供了模型 (https://huggingface.co/HarnessBridge)，这为复现提供了良好基础。训练数据来自 SWE-bench Verified 的成功轨迹，通过实例化观察和动作投影并使用 LLM judge 评估投影质量进行筛选，数据构造过程在附录 C 中详细描述。模型初始化自轻量级 Qwen3.5-0.8B，使用 SGLang 在温度 0.6 下服务，训练通过统一指令调优完成。算力需求方面，虽然具体资源使用未明确报告，但基于轻量级基础模型和指令调优的设置，预计训练资源需求相对可控。主要挑战在于高质量监督数据的构造，这需要仔细的实例化和质量筛选。总体而言，开源情况和详细文档使复现难度较低，但数据构造的质量可能影响复现结果的性能。
论文图表
