策略即隐式支架：智能体接口的决策几何 Your Policy Is Secretly a Harness: The Decision Geometry of Agent Interfaces
策略暗中携带训练支架的相对动作偏好，部署回报等于支架上限减去策略失配，两者可提前预测适配收益。
前置知识
Harness（支架/执行框架）
围绕语言模型的提示模板、工具集与控制逻辑的总称：它把任务状态编码成上下文呈现给模型，把模型输出解码并执行为具体操作（点击元素、运行命令等），还负责重试、校验、预算管理等控制流。同一模型配不同支架就是不同的智能体系统，如 SWE-agent、mini-SWE-agent、Terminus-2。
全文的研究对象就是支架：论文问的是策略从支架中学到了什么、换支架后什么能幸存，所有理论都围绕支架诱导的控制问题展开。
KL 正则化控制（KL-regularized control）
在回报最大化中对策略与参考策略的 KL 散度施加惩罚：$J(\Pi)=\mathbb{E}\big[\sum_t \gamma^t (r(s_t,a_t)-\tau\log\frac{\Pi(a_t|s_t)}{\pi_{\mathrm{ref}}(a_t|s_t)})\big]$，$\tau>0$ 为正则系数。其最优策略取 Gibbs/softmax 形式 $\Pi^*\propto\pi_{\mathrm{ref}}\exp(Q^*/\tau)$，最大熵强化学习与 RLHF/DPO 的理论都建立在这类目标上。
论文的全部理论结果（行为可辨识性、$J=C-M$ 恒等式、适配阈值）都在该目标下推导，Gibbs 形式是把'模型对数几率'翻译成'动作分数'的关键桥梁。
语义动作与接口
语义动作 $a\in\mathcal{A}$ 指智能体实际执行的操作及其参数（如点击某个元素），不同输出字符串解码后可执行同一动作。接口 $I=(c_I,d_I,e_I)$ 由上下文编码器、解码器、执行器构成，把 token 策略推挤成语义策略 $\Pi_{\theta,I}(a|s)=\sum_{y:d_I(y;s)=a}\pi_\theta(y|c_I(s))$。
同一份权重在不同接口下对应不同语义策略（读出不同），这是理解'字段顺序反转导致崩溃'与'读出漂移'等概念的前提。
上限（ceiling）与失配（mismatch）
上限 $C(I)=J_I(\Pi^*_I)$ 是支架下任何策略能达到的最优正则回报；失配 $M(\theta,I)=\frac{\tau}{1-\gamma}\mathbb{E}_{d^{\Pi}_I}\,\mathrm{KL}(\Pi_{\theta,I}\|\Pi^*_I)$ 是策略因偏离最优而放弃的回报，按策略自身轨迹的占用度加权。二者满足精确恒等式 $J(\theta,I)=C(I)-M(\theta,I)$。
这是论文的核心度量框架：训练只改 $M$，换支架同时动 $C$ 和 $M$，冻结式支架评测的系统性偏差正来自混淆这两项。
占用度（occupancy）
折扣占用度 $d^\Pi_I(s)=(1-\gamma)\sum_{t\ge0}\gamma^t\Pr^\Pi_I(s_t=s)$ 衡量策略自身轨迹到达各状态的频率。它决定每个决策点的局部 KL 损失对总回报损失的权重：常走的路径上的错误代价最大。
失配的定义、误差分解的加权、以及采样估计时按几何分布截停 pilot 轨迹取状态，全部依赖占用度才能无偏。
Bregman 散度与 log-sum-exp
$\Phi(F)=\tau\log\sum_a e^{F_a/\tau}$ 是动作分数的平滑最大值，其 Bregman 散度满足 $D_\Phi(F,G)=\tau\,\mathrm{KL}(\mathrm{softmax}(G/\tau)\|\mathrm{softmax}(F/\tau))$，度量分数误差造成的决策损失，小误差下近似二次增长。
它把'分数空间的三项误差分解'与'回报损失'精确联系起来，失配上界 $\varepsilon_d^2/(4\tau(1-\gamma))$ 正由其曲率导出。
MiniWoB++ 与 Terminal-Bench Lite
MiniWoB++ 是网页交互基准，论文取其中 3 个任务族（点击复选框、同义词复选框、按序点数字）编译成最优策略可精确求解的有限控制图；Terminal-Bench Lite 是终端编码智能体基准，含 39 个真实容器任务，用官方校验器判定成败。
前者提供'最优已知'的受控实验场用于验证理论，后者检验理论在'最优未知'的真实编码支架上的外推能力，两者缺一不可。
研究动机
智能体的支架——提示、工具与控制逻辑——经常被迭代修改，而自动支架设计方法（ADAS、AFlow、Darwin Gödel Machine 等）用同一个已训练模型在各候选支架上的得分评判优劣，隐含假设是模型在旧支架上学到的能力会原样迁移到新支架。经验证据并不支持这一假设：界面与提示格式的变化会显著影响性能，GUI-360° 报告同一界面改动让 GPT-4o 的动作预测更准、却让微调过的 Qwen 变差；训练还会把原本由提示供给的行为搬进权重。本文两个实验把问题推到极端。其一，把在 H0 支架下后训练的网页智能体的观测 JSON 字段顺序反转，字段内容不变、动作/执行/奖励/参考策略全部固定，可证明每个最优决策都不变，但模型仍在约一半状态（52.0%）上改变最可能动作，任务成功率从 85.0% 跌至 19.2%——保住'该做的决策'不等于保住'所做的决策'。其二，新增批量点击动作抬高了可达回报上限，冻结迁移却使成功率从 85.0% 降到 72.9%，固定权重的支架比较会因此否决一个经适配后反而能产出最佳智能体的支架。
本文的目标是论文要回答'策略从支架中学到了什么，换支架后什么能幸存'。目标分三层：第一，形式化刻画——在 KL 正则控制下证明最优策略的对数几率恰好辨识支架诱导的相对动作分数，即'策略暗中是一个支架'；第二，解释迁移失败机理——把模型换到新支架后的分数误差精确分解为目标偏移 $g_{12}$、训练残差 $e_1$、读出漂移 $\eta_{12}$ 三个向量项，区分'哪些最优决策变了'与'模型实际选择变了'；第三，给出可操作的度量与预测工具——证明部署回报等于上限 $C$ 减失配 $M$，推导出适配收益的失配阈值 $T=\Delta C+M(\theta_0,I_1)$，并在没有已知最优的真实编码智能体场景中用更强教师模型替位最优来估计 $\hat C-\hat M$，使研究者在训练之前就能判断哪些被冻结比较否决的支架改造值得投入适配。
与已有工作不同的是，已有研究大多把提示敏感性当作经验现象测量（如 Sclar 等只报告格式扰动导致的性能方差），无法证明最优决策是否改变；自动支架设计直接以冻结分数为目标函数；支架与权重联合优化的新方法（SIA、Co-Harness、WHALE）缺少'何时值得联合训练'的理论判据。本文的独特切入是用 KL 正则控制的精确恒等式把'支架能提供什么'与'模型用得如何'干净分离：相对动作分数固定全部决策，却不固定支架的价值（给每个奖励加同一常数不改变任何决策），价值必须由上限 $C(I)$ 单独补回，于是得到 $J=C-M$；再把每个支架诱导的控制问题编译成可精确求解的有限图，软贝尔曼给出精确最优，从而第一次能在'最优决策被认证逐点不变'（数值上限差 $2.2\times10^{-16}$）的条件下，把性能损失完全归因于模型的读出漂移而非任务、奖励或执行的变化。
核心方法
直觉上，后训练像把支架的'操作偏好'烙进权重：模型在训练支架下学会的'哪个动作比哪个好'，正是支架诱导出的相对动作分数。技术路线四步。第一步把支架形式化为接口 $I=(c_I,d_I,e_I)$，与固定环境一起诱导语义动作上的 KL 正则控制问题，最优策略为 $\Pi^*_I(\cdot|s)=\mathrm{softmax}(F^{*,I}(s,\cdot)/\tau)$，分数 $F^{*,I}(s,a)=Q^*_I(s,a)+\tau\log\pi^{\mathrm{ref}}_I(a|s)$ 合并长期价值与参考先验。第二步证明行为可辨识性：两接口最优决策等价当且仅当分数等价类 $[F^*]$ 相同；训练到最优的检查点满足 $\tau\log\frac{\Pi_{\theta,I_{\mathrm{tr}}}(a|s)}{\Pi_{\theta,I_{\mathrm{tr}}}(b|s)}=F^*(s,a)-F^*(s,b)$，对数几率完全暴露相对分数。第三步定义读出 $\hat F_{\theta,I}=\tau P_\perp\log\Pi_{\theta,I}$（模型经该接口表达的偏好），分解部署误差为目标偏移、训练残差、读出漂移；再用正则化性能差距恒等式得到 $J_I(\Pi_{\theta,I})=C(I)-M(\theta,I)$ 与适配阈值。第四步实验：MiniWoB++ 上编译 6 个支架的有限控制图做受控验证，Terminal-Bench Lite 上用教师替位最优做部署级估计。
核心命题是'策略暗中是一个支架'：训练到最优的策略虽不含支架的任何代码、工具或执行机制，其对数几率却精确携带支架诱导的相对动作分数（命题 3.1），且这些分数是通过训练接口表达的——同一权重换个接口读出的偏好可以不同（读出 $\hat F_{\theta,I}$）。由此得到两个与已有工作本质不同的结论。其一，分数只固定决策、不固定支架价值：给每个奖励加同一常数抬高回报却不改变任何决策，所以支架'提供什么'必须由上限单独补回，得恒等式 $J=C-M$。其二，冻结比较混淆两个自由度：固定支架下训练只改 $M$，换支架同时动 $C$ 和 $M$，因此一个抬上限的改造完全可能因暂时推高失配而被冻结评测否决；论文进一步推导出阈值 $T=\Delta C+M(\theta_0,I_1)$——适配后的失配一旦降到 $T$ 以下，'先伤害模型'的支架改造必然反超原配对。这与 DPO 系列的'语言模型暗中是奖励模型'呼应，但把可辨识对象从奖励换成接口的相对动作分数，并把'决策等价'与'价值等价'彻底分开。
方法步骤详情
第一步（形式化）：把每次模型调用视为决策 epoch，语义状态含任务状态、工具结果、预算与控制器记忆；接口把 token 策略推挤成语义策略 $\Pi_{\theta,I}$，诱导动力学 $P_I$、含执行成本的效用 $r_I$ 与语义参考 $\pi^{\mathrm{ref}}_I$，目标为 KL 正则回报。第二步（受控实验搭建）：在 MiniWoB++ 三个任务族上定义 H0–H5（H0 原生动作、H1 批量点击、H2 自动闸门、H3 程序校验工具、H4 冻结 LLM 审查器、H5 修订指令），把每个诱导控制问题编译成有限无环图，菜单中每个参数化动作一一对应单个 token；用 Qwen3.5-2B + LoRA（秩 16、$\alpha=32$）精确策略梯度训练 1024 步（lr $10^{-5}$、$\tau=0.1$、$\gamma=0.95$、每步 4 任务、单张 RTX 4090），冻结基模型作参考，软贝尔曼求解给出精确 $\Pi^*_I$ 与 $F^{*,I}$，几何误差取固定状态库上居中分数与最优分数的均方差。第三步（读出研究）：对 H0 检查点施加 5 种保持最优决策不变的呈现变体（字段反转、菜单列表化、动作码移位/反转/置换），测选择变化率、$M$、$J$、成功率。第四步（适配研究）：H0→H1 双分支等预算（继续训练 vs 适配）；再对 30 个有序交换中被冻结否决且 $T>0$ 的 9 个做适配，记录 $\Delta C$、冻结回报变化、$T$、预测增益 $T-r_2$（$r_2$ 为目标支架下直接后训练检查点的失配）。第五步（部署测量）：pilot rollout 按 $(1-\gamma)\gamma^t$ 截停取状态、采样动作加平滑得 $\hat M$，配合分数误差上界 $\varepsilon_d^2/(4\tau(1-\gamma))$；编码场景用 GPT-5.6-luna 替位最优，在 13 个动作类别上估计 $\hat C-\hat M$ 并与 Terminal-Bench Lite 准确率排序对照。
技术新颖性
技术新颖性有四点。第一，把可辨识性分析从奖励学习（Ng–Russell、EPIC、Skalse 等）推进到接口层面：证明行为辨识的恰是去掉逐状态常数的分数等价类 $[F^*]$，并构造性证明同一分数场可由连续族的参考先验、奖励甚至转移律实现（机制不可辨识），澄清了'从行为能读出什么、不能读出什么'。第二，$J=C-M$ 的精确分解与 Bregman 表示把 O'Donoghue 的正则化性能差距搬到支架比较语境，进而得到可事前计算的适配阈值与权重-接口交互量 $\Omega=A_2-A_1$，这是首个能判断'被冻结评测否决的支架改造是否值得适配'的理论工具。第三，读出漂移被单独隔离：通过编译控制图认证最优策略逐点不变，把提示敏感性研究从相关性观察升级为因果归因，并用输出对应双射给出漂移上界 $\|\eta_{12}(s,\cdot)\|_2\le\tau\sqrt{n}\,\delta_{\mathrm{tok}}(s)$。第四，测量理论面向真实部署：从采样动作估计失配、以更强教师替位未知最优，在 MiniWoB++（最优已知）与真实编码支架（最优未知）两个 regime 都验证了排序能力，且全部恒等式带数值自检（残差 $\sim10^{-16}$）。
实验结果
六项主要发现。① 受控后训练（图 3）：Qwen3.5-2B 在六个支架下训练 1024 步后，相对训练支架最优的几何误差下降 69%–90%，且在 576 个保留任务上与训练任务降幅相差不到 1 个百分点；交叉部署成 6×6 矩阵时，每个部署支架列中误差最低的都是该支架下训练的检查点——偏好被绑定到训练支架。② 读出研究（表 1）：字段反转改变 52.0% 状态的选择，失配从 0.015 升至 0.484，成功率 85.0%→19.2%；菜单列表化仅 9.2% 选择变化、成功率 86.0%；码移位/反转/置换成功率 57.1%/68.2%/67.6%；全部变体上限差 $\le 2.2\times10^{-16}$，损失纯由读出漂移造成。③ 批量点击适配（表 8/9）：H1 抬上限 $\Delta C=0.01248$，冻结迁移失配增加 0.12252（约为上限增益 10 倍），回报变化 $-0.11004$、成功率降至 72.9%；等预算适配后 H1 成功率 88.17%，超过源检查点（85.05%）与 H0 继续分支（83.37%），恢复差 $+0.00844$ [0.00135, 0.01447]，最终失配 0.01889 低于阈值 $T=0.02733$。④ 九个支架交换（表 10）：冻结否决的 22 个交换中 13 个 $T\le0$，其余 9 个适配后，抬上限的 7 个全部反超源配对（最大增益 0.085），降上限的 2 个无增益；事前预测 $T-r_2$ 的 Spearman $\rho=0.95$ 且符号全对，冻结回报变化仅 $\rho=0.17$。⑤ 采样估计（表 12）：配置扫描预测 RMSE 0.00230，比仅用上限（0.23470）低约百倍；适配恢复/排名小差异上比频率 rollout 准约 10 倍（0.00245/0.00286 对 0.02672/0.02667），72 个三类判断对 71 个。⑥ 编码智能体（表 2）：冻结 Qwen3.5-9B 在 5 个真实支架上准确率 47.9%（DeepAgents）到 64.1%（Terminus-2），$\hat C-\hat M$ 与准确率的 Spearman $\rho=1.0$，单项仅 0.7/−0.7；DeepAgents 失配最大（0.429），主因是每轨迹 14.2 次决策约为 Terminus-2（4.9 次）的三倍。附录 F.8 的精确对照同样显示仅上限选 H0、仅失配选 H3，只有 $C-M$ 全排序正确。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MiniWoB++ 读出研究（H0 检查点，观测字段顺序反转） | 任务成功率 (%) | 19.2 | 85.0（原始呈现 R0） | −65.8 个百分点（最优决策被认证不变，纯读出漂移所致） |
| H1 批量点击适配（等预算 1024 更新） | 任务成功率 (%) | 88.17 | 85.05（源检查点）/ 83.37（H0 继续训练） | +3.12 / +4.80 个百分点（配对区间不含 0） |
| MiniWoB++ 9 个支架交换的适配增益预测 | Spearman ρ | 0.95（预测 $T-r_2$，符号全对） | 0.17（冻结回报变化） | 秩相关提高 0.78 |
| Terminal-Bench Lite 编码支架排序（5 个支架） | 与准确率的 Spearman ρ | 1.0（$\hat C-\hat M$） | 0.7（仅 $\hat C$）/ −0.7（仅 $\hat M$） | 5/5 排序完全正确 |
| MiniWoB++ 配置扫描回报变化预测（72 个比较） | RMSE | 0.00230 | 0.23470（仅用上限） | 预测误差降低约 100 倍 |
局限与改进
作者承认的局限：教师替位估计中 GPT-5.6-luna 并非最优，$\hat C$ 只是上限的下界、$\hat M$ 度量的是到教师的距离，因此只能验证排序能力而非绝对量级；编码实验只在 3 个探针任务的记录状态上估计，动作被合并进 13 个粗类别，不同参数与效果的动作混在一起；'失配随决策数累积'的机制分析也基于这 3 个任务。我的补充观察：其一，受控研究的动作菜单被设计成'每个参数化动作对应一个 token'，读出因此可精确归一化，但真实支架的开放输出空间没有这种双射，理论到实践的桥接依赖动作类别这一粗糙代理；其二，适配需要再训练 1024 步的预算，论文未讨论适配成本与直接在目标支架上从头后训练的成本对比；其三，$J=C-M$ 依赖 KL 正则与参考策略的选取（$\tau=0.1$、冻结基模型作参考），不同 $\tau$ 或参考下上限与失配的数值不可跨设置比较；其四，实验限于 2B/9B 模型与小型任务族，读出漂移在更大模型、多轮长程任务上是否同量级仍是开放问题；其五，H4 支架内嵌另一个冻结 LLM 审查器，支架本身含学习组件时的理论处理并不完整。
独立分析的弱点
独立分析的弱点与改进方向。第一，读出脆弱性只有诊断没有修复：论文证明字段反转能把 85.0% 的智能体打到 19.2%，却只给出漂移上界 $\|\eta_{12}\|_2\le\tau\sqrt{n}\delta_{\mathrm{tok}}(s)$，未提出'对呈现扰动不变的训练'；改进方向是把呈现变体作为数据增广纳入后训练，或对多个等价呈现下的语义策略一致性加正则项。第二，教师替位估计系统性有偏：教师非最优使 $\hat M$ 混合了'学生与教师的差异'和'学生与最优的差异'，DeepSeek Harness 的大失配可能部分来自教师的规划风格而非支架缺陷；改进方向是多教师取一致子集、对称化 KL 估计、以及在更多探针任务上校准偏差。第三，动作类别合并丢信息：13 类把不同参数的命令并为同类，'inspect'占比高未必是浪费（可能是必要探索）；改进方向是按工具与参数粒度细分，或学习与执行效果对齐的动作嵌入。第四，适配阈值假设失配可被压到 $r_2$ 水平且比较是等预算的，实际优化可能陷入源支架读出的局部最优——H0→H1 的恢复差均值仅 0.008、区间下界贴近 0；改进方向是研究读出重置技术（如在目标支架上先用演示数据预热再强化学习）。第五，上限的跨支架可比性要求统一奖励尺度与 $\tau$，真实产品中各支架的执行成本、超时惩罚天然异质，公共尺度如何设定需要工程约定与敏感性分析。
未来方向
作者提出的方向：把采样失配测量接入支架蒸馏（Harness-Zero）与支架-权重联合优化（SIA、Co-Harness、WHALE），让训练循环实时跟踪 $C$ 与 $M$ 并按阈值 $T$ 决定是否切换支架；支架评测规范上建议同时报告冻结回报与上限、对每个支架评测多个检查点、并检查呈现变化对选择的影响。基于成果可延伸的方向：其一，'呈现不变训练'——把读出漂移度量作为正则项，后训练时随机化观测字段顺序与动作码，使语义策略在等价接口间稳定，从源头消除字段反转式崩溃；其二，把 $C-M$ 分解接入自动支架搜索（ADAS/AFlow/Darwin Gödel Machine）的目标函数，用 $T-r_2$ 预筛选候选、只训练有希望者，大幅降低搜索成本；其三，理论上推广到开放动作空间、部分可观测与随机执行（受控部分假设有限图与已知转移），以及 $\tau$ 与参考策略的自适应选择理论；其四，教师校正：用多教师或过程奖励模型逼近最优替位，给出 $\hat M$ 的偏差上界；其五，把'失配随决策数累积'转化为支架设计准则——弱模型下减少模型调用次数（压缩、批处理、缓存），或在轨迹中间监测失配并触发回退重启；其六，与上下文蒸馏联合评测：蒸馏后检查点的读出如何随接口变化，值得系统研究。
复现评估
复现条件总体较好。代码开源于 https://github.com/2020-qqtcg/HRP；受控部分细节完备：MiniWoB++ 三个任务族、6 个支架精确定义（表 4）、任务划分（训练 1440/校准 288/探针 72/测试 576）、训练配置（Qwen3.5-2B、LoRA 秩 16 缩放 32、AdamW lr $10^{-5}$、1024 更新×4 任务、$\tau=0.1$、$\gamma=0.95$、BF16 前向 + FP64 动态规划），单张 RTX 4090 即可完成一次训练，全部新概率测量共 2.19 GPU 小时，最优策略由软贝尔曼在有限图上精确求解，统计用 2000 次配对任务 bootstrap；恒等式带数值自检（$C-M$ 与独立计算残差 $\sim10^{-16}$）。编码智能体部分门槛更高：需本地部署 Qwen3.5-9B（32k 输出、64k 上下文、每轨迹 50 决策上限）×5 支架×3 次运行 Terminal-Bench Lite（39 任务），外加 GPT-5.6-luna 教师的 API 成本（高推理档、每状态 128/64 次采样），且教师估计只覆盖 3 个探针任务。总体难度：受控实验中等（难点在忠实编译任务图），部署估计中等偏上（支架工程琐碎、采样预算大，选定 m=256/N=1024 时每任务约 4.3 万次查询）。
论文图表
左组：H0 训练的源检查点权重冻结时在两支架上的成功率（H0 85.0%、H1 72.9%）；右组：等预算继续训练/适配后的成功率（H0 继续 83.4%、H1 适配 88.2%）。虚线标源检查点在 H0 下的成功率，颜色标评测支架：冻结比较否决 H1，适配后 H1 反而最好。
一图概括论文中心论点：冻结式支架比较会被暂时升高的失配误导，等预算适配后排名反转，是 $J=C-M$ 机制的最直观展示。
适配过程中按保存检查点画出精确值与两种预测：恢复差（H1 下回报减源 H0 配对回报）与支架排名差（H1 减 H0），量级仅百分之几；采样失配预测正确跟随排名反转时机，频率 rollout 高估并提前预测反转。
展示采样估计对'决定适配成败的小差异'的灵敏度，是测量理论走向真实部署的关键证据。