状态匹配路由与上下文化自蒸馏：当特权引导与多轮智能体失配时 When Privileged Guidance Misaligns: State-Matched Routing and Contextualized Self-Distillation for Multi-Turn Agents

完整流程：(1) GRPO rollout——在轮 t 环境给出观测 o_t 与可执行动作集 A_t，智能体保留历史 h_t，构造普通 prompt x_t=Prompt(g,h_t,o_t,A_t)，从 π_old 采样 y_t 并解析动作 a_t。(2) 状态签名重建——适配器从参考位置 k 的任务元数据与动作前缀 ā_{g,<k} 构造参考 pre-action 签名 σ̄_{g,k}=φ^ref_g(g,ā_{g,<k})，从学生实际历史/观测/动作集构造到达签名 σ_t=φ^stu_g(g,h_t,o_t,A_t)。(3) 动作接地 ã_{t,k}=Γ_g(ā_{g,k};A_t)，∅ 表示失败。(4) 匹配判定 C_t(k)=𝕀[σ_t⊨_gσ̄_{g,k}]𝕀[ã_{t,k}≠∅]，要求任务身份、状态兼容、候选可执行三者同立。(5) 路由 w_t=𝕀[max_k C_t(k)=1]，取最晚匹配位置 k_t。(6) 匹配轮渲染 c^SMRC_t=Render(p_g, Summary(σ_t), ã_{t,k_t})——完整路径给全局结构、状态摘要给已到达进展、接地候选给本地延续。(7) detach 的同步教师 π̄_θ 在 (x_t,c_t) 下对同一响应 y_t 用 chosen-token K3 估计器算 ℓ_{K3,t}。(8) 损失 L=L_GRPO+λ_SDL·L_SDL，L_SDL=Σ_t w_t ℓ_{K3,t}(c_t)/Σ_{t,i} m^{res}_{t,i}，分母是全部响应 token，路由只减少 SDL 总权重而非重归一化，GRPO 始终在每个轨迹活跃。(9) 推理时策略只用普通 prompt x_t，参考/签名/匹配器/候选/教师上下文全部移除。匹配、接地、渲染在 CPU 侧完成，仅教师打分上 GPU。

技术新颖性体现在四个方面。第一，识别出「状态-参考失配」这一上游可靠性问题，并用一组固定状态的教师干预实验（Table 1）直接量化它：在 800 个 A 锚点上，SMRC-SD 让已同意动作分数下降超过 0.01 的仅有 1 次（0.1%），而 C（不匹配但有效动作）在 FullPath-SD 下的观测动作分数均值变化为 −0.052，A−C 对比为 +0.070 [+0.012,+0.153]，证明兼容性确实区分了参考可靠与否。第二，方向性支持关系 ⊨_g 是非对称的、字段精确的：只有「会改变下一动作含义/可执行性」的字段才被检查，无关进展不否定延续，这与泛化状态相似度根本不同。第三，匹配既决定「是否蒸馏」（路由 w_t）又决定「如何条件化」（上下文 c_t），把两个此前被分开处理的设计耦合在一起。第四，整套特权机制完全是训练期（training-only）的：部署时推理 prompt 一字不改，不存在参考泄露到评测动作序列的风险，这通过把 reference/adapter/matcher/summary/candidate 全部移除来保证。

独立分析后，我看到四个可改进的弱点。(1) 状态签名高度依赖人工字段工程。ALFWorld 需要逐字段规定 take/move/put/drop/clean/cool/heat/slice 如何更新库存与属性，WebShop 需要规定选项集合的顺序不变性与 buy now 的可接地条件。每迁移到一个新环境都要重写适配器，泛化成本高。改进方向：用一个轻量学习型状态编码器（如基于交互历史的编码 + 对比学习）替代手工签名，或用 LLM 本身做 in-context 的状态等价性判断。(2) 只用精确任务参考，且每任务仅一条。当训练任务没有成功 walkthrough、或参考本身次优时，匹配覆盖率会下降（ALFWorld 仅 20.2%）。改进方向：引入同族任务的参考池并用结构化相似度做软匹配/加权，把 Table 1 中「同族路径 +0.442」这部分被浪费的信号用起来。(3) 匹配是硬二值路由 w_t∈{0,1}，不匹配轮完全得不到参考信号，但这些轮恰恰是学生最可能「迷路」的时刻。改进方向：对不匹配轮引入一个「参考无关」的辅助信号（如基于结果奖励的 GRPO 加强、或一个 learned fallback teacher），或对匹配程度做连续加权而非硬切。(4) 评测规模与多样性有限。仅在 ALFWorld（128 任务）和 WebShop-small 上验证，没有代码交互（如 SWE-bench 类）、真实开放网页、长视野（>50 轮）或多模态场景。改进方向：扩展到至少一个真实网页基准和一个代码 agent 基准，验证 ⊨_g 关系在更复杂状态空间下是否仍可手工定义，或必须走向学习型匹配。

作者明确提出的延伸包括：把成功参考当作「条件计划」的范式推广到更多交互式环境，以及探索跨任务参考的复用。基于本文成果，我认为还有几条可延伸的研究线：(1) 学习型状态匹配——用一个对比训练的小模型预测「σ_t 是否被 σ̄_{g,k} 支持」，摆脱手工字段工程，使方法能扩展到状态空间庞大或不可符号化的环境（如真实 DOM 网页、代码执行轨迹）；(2) 软路由与不确定性——把 w_t 推广为 [0,1] 的置信权重，结合匹配器的近似度给出连续监督强度，理论上能回收一部分不匹配轮的信号；(3) 跨参考与参考池——从「单条精确任务参考」扩展到「同族多参考 + 结构化检索」，把 Table 1 里同族路径的较弱但非零引导力充分利用；(4) 在线参考发现——把 ReAct/Reflexion 式的探索轨迹即时结构化为新参考，使匹配池随训练动态增长；(5) 与长视野记忆（SAMem、Agent Workflow Memory）结合——把状态签名作为长程经验的索引接口，让匹配不仅服务于单次蒸馏，还服务于跨 episode 的经验复用。

复现度较高。代码已开源在 https://github.com/liujunzhuo/SMRC-SD。数据完全公开：ALFWorld 用基准自带 3,553 条 TextWorld 专家 walkthrough（平均 6 动作，范围 3–10），WebShop 用 1,000 商品的 WebShop-small、6,910 个确定性构造目标 trace（平均 5.08 动作，范围 3–6），前 500 目标留验证。关键超参全部列出（Table 21/22）：GRPO γ=1,λ=1,组内标准差归一化,无 KL 奖励；actor 学习率 1e-6 常数,无 warmup,权重衰减 0.01,单 PPO epoch,clip 0.2/0.2,dual-clip 3.0,熵系数 0.001,梯度范数裁剪 1.0；训练温度 1.0,验证温度 0.4；λ_SDL=0.01,K3 chosen-token 估计；checkpoint 为 Qwen3-ALFWorld update 250、其余 update 150,明确声明未按验证集挑选,随机种子全固定为 0。算力：4×NVIDIA H800,PyTorch FSDP actor+同步 reference,vLLM rollout（tensor parallel=1,动态 batching,梯度 checkpointing）。CPU 侧匹配开销小（每匹配轮 0.833ms,p95 1.335ms；参考索引一次性 437ms）。复现难点：WebShop 需专门 conda；适配器字段规则（ALFWorld 属性互斥、WebShop 顺序不变选项集）需逐条对照附录；固定锚点干预需冻结两 scorer 做 game-cluster bootstrap。有代码+超参+数据,同等算力可复现主结果。