面向冻结 LLM 的证据高亮学习 Learning Evidence Highlighting for Frozen LLMs

方法分为四个阶段。**阶段一：Actor 编码**。把 query $Q$ 和 context $X = (x_1, ..., x_L)$ 拼成一个序列送入带 LoRA 的预训练 LM（Actor），关闭 KV 缓存以减小开销；提取最后四层隐藏状态的凸组合作为 token 表征 $\tilde{x}_t = \sum_{i=1}^4 w_i h_t^{(L-4+i)}$（权重 $w_i = \text{softmax}(a)_i$ 学得），比单用最后一层更稳健。**阶段二：重要性打分与预算投影**。在 $\tilde{x}_t$ 上接一个共享 LayerNorm + 可学习向量 $w_p$ 投影，再经温度 $\tau$ 控制下的 sigmoid 得到每个 token 的重要性概率 $p_i = \sigma(w_p^\top \text{LayerNorm}(h_i) / \tau)$，构成 token 级伯努利因子化策略。训练时按 $p_i$ 采样得到 $\tilde{M}$，再用确定性投影 $M = \text{Proj}_k(\tilde{M})$ 保留概率最高的 $k = \lfloor \gamma L \rfloor$ 个 token；推理时直接取 top-k 作为掩码，不采样。**阶段三：span coalescence 与 tag 注入**。把相邻被选 token 合并为 span，对间隔 $\le \delta$（默认 $\delta = 10$）的短 gap 桥接以保持语义单元完整；在每个 span 的左右端点插入 / 形成 $\hat{X} = g(X, M)$，原始文本与顺序完全保留。**阶段四：分组策略梯度更新**。对每个 instance 采样 G=4 个掩码、对应 4 个 $\hat{X}_j$、4 个 Solver 输出 $y_j$、4 个奖励 $r_j = R(y_j, y^*)$；在组内做 advantage 归一化 $\hat{A}_j = (r_j - \mu_r) / (\sigma_r + \epsilon)$；最小化 $L(\theta) = L_{PG} + \lambda_{len} L_{LEN} + \beta_{ent} L_{ENT}$，其中 $L_{PG} = -\frac{1}{G} \sum_j \hat{A}_j \log \pi_\theta(\tilde{M}_j | Q, X)$ 在 pre-projection 伯努利分解上计算、$L_{LEN} = (\frac{1}{|\Omega|}\sum_{i\in\Omega} p_i - \gamma)^2$ 软约束平均选择率贴近预算、$L_{ENT} = -H(\pi_\theta)$ 鼓励探索。优化器 Adam、lr=$1\times 10^{-4}$、wd=$1\times 10^{-2}$，$\lambda_{len}=0.01$、$\beta_{ent}=1.0$。对 Solver 而言，调用全程冻结、梯度与激活都不暴露，所以兼容 open-weight 与 API-based 模型。

技术新颖性体现在四个层面。第一，**问题建模新颖**：把 evidence selection 形式化为”在 budget 受控的离散 token 决策 + 弱监督 RL“的组合，与 retrieval/pruning 的硬选择和 summarization 的软压缩在数学上都不一样；budget 约束 $\sum_i M_i \le \gamma L$ 和 soft target-length regularization $(\bar{p} - \gamma)^2$ 同时保证硬可行性和训练稳定性，是少见的”双层 budget“设计。第二，**训练机制新颖**：使用 grouped policy gradient（GRPO 风格的组内 advantage 归一化）+ entropy bonus + length penalty 的组合损失（式 8），其中 $L_{PG}$ 在 pre-projection 伯努利分解上计算、$L_{LEN}$ 在投影后的掩码上引导 mean selection probability，使 Actor 学会”用足预算”而非”尖刺式选择”。第三，**架构与数据效率**：Actor 采用 LoRA（rank r=8, α=16）冻结 Qwen 骨干、最后四层凸组合 token 表征、轻量 policy/value head，可训练参数极少；Solver 端完全不更新。第四，**跨模型可迁移性**：通过 tokenizer offset mapping 把 token 级重要性投影回字符级 span，再用目标 Solver 自己的 tokenizer 重新分词，使得同一 Actor 训练的 emphasis 策略可以 zero-shot 部署到 Qwen3-4B/8B/32B、Gemma-3-27B、Llama-3-70B、GPT-5 mini 共 5 个未见 Solver，验证学到的不是 Solver 特异性噪声而是任务/输入结构。

**弱点 1：Token-level 决策与语义 span 的错配**。Actor 的基本动作空间是 token，但在 Amazon-Beauty 这种 item-level 场景里，单条评论就是一个最小语义单元；当前做法靠 span coalescence（$\delta=10$）后处理，而 tokenizer 不同会导致同一语义 span 被切成不同长度的 token 序列。**改进方向**：把动作空间从 token 级升级到 sentence/passage/atomic-span 级，或用 semantic chunker 在编码前先做固定语义切分；也可以引入 differentiable soft selection（如 Gumbel-softmax over chunks）以避免 hard mask 的不可微。**弱点 2：奖励稀疏导致策略梯度方差大**。Amazon-Beauty HR@10 几乎都在 0.02~0.03 区间，单条样本的 reward 经常是 0 或 1，G=4 仍然可能全组 reward 相同导致 advantage 全零。**改进方向**：引入 dense shaping reward，例如对 Actor 选中的 span 用启发式方法（如与 BM25 召回 top 文档的重叠率、与人工标注 supporting fact 的 ROUGE）作为辅助 reward，或在 loss 中加入类似 InstructGPT 的 KL 锚定项防止策略漂移。**弱点 3：固定预算 $\gamma$ 无法自适应**。$\gamma=0.25$ 对 Amazon-Beauty 是经验最优，但对 HotpotQA、SQuAD 这种 evidence 集中、上下文相对短的任务则可能”过度标记”。**改进方向**：让 Actor 同时预测一个 instance-wise budget（如输出 $\gamma_i \in [0.05, 0.5]$ 的连续值）或用 hierarchical policy（先决定 budget 再决定 mask），并把 budget 选择也纳入 RL 目标；也可以分阶段训练——先用大 budget 训、再 distill 到小 budget。**弱点 4：跨 Solver 迁移依赖字符级回投，但 solver prompt template 不一致**。Actor 训练时 Solver 用的是 [CONTEXT]...[/CONTEXT] 模板，但目标 Solver 的 prompt 可能不同；Table 11/12 的迁移成功只能说明 emphasis 位置对，但 markup 是否被新 Solver 正确解析未做敏感性测试。**改进方向**：在训练时加入 prompt-template randomization，或在迁移时用一个轻量 prompt-adapter 把 emphasis 映射成目标 Solver 偏好的 markup 格式。**弱点 5：缺少失败模式定向优化**。Table 14 显示 16.5% 的失败是”强调到非关键 span”——但没有专门针对这种 false positive 的损失项；33.8% 是”推理仍失败”——说明 Actor 学不到”什么 evidence 才足以让 Solver 答对”，而只是”什么 evidence 与答案相关”。**改进方向**：可以加入 contrastive negative mining（用故意错答的样本作为反例）或 counterfactual reward shaping（如果把 emphasized span 去掉 reward 下降多少，作为 importance signal）。

**作者明确提出的方向**：(1) cache-aware conversational serving——把 emphasis 模块扩展到多轮对话场景，借助 prefix cache 复用高亮分数，避免每轮重新跑 Actor；(2) systematic comparisons with rewriting-based query-adaptive methods——和 query rewriting、context rewriting 系列做 head-to-head 对比，厘清 markup vs rewrite 的适用边界；(3) 在未来 GR2（Generative Re-ranking with Reasoning）部署中作为预处理层，在 generative re-ranking 前先 mark 关键用户历史片段。**基于结果可延伸的方向**：(1) **多模态扩展**——把 evidence emphasis 推广到图文混排、视频帧选择、表格 cell 高亮，验证该框架在非纯文本场景下的通用性；(2) **Hierarchical / multi-granularity emphasis**——同时学习 sentence-level 和 token-level 重要性 mask，构造两阶段决策 tree（先选段落再选 token），缓解 token-level 与语义 span 的错配；(3) **Self-play / curriculum 训练**——让 Actor 在训练中访问 Solver 的多步推理过程，根据推理路径反推哪段 evidence 起了决定作用，作为更稠密的 reward shaping；(4) **与 test-time scaling 结合**——当前 HiLight 用单次强调 + 单次 Solver 调用，未来可以尝试 N 次采样不同 emphasis 后做 best-of-N 投票，进一步逼近 Self-Consistency 的效果但成本更低；(5) **OOD 域迁移**——在 Amazon-Beauty 训练的 Actor 是否能 zero-shot 迁移到 Amazon-Sports、Amazon-Toys 等其他领域，论文没做，可以验证 evidence pattern 的领域泛化能力；(6) **理论分析**——为什么 Gemma-3-27B 上 NDCG@10 提升 +31.56% 而 Qwen3-8B 仅 +12.43%？可以用 attention rollout 或 SHAP 等 attribution 方法分析 emphasis 与不同 Solver attention 的契合度。

**代码与数据**：(1) 作者所属机构 Stony Brook University + Meta AI，论文没有给出官方代码链接，但从附录 C 的详细程度（actor 架构、LoRA 超参、data preprocessing、prompt 模板全部列出）来看，作者预留了较强的可复现基础；(2) 数据集均为公开 benchmark：Amazon-Beauty、HuggingFace 上的 HotpotQA、SQuAD 2.0、PubMedQA，Appendix C.2 还给出了 Amazon-Beauty 的 co-vis graph 构建细节（window radius w、衰减 α=0.85、M=10、K=40）。**算力门槛**：4 张 NVIDIA RTX PRO 6000 GPUs，单卡可跑（默认 batch size=1）；最大 Actor 仅 4B、训练时间应在数小时到一天量级（Solver 端 12K 次调用 × 8~18s ≈ 27~60 小时，但 batch size 1 + 4 卡并行可压到 7~15 小时）；不像 LLM 全参数训练那样需要大规模集群。**复现难度**：中等偏下。(a) 优点：超参全公开（Table 15 列出 $\tau=1.0$、$\gamma=0.25/0.15$、$\delta=10$、G=4、$\lambda_{len}=0.01$、$\beta_{ent}=1.0$、lr=$1\times 10^{-4}$、wd=$1\times 10^{-2}$、LoRA r=8 α=16），prompt 模板完整附录，所有 baseline 的 meta-prompt 也都给出。(b) 缺点：没开源 Actor 训练代码、数据预处理 pipeline、co-vis graph 构建脚本；不同 RL 框架（自定义 GRPO vs TRL vs OpenRLHF）的实现细节会影响奖励方差，进而影响最终性能；OpenRLHF 复现的读者需要自己确保 Solver 的 batched inference 与 Actor 同步。**验证清单**：复现时应优先对齐 (i) Span coalescence 的 $\delta$ 与 tag 的 token 化方式（直接影响 marker robustness 实验）；(ii) Grouped policy gradient 的 advantage 归一化是否在 instance 内（不是 batch 内）；(iii) Target-length regularization 的 mask 范围 $\Omega$ 是否排除 query tokens（appendix C.4 提到 QA 任务只对 evidence span 加 highlight，query 排除在外）；(iv) Amazon-Beauty 的 candidate 生成是否严格按 co-vis graph + 指数衰减做，否则 HR@10 绝对值差异会很大。