LongAct：利用内禀激活模式实现长上下文强化学习 LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

方法实施可拆解为四步。第一步SFT冷启动：用LLaMA-Factory在20k AM-DeepSeek-R1-0528-Distilled样本上做Cross-Entropy训练，cosine schedule峰值lr=2e-5、warmup=0.03、最大长度16384、训练900步，让模型掌握...格式作为RL的policy prior。第二步RL阶段环境搭建：基于verl框架，使用DAPO作为默认算法(GRPO/CLIP-conv/KL-conv亦可)，混合DocQA-RL-1.6K与MemAgent的1k随机样本，lr=1e-6、最大长度32768、batch size=8、每prompt采样16条rollout、温度=1.0、最大输出长度4096。第三步也是核心：saliency-guided sparse update——对每个训练step，先前向计算Q=H_in W_Q^⊤、K=H_in W_K^⊤，按公式(2)沿batch和序列维聚合得到 M_Q∈R^{H_Q×D}、M_K∈R^{H_KV×D}，再在每个head内做top-k选取 K_h={d|d∈arg max_{d'} M_Q[h,d']^k}，k=⌊λD⌋，按公式(8) j(h,d)=h·D+d 映射到global row，构造二值掩码 G_Q∈{0,1}^{H_Q×D×d_model}，对应行r∈{j(h,d)|∀h,d∈K_h}置1其余置0，K的掩码同理。第四步反向传播时按公式(11)对梯度施加掩码 ∇W_Q←∇W_Q⊙G_Q、∇W_K←∇W_K⊙G_K，其余参数(W_V、W_O、MLP、LayerNorm等)按全参数方式更新；计算开销可忽略，因为M_Q/M_K的ℓ2-norm聚合在collapsed H×D张量上。

LongAct的技术新颖性体现在三个层面。第一层是观察层面的新颖：作者首次系统量化了「高幅度激活的稀疏结构在head-dim平面具有规律性」这一现象，并通过跨任务(RULER/LongBench v2)、跨算法(GRPO/DAPO/KL-Cov)的ablation证明它具有鲁棒性——这是把量化领域的outlier insight迁移到RL优化的关键桥梁。第二层是工程层面的新颖：把top-k选择从global改为intra-head(公式9)，既保留了多头架构的结构信息，又让每个head能根据自身saliency profile独立选择critical dimensions，避免某些head因「被摊薄」而漏选关键dim；附录A给出了一个H=2、D=4、λ=0.3的toy example展示索引机制。第三层是理论层面的新颖：作者在Discussion中给出双重justification——representation perspective(Jin 2025证明高幅度激活编码contextual knowledge，而长上下文任务本质上需要contextual grounding)与optimization perspective(Mukherjee 2025揭示RL本质是fine-tune 5-30%的subnetwork，LongAct天然符合这一sparse regime)，把经验性方法提升到了有理论支撑的层面；与MIGU的关键区别是LongAct在single-task上利用intra-head L2-norm做intra-task saliency guide，颗粒度更细。

独立审视本文，可以指出三个独立弱点及对应改进方向。第一，saliency计算依赖于每个RL step的当前batch，这引入了batch-level的方差——同一个权重行在不同mini-batch上可能被选中或未被选中，训练轨迹因此有「间歇性更新」的特征，可能造成优化器的Hessian估计不准；改进方向是用EMA(指数移动平均)维护M_Q/M_K的长期统计量，让掩码更稳定。第二，方法只冻结了W_Q/W_K，其余参数(W_V、W_O、MLP、embeddings)全量更新，这种非对称的sparsity可能在长链推理中产生「未冻结参数的drift抵消稀疏更新的增益」现象；改进方向是引入更结构化的sparsity budget，比如把W_V也纳入saliency-guided update或对所有线性层统一做top-k选择。第三，扰动分析(Table 8)虽然给出causal证据，但只在推理时clamp到global mean，没有测量不同clamp target(zero, random, quantile)的影响，也没有覆盖MLP层的outlier；改进方向是补一组MLP-layer的扰动对照实验，并尝试用更surgical的干预(只改1-2个head)定位最critical的attention head。这三点改进结合起来有望把LongBench v2的36.73进一步推到38+。

作者在Limitations和Discussion里点明了两个未来方向：一是把scaling扩展到更大模型(Qwen3-32B/72B甚至Llama-3.1-405B)，验证saliency-guided sparse update是否在更大模型上仍然拿到类似+3~4的增益；二是更深入地与MIGU等多任务saliency方法做对比，探索LongAct能否扩展到multi-task setting。基于本文成果还可以延伸出三个值得探索的方向：第一，把激活稀疏性作为probe去研究RL不同阶段(model collapse之前、reward hacking期间、policy convergence之后)的表征变化，理解LongAct到底是在加速收敛还是改写优化landscape；第二，把LongAct的intra-head top-k idea与attention sink、KV-cache eviction结合，因为在长上下文推理时KV-cache本身就占用大量显存，如果能证明高幅度激活对应的KV通道可以保留而其他通道可以offload，将直接降低long-context serving cost；第三，把Q/K之外的W_V纳入saliency mask，因为从Figure 5来看V的激活分布也呈现出相对结构化的pattern，作者选择不更新V是基于「避免过度限制模型」的保守判断，但缺少ablation验证。

本文复现性整体较高：所有用到的backbone(Qwen3-8B-Base、Qwen3-4B-Base)都是HuggingFace上的公开checkpoint，SFT数据AM-DeepSeek-R1-0528-Distilled(20k样本)、DocQA-RL-1.6K、MemAgent都已开源，训练框架LLaMA-Factory和verl也都是活跃维护的GitHub项目；硬件配置8块H800 80GB(约等效A100 80GB)和SFT 900步+RL若干step的训练规模在中等实验室可承担。但有几点会降低复现成本：第一，reward function虽然简单(r_fmt+r_ans)但需要基于LongBench v2 ground truth解析，这部分代码作者未明确开源地址；第二，saliency-guided sparse update需要在verl框架内插入自定义的gradient hook(mask generation + masked backward)，需要修改trainer逻辑，工程实现门槛不低；第三，LongBench v2/RULER/InfiniteBench的评测脚本依赖官方repo(vLLM+固定seed=0)，复现者需要保证评测时vLLM版本一致；第四，Qwen3-8B-DAPO baseline的复现本身就需要跑一遍完整的SFT+DAPO流水线作为对照，整体时间成本较高。整体而言复现难度中等偏上，作者提供了充足细节(Table 1-8的超参数表)使得核心结论可独立验证。