Agent-Omit：通过智能体强化学习训练高效LLM智能体实现自适应思考与观察省略 Agent-Omit: Training Efficient LLM Agents for Adaptive Thought and Observation Omission via Agentic Reinforcement Learning

Agent-Omit的方法包含以下完整步骤：首先是省略轮次识别，通过蒙特卡洛展开遍历交互轨迹，对每个轮次t显式省略思考τt或观察ot，然后让智能体继续推理直至完成任务，如果省略后token减少且准确率不下降，则标记该轮次为可省略。其次是层次化省略行为合成，分为单轮省略和多轮省略两种场景。单轮省略教会智能体省略格式：对于思考省略，生成空的；对于观察省略，输出命令触发历史观察的移除。多轮省略则构建完整的省略轨迹，迫使智能体在省略后的上下文中维持推理连续性。然后是冷启动训练，使用标准语言建模损失在合成数据上进行全参数微调，并对环境观察应用损失遮罩确保策略只学习智能体生成的token。最后是省略感知的强化学习，采用双采样机制：完整轨迹y用于评估整体效果，部分轨迹y'（在省略触发点截断）用于学习省略前的上下文条件下的省略策略。奖励函数包含任务奖励Rtask和省略奖励Romit，其中Romit = Tok(τomitted)/Tok(y) + Tok(oomitted)/Tok(y)，通过µ=0.2的权重平衡两者。

Agent-Omit的技术新颖性体现在三个方面。第一是双采样机制的设计，解决了上下文变化问题：一旦观察被省略，智能体就无法看到省略前的信息，导致传统RL训练中省略策略不可学习。通过将采样解耦为完整轨迹和部分轨迹，智能体可以在保留省略前上下文的条件下学习省略决策。第二是省略奖励的设计，通过token节省比例直接激励效率提升，同时通过Rtask=0时Romit=0的约束防止奖励黑客攻击。第三是理论保证，作者证明了省略策略的误差被KL散度上界约束：|E[R(y*)] - E[R(y)]| ≤ δr + K'r · KL(π*, πθ)，这意味着随着学习策略逼近最优省略策略，性能会单调改善。

从独立分析的角度，Agent-Omit存在以下几个弱点。第一，省略粒度问题：当前方法只能在轮次级别进行省略（整个思考或整个观察），但实际上一个轮次内的思考可能部分冗余部分关键，轮次级粒度过于粗糙。改进方向是引入token级或句子级的省略策略，通过注意力机制识别每个token的重要性。第二，省略不可逆：一旦省略了某轮观察，后续轮次就无法恢复该信息，但如果后续推理发现需要该信息，就会导致失败。可以引入软省略机制，保留压缩版本而非完全删除。第三，奖励设计的局限：省略奖励只考虑token数量，没有考虑信息质量，可能导致过度省略。可以引入信息论指标（如互信息）来衡量被省略信息与任务的相关性。第四，缺乏对省略错误的恢复机制：当省略决策出错时，智能体没有撤销省略的能力，可能导致级联错误。

论文作者提出未来将探索将省略数据合成扩展到大规模预训练阶段，并将训练范式推广到更大规模的LLM。基于本文成果，还可以延伸以下研究方向：（1）将省略策略与检索增强生成（RAG）结合，让智能体在省略观察后仍能按需检索关键信息；（2）探索跨任务的省略策略迁移，当前方法需要在每个环境单独训练，能否学到通用的省略模式；（3）将省略机制与思维链（Chain-of-Thought）压缩结合，在省略冗余思考的同时保留关键推理步骤；（4）研究省略策略的可解释性，让人类理解智能体为什么选择省略某些内容。

论文的复现条件较为友好。代码和数据已开源于GitHub（https://github.com/usail-hkust/Agent-Omit）。训练数据方面，SFT阶段仅需2-4K合成样本，RL阶段每个环境需要374-2,120个样本，数据规模可控。算力需求方面，训练Qwen3-8B需要8张NVIDIA A100 GPU，SFT阶段约1小时收敛，RL阶段根据环境复杂度需要16-36小时。五个评估环境（DeepSearch、WebShop、TextCraft、BabyAI、SciWorld）均有公开的sandbox实现。复现难度中等，主要挑战在于RL训练的超参数调优（如学习率、rollout数量）和合成数据的质量控制。论文提供了详细的超参数配置表（Table 4）和系统提示词模板，降低了复现门槛。