ARISE: 分层强化学习中具有内在技能演化的智能体推理 ARISE: Agent Reasoning with Intrinsic Skill Evolution in Hierarchical Reinforcement Learning

ARISE 的完整训练流程分为两个阶段。Phase I (前 500 步)：(1) 初始化 Cache 包含 5 个种子技能（如 equation setup、case enumeration），Reservoir 为空。(2) 对每个查询 q ~ D，采样 G=8 条轨迹 tau_i ~ pi_theta^old(|q)，计算二元奖励 r_task^i in {0, 1} 和组相对优势 A_hat_i = (r_i - mu_G)/(sigma_G + epsilon)。(3) 收集正向优势轨迹 tau^+，执行技能生成 rollout O_{G+1}，生成新技能 m_new ~ pi_theta(|q, tau^+)。(4) 更新 M_c 和 M_r：插入新技能，执行 UPDATE (通过 EMA 更新选定技能的效用)、EVICT (将最低效用技能移至 Reservoir)、LOAD (高效用 Reservoir 技能与低效用 Cache 技能交换)、DELETE (移除无用 Reservoir 技能)。(5) 通过 L_GRPO(theta) 更新策略参数。注意此阶段技能选择未激活，rollouts 不使用技能。Phase II (501 步开始)：(1) Manager 对每个查询，为所有 Cache 技能计算条件对数概率得分 s_k（通过 Eq. 2），转换为选择分布 p_k，结合 epsilon-greedy (epsilon=0.1) 采样技能 z_t。(2) 如果 max_k p_k >= delta (置信门阈值 0.35)，将选定技能以 SKILL:{...skill JSON...} 前缀形式注入 prompt，否则不注入。(3) Worker 基于增强 prompt 生成 G 条轨迹 tau_i ~ pi_theta^old(|q, m_tilde_{z_t})。(4) 计算分层奖励 R_i = r_task^i + r_skill^i in {0, 1, 2}，其中 r_skill^i = 1 仅在使用技能且正确时授予。(5) 执行 O_{G+1} 技能生成和库维护（同 Phase I）。(6) 通过 L_GRPO(theta) 更新策略，现在重要性采样比率为 rho_{i,l} = pi_theta(x_{i,l}|q, m_tilde_{z_t}, x_{i,<l}) / pi_theta^old(x_{i,l}|q, m_tilde_{z_t}, x_{i,<l})。

ARISE 的技术新颖性体现在三个层面。首先，技能选择的内在化：通过策略自身的条件对数概率评分替代外部检索器，使优势信号能够端到端地塑造选择偏好。实验显示当同组包含 R=2 和 R=1 轨迹时，组相对优势会为 R=1 分配负值（当 mu_G > 1），actively down-weighting 正确但未使用技能的轨迹，这是一种强化的 skill adoption 信号。其次，两层 Cache-Reservoir 架构平衡了效率与持久性：Cache 限制在 10 个技能控制计算开销（每个 query 约 0.3 秒，占总时间 4.7%），Reservoir 保留 100 个技能防止过早丢弃。LOAD/EVICT 机制确保库饱和后改进主要来自更好的选择而非持续扩张，实验显示库大小在 1500 步后饱和但准确率持续上升。最后，技能生成的约束机制：220 字符硬限制确保 log-probability 评分反映语义相关性而非长度偏差，JSON schema 统一格式（skill name、problem type、key insight、method、check）保证技能结构一致，实验显示这种蒸馏方式成功率在 warm-up 后超过 85%。相比 EvolveR（7.9% token overhead，0.7-point Omni-MATH gain），ARISE 仅 3.0% overhead 但获得 2.9-point gain，在 accuracy-gain-versus-overhead 空间达到 Pareto 最优。

独立分析的弱点包括：(1) 技能压缩损失：220 字符硬限制强制技能高度抽象，可能丢失领域特定细节。改进方向是可变长度技能或分层技能结构（宏技能调用微技能），但需平衡 log-probability 评分的公平性。(2) EMA 效用偏差：当前效用更新 u_{z_t} <- beta u_{z_t} + (1-beta) R_t 主要反映累积奖励而非因果贡献，高分技能可能因被选中解决简单问题而非实际提升性能。改进方向是结合信息增益指标 IG(m_k) 进行加权效用估计，或在 LOAD/EVICT 中增加因果约束。(3) 种子技能有限性：仅 5 个种子技能初始化可能限制早期探索，特别是在数学基础较弱的模型上。改进方向是领域自适应种子技能（针对不同数学领域初始化不同种子集）或课程式种子注入（随训练进展逐步引入更专业种子）。(4) 置信门静态阈值：delta=0.35 是全局常数，不适应问题难度分布。改进方向是动态阈值 delta(q) 基于查询复杂性（如 token 数量、问题类型）或历史成功率自适应调整，或学习门控网络 pi_gate(q)。(5) 技能生成依赖正向稀疏性：训练早期 A_hat_i > 0 轨迹稀少时，O_{G+1} 可能生成质量不稳定技能。改进方向是早期使用种子轨迹或更宽松的正向标准，或引入技能质量评估模块过滤低质技能。

作者提出的未来工作方向包括扩展 ARISE 到多工具智能体任务和代码生成，其中可复用技能形式可能是可执行过程而非推理启发式。基于成果的可延伸方向：(1) 多技能注入：当前每次选择一个技能，可扩展为技能组合，使用注意力机制或软投票融合多个技能，类似 few-shot prompting 中的 example selection。(2) 跨任务技能迁移：在多个任务间共享技能库，通过元学习框架让技能成为可迁移的抽象，而非任务特定。(3) 技能层次化：构建技能 DAG（有向无环图），高阶技能调用低阶技能，形成推理技能的层次结构，类似于人类专家知识体系。(4) 技能质量预测：训练独立的技能质量评估器，基于技能文档的语义特征、历史效用和 IG 指标预测未来贡献，用于更智能的 LOAD/EVICT。(5) 自适应管理策略：用强化学习学习五个管理操作的策略而非固定顺序，使库管理成为可优化组件。(6) 推理时技能选择优化：当前推理时用 epsilon=0 (纯 exploitation)，可引入推理时探索或上下文自适应选择，基于查询不确定度动态调整选择策略。(7) 与其他记忆机制结合：ARISE 侧重技能级抽象，可与轨迹级记忆（如 EvolveR）或参数级记忆（如 LoRA 适配器）互补，形成多粒度记忆架构。

复现评估：(1) 数据集：DeepScaleR 公开可用，包含约 40K 问题-答案对来自 AMC、AIME、MATH 和 OlympiadBench。评估基准 AMC 2023、AIME 2024&2025 和 Omni-MATH (4428 问题) 均公开。(2) 基模型：Qwen3-4B-Instruct-2507 和 Phi-4-mini-instruct-3.8B 公开可访问，但具体 checkpoint 版本未明确说明。(3) 算力需求：8x A100-80GB GPU，训练 2000 步，每步约 59.7 秒，总时长约 33 小时。(4) 代码和配置：论文未明确声明代码开源，附录提供了详细超参数（表 3）和完整训练流程（附录 A.2），但未提供代码仓库链接。训练细节如 prompt 模板、技能验证 pipeline、库管理实现等均有文字描述，但缺乏实际代码。(5) 复现难度：中等偏高。虽然论文提供了详细实现细节和超参数，但两层 Cache-Reservoir 管理的五个操作顺序、技能生成验证流程、条件 log-probability 评分实现等存在较多工程细节，完全复现需要仔细实现。此外，评估报告 32 次独立运行的平均 Pass@1，复现需要大量计算资源来获得可比的统计显著性。(6) 额外考虑：论文未提供生成技能的示例种子集、验证 pipeline 的具体错误处理逻辑、以及动态采样过滤零方差组的精确实现，这些细节可能导致实现差异。