从推理到智能体：面向大语言模型强化学习的信用分配 From Reasoning to Agentic: Credit Assignment in Reinforcement Learning for Large Language Models
首篇系统综述 LLM 强化学习中信用分配的论文,梳理 2024-2026 年 47 种方法并提出粒度×方法学二维分类体系。
前置知识
强化学习中的信用分配问题
信用分配（Credit Assignment）指在稀疏、延迟奖励的强化学习场景中,如何确定长轨迹内哪些具体动作（token、推理步骤、工具调用等）对最终结果负有责任的问题。形式上,给定轨迹 $\tau$ 仅有终端奖励 $R(\tau)$ 时,需要估计每个时步 $t$ 的贡献 $c_t$。这是 REINFORCE/PPO/GRPO 等策略梯度方法方差控制的根本来源。
本文核心研究对象,所有 47 个被综述方法本质上都是某种信用分配机制。不理解这个问题就难以理解为何 GRPO 的 episode-level 信用在长程任务中失效,也无法理解 hindsight、counterfactual、PRM 等方法的设计动机。
GRPO（Group Relative Policy Optimization）
由 DeepSeek-R1 引入的策略优化方法,用同提示下 $G$ 条轨迹的组内相对奖励 $\hat{A}^{GRPO}_i = R(\tau_i) - \frac{1}{G}\sum_{j=1}^{G}R(\tau_j)$ 作为优势估计,完全省略学习式价值函数。每条 token 共享同一 advantage,属 episode-level 信用。
GRPO 是当前 reasoning RL 的事实标准基线,也是本文反复对比的对照方法。论文指出 GRPO 在 $L \sim 10^5$-$10^6$ tokens、$T=100+$ turns 的 agentic 场景下信用信号会严重坍塌,直接催生了本文综述的所有改进工作。
过程奖励模型（Process Reward Model, PRM）
PRM 对推理链中每个中间步骤打分 $r_i$,将终端奖励分解为逐步信号。代表方法包括 Math-Shepherd（自动步骤标注）、OmegaPRM（divide-and-conquer 树搜索）、PURE（min-form credit 防 reward hacking）。
论文将 PRM 重新定位为信用分配机制的一种（step-level 粒度 + LLM-as-Critic 方法学）,而非单纯的奖励建模技术。这一视角转换是理解 token/segment/step 三层粒度谱系的关键。
MDP 与 POMDP 形式化
推理 RL 被建模为 token-level MDP:状态 $s_t=(x,y_{1:t-1})$、动作 $a_t=y_t$、确定性转移;智能体 RL 则建模为 turn-level POMDP:状态包含不可观测的环境变量、动作是整段 LLM 响应 + 工具调用、转移由环境执行决定（随机）。
本文第 4 章六个挑战（随机转移、部分可观测、超长视野、异质动作、不可验证中间态、分叉点）都建立在这一形式化差异之上。理解 MDP→POMDP 的跃迁是把握 reasoning→agentic 范式转变的钥匙。
研究动机
LLM 强化学习在过去两年经历了两次浪潮:第一次是 reasoning RL（DeepSeek-R1、o1 等用 GRPO 在数学/代码上激发长 CoT）,第二次是 agentic RL（LLM 智能体浏览网页、使用工具、修复 SWE-bench 任务、协作多智能体）。两次浪潮共享一个核心瓶颈:在仅有稀疏终端奖励 $R(\tau) \in \{0,1\}$ 的情况下,如何把功劳/责任分配到长轨迹的每个 token、推理步骤或工具调用上。问题的严重程度随轨迹复杂度急剧放大——DeepSeek-R1 在 AIME 2025 上平均生成约 23K tokens、SWE-bench 智能体平均 64 轮、消耗约 131K tokens;episode-level 信用（如 GRPO、REINFORCE）对每个 token 施加相同 advantage,导致信噪比随动作数线性下降,$\text{Var}[\nabla J] \sim O(T \cdot \text{Var}[R])$。Wang et al. (2025d) 实证发现的"echo trap"现象表明:episode-level 信用会驱使智能体收敛到重复安全动作,因为噪声梯度无法区分有用探索与冗余重复。已有工作要么把信用分配作为子话题附带讨论（Zhang et al., 2025a 的 100 页综述覆盖 500+ 智能体 RL 论文但信用分配缺乏深度）,要么只覆盖经典深度 RL（Pignatelli et al. 2023,56 页,完全未进入 LLM 时代）。
本文的目标是本文以信用分配为中心透镜,系统综述 2024 年 1 月至 2026 年 4 月间发表的 47 个 LLM 强化学习信用分配方法（41 个核心 CA 方法 + 6 个 CA-adjacent 使能器）。具体目标包括:(1) 建立粒度（token/segment/step/turn/multi-agent）× 方法学（Monte Carlo / TD / LLM-as-Critic / game-theoretic / information-theoretic）的二维分类体系,系统性揭示方法谱系;(2) 显式刻画 agentic RL 为何使信用分配发生质变（stochastic 转移、POMDP、超长视野、异质动作、不可验证中间态、分叉点六个挑战）以及需要哪些全新方法应对;(3) 贡献三份可复用资源——机器可读论文清单、报告检查清单、基准协议规范——以缓解该领域方法间不可比较的乱象。
与已有工作不同的是，本文的独特切入角度是把信用分配从"RL 子话题"提升为"贯穿 reasoning→agentic 演进的核心分析透镜"。作者敏锐观察到 reasoning RL 范式下假设良性（deterministic 转移、单次生成、可验证）的方法,无法直接迁移到 agentic RL 的六个新挑战。三篇独立 hindsight/counterfactual 论文（HCAPO、C3、CCPO）在 2026 年 3 月同一周内出现,被作者解读为社区对这一问题的趋同识别。此外,论文把 PRM 重新解读为信用分配机制而非奖励建模,把 LLM-as-Critic 提升为独立的方法学维度（经典 RL 中没有直接对应物）,这些都是已有综述没有的视角。
核心方法
本文是综述论文,方法论的核心是构建二维分类体系并系统性提炼文献。整体思路分四步:(1) 检索——在 arXiv、Semantic Scholar、Google Scholar 上用关键词（"credit assignment"、"process reward"、"reward decomposition"、"turn-level reward" 配合 LLM/RL 术语）并辅以正反向引用追踪（VinePPO、ArCHer、GRPO、DeepSeek-R1 四大奠基工作 + NeurIPS/ICML/ICLR/ACL 2025 + HF Daily Papers）;(2) 筛选——按"主要贡献是否是新颖的信用分配机制"分为 41 个核心 CA 方法 + 6 个 CA-adjacent 使能器;(3) 编码——每篇按粒度（5 档）× 方法学（5 档）二维定位,并标注基线家族、证据强度、主要基准;(4) 综合——通过五个挑战→方法的对照表（Table 4）、粒度-成本权衡、决策树（Figure 4）形成可操作的方法选择指南。
核心创新在于将"PRM = credit assignment"和"LLM-as-Critic = 全新方法学维度"两个视角重构,以及揭示 agentic RL 引入的六个质变挑战。已有的 RL 算法谱系（REINFORCE/GRPO/PPO/DPO）被重新解读为信用分配粒度谱:REINFORCE/GRPO 提供 episode-level 信用、PPO 通过 learned critic 提供 token-level 信用、DPO 通过 "From r to Q*" 定理提供隐式 token-level 信用。论文指出 LLM 时代独有的能力——让 LLM 自身或另一 LLM 用自然语言评估中间状态——开辟了经典 RL 中没有的方法学轴,这是论文的核心论点。
方法步骤详情
综述的具体执行步骤为:Step 1（文献采集）——通过四源组合（关键词搜索 + 正反向引用 + 顶会监测 + HF Daily Papers）形成候选论文库;Step 2（边界判定）——区分核心 CA 方法（主贡献是新分解算法,例如 VinePPO/HCAPO/CARL）与 CA-adjacent 使能器（训练基础设施/奖励塑形/智能体框架,例如 Agent Lightning、RAGEN、PRS）;Step 3（双重编码）——为每篇论文打上粒度标签（token/segment/step/turn/multi-agent）和方法学标签（MC/TD/LLM-as-Critic/game-theoretic/information-theoretic）,共 5×5 网格;Step 4（量化抽取）——从原论文提取性能数字、基线家族、计算开销、关键超参;Step 5（结构化输出）——交付 (a) 47 篇方法清单（CSV/JSON,含基线/证据强度/基准,Section B Table 10）、(b) 报告检查清单（11 项,经验证后识别出三个系统缺口:0/41 报告 GPU-hours、2/41 报告置信区间、0/41 提供 compute-controlled baseline）、(c) 基准协议规范（任务族 + 元数据要求 + 受控 bifurcation 任务）、(d) 方法选择决策树（Figure 4,作者合成）。
技术新颖性
技术新颖性体现在三方面。第一,把 PRM 与 CA 合并为同一问题谱系,打破了"奖励建模 vs. 信用分配"的人为划分——"PRM 对每步打分 $r_i$ 实质上是终端奖励的 step-level 信用分解"。第二,提出六个 agentic 质变挑战的系统化分类（stochastic transitions / partial observability / ultra-long horizons / heterogeneous actions / non-verifiable intermediate states / bifurcation points）,并给出 Table 3 的 reasoning vs. agentic 对照表。第三,通过观察 "3 篇 counterfactual 论文 1 周内出现" 的社区现象,把 agentic CA 定位为未来 1-2 年最活跃的研究前沿。论文还贡献了具体的可操作产物:47 篇方法清单的报告检查清单（11 项,经验证可识别系统性方法论缺口）和基准协议 schema。
实验结果
本文的主要发现通过 5 个标注证据等级的"takeaway"呈现。**Finding 1（[SE]）**:信用分配是 LLM RL 的中心挑战,重要性随 reasoning→agentic 跃迁放大——单次生成 $\sim 1K$-$30K$ tokens 升至多轮 $100K$-$1M$ tokens 时,信用分配从"优化便利"变成"训练必需"。**Finding 2（[SE]）**:reasoning RL 信用分配趋于成熟,token-level（VinePPO 在 GSM8K/MATH 上显著优于 PPO learned critic）、segment-level（SPO 切分推理段、SCAR 用 Shapley 值）、step-level（PURE 防 reward hacking、SPRO 报告 3.4× 训练效率、HICRA 区分 planning/procedural tokens）均有可工作方案。**Finding 3（[LS]）**:agentic RL 信用分配仍处早期。六个挑战的对应方法在 Table 4 中映射——ArCHer 应对层次结构、AgentPRM 用 TD+GAE 替代昂贵 MC 标注（报告 8× 样本效率）、SWEET-RL 用 privileged asymmetric critic 解决非可验证性、HCAPO/C3/CCPO 三个 2026 年 3 月同一周内出现的方法用 hindsight counterfactual 分析。**Finding 4（[LS]）**:LLM-as-Critic 是 LLM 时代独有方法学维度,无经典 RL 直接对应——CAPO、SWEET-RL、HCAPO、LaRe、CriticSearch 全部利用 LLM 自然语言评估能力。**Finding 5（[AS]）**:领域加速发展,2024-2026 仅 2 年内出现 41 核心 + 6 使能器共 47 个方法,多智能体 CA 已是独立子领域（6 篇专门方法）。具体方法性能:GiGPO 在 ALFWorld、WebShop 上比 GRPO 分别高 12% 和 9%;CARL 通过仅对高熵动作更新梯度实现 72% 更少更新且性能不退化;SHARP 比单智能体基线提升 23.7%、比多智能体基线提升 14.1%;MAPPA 在 AIME 上 +5.0-17.5pp、AMC 上 +7.8-17.2pp;Dr. MAS 在数学任务上 +5.6% avg@16;TARL 在 τ-bench 上提升 6%+;SWEET-RL 比 DPO 基线 +6.0%;AgentPRM 比 ORM 基线 +19.0%。论文还观察到 GRPO-baseline 方法中,agentic 子集平均提升（+8.5, n=5）高于 reasoning 子集（+6.0, n=8）,与"episode-level 信用随轨迹长度退化更严重"的理论预期一致。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 数学推理（GSM8K / MATH） | 准确率/性能增益 | 综述层面:VinePPO 显著优于 learned critic baseline;PURE min-form 防 reward hacking;SPO segment-level MC advantage | PPO learned critic / REINFORCE / GRPO | VinePPO 显著优于 PPO baseline（具体数值因模型/配置而异）;SPRO 报告 3.4× 训练效率 |
| 竞赛数学（AIME 2025） | 准确率/平均 token 数 | DeepSeek-R1 平均生成 ~23K tokens | 传统单次生成 RL | 代表 extreme-length reasoning 场景（23K tokens/trajectory） |
| 智能体 web/工具（ALFWorld / WebShop） | 任务成功率 | GiGPO group-in-group 12% / 9% 增益 | GRPO | +12% (ALFWorld), +9% (WebShop) |
| 软件工程（SWE-bench） | 轮数/token 数 | Wang et al. 2025d 报告智能体平均 ~64 轮、~131K tokens | — | 代表 agentic RL 长视野上限场景 |
| 多智能体（数学竞赛 + 数据分析） | 任务成功率/平均@16 | MAPPA per-action PRM;Dr. MAS agent-wise 归一化;SHARP Shapley 分解 | 单智能体 / 多智能体 GRPO | SHARP +23.7% / +14.1%;MAPPA +5.0-17.5pp (AIME) / +7.8-17.2pp (AMC);Dr. MAS +5.6% avg@16 |
| τ-bench 多模态工具调用 | 任务通过率 | TARL turn-level LLM judge 过程监督 | 强 RL baseline | +6% 任务通过率 |
| 工具使用与代码生成（AgentPRM 设定） | 样本效率 | AgentPRM TD+GAE 替代 MC step 标注 | MC-based PRM 训练 | 8× 样本效率提升 |
| 高效梯度更新（CARL） | 梯度更新次数 | CARL 仅对高熵动作更新 | 全量更新 | 72% 更少更新、无性能退化 |
局限与改进
作者明确承认的局限有四点:(1) **预印本波动**——47 篇中多数未经同行评审,方法/结果/标题可能改变,论文以 2026 年 4 月为快照点;(2) **选择偏差**——可能漏掉非索引场所/工业报告/截止后并发的论文;(3) **结果不可比**——量化表跨基模型/基准/训练配置,跨论文对比是说明性而非受控实验;(4) **单编码者偏差**——所有筛选/分类/证据编码由单一作者完成,作者本人也披露了这一点并承诺发布筛选日志以便验证。我自己的额外观察:(5) **taxonomy 边界模糊性**——某些方法（如 C3）同时跨越 reasoning/agentic/multi-agent 三种设定,5×5 网格的硬划分会丢失方法的多面性;(6) **缺乏量化归因**——虽然 47 个方法被分到六大挑战（Table 4 ✓/◦ 标记）,但没有给出每种方法对哪个挑战贡献了多少的形式化度量,Table 4 的勾叉判断主观性较强;(7) **CA × 探索的连接**——论文自己承认 IGPO 仅为起点,目前没有任何方法显式利用信用不确定性驱动探索,这是个明显空缺;(8) **报告检查清单的覆盖度**——11 项 checklist 仅对 3 篇代表论文做了正式验证（HICRA/GiGPO/M-GRPO）,对剩余 44 篇是"非正式手动审计",统计（0/41 GPU-hours 等）可能因论文写作风格不同而有偏差。
独立分析的弱点
独立分析本文的弱点有四个层面。**W1: 综述的"已发表方法"偏向**——本文聚焦算法/方法,几乎不涉及各方法的复现难度、训练失败模式、踩坑经验等"未发表但实用"的知识。读者若想用 GiGPO 训练自己的智能体,会缺少关于 hyperparameter 敏感性、数据混合、reward hacking 真实发生频率的实操经验。**改进方向**:为清单增加"实战备注"字段,从作者经验或社区讨论中提取。**W2: 二维分类的过简化**——粒度×方法学的 5×5 网格虽然是好的可视化抽象,但实际中很多方法（如 SWEET-RL 同时使用 privileged critic + turn-level MDP + DPO-style 更新）跨多个格子,硬归类会丢失这种"组合性"创新。**改进方向**:在 Section B 的 JSON 中允许 multi-label 编码并保留 method 列表。**W3: 缺乏对失败/被否定方法的讨论**——综述只谈已发表的 47 个方法,没有谈哪些"自然的想法"被尝试后效果不佳（如朴素 token-level 价值学习在长程下崩溃的具体原因和量化数据）。**改进方向**:增设"negative results"章节或邀请失败实验的报告附录。**W4: 决策树过于简化**——Figure 4 的方法选择决策树只覆盖 2 层分支（reasoning vs. multi-agent → token/segment/step vs. horizon ≤30t/>30t → 算力/aux 模型二选一）,但实际中需要权衡更多维度（数据规模、模型规模、基础设施、reward sparsity）。**改进方向**:提供多维 interactive 决策工具或基于 Table 8 推荐表的更多上下文规则。
未来方向
作者在 Section 9 明确提出 6 个开放问题。**(1) 超长视野智能体**——50-100+ 轮、100K-500K tokens 的 SWE-bench 任务甚至多日科研实验,当前 turn-level 信用在如此尺度下计算昂贵且统计不可靠,需更深的层次化方法（ArCHer/HICRA/PilotRL 现有 2 层过浅,需要动态自适应结构）。**(2) 无可验证奖励的开放世界智能体**——个人助理/创作/研究助手的"奖励"是主观/延迟/不确定的,learned reward model 的不确定性需要被纳入信用加权,RLHF reward model + 信用不确定性的连接是 promising 方向。**(3) 多智能体大规模可扩展**——三个具体挑战:LOO 类方法（C3）在 $K$ 智能体下需要 $K$ 次反事实评估需要次线性近似;通信 credit（发消息的价值）当前被完全忽略;去中心化部署下中心化 credit 计算的可行性。**(4) 信用分配 × 探索的耦合**——信用最不确定的状态恰好是智能体最该探索的状态,目前无方法显式利用这一连接,IGPO 是起点。**(5) 形式化保证**——多数方法（尤其 LLM-as-Critic 类 CAPO/HCAPO/LaRe）只有经验性验证,缺乏 POMDP+LLM 策略下信用质量的收敛性和样本复杂度理论。**(6) 推理→智能体迁移研究**——哪些 reasoning CA 技术可迁移到 agentic 需要哪些修改（如 VinePPO vine 扩展到 turn 边界需环境 checkpointing、PURE min-form 可扩展到 turn-level PRM、HICRA planning/procedural 区分在 agentic 中更显著）,系统性迁移研究是空缺。
复现评估
可复现性评估:本文是综述论文,其可复现性体现为"产物可复用度"。**(1) 开源情况**——承诺发布四份补充材料:47 篇方法清单 CSV/JSON、筛选日志（候选论文+纳入/排除决策）、taxonomy 标签（可自动重生成 Figure 2 网格）、报告检查清单 LaTeX 模板、基准协议 JSON schema,均托管在 GitHub 仓库（https://github.com/xxzcc/Awesome-Credit-Assignment-in-LLM-RL）。**(2) 论文级数据**——论文本身的复现门槛低（无需训练）,但其推荐的 47 个方法中具体哪些开源、哪些仅 arXiv 预印本代码未释放,论文未提供逐项的代码可用性表格,这是清单可以补强的字段。**(3) 自身方法的复现难度**——本文核心产出是 taxonomy 和清单,无训练成本,几乎零门槛可复现使用。**(4) 限制**——Section 9.4 明确承认"单编码者"的分类偏差威胁,需要社区贡献 corrections/additions;checklist 的执行（对 41 篇核心方法的 11 项验证）作者声明是"informal manual audit",并未做正式 inter-rater coded review;quantitative performance 表格的"不跨模型可比"问题在原论文就有,本综述也未解决。**(5) 资源声明缺失**——综述层面值得指出的是:撰写 47 篇深度综述本身所需的算力/搜索 API/工具不在论文中声明,作为单一作者工作这一点可以理解但仍是元数据缺口。
论文图表
横向时间线展示 LLM RL 四阶段演进:Phase 1 RLHF (2022-2023, dense RM 奖励,~500 tokens, 信用分配隐式由 PPO critic 处理) → Phase 2 Reasoning RL (2023-2025, outcome 0/1 奖励, 0.5K-30K tokens, CA 集中于 token/step 用 PRM) → Phase 3 Agentic RL (2024-至今, sparse terminal 奖励, 100K-1M tokens, CA 集中于 turn/hindsight) → Future Multi-Agent (team 奖励, 100+ turns, CA 跨智能体)。每阶段标注典型 CA 难度,底部箭头显式表明 CA 难度沿时间单调递增。
这是论文核心叙事的视觉锚点——reasoning→agentic 跃迁的定性而非定量差异,所有后续章节都建立在这一时间-难度二维框架上。读者用 30 秒就能抓住论文要传递的'agentic RL 重塑了 CA 格局'这一中心论点。