InfoPO：面向用户中心智能体的信息驱动策略优化 InfoPO: Information-Driven Policy Optimization for User-Centric Agents
通过反事实信息增益奖励解决多轮RL中的信用分配问题，实现智能体主动不确定性消减
前置知识
Group-Relative Policy Optimization (GRPO)
GRPO 是 DeepSeek 提出的一种无需显式价值网络的策略梯度方法。其核心思想是：对同一提示采样一组（group）轨迹，通过组内轨迹的奖励差异来估计归一化优势（advantage），从而实现方差缩减的策略更新。具体而言，对于组内第 $i$ 条轨迹的优势 $A_i = (R_i - \mu_g) / \sigma_g$，其中 $\mu_g$ 和 $\sigma_g$ 分别是组内奖励的均值和标准差。这种方法避免了训练一个额外的 Critic 网络，但在奖励稀疏或组内差异极小时，所有轨迹的归一化优势趋近于零，导致学习停滞。
InfoPO 的核心改进正是针对 GRPO 在稀疏奖励下失效的问题，理解 GRPO 的工作原理和局限性是理解本文动机的前提
信用分配问题（Credit Assignment Problem）
在多轮交互的强化学习中，智能体需要执行多步动作后才能获得终端奖励。信用分配问题指的是：如何判断哪些中间动作对最终成功做出了贡献。例如智能体在第3轮提出了正确的澄清问题，但直到第8轮才完成任务，那么第3轮的贡献如何量化？传统做法是将终端奖励沿轨迹均匀分配或使用折扣因子，但这对稀疏奖励的长序列任务效果很差。
InfoPO 提出的轮级信息增益奖励正是为了解决这一根本性难题，使训练信号能够精确分配到每个交互轮次
条件互信息（Conditional Mutual Information）
条件互信息 $I(X; Y | Z)$ 衡量的是在已知 $Z$ 的条件下，$X$ 还能提供多少关于 $Y$ 的信息。形式化定义为 $I(X; Y | Z) = \mathbb{E}_{x,y,z} \log \frac{P(x,y|z)}{P(x|z)P(y|z)}$。在本文中，$X$ 是用户反馈 $O_t$，$Y$ 是智能体下一步动作 $A_{t+1}$，$Z$ 是交互历史 $H_t$。条件互信息越大，说明该轮反馈对智能体决策的信息量越大。
InfoPO 的理论贡献之一是证明其信息增益奖励在期望上等于条件互信息，为方法提供了坚实的理论基础
定向信息（Directed Information）
定向信息由 Massey (1990) 提出，用于刻画因果方向的信息流。在多轮交互中，定向信息 $I(O_{T-1} \rightarrow A_T | H_0) = \sum_{t=0}^{T-1} I(O_t; A_{t+1} | H_t)$ 累积了每个时间步从反馈到动作的条件互信息之和。与普通互信息不同，定向信息尊重时间因果结构，只计算"过去影响未来"的信息流。
论文证明累积信息增益等于定向信息，且定理2表明一个最小累积信息增益是达到任务成功的严格必要条件
反事实推理（Counterfactual Reasoning）
反事实推理是一种因果推断方法，通过比较"实际发生了什么"和"如果没有发生会怎样"来量化某个事件的因果效应。在本文中，作者构建了一个反事实场景：将真实反馈 $o_t$ 替换为一个占位符 $\emptyset$（"No information found"），然后比较智能体在有反馈和无反馈两种条件下对下一步动作的概率分布差异。这种设计确保了信息增益信号严格由反馈的存在而非随机生成变异性导致。
反事实推理是 InfoPO 实现精确轮级信用分配的核心机制，使得每个交互轮次的信息贡献可以被独立量化
研究动机
当前基于 GRPO 的多轮强化学习方法在用户中心智能体训练中面临严重的信用分配问题。这些方法通常将终端奖励和中间信号聚合为单一的轨迹级分数来估计优势，无法提供细粒度的跨轮次监督。具体而言，在用户中心环境中，少量的澄清决策往往决定了任务的可行性和下游成败——例如一个"下周帮我订机票"的请求需要智能体主动询问出发地、日期、预算和灵活性等缺失约束。然而，GRPO 方法依赖组内轨迹的奖励变化来更新策略，当所有轨迹获得相同的终端奖励（如全部失败或全部成功）时，归一化优势趋近于零，导致学习完全停滞。论文表2显示，在训练初期，UserGym 有38.4%的 rollout 组、ColBench 有31.3%、τ²-Bench 高达76.3%的组表现出零方差外部奖励，这意味着标准 GRPO 在这些场景中完全无法产生学习信号。此外，另一个常见失败模式是"光荣失败"（honorable failure）：智能体正确执行了澄清行为但因下游执行错误而获得零奖励，标准 GRPO 无法区分这种有价值的中间行为和无意义的动作。
本文的目标是本文的具体目标是设计一种原理性的、任务无关的强化学习方法，能够在稀疏或延迟奖励的多轮交互中提供密集的轮级信用分配信号。具体而言，InfoPO 需要：(1) 量化每个交互轮次对下游决策的实际信息贡献，无需任务特定的启发式规则；(2) 将这种内在信息信号与任务外部奖励自适应融合，确保学习既关注信息获取又保持对任务完成的目标导向；(3) 在理论上建立信息增益与任务成功之间的严格联系；(4) 在多种用户中心任务（意图澄清、协作编码、工具增强决策）上验证方法的有效性和泛化能力。
与已有工作不同的是，InfoPO 的独特切入角度是将多轮交互重新定义为"主动不确定性消减"过程。与现有方法的关键区别在于：(1) 相比 IGPO（Wang et al., 2026）将信息增益定义为基于答案条件的信念改善，InfoPO 通过反事实掩码直接测量反馈对动作分布的因果影响，适用于更广泛的用户中心场景；(2) 相比过程奖励模型（PRM）需要训练额外的步骤级评分器，InfoPO 仅通过两次前向传播（有反馈和无反馈）即可计算轮级信号，无需额外标注或模型；(3) 相比好奇心驱动的探索（curiosity-driven exploration）使用基于预测误差的新颖性奖励，InfoPO 的信号直接与条件互信息挂钩，具有明确的信息论解释和任务成功必要性的理论保证。这种"反馈改变决策"的视角是自然的——一个好的交互轮次应该实质性地改变智能体的后续选择，而 InfoPO 正是通过测量这种改变来奖励有价值的行为。
核心方法
InfoPO 的整体思路可以用一个直觉来理解：假设智能体刚刚向用户提了一个问题并收到了回答，如果这个回答改变了智能体接下来要做的事情（比如从"猜测"变成了"执行"），那么这个问题就是有价值的；如果回答完全没有影响后续决策，那么这个问题就是多余的。InfoPO 将这个直觉形式化为一个基于反事实的信息增益奖励：对每个交互轮次，比较智能体在"知道反馈"和"不知道反馈"两种条件下对下一步动作的概率分布差异。技术路线上，InfoPO 首先通过反事实掩码计算轮级信息增益奖励 $r_{info}^t$，然后在组内归一化得到信息增益优势 $A_{info}$，接着通过方差门控机制自适应地将信息增益信号与外部奖励信号融合，最终通过 PPO 裁剪目标更新策略。整个过程不需要额外的环境交互，仅需两次教师强制的前向传播。
InfoPO 的核心创新在于两个设计：(1) 轮级反事实信息增益奖励：在智能体执行动作 $a_t$ 并收到反馈 $o_t$ 后，作者构建两个上下文——事实历史 $h_t$（包含反馈 $o_t$）和反事实历史（用占位符 $\emptyset$ 替换 $o_t$），然后计算两者对下一步动作 $a_{t+1}$ 的对数概率差异的均值：$r_{info}^t = \frac{1}{L_{t+1}} \sum_k [\log \pi_\theta(y_k | h_t, o_t, y_{<k}) - \log \pi_\theta(y_k | h_t, \emptyset, y_{<k})]$。与已有方法的本质区别是：这个信号完全任务无关，不需要外部标注哪些动作是"好的"，也不需要训练额外的奖励模型——信息增益完全由策略自身的概率分布变化决定。(2) 方差门控自适应融合：使用 $g(\sigma_g^{ext}) = \sigma(-\sigma_g^{ext}/T)$ 作为自适应门控函数。当外部奖励组内方差极低时（即外部奖励不具区分性），$g$ 接近1，信息增益优势主导学习；当外部奖励变得可区分时，$g$ 接近0，学习回归任务目标。这种设计使得 InfoPO 在训练的不同阶段自动调整探索与利用的平衡，无需手动调度。
方法步骤详情
InfoPO 的完整方法步骤如下：(1) **轨迹采样**：对每个提示 $q$，从当前策略 $\pi_\theta$ 采样 $G$ 条轨迹 $\tau_1, \ldots, \tau_G$，每条轨迹最多 $T$ 轮交互，记录每轮的动作和反馈边界。(2) **外部奖励计算**：对每条轨迹计算终端外部奖励 $R_{ext}^i$（如任务成功/失败、通过率等）。(3) **轮级信息增益计算**：对每条轨迹的每个有效轮次 $t$（有环境反馈、非最后一轮、动作边界有效），使用教师强制在事实上下文和反事实上下文下计算下一步动作 $a_{t+1}$ 的对数概率差异，得到 $r_{info}^t$。这一步通过并行前向传播实现，无需额外环境交互。(4) **组内归一化**：分别对组内所有轨迹的外部奖励和所有有效轮次的信息增益进行标准化，得到外部优势 $A_{ext}$ 和信息增益优势 $A_{info}$。(5) **方差门控融合**：计算组内外部奖励标准差 $\sigma_g^{ext}$，通过门控函数 $g(\sigma_g^{ext})$ 调节信息增益的权重，得到统一优势 $\hat{A}_{i,k} = A_{ext}^{i,k} + \beta \cdot g(\sigma_g^{ext}) \cdot A_{info}^{i,k}$。(6) **策略更新**：使用 PPO 裁剪目标和 KL 散度正则化更新策略 $\pi_\theta$。整个算法的计算开销约为标准 GRPO 的1.63倍（实测平均值），主要来自反事实前向传播。
技术新颖性
InfoPO 的技术新颖性体现在多个层面。首先，在信号设计上，它提出了一个任务无关的轮级反事实信息增益度量，与现有方法（如基于答案的信念改善、过程奖励模型）的根本区别在于：它不需要任何外部先验知识来判断动作质量，而是通过策略自身的概率分布变化来衡量信息价值——如果一个反馈真的改变了智能体的后续决策，它就应该被奖励。其次，在理论层面，论文建立了两个重要定理：定理1证明每轮信息增益的期望等于反馈与动作的条件互信息 $I_\theta(O_t; A_{t+1} | H_t)$，定理2证明达到成功概率 $1-\delta$ 需要累积信息增益下界 $\log M - h(\delta) - \delta \log(M-1)$，将信息消减与任务成功建立了严格联系。第三，在工程设计上，方差门控机制优雅地解决了多目标 RL 中探索与利用的动态平衡问题：它不需要手动调度或超参数调优，而是由外部奖励的组内变异性自动驱动。最后，论文的反事实设计通过共享下一步动作的 token 序列避免了多次自回归生成的高昂成本，使得轮级信用分配在计算上可行。
实验结果
实验结果在三个代表性多轮交互基准上全面验证了 InfoPO 的有效性。在 UserGym 基准（8个子环境）上，基于 Qwen2.5-7B-Instruct 的 InfoPO 在8个子环境中的7个上超越最强基线，尤其是在需要跨目的泛化的设置中提升显著：SearchGym 从0.446提升到0.480，IntentionGym 从1.826提升到1.892，TelepathyGym 从0.424提升到0.488。在 ColBench 协作编程基准上，InfoPO 在隐藏单元测试通过率（Pass）上达到0.534（基线最高0.457），任务成功率（Succ.）达到0.426（基线最高0.352），甚至超过了 GPT-4.1 的表现（0.529/0.403）。在最具挑战性的 τ²-Bench（高达50轮交互、仅178个训练任务）上，InfoPO 在所有任务族上都保持了竞争力（Telecom: 0.181, Retail: 0.188, Airline: 0.163）。训练动态分析（图3）显示 InfoPO 更早启动优化、达到更高的奖励水平且振荡更小。在用户泛化实验中，使用更强的模拟器（GPT-4.1）和优化提示都能带来一致的性能提升，τ²-Bench 从0.173提升到0.215。消融实验表明：移除外部奖励（w/o Rext）导致几乎所有任务大幅下降，证明纯信息获取不足以完成任务；禁用动态门控（w/o Gate）主要损害训练稳定性（更大的回退和更高的崩溃概率）；移除标准化（w/o std）同时降低性能和增加长度敏感性。交互动态分析揭示了 InfoPO 学到的"先澄清后行动"模式：在训练初期智能体暂时增加交互轮次以消减意图不确定性，同时逐步缩短每轮响应长度，最终收敛到高效执行策略。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| UserGym (TravelGym) | Success Rate | 0.588 | 0.565 (Search-R1) | +4.1% |
| UserGym (SearchGym) | Accumulated Reward | 0.480 | 0.446 (RAGEN) | +7.6% |
| UserGym (IntentionGym) | Accumulated Reward | 1.892 | 1.826 (UserRL) | +3.6% |
| UserGym (TelepathyGym) | Accumulated Reward | 0.488 | 0.424 (UserRL) | +15.1% |
| ColBench (Backend Programming) | Pass Rate | 0.534 | 0.457 (Search-R1) | +16.8% |
| ColBench (Backend Programming) | Success Rate | 0.426 | 0.352 (Search-R1) | +21.0% |
| τ²-Bench (Telecom) | Avg@4 | 0.181 | 0.169 (RAGEN) | +7.1% |
| τ²-Bench (Airline) | Avg@4 | 0.163 | 0.150 (RAGEN) | +8.7% |
| Sokoban (Environment Generalization) | Success Rate | 稳定上升 | GRPO崩溃（Echo Trap） | 避免训练崩溃 |
局限与改进
论文和作者承认的局限性包括：(1) 计算开销：InfoPO 的反事实掩码需要额外的模型前向评估，实测平均增加约63%的训练时间（虽然论文指出这主要来自教师强制前向传播而非自回归生成，实际远低于2倍的理论上限）；(2) 评估范围有限：当前评估集中在文本中心智能体，尚未扩展到多模态或视觉-语言任务；(3) 模拟器依赖：与大多数 LLM 智能体 RL 框架一样，交互质量受限于训练时使用的模拟用户的逻辑保真度，论文观察到更强的模拟器（GPT-4.1）在某些任务上带来一致提升，但也可能使任务更难。从独立分析的角度来看，还存在以下不足：(4) 信息增益的上限受限于策略本身的表达能力——如果策略在反事实条件下已经非常确定下一步动作（即对反馈不敏感），信息增益信号将被压缩；(5) 论文的理论分析（定理2）假设隐藏意图均匀分布 $Z \sim \text{Unif}([M])$，实际场景中意图分布往往是偏斜的，下界的紧密度可能有差异；(6) 消融实验显示移除外部奖励后性能大幅下降，表明 InfoPO 仍高度依赖任务级监督信号，在纯探索场景中的适用性有待验证。
独立分析的弱点
尽管 InfoPO 取得了显著成果，仍存在几个可改进的弱点：(1) **固定占位符设计的局限**：虽然论文证明了方法对不同占位符实现的鲁棒性（附录B.3），但占位符 $\emptyset$ 的信息含量是固定的——它代表"完全没有反馈"。在实际场景中，反馈可能有不同程度的信息量（如模糊回答vs.明确回答），一个更精细的反事实设计可以通过插值不同信息量的反馈来实现更细粒度的信用分配。(2) **方差门控的温度参数敏感性**：门控函数 $g(\sigma_g^{ext}) = \sigma(-\sigma_g^{ext}/T)$ 中的温度 $T$ 是任务特定的（UserGym: 0.5, τ²-Bench: 0.05），需要根据外部奖励方差的典型量级手动设置。一个自适应温度调节机制可以进一步减少超参数搜索。(3) **组大小约束**：InfoPO 依赖组内方差估计来驱动门控机制，这要求足够大的 rollout 组（论文中 $G=5$）。在极小样本或高方差场景下，组内方差估计可能不稳定。(4) **缺乏对长序列记忆的处理**：在超长交互（如 τ²-Bench 的50轮）中，早期轮次的信息增益可能因为上下文窗口限制而被截断，论文未讨论如何处理这种长程依赖。改进方向：可以引入层次化信息增益，在轮级和段级两个粒度上计算信号。
未来方向
基于 InfoPO 的成果，未来研究方向包括：(1) **多模态扩展**：将反事实信息增益框架扩展到视觉-语言智能体，例如在 GUI 操作任务中衡量"看到某个屏幕元素"对后续操作决策的信息贡献；(2) **真实用户交互**：论文完全依赖模拟用户训练，未来可以探索在真实用户反馈上使用 InfoPO 的在线学习版本，需要设计用户友好的反馈收集机制；(3) **与过程奖励模型结合**：InfoPO 的轮级信号与步骤级 PRM 信号可以互补——PRM 提供对推理质量的评估，InfoPO 提供对信息获取的评估，两者融合可能在复杂推理任务上取得更好效果；(4) **自适应反事实设计**：探索可学习的反事实掩码策略，而非使用固定的占位符，让模型自己学习什么程度的反馈缺失最有信息量；(5) **跨任务迁移**：论文已展示 InfoPO 在 Sokoban 和 WebShop 上的泛化能力，未来可以探索在更大规模的通用智能体训练中使用信息增益信号作为统一的内在奖励。
复现评估
复现评估方面，论文提供了较好的条件：(1) **代码开源**：论文明确提供了 GitHub 仓库 https://github.com/kfq20/InfoPO；(2) **超参数完整**：附录Table 4详细列出了所有三个基准的超参数配置，包括学习率、批大小、KL 系数、门控温度等；(3) **训练基础设施**：使用4×NVIDIA A800 GPU（80GB），使用 SGLang 作为推理引擎，基于 Qwen2.5-7B-Instruct 和 Qwen-3-4B 两个开源基座模型；(4) **基准标准化**：所有基准使用官方 train/test 分割，用户模拟使用 GPT-4o-mini（温度0.7）。复现难度评估：中等偏高——主要原因包括需要大量 GPU 算力（4×A800）、需要 API 调用 GPT-4o-mini 作为用户模拟器、多轮交互的 RL 训练本身就比单轮任务更难调试。此外，论文提到的63%额外计算开销主要来自反事实前向传播，这意味着总训练时间约为标准 GRPO 的1.6倍。对于计算资源有限的研究者，建议从小规模任务（如 UserGym 的单个子环境）开始验证。
论文图表