T²PO：不确定性引导的探索控制，用于稳定多轮智能体强化学习 T^2PO: Uncertainty-Guided Exploration Control for Stable Multi-Turn Agentic Reinforcement Learning

T2PO 的执行流程可分解为五步：第一步，rejective fine-tuning 作为冷启动，用基础 Qwen3 在目标环境跑 rollout 收集 $\mathcal{D}_{RFT}=\{(h_k,a_k)\}$，仅保留终端分数超阈值的轨迹，从中抽取 state-action 对做单 epoch SFT，得到 $\mathcal{L}_{RFT}=-\mathbb{E}_{(h_k,a_k)\sim\mathcal{D}_{RFT}}[\log\pi_\theta(a_k|h_k)]$。第二步，构造自校准信号：在每个解码步 $t$ 计算 $H_t=-\sum_i p_t^{(i)}\log p_t^{(i)}$ 与 $C_t=-\frac{1}{j}\sum_{i=1}^j\log p_t^{(i)}$（$j$ 为 top-token 数），按轨迹内极差归一化得 $\tilde H_t,\tilde C_t$，再融合 $M_t=\alpha\tilde H_t+(1-\alpha)(1-\tilde C_t)$，实验中 $\alpha=0.4$ 最优。第三步，TTI 干预：起算忽略前缀 $L_{\min}$ 内的 token，监控滑动窗口 $\frac{1}{N+1}\sum_{i=0}^N\Delta_{t-i}^k<\epsilon$（实验中 $\epsilon=10^{-4}$）是否成立，一旦触发即把 softmax 前 logits 中 token id 151668（对应 标记）的值置 $+\infty$，其余 $-\infty$，确定性发射推理终止符；其后注入固定队列 $Q=[\text{ 标记},\text{ 换行},\text{}]$；flag $I_{\text{stop}}$ 一次性激活避免重复触发，并以 $L_{\max}$ 作为兜底上限。第四步，TDS 动态采样：把 turn $k$ 内所有 token 信号聚合 $\Phi^k=\prod_{t=1}^{T_k} M_t^k$，相邻 turn 变化 $\Gamma^k=|\Phi^k-\Phi^{k-1}|$；若 $\Gamma^k<\eta$（实验 $\eta=10^{-3}$），则在同一状态 $s_k$ 下重新 rollout 新推理轨迹直至 $\Gamma^k\geq\eta$ 或预算 $B_{\max}$ 用尽。第五步，policy update：用 $R(\tau^k)=\sum_{j=k}^K\beta^{j-k}r_j$ 做 turn-level 折扣回报，融合 GiGPO 的 hierarchical advantage $A'(a_k^i)=A(\tau_k^i)+\omega\cdot A_{\text{turn}}(a_k^i)$，做标准 PPO 风格裁剪目标 $J(\theta)=\mathbb{E}_h[\min(\rho_\theta A',\text{clip}(\rho_\theta,1\pm\epsilon)A')]-\beta D_{KL}(\pi_\theta\|\pi_{\text{ref}})$。

技术新颖性体现在三点：(a) 提出 'hesitation' 这一诊断概念并将训练崩溃归因于探索低效而非稀疏奖励或梯度方差，改变了问题建模视角；(b) 设计 $\tilde H_t\oplus(1-\tilde C_t)$ 这一非退化的不确定性融合公式，用数学方式显式补偿单一指标的盲区，论文图 3 通过 contour 可视化展示了融合后区分度更高；(c) 在 token 和 turn 两层做 plug-and-play 控制而不引入额外模型参数或任务特定启发式，与已有的 trajectory 级过滤（SimpleTIR）、静态奖励 shaping（lengthy reward）、固定预算（hard thinking budget）形成本质区别。此外算法具有通用性，文中附录 D.1 给出在 GSPO 上同样将成功率从 85.18 提升到 91.79（+7.76%）的证据。

独立分析三个具体弱点：(1) Token-level 一次性激活约束 $I_{\text{stop}}$ 过于保守：当前实现每个 turn 只允许截断一次，但这对超长 CoT 不友好——遇到多段反复犹豫的复杂任务（如 ALFWorld 'pick two & place'）后续的低信息量段无法再次压缩，suggested 改进是改为 budget-based 多次干预，每次触发后允许在新产生的 移动后的滑动窗口内重新监测。(2) 融合系数 $\alpha=0.4$ 在 WebShop 上最优，但 Search QA 上若 token 分布差异大，固定 $\alpha$ 可能不是全局最优，改进方向是引入 per-trajectory adaptive $\alpha$（例如用任务早期若干步的不确定性方差动态调整）。(3) TDS 的重采样使用同策略同状态刷新，最多 $B_{\max}$ 次，但当 $\Gamma^k$ 持续小于 $\eta$ 时容易陷入'卡死'等待 budget 耗尽，浪费计算；可以考虑在重采样前注入一次 temperature scale $\tau\leftarrow\tau\cdot\gamma$ 来增加多样性，或在 $\Gamma$ 增大前提前 fail-fast。

作者明确提出的方向包括：扩展到异步 RL 架构（AReaL-style）和更长视野的检索-推理混合管线（如 Agentic RAG）。基于本文结果的延伸方向还有：(a) 把不确定性控制泛化到 multimodal agent（视觉动作空间下的不稳定性度量），因为 $M_t$ 的构造天然支持任意概率分布；(b) 探索 self-calibrated 信号在多智能体协作中的 federated uncertainty 表达，每个智能体维护本地 $\Phi^k$ 并通过对比抑制冗余通信；(c) 与 process reward model 结合，使用 TTI 截断点作为过程标签自动生成 PRM 训练数据，进一步降低对人工标注的依赖；(d) 把它和 test-time scaling 联动，让 $M_t$ 兼做 uncertainty-aware self-consistency 投票。

复现友好度较高：论文承诺开源全部代码（GitHub 仓库 https://github.com/WillDreamer/T2PO ），框架基于 verl 与 vLLM 这两个主流 RL 推理栈；模型采用公开 Qwen3-4B/8B，并给出完整超参表（表5）：WebShop/ALFWorld/Search QA 学习率统一 $1\times10^{-6}$，minibatch 128 或 256，KL 系数 0.01，格式惩罚 $\lambda_{\text{fmt}}=0.1$，监控窗口 $N=20$ 或 $15$，$\epsilon=10^{-4}$，$\eta=10^{-3}$，$\alpha=0.4$，Thinking budget 450 tokens。最大交互步数 WebShop 15、ALFWorld 50、Search QA 4；硬件需求 8×H100 GPU 单节点，单次完整 run 表1在 WebShop 上预计数十小时，ALFWorld 类似。RFT 冷启动只需 1 epoch；总体而言复现工程量集中在改造 verl 的 decoding/rollout pipeline 以支持 token 级 logit overwrite，难度中等。