模型应当以多快的速度承诺监督信号？在Tsallis损失连续谱上训练推理模型 How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

完整方法流程可拆为四步。第一步,定义Tsallis损失族:对每个监督样本 $(x^*,y^*)$ 定义 $\ell_q(\theta) = -\log_q P_\theta = (1-P_\theta^{1-q})/(1-q)$,数据集目标 $\mathcal{J}_Q = \mathbb{E}_D[\ell_q]$,端点为 $\mathcal{J}_0 = \mathbb{E}_D[1-P_\theta]$ 与 $\mathcal{J}_1 = \mathbb{E}_D[-\log P_\theta]$。Theorem 2.1证明 $K$ 类分类模型上 $\mathcal{J}_Q$ 的极小解是 $\theta^*_j(q) \propto \alpha_j^{1/q}$(escort分布), Corollary C.3 表明 $q=1$ 是唯一严格proper scoring rule。第二步,推导梯度几何(Proposition 2.2):由于 $\frac{d}{du}\log_q(u) = u^{-q}$,链式法则给出 $\nabla_\theta \ell_q = -P_\theta^{-q}\nabla_\theta P_\theta = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q}\nabla_\theta \ell_1$,即所有成员的逐样本梯度方向相同,仅被放大/衰减 $P_\theta^{\pm q}$。第三步,设计GARL(Algorithm 1):对当前样本先采 $M$ 个i.i.d. 潜在rationale $z^{(1)},\ldots,z^{(M)} \sim p_\theta(\cdot|x^*)$,计算每样本似然权重 $w_m = p_\theta(y^*|x^*,z^{(m)})$ 与梯度贡献 $g_m = -w_m\nabla_\theta \log p_\theta(z^{(m)},y^*|x^*)$,用经验均值 ${\bar w}_M = \frac{1}{M}\sum w_m$、 ${\bar g}_M = \frac{1}{M}\sum g_m$ 构造plug-in估计 $\widehat{\nabla_\theta \ell_q} = {\bar g}_M / {\bar w}_M^q$,并用leave-one-out控制变量 ${\bar w}_{\neg m}$ 做方差缩减。Theorem 4.1证明其一致性及leading bias为 $O(q/(M P_\theta^q))$。第四步,设计PAFT(Algorithm 2):从同一批先验样本与权重中按重要性比例重采样 $K$ 个索引,得到近似后验样本 $z^{(r_k)}$,用SFT式teacher-forcing计算 $\nabla_\theta \log p_\theta(z^{(r_k)},y^*|x^*)$,并乘以衰减因子 $({\bar w}_M)^{1-q}$。Proposition E.3证明 PAFT 继承 GARL 的偏差展开但方差更高;Proposition E.4由全方差定律严格证明这一点。两者都是drop-in替换,无需额外前向,直接复用GRPO的 $M=32$(0.6B)或 $M=16$(8B)次 rollout。

技术新颖性体现在四个层面。第一,理论层面:首次证明 SFT( $q=1$ )与 RLVR( $q=0$ )共享同一梯度方向 $\nabla_\theta \ell_0$ 或 $\nabla_\theta \ell_1$,只差逐样本放大因子 $P_\theta^{\pm q}$,把两个长期被分开处理的训练范式统一为单参数族的两个端点。第二,动力学层面:在梯度流下严格证明冷启动逃逸时间在 $q=0$ 是 $\Omega(1/p_0)$,在 $q=1$ 是 $\Theta(\log(1/p_0))$(Theorems 3.1, 3.2),指数级分离,首次给出了GRPO冷启动停滞的渐近原因;并给出对偶结果Proposition D.2说明噪声适应速度具有相同指数,直接解释了 SFT-then-RL 的"先 $q=1$ 后 $q=0$"硬切换为什么有效。第三,估计器层面:GARL是RB-RLOO与IWAE的"承诺温度"插值, PAFT 是 EM 梯度更新与基于加权似然的SFT的"承诺温度"插值,两者的偏差同为 $O(q/(M P_\theta^q))$(Theorem 4.1与Proposition E.3),理论解释了"为什么 $q$ 太大时逃逸快但偏差大、 $q$ 太小时偏差小但逃逸慢"。第四,经验层面:在 Qwen 3 0.6B 三个基准上发现冷启动存在明确的"临界 $q$ 阈值"(0.6B上 $q\geq0.75$ 才能逃出,8B上 $q\geq0.85$ 才能逃出),与理论预测的 $p_0^{-(1-q)}$ 下界增长一致;温暖启动发现GARL在HotPotQA/MuSiQue上collapses-to-zero而 PAFT 在 $q=0.75$ 保持稳定,提出"速度 vs 稳定性"的新trade-off。

独立分析我认为本文有以下三个弱点可改进。第一, 冷热启动实验设置存在混淆:论文坦诚承认冷热启动对比"confounded"(输入格式、输出约束、目标分布均不同),但仍把cold-start GARL $q=0.75$ 跨基准跨指标超过warm-prompted GRPO 的现象作为side-result,这种比较缺乏公平性;改进方向是构造 matched-prompt-vs-no-prompt 的消融,固定其他变量只隔离prompt因素。第二, GARL collapse-to-zero 缺乏机制验证:HotPotQA 上 GARL 在所有 $q\in\{0,0.25,0.75\}$ 下都collapse,但作者只给出两种"候选解释"(pathwise-term corruption与HotPotQA-specific overfitting),没有做pathwise-zeroed ablation或测量 Varz[w(z)] 的排序以验证假设;改进方向是同时跑"去除 pathwise 项的GARL变体"和"显式控制IR有效样本数"的实验以确认机制。第三, 偏差展开 $O(q/(M P_\theta^q))$ 的实际意义:作者在 Theorem 4.1 中给出的偏差是固定 $P_\theta$、大 $M$ 渐近展开,但实际训练中 $P_\theta$ 同时变化,论文标注这是"direction of degradation, not a uniform bound",这意味着偏差预测在训练轨迹上不一定成立;改进方向是在训练中定期估计实际偏差(用额外采样或留出验证集),并比较理论预测与实测。

作者明确提出的未来方向有四:(1)退火 $q$ schedule 的设计与实验验证,把三阶段配方从理论变成实践;(2)在更大模型(>8B)、更多模型族、更多基准上验证 collapse 与稳定性结论;(3)扩展到非 exact-match 的一般可验证奖励与长程奖励;(4)设计 GARL collapse 的诊断与缓解方法,例如控制 IR 有效样本数或显式去 pathwise 项。我额外提出三个可延伸方向:第一,把 $q$ 调度与课程学习(curriculum learning)结合,按样本难度自适应选择 $q$ 而非全局固定,这与作者在 PAFT 段落提到的"自动课程"思想一致;第二,把 $\mathcal{J}_Q$ 框架应用到多模态或多任务场景,验证对偶分解 $\nabla_\theta \ell_q = P_\theta^{-q}\nabla_\theta \ell_0$ 是否在跨模态生成(如文生图、文生视频)中仍成立;第三,探索理论推广到分布式或联邦 RLVR 场景, $P_\theta^{-q}$ 放大因子在多客户端聚合时是否引入新的稳定性问题。

复现评估总体中等。优点:论文描述了所有关键超参( $M=32$ 对0.6B, $M=16$ 对8B; GARL 用 RLOO variance reduction; PAFT 用 $K=M$ 重采样; per-rationale token budget 遵循 Muennighoff et al. 2025; 评估采用 best-of-16 + majority vote);训练用 exact-match reward, 评估用 relaxed substring match;数据集 FinQA/HotPotQA/MuSiQue 均从Huggingface下载;基线GRPO/warm-prompted基线均提供;固定 $q\in\{0,0.25,0.5,0.75,1\}$ 的0.6B网格与 $q\in\{0,0.75,0.85,1\}$ 的8B网格都列出;在Qwen 3 0.6B上对GARL $q=0.75$ 和GRPO warm给出了3个种子均值±标准差。缺点:(1)8B结果是单种子,8B温暖启动GARL collapse/PAFT稳定性是"ongoing"未发表,完整结论待补;(2)数据集采样细节、训练步数、batch size、learning rate等具体数值未在主文中给出,只在Section F的appendix中提到;(3)论文未明确说明是否开源代码与训练脚本,从arXiv编号与摘要看未提及GitHub链接,算法1和算法2的伪代码虽给出但完整实现仍需读者自行编写;(4)Qwen 3 0.6B/8B基础模型的checkpoint已开源,数据集亦开源,但GARL的RLOO基线实现和PAFT的IR重采样需对照Zhou et al.(2026)与Rubin(1988)各自复现。整体而言,有经验的RL for LLM研究者可在2-4周内复现0.6B主表;8B与collapse诊断实验需要额外算力(>8张A100/H100)。