少训练多学习：不确定性引导的渐进收缩实现高效推理后训练 Learning More by Training Less: Uncertainty-Guided Progressive Contraction for Efficient Reasoning Post-Training

完整流水线六步。(1) 轨迹生成：教师 $T$ 对每个问题 $x_i$ 生成结构化CoT $\tau_i=(s_{i,1},\ldots,s_{i,m_i},\hat{a}_i)$，每个 $s_{i,t}$ 是一个语义连贯的推理步；经答案校验保留正确轨迹得语料 $C$（$N_c$ 条）。(2) MCRT剖析：把 $\tau_i$ 当主干，对每个前缀状态 $h_{i,t}=(x_i,s_{i,1:t})$ 独立采样 $K$ 条续写 $R^{(k)}_{i,t}\sim\pi_T(\cdot\mid h_{i,t})$，判分 $Z^{(k)}_{i,t}=\mathbb{I}[\hat{a}^{(k)}_{i,t}=a_i]$，估计 $\hat{p}_{i,t}=K^{-1}\sum_k Z^{(k)}_{i,t}$，再算 $\hat{U}_{i,t}=4\hat{p}_{i,t}(1-\hat{p}_{i,t})$。(3) 教师侧收缩：轨迹均值 $\bar{U}_i=\frac{1}{m_i}\sum_t\hat{U}_{i,t}$ 作为 $q_i^T$，取top-$\rho$ 得池 $P_\rho$（式5）；此池学生无关，可跨学生家族复用。(4) 探测epoch：学生在 $P_\rho$ 上过一遍数据，只前向不更新，记录每条轨迹响应token的长度归一化负对数似然 $q_i^S=\ell_i=-\frac{1}{|R_i|}\sum_{j\in R_i}\log p_\theta(\tau_{i,j}\mid x_i,\tau_{i,<j})$（式6）。(5) 学习者感知路由：取损失最大的 $M$ 条为 $H_M=\arg\max_{H\subseteq P_\rho,|H|=M}\sum_{i\in H}\ell_i$（式7），此后两个epoch只在 $H_M$ 上做SFT，路由分数随训练在线更新以适应学生状态变化。(6) 预算核算：总曝光 $\lfloor\rho N_c\rfloor+2M$ 除以全量 $3N$ 得 $B$（式8）。标准'3遍全量'被改写为'1遍压缩池+2遍激活集'。

新颖性有四点。其一，监督价值信号新：现有蒸馏数据选择依赖正确性过滤、难度分级（DeepDistill）、质量评分或梯度/影响函数（LESS、RHO-Loss），本文首次把'过程级不确定性的Bernoulli方差'用作轨迹级价值分，且证明该信号与正确率正交——Table 4中匹配预算下高不确定性选择比随机选择高1.6至4.5个百分点。其二，无内部访问的过程探针：与需要logits/隐状态的PRM类方法（如RLCM的置信度过程监督）不同，MCRT只需前缀采样加答案判分，直接适用于闭源API教师（Fig 3，最高提升13.4%），也天然支持教师弱于学生的设定。其三，两阶段解耦：教师剖析学生无关、一次构建可在Qwen/Gemma/Llama/Mistral四个家族间共享（Fig 2），把昂贵的剖析成本摊薄；学习者侧路由只用普通前向损失在线适应，无需辅助模型。其四，压缩极限新：把SFT预算压到0.22%至1.91%仍能持平或超越全量训练，远超以往数据选择工作通常几十个百分点的剪枝幅度，把'少即是多'推到了极端。

独立分析四点弱点。其一，教师侧成本黑箱：MCRT要求对每条轨迹的每个中间状态做K次续写并判分，若用GPT-4级API教师剖析百万级语料，API费用可能远超学生LoRA训练的电费，论文只报了学生侧0.01–0.07 GPU时，没有端到端的总成本核算——改进方向：状态级剪枝（仅在高熵token邻域展开采样）、早停（连续多个低不确定性状态则跳过剩余步骤）、或用小模型代理教师做画像。其二，选择偏差风险：高不确定性轨迹往往更长、更'摇摆'，轨迹均值 $?ar{U}_i$ 虽做了长度归一却未对题目难度归一，简单题上稳健的轨迹可能被系统性低估；且'分叉多'不必然等于'教学价值高'，对容量极小的学生可能引入噪声——改进方向：按难度分层后在各层内做不确定性排序，或引入课程式ρ调度（先宽后窄）。其三，路由信号冷启动：探测epoch时学生尚未训练，长度归一化损失对长度与风格偏置敏感，损失最高的样本可能只是学生格式不适应而非价值最高——改进方向：把教师不确定性与学生损失做加权融合，而非两段硬性先后选择。其四，验证域窄：只测了LoRA+数学/科学，代码生成、工具调用等存在不可验证中间步的场景是否成立未知——改进方向：用单元测试通过率、执行反馈作为 $Z_{i,t}$ 的替代验证信号，把MCRT搬到可执行验证的领域。

作者提出的方向：把渐进收缩从SFT推广到RLVR/RL后训练的样本与轨迹分配（结论暗示训练负担削减是普适工具），并为算力有限的社区提供构造强推理模型的实用路径。基于成果可自然延伸：(1) 理论补全——把附录提及的有限样本集中度结果与两阶段选择的统计保证形式化，给出 $\rho$、$M$、$K$ 与下游泛化差距的显式关系，指导超参选取；(2) token级细化——把轨迹级 $\bar{U}_i$ 下沉为token/步级加权SFT损失，而非整条轨迹硬丢弃，可能进一步榨取被丢弃轨迹中的信息；(3) 动态ρ——随学生收敛程度自适应放大或收缩候选池，形成真正的自动课程学习；(4) 开放域验证器——用LLM裁判或rubric打分代替标准答案判分，把MCRT扩展到代码、agent轨迹、多模态推理；(5) 与弱到强对齐结合——Table 2显示1.7B教师可提升14B学生，值得研究过程不确定性画像能否作为'能力边界探测器'服务于可扩展监督（scalable oversight）；(6) 基础设施化——教师画像跨学生可复用的特性适合做成公开'不确定性画像库'，像OpenThoughts的数据配方一样成为社区共享资产。

复现要素大多可得：训练数据公开（DAPO-17K、Nemotron-Math前1000题）；评测基准全部公开（AIME24/25/26、AMC、HMMT25/26、MATH-500、GSM8K、GPQA-Diamond）；教师Qwen3-8B与学生Qwen3.5-4B/9B、Gemma-4-E4B、Llama-3.2-3B、Mistral-7B均为开放权重。学生训练用LoRA在2×H200上完成，全量SFT也只需8.47/9.23 GPU时，本文方法0.01–0.07时，算力门槛很低。不利因素：正文未给出开源代码链接；两处附录引用断裂（'Appendix ??'），算法流水线与有限样本集中度证明在当前版本不可读；剖析关键超参K（每状态rollout数）、M（激活集大小）、推理步的语义切分实现等细节未在正文交代；闭源教师实验（DeepSeek-V4-Pro、Kimi-K2.6）需付费API，普通研究者难以复现该组数字。总体评估：方法概念简单、组件均为标准件（采样+判分+LoRA SFT+top-k筛选），复现难度中等——主要工程量在MCRT的步级采样与判分管线上；若官方放码则较容易，不放码则需自行补齐剖析超参并做网格搜索；鉴于基线偏弱的现象，建议以自己的全量SFT基线复核增益幅度后再采用其结论。