LLM 推理数据选择中的步骤长度混淆问题研究

揭示并缓解 naturalness-based 推理数据选择中的步骤长度偏差，使小模型推理 SFT 平均提升 6-9 个百分点。

前置知识

监督微调 (SFT)

在已预训练的基础模型上，用带标签或带目标输出的数据继续训练，使其在特定任务上表现更好。在 LLM 推理场景下，通常用大模型生成的（问题、长 CoT 推理、答案）三元组作为 SFT 数据，让小模型学会慢思考。损失函数为标准的负对数似然 $\mathcal{L}_{SFT}(\theta) = -\frac{1}{N}\sum_{i=1}^{N}\sum_{t=1}^{|o_i|}\log P_\theta(o_{i,t}|o_{i,<t}, q_i)$。

本文讨论的所有数据选择策略都发生在 SFT 阶段——选不同的子集会直接改变小模型的训练分布与最终推理能力。

自然度评分 (Naturalness-based scoring)

一类数据选择方法：用目标 LLM 对候选样本打 log probability，挑选模型「看起来最熟悉」的高概率样本，假设它们与模型偏好更对齐、对训练更有益。代表方法有 GRACE (平均 log prob)、Local LP (按 step 切片算几何平均 log prob)、Min Entropy (平均熵)、Min Perplexity。形式上 $s_{logp_i} = \frac{1}{|o_i|}\sum_{t=1}^{|o_i|}\log P_\theta(o_{i,t}|o_{i,<t}, q_i)$，越高代表模型越「自然」地适配该样本。

本文的核心攻击对象就是这类方法。读懂本文需要先理解「用平均 log 概率挑数据」这个直觉以及它在长 CoT 数据上的失效方式。

高熵 / 低概率首 token 现象

在长 CoT 推理中，每个推理步骤的首个 token 往往需要在多条可能路径之间「分叉」（比如 "But"、"Wait"、"Alternatively"），因此熵高、概率低。这一现象在 Wang et al. 2025 的强化学习研究与 Cheng et al. 2025 的探索性推理研究中被独立发现。

这是本文的因果链条起点——首 token 概率低，步越长稀释越严重，导致长步样本在平均 log prob 上系统性地被高估。

因果去偏 (Causal debiasing)

一种将统计回归用于剥离混淆变量影响的方法。先把目标变量（这里是 $s_{logp_i}$）对潜在混淆因子做线性回归，得到混淆因子的回归系数 $\gamma$，然后把预测的偏置项减掉，得到「去偏后的」评分 $s_{casl_i} = s_{logp_i} - \gamma Z_i$。在 NLP 中常用于纠偏虚假相关（Udomcharoenchaikit et al. 2022）。

本文 ASLEC-CASL 直接借鉴这套思路，把首 token 占比 $Z_i$ 当成需要剥离的混淆因子。

研究动机

当前训练 LLM 推理模型的标准流程是用强 LLM（如 QwQ-32B、DeepSeek-R1）针对每个数学/科学题生成多条长 CoT 推理，再做 SFT。但生成的数据集噪声大——包含错误推理步、过长的冗余轨迹等。社区最近转向 naturalness-based 数据选择：让目标小模型（如 Qwen3-4B-Base）对所有候选样本打 log 概率，挑「模型看起来最熟」的子集训练，假设它与模型偏好更对齐。这一思路在 GRACE、Local LP、Min Entropy、Min Perplex 等方法中被广泛使用。然而，本文通过 Fig. 1 的统计发现这套方法存在严重偏差：在 LIMO-v2 的 16000 条候选响应中，无论用 GRACE、Local LP、Min Entropy 还是 Min Perplex，被选中样本的 step 长度分布都明显偏向长尾（平均约 30+ token/step），而未选中样本的 step 长度集中在较短的区间。这意味着方法挑选的并不是「高质量」，而是「token 数更多的 step」——作者将其命名为「step length confounding（步骤长度混淆）」。在数据规模、模型容量或质量受限的 SFT 场景下，这种偏差会显著劣化最终推理能力，因为模型被强迫去学冗长的推理模式。

本文的目标是本文的总体目标是揭示并量化 naturalness-based 数据选择中 step length confounding 的存在与根因，然后提出轻量、原理清晰的修正方法。具体目标包括：(1) 用定量分析确认四种主流方法（GRACE、Local LP、Min Entropy、Min Perplex）都偏向长 step 样本；(2) 找到偏差的因果源头（首 token 概率异常低导致长 step 样本在平均 log prob 中被「稀释高估」）；(3) 设计两种可直接替换的变体方法 ASLEC-DROP 和 ASLEC-CASL，能在保持 SFT pipeline 其他环节不变的前提下，让被选样本的 step 长度分布恢复均衡，并稳定提升下游推理分数。

与已有工作不同的是，已有工作要么用人工规则筛选（答案正确性、题目难度、回答多样性、LLM-as-a-judge），要么直接采用 naturalness-based 评分。前者依赖大量启发式先验且不考虑目标 LLM 的适配度；后者虽然概念优雅但被本文发现存在系统性偏差。在该问题被指出之前，没有任何工作系统地拆解过「自然度评分中长 step 为什么会被高估」这一机制，也没有人尝试从因果/统计角度把首 token 的影响从全局 log prob 中剥离出来。ASLEC 的独特切入角度是：把 step 长度视为需要被「去混淆」的变量 $Z_i$，并把工作重心放在干预首 token 概率这一可量化的、模型可解释的统计源头上，而不是用更复杂的训练目标或更深的 LLM-as-a-judge 重新打标。

核心方法

ASLEC 的整体思路是「先定位混淆源，再做最小干预」。直觉上，naturalness-based 方法算的是「整条响应所有 token 的平均 log 概率」，但是 reasoning step 的第一个 token 因为路径分叉而普遍概率很低。step 越长，比例越低，稀释效果越强，所以长 step 样本被系统性高估。ASLEC 设计了两条互相补足的修正路径：第一条 ASLEC-DROP 是「暴力修正」——直接把每个 step 的首 token 概率从平均值中拿掉，相当于人为消除分叉 token 的稀释效应；第二条 ASLEC-CASL 是「因果修正」——先用一个简单的 OLS 线性回归把全局 log 概率分解为「首 token 项 + 非首 token 项 + step 长度项 + 残差」，用估计出的 step 长度系数 $\gamma$ 把偏置减掉，得到去偏评分 $s_{casl_i} \sim s_{logp_i} - \gamma Z_i$，其中 $Z_i = |S_i|/|o_i|$ 是首 token 在响应中占的 token 比例。两条路径都只改数据选择的 score 函数，pipeline 其余部分（采样、过滤、SFT）保持不变。

与已有 naturalness-based 方法的本质区别在于：GRACE/Local LP/Min Entropy 都把 step 当作「黑箱」算平均概率，隐含假设每个 token 贡献相等；ASLEC 显式地把每个 step 的首 token 拆出来当作一种「需要降权的高熵 token」，并发现这种拆分在统计上等价于在因果图里引入混淆变量 $Z_i$。ASLEC-DROP 走捷径「完全丢弃首 token 贡献」，简单但浪费信号；ASLEC-CASL 走因果路线「按混淆强度 $\gamma$ 做线性扣除」，既保留首 token 信息也校正长度偏置。从 Table 5 可以看到，拟合出来的 $\beta_1$（首 token 系数，约 0.066）远小于 $\beta_2$（非首 token 系数，约 0.944），且 $\gamma$ 为负（最大 -1.284），这从数值上证明了「首 token 的贡献应当被显著降权、且 step 越长降权越明显」。

方法步骤详情

ASLEC 的完整流程分四步。**Step 1 — 数据生成与候选池构建**：用 4 个强源模型（QwQ-32B、Qwen3-32B、DeepSeek-R1-Distill-Qwen-32B、gpt-oss-120b）针对 LIMO-v2 的 800 题各采样 5 条长 CoT（top-p=0.95，温度 0.6/1.0，64K 上下文），用 Math-Verify 过滤掉答案错误的，最终在 4 个源模型间各保留 4k 条候选，构成 16k 候选池；对 AceReason-1.1-SFT 随机抽 10k 题，每题取 1 条正确响应，最终 40k 候选。**Step 2 — 打 log 概率**：用 SGLang 部署目标小模型（Qwen3-4B-Base / 8B-Base / 4B-Instruct / Qwen2.5-7B-Instruct），对每条响应 $o_i$ 计算逐 token 的 log 概率 $P_\theta(o_{i,t}|o_{i,<t}, q_i)$，并按 "句号/换行/NLTK" 切分成 step $S_i = \{s_i^l\}_{l=1}^{L_i}$，保留每个 step 的首 token log prob 和非首 token 平均 log prob。**Step 3 — 选样本**：对 ASLEC-DROP，按公式 (4) $s_{drop_i} = \frac{1}{|o_i|-|S_i|}\sum_{l}\sum_{t=2}^{|s_i^l|}\log P_\theta(s_{i,t}^l | s_{i,<t}^l, s_{<}^l, q_i)$ 把首 token 排除后取平均 log prob，挑最高分；对 ASLEC-CASL，先对全量候选拟合线性模型 $s_{logp_i} = \beta_1 s_{first_i} + \beta_2 s_{drop_i} + \gamma Z_i + \epsilon$（OLS 闭式解 $\beta = (X^\top X)^{-1} X^\top Y$），再用公式 (7) $s_{casl_i} \sim s_{logp_i} - \gamma Z_i$ 给每条样本打去偏分，挑最高分。LIMO-v2 取 4k 条（每源 1k），AceReason 取 10k 条（每源 2.5k）。**Step 4 — SFT**：用 LlamaFactory 全参数微调，batch=32，最大序列 32K，Adam 学习率 $5 \times 10^{-5}$，cosine_with_min_lr（min_lr=$1\times 10^{-5}$），训 6 个 epoch，并在 5 个 benchmark 上做 greedy 和 pass@4 评测。

技术新颖性

技术上的新颖性体现在三处。第一，把「自然度评分偏差」从直觉问题升级为可度量的统计问题——首次用线性回归的 $\gamma$ 系数把首 token 比例 $Z_i$ 显式建模为混淆变量，让「为什么长 step 会被高估」从「看上去是这样」变成可定量验证的因果论断。Table 5/6/8 给出了四个源模型、两个数据集、两个目标模型下的稳定 $\gamma$ 估计（始终显著为负，最大 -1.284，对应首 token 占比差 0.05 时对单 token 概率约 6.22% 的影响），这种跨源模型的一致性是新的。第二，提出 ASLEC-DROP 与 ASLEC-CASL 两种干预方案分别覆盖「快/稳」两种使用场景：前者零计算开销、后者只多一次轻量 OLS（数秒即可完成），比 GRACE/Local LP 等改动极小、易于 drop-in。第三，把 $\beta_1 \ll \beta_2$ 这一现象从纯描述性观察变为可作用于数据选择的工具——它告诉研究者「首 token 的统计权重应当被显著降低」，这一发现同时启发了「用回归去偏」和「直接丢弃首 token」两种处理思路，并通过 Fig. 4 中 ASLEC 方法的 step 长度分布与 Fig. 1 中原方法的大幅差异，验证了干预是有效且可观测的。

实验结果

**主实验（LIMO-v2，Table 1）**：在 4 个目标模型 × 5 个 benchmark 上，ASLEC 两种变体均稳定优于 GRACE 和当前 SOTA 的 Local LP。以 Qwen3-4B-Base 为例，平均准确率从 GRACE 33.42%、Local LP 36.50% 提升到 ASLEC-DROP 44.64% 和 ASLEC-CASL 47.54%，相对 Local LP 分别 +8.14 和 +11.04 个百分点。AIME24 上 ASLEC-CASL 达 31.66%，相对 Local LP 提升 12.50；AIME25 上 ASLEC-CASL 达 53.33%，提升 16.67。Qwen3-4B-Instruct 上 ASLEC-CASL 平均 76.16%，相对 Local LP 的 65.84% 提升 10.32，AIME25 pass@4 直接达到 90.00%。**AceReason-1.1-SFT（Table 3）**：ASLEC-CASL 在 4 个目标模型上平均相对 Local LP 提升 +5.49 到 +10.26 个百分点，Qwen3-4B-Instruct 达 68.16% 平均、Qwen3-8B-Base 达 56.21%；Qwen2.5-7B-Instruct 上 AIME24 准确率从 17.50 跃升到 30.00。**GPQA 科学推理（Table 2）**：在 4 个目标模型上 ASLEC-CASL 全部 SOTA，Qwen3-4B-Base 从 Local LP 的 29.16 提升到 35.35，Qwen2.5-7B-Instruct 从 26.13 提升到 38.51（绝对 +12.38）。**平均提升**：跨 4 模型、2 数据集，ASLEC-DROP 相对 Local LP 提升约 6.28%，ASLEC-CASL 提升约 9.08%。**因果机制（Table 5）**：跨 4 源模型拟合回归的 $\gamma$ 均为负且量级可观（-0.226 至 -1.284，整体 -0.680），证明 step 长度对全局 log prob 的偏置是稳定可测的；gpt-oss-120b 数据集 $\gamma=-1.284$ 最严重。**选择高/低概率（Table 4）**：max CASL 在 4 个目标模型上一致优于 min CASL，与「高自然度即更适配」的原始假设一致。**方法有效性（Fig. 4）**：ASLEC 选中的样本与未选中的样本在 step 长度分布上几乎重合，明显缓解了 Fig. 1 中 GRACE/Local LP/Min Entropy/Min Perplex 展示的「长 step 偏移」。**额外验证（Table 9/10）**：ASLEC-CASL 在 Llama3-3B（非 Qwen 家族）上 AIME25 33.33、MATH500 84.40，比 GRACE 提升 6.67/8.20；相对 Uniform（24.16/73.20）和 Low Difficulty（20.83/71.20）提升更显著，仅在 High Difficulty（26.66/77.80）的「最长轨迹」基线上仍占优。

**Table 1**: Experimental results on LIMO-v2 (Ye et al., 2025). 5 responses per source LLM, select 5 from them (4k from 16k).

**Table 2**: Experimental performance on GPQA.

**Table 3**: Experimental results on AceReason-1.1-SFT (Chen et al., 2025b). 1 response per source LLM, select 1 from them (10k from 40k).

**Table 4**: Comparison of the experimental results for ASLEC-CASL that selects the highest and lowest scasl.

**Table 5**: Linear regression parameters of Eq. (5) fitted on data generated by different source LLMs on LIMO-v2.

**Table 6**: Linear regression parameters including overall response length γ2|oi|.

**Table 7**: Comparison of experimental results with and without removing overall response length bias γ2|oi|.

**Table 8**: Linear regression parameters of all SFT data on AceReason-1.1-SFT for the two target models.

**Table 9**: Results of more data selection methods.

**Fig. 4**: Step length distributions for data selected versus unselected by our two proposed variant methods.

**Fig. 5**: Relationship between response-level log probability and total response length.

**Fig. 6**: Average log probability of tokens at different positions.

**Fig. 7**: Step length distributions for selected and unselected data and relationship between step-level log probability and step length on AceReason-1.1-SFT.

**Fig. 8**: Data selection bias and step length distributions under different splitting methods.

查看结构化数据

任务	指标	本文	基线	提升
LIMO-v2 训练后评估 AIME24 (Qwen3-4B-Base)	Accuracy	ASLEC-CASL 31.66	Local LP 19.16	+12.50
LIMO-v2 训练后评估 AIME25 (Qwen3-4B-Base)	Accuracy	ASLEC-CASL 53.33	Local LP 20.83	+32.50（相对涨幅约 156%）
LIMO-v2 训练后评估 MATH500 (Qwen3-4B-Base)	Accuracy	ASLEC-CASL 80.00	Local LP 71.60	+8.40
LIMO-v2 训练后评估 OlympiadBench (Qwen3-4B-Base)	Accuracy	ASLEC-CASL 42.81	Local LP 34.11	+8.70
LIMO-v2 训练后 5 任务平均 (Qwen3-4B-Base)	Avg Accuracy	ASLEC-CASL 47.54	Local LP 36.50	+11.04
LIMO-v2 训练后 5 任务平均 (Qwen3-8B-Base)	Avg Accuracy	ASLEC-CASL 56.15	Local LP 44.06	+12.09
LIMO-v2 训练后 5 任务平均 (Qwen3-4B-Instruct)	Avg Accuracy	ASLEC-CASL 76.16	Local LP 65.84	+10.32
LIMO-v2 训练后 5 任务平均 (Qwen2.5-7B-Instruct)	Avg Accuracy	ASLEC-CASL 45.43	Local LP 30.60	+14.83
AceReason-1.1-SFT 训练后 5 任务平均 (Qwen3-4B-Base)	Avg Accuracy	ASLEC-CASL 47.50	Local LP 45.22	+2.28
AceReason-1.1-SFT 训练后 5 任务平均 (Qwen3-8B-Base)	Avg Accuracy	ASLEC-CASL 56.21	Local LP 50.71	+5.50
AceReason-1.1-SFT 训练后 5 任务平均 (Qwen3-4B-Instruct)	Avg Accuracy	ASLEC-CASL 68.16	Local LP 61.79	+6.37
GPQA (Qwen3-4B-Base)	Accuracy	ASLEC-CASL 35.35	Local LP 29.16	+6.19
GPQA (Qwen2.5-7B-Instruct)	Accuracy	ASLEC-CASL 38.51	Local LP 26.13	+12.38
Llama3-3B AIME25 (跨模型泛化)	Accuracy	ASLEC-CASL 33.33	GRACE 26.66	+6.67

局限与改进

**作者承认的局限**：(1) 主要识别了首 token 概率这一关键因素，但「是否存在更深的 confounding factor 仍是一个开放问题」——即可能还有未被发现的统计量在驱动偏差。(2) 论文只关注 naturalness-based 选择方法，对 on-policy data generation（学生模型自己生成样本再训练自己）是否仍存在响应/步骤长度相关偏差未作探讨。**观察到的局限**：(1) 方法依赖目标 LLM 的 log 概率分布，意味着 ASLEC 选出的子集和目标模型绑定——用 4B 选的数据去训 8B 仍可能不是最优，这与 Local LP 等方法同病；论文未做「错配目标 LLM」的实验。(2) ASLEC-DROP 完全丢掉首 token 贡献，在某些「首 token 携带关键分叉信号」的场景下可能反而损失信息，从 Table 1 中 ASLEC-DROP 始终弱于 ASLEC-CASL 也可看出。(3) 实验局限于数学（AIME24/25、MATH500、OlympiadBench）和科学（GPQA）两类推理，代码、对话、Agent 等长 CoT 场景未覆盖，方法在这些领域的有效性未知。(4) 当 SFT 池子已经过强 RL 后处理（如 DPO、GRPO 后的轨迹），首 token 的「分叉性」可能被人为弱化，$\gamma$ 的强度和方向可能改变，论文未做此分析。(5) ASLEC-CASL 的 $\gamma$ 是从全量数据一次性估计的，若不同题目领域分布差异大，可能需要分组估计或加正则。

独立分析的弱点

**(1) 对 step 切分方式敏感**：Table 与 Fig. 8 显示「句号切分」是让首 token 偏差最明显的切分方式，但当用 \n\n 或 NLTK 切分时，长 step 偏差依旧存在只是幅度变弱。这意味着 ASLEC 隐含依赖某种 step 切分假设——在更短的「符号化 step」或非自然语言推理（代码、形式化证明）上，首 token 现象的强弱会变，$\gamma$ 估计可能不再可靠，改进方向是引入鲁棒切分或多粒度切分后取加权。**(2) 仅用一个全局 $\gamma$ 描述全部数据**：Table 5 显示 $\gamma$ 在不同源模型间差异巨大（-0.226 到 -1.284），说明混淆强度和源模型风格强相关，gpt-oss-120b 风格的数据被高估得最厉害。如果训练混合池子跨域、跨源，全局 $\gamma$ 会被拉平，损失精度，改进方向是分簇拟合或对 $\gamma$ 做稀疏正则。**(3) 仍然依赖目标 LLM 的对数概率分布**：ASLEC 替目标模型「打分」，意味着选出的子集可能高度适配该目标模型，换一个目标模型要重打。改进方向是用通用强 LLM 的概率作为锚定，或结合 embedding 相似度做模型无关选择。**(4) 候选响应来源相同**：所有 16k 候选都是同一批 4 个强源模型的输出，方法只是从 16k 中选 4k，候选多样性受源模型多样性的限制——如果源模型本身对某类题目理解错误，再选也选不出来；改进方向是先用 LLM-as-a-Judge 或 verifier 做粗筛，再用 ASLEC 做精排。**(5) 训练计算成本仍较高**：每个实验要训 4 个不同尺寸的目标模型各 6 epoch，论文没报告端到端时间与碳排，对中小团队复现是负担。

未来方向

**作者提出的方向**：(1) 探索是否还有除首 token 之外的更深层 confounding factor 推动 step length 偏差，方法是做残差分析、引入更多 step 级或 token 级统计量（如位置熵、过渡 token 频率）做更细粒度回归。(2) 把分析扩展到 on-policy data generation 范式——学生模型自采自训练时是否也存在类似的「模型自身倾向于生成更长的 step 进而被自然度评分高估」的循环。**基于成果可延伸的方向**：(1) 把「高熵首 token 降权」思路推广到 RLHF/RLVR 阶段：在 GRPO 等算法中，奖励/优势函数对 step 首 token 也做衰减，可能缓解 RL 中常见的「越来越长」现象（类似 RLOO/Dr. GRPO 的 length penalty 思路，但更细致）。(2) 与 on-policy 蒸馏结合：先在候选池上做 ASLEC 粗筛，再在 SFT 训练中加首 token KL 正则，让目标模型的 step 长度分布主动向源模型靠拢或反向。**(3) 多任务扩展**：把 ASLEC 思想迁移到代码生成、Agent 决策、Tool-use 等其他长 CoT 场景，验证「首 token 现象」是否在多模态/形式化推理中也成立。(4) 自适应 step 切分：训练一个轻量级切分模型，根据领域动态切 step，使 ASLEC 在不同语种/不同推理风格下都稳定。**(5) 与 process reward model 联合使用**：先用 PRM 选高质量 step，再在剩余样本上跑 ASLEC，理论上能同时解决「质量」与「长度混淆」两个问题，是天然的下一步工作。

复现评估

**代码与数据**：(1) 源码完全开源在 https://github.com/wangbing1416/ASLEC，附录 B 给出了完整的训练超参与数据过滤流程，复现技术门槛较低。(2) 多源 SFT 数据也公开在 https://huggingface.co/collections/wangbing1416/msms-cot-sft，LIMO-v2 上 4 源 ×5 响应/题 + AceReason 上 4 源 ×1 响应/题，最大 75 条/题。**模型与算力**：实验涉及 4 个 32B 级别的源模型（QwQ-32B、Qwen3-32B、DS-R1-Distill-Qwen-32B、gpt-oss-120b）和 4 个 4B/7B/8B 级别的目标模型，源模型推理用 SGLang 部署、64K 最大生成长度，目标模型 SFT 用 LlamaFactory 全参数微调 6 epoch（batch 32、max seq 32K、Adam + cosine schedule）。**复现难度**：中等偏上。要复现 Table 1 全部结果需要至少 8×H100 或等效算力（4 个 32B 源模型生成 + 4 个 4-8B 目标模型 SFT）；但要复现核心结论（ASLEC > Local LP > GRACE）只需要 1 个 32B 源模型 + 1 个 4B 目标模型，单卡 A100 80G 即可跑通。**超参敏感度**：$\gamma$ 是从数据估计而非手动设置，对分布变化较鲁棒；ASLEC-DROP 无需调参，ASLEC-CASL 的 OLS 拟合几秒完成；LLM-as-a-Judge 类的超参（如 temperature、prompt）不存在。**潜在风险点**：(1) gpt-oss-120b 是闭源模型权重随版本变动，不同时间点下载到的模型可能给出不同的 $\gamma$；(2) SFT 训练 6 epoch 对 4k 数据量偏多，作者在 Table 3 之后未给 epoch 消融；(3) 评估依赖 math-verify 库做答案匹配，对符号等价规则敏感。

LLM 推理数据选择中的步骤长度混淆问题研究 On the Step Length Confounding in LLM Reasoning Data Selection