基础模型可借训练数据中的线索触发推理

仅固定开头两个token，基础模型推理性能即可追平RL版本

前置知识

基础模型与 RL-Zero 后训练

基础模型指仅通过大规模语料上的下一词预测训练、未经指令微调或 RLHF 的语言模型，其行为完全由提示上文决定。RL-Zero 指跳过 SFT 阶段、直接在基础模型上用可验证奖励（如答案对错）做 GRPO 强化学习的做法，DeepSeek-R1-Zero 即属此类。

本文全部对比都建立在 base 与其 RL-Zero 版本之上，理解二者关系是领会“RL 只是重加权已有能力而非注入新能力”这一核心论点的前提。

Token 线索与预填充

预填充指推理时先手动给定若干输出 token，再让模型从其后继续采样，即固定开头 $c$ 后从条件分布 $p_\theta(y \mid x, c)$ 采样，全程不改权重。它把“模型如何开头”与“开头之后如何展开”解耦开来。

这是全文的核心实验手段：论文所谓固定线索后的性能变化，全部通过 prefill 实现，不理解 prefill 就无法理解实验设计。

pass@1

每道题单次采样回答并判对错的期望准确率。本文每题采样 32 条取平均来估计它，并给每题 31,744 token 的生成预算；相比 pass@k，它更能反映模型一次生成即可用的实际水平。

论文所有主结果（如 MATH-500 上 42%→78%）均以 pass@1 报告，是该领域比较推理能力的基本通货。

答案一致性与熵

对同一问题采样多条回答、统计最终答案的经验分布 $\hat{p}_c(a \mid x)$，其 Shannon 熵 $H$ 越低说明答案越一致，通常与正确率正相关，因此可作为无参考答案的准确性代理指标。

线索发现就靠它：作者在 30 道探针题上为每个候选开头算平均答案熵并取最低者，无需任何标注即可挑出有效线索。

隐藏状态最近邻分析

抽取模型某一层（本文为第 24 层）在生成文本与训练文档上的隐藏向量，用余弦相似度为每个生成状态找最相似的十个训练文档状态，统计各数据来源（推理轨迹、说明性数学、短问答等）的占比变化。

论文用它把“线索改变行为”落实为“线索使表征偏向某类训练文档”的机制证据，是连接行为与训练数据的关键桥梁。

中训练与数据反事实

中训练是预训练后期阶段，在通用语料中混入高质量、任务导向数据（如合成推理轨迹）继续训练。Olmo 3 公开了其中训练混合、配方与中间 checkpoint，使得“改写数据后同种子重训”的反事实实验成为可能。

论文最独特的因果证据（chicken 改写、Question 重定向）正是在 Olmo 的 10B token 中训练数据上完成的，没有这个可控阶段就无法做数据级因果干预。

研究动机

自 DeepSeek-R1-Zero 展示“aha 时刻”以来，社区倾向于把反思、验证等推理行为视为 RL 后训练赋予的新能力。但作者观察到一个耐人寻味的现象：Olmo-3-7B 对 MATH-500 的作答中，50% 的正确答案以 token 序列 .\n\n（句号加两个换行）开头，而错误答案中这一比例只有 14%——这个开头本身不含任何解题指令，却与正确性强相关。这引出关键疑问：RL 究竟是教会了模型新的推理能力，还是仅仅提高了某些基础模型早已具备、但采样概率偏低的行为？此前工作已表明，显式提示（“Let's think step by step”）、推理时搜索、likelihood-guided 重采样都能在基础模型上诱发出推理，暗示能力本来就存在，但“最少需要多少干预才能把它稳定引出”始终缺乏定量回答。

本文的目标是本文的目标分三层。第一，证明一个极小干预——仅固定基础模型回答的开头两个 token（作者称之为 token cue，即线索）——就能让基础模型的推理性能达到其 RL 训练版本的水平，且该结论跨模型（Olmo-3-7B、Qwen3-14B）与跨任务（MATH-500、GSM8K、AMC 23、AIME 2024、HumanEval）成立。第二，解释线索为何有效：验证 RL 的收益是否主要来自提高这些开头的生成概率，并通过因果数据干预（改写训练数据中的关键词后重新中训练）直接检验“训练数据中的共现关联决定线索行为”这一假设。第三，以安全性为案例，考察不同开头 token 如何唤起拒答或顺从等截然不同的行为，说明该机制的适用范围超出数学推理。

与已有工作不同的是，与已有工作的区别在于干预的最小性与解释的因果性。提示工程依赖语义指令或示例示范，而本文的线索不含语义信息；budget forcing（如 s1 的“Wait”）作用于已后训练模型，本文则作用于裸基础模型且零权重更新。此前关于 RL 的分析（Yue et al. 2025 等）主张 RLVR 只是放大基础模型已支持的推理轨迹，但多为相关性证据；本文给出了直接的反事实实验——在 Olmo-3-7B 公开的中训练数据里把“okay”全部替换为“chicken”再重训，让任意词变成推理线索，或把短问答文档的“Question:”标签改成“Okay,”来消除原线索的作用——以巴甫洛夫条件反射式的因果设计把行为归因到具体训练数据，再用第 24 层隐藏状态与训练文档表示的余弦相似度把行为差异落实为可观测的表征偏移。

核心方法

整体思路是先分解、再发现、后归因。作者把生成分解为 $p_\theta(c, y \mid x) = p_\theta(c \mid x)\, p_\theta(y \mid x, c)$，$c$ 为开头 token、$y$ 为后续内容；通过预填充固定 $c$、只采样 $y$，即隔离开头的影响。发现线索：先用 beam search（宽度 20、深度 2）在 30 道 MATH 训练题上按平均概率 $p_\theta(c \mid x)$ 提出约 20 个候选开头；再对每个候选每题采样 16 条续写，以答案分布的 Shannon 熵 $H(\hat{p}_c(\cdot \mid x))$ 作无标注准确性代理，选平均熵最低者。评估在五个基准上每题采样 32 条、预算 31,744 token，比较无线索、预填线索、RL 对应模型（RL-Zero 设定）三种条件；用逐位置 KL 散度与 cue-forced GRPO 定位 RL 改动位置；最后在 Olmo-3-7B 公开的 10B 中训练数据上做反事实改写并重训，配合层 24 隐藏状态最近邻分析完成归因。

核心洞察是把语言模型行为理解为训练数据关联造就的“条件反射”，而非纯粹的语义响应。作者发现 Olmo-3-7B 的中训练数据里 83% 的合成推理轨迹以“Okay”开头，于是提出假设：.\n\n Okay 这类表面无信息量的 token 之所以能触发推理，是因为训练中它与推理文本反复共现。这与 CoT 提示（语义指令）、解码干预或 RL 权重更新都本质不同：该机制可在零更新、零指令、零示范下改变模型行为。最能体现这一点的是数据反事实实验——把中训练数据中的“okay”替换为“chicken”并重训后，.\n\n Chicken 成为新的推理线索，而模型在其他语境仍把 chicken 当作禽类；再把短问答文档段首的“Question:”改成“Okay,”后，原线索即被重定向为“提问”行为。关联的建立与消除完全由数据分布决定，这是本文区别于一切提示工程与后训练方法的根本之处。

方法步骤详情

第一步，提出候选：30 道 MATH 训练题查询，beam search（宽 20、深 2）按平均概率取前 20 个两 token 开头。第二步，无标注筛选：每候选每题采 16 条续写抽答案，构造 $\hat{p}_c(a \mid x)$，剔除缺失率超基线 10 个百分点者，选答案熵最低者（与 500 候选最优 pass@1 仅差 1.1 个百分点）。第三步，评估：每基准每题 32 采样、31,744 token 预算报 pass@1。第四步，RL 分析：逐位置算 base 与 RL 的双向 KL 散度，做 300 步标准/cue-forced GRPO（cue token 不计损失）。第五步，数据反事实：在 Olmo 的 10B 中训练混合上构造 rename（okay→chicken）与 redirect（再改 Question:→“Okay,”），同 checkpoint、配方、数据顺序、种子重训，SmolLM3-3B 上复现。第六步，表征分析：层 24 隐藏状态与各训练来源余弦最近邻，统计占比变化。第七步，安全案例：XSTest 上用 WildGuard 分类拒答与有害内容。

技术新颖性

新颖性体现在四点。其一，线索发现被形式化为无标注模型选择：用答案熵代替真值标签挑开头，在 500 个候选中与最优 pass@1 仅差 1.1 个百分点，方法可直接迁移到任何基础模型。其二，因果数据干预设计前所未有地直接——同种子、同配方重训使“任意词变成推理线索”（chicken 实验）与“消除现有线索”（redirect 实验）双向成立，且 100B token 全量对照确认 10B 中训练足以复现效应。其三，把 RL 的收益精确定位到前两个输出位置：双向 KL 散度在位置 1–2 达峰后骤降，说明相同前缀下 base 与 RL 的续写分布几乎一致，RL 主要在做“开头概率重加权”；cue-forced GRPO 用远少于标准的更新即达同精度（约等于 Olmo 100 步、Qwen 50 步标准 RL）。其四，把同一机制延伸到安全领域：语义上几乎相同的“ Okay ,”与.\n\n Okay 在有害回答率上相差 42.4 对 0.2 个百分点，揭示标点与空白也能充当行为开关。

**Figure 5**: Data edits create and redirect reasoning cues.

**Figure 6**: The data edit makes “Chicken” elicit reasoning while preserving its ordinary uses.

实验结果

（1）线索匹配 RL：预填 .\n\n Okay 使 Olmo-3-7B 的 MATH-500 pass@1 从 42% 升至 78%（RL 为 75%）；“ Alright ,”使 Qwen3-14B 从 72% 升至 87%，追平 RL。（2）RL 只重加权开头：双向 KL 散度在前两个位置达峰；RL 把 .\n\n Okay 概率从 0.14 提至 0.65、“ Alright ,”从 0.04 提至 0.58；cue-forced RL 约省百步更新，收益非更长回答所致。（3）数据决定线索：rename 后 .\n\n Chicken 在 MATH-500 从 2.4% 升至 37.2%，GSM8K 从 2.2% 升至 60.6%；Okay 概率跌至近零效应仍在；redirect 使 Okay 线索跌至 0.2%；“duck duck goose”改写使新指令从 6% 升至 17%，与原指令相当。（4）表征与安全：高准确开头使隐藏状态偏向推理轨迹，97% 的 Okay 回答含自检语句；XSTest 上“ Okay ,”有害回答率 42.4%，.\n\n Okay 仅 0.2%。

**Figure 2**: Fixing only the first two tokens can bring a base model to RL-level accuracy.

**Figure 3**: Forcing the cue recovers most of RL's accuracy gain.

**Figure 4**: The reasoning cue improves accuracy even at matched token budgets.

**Figure 7**: Data edits make “Think duck duck goose” an effective reasoning instruction.

**Figure 8**: Effective reasoning cues shift hidden-state similarity toward reasoning traces.

**Figure 9**: Early cue insertion produces sustained shifts toward reasoning traces and improves accuracy.

**Figure 10**: Opening tokens change which requests the model refuses.

查看结构化数据

任务	指标	本文	基线	提升
MATH-500（Olmo-3-7B 预填线索）	pass@1	78%（预填 .\n\n Okay）	42%（无线索）；75%（RL-Zero 对应模型）	+36 个百分点，反超 RL 的 +33
MATH-500（Qwen3-14B 预填线索）	pass@1	87%（预填 ␣Alright ,）	72%（无线索）；87%（RL 变体）	+15 个百分点，追平 RL
MATH-500（rename 数据反事实）	pass@1	37.2%（预填 .\n\n Chicken，rename 混合）	2.4%（基线混合同线索）；38.3%（rename 混合上 Okay 线索）	+34.8 个百分点
GSM8K（rename 数据反事实）	pass@1	60.6%（.\n\n Chicken）	2.2%（基线混合）	+58.4 个百分点
MATH-500（duck duck goose 指令改写）	pass@1	17%（“Think duck duck goose”，改写混合）	6%（基线混合同指令）；15%（改写后“Think step by step”）	+11 个百分点
XSTest 不安全提示（安全案例）	有害回答率	0.2%（.\n\n Okay）	42.4%（“ Okay ,”）	−42.2 个百分点（选择性拒答，接近 Instruct/Think-SFT）

局限与改进

作者承认的局限包括：分析限于 R1-Zero 式“无 SFT 直接 RL”设定，复杂多阶段后训练流水线可能引入线索无法解释的新能力；线索效应强依赖模型——在 Llama-3.1-8B 测试过的开头中找不到有效线索，作者推测与各模型推理相关数据的结构差异有关；因果实验只在训练混合公开的 Olmo 与 SmolLM3 上进行，且这些混合含大量合成推理轨迹（83% 以“Okay”开头），效应可能被这种人为规律性放大。我补充几点：其一，线索选择依赖 30 题 × 16 采样的答案熵，若某开头引发“一致但错误”的多数派答案，熵准则会误选；其二，隐藏状态最近邻只是相关性证据，论文自己给出了反例（Problem 开头最像元推理却仅 6.3% pass@1）；其三，10B token 的重训规模远小于真实预训练，改写一个词的影响在超大规模、多来源数据下可能被稀释；其四，安全实验只覆盖 base 模型，这些开关在后训练后的模型上是否依然存在并未验证。

独立分析的弱点

第一，线索发现流程计算开销不小：20 个候选 × 30 题 × 16 条续写，且每个模型-提示对最终只用一条线索，提示格式一变就要重搜；改进方向是训练轻量开头打分器，或用少量探针题先淘汰大半候选。第二，答案熵度量的是“自信”而非“正确”，在无参考答案的真实场景可能选中指向系统性偏差答案的开头，可引入跨模型一致性或自验证得分来校正。第三，反事实实验只有 rename 与 redirect 两种编辑，未系统刻画“需要多少共现才能成线索”的剂量-响应关系，值得做受控频次梯度实验。第四，机制层面缺少电路级解释：为何只有前两个位置的插入能维持表征偏移（段 3–6 插入即衰减）？可用 attention knockout 或稀疏自编码器追踪“线索→推理模式”的信息流。第五，安全部分只测拒答率与有害率，未覆盖越狱强度分布与多语言提示；“ Okay ,”这类顺从开关的存在，值得在已部署对话模型上做系统风险评估并纳入数据审计流程。

未来方向

作者在讨论中提出三个方向：把“语义—表层形式—数据关联”三因素分离，把改写实验扩展到更丰富的指令，检验“Think step by step”这类提示究竟靠什么起效；区分“模型能做什么”与“模型倾向做什么”，追问当行为可被条件化唤起时，权重更新式后训练还剩多少必要；审计合成数据引入的线索-行为关联——合成数据占比越高，无意间制造的行为开关越多。在此基础上可延伸：其一，“线索课程设计”，训练时刻意把目标能力与稳健、可迁移的提示词配对，制造可控的行为开关；其二，把 cue-forced RL 用于降低对齐成本，用预填替代部分 rollout；其三，开发数据侧关联审计工具，自动扫描语料中高频开头与行为类型的统计耦合，预警有害开关；其四，在多模态与工具调用场景检验同样的条件反射机制；其五，研究对抗鲁棒性——攻击者能否通过少量数据污染让模型对恶意线索敏感，以及如何做线索层面的防御。

复现评估

复现条件总体友好但分档明显。模型与数据全部公开：Olmo-3-7B 及中间 checkpoint、10B 中训练混合、RL-Zero 模型、Qwen3-14B 均可下载，作者放出代码（github.com/sophicle/cues）与项目页（sophielwang.com/cues）。轻量部分（线索搜索与评估）只需推理算力：30 道探针题、20 个候选、每候选 16 条采样即可复现线索发现；评测每题 32 条、31,744 token 预算，可用 vLLM 在数张 A100 上数天内完成。重量部分是数据反事实：需以同配方重训 7B 模型 10B token，论文还跑了 100B token 对照，完整复现因果实验需要与中等规模预训练相当的算力（数百 GPU 天），只有具备预训练基础设施的实验室能承担；SmolLM3-3B 的复现成本显著更低。总体判断：验证性结论（线索效应、RL 概率重加权）易复现，因果归因部分难以完全复刻，但核心代码与数据的开放程度在同类工作中已属上乘。

基础模型可借训练数据中的线索触发推理 Base Models Can Reason By Taking a Cue From Training Data