CHIMERA：用于通用 LLM 推理的紧凑合成数据 CHIMERA: Compact Synthetic Data for Generalizable LLM Reasoning
仅 9K 合成推理样本即可让 4B 模型逼近 235B 模型的推理能力
前置知识
Chain-of-Thought (CoT) 推理
链式思维推理是指大语言模型在给出最终答案之前，生成一系列逐步的中间推理步骤。这些步骤通常以自然语言呈现，展示了模型从问题出发，经过逻辑推演、计算和验证，最终得出答案的完整思维过程。长 CoT 轨迹（long CoT trajectory）意味着每一步推理都详尽展开，包含自我纠错和回溯能力，这与简短的直接回答形成对比。在推理导向的后训练（post-training）中，详细的 CoT 轨迹为模型提供了丰富的监督信号，使其学会规划、抽象和自我修正。
本文的核心目标之一就是生成包含长 CoT 推理轨迹的训练数据，这是理解论文价值主张的基础
监督微调（SFT）与强化学习（RL）后训练
SFT 是指在高质量标注数据上对预训练模型进行有监督训练，使其学会特定的输入-输出映射模式。在推理场景中，SFT 使用包含详细推理步骤的问答对。RL 则是在 SFT 之后进一步优化模型，通过奖励信号（如答案正确性）引导模型探索更好的推理策略。本文中使用的 CISPO 是一种强化学习算法，它通过采样多个候选回答（rollouts）并根据正确性给予奖励来优化模型。SFT+RL 的组合已被证明能显著提升 LLM 的推理能力。
论文使用 SFT+RL 两阶段训练流程，理解这两个概念对理解实验设置和结果分析至关重要
Cold-start（冷启动）问题
在推理导向的后训练中，冷启动问题指的是缺乏高质量的种子数据集来初始化推理策略。有效的推理训练通常需要一个包含详细长 CoT 轨迹的初始语料库来引导策略学习。现有数据集通常只提供标准答案或简要解释，缺乏详细的推理过程，这对于需要学习长程复杂推理的模型来说是不够的。这个问题对中小规模模型尤为关键，因为它们更依赖于监督数据的质量和结构。
这是论文要解决的三个核心数据挑战之一，理解冷启动问题才能理解为什么需要 CHIMERA
Pass@k 评估指标
Pass@k 是一种评估大语言模型推理能力的指标，它衡量的是：在对同一个问题采样 k 次独立回答中，至少有一次得到正确答案的概率。这个指标能够更全面地反映模型的推理鲁棒性，而不是只看单次预测的准确率。较高的 pass@k 值意味着模型具有更广泛的有效解题路径覆盖。unbiased pass@k 是一种无偏估计方法，避免了朴素采样估计的偏差。
论文在推理时间缩放分析中使用 pass@k 来展示 CHIMERA 训练模型的优势，这是实验结果的关键组成部分
数据去污染（Decontamination）
数据去污染是指确保训练数据与评估基准之间不存在数据泄露的过程。如果训练数据中包含了评估基准的问题或非常相似的问题，模型可能会通过记忆而非真正理解来获得高分。常用的方法包括 n-gram Jaccard 相似度检测——计算训练集和测试集之间的词组重叠程度。低重叠率表示数据泄露风险低，评估结果更可信。
论文通过去污染分析证明 CHIMERA 的性能提升不是由于数据泄露，这对结果的可信度至关重要
研究动机
当前大语言模型推理能力的提升主要依赖高质量推理数据的后训练，但开放社区在复现和扩展这些能力时面临三个核心数据层面的瓶颈。首先是冷启动问题：有效的推理后训练需要包含详细长链式思维轨迹的种子数据集来引导策略学习，但现有数据集通常只提供标准答案（如 GSM8K、MATH）或简短解释，无法为需要学习长程复杂推理的模型提供充分的监督信号。其次是领域覆盖有限：目前公开可用的推理数据集高度集中于数学和编程任务，如 DAPO-Math-17K（17K 样本，纯数学）、OpenR1-Math-220K（225K 样本，纯数学）、DeepMath-103K（103K 样本，纯数学），这些只能代表真实世界推理需求的一小部分，导致模型难以将推理策略泛化到其他科学学科或跨学科问题。第三是标注瓶颈：随着推理基准接近或超越人类专家难度，如 Humanity's Last Exam（HLE），可靠的标注变得越来越不切实际——为前沿问题产出正确答案和高质量 CoT 解释需要深厚的领域专业知识和大量时间投入。
本文的目标是本文旨在构建一个紧凑但精心设计的合成推理数据集，通过自动化流程系统性地解决上述三个挑战。具体目标包括：（1）提供包含丰富长 CoT 推理轨迹的训练样本，每个样本平均解题长度达到 11,121 个单词，远超现有数据集（如 MATH 的 89.5 词、DeepMath-103K 的 2,959 词）；（2）实现跨 8 个主要科学学科和超过 1,179 个细粒度主题的广泛结构化覆盖，涵盖数学、计算机科学、化学、物理、文学、历史、生物学和语言学；（3）建立完全自动化的质量控制流程，无需依赖人工标注，通过跨模型验证确保问题有效性和答案正确性。最终目标是证明一个仅含 9,225 个样本的紧凑数据集即可显著提升 4B 参数模型的推理性能。
与已有工作不同的是，与现有工作相比，CHIMERA 的独特切入角度体现在三个维度的差异化设计。在数据哲学上，CHIMERA 选择「结构化多样性优先于纯粹规模」——虽然仅有 9K 样本（对比 OpenR1-Math-220K 的 225K 和 DeepMath-103K 的 103K），但通过精心的分层分类体系实现了系统性覆盖。在技术路线上，CHIMERA 采用完全解耦的三阶段模块化流水线（主题扩展→问题生成→解题合成），每个阶段的中间产物独立保存，允许后续灵活筛选和策展。在质量保证上，CHIMERA 创新性地采用双模型交叉验证机制，使用 gpt-5 和 o4-mini 两个独立验证器同时检查问题有效性和答案正确性，只有两个模型都通过的样本才被保留，有效降低了单一模型系统性偏差或幻觉的风险。此外，论文通过难度分析表明现有合成数据集对当前模型已接近饱和（88%准确率），而 CHIMERA 仅 37.5%，提供了更大的学习空间。
核心方法
CHIMERA 的数据合成流水线采用模块化的三阶段设计，每个阶段解耦独立，中间产物分别保存以便后续筛选。整体思路是从少量高层学科主题出发，通过 LLM 驱动的扩展生成数千个细粒度话题，再为每个话题生成博士水平的推理问题和可验证的答案，最后用强推理模型为每个问题生成详细的推理轨迹并验证其正确性。具体来说，第一阶段使用 gpt-5 将 8 个种子学科（数学、计算机科学、化学、物理、文学、历史、生物学、语言学）扩展为 1,179 个细粒度主题的分层分类体系；第二阶段使用 gpt-5 为每个主题生成一个自包含、有明确可验证答案的推理问题，并通过双模型交叉验证（gpt-5 + o4-mini）确保问题质量；第三阶段使用 Qwen3-235B-A22B-Thinking-2507（一个强大的开源推理模型）为每个问题生成详细的逐步推理轨迹，并标记其正确性。这一设计的关键在于：生成问题的模型（gpt-5）和生成解题过程的模型（Qwen3-235B）以及验证的模型（o4-mini）各不相同，形成多模型协作的质量保障网络。
CHIMERA 的核心创新在于「以质量换数量」的数据构建理念，其本质区别体现在三个层面。第一，与现有数据集追求大规模不同，CHIMERA 刻意保持 9K 的紧凑规模，但通过 11K 词的超长解题轨迹提供远超其他数据集的监督信号密度。相比之下，DAPO-Math-17K 平均解题仅 1 个词，MATH 为 89.5 词，即便是 DeepMath-103K 也只有 2,959 词。第二，CHIMERA 是首个覆盖 8 个学科（而非仅数学）的结构化推理数据集，通过模型生成的分层分类体系实现了跨学科的系统性覆盖。第三，论文提出了一种完全自动化的质量评估协议：不依赖人类标注者，而是利用强推理模型进行交叉验证——两个独立的 LLM（gpt-5 和 o4-mini）分别作为验证器，只有同时通过有效性检查和正确性验证的问题才被保留。这种「生成-验证分离」的设计利用了不同模型的互补性，降低了单一模型幻觉的风险。论文还发现，gpt-5 和 gemini-3-pro 生成的问题在盲评实验中获得的质量评分高于 HLE 的人类编写问题，表明 LLM 生成的数据在质量和难度上已可与专家标注媲美。
方法步骤详情
CHIMERA 的数据合成流水线分为三个阶段，每个阶段的输入输出明确分离。第一阶段（主题扩展）：给定 8 个高层种子学科 S = {s₁, ..., sₘ}（如数学、物理），使用 gpt-5 为每个学科 s 生成尽可能多的细粒度主题集合 Tₛ，形成层次化分类体系。数学学科因包含过多子领域而进行了多次采样以覆盖最基础的概念，之后进行去重确保每个主题唯一。第二阶段（问题生成）：对于每个学科 s 中的每个主题 t，使用 gpt-5 生成一个问题和对应答案 (q, a)。问题必须满足三个约束：（1）可解性和难度——必须是博士水平且可解，不是开放研究问题；（2）自包含——所有必要信息必须包含在问题描述中；（3）明确可验证的答案——必须有明确且唯一的答案。生成后进行跨模型验证：使用 gpt-5 和 o4-mini 作为独立验证器 V，每个验证器检查问题是否格式良好且无歧义，以及提供的答案是否正确解决了问题。只有同时通过两个模型验证的问题才被保留。第三阶段（解题合成）：对于第二阶段生成的每个问题 q，使用 Qwen3-235B-A22B-Thinking-2507（强开源推理模型）生成详细的逐步推理轨迹 r。然后将推理轨迹 r 与原始答案 a 进行比较，标记正确性 y ∈ {0, 1}。正确推理轨迹用于 SFT 训练，只有问题-答案对（无正确推理轨迹）的样本保留用于 RL 训练（仅需最终答案）。最终数据集 D_CHIMERA = {(s, t, q, a, r, y)}，共 9,225 个样本。
技术新颖性
CHIMERA 的技术新颖性体现在多个维度。首先在数据构建理念上，论文提出了「紧凑高密度」的合成数据范式——通过大幅增加每个样本的推理轨迹长度（平均 11K 词）而非增加样本数量来提供更强的学习信号。这一设计基于一个重要发现：现有合成数据集（如 DAPO-Math-17K、DeepMath-103K）对当前强模型已接近饱和（88-89% 准确率），说明这些数据提供的学习信号已不足够。其次在流水线架构上，CHIMERA 采用三个完全解耦的阶段，使用不同的模型承担不同的角色——gpt-5 负责知识密集型的主题扩展和问题生成，Qwen3-235B 负责推理密集型的解题合成，而验证则由独立的模型（o4-mini）完成。这种「角色分离」设计确保了生成和验证的独立性。第三在跨模型验证机制上，双验证器设计要求两个不同架构的模型达成共识才保留样本，这是首次在合成推理数据构建中采用此类多模型共识机制。第四，论文首次系统性地比较了 LLM 生成问题与人类专家问题的质量——通过解耦生成和评判模型（gpt-5/gemini-3-pro 生成，o4-mini/gemini-2.5-pro 评判），发现合成问题在清晰度、格式规范性和推理深度上均不逊于甚至优于人类编写的问题。
实验结果
论文的核心实验结果围绕在 Qwen3-4B-Thinking-2507 基础模型上使用 CHIMERA 进行后训练的效果展开，涵盖 7 个挑战性推理基准。在主实验中（Table 2），CHIMERA 训练的 4B 模型在所有基准上均实现了显著提升：GPQA-Diamond 从 65.8% 提升到 70.1%（+4.3），AIME24 从 81.6% 提升到 86.9%（+5.3），AIME26 从 80.8% 提升到 82.7%（+1.9），HMMT Feb 25 从 59.2% 提升到 65.7%（+6.5），HMMT Nov 25 从 57.3% 提升到 67.0%（+9.7），HLE 从 7.3% 提升到 9.0%（+1.7）。最令人瞩目的是，这个仅 4B 参数的模型在多数基准上匹配甚至超越了 8B-70B 规模的基线模型，并接近了参数量大两个数量级的 DeepSeek-R1（671B）和 Qwen3-235B-A22B（235B）的性能。相反，在 OpenScience 数据集上微调的模型反而导致性能下降（GPQA-D 从 65.8% 降至 53.5%，AIME24 从 81.6% 降至 61.7%），论文推测这是因为 OpenScience 大量使用选择题格式，模型可能利用排除策略而非真正的推理来作答。在推理时间缩放实验中（Figure 3），CHIMERA 训练的模型在 pass@k 的所有 k 值上均优于基线，且差距随 k 增大而扩大——GPQA-Diamond 上 pass@8 从 81.5% 提升到 90.7%，HLE 上 pass@8 从 19.5% 提升到 24.0%。这表明改进不仅来自更好的单次预测，更来自推理鲁棒性和有效解题路径覆盖的提升。在消融实验中（Table 3），SFT 单独即可带来大部分性能提升（GPQA-D +3.0，AIME24 +4.9，HMMT Nov 25 +9.0），RL 提供额外增量改进，进一步证明了 CHIMERA 数据质量本身的价值。在难度分析中（Figure 4），基线模型在现有数据集上准确率接近饱和（DAPO-Math-17K 88.6%，DeepMath-103K 88.2%，OpenScience 87.2%），而在 CHIMERA 上仅 37.5%，说明 CHIMERA 提供了更大的学习空间。在质量分析中（Figure 5），LLM 生成的问题在盲评中获得高于人类编写问题的评分——gpt-5 生成的问题在 o4-mini 评判下得分 2.67（HLE 人类问题仅 1.14），gemini-3-pro 生成的问题得分 2.20。在去污染分析中（Table 4），CHIMERA 与 GPQA-Diamond 和 HLE 的 n-gram 重叠率接近零（8-gram Jaccard 重叠为 0 或 7.89×10⁻⁶），排除了数据泄露的可能。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GPQA-Diamond（研究生级别科学问答） | Pass@1（10 次采样） | 70.1% | 65.8%（基线模型）/ 53.5%（OpenScience 微调） | +4.3 个百分点（相对基线） |
| AIME24（美国数学邀请赛 2024） | Pass@1（32 次采样） | 86.9% | 81.6%（基线模型）/ 61.7%（OpenScience 微调） | +5.3 个百分点（相对基线） |
| AIME25（美国数学邀请赛 2025） | Pass@1（32 次采样） | 80.7% | 81.0%（基线模型）/ 53.3%（OpenScience 微调） | 与基线持平，大幅优于 OpenScience |
| AIME26（美国数学邀请赛 2026） | Pass@1（32 次采样） | 82.7% | 80.8%（基线模型）/ 53.0%（OpenScience 微调） | +1.9 个百分点（相对基线） |
| HMMT Feb 25（哈佛-MIT 数学锦标赛 2025 年 2 月） | Pass@1（32 次采样） | 65.7% | 59.2%（基线模型）/ 40.0%（OpenScience 微调） | +6.5 个百分点（相对基线） |
| HMMT Nov 25（哈佛-MIT 数学锦标赛 2025 年 11 月） | Pass@1（32 次采样） | 67.0% | 57.3%（基线模型）/ 36.9%（OpenScience 微调） | +9.7 个百分点（相对基线） |
| HLE（人类最后考试） | Pass@1（8 次采样，仅文本问题） | 9.0% | 7.3%（基线模型）/ 4.6%（OpenScience 微调） | +1.7 个百分点（相对基线） |
局限与改进
论文存在若干值得讨论的局限性。首先，虽然论文声称 CHIMERA 覆盖 8 个学科，但从 Figure 2 的分布来看，数学占比 48.3%，实际上学科间的平衡性并不理想，计算机科学、化学和物理各占约 10-15%，而文学、历史、生物学和语言学各仅占不到 10%。这意味着模型在非数学学科上的推理能力提升可能有限。其次，论文仅在 Qwen3-4B 这一个基础模型上进行了实验，没有在其他规模（如 7B、14B、32B）或其他架构（如 Llama、Mistral）的模型上验证 CHIMERA 的通用性。第三，解题合成阶段使用的 Qwen3-235B-A22B-Thinking-2507 是一个闭源 API 模型，其推理轨迹的质量和可复现性存在不确定性。第四，论文承认 9K 样本的规模虽然高效，但可能不足以在某些特定子领域（如纯数学的高级分支）上提供足够的覆盖深度。第五，质量评估实验（Figure 5）中的盲评协议存在一定局限——LLM 评判器可能偏好风格上更详细、更冗长的问题（而非真正更高质量的问题），而 gpt-5 生成的问题恰好比人类问题更长。第六，论文未评估训练后模型在通用能力（如代码生成、指令遵循）上是否出现退化，即是否存在灾难性遗忘的问题。最后，虽然去污染分析显示与 GPQA-D 和 HLE 的重叠接近零，但论文未检查与其他评估基准（如 AIME、HMMT）的污染情况。
独立分析的弱点
从独立分析的角度来看，CHIMERA 存在以下几个值得关注的弱点。第一，学科覆盖的不均衡性：数学占数据集的 48.3%，这意味着模型的推理能力提升可能主要来自数学领域。虽然论文展示了在科学推理基准（GPQA-D）和通用考试（HLE）上的改进，但这些基准可能也偏向数学和科学推理。改进方向可以是通过加权采样或主动学习策略平衡各学科的样本数量，或者专门为低资源学科（如文学、历史）设计更高质量的问题生成提示。第二，双模型验证的局限性：虽然使用 gpt-5 和 o4-mini 两个验证器降低了单一模型偏差的风险，但这两个模型可能共享类似的训练数据分布和偏差模式（都来自 OpenAI）。改进方向可以是引入更多样化的验证器，如不同公司（Anthropic Claude、Google Gemini）或不同架构的模型，形成更鲁棒的多模型共识机制。第三，推理轨迹的正确性标签仅基于最终答案匹配：如果推理过程中存在错误但最终答案碰巧正确，或者推理正确但答案提取失败，都会导致错误标签。改进方向可以是引入中间步骤验证，检查推理链条中每个关键步骤的正确性。第四，RL 阶段使用 o4-mini 作为奖励模型，但论文未评估奖励模型的准确率和偏差——如果 o4-mini 在某些学科上系统性地给出错误奖励，可能会影响 RL 训练的效果。第五，论文未与同期的推理增强数据集（如 OpenThoughts、OpenScience 的最新版本）进行充分对比，缺乏与其他自动化数据构建方法的直接比较。
未来方向
论文本身和基于其成果可以延伸出多个研究方向。作者在结论中暗示的一个方向是：将 CHIMERA 的流水线框架推广到更多学科和更细粒度的知识领域，构建更大规模但保持质量标准的推理数据集。基于论文的发现，自然的延伸方向包括：（1）探索 CHIMERA 在更大模型（7B、14B、32B）上的效果——论文仅在 4B 模型上实验，但数据质量的价值可能在更大模型上体现为不同的模式；（2）研究推理轨迹长度与模型性能的关系——CHIMERA 的解题平均 11K 词，但是否存在一个最优长度，过长的轨迹是否反而引入噪声；（3）探索跨模型知识蒸馏——当前使用闭源 gpt-5 生成问题，未来可以研究如何使用开源模型替代，以及不同模型组合对数据质量的影响；（4）将 CHIMERA 的方法论应用于多模态推理——当前数据集仅包含文本问题，但科学推理常涉及图表、方程和视觉信息；（5）研究合成数据的课程学习策略——CHIMERA 的难度梯度（从易到难的训练顺序）可能影响最终性能；（6）探索 CHIMERA 数据在 RLHF/RLAIF 等对齐任务中的应用，而不仅限于推理增强。
复现评估
论文在复现性方面具有较好的开放性。数据集已在 HuggingFace 上公开发布（TianHongZXY/CHIMERA），包含完整的 9,225 个样本及其元数据。论文在附录 A 中提供了所有提示模板（主题扩展、问题生成、解题合成、问题验证器、正确性验证器），允许研究者理解并复现整个流水线。基础模型 Qwen3-4B-Thinking-2507 是公开可用的。然而，存在一些复现障碍：（1）问题生成阶段使用 gpt-5（一个闭源模型），需要 OpenAI API 访问权限和相应费用；（2）解题合成使用的 Qwen3-235B-A22B-Thinking-2507 虽然是开源的，但需要 235B 参数规模的推理能力，这对大多数研究团队来说算力门槛较高；（3）RL 阶段使用 CISPO 算法和 o4-mini 奖励模型，需要额外的 API 调用成本；（4）论文提到的训练超参（batch size 256、学习率 1e-5/1e-6、8 rollouts per prompt）需要多 GPU 训练环境。总体而言，对于拥有足够 API 预算和计算资源的研究团队，复现 CHIMERA 的核心流水线是可行的；但对于资源有限的团队，直接使用公开的 CHIMERA 数据集进行后训练是更现实的选择。
论文图表
该伪代码形式化描述了 CHIMERA 数据合成流水线的完整过程。输入为种子学科集合 S、每个主题的样本数 n，以及各阶段使用的模型（主题扩展器 E、问题生成器 G、问题验证器 V、正确性验证器 C、推理轨迹生成器 R）。输出为 CHIMERA 数据集 D_CHIMERA。三阶段循环清晰展示了从学科扩展到问题生成再到解题合成的完整流程，以及验证和过滤的逻辑。
将流水线过程形式化为算法，便于研究者理解和实现，是方法论的技术性总结